特許 6860485 情報処理装置、および情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6860485

(24)【登録日】2021年3月30日

(45)【発行日】2021年4月14日

(54)【発明の名称】情報処理装置、および情報処理方法、並びにプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20210405BHJP

   G06T 3/00 20060101ALI20210405BHJP

   H04N 5/232 20060101ALI20210405BHJP

【ＦＩ】

   G09G5/00 520T

   G09G5/00 510X

   G06T3/00 710

   H04N5/232 380

   H04N5/232 930

【請求項の数】11

【全頁数】42

(21)【出願番号】特願2017-532426(P2017-532426)

(86)(22)【出願日】2016年6月27日

(86)【国際出願番号】JP2016069008

(87)【国際公開番号】WO2017022363

(87)【国際公開日】20170209

【審査請求日】2019年6月20日

(31)【優先権主張番号】特願2015-155239(P2015-155239)

(32)【優先日】2015年8月5日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】勝股 充

(72)【発明者】

【氏名】篠原 隆之

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２００６−１８００２２（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１８３３４６（ＷＯ，Ａ１）

【文献】 特開２０１１−０９１４８１（ＪＰ，Ａ）

【文献】 特開２０１１−２５４２３９（ＪＰ，Ａ）

【文献】 特開２０１０−０６２６９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行するデータ処理部と、
を備え、
前記画像表示制御情報には、
画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報と、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報と、
が含まれ、
前記データ処理部は、
前記ユーザ選択可能な画像表示領域対角角度情報を表示部に表示し、
前記指定情報に従った表示方式を適用し、且つ、ユーザ選択情報の入力に応じて選択された画像表示領域対角角度を適用して、前記画像表示処理を実行し、
前記画像表示領域対角角度情報は、前記表示部に中心点を基準として前記画像を投影した際の、前記表示部上に投影された当該画像の範囲である矩形状の画像表示領域を規定する角度の情報であって、当該角度は、前記中心点と前記画像表示領域の対角線上の２つの頂点とを結ぶことによってなす角の角度である、
情報処理装置。

【請求項2】

前記画像表示制御情報は、画像表示処理を実行する情報処理装置のタイプ各々に対応するタイプ別表示方式を規定した情報であり、
前記データ処理部は、自装置のタイプと一致するタイプのタイプ別表示方式を適用して画像表示処理を実行する請求項１に記載の情報処理装置。

【請求項3】

前記画像表示制御情報には、
前記魚眼（広角）表示方式の指定情報として、
立体射影方式の魚眼（広角）表示方式、
等距離射影方式の魚眼（広角）表示方式、
等立体角射影方式の魚眼（広角）表示方式、
正射影方式の魚眼（広角）表示方式、
上記の各表示方式のいずれかの指定情報が含まれる、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記画像表示制御情報は、ＭＰ４ファイルに格納されており、
前記データ処理部は、
ＭＰ４ファイルから、出力画像データに関する画像表示制御情報を取得し、ＭＰ４ファイルから取得した画像表示制御情報に従って画像表示処理を実行する請求項１〜３のいずれか１項に記載の情報処理装置。

【請求項5】

前記画像表示制御情報は、ＭＰ４ファイルのｔｒａｋボックスに格納されており、
前記データ処理部は、
ＭＰ４ファイルのｔｒａｋボックスから、出力画像データに関する画像表示制御情報を取得する請求項４に記載の情報処理装置。

【請求項6】

前記画像表示制御情報は、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに格納されており、
前記データ処理部は、
ＭＰＤファイルから、出力画像データに関する画像表示制御情報を取得し、ＭＰＤファイルから取得した画像表示制御情報に従って画像表示処理を実行する請求項１〜５のいずれか１項に記載の情報処理装置。

【請求項7】

前記画像表示制御情報は、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに設定された画像表示制御情報記録エレメントに、各デバイスタイプ別の情報として記録され、
前記データ処理部は、
ＭＰＤファイルの画像表示制御情報記録エレメントから、自装置の装置タイプと一致するデバイスタイプ情報が記録されたエレメントを選択して、選択エレメントに記録された画像表示方式を適用して画像表示処理を実行する請求項６に記載の情報処理装置。

【請求項8】

異なる方向の画像を選択的に表示可能とした画像データ、及び、前記画像データに関する画像表示制御情報であり、画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を格納したファイルを生成するデータ処理部と、
前記データ処理部の生成したファイルを送信する通信部と、
を有するデータ配信サーバであって、
前記画像表示制御情報には、
前記画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報と、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報と、
がさらに含まれ、
前記画像表示領域対角角度情報は、表示部に中心点を基準として画像を投影した際の、前記表示部上に投影された当該画像の範囲である矩形状の画像表示領域を規定する角度の情報であって、当該角度は、前記中心点と前記画像表示領域の対角線上の２つの頂点とを結ぶことによってなす角の角度である、
データ配信サーバ。

【請求項9】

異なる方向の画像を選択的に表示可能とした画像データ、及び、前記画像データに関する画像表示制御情報であり、画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を、
格納した情報記録媒体であり、
前記画像表示制御情報には、
前記画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報と、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報と、
がさらに含まれ、
前記情報記録媒体からの読み出しデータの再生を実行する再生装置において、
前記画像表示制御情報に記録された自装置タイプに一致するデバイスタイプ対応であって、前記指定情報に従った表示方式を適用し、且つ、ユーザ選択情報の入力に応じて選択された画像表示領域対角角度を適用して、画像表示を実行させることを可能とし、
前記画像表示領域対角角度情報は、表示部に中心点を基準として画像を投影した際の、前記表示部上に投影された当該画像の範囲である矩形状の画像表示領域を規定する角度の情報であって、当該角度は、前記中心点と前記画像表示領域の対角線上の２つの頂点とを結ぶことによってなす角の角度である、
情報記録媒体。

【請求項10】

情報処理装置において、画像表示制御を実行する情報処理方法であり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行するデータ処理部と、
を有し、
前記画像表示制御情報には、
画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報と、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報と、
が含まれ、
前記データ処理部が、
前記ユーザ選択可能な画像表示領域対角角度情報を表示部に表示し、
前記指定情報に従った表示方式を適用し、且つ、ユーザ選択情報の入力に応じて選択された画像表示領域対角角度を適用して、前記画像表示処理を実行し、
前記画像表示領域対角角度情報は、前記表示部に中心点を基準として前記画像を投影した際の、前記表示部上に投影された当該画像の範囲である矩形状の画像表示領域を規定する角度の情報であって、当該角度は、前記中心点と前記画像表示領域の対角線上の２つの頂点とを結ぶことによってなす角の角度である、
情報処理方法。

【請求項11】

情報処理装置において、画像表示制御を実行させるプログラムであり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行するデータ処理部と、
を有し、
前記画像表示制御情報には、
画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報と、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報と、
が含まれ、
前記プログラムは、前記データ処理部に、
前記ユーザ選択可能な画像表示領域対角角度情報を表示部に表示し、
前記指定情報に従った表示方式を適用し、且つ、ユーザ選択情報の入力に応じて選択された画像表示領域対角角度を適用して、前記画像表示処理を実行させるプログラムであって、
前記画像表示領域対角角度情報は、前記表示部に中心点を基準として前記画像を投影した際の、前記表示部上に投影された当該画像の範囲である矩形状の画像表示領域を規定する角度の情報であって、当該角度は、前記中心点と前記画像表示領域の対角線上の２つの頂点とを結ぶことによってなす角の角度である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を観察可能な画像表示構成において、表示部に表示する画像の表示方式を最適な方式、例えばコンテンツ製作者の推薦する表示方式に従って表示することを可能とした情報処理装置、および情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

昨今、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を撮影可能な撮像装置が開発され、このような撮像装置を用いて撮影された画像をＰＣや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ（ＨＭＤ）等の表示部に表示し、ユーザによる選択画像、あるいはユーザの向きに応じて自動選択された画像を観察可能としたシステムが広く利用されている。

【0003】

例えば、ＰＣ等において、周囲３６０度の全方位画像の映像（動画像）データを外部サーバから取得、あるいは記録メディアから読み出して表示装置に表示させることができる。ユーザは、任意方向の画像を選択して表示装置に表示可能であり、自由に視点を変えて動画像や静止画等の画像を観察することができる。

【0004】

ＰＣやタブレット端末、あるいは携帯端末の表示部に表示した画像は、ユーザによるマウス操作、あるいはタッチパネルに対するスライド処理や、フリック処理などによって観察方向を移動させて表示可能であり、ユーザは、容易に様々な方向の画像を楽しむことができる。

【0005】

ヘッド・マウント・ディスプレイ（ＨＭＤ）に画像を表示する場合は、ＨＭＤに搭載した頭部の動きや方向を検出するセンサ情報に応じて、ユーザの頭の向きに応じた画像を表示可能であり、ユーザは、あたかもＨＭＤの表示部に表示された画像の中に存在しているような感覚を味わうことができる。

【0006】

これら全天球画像や全方位画像、あるいはパノラマ画像は、撮影された様々な方向の画像の中から一部の画像のみを切り出して表示装置の表示部に表示する処理が行われる。

【0007】

この画像切り出しを伴う表示処理の方式には、複数の異なる方式がある。
例えば、透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式や、魚眼（広角）表示（ｆｉｓｈ ｅｙｅ）方式などがある。
なお、画像処理により表示範囲を変更する処理を開示した従来技術として特許文献１（特開２０１４−１２７００１号公報）がある。

【0008】

一般的に、表示装置、例えば、ＰＣ、携帯端末、ＨＭＤ等の表示装置には、所定の表示方式を実行するアプリケーション（プログラム）が格納されており、このアプリ（アプリケーション）に従って選択された表示方式に従って表示処理が実行される。
しかし、この各アプリが選択する表示方式は、コンテンツ製作者の意図、すなわちコンテンツ製作者が見てほしい画像を実現する表示方式に一致するとは限らない。

【0009】

コンテンツ製作者が想定している表示方式と異なる表示方式を利用して画像表示が実行されると、コンテンツ製作者の意図した「見てほしい画像」を、ユーザ（観察者）は見ることができないという問題が発生する。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１４−１２７００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

本開示は、例えば上記問題点に鑑みてなされたものであり、全方位画像等、ユーザの操作や動作に応じて様々な方向の画像を出力する画像表示装置において、最適な表示方式、例えば、コンテンツ製作者が見てほしい画像を表示する表示方式を選択して実行することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供するものである。

【課題を解決するための手段】

【0012】

本開示の第１の側面は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記データ処理部は、
出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行する情報処理装置にある。

【0013】

さらに、本開示の第２の側面は、
異なる方向の画像を選択的に表示可能とした画像データと、
前記画像データに関する画像表示制御情報であり、
画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を格納したファイルを生成するデータ処理部と、
前記データ処理部の生成したファイルを送信する通信部と、
を有するデータ配信サーバにある。

【0014】

さらに、本開示の第３の側面は、
異なる方向の画像を選択的に表示可能とした画像データと、
前記画像データに関する画像表示制御情報であり、
画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を、
格納した情報記録媒体であり、
前記情報記録媒体からの読み出しデータの再生を実行する再生装置において、
前記画像表示制御情報に記録された自装置タイプに一致するデバイスタイプ対応の画像表示方式を適用して画像表示を実行させることを可能とした情報記録媒体にある。

【0015】

さらに、本開示の第４の側面は、
情報処理装置において、画像表示制御を実行する情報処理方法であり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記データ処理部が、
出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行する情報処理方法にある。

【0016】

さらに、本開示の第５の側面は、
情報処理装置において、画像表示制御を実行させるプログラムであり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
出力画像データに関する画像表示制御情報を取得させ、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行させるプログラムにある。

【0017】

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

【0018】

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

【発明の効果】

【0019】

本開示の一実施例の構成によれば、パノラマ画像表示処理に際して、表示デバイスに対応した最適な表示方式を適用して表示処理を実行可能とした装置、方法が実現される。
具体的には、異なる方向の画像を選択的に表示可能な表示部と、画像表示制御を実行するデータ処理部を有する情報処理装置において、データ処理部が。画像表示制御情報に記録されたデバイス対応の画像表示方式を適用して画像表示処理を実行する。画像表示制御情報は、画像表示処理を実行する情報処理装置のタイプ各々に最適なタイプ別表示方式を規定しており、データ処理部は、自装置のタイプと一致するタイプに対応付けられた表示方式を適用して画像表示処理を実行する。
本構成により、パノラマ画像表示処理に際して、表示デバイスに対応した最適な表示方式を適用して表示処理を実行可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

【図面の簡単な説明】

【0020】

【図1】情報処理装置における画像表示処理、および音声出力処理の一例について説明する図である。

【図2】情報処理装置における画像表示処理、および音声出力処理の一例について説明する図である。

【図3】透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式、魚眼（広角）表示（ｆｉｓｈ ｅｙｅ）方式について説明する図である。

【図4】情報処理装置に対するデータ提供処理構成について説明する図である。

【図5】ＩＳＯベースメディアファイルフォーマットについて説明する図である。

【図6】ＩＳＯベースメディアファイルフォーマットについて説明する図である。

【図7】ＭＰ４ファイルに対する画像表示制御情報の記録例について説明する図である。

【図8】デバイスタイプ設定例について説明する図である。

【図9】表示方式の設定例について説明する図である。

【図10】表示領域対角角度の一例について説明する図である。

【図11】表示領域対角角度の一例について説明する図である。

【図12】ＭＰ４ファイルに対する画像表示制御情報の記録領域の一例について説明する図である。

【図13】ＭＰ４ファイルからの画像表示制御情報の読み出し、および画像表示制御処理の実行シーケンスについて説明するフローチャートを示す図である。

【図14】ＭＰ４ファイルからの画像表示制御情報の読み出し、および画像表示制御処理の実行シーケンスについて説明するフローチャートを示す図である。

【図15】情報処理装置に対するデータ提供処理構成について説明する図である。

【図16】ＭＰＤファイルについて説明する図である。

【図17】ＭＰＤファイルについて説明する図である。

【図18】ＭＰＤファイルに記録される画像表示制御情報について説明する図である。

【図19】ＭＰＤファイルからの画像表示制御情報の読み出し、および画像表示制御処理の実行シーケンスについて説明するフローチャートを示す図である。

【図20】ＭＰＤファイルからの画像表示制御情報の読み出し、および画像表示制御処理の実行シーケンスについて説明するフローチャートを示す図である。

【図21】情報処理装置のハードウェア構成例について説明する図である。

【発明を実施するための形態】

【0021】

以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．画像表示処理の概要について
２．指定の画像表示方式を選択して画像表示処理を実行する構成の概要について
３．（実施例１）ＭＰ４ファイルにデバイスの利用すべき画像表示方式を規定した実施例について
３−１．（画像表示制御情報記録例１）ＭＰ４ファイルにコンテンツ単位の表示方式指定情報を記録する記録例について
３−２．（画像表示制御情報記録例２）ＭＰ４ファイルに表示デバイス単位の表示方式指定情報を記録する記録例について
３−３．（画像表示制御情報記録例３）ＭＰ４ファイルにユーザが選択できる方式を制限する表示方式指定情報を記録する記録例について
４．ＭＰ４ファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて
５．（実施例２）ＭＰＤに画像表示制御情報を記録した実施例について
６．ＭＰＤファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて
７．情報処理装置のハードウェア構成例について
８．本開示の構成のまとめ

【0022】

［１．画像表示処理の概要について］
まず、図１以下を参照して、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を表示部に表示可能とした装置における画像表示処理の概要について説明する。

【0023】

前述したように、昨今、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を撮影可能な撮像装置が開発され、このような撮像装置を用いて撮影された画像をＰＣや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ（ＨＭＤ）等の表示部に表示し、ユーザが選択した任意方向の画像を観察可能としたシステムが広く利用されている。

【0024】

例えば、周囲３６０度の全方位画像の映像（動画像）データを外部サーバから取得、あるいは記録メディアから読み出してユーザのＰＣ等の表示装置に表示させることができる。ユーザは、サーバや記録メディアから取得した画像データから、任意方向の画像を選択して表示装置に表示させ、自由に視点を変えながら映像（動画像）や静止画を観察することが可能となる。

【0025】

図１は、携帯端末の表示部に様々な方向の画像を選択して表示した例を説明する図である。
図１に示す画像データ１０は、パノラマ画像である。水平方向３６０度の画像が１枚の画像データとして設定されている。
画像データの中心部がユーザ（観察者）の正面方向（例えば０度＝北方向）の画像とすると、画像データ１０の左端がユーザ（観察者）の後ろ方向（−１８０度＝南方向）の画像であり、画像データ１０の右端もユーザ（観察者）の後ろ方向（＋１８０度＝南方向）の画像である。
画像データ１０の左端と右端は同じ位置の画像となる。

【0026】

なお、全天球画像や全方位画像、すなわち３６０度パノラマ画像の場合は、上下方向については１８０度の画像が撮影されており、上下左右全方向の画像が含まれる。
以下の実施例では、水平方向３６０度のパノラマ画像を利用した例について説明するが、本開示の構成は、全天球画像や全方位画像を利用した場合にも適用可能であり、異なる方向の画像を選択的に表示可能とした装置において本開示の構成を適用することができる。

【0027】

以下の説明においてパノラマ画像は、水平方向３６０度のパノラマ画像、全天球画像や全方位画像等の３６０度パノラマ画像、その他、画像移動により異なる方向の画像を表示可能とした画像全般を含むものとする。

【0028】

図１下段には、ユーザの情報処理装置の一例である携帯端末２０を示している。
携帯端末２０の表示部には、画像データ１０の一部の領域、例えばユーザが任意に選択した領域の画像を表示することができる。

【0029】

左側の携帯端末２０の表示画像Ａは、画像データ１０内の一部領域の画像区間ａ１〜ａ２の部分区間の領域画像である。
右側の携帯端末２０の表示画像Ｂは、画像データ１０内の一部領域の画像区間ｂ１〜ｂ２の部分区間の領域画像である。
ユーザは、タッチパネルとして構成された表示部に対する指のスライド処理などによって、表示画像を移動させて、任意の領域の画像を表示することができる。

【0030】

なお、携帯端末２０には、スピーカ２５が備えられており、表示画像に併せて記録された音声データが出力される。

【0031】

図２は、ヘッド・マウント・ディスプレイ（ＨＭＤ）３０を利用してパノラマ画像を表示した例である。
ヘッド・マウント・ディスプレイ（ＨＭＤ）３０に画像を表示する場合は、ＨＭＤに搭載した頭部の動きや方向を検出するセンサ情報に応じて、ユーザの頭の向きに応じた画像を表示させる。この画像表示制御により、ユーザは、あたかもＨＭＤの表示部に表示された画像の中に存在しているような感覚を味わうことができる。

【0032】

ＨＭＤ３０を装着したユーザが左を向いたときの画像が表示画像Ｐである。
ＨＭＤ３０を装着したユーザが右を向いたときの画像が表示画像Ｑである。
ＨＭＤ３０を装着したユーザは、体（頭）の向きを変更することで、周囲３６０度の画像を観察することができる。
なお、ヘッド・マウント・ディスプレイ（ＨＭＤ）３０にも、スピーカ３５が備えられており、表示画像に併せて記録された音声データが出力される。

【0033】

［２．指定の画像表示方式を選択して画像表示処理を実行する構成の概要について］
図１、図２を参照して説明したパノラマ画像や、全天球画像や全方位画像等を表示部に表示する際には、撮影された様々な方向の画像の中から一部の画像のみを切り出して表示する処理が実行される。
この画像切り出しを伴う表示処理の方式には、複数の異なる方式がある。
例えば、大きく分類すると、
透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式、
魚眼（広角）表示（ｆｉｓｈ ｅｙｅ）方式、
などがある。

【0034】

透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式は、図３（ａ）に示すように、ある中心点Ｏを基準点として射影される撮影画像ＡＢＣＤを表示画像ＸＹＺＷに変換するものである。魚眼（広角）表示（ｆｉｓｈ ｅｙｅ）方式は、魚眼レンズを適用した画像射影変換方式であり、図３（ｂ）に示すように、画像を仮想球面の中心点Ｏを基準点として、仮想球面上に投影して、さらに、投影画像を表示用の平面画像に変換する方式である。
なお、魚眼レンズを適用した射影変換方式には、立体射影、等距離射影、等立体角射影、正射影等、様々な方式がある。

【0035】

一般的に、表示装置、例えば、ＰＣ、携帯端末、ＨＭＤ等の表示装置には、所定の表示方式を実行するアプリケーション（プログラム）が格納されており、このアプリ（アプリケーション）に従って選択された表示方式に従って表示処理が実行される。
しかし、この各アプリが選択する表示方式は、コンテンツ製作者の意図、すなわちコンテンツ製作者が見てほしい画像を実現する表示方式に一致するとは限らない。

【0036】

コンテンツ製作者が想定している表示方式と異なる表示方式を利用して画像表示が実行されると、コンテンツ製作者の意図した「見てほしい画像」を、ユーザ（観察者）は見ることができないという問題が発生する。
以下、この問題点を解決する本開示の構成について説明する。
以下において説明する本開示の情報処理装置は、全方位画像等、ユーザの操作や動作に応じて様々な方向の画像を出力する画像表示処理に際して、最適な表示方式、例えば、コンテンツ製作者が見てほしい画像を表示する表示方式を選択して実行することを可能とする。

【0037】

まず、本開示の情報処理装置の実行する処理の概要について説明する。
図１、図２を参照して説明したパノラマ画像や、全天球画像や全方位画像等を表示部に表示する情報処理装置としては、例えば、以下のような種類（デバイスタイプ）がある。
（ａ）ユーザ操作（マウス、タッチパネル操作、スワイプ、リモコン）によって表示画像を移動、変更する装置
（ａ１）ＰＣ
（ａ２）タブレット端末
（ａ３）携帯端末
（ａ４）ＴＶ

【0038】

（ｂ）ユーザ（観察者）またはデバイス（表示装置）の動き、向き等の検出センサからの検出情報に応じて表示画像を移動、変更する装置
（ｂ１）外部が全く見えないタイプの没入型ＨＭＤ（ヘッド・マウント・ディスプレイ）
（ｂ２）外部も透けて見えるタイプのグラス型ＨＭＤ（ヘッド・マウント・ディスプレイ）
（ｂ３）モバイル機器等の携帯端末（モーションセンサで画面移動を行うことを可能とした機器）

【0039】

これらの様々な情報処理装置の表示部に、パノラマ画像、全天球画像、全方位画像等を表示する際、情報処理装置のデータ処理部は、画像に対応して設定されたメタデータを読み込み、メタデータに指定された表示方式を適用して表示処理を実行する。
メタデータに記録される指定方式としては、例えば以下の方式がある。
（１）変換せず、すべて表示する無変換全表示方式
（２）透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式、
（３）魚眼を２つ使い、３６０度すべてを表示する方式、
（４）魚眼（広角）表示（立体射影：Ｓｔｅｒｅｏｇｒａｈｉｃ）方式、
（５）魚眼（広角）表示（等距離射影：Ｅｑｕｉｄｉｓｔａｎｔ）方式、
（６）魚眼（広角）表示（等立体角射影：Ｗｑｕｉｓｏｌｉｄ ａｎｇｌｅ）方式、
（７）魚眼（広角）表示（正射影：Ｏｒｔｈｏｇｒａｐｈｉｃ）方式、
（８）表示方式を限定せず、情報処理装置、またはユーザ指定を許容する設定、
例えば、これら（１）〜（８）のいずれかの指定情報を画像対応のメタデータとして記録して情報処理装置に画像とともに提供する。

【0040】

情報処理装置は、画像表示に際して、表示画像に対応付けられたメタデータを参照して、メタデータに記録された指定方式に従って表示処理を実行する。
なお、メタデータは、例えば、以下のいずれかのファイルに記録する。
（１）ＡＶコンテンツの格納ファイルとして規定されるＭＰ４ファイル、
（２）ＭＰＥＧ−ＤＡＳＨ規格において規定されたシグナリングデータ（メタデータ）を構成する１つのマニフェストファイルであるＭＰＤ［メディア・プレゼンテーション・ディスクリプション（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）］ファイル、
上記ＭＰ４ファイル、またはＭＰＤファイルに格納して、画像表示を実行するユーザ装置（情報処理装置）に提供される。

【0041】

以下の２つの実施例について、順次、説明する。
（実施例１）ＭＰ４ファイルにデバイスの利用すべき画像表示方式を規定した実施例
（実施例２）ＭＰＤファイルにデバイスの利用すべき画像表示方式を規定した実施例

【0042】

［３．（実施例１）ＭＰ４ファイルにデバイスの利用すべき画像表示方式を規定した実施例について］
まず、実施例１としてＭＰ４ファイルにデバイスの利用すべき画像表示方式を規定した実施例について説明する。

【0043】

図４は、実施例１に従って本開示の画像表示制御を実行する情報処理装置７０、および情報処理装置７０に対して画像および音声データを含むコンテンツを提供するサーバ５０と、メディア６０を示した図である。

【0044】

全天球画像や全方位画像、あるいはパノラマ画像等の画像データと音声データは、例えば図４に示すサーバ５０から情報処理装置７０に提供される。または、図４に示すメディア６０から情報処理装置７０に提供される。

【0045】

サーバ５０には、例えば放送局等の放送サーバ５１、その他のデータ配信サーバ５２が含まれる。
コンテンツは、放送波やインターネット等のネットワークを介して情報処理装置７０に送信される。
情報処理装置７０は、放送波やインターネット等のネットワークを介してサーバ５０から送信されるコンテンツを受信し再生する。

【0046】

また、メディア６０には、情報処理装置に装着されるディスク、フラッシュメモリ、ハードディスク等の様々なメディアが含まれる。
情報処理装置７０は、これらのメディアに記録されたコンテンツを読み取り再生する。

【0047】

コンテンツ再生を行なう情報処理装置は、例えばＴＶ７１、ＰＣ７２、携帯端末７３、ヘッド・マウント・ディスプレイ（ＨＭＤ）７４等であり、画像表示部、音声出力部（スピーカ）を備えた装置である。

【0048】

サーバ５０、あるいはメディア６０から情報処理装置７０に提供されるコンテンツは、全天球画像、または全方位画像、あるいはパノラマ画像等、様々な方向の画像を選択的に表示可能な画像データと音声データを含むコンテンツである。
このコンテンツは、例えばＭＰ４ファイル８１に格納されて提供される。

【0049】

ＭＰ４ファイル８１は、ＩＳＯベースメディアファイルフォーマットに従ってデータが記録されたファイルである。
ＩＳＯベースメディアファイルフォーマットは、ＩＳＯ／ＩＥＣ１４４９６−１２で規定されたデータフォーマットであり、例えばフラッシュメモリ等に対する記録データ、あるいは、放送波やネットワークを介した送信データファイルの格納データとして適したデータフォーマットである。

【0050】

ＩＳＯベースメディアファイルフォーマットは、例えば、画像（Ｖｉｄｅｏ）、音声（Ａｕｄｉｏ）、字幕（Ｓｕｂｔｉｔｌｅ）等、コンテンツ構成データである符号化データや、これらのデータに関するメタデータ（属性情報）を記録媒体（メディア）に記録する際に利用されている。さらに、放送波やネットワークを介して伝送するデータのデータ格納フォーマットとしても利用されている。

【0051】

昨今の多くの携帯端末は、ＩＳＯベースメディアファイルフォーマットに従って記録されたＭＰ４データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合、ＭＰ４形式で記録することが求められる場合が多い。

【0052】

図５、図６を参照して、ＩＳＯベースメディアファイルフォーマットの概要について説明する。
図５には、ＩＳＯ／ＩＥＣ１４４９６−１２で規定されたＩＳＯベースメディアファイルフォーマットの例を示している。
図５に示すＭＰ４ファイルは、ＩＳＯベースメディアファイルフォーマットに従ったデータの記録あるいは再生処理における１つの処理単位として設定されるファイルである。

【0053】

ＭＰ４ファイルは、ボックス（ｂｏｘ）単位の領域設定がなされ、各ボックスには、ボックス単位で定義されたデータが格納される。
各ボックスは、ボックスサイズ（ｂｏｘ−ｓｉｚｅ）、ボックスタイプ（ｂｏｘ−ｔｙｐｅ）、ボックスデータ（ｂｏｘ−ｄａｔａ）の各領域を有する。
ボックスサイズ（ｂｏｘ−ｓｉｚｅ）には、ボックスのデータ長（バイトサイズ）が記録される。
ボックスタイプ（ｂｏｘ−ｔｙｐｅ）には、ボックスに格納するデータの種類が記録される。
ボックスデータ（ｂｏｘ−ｄａｔａ）には、ボックスタイプで示される種類のデータが記録される。

【0054】

図５に示すＭＰ４ファイルには、以下のタイプのボックスが設定される。
ｍｏｏｖボックス、
ｔｒａｋボックス、
ｍｄａｔボックス、
上記の各ボックスが設定される。

【0055】

画像、音声、字幕等の再生対象データである実データはｍｄａｔボックスに格納される。
また、ｍｄａｔボックスに格納したデータに関する属性情報、再生制御情報等のメタデータは、ｍｏｏｖボックス内のｔｒａｋボックスに格納される。

【0056】

ｍｏｏｖボックスは、ＭＰ４ファイルのｍｄａｔボックスに格納されたデータのメタデータ（再生制御情報や属性情報）の格納領域として設定されるボックスである。
ｍｏｏｖボックス内には、１つ以上のｔｒａｋボックスが設定される。ｔｒａｋボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データのメタデータを格納する。

【0057】

図６を参照して、ＭＰ４ファイルに対するデータ格納構成例について説明する。ＭＰ４ファイルには、前述したように以下の各ボックスが設定される。
ｍｏｏｖボックス、
ｔｒａｋボックス、
ｍｄａｔボックス、
上記の各ボックスが設定される。

【0058】

ｍｄａｔボックスには、例えば、
（ａ）画像
（ｂ）音声
（ｃ）字幕
これらのデータを格納する。

【0059】

ＩＳＯベースメディアファイルフォーマットのデータ部であるｍｄａｔボックスの格納データは、基本データ単位としてのサンプル（ｓａｍｐｌｅ）に区分される。
１つのｍｄａｔボックスには画像サンプルのみの集合、あるいは音声サンプルのみの集合、または字幕サンプルのみの集合、いずれか同一種類のデータサンプルの集合が格納されることになる。

【0060】

ｍｏｏｖボックスは、ＭＰ４ファイルのｍｄａｔボックスに格納されたデータのメタデータ（再生制御情報や属性情報）の格納領域である。
ｍｏｏｖボックス内には、１つ以上のｔｒａｋボックスが設定される。ｔｒａｋボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データのメタデータを格納する。

【0061】

図６に示すｔｒａｋ（Ｖｉｄｅｏ）ボックスは、画像データに関する属性情報や制御情報を格納した画像対応メタデータ格納ボックスである。
ｔｒａｋ（Ａｕｄｉｏ）ボックスは、音声データに関する属性情報や制御情報を格納した画像対応メタデータ格納ボックスである。
ｔｒａｋ（Ｓｕｂｔｉｔｌｅ）ボックスは、字幕データに関する属性情報や制御情報を格納した画像対応メタデータ格納ボックスである。

【0062】

なお、ＭＰ４ファイルに格納される再生データに複数の異なる画像データ、例えば２Ｋ画像、４Ｋ画像等が含まれる場合には、これらの画像種類単位の制御情報をｔｒａｋ（Ｖｉｄｅｏ）ボックスに記録することが可能である。

【0063】

また、ＭＰ４ファイルの格納音声データに複数の異なる音声データ、例えば日本語音声、英語音声等が含まれる場合には、これらの音声種類に応じた音声チャンネル単位の個別の制御情報をｔｒａｋ（Ａｕｄｉｏ）ボックスに記録することが可能である。
また、ＢＧＭ、ナレーション、被写体（オブジェクト）音声等についても、これら各音声チャンネル（音声出力オブジェクトも含む）単位の個別の制御情報をｔｒａｋ（Ａｕｄｉｏ）ボックスに記録することが可能である。

【0064】

次に、図７を参照して、ｔｒａｋ（Ｖｉｄｅｏ）ボックスに記録される画像対応の具体的な制御情報記録例について説明する。
図７に示す画像表示制御情報は、パノラマ画像等、様々な方向の画像を選択的に表示することを可能とした画像データを表示部に表示する情報処理装置７０に提供される画像表示制御情報である。
具体的には、ＭＰ４ファイルに格納された画像データ（パノラマ画像、全天球画像、全方向画像等）の画像表示に際して、以下のいずれの表示方式を実行するかを決定するために利用される制御情報である。
（１）変換せず、すべて表示する無変換全表示方式
（２）透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）方式、
（３）魚眼を２つ使い、３６０度すべてを表示する方式、
（４）魚眼（広角）表示（立体射影：Ｓｔｅｒｅｏｇｒａｈｉｃ）方式、
（５）魚眼（広角）表示（等距離射影：Ｅｑｕｉｄｉｓｔａｎｔ）方式、
（６）魚眼（広角）表示（等立体角射影：Ｗｑｕｉｓｏｌｉｄ ａｎｇｌｅ）方式、
（７）魚眼（広角）表示（正射影：Ｏｒｔｈｏｇｒａｐｈｉｃ）方式、
（８）表示方式を限定せず、情報処理装置、またはユーザ指定を許容する設定、
例えば、これら（１）〜（８）のどの方式に従った画像表示を実行するかについて決定するための制御情報である。

【0065】

ｔｒａｋ（Ｖｉｄｅｏ）ボックスに記録される制御情報は、図７に示すようなデータとして記録される。
すなわち、例えば、以下のデータである。

【0066】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＰｒｏｊｅｃｔｉｏｎＴｙｐｅ ｅｘｔｅｎｄｓ
ＦｕｌｌＢｏｘ（'ＰＪＴＴ'）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｄｅｖｉｃｅ＿ｃｏｕｎｔ；
ｆｏｒ（ｉ＝１；ｉ＜＝ｄｅｖｉｃｅ＿ｃｏｕｎｔ；ｉ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（７）ｄｅｖｉｃｅ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１）ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｄｅｆａｕｌｔ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｄｅｆａｕｌｔ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ；
ｉｆ（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ＿ｎｕｍ；
ｆｏｒ（ｊ＝１；ｊ＜＝ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ＿ｎｕｍ；ｊ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ；
｝
｝
｝
｝

【0067】

図７および上記に示す画像表示方式を指定する制御情報には、
（ａ）デバイスタイプ別指定情報９０、
（ｂ）ユーザ選択許容情報９６、
これら（ａ），（ｂ）の各情報が含まれる。

【0068】

デバイスタイプ別指定情報９０は、ＰＣ、ヘッド・マウント・ディスプレイ（ＨＭＤ）等のデバイスの種類（タイプ）に応じた表示方式の指定情報を記録した領域である。
デバイスタイプ別指定情報９０には、１以上のデバイスタイプ単位の表示方式が繰り返し記録されるループ領域である。
例えば、
ＰＣと、タブレット端末に対する指定表示方式を第１ループに記録し、
ＨＭＤに対する指定表示方式を第２ループとして記録するといった設定で、各デバイスタイプに応じた表示方式の指定情報が記録される。

【0069】

デバイスタイプ別指定情報９０内の「表示方式指定対象となるデバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）９２」に記録されたデバイスタイプ識別子に対応するデバイスは、そのデバイスタイプ別指定情報９０の記録領域に指定された表示方式を適用して画像表示を実行することが要求される。

【0070】

ユーザ選択許容情報９６は、デバイスタイプ別指定情報９０内の「ユーザ選択可否フラグ９３（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）」の設定が、ユーザ選択を許容している設定値の場合に利用され、ユーザが自由に選択できる表示方式を記録した領域である。
「ユーザ選択可否フラグ９３（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）」の設定が、ユーザ選択を許容している設定値の場合、ユーザ選択許容情報９６に記録された選択肢の中から、ユーザが自由に表示方式を決定することができる。

【0071】

以下、図７に示す画像表示方式制御情報の各記録データの詳細について説明する。
図７に示す制御データ中の、
「ｄｅｖｉｃｅ＿ｃｏｕｎｔ」
上記データは、図７に示すように、
「デバイス区分数（ループ数）９１」である。すなわち、デバイスタイプ別指定情報９０に記録された「デバイス区分数（ループ数）９１」である。
デバイスタイプとは、画像表示を行う情報処理装置の種別であり、ＰＣ、ＨＭＤ等の種類に相当する。

【0072】

例えば、デバイスタイプ別指定情報９０が以下の２つのループから構成されているとする。
（第１ループ）ＰＣと、タブレット端末に対する指定表示方式、
（第２ループ）ＨＭＤに対する指定表示方式、
このように、２つのループが記録されている場合、「デバイス区分数（ループ数）（ｄｅｖｉｃｅ＿ｃｏｕｎｔ）９１」は、
２
となる。

【0073】

また、図７に示す記制御データ中の、
「ｄｅｖｉｃｅ＿ｔｙｐｅ」
上記データは、図７に示すように、
「表示方式指定対象となるデバイスタイプ９２」である。
デバイスタイプの設定値とデバイスタイプの対応関係の具体例について、図８を参照して説明する。

【0074】

図８に示すように、デバイスタイプ設定値と、デバイスのタイプ（種類）との対応は、以下の通りである。
デバイスタイプ設定値＝０：デバイス指定なし：全デバイスで利用可（他に０以外の値が併記されている場合は、併記された設定値に対応するデバイス以外のデバイスで利用可）
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］
デバイスタイプ設定値＝２：グラス型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像に併せてＨＭＤを透過した外部の景色も併せて観察可能なＨＭＤ］
デバイスタイプ設定値＝３：ユーザによる画面操作（マウス、タッチ操作等）によって画像移動を可能としたユーザ画面操作型デバイス［ＰＣ、タブレット端末、携帯端末等］
デバイスタイプ設定値＝４：ユーザによるデバイス移動操作（デバイスを振る等のモーション操作等）によって画像移動を可能としたユーザモーション操作型デバイス［タプレット端末、携帯端末等］

【0075】

例えば、デバイスタイプ別指定情報９０の第１ループが、ＨＭＤに対する指定表示方式である場合、
その第１ループの「表示方式指定対象となるデバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）９２」は、
デバイスタイプ設定値＝１，２
となる。
デバイスタイプ設定値＝１，２に対応するＨＭＤは、以下に記録された表示方式を適用して表示処理を実行することが要求される。

【0076】

なお、図８に示す対応関係の設定は一例である。図８に示す対応関係と異なる設定も可能であり、また図８に示すデバイス種類以外のデバイスについて設定値を設定する構成としもてよい。

【0077】

図７に示す記制御データ中の、
「ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ」
上記データは、図７に示すように、
「ユーザ選択可否フラグ９３」である。
これは、表示方式をユーザが選択可能か否かを示すフラグである。例えば、
ユーザ選択可否フラグ＝１、
ユーザ選択可否フラグ＝０、
これらのフラグ設定がある。

【0078】

ユーザ選択可否フラグ＝１の場合、図７に示す、
「ユーザ指選択可能表示方式（ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９６」、
「ユーザ選択可能表示領域対角角度（ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９７」
これらのデータ記録領域に設定された表示方式、および表示領域対角角度から、ユーザが選択した設定で表示処理を実行することが可能となる。

【0079】

図７に示す記制御データ中の、
「ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ」
上記データは、図７に示すように、
「指定表示方式９４」である。
指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）の設定値と表示方式の対応関係の具体例について、図９を参照して説明する。

【0080】

図９に示すように、指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）の設定値と表示方式の対応関係は、以下の通りである。
指定表示方式設定値＝０：指定なし［情報処理装置（表示装置）側で決定した表示方式を利用可］
指定表示方式設定値＝１：画像をそのまま表示（画像変換を行なわない）
指定表示方式設定値＝２：透視投影方式
指定表示方式設定値＝３：２つの魚眼を利用した３６０度画像全表示方式
指定表示方式設定値＝４：魚眼（広角）表示方式［＝立体射影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ）表示方式］
指定表示方式設定値＝５：魚眼（広角）表示方式［＝等距離射影（Ｅｑｕｉｄｓｔａｎｔ）表示方式］
指定表示方式設定値＝６：魚眼（広角）表示方式［＝等立体角射影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ）表示方式］
指定表示方式設定値＝７：魚眼（広角）表示方式［＝正射影（Ｏｒｔｈｏｇｒａｐｈｉｃ）表示方式］

【0081】

なお、図９に示す設定は一例である。図９に示す設定と異なる設定も可能である。また図９に示す表示方式以外の表示方式について設定値を設定する構成としもてよい。

【0082】

図７に示す記制御データ中の、
「ｄｉａｇｏｎａｌ＿ａｎｇｌｅ」
上記データは、図７に示すように、
「表示領域対角角度９５」である。
表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）は、図８に示す表示方式（ｃ）２：透視投影方式〜（ｈ）７：魚眼（広角）表示方式において、規定される表示領域対角角度を規定した領域である。
図８に示す表示方式（ｃ）２：透視投影方式〜（ｈ）７：魚眼（広角）表示方式を実行する場合、表示領域対角角度を指定することが必要であり、この指定角度情報が記録される。
図１０に透視投影方式における対角角度（角度ＢＯＤ）、図１１に魚眼（広角）方式における対角角度（角度ＢＯＤ）の例を示す。

【0083】

図７に示す記制御データ中の、
「ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ」
上記データは、図７に示すように、
「ユーザ選択可能表示方式９７」である。
また、図７に示す記制御データ中の、
「ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ」
上記データは、図７に示すように、
「ユーザ選択可能表示領域対角角度９８」である。

【0084】

前述したように、ユーザ選択許容情報９６は、デバイスタイプ別指定情報９０内の「ユーザ選択可否フラグ９３（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）」の設定が、ユーザ選択を許容されることを示す設定値の場合に利用され、ユーザが自由に選択できる表示方式を記録した領域である。
「ユーザ選択可否フラグ９３（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）」の設定が、ユーザ選択を許容している設定値の場合、ユーザ選択許容情報９６の、
「ユーザ選択可能表示方式９７」に記録された表示方式選択肢の中から、ユーザが自由に表示方式を決定することができる。
同様に、「ユーザ選択可能表示領域対角角度９８」に記録された表示領域対角角度選択肢の中から、ユーザが自由に表示領域対角角度を決定することができる。

【0085】

図７に示す画像表示制御情報は、先に図５、図６を参照して説明したＭＰ４ファイルの画像（Ｖｉｄｅｏ）対応の制御情報（メタデータ）記録領域であるｔｒａｋボックスに記録される。
画像表示制御情報記録領域であるｔｒａｋボックス内には、様々な制御情報を記録することができる。

【0086】

図７に示す画像表示制御情報を記録するｔｒａｋボックス内に設定する記録位置の１つの例について、図１２を参照して説明する。

【0087】

（制御情報格納例１）
図１２に示す制御情報格納例１について説明する。
図１２に示す例は、ＭＰ４ファイルの画像表示制御情報格納ボックスであるｔｒａｋボックス内のユーザデータを格納するユーザデータ（ｕｄｔａ）ボックス内の下位ボックスとして画像表示制御情報（Ｐｒｏｊｅｃｔｉｏｎ Ｔｙｐｅ）記録ボックスを設定した例である。
図７に示す制御情報を図１２に示す画像表示制御情報（Ｐｒｏｊｅｃｔｉｏｎ Ｔｙｐｅ）記録ボックスに記録する。

【0088】

ＭＰ４ファイル８１には、例えば図１２を参照して説明したメタデータ記録領域に画像表示制御情報を記録することができる。
以下、ＭＰ４ファイルに対する具体的な制御情報記録例として、以下の３つの記録例について、順次、説明する。
（画像表示制御情報記録例１）ＭＰ４ファイルにコンテンツ単位の表示方式指定情報を記録。
（画像表示制御情報記録例２）ＭＰ４ファイルに表示デバイス単位の表示方式指定情報を記録。
（画像表示制御情報記録例３）ＭＰ４ファイルにユーザが選択できる方式を制限する表示方式指定情報を記録。

【0089】

以下、各画像表示制御情報記録例について説明する。
［３−１．（画像表示制御情報記録例１）ＭＰ４ファイルにコンテンツ単位の表示方式指定情報を記録する記録例について］
まず、画像表示制御情報記録例１として、ＭＰ４ファイルにコンテンツ単位の表示方式指定情報を記録する記録例について説明する。

【0090】

ＭＰ４ファイルにコンテンツ単位の表示方式指定情報を記録する場合、ＭＰ４ファイルの記録データの設定は、以下のような設定となる。
デバイス区分数（ループ数）（ｄｅｖｉｃｅ＿ｃｏｕｎｔ）＝１
デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝０（指定なし）、
これらの設定とする。

【0091】

さらに、図７に示す画像表示制御情報の記録データにおいて、
「デバイスタイプ別指定情報９０」記録領域には、
１つのループが設定され、全てのデバイスに共通の１つの記録方式が記録される。
図７に示す記制御データ中の、
「指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９４」には、図９に示すいずれかの設定値を記録する。

【0092】

すなわち、
指定表示方式設定値＝０：指定なし［情報処理装置（表示装置）側で決定した表示方式を利用可］
指定表示方式設定値＝１：画像をそのまま表示（画像変換を行なわない）
指定表示方式設定値＝２：透視投影方式
指定表示方式設定値＝３：２つの魚眼を利用した３６０度画像全表示方式
指定表示方式設定値＝４：魚眼（広角）表示方式［＝立体射影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ）表示方式］
指定表示方式設定値＝５：魚眼（広角）表示方式［＝等距離射影（Ｅｑｕｉｄｓｔａｎｔ）表示方式］
指定表示方式設定値＝６：魚眼（広角）表示方式［＝等立体角射影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ）表示方式］
指定表示方式設定値＝７：魚眼（広角）表示方式［＝正射影（Ｏｒｔｈｏｇｒａｐｈｉｃ）表示方式］
これらいずれかの設定値が記録される。

【0093】

さらに、図７に示す記制御データ中の、
「表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９５」には、必要に応じて、指定の表示領域対角角度データが記録される。

【0094】

画像表示を実行するＰＣ、ＨＭＤ等の表示デバイス（情報処理装置）は、画像表示制御情報を解釈して、指定された表示方式を実行して画像表示処理を実行する。

【0095】

［３−２．（画像表示制御情報記録例２）ＭＰ４ファイルに表示デバイス単位の表示方式指定情報を記録する記録例について］
次に、画像表示制御情報記録例２として、ＭＰ４ファイルに表示デバイス単位の表示方式指定情報を記録する記録例について説明する。

【0096】

ＭＰ４ファイルに表示デバイス単位の表示方式指定情報を記録する場合、ＭＰ４ファイルの記録データの設定は、例えば以下のような設定となる。
デバイス区分数（ループ数）（ｄｅｖｉｃｅ＿ｃｏｕｎｔ）＝２
デバイスタイプ別指定情報中に以下の２つのループを設定する。
デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝１（ＨＭＤ）、
デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝０（指定なし）、
これらの設定とする。

【0097】

デバイスタイプ別指定情報の第１ループには、
デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝１（ＨＭＤ）に対応する記録方式指定情報を記録する。
図７に示す記制御データ中の、
「指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９４」には、図９に示すいずれかの設定値を記録する。
さらに、図７に示す記制御データ中の、
「表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９５」には、必要に応じて、指定の表示領域対角角度データを記録する。

【0098】

また、デバイスタイプ別指定情報の第２ループには、
デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝０（指定なし）に対応する記録方式指定情報を記録する。
図７に示す記制御データ中の、
「指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９４」には、図９に示すいずれかの設定値を記録する。
さらに、図７に示す記制御データ中の、
「表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９５」には、必要に応じて、指定の表示領域対角角度データを記録する。

【0099】

画像表示を実行する表示デバイス（情報処理装置）がＨＭＤである場合は、デバイスタイプ別指定情報の第１ループに記録された指定方式、すなわち、
「指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９４」、
「表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９５」、
これらの指定データに従って、画像表示処理を実行する。

【0100】

画像表示を実行する表示デバイス（情報処理装置）がＨＭＤ以外である場合は、デバイスタイプ別指定情報の第２ループに記録された指定方式、すなわち、
「指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９４」、
「表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９５」、
これらの指定データに従って、画像表示処理を実行する。

【0101】

［３−３．（画像表示制御情報記録例３）ＭＰ４ファイルにユーザが選択できる方式を制限する表示方式指定情報を記録する記録例について］

【0102】

次に、画像表示制御情報記録例３として、ＭＰ４ファイルにユーザが選択できる方式を制限する表示方式指定情報を記録する記録例について説明する。

【0103】

ＭＰ４ファイルにユーザが選択できる方式を制限する表示方式指定情報を記録する場合、ＭＰ４ファイルの記録データの設定は、例えば以下のような設定となる。
デバイスタイプ別指定情報９０内の「ユーザ選択可否フラグ９３（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）」の設定を、ユーザ選択を許容する設定値とする。
ユーザ選択可否フラグ＝１、

【0104】

さらに、ユーザ選択許容情報９６に、ユーザの選択可能な方式等を記録する。
「ユーザ選択可能表示方式（ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９７」、
「ユーザ選択可能表示領域対角角度（ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９８」、
これらの各データ記録領域に、許容する表示方式と表示領域対角角度等を記録する。

【0105】

画像表示を実行する表示デバイス（情報処理装置）は、
「ユーザ選択可能表示方式（ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）９７」、
「ユーザ選択可能表示領域対角角度（ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）９８」、
これらの領域に記録された方式、角度からユーザが選択した方式と角度を適用して画像表示処理を実行する。

【0106】

［４．ＭＰ４ファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて］
次に、情報処理装置において実行する画像表示制御処理シーケンス、すなわち、ＭＰ４ファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて説明する。

【0107】

図１３、図１４に示すフローチャートは、ユーザ装置である情報処理装置７０において実行する画像表示制御処理シーケンスを説明するフローチャートである。
情報処理装置７０は、表示部（ディスプレイ）、音声出力部（スピーカ）を有する。
情報処理装置７０は、例えばＴＶ、ＰＣ、携帯端末、ヘッド・マウント・ディスプレイ（ＨＭＤ）等である。

【0108】

情報処理装置７０は、例えば図４に示すサーバ５０、あるいはメディア６０からＭＰ４ファイルを取得し、ＭＰ４ファイルに記録されたコンテンツを再生する。
再生コンテンツは、全天球画像、全方向画像、パノラマ画像等、様々な方向の画像を観察可能とした画像を含み、さらに画像に併せて再生される音声情報を含むコンテンツである。

【0109】

画像データ、音声データは、ＭＰ４ファイルに格納され、さらにこれらの画像データ、音声データに対応する制御情報もＭＰ４ファイルに格納されている。
画像表示制御情報には、先に図７を参照して説明した制御情報が含まれる。

【0110】

情報処理装置７０において実行する処理シーケンスについて図１３、図１４に示すフローチャートを参照して説明する。
なお、図１３、図１４に示すフローチャートに従った処理は、情報処理装置７０において実行される。情報処理装置７０はプログラム実行機能を持つＣＰＵを備えたデータ処理部を有し、データ処理部の制御下で各処理が実行される。なお、情報処理装置７０のハードウェア構成例については後段で説明する。

【0111】

図１３、図１４に示すフローの各ステップの処理について説明する。
（ステップＳ１０１）
情報処理装置のデータ処理部は、ステップＳ１０１において、ＭＰ４ファイルを取得する。

【0112】

（ステップＳ１０２）
次に、情報処理装置のデータ処理部は、ステップＳ１０２において、取得したＭＰ４ファイルから、画像表示制御情報を取得する。
例えば、図７を参照して説明した画像表示制御情報である。

【0113】

（ステップＳ１０３）
次に、情報処理装置のデータ処理部は、ステップＳ１０３において、ステップＳ１０２で取得した画像表示制御情報から、デバイスタイプ別指定情報を取得する。
図７を参照して説明したデバイスタイプ別指定情報９０である。

【0114】

先に図７を参照して説明したように、デバイスタイプ別指定情報９０は、ＰＣ、ヘッド・マウント・ディスプレイ（ＨＭＤ）等のデバイスの種類（タイプ）に応じた表示方式の指定情報を記録した領域である。
デバイスタイプ別指定情報９０には、１以上のデバイスタイプ単位の表示方式が繰り返し記録されるループ領域である。
例えば、
ＰＣと、タブレット端末に対する指定表示方式を第１ループに記録し、
ＨＭＤに対する指定表示方式を第２ループとして記録するといった設定で、各デバイスタイプに応じた表示方式の指定情報が記録される。

【0115】

（ステップＳ１０４）
次に、情報処理装置のデータ処理部は、ステップＳ１０４において、デバイスタイプ別指定情報に記録されたデバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）の設定値が自装置のデバイスタイプと一致するデータ記録領域（ループ）を選択する。

【0116】

（ステップＳ１０５）
次に、情報処理装置のデータ処理部は、ステップＳ１０５において、ステップＳ１０４で選択したデバイスタイプ別指定情報内のループに記録されたユーザ選択可否フラグ（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）の設定値がユーザ選択可を示すか否かを判定する。
ユーザ選択可の設定の場合は、ステップＳ２０１に進む。
ユーザ選択不可の設定の場合は、ステップＳ１０６に進む。

【0117】

（ステップＳ１０６）
ステップＳ１０４で選択したデバイスタイプ別指定情報内のループに記録されたユーザ選択可否フラグ（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）の設定値がユーザ選択不可の設定であった場合、ステップＳ１０６の処理を実行する。
情報処理装置のデータ処理部は、ステップＳ１０６において、デバイスタイプ別指定情報内の選択ループに記録された、
（ａ）指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）、
（ｂ）表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）
これら（ａ），（ｂ）の指定に従って、画像表示処理を実行する。

【0118】

（ステップＳ２０１）
一方、ステップＳ１０４で選択したデバイスタイプ別指定情報内のループに記録されたユーザ選択可否フラグ（ｕｓｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）の設定値がユーザ選択可の設定であった場合、ステップＳ２０１の処理を実行する。

【0119】

情報処理装置のデータ処理部は、ステップＳ２０１において、ユーザ選択許容情報領域に記録された、
（ａ）ユーザ選択可能表示方式（ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）、
（ｂ）ユーザ選択可能表示領域対角角度（ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）
これらの各データを取得し、これらの許容方式と許容角度情報を表示部に表示する。
すなわち、ユーザに希望の方式と角度を選択させるためのＵＩを提示する。

【0120】

（ステップＳ２０２）
次に、情報処理装置のデータ処理部は、ユーザの入力情報、すなわち、ユーザの希望する表示方式と表示領域角度情報を入力する。

【0121】

（ステップＳ２０３）
次に、情報処理装置のデータ処理部は、ユーザの入力情報、すなわち、ユーザの希望する表示方式と表示領域角度情報に従って選択した方式と角度を適用して画像表示処理を実行する。

【0122】

［５．（実施例２）ＭＰＤに画像表示制御情報を記録した実施例について］
次に、実施例２としてＭＰＤに画像表示制御情報を記録した実施例について説明する。
図１５は、実施例２に従って本開示の画像表示制御を実行する情報処理装置７０、および情報処理装置７０に対して画像および音声データを含むコンテンツを提供するサーバ５０と、メディア６０を示した図である。

【0123】

全天球画像や全方位画像、あるいはパノラマ画像等の画像データと音声データは、図４に示すサーバ５０から送信、またはメディア６０から読み取られて情報処理装置７０に提供される。

【0124】

サーバ５０は、例えば放送局等の放送サーバ５１、その他のデータ配信サーバ５２が含まれ、放送波やインターネット等のネットワークを介して、様々なデータが情報処理装置７０に送信される。
情報処理装置７０は、放送波やインターネット等のネットワークを介してサーバ５０からの送信データを受信し再生する。

【0125】

メディア６０は、情報処理装置に装着されるディスク、フラッシュメモリ、ハードディスク等の様々なメディアである。
情報処理装置７０は、これらのメディアの記録データを読み出し、再生する。

【0126】

コンテンツ再生を行なう情報処理装置は、例えばＴＶ７１、ＰＣ７２、携帯端末７３、ヘッド・マウント・ディスプレイ（ＨＭＤ）７４等であり、画像表示部、音声出力部（スピーカ）を備えた装置である。

【0127】

サーバ５０、あるいはメディア６０から情報処理装置７０に提供されるコンテンツは、全天球画像、または全方位画像、あるいはパノラマ画像等、様々な方向の画像を選択的に表示可能な画像データと音声データを含むコンテンツである。
このコンテンツは、先に説明した実施例１と同様、例えばＭＰ４ファイル８１に格納されて提供される。

【0128】

先に説明した実施例１では、ＭＰ４ファイルのメタデータ格納領域であるｔｒａｋボックスに例えば図７を参照して説明したような画像表示制御情報を記録する構成とした。
本実施例２では、図１５に示すＭＰ４ファイル８１に格納された画像データに関する画像表示制御情報をＭＰ４ファイル８１と別のＭＰＤファイル８２に格納して情報処理装置７０に提供する。

【0129】

ＭＰＤ［メディア・プレゼンテーション・ディスクリプション（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）］ファイル８２は、ストリーミング配信コンテンツに関する規格であるＭＰＥＧ−ＤＡＳＨ規格において規定されたシグナリングデータ（メタデータ）を構成する１つのマニフェストファイルである。
ＭＰＤファイル８２は、動画や音声ファイルの管理情報であるメタデータを記述するためのマニフェストファイルである。
本実施例２は、このＭＰＤファイル８２に、ＭＰ４ファイル８１に格納された画像データに関する画像表示制御情報を記録する構成とした実施例である。

【0130】

ＭＰＤファイル８２は、例えばあるコンテンツの再生時間を細分化した時間区間であるピリオド（Ｐｅｒｉｏｄ）単位で、様々な制御データを記録することができる。

【0131】

図１６、図１７を参照してＭＰＤファイルの構成例について説明する。
図１６は、ＭＰＤフォーマットの一例を示す図である。
図１６に示すように、ＭＰＤは、画像や、音声それぞれのストリームごとに、以下の様々な規定範囲単位で属性等の情報や制御情報を記述可能である。
（１）時間軸上の区間を規定したピリオド（Ｐｅｒｉｏｄ）
（２）画像、音声等のデータ種類等を規定したアダプテーションセット（ＡｄａｐｔａｔｉｏｂＳｅｔ）
（３）画像、音声等のさらに下位の細分化データ種類を規定したリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）
（４）画像、音声のセグメント（ＡＶセグメント）単位の情報記録領域となるセグメントインフォ（ＳｅｇｍｅｎｔＩｎｆｏ）

【0132】

図１７は、ＭＰＤに記録されるＡＶセグメント対応の情報（制御情報や管理情報、属性情報など）を時系列に展開して示した図である。
左から右に時間が経過するものとする。この時間軸は、例えば情報処理装置におけるＡＶコンテンツの再生時間に対応する。

【0133】

ＡＶセグメントに対応する様々な情報がＭＰＤに記録される。なお、例えばサーバ５０から情報処理装置７０にＭＰＤファイル８２を提供する場合、ＭＰＤはシグナリングデータとして、再生対象実データであるＡＶセグメントを格納したＭＰ４ファイル８１に先行して送信される。

【0134】

情報処理装置７０は、ＭＰＤを解析して、再生対象実データであるＡＶセグメントを格納したＭＰ４ファイル８１のアクセス情報やコーデック情報を取得して、ＭＰ４ファイル８１に格納されたＡＶセグメントの再生準備を整えることが可能となる。

【0135】

ＭＰＤは、図１６を参照して説明したように、
（１）ピリオド（Ｐｅｒｉｏｄ）
（２）アダプテーションセット（ＡｄａｐｔａｔｉｏｂＳｅｔ）
（３）リプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）
（４）セグメントインフォ（ＳｅｇｍｅｎｔＩｎｆｏ）
これらの階層設定の下に、ＡＶセグメントに関する属性情報、制御情報等のメタデータ（シグナリングデータ）を記録する構成となっている。

【0136】

図１７は、これらのメタデータ記録領域を時間軸、およびデータ種類別に展開して示した図である。

【0137】

図１７には、一例としてピリオド１（Ｐｅｒｉｏｄ（１））、ピリオド２（Ｐｅｒｉｏｄ（２）の２つのピリオドを示し、さらに、ピリオド１（Ｐｅｒｉｏｄ（１））に以下の３つのアダプテーションセット（ＡｄａｐｔａｔｉｏｎＳｅｔ）を示している。
（Ｖ１１）画像対応情報記録領域であるアダプテーションセットＶ１１（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ｖ１１））
（Ａ１１）日本語音声対応情報記録領域であるアダプテーションセットＡ１１（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ａ１１））
（Ａ１２）英語音声対応情報記録領域であるアダプテーションセットＡ１２（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ａ１２））

【0138】

（Ｖ１１）画像対応情報記録領域であるアダプテーションセットＶ１１（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ｖ１１））は、異なる属性を持つストリーム単位の情報記録領域として、以下の２つのリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を有する。
（Ｖ１１１）低ビットレート画像対応の情報記録領域であるリプレゼンテーション（Ｖ１１１）（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（Ｖ１１１））
（Ｖ１１２）高ビットレート画像対応の情報記録領域であるリプレゼンテーション（Ｖ１１２）（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（Ｖ１１２））

【0139】

同様に、（Ａ１１）日本語音声像対応情報記録領域であるアダプテーションセットＡ１１（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ａ１１））は、以下のリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を有する。
（Ａ１１１）日本語音声対応の情報記録領域であるリプレゼンテーション（Ａ１１１）（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（Ａ１１１））
同様に、（Ａ１２）英語音声像対応情報記録領域であるアダプテーションセットＡ１２（ＡｄａｐｔａｔｉｏｂＳｅｔ（Ａ１２））は、以下のリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を有する。
（Ａ１２１）英語音声対応の情報記録領域であるリプレゼンテーション（Ａ１２１）（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（Ａ１２１））

【0140】

さらに、各リプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、セグメント単位で情報が記録可能な構成となっている。

【0141】

例えば、時刻ｔ１に高ビットレート画像と日本語音声を選択して再生する情報処理装置（クライアント）は、再生対象とする高ビットレート画像と日本語音声に関する情報をＭＰＤから選択して取得することになる。
この選択対象とするＭＰＤの記録情報が、図に示すセグメント領域２０１，２０２の情報となる。

【0142】

このように、受信装置は、シグナリングデータとして送信装置から送信されるＭＰＤから、自装置で再生対象とするデータ（セグメント）に対応する情報のみを選択して参照する。
このように、ＭＰＤには、データ種別、時間単位のセグメント対応情報を記録することができる。

【0143】

以下に説明する実施例２では、図１５に示すＭＰ４ファイル８１に、再生対象データである画像や音声データ（ＡＶセグメント）を格納し、ＭＰＤファイル８２に、ＭＰ４ファイル８１に格納した画像や音声データ（ＡＶセグメント）に関する制御情報を格納した実施例である。

【0144】

ＭＰＤにパノラマ画像等の画像表示制御情報を記録する場合、ＭＰＤの構成要素であるロールエレメント（Ｒｏｌｅ Ｅｌｅｍｅｎｔ）に新規の記述子（Ｄｅｓｃｒｉｐｔｏｒ）を準備する。画像制御情報対応のＵＲＩは、例えば、"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ"と"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ"とする。

【0145】

ＭＰＤには、以下の２つの区分（ａ），（ｂ）において各々、指定表示態様を記録する。
（ａ）デフォルト表示方式（ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）として、画像再生時に自動で選択される表示形式を記録する。
（ｂ）ユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）として、ユーザが選択可能な表示形式を記録する。
ＭＰＤには、これら２通りの区分各々に指定された記録方式情報を記録する。

【0146】

これらの各区分において、記録する指定値（Ｖａｌｕｅ）は、次のようなコンマ区切りの値とする。
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）
とした場合、
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）、
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）、
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）
とする。

【0147】

（ｘ，ｙ，ｚ）に設定する値は、以下の通りである。
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）には、先に図８を参照して説明した値を設定する。すなわち、
デバイスタイプ設定値＝０：デバイス指定なし：全デバイスで利用可（他に０以外の値が併記されている場合は、併記された設定値に対応するデバイス以外のデバイスで利用可）
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］
デバイスタイプ設定値＝２：グラス型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像に併せてＨＭＤを透過した外部の景色も併せて観察可能なＨＭＤ］
デバイスタイプ設定値＝３：ユーザによる画面操作（マウス、タッチ操作等）によって画像移動を可能としたユーザ画面操作型デバイス［ＰＣ、タブレット端末、携帯端末等］
デバイスタイプ設定値＝４：ユーザによるデバイス移動操作（デバイスを振る等のモーション操作等）によって画像移動を可能としたユーザモーション操作型デバイス［タプレット端末、携帯端末等］
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）には、これらの値（０〜４）のいずれかの値を設定する。

【0148】

ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）には、先に図９を参照して説明した値を設定する。すなわち、
指定表示方式設定値＝０：指定なし［情報処理装置（表示装置）側で決定した表示方式を利用可］
指定表示方式設定値＝１：画像をそのまま表示（画像変換を行なわない）
指定表示方式設定値＝２：透視投影方式
指定表示方式設定値＝３：２つの魚眼を利用した３６０度画像全表示方式
指定表示方式設定値＝４：魚眼（広角）表示方式［＝立体射影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ）表示方式］
指定表示方式設定値＝５：魚眼（広角）表示方式［＝等距離射影（Ｅｑｕｉｄｓｔａｎｔ）表示方式］
指定表示方式設定値＝６：魚眼（広角）表示方式［＝等立体角射影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ）表示方式］
指定表示方式設定値＝７：魚眼（広角）表示方式［＝正射影（Ｏｒｔｈｏｇｒａｐｈｉｃ）表示方式］
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）には、これらの値（０〜７）のいずれかの値を設定する。

【0149】

ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）は、図８に示す表示方式（ｃ）２：透視投影方式〜（ｈ）７：魚眼（広角）表示方式において規定される表示領域対角角度を記録する。
例えば、１８０、１２０等の角度情報を記録する。

【0150】

ＭＰＤに画像表示制御情報を記録した場合のＸＭＬデータの例を図１８、および以下に示す。

【0151】

＜ＭＰＤ＞
＜Ｐｅｒｉｏｄ＞
＜ＡｄａｐｔａｔｉｏｎＳｅｔ ｍｉｍｅ−ｔｙｐｅ＝"ｖｉｄｅｏ／ｍｐ４"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"１，２，１２０"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"１，４，１８０"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"１，５，１８０"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"３，２，１２０"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"３，４，１８０"＞
＜Ｒｏｌｅ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｓｃｈｅｍｅ／ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ" ｖａｌｕｅ＝"３，５，１８０"＞

＜Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＞
＜ＢａｓｅＵＲＬ＞ ｈｔｔｐ；／／ｆｏｏ．ｂａｒ／ｖｉｄｅｏ．ｍｐ４＜／ＢａｓｅＵＲＬ＞
＜／Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＞
＜／ＡｄａｐｔａｔｉｏｎＳｅｔ＞

＜ＡｄａｐｔａｔｉｏｎＳｅｔ ｍｉｍｅ−ｔｙｐｅ＝"ａｕｄｉｏ／ｍｐ４"＞
＜ＡｕｄｉｏＣｈａｎｎｅｌＣｏｎｆｉｇｕｒａｔｉｏｎ ｓｃｈｅｍｅＵｒｉ＝"ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３００３：３：ａｕｄｉｏ＿ｃｈａｎｎｅｌ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ：２０１１" ｖａｌｕｅ＝"２"＞
＜Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＞
＜ＢａｓｅＵＲＬ＞ ｈｔｔｐ；／／ｆｏｏ．ｂａｒ／ａｕｄｉｏ．ｍｐ４＜／ＢａｓｅＵＲＬ＞
＜／Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＞
＜／ＡｄａｐｔａｔｉｏｎＳｅｔ＞

＜／Ｐｅｒｉｏｄ＞
＜／ＭＰＤ＞

【0152】

図１８に示すように、ＭＰＤには、複数の記録要素であるエレメント（ロールエレメント）が記録される。各エレメントが、例えば特定のデバイスタイプに対して指定される表示方式、表示領域角度情報を記録したエレメントである。
各エレメントには、以下の設定値が記録される。
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）
とした場合、
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）２５１、
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）２５２、
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）２５３、

【0153】

例えば、第１番目のエレメントは、
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，２，１２０）
上記設定である。
これは、以下の指定情報を記録している。

【0154】

ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）＝１、
このｘ＝１は、図８に示す表から理解されるように、
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］
ＨＭＤに対する表示方式を規定したエレメントである。

【0155】

ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）＝２、
このｙ＝２は、図９に示す表から理解されるように、
指定表示方式設定値＝２：透視投影方式
この透視投影方式の指定情報である。

【0156】

ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）＝１２０、
これは、透視投影方式に適用する表示領域対角角度の指定情報であり、
表示領域対角角度を１２０度とする指定情報である。

【0157】

表示装置のタイプが、没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）である場合、ＨＭＤは、このエレメント記録情報に従い、
透視投影方式を適用し、
表示領域対角角度を１８０度に設定して表示処理を実行する。

【0158】

なお、図１８に示す例では、
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］
に関するエレメントが３通り、記録されている。すなわち、
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，２，１２０）
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，４，１８０）
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，５，１８０）
これら３つの設定値が記録されている。
これらの設定値の具体的利用態様は、たとえば以下の通りである。
例えば、デフォルト表示方式（ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）の場合は下記を利用する。
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，２，１２０）
また、ユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）の場合は下記を利用する。
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，４，１８０）
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）＝（１，５，１８０）

【0159】

このように同一デバイスタイプに対する設定値が複数記録されている場合は、これらの設定から１つを自由に選択して適用することが可能であることを意味する。
この例の場合、
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］は、以下の３つの設定からいずれかを選択して利用することができる。

【0160】

（設定１）
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）＝２：透視投影方式
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）＝１２０、
（設定２）
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）＝４：魚眼（広角）表示方式［＝立体射影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ）表示方式］
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）＝１８０、
（設定３）
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）＝５：魚眼（広角）表示方式［＝等距離射影（Ｅｑｕｉｄｓｔａｎｔ）表示方式］
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）＝１８０、

【0161】

デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］は、上記の３つの設定からいずれかを選択して利用することができる。

【0162】

［６．ＭＰＤファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて］
次に、情報処理装置において実行する画像表示制御処理シーケンス、すなわち、ＭＰＤファイルに記録された画像表示制御情報を利用した画像表示制御処理シーケンスについて説明する。

【0163】

図１９、図２０に示すフローチャートは、ユーザ装置である情報処理装置７０において実行する画像表示制御処理シーケンスを説明するフローチャートである。
情報処理装置７０は、表示部（ディスプレイ）、音声出力部（スピーカ）を有する。
情報処理装置７０は、例えばＴＶ、ＰＣ、携帯端末、ヘッド・マウント・ディスプレイ（ＨＭＤ）等である。

【0164】

情報処理装置７０は、例えば図４に示すサーバ５０、あるいはメディア６０からＭＰＤファイルを取得し、ＭＰＤファイルに記録されたコンテンツを再生する。
再生コンテンツは、全天球画像、全方向画像、パノラマ画像等、様々な方向の画像を観察可能とした画像を含み、さらに画像に併せて再生される音声情報を含むコンテンツである。

【0165】

画像データ、音声データは、ＭＰ４ファイルに格納され、さらにこれらの画像データ、音声データに対応する制御情報はＭＰＤファイルに格納されている。
情報処理装置７０において実行する処理シーケンスについて図１９、図２０に示すフローチャートを参照して説明する。
なお、図１９、図２０に示すフローチャートに従った処理は、情報処理装置７０において実行される。情報処理装置７０はプログラム実行機能を持つＣＰＵを備えたデータ処理部を有し、データ処理部の制御下で各処理が実行される。なお、情報処理装置７０のハードウェア構成例については後段で説明する。

【0166】

図１９、図２０に示すフローの各ステップの処理について説明する。
（ステップＳ３０１）
情報処理装置のデータ処理部は、ステップＳ３０１において、ＭＰＤファイルを取得する。

【0167】

（ステップＳ３０２）
次に、情報処理装置のデータ処理部は、ステップＳ３０２において、取得したＭＰＤファイルから、画像表示制御情報を取得する。
例えば、図１８を参照して説明した画像表示制御情報である。

【0168】

（ステップＳ３０３）
次に、情報処理装置のデータ処理部は、ステップＳ３０３において、ステップＳ３０２で取得した画像表示制御情報から、画像表示制御情報記録エレメント（ロールエレメント）を取得する。
図１８を参照して説明したロールエレメントである。

【0169】

先に図１８を参照して説明したように、ＭＰＤには、複数のロールエレメントが記録され、各々が、例えば特定のデバイスタイプに対して指定される表示方式、表示領域角度情報を記録したエレメントとなる。
すなわち、各エレメントには、以下の設定値が記録される。
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）
とした場合、
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）２５１、
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）２５２、
ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）２５３、
これらの各設定値が記録される。

【0170】

ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）２５１には、図８を参照して説明した設定値、すなわち、
デバイスタイプ設定値＝０：デバイス指定なし：全デバイスで利用可（他に０以外の値が併記されている場合は、併記された設定値に対応するデバイス以外のデバイスで利用可）
デバイスタイプ設定値＝１：没入型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像のみ観察可能なＨＭＤ］
デバイスタイプ設定値＝２：グラス型ヘッド・マウント・ディスプレイ（ＨＭＤ）［ＨＭＤ表示部の表示画像に併せてＨＭＤを透過した外部の景色も併せて観察可能なＨＭＤ］
デバイスタイプ設定値＝３：ユーザによる画面操作（マウス、タッチ操作等）によって画像移動を可能としたユーザ画面操作型デバイス［ＰＣ、タブレット端末、携帯端末等］
デバイスタイプ設定値＝４：ユーザによるデバイス移動操作（デバイスを振る等のモーション操作等）によって画像移動を可能としたユーザモーション操作型デバイス［タプレット端末、携帯端末等］
ｘ＝デバイスタイプ（ｄｅｖｉｃｅ＿ｔｙｐｅ）には、これらの値（０〜４）のいずれかの値が設定される。

【0171】

ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）には、先に図９を参照して説明した値、すなわち、
指定表示方式設定値＝０：指定なし［情報処理装置（表示装置）側で決定した表示方式を利用可］
指定表示方式設定値＝１：画像をそのまま表示（画像変換を行なわない）
指定表示方式設定値＝２：透視投影方式
指定表示方式設定値＝３：２つの魚眼を利用した３６０度画像全表示方式
指定表示方式設定値＝４：魚眼（広角）表示方式［＝立体射影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ）表示方式］
指定表示方式設定値＝５：魚眼（広角）表示方式［＝等距離射影（Ｅｑｕｉｄｓｔａｎｔ）表示方式］
指定表示方式設定値＝６：魚眼（広角）表示方式［＝等立体角射影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ）表示方式］
指定表示方式設定値＝７：魚眼（広角）表示方式［＝正射影（Ｏｒｔｈｏｇｒａｐｈｉｃ）表示方式］
ｙ＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）には、これらの値（０〜７）のいずれかの値が設定される。

【0172】

ｚ＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）は、図８に示す表示方式（ｃ）２：透視投影方式〜（ｈ）７：魚眼（広角）表示方式において規定される表示領域対角角度が記録される。例えば、１８０、１２０等の角度情報が記録される。

【0173】

ステップＳ３０３では、この設定値（ｘ，ｙ，ｚ）の記録されたエレメントを読み取る。

【0174】

（ステップＳ３０４）
次に、情報処理装置のデータ処理部は、ステップＳ３０４において、各エレメントに記録された設定値（ｘ，ｙ，ｚ）中の、
デバイスタイプ識別子（ｘ）が、自装置のデバイスタイプと一致するエレメントを選択する。

【0175】

（ステップＳ３０５）
次に、情報処理装置のデータ処理部は、ステップＳ３０５において、ステップＳ３０４で選択した自装置のデバイスタイプと一致するエレメントが、ユーザ選択を許容するユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）の指定があるか否かを判定する。
ユーザ選択を許容するユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）の指定がある場合は、ステップＳ４０１に進む。
ユーザ選択を許容するユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）の指定がない場合は、ステップＳ３０６に進む。

【0176】

（ステップＳ３０６）
ステップＳ３０４で選択した自装置のデバイスタイプと一致するエレメントでデフォルト設定のデフォルト表示方式（ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）のみの指定の場合、ステップＳ３０６の処理を実行する。
情報処理装置のデータ処理部は、ステップＳ３０６において、デフォルト表示方式（ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）のエレメントに記録された設定値、すなわち、
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）中のｙ，ｚの値を取得して、取得データに従って、画像表示処理を実行する。すなわち、
（ｙ）＝指定表示方式（ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）、
（ｚ）＝表示領域対角角度（ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）
これら（ｙ），（ｚ）の指定に従って、画像表示処理を実行する。

【0177】

（ステップＳ４０１）
一方、ステップＳ３０４で選択した自装置のデバイスタイプと一致するエレメントが複数の場合、ステップＳ４０１の処理を実行する。

【0178】

情報処理装置のデータ処理部は、ステップＳ４０１において、選択された複数のエレメントに記録された設定値、すなわち、
設定値（ｖａｌｕｅ）＝（ｘ，ｙ，ｚ）中のｙ，ｚの値を取得して、表示部に表示する。すなわち、
（ｙ）ユーザ選択可能表示方式（ｕｓｅｒ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ）、
（ｚ）ユーザ選択可能表示領域対角角度（ｕｓｅｒ＿ｄｉａｇｏｎａｌ＿ａｎｇｌｅ）
これらの各データを取得し、これらの許容方式と許容角度情報を表示部に表示する。
すなわち、ユーザに希望の方式と角度を選択させるためのＵＩを提示する。
なお、ユーザ選択時においては、デフォルト表示方式（ＤｅｆａｕｌｔＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）、およびユーザ表示方式（ＵｓｅｒＰｒｏｊｅｃｔｉｏｎＴｙｐｅ）のどちらも表示してユーザに選択させる設定とする。

【0179】

（ステップＳ４０２）
次に、情報処理装置のデータ処理部は、ユーザの入力情報、すなわち、ユーザの希望する表示方式と表示領域角度情報を入力する。

【0180】

（ステップＳ４０３）
次に、情報処理装置のデータ処理部は、ユーザの入力情報、すなわち、ユーザの希望する表示方式と表示領域角度情報に従って選択した方式と角度を適用して画像表示処理を実行する。

【0181】

［７．情報処理装置のハードウェア構成例について］
次に、上述した実施例に従った処理を実行する情報処理装置、およびサーバのハードウェア構成例について、図２１を参照して説明する。
図２１に示すハードウェアは、図４、図１５に示す情報処理装置（ユーザ装置）７０、すなわち、画像再生、音声出力を実行する情報処理装置（ユーザ装置）７０のハードウェア構成の一例である。
また、図２１に示すハードウェアは、図４、図１５に示すサーバ５０、すなわち、画像データ、音声データ、並びに上述した画像表示制御情報を格納したファイルを生成して情報処理装置（ユーザ装置）７０に送信する処理を実行するサーバ５０のハードウェア構成の一例でもある。

【0182】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

【0183】

ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる表示部３０７、音声出力部３２１が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば表示部３０７、音声出力部３２１に出力する。

【0184】

入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

【0185】

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

【0186】

なお、データの符号化あるいは復号は、データ処理部としてのＣＰＵ３０１の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。

【0187】

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、請求の範囲の欄を参酌すべきである。

【0188】

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記データ処理部は、
出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行する情報処理装置。

【0189】

（２） 前記画像表示制御情報は、画像表示処理を実行する情報処理装置のタイプ各々に対応するタイプ別表示方式を規定した情報であり、
前記データ処理部は、自装置のタイプと一致するタイプのタイプ別表示方式を適用して画像表示処理を実行する（１）に記載の情報処理装置。

【0190】

（３）前記画像表示制御情報には、
画像表示方式として、少なくとも、透視投影方式、または魚眼（広角）表示方式のいずれかの指定情報が含まれ。
前記データ処理部は、
前記指定情報に従った表示方式を適用して画像表示処理を実行する（１）または（２）に記載の情報処理装置。

【0191】

（４） 前記画像表示制御情報には、
画像表示方式として、
立体射影方式の魚眼（広角）表示方式、
等距離射影方式の魚眼（広角）表示方式、
等立体射影方式の魚眼（広角）表示方式、
正射影方式の魚眼（広角）表示方式、
上記の各表示方式のいずれかの指定情報が含まれ。
前記データ処理部は、
前記指定情報に従った表示方式を適用して画像表示処理を実行する（１）〜（３）いずれかに記載の情報処理装置。

【0192】

（５） 前記画像表示制御情報には、
画像表示領域対角角度情報が含まれ。
前記データ処理部は、
前記画像表示制御情報に記録された画像表示領域対角角度情報に従って、表示領域対角角度を決定して画像表示処理を実行する（１）〜（４）いずれかに記載の情報処理装置。

【0193】

（６） 前記画像表示制御情報には、
ユーザ選択可能な画像表示方式についての記録情報が含まれ、
前記データ処理部は、
前記ユーザ選択可能な画像表示方式を表示部に表示し、
ユーザ選択情報の入力に応じて、選択された表示方式を適用して画像表示処理を実行する（１）〜（５）いずれかに記載の情報処理装置。

【0194】

（７） 前記画像表示制御情報には、
ユーザ選択可能な画像表示領域対角角度情報についての記録情報が含まれ、
前記データ処理部は、
前記ユーザ選択可能な画像表示領域対角角度情報を表示部に表示し、
ユーザ選択情報の入力に応じて、選択された画像表示領域対角角度を適用して画像表示処理を実行する（１）〜（６）いずれかに記載の情報処理装置。

【0195】

（８） 前記画像表示制御情報は、ＭＰ４ファイルに格納されており、
前記データ処理部は、
ＭＰ４ファイルから、出力画像データに関する画像表示制御情報を取得し、ＭＰ４ファイルから取得した画像表示制御情報に従って画像表示処理を実行する（１）〜（７）いずれかに記載の情報処理装置。

【0196】

（９） 前記画像表示制御情報は、ＭＰ４ファイルのｔｒａｋボックスに格納されており、
前記データ処理部は、
ＭＰ４ファイルのｔｒａｋボックスから、出力画像データに関する画像表示制御情報を取得する（８）に記載の情報処理装置。

【0197】

（１０） 前記画像表示制御情報は、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ
Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに格納されており、
前記データ処理部は、
ＭＰＤファイルから、出力画像データに関する画像表示制御情報を取得し、ＭＰＤファイルから取得した画像表示制御情報に従って画像表示処理を実行する（１）〜（７）いずれかに記載の情報処理装置。

【0198】

（１１） 前記画像表示制御情報は、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ
Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに設定された画像表示制御情報記録エレメントに、各デバイスタイプ別の情報として記録され、
前記データ処理部は、
ＭＰＤファイルの画像表示制御情報記録エレメントから、自装置の装置タイプと一致するデバイスタイプ情報が記録されたエレメントを選択して、選択エレメントに記録された画像表示方式を適用して画像表示処理を実行する（１０）に記載の情報処理装置。

【0199】

（１２） 異なる方向の画像を選択的に表示可能とした画像データと、
前記画像データに関する画像表示制御情報であり、
画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を格納したファイルを生成するデータ処理部と、
前記データ処理部の生成したファイルを送信する通信部と、
を有するデータ配信サーバ。

【0200】

（１３） 異なる方向の画像を選択的に表示可能とした画像データと、
前記画像データに関する画像表示制御情報であり、
画像表示を実行するデバイスタイプに応じた画像表示方式を規定した画像表示制御情報を、
格納した情報記録媒体であり、
前記情報記録媒体からの読み出しデータの再生を実行する再生装置において、
前記画像表示制御情報に記録された自装置タイプに一致するデバイスタイプ対応の画像表示方式を適用して画像表示を実行させることを可能とした情報記録媒体。

【0201】

（１４） 情報処理装置において、画像表示制御を実行する情報処理方法であり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記データ処理部が、
出力画像データに関する画像表示制御情報を取得し、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行する情報処理方法。

【0202】

（１５） 情報処理装置において、画像表示制御を実行させるプログラムであり、
前記情報処理装置は、
異なる方向の画像を選択的に表示可能な表示部と、
前記表示部に出力する画像の画像表示制御を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
出力画像データに関する画像表示制御情報を取得させ、該画像表示制御情報に記録された画像表示方式を適用して画像表示処理を実行させるプログラム。

【0203】

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

【0204】

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

【産業上の利用可能性】

【0205】

以上、説明したように、本開示の一実施例の構成によれば、パノラマ画像表示処理に際して、表示デバイスに対応した最適な表示方式を適用して表示処理を実行可能とした装置、方法が実現される。
具体的には、異なる方向の画像を選択的に表示可能な表示部と、画像表示制御を実行するデータ処理部を有する情報処理装置において、データ処理部が。画像表示制御情報に記録されたデバイス対応の画像表示方式を適用して画像表示処理を実行する。画像表示制御情報は、画像表示処理を実行する情報処理装置のタイプ各々に最適なタイプ別表示方式を規定しており、データ処理部は、自装置のタイプと一致するタイプに対応付けられた表示方式を適用して画像表示処理を実行する。
本構成により、パノラマ画像表示処理に際して、表示デバイスに対応した最適な表示方式を適用して表示処理を実行可能とした装置、方法が実現される。

【符号の説明】

【0206】

１０ 画像データ
２０ 携帯端末
２５ スピーカ
３０ ヘッド・マウント・ディスプレイ（ＨＭＤ）
３５ スピーカ
５０ サーバ
５１ 放送サーバ
５２ データ配信サーバ
６０ メディア
７０ 情報処理装置
７１ ＴＶ
７２ ＰＣ
７３ 携帯端末
７４ ヘッド・マウント・ディスプレイ（ＨＭＤ）
８１ ＭＰ４ファイル
８２ ＭＰＤファイル
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 表示部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
３２１ 音声出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】