ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】情報処理装置、情報処理方法、再生処理装置及び再生処理方法
(51)【国際特許分類】
H04N 21/236 20110101AFI20240717BHJP
【ＦＩ】
H04N21/236
【請求項の数】
14
(21)【出願番号】P 2021529932
(86)(22)【出願日】2020-06-04
(86)【国際出願番号】 JP2020022204
(87)【国際公開番号】W WO2021002142
(87)【国際公開日】2021-01-07
【審査請求日】2023-04-27
(31)【優先権主張番号】62/870,719
(32)【優先日】2019-07-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】平林 光浩
(72)【発明者】
【氏名】高橋 遼平
【審査官】大西 宏
(56)【参考文献】
【文献】特表２０１９－５１１１７３（ＪＰ，Ａ）
【文献】国際公開第２０１５／０１２２２５（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１４５７５６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
(57)【特許請求の範囲】
【請求項1】
複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成する前処理部と、前記前処理部により生成された前記SubSample情報を含むファイルを生成するファイル生成部と
を備え、
前記前処理部は、複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含むSubSample関連情報を前記SubSample情報に含ませる情報処理装置。
【請求項2】
前記ファイル生成部は、前記SubSample関連情報を、単一のヘッダ領域及び単一のデータ領域を有するファイルフォーマットの前記ヘッダ領域に挿入し、前記データ領域に複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを挿入したファイルを生成する請求項１に記載の情報処理装置。
【請求項3】
前記ファイル生成部は、前記SubSample関連情報を、初期化用情報を含む第１ヘッダ領域、並びに、複数のデータ領域及び前記データ領域に対応する複数の第２ヘッダ領域を有するファイルフォーマットの前記第１ヘッダ領域に前記SubSample関連情報を挿入し、前記データ領域のそれぞれに複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを分割して挿入したファイルを生成する請求項１に記載の情報処理装置。
【請求項4】
前記ファイル生成部は、前記SubSample関連情報をSubSampleEntryBoxに格納する請求項１に記載の情報処理装置。
【請求項5】
前記前処理部は、複数の前記SubSampleと前記SubSample関連情報との対応を表すSubSample対応情報を前記SubSample情報にさらに含ませる請求項１に記載の情報処理装置。
【請求項6】
前記ファイル生成部は、前記SubSample対応情報を前記ファイルのSubSampleToChunkBoxに格納する請求項５に記載の情報処理装置。
【請求項7】
前記前処理部は、前記SubSample関連情報のうち前記SubSampleの識別情報及び前記コンポーネントストリームの種別情報を含む第１関連情報と前記SubSampleの識別情報及び前記SubSampleのメディアの属性情報を含む第２関連情報とを生成する請求項１に記載の情報処理装置。
【請求項8】
前記ファイル生成部は、前記第１関連情報をSubSamplehandlerBoxに格納し、前記第２関連情報をSubSampleEntryBoxに格納する請求項７に記載の情報処理装置。
【請求項9】
前記前処理部は、復号に用いるパラメータセットを前記SubSample情報に含ませる請求項１に記載の情報処理装置。
【請求項10】
前記ファイル生成部は、前記SubSample情報を前記コンポーネントストリームに含ませる請求項９に記載の情報処理装置。
【請求項11】
前記ファイル生成部は、前記SubSample情報が前記コンポーネントストリームに含まれることを示す格納通知情報を生成し、TrackRunBoxに格納する請求項１０に記載の情報処理装置。
【請求項12】
複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成し、生成した前記SubSample情報を含むファイルを生成し、
複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含むSubSample関連情報を前記SubSample情報に含ませる
処理をコンピュータに実行させる情報処理方法。
【請求項13】
ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得するファイル処理部と、前記ファイル処理部により取得された前記SubSample情報に基づいて、前記コンテンツストリームを復号する復号処理部と
を備え、
前記SubSample情報は、複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含む再生処理装置。
【請求項14】
ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得し、取得した前記SubSample情報に基づいて、前記コンテンツストリームを復号する
処理をコンピュータに実行させ、
前記SubSample情報は、複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含む再生処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、再生処理装置及び再生処理方法に関する。
【背景技術】
【0002】
近年、インターネット上のストリーミングサービスの基盤技術として、ＭＰＥＧ－ＤＡＳＨ（Moving Picture Experts Group-Dynamic Adaptive Streaming over Hypertext Transfer Protocol）などが普及し始めている。また、ＭＰＥＧ－ＤＡＳＨを用いたストリーミングでは、例えば、動画データや音声データをＩＳＯＢＭＦＦ（International Organization for Standardization Base Media File Format）ファイルに格納し、配信する技術が用いられる。ここで、ＩＳＯＢＭＦＦとは、ＭＰＥＧ－４のファイルフォーマットの標準規格である。
【0003】
また、ＭＰＥＧ－Ｉ Part 5 Video-based Point Cloud Compression (ISO/IEC 23090-5)では、３次元空間上に位置情報と属性情報(特に色情報)とを同時に持った点の集合であるPoint Cloudの圧縮方法が規定されている。その中の一つの圧縮方法として、以下のようなVideo-based Point Cloud Coding (Ｖ－ＰＣＣ)と呼ばれる方法がある。Ｖ－ＰＣＣでは、Point Cloudをセグメンテーションして領域を形成し、領域毎に平面投影して色情報等を含むアトリビュート画像、depth情報から構成されるジオメトリ画像、オキュパンシ画像及びPoint Cloudをpatchから再構成するための情報メタデータが生成される。メタデータには、パッチシーケンス及びシーケンスパラメータセットが含まれる。そして、３つの画像が動画コーデックにより符号化され、計４つのコンポーネントストリームが生成される。また、これ以外にも複数の音声情報や字幕情報を有する映像コンテンツも同様に、Ｖ－ＰＣＣでは、複数のコンポーネントストリームが個別のトラックに格納されて構成される。以下では、Ｖ－ＰＣＣの技術を用いて復号された映像コンテンツをＶ－ＰＣＣコンテンツと呼ぶ。
【0004】
ただし、Ｖ－ＰＣＣコンテンツにおける複数のコンポーネントストリームは、時間情報やコーデック情報などの共通要素が含まれることから、個別のトラックに格納する場合、重複してファイルの管理情報が格納されることになる。そのため、別々のトラックに各コンポーネントストリームを別々のトラックに格納する方法では、ＩＳＯＢＭＦＦのmoovやvoofといった管理情報が冗長になることが考えられる。
【0005】
そこで、共通の情報とコンポーネントストリーム固有の情報とを区別して管理して情報量を減らすために、複数のコンポーネントストリームを１つのトラックに複数して格納（mux：multiplex）したMuxed trackを用いる手法が提案されている。
【先行技術文献】
【非特許文献】
【0006】
【文献】ISO/IEC 14496-12:2015 Information technology. Coding of audio-visual object. Part 12: ISO base media file format, 2015-12
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、提案されたmuxed trackを用いる方法では、情報量の削減は可能であるが、各コンポーネントストリームに応じて切り替わるコーデック情報の関連付けを行うことは困難である。そのため、提案されたmuxed trackを用いる方法では、コンポーネントストリームのエンコードパラメータを動的に変更することが困難である。
【0008】
そこで、本開示では、情報量を削減し且つ視聴者に高品質の視聴体験を提供する情報処理装置、情報処理方法、再生処理装置及び再生処理方法を提供する。
【課題を解決するための手段】
【0009】
本開示によれば、前処理部は、複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成する。ファイル生成部は、前記前処理部により生成された前記SubSample1情報を含むファイルを生成する。
【図面の簡単な説明】
【0010】
【図1】配信システムの一例のシステム構成図である。
【図2】ファイル生成装置のブロック図である。
【図3】SubSampleEntryBoxのシンタックスの一例を表す図である。
【図4】SubSampleToChunkBoxのシンタックスの一例を表す図である。
【図5】第１の実施形態に係るＩＳＯＢＭＦＦファイルに格納される各情報を示す図である。
【図6】SubSampleEntryBoxの格納状態を示す図である。
【図7】フラグメントの有無に応じたSubSampleEntryBox及びSubSampleToChunkBoxの格納状態を示す図である。
【図8】クライアント装置のブロック図である。
【図9】第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
【図10】第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
【図11】第１の実施形態の変形例に係るSubSampleToHandlerBox及びSubSampleEntryBoxのシンタックスの一例を表す図である。
【図12】パラメータセットの格納状態を説明するための図である。
【図13】フラグメントの有無に応じたSubSampleEntryBox及びtr_flagsの格納状態を示す図である。
【図14】第２の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
【図15】第２の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
【図16】Matroska Media Containerのフォーマットを表す図である。
【図17】コンピュータのハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付すことにより重複する説明を省略する。また、本技術で開示される範囲は、実施形態の内容に限定されるものではなく、出願当時において公知となっている以下の非特許文献におき記載されている内容も含まれる。
【0012】
非特許文献１：（上述）
非特許文献２：N18413, WD of ISO/IEC 23090-10 Carriage of PC data, 126th MPEG meeting, Geneva, Switzerland, March 2019
非特許文献３：N18180, Technologies under consideration on carriage of PC data, 126th MPEG meeting, Geneva, Switzerland, March 2019
非特許文献４：m47257, PCC file format Consideration, 126th MPEG meeting, Geneva, Switzerland, March 2019
非特許文献２：N18413, WD of ISO/IEC 23090-10 Carriage of PC data, 126th MPEG meeting, Geneva, Switzerland, March 2019
非特許文献３：N18180, Technologies under consideration on carriage of PC data, 126th MPEG meeting, Geneva, Switzerland, March 2019
非特許文献４：m47257, PCC file format Consideration, 126th MPEG meeting, Geneva, Switzerland, March 2019
【0013】
上述の非特許文献に記載されている内容も、参照により本実施例に組み込まれる。つまり、上述の非特許文献に記載されている内容もサポート要件について判断する際の根拠となる。例えば、非特許文献１に記載されているFile Structure、非特許文献２に記載されているＶ－ＰＣＣのFile Structureで用いられている用語が発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）などの技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
【0014】
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 第１の実施形態の変形例
２．第２の実施形態
２．１ 第２の実施形態の変形例
３．第３の実施形態
１．第１の実施形態
１．１ 第１の実施形態の変形例
２．第２の実施形態
２．１ 第２の実施形態の変形例
３．第３の実施形態
【0015】
［１．第１の実施形態］
（第１の実施形態に係る配信システムの構成）
図１は、配信システムの一例のシステム構成図である。配信システム１００は、情報処理装置であるファイル生成装置１、再生処理装置であるクライアント装置２及びＷｅｂサーバ３を含む。ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４に接続される。そして、ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４を介して相互に通信可能である。ここで、図１においては、各装置を１台ずつ示しているが、配信システム１００は、ファイル生成装置１及びクライアント装置２をそれぞれ複数台含んでもよい。
（第１の実施形態に係る配信システムの構成）
図１は、配信システムの一例のシステム構成図である。配信システム１００は、情報処理装置であるファイル生成装置１、再生処理装置であるクライアント装置２及びＷｅｂサーバ３を含む。ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４に接続される。そして、ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４を介して相互に通信可能である。ここで、図１においては、各装置を１台ずつ示しているが、配信システム１００は、ファイル生成装置１及びクライアント装置２をそれぞれ複数台含んでもよい。
【0016】
ファイル生成装置１は、映像を提供するデータである映像コンテンツを生成する。本実施形態に係るファイル生成装置１が生成する映像コンテンツのコンテンツストリームは、複数のコンポーネントストリームを含む。本実施形態に係るファイル生成装置１が生成する映像コンテンツは、例えばＶ－ＰＣＣコンテンツである。ファイル生成装置１は、生成した映像コンテンツをＷｅｂサーバ３にアップロードする。ここで、本実施形態では、Ｗｅｂサーバ３が映像コンテンツをクライアント装置２に提供する構成について説明するが、配信システム１００は他の構成を採ることも可能である。例えば、ファイル生成装置１が、Ｗｅｂサーバ３の機能を含み、生成した映像コンテンツを自装置内に格納し、クライアント装置２に提供する構成であってもよい。
【0017】
Ｗｅｂサーバ３は、ファイル生成装置１からアップロードされた映像コンテンツを保持する。そして、Ｗｅｂサーバ３は、クライアント装置２からの要求にしたがい指定された映像コンテンツを提供する。
【0018】
クライアント装置２は、映像コンテンツの送信要求をＷｅｂサーバ３へ送信する。そして、クライアント装置２は、送信要求で指定した映像コンテンツをＷｅｂサーバ３から取得する。そして、クライアント装置２は、映像コンテンツを復号して表示用映像を生成して、その表示用映像をモニタなどの表示装置に表示させる。
【0019】
（第１の実施形態に係るファイル生成装置の構成）
次に、ファイル生成装置１の詳細について説明する。図２は、ファイル生成装置のブロック図である。情報処理装置であるファイル生成装置１は、図２に示すように、ファイル生成処理部１０、制御部１１及び送信部１２を有する。制御部１１は、ファイル生成処理部１０の制御に関する処理を実行する。例えば、制御部１１は、ファイル生成処理部１０の各部の動作タイミングなどの統括制御を行う。ファイル生成処理部１０は、データ取得部１０１、前処理部１０２、符号化部１０３及びファイル生成部１０４を有する。
次に、ファイル生成装置１の詳細について説明する。図２は、ファイル生成装置のブロック図である。情報処理装置であるファイル生成装置１は、図２に示すように、ファイル生成処理部１０、制御部１１及び送信部１２を有する。制御部１１は、ファイル生成処理部１０の制御に関する処理を実行する。例えば、制御部１１は、ファイル生成処理部１０の各部の動作タイミングなどの統括制御を行う。ファイル生成処理部１０は、データ取得部１０１、前処理部１０２、符号化部１０３及びファイル生成部１０４を有する。
【0020】
データ取得部１０１は、映像を表示させる映像コンテンツの元データを取得する。映像コンテンツの元データには、一連の画像である画像シーケンスに含まれる各画像の画像データ及び制御情報が含まれる。制御情報は、例えば、各画像データの時間情報の情報などを含む。データ取得部１０１は、取得した映像コンテンツの画像シーケンスに含まれる画像データ及び制御情報を前処理部１０２へ出力する。
【0021】
前処理部１０２は、画像シーケンスに含まれる画像データ及び制御情報の入力をデータ取得部１０１から受ける。そして、前処理部１０２は、取得したデータを基に画像シーケンスのビットストリーム構成を決定する。この場合、前処理部１０２は、複数のコンポーネントストリームのデータを１つのトラックに格納することを決定する。
【0022】
具体的には、複数のコンポーネントストリームをそれぞれSubSampleとし、複数のSubSampleから構成された１つのSampleであるビットストリームのデータを１つのトラックに格納する。以下では、複数のコンポーネントストリームのデータが格納されたトラックを「Muxed track」と呼ぶ。例えば、復号にＶ－ＰＣＣを用いる場合であれば、アトリビュート画像、ジオメトリ画像、オキュパンシ画像及びメタデータのそれぞれのコンポーネントストリームをSubSampleとして構成された１つのSampleのデータをMuxed trackに格納することを決定する。ここでは、１つのコンテンツを複数に分割するフラグメントを行う場合で説明する。
【0023】
次に、前処理部１０２は、Muxed trackのSampleのエンコードパラメータなどの管理情報を含むSampleEntryを生成する。Muxed trackのSampleのエンコードパラメータには、例えば、そのSampleがMuxed trackであることを示す情報や、SampleのコーデックがＶ－ＰＣＣであることを示す情報などが含まれる。
【0024】
さらに、前処理部１０２は、制御情報を用いて、SubSample関連情報を生成する。ここでSubSample関連情報とは、Muxed trackに含まれる各コンポーネントに対応するSubSampleに関する情報である。例えば、SubSample関連情報には、SubSampleEntryBoxが含まれる。
【0025】
図３は、SubSampleEntryBoxのシンタックスの一例を表す図である。component_idは、Muxed Trackに格納された各コンポーネントストリームを一意に識別するための識別子である。ここで、本実施形態では、component_idをSample内のSubSampleの論理位置順と対応するように決定した。これにより、component_idとSubSampleの論理的位置が紐づけられるため、component_idに対応するSubSampleEntryが特定可能となる。ただし、これに限らず、前処理部１０２は、SubSampleへのアクセス情報となるSubSampleInfomationBoxのcodec_specific_parameterとSubSumpleEntryBoxのmuxted_stream_specific_typeとに同じ識別子を設定することでcomponent_idとSubSampleEntryとを紐づけてもよい。このcomponent_idは、Sampleにおけるmoovのtack_idに相当する。
【0026】
図３のシンタックスにおけるhandler_typeは、各コンポーネントストリームのメディアの属性情報であるハンドラーの情報を表す。このハンドラーの情報が、「第２関連情報」の一例にあたる。例えば、映像であれば、handler_typeはvideと設定され、音声であれば、handler_typeはsounと設定される。このhandler_typeによりSubSampleEntryのクラスが決定される。
【0027】
図３のシンタックスにおけるmuxed_stream_specific_typeは、Muxed tarck内の各コンポーネントストリームの種別を識別するための種別情報である。例えば、Ｖ－ＰＣＣのSampleでは、アトリビュート画像、ジオメトリ画像、オキュパンシ画像は、同じ映像メディアであるため、hanlder_typeとしてvideという同じ属性が設定される。そのため、muxed_stream_specific_typeとしてアトリビュート画像にはattr、ジオメトリ画像にはgeom、オキュパンシ画像にはoccu等と設定することで、それぞれのコンポーネントストリームの識別が可能となる。component_id及びmuxed_stream_specific_typeが、「第１関連情報」の一例にあたる。
【0028】
図３のシンタックスにおけるSubSampleEntry()は、TrackのSampleEntry()と同様の構造を有する。handler_typeがvideの場合は、VisualSampleEntryをSubSampleEntryとして、handler_typeがsounの場合は、AudiolSampleEntryをSubSampleEntryとして設定する。すなわち、SubSampleEntryは、handler_type毎にSubSampleEntryのクラスが定義される。SubSampleEntryBoxは、コンポーネントストリーム毎に定義される。例えば、復号にＶ－ＰＣＣを用いる場合であれば、アトリビュート画像、ジオメトリ画像、オキュパンシ画像及びメタデータのそれぞれのコンポーネントストリーム毎にSubSampleEntryBoxを格納する。なお、SubSampleEntryBoxをforループ構造にして、コンポーネントストリーム毎の情報をまとめた１つのBox構造に設定できるように定義してもよい。
【0029】
さらに、図２の前処理部１０２は、SubSample対応情報を生成する。SubSample対応情報は、Muxed trackのSampleに含まれる各SubSampleと各SubSample関連情報とを紐づけるための情報である。
【0030】
例えば、前処理部１０２は、SubSample対応情報として、SubSampleのコンポーネントストリームの識別情報であるcomponent_idおよび、SubSampleに割り当てられたSubSampleEntryを識別するための任意の番号を設定する。そのために、SubSample対応情報として、各SubSampleに対応するSubSampleToChunkBoxを設定する。
【0031】
図４は、SubSampleToChunkBoxのシンタックスの一例を表す図である。図４のシンタックスで示すfirst_sub_sample_numberは、次のsub_sample_entry_inedxで指定されるSubSampleEntryを適用するSampleの番号、より具体的にはSampleを構成する時系列に配置された複数のSubSampleのうち、先頭のSubSampleの番号を表す。また、sub_sample_entry_inedxは、SubSampleEntryで示される先頭のSubSampleの番号から、次のSubSampleToChunkBoxにおけるfirst_sub_sample_numberで表される番号の前のSubSampleまでに適用されるSubSampleEntryの識別情報を表す。この情報が、SubSampleとSubSampleEntryとを紐づける情報の一例にあたる。
【0032】
このように、前処理部１０２は、SubSample対応情報を生成することで、SubSample毎に対応するSubSampleEntryを設定できるようにする。これにより、SubSample毎に、動的にSubSampleEntryを設定することが可能となる。
【0033】
ここでは、コンポーネントストリーム毎にSubSampleToChunkBoxが生成できるように設定したが、前処理部１０２は、SubSampleToChunkBoxをforループ構造にして、各コンポーネントストリームをまとめた１つのBox構造に設定できるように定義してもよい。
【0034】
さらに、前処理部１０２は、各画像のメタデータ、並びに、ビットストリームへのアクセス情報を示すメタデータを生成する。また、前処理部１０２は、どのようなコーデックで圧縮するかなどの制御情報もメタデータとして生成する。
【0035】
そして、前処理部１０２は、画像シーケンスに含まれる各画像データ及びコーデックの情報などのメタデータを符号化部１０３へ出力する。また、SubSample関連情報、SubSample対応情報、各画像の情報及びビットストリームへのアクセス情報などを含むメタデータをファイル生成部１０４へ出力する。
【0036】
符号化部１０３は、画像シーケンスに含まれる各画像の画像データの入力を受ける。そして、符号化部１０３は、画像シーケンス内の各画像の画像データを符号化して符号化ストリームを生成する。本実施例では、符号化部１０３は、符号化ストリームとして複数のコンポーネントストリームを生成する。例えば、Ｖ－ＰＣＣによる復号を行う場合、符号化部１０３は、符号化ストリームとして、トリビュート画像、ジオメトリ画像、オキュパンシ画像及びメタデータの４つのコンポーネントストリームを生成する。各コンポーネントストリームには、対応する各画像又はメタデータのビットストリームが含まれる。ビットストリームのデータは、各フレーム又は関連付けられたフレーム毎にトラックに格納される。本実施形態に係る符号化部１０３は、複数のビットストリームのデータを１つのトラックに格納してMuxed trackを生成する。符号化部１０３は、生成した符号化ストリームをファイル生成部１０４へ出力する。
【0037】
ファイル生成部１０４は、複数のコンポーネントストリームを含む符号化ストリームの入力を符号化部１０３から受ける。また、ファイル生成部１０５は、SubSample関連情報、SubSample対応情報を含むメタデータの入力を前処理部１０２から受ける。
【0038】
ファイル生成部１０４は、Muxed trackに含まれるSubSampleのエンコードパラメータをSampleEntryBoxに格納する。また、ファイル生成部１０４は、SubSample関連情報を格納するSubSampleEntryBoxを新たに定義して、ＩＳＯＢＭＦＦファイルのMoovのSampleTableBoxに格納する。
【0039】
また、ファイル生成部１０４は、SubSample対応情報を格納するSubSampleToChunkBoxを新たに定義して、フラグメントを行った場合のＩＳＯＢＭＦＦのファイルヘッダ領域であるmoofにSubSampleToChunkBoxを格納する。これにより、ファイル生成部１０４は、フラグメントされた状態の各mdatに格納されたSubSampleとmoovに格納された各SubSampleEntryの対応付けを行う。
【0040】
ここで、本実施形態ではフラグメントを行った場合で説明したが、フラグメントを行わない場合にも本実施形態の構成を適用可能である。その場合、ファイル生成部１０４は、SubSmapleToChunkBoxをSampleTableBoxに配置する。
【0041】
ファイル生成部１０５は、各コンポーネントストリームの画像データ及びメタデータとともに、SubSampleEntryBox及びSubSampleToChunkBoxをセグメント毎にＩＳＯＢＭＦＦファイルへ格納することでファイル化する。具体的には、ファイル生成部１０５は、管理情報である（moov）、フラグメント化された映像情報である（mdat）と各映像情報の管理情報（moof）とを含むＩＳＯＢＭＦＦファイルを生成する。mdatは、ＩＳＯＢＭＦＦファイルにおけるデータ領域である。また、moov及びmoofは、ＩＳＯＢＭＦＦにおけるヘッダ領域である。そして、上述したように、ファイル生成部１０５は、SubSampleEntryBoxをmoovのSampletableに格納し、また、SubSampleToChunkBoxを各moofのTrackFragmentに格納する。これより、ファイル生成部１０５は、映像コンテンツのセグメントファイルを生成する。
【0042】
ここで、図５を参照して、ファイル生成部１０５により格納される各情報をまとめて説明する。図５は、第１の実施形態に係るＩＳＯＢＭＦＦファイルに格納される各情報を示す図である。図５では、１つのmoof及びmdatの組を示したが、実際には、同様の構造を有するmoof及びmdatの組が複数存在する。
【0043】
mdatには、sample１３１及び１３２を含む複数のsampleが格納される。sample１３１及び１３２を含む各sampleは、それぞれMuxed trackである。そして、sample１３１には、コンポーネントストリーム毎にSubSample１４１～１４３を含む複数のSubSampleが含まれる。同様に、sample１３２にも、コンポーネントストリーム毎にSubSample１４４～１４６を含む複数のSubSampleが含まれる。
【0044】
moovには、SampletableBox１１０が配置される。そして、SampleTableBox１１０内にSampleEntryBox１１１が配置される。そして、SampleEntryBox１１１内には、SampleEntry１１２及び１１３が格納される。図５では、SampleEntry１１２及び１１３を示したが、実際には、SampleEntryは、sample１３１～１３２を含むSampleに対応する数存在する。SampleEntry１１２及び１１３を含む各SampleEntryは、Sample１３１～１３２を含む各SampleのＶ－ＰＣＣの情報やMuxed Trackであることを表す情報などが格納される。
【0045】
また、SampleTableBox１１０には、SubSampleEntryBox１１４を含む複数のSubSampleEntryBoxが格納される。SubSampleEntryBox１１４を含む複数のSubSampleEntryBoxは、Muxed trackに含まれるコンポーネントストリームの種類毎に設けられる。そして、SubSampleEntryBox１１４は、SubSampleEntry１１５及び１１６を含む複数のSubSampleEntryが格納される。図５では、SubSampleEntry１１５及び１１６を示したが、実際には、SubSampleEntryは、Sample１３１～１３２を含むすべてのSampleに対応した変数のパターン数だけ存在する。SubSampleEntry１１５及び１１６を含む各SubSampleEntryには、handler_type毎にクラスが定義される。
【0046】
moofには、TrackFragment１２０が配置される。そして、TrackFragment１２０には、TrackRunBox１２１が配置される。TrackRunBox１２１は、Sample１３１～１３２を含む各SampleとSampleEntry１１２～１１３とを対応付ける情報を有する。
【0047】
また、TrackFragment１２０には、SubSampleToChunkBox１２２を含む複数のSubSampleToChunkBoxが配置される。SubSampleToChunkBox１２２を含む複数のSubSampleToChunkBoxは、SubSample１４１～１４６を含む各SubSampleとSubSampleEntry１１５及び１１６とを対応付ける情報を有する。
【0048】
例えば、SubSample１４１の番号であるsub_sample_numberが１であり、SubSample１４４の番号であるsub_sample_numberが１６であるとする。さらに、SubSampleToChunk１２２において、first_sub_sample_numbeが１の場合のsub_sample_entry_indexが１でありfirst_sub_sample_numbeが１６の場合のsub_sample_entry_indexが２であるとする。さらに、SubSumpleEntry１１５のsub_sample_entry_indexが１であり、SubSumpleEntry１１６のsub_sample_entry_indexが２であるとする。
【0049】
この条件下で、クライアント装置２が、Sample１３１とSample１３２とを連続して復号する場合について説明する。クライアント装置２は、Sample１３１に含まれるSubSample１４１～１４３を含むSubSampleを復号する。その際、例えばSubSample１４１を復号する場合、クライアント装置２は、first_sub_sample_numberを基に、SubSample１４１の情報を有するSubSampleToChunkBox１２２を特定する。そして、クライアント装置２は、SubSampleToChunkBox１２２に格納されたComponent_idから使用するSubSampleEntryBox１１４を特定し、さらに、sub_sample_entry_indexを用いてSubSampleEntryBox１１４の中からSubSample１４１の情報を管理するSubSunpleEntry１１５を特定する。そして、クライアント装置２は、SubSunpleEntry１１５に格納されたhandler_typeなどの情報を用いてSubSample１４１を復号する。
【0050】
次に、クライアント装置２は、Sample１３２の復号に移り、同様にして、SubSample１４６の情報を管理するSubSumpleEntry１１６を特定する。そして、クライアント装置２は、SubSunpleEntry１１６の情報を用いてSubSample１４４を復号する。このように、SubSampleEntryBox及びSubSampleToChunkBoxを用いて、クライアント装置２は、Muxed trackの復号を行うことができる。
【0051】
図６は、SubSampleEntryBoxの格納状態を示す図である。図６では他の方法でのSubSmapleEntryBoxの格納状態を表した。ファイル生成部１０５は、図６に示すように、ＢＯＸ１５０で示されるmoovの中のＢＯＸ１５１にSubSmapleEntryBoxを配置し、ＢＯＸ１５２にSubSampleToChunkBoxを配置する。
【0052】
また、図７は、フラグメントの有無に応じたSubSampleEntryBox及びSubSampleToChunkBoxの格納状態を示す図である。ムービーフラグメントが行われていない場合は、図７のファイル１６０に示すように、１つの映像コンテンツに対してmoovとmdatとがそれぞれ１つずつ存在する。この場合、ファイル生成部１０５は、moovにＢＯＸ１６１で示すようにSubSampleEntryBox及びSubSampleToChunkBoxを格納する。
【0053】
これに対して、ムービーフラグメントが行われた場合、図７のファイル１７０に示すように、１つの映像コンテンツに対して１つのmoov及びmoofとmdatとの組がそれぞれ複数ずつ存在する。この場合、ファイル生成部１０５は、moovにＢＯＸ１７１で示すSubSampleEntryBoxを配置する。さらに、ファイル生成部１０５は、各moofにＢＯＸ１７２～１７４で示すSubSampleToChunkBoxを配置する。
【0054】
図２に戻って説明を続ける。その後、ファイル生成部１０５は、Muxed trackのsampleを含む映像コンテンツのセグメントファイルを送信部１２へ出力する。
【0055】
送信部１２は、映像データのセグメントファイルの入力をファイル生成部１０５から受ける。そして、送信部１２は、取得した映像データのセグメントファイルをＷｅｂサーバ３にアップロードする。
【0056】
（第１の実施形態に係るクライアント装置の構成）
図８は、クライアント装置のブロック図である。図８に示すように、クライアント装置２は、再生処理部２０及び制御部２１を有する。制御部２１は、再生処理部２０の各部の動作を制御する。例えば、制御部２１は、再生処理部２０の各部の動作のタイミングを統括制御する。再生処理部２０は、ファイル取得部２０１、ファイル処理部２０２、復号処理部２０３、表示制御部２０４、表示情報生成部２０５及び表示部２０６を有する。
図８は、クライアント装置のブロック図である。図８に示すように、クライアント装置２は、再生処理部２０及び制御部２１を有する。制御部２１は、再生処理部２０の各部の動作を制御する。例えば、制御部２１は、再生処理部２０の各部の動作のタイミングを統括制御する。再生処理部２０は、ファイル取得部２０１、ファイル処理部２０２、復号処理部２０３、表示制御部２０４、表示情報生成部２０５及び表示部２０６を有する。
【0057】
ファイル取得部２０１は、映像コンテンツの取得要求の入力をファイル処理部２０２から受ける。そして、ファイル取得部２０１は、指定された映像コンテンツのセグメントファイルをＷｅｂサーバ３から取得する。その後、ファイル取得部２０１は、取得したセグメントファイルをファイル処理部２０２へ出力する。
【0058】
ファイル処理部２０２は、再生する映像コンテンツの指定やランダムアクセスなどの操作命令の入力を表示制御部２０４から受ける。そして、ファイル処理部２０２は、操作命令にしたがって、映像コンテンツを選択して、選択した映像コンテンツの取得要求をファイル取得部２０１へ出力する。
【0059】
その後、ファイル処理部２０２は、送信要求を行った映像コンテンツのセグメントファイルの入力をファイル取得部２０１から受ける。そして、ファイル処理部２０２は、取得したセグメントファイルから符号化ストリームのデータを抽出し復号処理部２０３へ出力する。また、ファイル処理部２０２は、取得したセグメントファイルからメタデータを取得して表示情報生成部２０５へ出力する。
【0060】
復号処理部２０３は、符号化ストリームのデータの入力をファイル処理部２０２から受ける。そして、復号処理部２０３は、SubSampleEntryBox及びSubSampleToChunkBoxに格納された情報を用いて各コンポーネントストリームのSubSampleに対応するSubSampleEntryを特定し、特定したSubSampleEntryを用いて各コンポーネントストリームのSubSampleを復号する。これにより、復号処理部２０３は、符号化ストリームに含まれる各コンポーネントストリームを復号する。その後、復号処理部２０３は、復号した各コンポーネントストリームのデータを表示情報生成部２０５へ出力する。
【0061】
表示制御部２０４は、操作者からの操作命令を図示しない入力装置から受ける。そして、表示制御部２０４は、映像コンテンツの切り替えが発生する操作命令の場合には、操作命令をファイル処理部２０２へ出力する。また、視点移動などの操作命令の場合、表示制御部２０４は、取得した操作命令を表示情報生成部２０５へ出力する。
【0062】
表示情報生成部２０５は、コンポーネントストリーム毎の復号されたビットストリームのデータの入力を復号処理部２０３から受ける。また、表示情報生成部２０５は、メタデータの入力をファイル処理部２０２から受ける。さらに、表示情報生成部２０５は、操作命令の入力を表示制御部２０４から受ける。
【0063】
そして、表示情報生成部２０５は、取得したビットストリーム及びメタデータを用いて操作命令に応じてレンダリングを行い、表示用画像を生成する。その後、表示情報生成部２０５は、生成した表示用画像を表示部２０６に供給する。
【0064】
表示部２０６は、モニタなどの表示装置を有する。表示部２０６は、表示情報生成部２０５により生成された表示用画像の入力を受ける。そして、表示部２０６は、取得した表示用画像を表示装置に表示させる。
【0065】
（第１の実施形態に係るファイル生成手順）
次に、図９を参照して、第１の実施形態に係るファイル生成装置１によるファイル生成処理の流れについて詳細に説明する。図９は、第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
次に、図９を参照して、第１の実施形態に係るファイル生成装置１によるファイル生成処理の流れについて詳細に説明する。図９は、第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
【0066】
データ取得部１０１は、映像コンテンツの元データをＷｅｂサーバ３から取得する。そして、前処理部１０２は、データ取得部１０１により取得された取得した元データに含まれる画像データ及び符号化する制御情報を符号化部１０３へ出力する。前処理部１０２は、取得した元データに含まれる制御情報を用いて、Muxed trackのエンコードパラメータをSampleEntryに設定する（ステップＳ１０１）。
【0067】
次に、前処理部１０２は、コンポーネント毎のエンコードパラメータをSubSampleEntryに設定する（ステップＳ１０２）。すなわち、前処理部１０２は、関連情報に、component_id、muxed_stream_specific_type及びhandler_typeとともに各コンポーネントのSubSampleEntryを設定したSubSample関連情報を生成する。
【0068】
また、前処理部１０２は、SubSampleのコーデック情報、並びに、Sample及びSubSampleの配置からSubSample対応情報を生成する（ステップＳ１０３）。その後、前処理部１０２は、画像データ及びメタデータを符号化部１０３へ出力する。また、前処理部１０２は、前処理部１０２は、SubSample関連情報及びSubSample対応情報を含むメタデータをファイル生成部１０４へ出力する。
【0069】
符号化部１０３は、画像データ及びメタデータの入力をデータ取得部１０１から受ける。そして、符号化部１０３は、画像データ及びメタデータを符号化して、各コンポーネントストリームの符号化されたデータを生成する（ステップＳ１０４）。その後、符号化部１０３は、符号化された各コンポーネントストリームのデータをファイル生成部１０４へ出力する。
【0070】
ファイル生成部１０４は、符号化された各コンポーネントストリームのデータの入力を符号化部１０３から受ける。また、ファイル生成部１０４は、SubSample関連情報及びSubSample対応情報を含むメタデータの入力を前処理部１０２から受ける。そして、ファイル生成部１０４は、各コンポーネントストリームのSubSample毎のコーデック情報を取得する（ステップＳ１０５）。
【0071】
次に、ファイル生成部１０４は、各コンポーネントのSubSampleをSampleとしてまとめてMuxed trackを作成し、mdatに配置してSample情報を設定する（ステップＳ１０６）。すなわち、ファイル生成部１０４は、moovのSampleTableに配置したSampleEntryBoxに各Muxed trackのSampleEntryを格納する。
【0072】
次に、ファイル生成部１０４は、SubSampleToCunkBoxをmoofに格納する（ステップＳ１０７）。
【0073】
そして、ファイル生成部１０４は、各コンポーネントのコンポーネントストリームを含むMuxed trackを有するＩＳＯＢＭＦＦファイルを生成する（ステップＳ１０８）。その後、送信部１０８は、ファイル生成部１０４により生成された映像コンテンツのセグメントファイルをＷｅｂサーバ３にアップロードする。
【0074】
（第１の実施形態に係る再生処理手順）
次に、図１０を参照して、第１の実施形態に係るクライアント装置２により実行される再生処理の流れを説明する。図１０は、第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
次に、図１０を参照して、第１の実施形態に係るクライアント装置２により実行される再生処理の流れを説明する。図１０は、第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
【0075】
ファイル取得部２０１は、再生する映像コンテンツのセグメントファイルをＷｅｂサーバ３から取得する。ファイル処理部２０２は、ファイル取得部２０１により取得された映像コンテンツのセグメントファイルをパースする。そして、ファイル処理部２０２は、ＩＳＯＢＭＦＦファイルからSample及びSampleEntryを取得する。その後、ファイル処理部２０２は、取得したSample及びSampleEntryを復号処理部２０３へ出力する。また、ファイル処理部２０２は、メタデータを表示情報生成部２０５へ出力する。復号処理部２０３は、Sample及びSampleEntryを取得してデコード設定を行う（ステップＳ２０１）。
【0076】
次に、復号処理部２０３は、取得したSampleに多重化されているSubSample毎に、対応するSubSampleEntryをSubSampleToCunkBoxから特定し、各コンポーネントのデコードを設定して、各コンポーネントストリームのデータを復号する（ステップＳ２０２）。
【0077】
表示情報生成部２０５は、復号された各コンポーネントストリームのデータを復号処理部２０３から取得する。また、表示情報生成部２０５は、操作命令を表示制御部２０４から取得する。そして、表示情報生成部２０５は、操作命令にしたがい各コンポーネントストリームのデータを用いてレンダリングを行って表示用画像を生成して表示部２０７に表示させる表示処理を実行する（ステップＳ２０３）。
【0078】
その後、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、再生処理を継続するか否かを判定する（ステップＳ２０４）。例えば、利用者から停止命令などが入力された場合、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、再生処理を継続しないと判定する。再生処理を継続する場合（ステップＳ２０４：肯定）、映像再生処理は、ステップＳ２０１に戻る。これに対して、映像コンテンツの全ての画像データの復号が完了した場合（ステップＳ２０４：否定）、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、映像再生処理を終了する。
【0079】
以上に説明したように、本実施形態に係るファイル生成装置は、Muxed trackに含まれる各コンポーネントストリームのメディアの属性を定義し、各コンポーネントストリームのコーデックの属性情報を含むSubSampleEntryと関連付ける。さらに、ファイル生成装置は、SubSampleToChunkBoxを用いて各コンポーネントストリームのSubSampleEntryに、動的に変化可能な各コンポーネントストリームのコーデックの属性情報を関連付ける。これにより、複数のコンポーネントストリームを１つのトラックに含ませることで、各コンポーネントストリームの時間情報などが共有でき、情報を削減することが可能である。すなわち、情報量を削減し且つ視聴者に高品質の視聴体験を提供することが可能となる。また、今までにトラックで実現されていた、トラックのメディア属性情報であるハンドラーの情報の定義、コーデックの属性情報を表すSampleEntryの定義、及び、動的にSampleのコーデック情報を関連付けるＩＳＯＢＭＦＦの仕組みを、単一のトラックにまとめて格納されたコンポーネントストリーム毎に実現することができる。
【0080】
［１．１ 第１の実施形態の変形例］
次に、第１の実施形態の変形例について説明する。第１の実施形態では、SubSampleEntryBoxの中に、各SubSampleに対応するコンポーネントストリームの種別情報であるハンドラーの情報が格納された。しかし、SampleEntryはSample固有の情報が格納されるものであり、SubSampleEntryも、SubSample固有の情報を格納することが好ましい。
次に、第１の実施形態の変形例について説明する。第１の実施形態では、SubSampleEntryBoxの中に、各SubSampleに対応するコンポーネントストリームの種別情報であるハンドラーの情報が格納された。しかし、SampleEntryはSample固有の情報が格納されるものであり、SubSampleEntryも、SubSample固有の情報を格納することが好ましい。
【0081】
そこで、本変形例では、Muxed trackに含まれる各SubSampleに対応するコンポーネントストリームのハンドラーの情報を、SubSampleEntryBoxとは別のファイルのヘッダ領域に格納する。図１１は、第１の実施形態の変形例に係るSubSampleToHandlerBox及びSubSampleEntryBoxのシンタックスの一例を表す図である。
【0082】
前処理部１０２は、シンタックス１８１で示されるSubSampleHandlerBoxの内容を表すSubSampleハンドラー情報を新たに定義して生成する。この場合、前処理部１０２は、SubSampleの識別情報であるcomponent_id及び各SubSampleに対応するコンポーネントストリームのハンドラーの情報であるhandler_typeをSubSampleハンドラー情報に設定する。
【0083】
また、前処理部１０２は、シンタックス１８２で示すSubSampleEntryBoxの内容を表すSubSample関連情報を生成する。この場合、前処理部１０２は、SubSampleの識別情報であるcomponent_id及び各SubSampleに対応するコンポーネントストリームの種類を表すMuxed_stream_specific_typeをSubSample関連情報に設定する。また、前処理部１０２は、SubSampleEntry()もSubSample関連情報に設定する。
【0084】
すなわち、SubSample関連情報には、SubSample固有の情報が設定される。一方、SubSampleハンドラー情報には、SubSampleに対応するコンポーネントストリームのハンドラーの情報が格納される。SubSampleハンドラー情報及びSubSample関連情報は、いずれもcomponent_idにより相互に紐づけられ、且つSubSample対応情報に紐づけられる。
【0085】
ファイル生成部１０４は、前処理部１０２から、SubSample関連情報、SubSampleハンドラー情報及びSubSample対応情報を含むメタデータの入力を前処理部１０２から受ける。そして、ファイル生成部１０４は、SubSample関連情報を格納するシンタックス１８１で示されるSubSampleEntryBoxを新たに定義して、moovに格納する。また、ファイル生成部１０４は、SubSampleハンドラー情報を格納するシンタックス１８２で示されるSubSampleHandlerBoxを新たに定義して、moovに格納する。さらに、ファイル生成部１０４は、SubSample対応情報を含むSubSampleToChunkBoxをmoofに格納する。そして、ファイル生成部１０４は、各コンポーネントストリームを格納したＩＳＯＢＭＦＦファイルを生成する。
【0086】
このように、SubSampleHandlerBox及びSubSampleEntryBoxを構成することで、SubSampleEntryに関しても、Sample及びSampleEntryの関係を踏襲した構成にすることができる。
【0087】
［２．第２の実施形態］
本実施形態に係るファイル生成装置１は、SubSampleにSubSampleのパラメータセットを格納してコンポーネントストリームとともにパラメータセットを送信する。以下に本実施形態に係るファイル生成装置１について説明する。本実施形態に係るファイル生成装置１も図２のブロック図で表される。また、本実施形態に係るクライアント装置２も図６のブロック図で表される。以下の説明では、第１の実施形態と同じ各部の動作については説明を省略する。
本実施形態に係るファイル生成装置１は、SubSampleにSubSampleのパラメータセットを格納してコンポーネントストリームとともにパラメータセットを送信する。以下に本実施形態に係るファイル生成装置１について説明する。本実施形態に係るファイル生成装置１も図２のブロック図で表される。また、本実施形態に係るクライアント装置２も図６のブロック図で表される。以下の説明では、第１の実施形態と同じ各部の動作については説明を省略する。
【0088】
図１２は、パラメータセットの格納状態を説明するための図である。前処理部１０２は、図１２に示すようなSubSampleへのパラメータセット２１１の格納を決定する。パラメータセット２１１は、Muxed trackの各コンポーネントストリームのSubSampleの初期化に使用する情報やSubSampleとSubSampleEntryとを対応付ける情報を含む。例えば、前処理部１０２は、コーデックのＳＥＩ（Supplemental Enhancement Information）を用いてSubSampleにパラメータセット２１１を格納させる。
【0089】
このように、本実施例に係る前処理部１０２は、コンポーネントストリーム毎のSampleEntry関連情報と同等の情報をコーデックのパラメータセットやＳＥＩを用いてインバウンドストリームで伝送させる。これに対して、実施例１のようにmoofでは、TrackFragmentBoxの下にSubSampleToChunkBoxを配置することで、SubSample毎のSampleEntryに関する情報を格納することも可能である。しかし、TrackFragmentBoxを用いる場合、SubSampleToChunkBoxを用いてSubSampleとSubSampleエントリーとの紐づけが識別されるため、moofのオーバーヘッドが大きい。
【0090】
すなわち、本実施例に係る前処理部１０２は、SubSampleToChunkBoxを用いる場合に比べて、moofのオーバーヘッドを削減することができる。この場合、インバウンドストリームでパラメータセット２１１が伝送されていることをクライアントに通知する必要がある。ただし、新しいＢＯＸを定義すると、moofのオーバーヘッドが発生するので、既存のＢＯＸのリザーブビットを使用することが好ましい。そこで、本実施例に係る前処理部１０２は、次のような定義を行う。
【0091】
前処理部１０２は、TrackTunBoxのtr_fragの未定義のビットをインバウンドストリームでコンポーネントストリーム毎のSubSampleのパラメータセット２１１を送信する通知に割り当てて、新たに定義する。この通知に用いる情報が、「格納通知情報」の一例にあたる。本実施形態では、前処理部１０２は、tr_flagsの０ｘ８０００００のビットをインバウンドストリームでコンポーネントストリーム毎のSybSampleのパラメータセット２１１を送信する通知に割り当てる。そして、前処理部１０２は、SubSampleへのパラメータセット２１１の格納及びtr_flagsの０ｘ８０００００のビットのイネーブルをファイル生成部１０４に通知する。これにより、前処理部１０２は、フラグメントされた後の各ヘッダ領域であるmoofにSubSampleToChunkBoxを格納しなくても済むようにする。
【0092】
また、前処理部１０２は、各コンポーネントストリームのSubSampleEntryを生成する。この場合、パラメータセット２１１がインバウンドストリームで伝送されるので、前処理部１０２は、再生処理を行うアプリケーションによる各SubSampleの使用の可否を示すケーパビリティの情報をSubSampleEntryに設定する。ケーパビリティの情報としては、例えば、コーデックの種別を表す情報、画サイズ情報、フレームシート情報といった情報などがある。
【0093】
ファイル生成部１０４は、SubSampleEntry、SubSampleへのパラメータセット２１１の格納及びtr_flagsの０ｘ８０００００のビットのイネーブルの通知を前処理部１０２から受ける。そして、ファイル生成部１０４は、図１２に示すように、moovに各コンポーネントストリームのSubSampleEntryを格納する。
【0094】
また、ファイル生成部１０４は、図１２に示すように、SubSampleにパラメータセット２１１を格納する。また、ファイル生成部１０４は、ＢＯＸ２１２で示すようにTrackRunBoxのtr_flagsの０ｘ８０００００のビットをイネーブルにして、SubSample毎のパラメータセット２１１がmdat領域でコンポーネントストリームのデータと一緒に伝送されることを示す。
【0095】
図１３は、フラグメントの有無に応じたSubSampleEntryBox及びtr_flagsの格納状態を示す図である。ムービーフラグメントが行われていない場合は、図１３のファイル２２０に示すように、ファイル生成部１０５は、moovにＢＯＸ２２１で示すSubSampleEntryBoxを格納する。
【0096】
これに対して、ムービーフラグメントが行われた場合、図１３のファイル２３０に示すように、ファイル生成部１０４は、moovにＢＯＸ２３１で示すSubSampleEntryBoxを配置する。さらに、ファイル生成部１０４は、各moofのＢＯＸ２３２～２３４で示すTrackRunBoxにおいて、tr_flagsの０ｘ８０００００ビットの値をイネーブルに設定する。
【0097】
一方、クライアント装置２において、ファイル処理部２０２は、セグメントファイルをパースした際に、各SubSampleに含まれるパラメータセットを取得する。そして、ファイル処理部２０２は、コンポーネントストリーム毎のビットストリームとともにパラメータセットを復号処理部２０３へ出力する。
【0098】
復号処理部２０３は、コンポーネントストリーム毎のビットストリームとともにパラメータセットの入力をファイル処理部２０２から受ける。そして、復号処理部２０３は、取得したパラメータセットを用いて、各ビットストリームの初期化を行う。その後、復号処理部２０３は、SubSampleEntryに格納されたエンコードバラメータを用いて、各コンポーネントストリームのデータの復号を行う。
【0099】
（第２の実施形態に係るファイル生成手順）
次に、図１４を参照して、第２の実施形態に係るファイル生成装置１によるファイル生成処理の流れについて詳細に説明する。図１４は、第２の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
次に、図１４を参照して、第２の実施形態に係るファイル生成装置１によるファイル生成処理の流れについて詳細に説明する。図１４は、第２の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
【0100】
データ取得部１０１は、映像コンテンツの元データをＷｅｂサーバ３から取得する。そして、前処理部１０２は、データ取得部１０１により取得された取得した元データに含まれる画像データ及び符号化する制御情報を符号化部１０３へ出力する。前処理部１０２は、取得した元データに含まれる制御情報を用いて、Muxed trackのエンコードパラメータをSampleEntryに設定する（ステップＳ３０１）。
【0101】
次に、前処理部１０２は、コンポーネント毎のエンコードパラメータをSubSampleEntryに設定する（ステップＳ３０２）。
【0102】
符号化部１０３は、画像データ及びメタデータの入力をデータ取得部１０１から受ける。そして、符号化部１０３は、画像データ及びメタデータを符号化して、各コンポーネントストリームの符号化されたデータを生成する（ステップＳ３０３）。その後、符号化部１０３は、符号化された各コンポーネントストリームのデータをファイル生成部１０４へ出力する。
【0103】
次に、ファイル生成部１０４は、各コンポーネントストリームのSubSample内にコーデック情報を設定する（ステップＳ３０４）。これにより、ビットストリームに、各SubSampleのパラメータセットがインバウンドされる。
【0104】
次に、ファイル生成部１０４は、各コンポーネントのSubSampleを１つのSampleとしてまとめてMuxed trackを作成し、mdatに配置してSample情報を設定する（ステップＳ３０５）。
【0105】
次に、ファイル生成部１０４は、moofのtr_flagsの０ｘ８０００００のビットの値をイネーブルに設定する（ステップＳ３０６）。
【0106】
そして、ファイル生成部１０４は、各コンポーネントのコンポーネントストリームを含むMuxed trackを有するＩＳＯＢＭＦＦファイルを生成する（ステップＳ３０７）。その後、送信部１０８は、ファイル生成部１０４により生成された映像コンテンツのセグメントファイルをＷｅｂサーバ３にアップロードする。
【0107】
（第２の実施形態に係る再生処理手順）
次に、図１５を参照して、第２の実施形態に係るクライアント装置２により実行される再生処理の流れを説明する。図１５は、第２の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
次に、図１５を参照して、第２の実施形態に係るクライアント装置２により実行される再生処理の流れを説明する。図１５は、第２の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
【0108】
ファイル取得部２０１は、再生する映像コンテンツのセグメントファイルをＷｅｂサーバ３から取得する。ファイル処理部２０２は、ファイル取得部２０１により取得された映像コンテンツのセグメントファイルをパースする。そして、ファイル処理部２０２は、ＩＳＯＢＭＦＦファイルからSample及びSampleEntryを取得する。その後、ファイル処理部２０２は、取得したSample及びSampleEntryを復号処理部２０３へ出力する。また、ファイル処理部２０２は、メタデータを表示情報生成部２０５へ出力する。復号処理部２０３は、Sample及びSampleEntryを取得してデコードの設定を行う（ステップＳ４０１）。
【0109】
次に、復号処理部２０３は、取得したSampleに格納された複数のSubSampleのそれぞれについて、ビットストリームに付加されたパラメータセットを取得する。そして、復号処理部２０３は、パラメータセット及び対応するSubSampleEntryの情報を用いて、各コンポーネントストリームを復号する（ステップＳ４０２）。
【0110】
表示情報生成部２０５は、復号された各コンポーネントストリームのデータを復号処理部２０３から取得する。また、表示情報生成部２０５は、操作命令を表示制御部２０４から取得する。そして、表示情報生成部２０５は、操作命令にしたがい各コンポーネントストリームのデータを用いてレンダリングを行って表示用画像を生成して表示部２０７に表示させる表示処理を実行する（ステップＳ４０３）。
【0111】
その後、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、再生処理を継続するか否かを判定する（ステップＳ４０４）。例えば、利用者から停止命令などが入力された場合、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、再生処理を継続しないと判定する。再生処理を継続する場合（ステップＳ４０４：肯定）、映像再生処理は、ステップＳ４０１に戻る。これに対して、映像コンテンツの全ての画像データの復号が完了した場合（ステップＳ４０４：否定）、ファイル処理部２０２、復号処理部２０３、表示制御部２０４及び表示情報生成部２０５は、映像再生処理を終了する。
【0112】
以上に説明したように、本実施形態に係るファイル生成装置は、各SubSampleのパラメータセットをビットストリームにインバウンドして伝送する。すなわち、本実施形態に係るファイル生成装置は、各コンポーネントストリームのSubSampleにおいて、動的に変化する各コンポーネントストリームのコーデックの属性情報をストリーム内で伝送する。これにより、フラグメント時のヘッダ領域にSubSampleToChunkBoxを設定することによる各SubSampleのSubSampleEntryと紐づけを省略することができ、フラグメント時の管理情報によるオーバーヘッドを削減することができる。
【0113】
［２．１ 第２の実施形態の変形例］
第２の実施形態ではTrackRunBoxのtr_flagsを用いてインバウンドストリームであることを通知したが、tr_flagsの格納場所はこれに限らない。例えば、ファイル生成部１０４は、TrackRunBoxと同じ階層のTrackFragmentHeaderBoxのtr_flagsを用いて、フラグメント全体の情報としてインバウンドストリームであることを通知するフラグを定義してもよい。
第２の実施形態ではTrackRunBoxのtr_flagsを用いてインバウンドストリームであることを通知したが、tr_flagsの格納場所はこれに限らない。例えば、ファイル生成部１０４は、TrackRunBoxと同じ階層のTrackFragmentHeaderBoxのtr_flagsを用いて、フラグメント全体の情報としてインバウンドストリームであることを通知するフラグを定義してもよい。
【0114】
また、ファイル生成部１０４は、SubSampleToChunkBoxがTrackFragmentBoxの下に配置されていない場合、SubSample毎のSubSampleEntryがインバウンドストリームで伝送されるというセマンティクスで定義を行ってもよい。
【0115】
以上に説明したように、TrackRunBoxのtr_flagsを用いる以外にも、インバウンドストリームにより各SubSampleのパラメータを伝送することができ、それらの場合も、フラグメント時の管理情報によるオーバーヘッドを削減することができる。tr_flagsを用いる以外での通知に用いる情報も、「格納通知情報」の一例にあたる。
【0116】
以上の各実施形態及び変形例で説明した構造は、Ｖ－ＰＣＣ以外にも、複数のコンポーネントストリームを含むストリームに適用することが可能である。
【0117】
［３．第３の実施形態］
以上の各実施形態及びそれらの各変形例ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１６に示すMatroska Media Container（http://www.matroska.org/）を用いて伝送する場合でも複数のコンポーネントストリームのそれぞれのメディア属性を定義し、各コンポーネントストリームのコーデックの属性情報と各コンポーネントストリームのデータとの関連付けを行うことが可能である。図１６は、Matroska Media Containerのフォーマットを表す図である。その場合、ファイル生成部１０５は、各実施例及び変形例においてSubSampleEntryBoxに格納した情報及びSubSampleToChunkBoxに格納した情報を、Track Entry elementに新しく定義したelementに格納する。
以上の各実施形態及びそれらの各変形例ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１６に示すMatroska Media Container（http://www.matroska.org/）を用いて伝送する場合でも複数のコンポーネントストリームのそれぞれのメディア属性を定義し、各コンポーネントストリームのコーデックの属性情報と各コンポーネントストリームのデータとの関連付けを行うことが可能である。図１６は、Matroska Media Containerのフォーマットを表す図である。その場合、ファイル生成部１０５は、各実施例及び変形例においてSubSampleEntryBoxに格納した情報及びSubSampleToChunkBoxに格納した情報を、Track Entry elementに新しく定義したelementに格納する。
【0118】
［ハードウェア構成］
図１７は、コンピュータのハードウェア構成図である。ファイル生成装置１及びクライアント装置２は、図１７に示すコンピュータ９０によって実現可能である。コンピュータ９０において、プロセッサ９１、メモリ９２、ネットワークインタフェース９３、不揮発性ストレージ９４、入出力インタフェース９５及びディスプレイインタフェース８６は、バスを介して相互に接続される。
図１７は、コンピュータのハードウェア構成図である。ファイル生成装置１及びクライアント装置２は、図１７に示すコンピュータ９０によって実現可能である。コンピュータ９０において、プロセッサ９１、メモリ９２、ネットワークインタフェース９３、不揮発性ストレージ９４、入出力インタフェース９５及びディスプレイインタフェース８６は、バスを介して相互に接続される。
【0119】
入出力インタフェース９５には、例えば、入力装置、出力装置、記憶装置及びドライブといった外部デバイスが接続される。入力装置は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などである。出力装置は、例えば、スピーカ、出力端子などである。記憶装置は、例えば、ハードディスク、ＲＡＭ（Random Access Memory）ディスクなどである。ドライブは、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動する。また、ディスプレインタフェース９６には、表示装置であるディスプレイ９８が接続される。
【0120】
ネットワークインタフェース９３は、外部のネットワークに接続される。ファイル生成装置１及びクライアント装置２は、ネットワークインタフェース９３を介して相互に接続される。また、ファイル生成装置１及びクライアント装置２は、ネットワークインタフェース９３を介してＷｅｂサーバ３に接続する。不揮発性ストレージ９４は、ハードディスクやＳＳＤ（Solid State Drive）などの内蔵の補助記憶装置である。
【0121】
以上のように構成されるコンピュータ９０では、プロセッサ９１が、例えば、不揮発性ストレージ９４に記憶されているプログラムを、バスを介して、メモリ９２にロードして実行することにより、上述した一連の処理が行われる。メモリ９２にはまた、プロセッサ９１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0122】
プロセッサ９１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアを外部デバイス９７であるドライブに装着することにより、入出力インタフェース９５を介して、不揮発性ストレージ９４にインストールすることができる。
【0123】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、ネットワークインタフェース９３で受信し、不揮発性ストレージ９４にインストールすることができる。
【0124】
その他、このプログラムは、不揮発性ストレージ９４に、予めインストールしておくこともできる。
【0125】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0126】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
【0127】
なお、本技術は以下のような構成を取ることもできる。
【0128】
（１）複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成する前処理部と、
前記前処理部により生成された前記SubSample1情報を含むファイルを生成するファイル生成部と
を備えた情報処理装置。
（２）前記前処理部は、複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含むSubSample関連情報を前記SubSample情報に含ませる付記（２）に記載の情報処理装置。
（３）前記ファイル生成部は、前記SubSample関連情報を、単一のヘッダ領域及び単一のデータ領域を有するファイルフォーマットの前記ヘッダ領域に挿入し、前記データ領域に複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを挿入したファイルを生成する付記（２）に記載の情報処理装置。
（４）前記ファイル生成部は、前記SubSample関連情報を、初期化用情報を含む第１ヘッダ領域、並びに、複数のデータ領域及び前記データ領域に対応する複数の第２ヘッダ領域を有するファイルフォーマットの前記第１ヘッダ領域に前記SubSample関連情報を挿入し、前記データ領域のそれぞれに複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを分割して挿入したファイルを生成する付記（２）に記載の情報処理装置。
（５）前記ファイル生成部は、前記SubSample関連情報をSubSampleEntryBoxに格納する付記（２）に記載の情報処理装置。
（６）前記前処理部は、複数の前記SubSampleと前記SubSample関連情報との対応を表すSubSample対応情報を前記SubSample情報にさらに含ませる付記（２）に記載の情報処理装置。
（７）前記ファイル生成部は、前記SubSample対応情報を前記ファイルのSubSampleToChunkBoxに格納する付記（６）に記載の情報処理装置。
（８）前記前処理部は、前記SubSample関連情報のうち前記SubSampleの識別情報及び前記コンポーネントストリームの種別情報を含む第１関連情報と前記SubSampleの識別情報及び前記SubSampleのメディアの属性情報を含む第２関連情報とを生成する付記（２）に記載の情報処理装置。
（９）前記ファイル生成部は、前記第１関連情報をSubSamplehandlerBoxに格納し、前記第２関連情報をSubSampleEntryBoxに格納する付記（８）に記載の情報処理装置。
（１０）前記前処理部は、復号に用いるパラメータセットを前記SubSample情報に含ませる付記（１）に記載の情報処理装置。
（１１）前記ファイル生成部は、前記SubSample情報を前記コンポーネントストリームに含ませる付記（１０）に記載の情報処理装置。
（１２）前記ファイル生成部は、前記SubSample情報が前記コンポーネントストリームに含まれることを示す格納通知情報を生成し、TrackRunBoxに格納する付記（１１）に記載の情報処理装置。
（１３）複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成し、
前記前処理部により生成された前記SubSample1情報を含むファイルを生成する
処理をコンピュータに実行させる情報処理方法。
（１４）ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得するファイル処理部と、
前記ファイル処理部により取得された前記SubSample情報に基づいて、前記コンテンツストリームを復号する復号処理部と
を備えた再生処理装置。
（１５）ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得し、
取得した前記SubSample情報に基づいて、前記コンテンツストリームを復号する
処理をコンピュータに実行させる再生処理方法。
前記前処理部により生成された前記SubSample1情報を含むファイルを生成するファイル生成部と
を備えた情報処理装置。
（２）前記前処理部は、複数の前記SubSampleのそれぞれに対応する、前記SubSampleの識別情報、複数の前記コンポーネントストリームの種別情報、前記SubSampleのメディアの属性情報及びコーデックの属性情報を含むSubSample関連情報を前記SubSample情報に含ませる付記（２）に記載の情報処理装置。
（３）前記ファイル生成部は、前記SubSample関連情報を、単一のヘッダ領域及び単一のデータ領域を有するファイルフォーマットの前記ヘッダ領域に挿入し、前記データ領域に複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを挿入したファイルを生成する付記（２）に記載の情報処理装置。
（４）前記ファイル生成部は、前記SubSample関連情報を、初期化用情報を含む第１ヘッダ領域、並びに、複数のデータ領域及び前記データ領域に対応する複数の第２ヘッダ領域を有するファイルフォーマットの前記第１ヘッダ領域に前記SubSample関連情報を挿入し、前記データ領域のそれぞれに複数の前記コンポーネントストリームから生成される単一のコンテンツストリームを分割して挿入したファイルを生成する付記（２）に記載の情報処理装置。
（５）前記ファイル生成部は、前記SubSample関連情報をSubSampleEntryBoxに格納する付記（２）に記載の情報処理装置。
（６）前記前処理部は、複数の前記SubSampleと前記SubSample関連情報との対応を表すSubSample対応情報を前記SubSample情報にさらに含ませる付記（２）に記載の情報処理装置。
（７）前記ファイル生成部は、前記SubSample対応情報を前記ファイルのSubSampleToChunkBoxに格納する付記（６）に記載の情報処理装置。
（８）前記前処理部は、前記SubSample関連情報のうち前記SubSampleの識別情報及び前記コンポーネントストリームの種別情報を含む第１関連情報と前記SubSampleの識別情報及び前記SubSampleのメディアの属性情報を含む第２関連情報とを生成する付記（２）に記載の情報処理装置。
（９）前記ファイル生成部は、前記第１関連情報をSubSamplehandlerBoxに格納し、前記第２関連情報をSubSampleEntryBoxに格納する付記（８）に記載の情報処理装置。
（１０）前記前処理部は、復号に用いるパラメータセットを前記SubSample情報に含ませる付記（１）に記載の情報処理装置。
（１１）前記ファイル生成部は、前記SubSample情報を前記コンポーネントストリームに含ませる付記（１０）に記載の情報処理装置。
（１２）前記ファイル生成部は、前記SubSample情報が前記コンポーネントストリームに含まれることを示す格納通知情報を生成し、TrackRunBoxに格納する付記（１１）に記載の情報処理装置。
（１３）複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームにおける、前記SubSampleのそれぞれの復号に用いるSubSample情報を個々に生成し、
前記前処理部により生成された前記SubSample1情報を含むファイルを生成する
処理をコンピュータに実行させる情報処理方法。
（１４）ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得するファイル処理部と、
前記ファイル処理部により取得された前記SubSample情報に基づいて、前記コンテンツストリームを復号する復号処理部と
を備えた再生処理装置。
（１５）ヘッダ領域及び複数のコンポーネントストリームであるSubSampleから構成されるコンテンツストリームが格納されるデータ領域を有するファイルフォーマットにしたがって生成されたファイルの前記ヘッダ領域から、前記SubSampleのそれぞれの復号に用いるSubSample情報を取得し、
取得した前記SubSample情報に基づいて、前記コンテンツストリームを復号する
処理をコンピュータに実行させる再生処理方法。
【符号の説明】
【0129】
１ ファイル生成装置
２ クライアント装置
３ Ｗｅｂサーバ
１０ ファイル生成処理部
１１ 制御部
１２ 送信部
２０ 再生処理部
２１ 制御部
１００ 配信システム
１０１ データ取得部
１０２ 前処理部
１０３ 符号化部
１０４ ファイル生成部
２０１ ファイル取得部
２０２ ファイル処理部
２０３ 復号処理部
２０４ 表示制御部
２０５ 表示情報生成部
２０６ 表示部
２ クライアント装置
３ Ｗｅｂサーバ
１０ ファイル生成処理部
１１ 制御部
１２ 送信部
２０ 再生処理部
２１ 制御部
１００ 配信システム
１０１ データ取得部
１０２ 前処理部
１０３ 符号化部
１０４ ファイル生成部
２０１ ファイル取得部
２０２ ファイル処理部
２０３ 復号処理部
２０４ 表示制御部
２０５ 表示情報生成部
２０６ 表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】