特許 6088968 フラグメント基盤のマルチメディアストリーミングサービス提供方法とその装置、並びにフラグメント基盤のマルチメディアストリーミングサービス受信方法とその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6088968

(24)【登録日】2017年2月10日

(45)【発行日】2017年3月1日

(54)【発明の名称】フラグメント基盤のマルチメディアストリーミングサービス提供方法とその装置、並びにフラグメント基盤のマルチメディアストリーミングサービス受信方法とその装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170220BHJP

   H04N 21/2389 20110101ALI20170220BHJP

   H04N 19/597 20140101ALI20170220BHJP

【ＦＩ】

   H04N13/00 480

   H04N13/00 590

   H04N21/2389

   H04N19/597

【請求項の数】15

【全頁数】37

(21)【出願番号】特願2013-514117(P2013-514117)

(86)(22)【出願日】2011年6月9日

(65)【公表番号】特表2013-534747(P2013-534747A)

(43)【公表日】2013年9月5日

(86)【国際出願番号】KR2011004230

(87)【国際公開番号】WO2011155776

(87)【国際公開日】20111215

【審査請求日】2014年6月6日

(31)【優先権主張番号】61/366,279

(32)【優先日】2010年7月21日

(33)【優先権主張国】US

(31)【優先権主張番号】61/352,895

(32)【優先日】2010年6月9日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(73)【特許権者】

【識別番号】512317238

【氏名又は名称】インダストリー アカデミック コオペレーション ファウンデーション キョンヒ ユニヴァーシティ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】キム，ヒ−ジン

(72)【発明者】

【氏名】キム，ギル−ユン

(72)【発明者】

【氏名】キム，ナム−グッ

(72)【発明者】

【氏名】ジョン，ド−ヨン

(72)【発明者】

【氏名】リュー，ガ−ヒョン

(72)【発明者】

【氏名】パク，テ−ソン

(72)【発明者】

【氏名】キム，キュ−ホン

(72)【発明者】

【氏名】キム，ジョン−ハン

(72)【発明者】

【氏名】リー，ジャン−ウォン

(72)【発明者】

【氏名】ソ，ドク−ヨン

(72)【発明者】

【氏名】パク，グァン−フン

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１１−０８２６６６（ＪＰ，Ａ）

【文献】 特開２００４−２２８７４３（ＪＰ，Ａ）

【文献】 国際公開第２００８／１５６３１８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ １９／５９７

Ｈ０４Ｎ ２１／２３８９

(57)【特許請求の範囲】

【請求項1】

ネットワークを用いてマルチメディアを伝送するストリーミングサービス提供方法において、
２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割する段階と、
前記フラグメント毎に、現在ビデオを２次元再生または３次元再生するための情報を含む３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報と、両方を含む属性情報を決定する段階と、
前記フラグメントについての属性情報を含む補助データ領域と、前記符号化されたビデオデータを含むメディアデータ領域とで構成されたフラグメントを連続的に伝送する段階と、を含み、
前記３次元シグナリング情報と前記関係情報は、前記補助データ領域を介して伝送され、かつ、前記符号化されたビデオデータは、前記メディアデータ領域を介して伝送される、
ことを特徴とするマルチメディアストリーミングサービス提供方法。

【請求項2】

前記フラグメント毎の前記属性情報を決定する段階は、
前記フラグメント毎に、左視点映像及び右視点映像がステレオスコピック映像を構成する形態を示す３次元構成情報、前記ステレオスコピック映像で前記左視点映像及び前記右視点映像の順序を示す左右順序情報、及びモノスコピックビデオ区間とステレオスコピックビデオ区間との変更回数を示すステレオモノ区間変更回数情報のうち少なくとも一つを定める段階と、
現在区間が、前記モノスコピックビデオ区間であるか、または前記ステレオスコピックビデオ区間であるかを示すステレオ確認情報、及び前記現在区間を構成するサンプルの数を示す区間サンプル数情報のうち少なくとも一つを定める段階と、を含むことを特徴とする請求項１に記載のマルチメディアストリーミングサービス提供方法。

【請求項3】

前記フラグメント毎の前記属性情報を決定する段階は、
現在フラグメントのステレオスコピックビデオ区間ごとに、現在ステレオスコピックビデオ区間を構成するサンプルに関する前記３次元構成情報、前記左右順序情報、前記現在フラグメントの一つ以上のステレオスコピックビデオ区間のうちそれぞれのステレオスコピックビデオ区間に関する識別情報、及び現在テレオスコピックビデオ区間を構成するサンプルを獲得したステレオスコピックカメラに関する情報と、前記サンプルを用いて安全に３次元再生するためのディスプレイ規格に関する情報と、を含むステレオスコピックカメラディスプレイ情報のうち少なくとも一つを定める段階を含み、
前記ステレオスコピックカメラディスプレイ情報は、現在フラグメントの現在ステレオスコピックビデオ区間中で、前記ステレオスコピックカメラディスプレイ情報が適用されるアイテムの数を示す情報、それぞれのアイテムで参照される現在ステレオスコピックカメラディスプレイ情報の識別情報、及び前記現在ステレオスコピックカメラディスプレイ情報が適用される区間の長さに関する情報のうち少なくとも一つを含むことを特徴とする請求項２に記載のマルチメディアストリーミングサービス提供方法。

【請求項4】

前記フラグメント毎の前記属性情報を決定する段階は、
現在ファイルのビデオに対して、ステレオスコピックビデオを構成するために参照する参照ビデオの位置情報を、前記現在ファイル内の参照ビデオ識別情報、前記現在ファイル外部の遠隔位置情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報、ＵＲＮ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｎａｍｅ）情報のうち少なくとも一つを用いて定める段階と、
前記現在ファイルのビデオが複数のビデオを参照する場合、参照ビデオ数情報、複数の参照ビデオを識別するための参照インデックス情報、及びそれぞれの参照ビデオに関する前記位置情報のうち少なくとも一つを定める段階と、を含むことを特徴とする請求項１に記載のマルチメディアストリーミングサービス提供方法。

【請求項5】

前記マルチメディアストリーミングサービス提供方法は、
ビデオをビデオ画質によって差動符号化した複数チャネルのビデオを生成する段階をさらに含み、
前記フラグメント毎の属性情報決定段階は、現在ファイルのビデオの他のチャネルのビデオ数を示すマルチチャネル数情報、及び前記他のチャネルのビデオの位置を示す参照情報のうち少なくとも一つを定める段階を含むことを特徴とする請求項１に記載のマルチメディアストリーミングサービス提供方法。

【請求項6】

ネットワークを用いてマルチメディアを受信するストリーミングサービス受信方法において、
複数のフラグメントを連続的に受信する段階と、
前記フラグメント毎にメディアデータ領域から、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータを、フラグメント単位に分割された形態で抽出する段階と、
前記フラグメント毎に補助データ領域から属性情報をパージングし、前記フラグメントのビデオの２次元再生または３次元再生のための３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報と、両方を抽出して読み取る段階と、
前記フラグメント毎に前記属性情報から読み取られた情報に基づいて、前記フラグメントの前記符号化されたデータを２次元ビデオまたは３次元ビデオに復元する段階と、を含み、
前記３次元シグナリング情報と前記関係情報は、前記補助データ領域を介して伝送され、かつ、前記符号化されたビデオデータは、前記メディアデータ領域を介して伝送される、
ことを特徴とするマルチメディアストリーミングサービス受信方法。

【請求項7】

前記属性情報を抽出して読み取る段階は、
前記フラグメント毎にフラグメントビデオデータに対して設定された、左視点映像及び右視点映像がステレオスコピック映像を構成する形態を示す３次元構成情報、前記ステレオスコピック映像で前記左視点映像及び前記右視点映像の順序を示す左右順序情報、及び、モノスコピックビデオ区間とステレオスコピックビデオ区間との変更回数を示すステレオモノ区間変更回数情報のうち少なくとも一つを抽出して読み取る段階と、
前記フラグメント毎に、現在区間が前記モノスコピックビデオ区間であるか、または前記ステレオスコピックビデオ区間であるかを示すステレオ確認情報、及び前記現在区間を構成するサンプルの数を示す区間サンプル数情報のうち少なくとも一つを抽出して読み取る段階と、を含むことを特徴とする請求項６に記載のマルチメディアストリーミングサービス受信方法。

【請求項8】

前記属性情報を抽出して読み取る段階は、
現在フラグメントのステレオスコピックビデオ区間ごとに設定された、現在ステレオスコピックビデオ区間を構成するサンプルに関する前記３次元構成情報、前記左右順序情報、前記現在フラグメントの一つ以上のステレオスコピックビデオ区間のうちそれぞれのステレオスコピックビデオ区間に関する識別情報、及び現在ステレオスコピックビデオ区間を構成するサンプルを獲得したステレオスコピックカメラに関する情報と、前記サンプルを用いて安全に３次元再生するためのディスプレイ規格に関する情報と、を含むステレオスコピックカメラディスプレイ情報のうち少なくとも一つを抽出して読み取る段階を含み、
前記ステレオスコピックカメラディスプレイ情報は、現在フラグメントの現在ステレオスコピックビデオ区間中で、前記ステレオスコピックカメラディスプレイ情報が適用されるアイテムの数を示す情報、それぞれのアイテムで参照される現在ステレオスコピックカメラディスプレイ情報の識別情報、及び前記現在ステレオスコピックカメラディスプレイ情報が適用される区間の長さに関する情報のうち少なくとも一つを含むことを特徴とする請求項７に記載のマルチメディアストリーミングサービス受信方法。

【請求項9】

前記属性情報を抽出して読み取る段階は、
現在ファイルのビデオに対して設定された、ステレオスコピックビデオを構成するために参照する参照ビデオの位置情報を抽出して、前記現在ファイル内の参照ビデオ識別情報、前記現在ファイル外部の遠隔位置情報、ＵＲＬ情報、ＵＲＮ情報のうち少なくとも一つを読み取る段階と、
前記現在ファイルのビデオが複数のビデオを参照する場合、参照ビデオ数情報、複数の参照ビデオを識別するための参照インデックス情報、及びそれぞれの参照ビデオに関する前記位置情報のうち少なくとも一つを抽出して読み取る段階と、を含むことを特徴とする請求項６に記載のマルチメディアストリーミングサービス受信方法。

【請求項10】

前記マルチメディアストリーミングサービス受信方法は、
ビデオ画質によって差動符号化された複数のチャネルのビデオのうち、選択的に所定チャネルのビデオを受信する段階をさらに含み、
前記属性情報を抽出して読み取る段階は、現在ファイルのビデオの他のチャネルのビデオ数を示すマルチチャネル数情報、及び前記他のチャネルのビデオの位置を示す参照情報のうち少なくとも一つを抽出して読み取る段階を含むことを特徴とする請求項６に記載のマルチメディアストリーミングサービス受信方法。

【請求項11】

前記マルチメディアストリーミングサービス受信方法は、
前記フラグメント毎に前記３次元シグナリング情報から読み取られた情報に基づいて、前記復元された２次元ビデオまたは３次元ビデオを再生する段階をさらに含むことを特徴とする請求項６に記載のマルチメディアストリーミングサービス受信方法。

【請求項12】

ネットワークを用いてマルチメディアを伝送するストリーミングサービス提供装置において、
２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割するフラグメントビデオデータ生成部と、
前記フラグメント毎に現在ビデオを２次元再生または３次元再生するための情報を含む３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報と、両方を含む属性情報を定めるフラグメント属性情報決定部と、
前記フラグメントについての属性情報を含む補助データ領域と、前記符号化されたビデオデータを含むメディアデータ領域とで構成されたフラグメントを連続的に伝送するストリーミング部と、を備え、
前記３次元シグナリング情報と前記関係情報は、前記補助データ領域を介して伝送され、かつ、前記符号化されたビデオデータは、前記メディアデータ領域を介して伝送される、
ことを特徴とするマルチメディアストリーミングサービス提供装置。

【請求項13】

ネットワークを用いてマルチメディアを受信するストリーミングサービス受信装置において、
複数のフラグメントを連続的に受信する受信部と、
前記フラグメント毎にメディアデータ領域から、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割された形態で抽出するフラグメントビデオデータ抽出部と、
前記フラグメント毎に補助データ領域から属性情報をパージングし、前記フラグメントのビデオの２次元再生または３次元再生のための３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報と、両方を抽出して読み取るフラグメント属性情報抽出部と、
前記フラグメント毎に前記属性情報から読み取られた情報に基づいて、前記フラグメントの前記符号化されたデータを２次元ビデオまたは３次元ビデオに復元する復元部と、を備え、
前記３次元シグナリング情報と前記関係情報は、補助データ領域を介して伝送され、かつ、前記符号化されたデータは、メディアデータ領域を介して伝送される、
ことを特徴とするマルチメディアストリーミングサービス受信装置。

【請求項14】

請求項１に記載のマルチメディアストリーミングサービス提供方法を演算プロセッサーで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【請求項15】

請求項６に記載のマルチメディアストリーミングサービス受信方法を演算プロセッサーで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチメディアコンテンツを伝送するためのデータストリームの生成及び受信に関する。

【背景技術】

【0002】

一般的に、一つのマルチメディアコンテンツは、オーディオ、ビデオ、イメージ、メタデータなどの互いに異なる属性を持つ要素の組み合わせからなる。これらのデータはそれぞれ符号化して、要素の関係及びそれぞれの要素を復号化して再生するための情報と共に、マルチメディアコンテンツのためのデータ構造に収録されて活用される。

【0003】

かかるマルチメディアコンテンツのデータ構造のために、国際標準機構であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、多様なアプリケーションに共通に適用できる基本的なファイルフォーマット、すなわち、ＩＳＯ基盤のメディアファイルフォーマットを定義した。ＩＳＯ基盤のメディアファイルフォーマットを用いて、マルチメディアコンテンツの符号化された要素及び要素に係る構成情報などの補助データが、複数のコンテナに階層的に保存される。基本的にＩＳＯ基盤のメディアファイルフォーマットは、単一マルチメディアファイルにそれぞれのマルチメディア要素を効率的に保存するための基本構造を定義している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、２次元ビデオまたは３次元ビデオを伝送するマルチメディアストリーミングサービスを提供する方法とその装置、マルチメディアストリーミングサービスを受信する方法とその装置を開示する。

【課題を解決するための手段】

【0005】

一実施形態によって、ネットワークを用いてマルチメディアを伝送するストリーミングサービス提供方法は、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割する段階と、前記フラグメントごとに現在ビデオを２次元再生または３次元再生するための情報を含む３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報のうち少なくとも一つを含む属性情報を定める段階と、前記フラグメントについての属性情報を含む補助データ領域と、前記符号化されたビデオデータを含むメディアデータ領域とで構成されたフラグメントを連続的に伝送する段階と、を含む。

【図面の簡単な説明】

【0006】

【図1】一実施形態によるマルチメディアストリーミングサービス提供装置のブロック図である。

【図2】一実施形態によるマルチメディアストリーミングサービス受信装置のブロック図である。

【図3】一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットと、フラグメントごとに伝送される３次元シグナリング情報とを含むｍｆｓｉボックスを示す図面である。

【図4】一実施形態によるｍｆｓｉボックス及びｓｃｄｉボックスに含まれた３次元シグナリング情報のシンタックスを示す図面である。

【図5】一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットと、フラグメントごとに伝送される３次元シグナリング情報とを含むｓｖｆｉボックスを示す図面である。

【図6】一実施形態によるｓｖｆｉボックスに含まれた３次元シグナリング情報のシンタックスを示す図面である。

【図7】一実施形態によるｓｖｆｉボックスに含まれた３次元シグナリング情報のシンタックスを示す図面である。

【図8】一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットで、ファイルに対して設定された３次元シグナリング情報のシンタックスを示す図面である。

【図9】一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットで、サンプルに対して設定された３次元シグナリング情報のシンタックスを示す図面である。

【図10】一実施形態によって、ステレオスコピックビデオの左視点ビデオ及び右視点ビデオをそれぞれ伝送するための２個のストリーミングファイルフォーマットを示す図面である。

【図11】一実施形態によって、ファイルに含まれたステレオスコピックビデオに対して設定される参照情報を示す図面である。

【図12】一実施形態によって、２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される一つの関係情報を示す図面である。

【図13】一実施形態によって、２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される複数の関係情報を示す図面である。

【図14】一実施形態によって、２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、複数の参照ビデオに関する関係情報を含むトラック情報のシンタックスを示す図面である。

【図15】一実施形態によって、２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される関係情報のシンタックスを示す図面である。

【図16】一実施形態によって、２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル外部のインデックスファイルを用いて設定される関係情報を示す図面である。

【図17】一実施形態によって、ステレオスコピックビデオの左視点ビデオ及び右視点ビデオを伝送するための１個のストリーミングファイルフォーマットを示す図面である。

【図18】一実施形態によって、ステレオスコピックビデオの左視点ビデオ及び右視点ビデオを伝送するための１個のストリーミングファイルフォーマットを示す図面である。

【図19】一実施形態によって、１個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル外部のインデックスファイルを用いて参照ビデオを定める方式を示す図面である。

【図20】一実施形態によって、１個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル外部のインデックスファイルを用いて参照ビデオを定める方式を示す図面である。

【図21】適応的ストリーミングサービスのために、一実施形態によるマルチチャネルビデオグループの関係情報を含むａｆｇｐボックスのシンタックスを示す図面である。

【図22】適応的ストリーミングサービスのために、ファイル外部のインデックスファイルを用いて一実施形態によるマルチチャネルビデオグループ間の関係情報を設定する場合を示す図面である。

【図23】一実施形態によるマルチメディアストリーミングサービス提供方法のフローチャートである。

【図24】一実施形態によるマルチメディアストリーミングサービス受信方法のフローチャートである。

【発明を実施するための形態】

【0007】

一実施形態によって、ネットワークを用いてマルチメディアを伝送するストリーミングサービス提供方法は、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割する段階と、前記フラグメントごとに、現在ビデオを２次元再生または３次元再生するための情報を含む３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報のうち少なくとも一つを含む属性情報を定める段階と、前記フラグメントについての属性情報を含む補助データ領域と、前記符号化されたビデオデータを含むメディアデータ領域とで構成されたフラグメントを連続的に伝送する段階と、を含む。

【0008】

一実施形態によって、ネットワークを用いてマルチメディアを受信するストリーミングサービス受信方法は、複数のフラグメントを連続的に受信する段階と、前記フラグメントごとにメディアデータ領域から、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータを、フラグメント単位に分割された形態で抽出する段階と、前記フラグメントごとに補助データ領域から属性情報をパージングし、前記フラグメントのビデオの２次元再生または３次元再生のための３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報のうち少なくとも一つを抽出して読み取る段階と、前記フラグメントごとに前記属性情報から読み取られた情報に基づいて、前記フラグメントの前記符号化されたデータを２次元ビデオまたは３次元ビデオに復元する段階と、を含む。

【0009】

一実施形態によって、ネットワークを用いてマルチメディアを伝送するストリーミングサービス提供装置は、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割するフラグメントビデオデータ生成部と、前記フラグメントごとに現在ビデオを２次元再生または３次元再生するための情報を含む３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報のうち少なくとも一つを含む属性情報を定めるフラグメント属性情報決定部と、前記フラグメントについての属性情報を含む補助データ領域と、前記符号化されたビデオデータを含むメディアデータ領域とで構成されたフラグメントを連続的に伝送するストリーミング部と、を備える。

【0010】

一実施形態によって、ネットワークを用いてマルチメディアを受信するストリーミングサービス受信装置は、複数のフラグメントを連続的に受信する受信部と、前記フラグメントごとにメディアデータ領域から、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割された形態で抽出するフラグメントビデオデータ抽出部と、前記フラグメントごとに補助データ領域から属性情報をパージングし、前記フラグメントのビデオの２次元再生または３次元再生のための３次元シグナリング情報と、前記ビデオが一つ以上の他のビデオを参照するための関係情報のうち少なくとも一つを抽出して読み取るフラグメント属性情報抽出部と、前記フラグメントごとに前記属性情報から読み取られた情報に基づいて、前記フラグメントの前記符号化されたデータを２次元ビデオまたは３次元ビデオに復元する復元部と、を備える。

【0011】

本発明は、一実施形態によるマルチメディアストリーミングサービス提供方法を演算プロセッサーで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。一実施形態によるマルチメディアストリーミングサービス受信方法を演算プロセッサーで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

【0012】

図１は、一実施形態によるマルチメディアストリーミングサービス提供装置のブロック図である。

【0013】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、一実施形態によってフラグメント単位で伝送されるストリーミングファイルフォーマットを用いて、ネットワークを用いて２次元ビデオ、３次元ビデオまたは２次元ビデオと３次元ビデオとの混合ビデオのビデオデータを伝送しつつ、ファイル、フラグメント、サンプル別に該当ビデオデータに関する３次元シグナリング情報と、複数のビデオ間の参照関係に関する関係情報のうち少なくとも一つを含む属性情報を伝送できる。

【0014】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、フラグメントビデオデータ生成部１１０、フラグメント属性情報決定部１２０及びストリーミング部１３０を備える。

【0015】

一実施形態によるフラグメントビデオデータ生成部１１０、フラグメント属性情報決定部１２０及びストリーミング部１３０は、マルチメディアストリーミングサービス提供装置１００の内部または外部に位置している中央演算装置またはプロセッサーの制御によって、互いにデータを交換しつつ有機的に作動できる。または、一実施形態によるフラグメントビデオデータ生成部１１０、フラグメント属性情報決定部１２０及びストリーミング部１３０のうち少なくとも一つの構成要素は、自体的に搭載されたプロセッサーによって作動し、他の構成要素と有機的に作動するように制御される。

【0016】

一実施形態によるフラグメントビデオデータ生成部１１０は、２次元ビデオデータ及び３次元ビデオデータのうち少なくとも一つを含むビデオデータを、フラグメント単位で伝送するためにフラグメントビデオデータに分割する。

【0017】

フラグメントは、ネットワークを用いてデータをストリーミングするためのパッケージ単位である。フラグメントは、メディアデータを伝送するためのメディアデータ領域と、メディアデータ領域のメディアデータのコンテンツに関する情報及び構造関連情報などの属性情報を伝送するための補助データ領域とで構成される。一つ以上のフラグメントが順次に伝送されつつストリーミングデータが伝送される。

【0018】

例えば、ＩＳＯ基盤のメディアファイルフォーマットによるストリーミングファイルの場合、フラグメントは、メディアデータを含むｍｄａｔ領域と、ｍｄａｔ領域のメディアデータに関する各種属性情報を含むｍｏｏｆ領域とで構成される。

【0019】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、圧縮符号化されたビデオデータを受信し、ストリーミングのためにフラグメント単位に分割できる。または、一実施形態によるマルチメディアストリーミングサービス提供装置１００は、無圧縮ビデオデータを受信した後、自体的に搭載された符号化器を用いてビデオデータを符号化した後、フラグメント単位に分割してもよい。

【0020】

一実施形態によるフラグメント属性情報決定部１２０は、フラグメントごとに、ビデオの２次元再生または３次元再生のための情報を含む３次元シグナリング情報を定める。

【0021】

一実施形態によるフラグメント属性情報決定部１２０は、フラグメントの補助データ領域を通じて伝送される３次元シグナリング情報を定める。３次元シグナリング情報は、現在ビデオが２次元ビデオであるか、または３次元ビデオであるかによって設定される各種情報を含む。また、３次元シグナリング情報は、復号化器がビデオを復元して２次元再生または３次元再生するために必要な各種情報を含む。

【0022】

３次元シグナリング情報がフラグメントごとに伝送される場合、フラグメントごとに現在ビデオに関する２次元ビデオ／３次元ビデオ関連情報が伝送される。

【0023】

一実施形態によるフラグメント属性情報決定部１２０は、現在ビデオを含む複数のビデオ間に互いに参照するための関係情報を定める。関係情報として、現在ファイル内に位置する他のビデオに関する参照情報及び位置情報が伝送される。また、関係情報として、現在ファイルの外部ファイルに位置する一つ以上の他のビデオを参照するための位置情報及びインデックス情報が伝送される。

【0024】

一実施形態によるストリーミング部１３０は、フラグメント属性情報決定部１２０によって定められた３次元シグナリング情報及び関係情報のうち少なくとも一つを含む属性情報と、フラグメントに分割されたビデオデータを含むフラグメントとを連続的に伝送する。フラグメントが連続的に伝送されることでビデオデータと、３次元シグナリング情報または関係情報がストリーミングされる。

【0025】

フラグメントごとに、補助データ領域を通じて現在フラグメントのビデオに関する３次元シグナリング情報及び関係情報が伝送され、メディアデータ領域を通じて現在フラグメントの符号化されたビデオデータが伝送される。

【0026】

一実施形態によるフラグメント属性情報決定部１２０は、フラグメントごとに、現在ビデオに関する３次元構成情報及び左右順序情報を定める。一実施形態による３次元構成情報は、左視点映像及び右視点映像が現在ビデオのステレオスコピック映像を構成する形態を示す。一実施形態による左右順序情報は、ステレオスコピック映像における左視点映像及び右視点映像の順序を示す。

【0027】

一実施形態によるフラグメント属性情報決定部１２０は、フラグメントごとに、現在ビデオに対するモノスコピックビデオ区間とステレオスコピックビデオ区間との変更回数を示すステレオモノ区間変更回数情報を定める。

【0028】

フラグメントは、モノスコピック映像シーケンスで構成されたモノスコピックビデオ区間を含むか、またはステレオスコピック映像シーケンスで構成されたステレオスコピックビデオ区間を含む。また、フラグメントは、モノスコピックビデオ区間及びステレオスコピックビデオ区間の混合ビデオ区間を含んでもよい。

【0029】

一実施形態によるフラグメント属性情報決定部１２０は、現在区間が、モノスコピックビデオ区間であるか、またはステレオスコピックビデオ区間であるかを示すステレオ確認情報を定める。

【0030】

サンプルとは、一連の時連続的なビデオフレーム、または時連続的な圧縮オーディオセクションのうちそれぞれのフレームを示すデータ単位である。すなわち、一実施形態によるマルチメディアストリーミングサービス提供装置１００で、フラグメントのサンプルはビデオフレームと類似した用語として使われる。

【0031】

現在フラグメントのモノスコピックビデオ区間またはステレオスコピックビデオ区間を区分するために、それぞれの区間を構成するサンプルの数が用いられる。一実施形態によるフラグメント属性情報決定部１２０は、現在区間を構成するサンプルの数を示す区間サンプル数情報を定める。

【0032】

一実施形態によるフラグメント属性情報決定部１２０は、現在フラグメントのステレオスコピックビデオ区間ごとに、現在ステレオスコピックビデオ区間を構成するサンプルに関する３次元構成情報及び左右順序情報を定める。

【0033】

実施形態によるフラグメント属性情報決定部１２０は、現在フラグメントのステレオスコピックビデオ区間ごとに、テレオスコピックカメラ情報とステレオスコピックディスプレイ情報のうち少なくとも一つを定める。

【0034】

一実施形態によるステレオスコピックカメラ情報は、現在ステレオスコピックビデオ区間を構成するサンプルを獲得したステレオスコピックカメラに関する情報を含む。 一実施形態によるステレオスコピックディスプレイ情報は、サンプルを安全に３次元再生するためのディスプレイ規格に関する情報を含む。

【0035】

ステレオスコピックビデオ区間中で、ステレオスコピックカメラディスプレイ情報が適用されるアイテムを識別するために、それぞれのアイテムを構成するサンプルの数が用いられる。一実施形態によるフラグメント属性情報決定部１２０は、現在フラグメントの現在ステレオスコピックビデオ区間中で、ステレオスコピックカメラディスプレイ情報が適用されるアイテムの数を示す情報を定める。

【0036】

また一実施形態によるフラグメント属性情報決定部１２０は、それぞれのアイテムで参照される現在ステレオスコピックカメラディスプレイ情報の識別情報と、現在ステレオスコピックカメラディスプレイ情報が適用される区間の長さに関する情報のうち少なくとも一つを定める。現在ステレオスコピックカメラディスプレイ情報の適用される区間の長さに関する情報は、現在ステレオスコピックカメラディスプレイ情報が参照される現在アイテムを構成するサンプルの数で表現される。

【0037】

一実施形態によるフラグメント属性情報決定部１２０は、ファイル単位で３次元シグナリング情報を定めてもよい。一実施形態によるフラグメント属性情報決定部１２０は、現在ファイルのステレオスコピックビデオに関する３次元構成情報及び左右順序情報を定める。

【0038】

一実施形態によるフラグメント属性情報決定部１２０は、現在ファイルのビデオのうち、モノスコピックビデオ区間で構成されたモノーフラグメントと、ステレオスコピックビデオ区間で構成されたステレオフラグメントとの変更回数を示すステレオモノーフラグメント変更回数情報を定める。

【0039】

一実施形態によるストリーミング部１３０は、現在ファイルの３次元構成情報と左右順序情報、ステレオモノーフラグメント変更回数情報を伝送しつつ、現在ファイルのフラグメントごとに、ステレオモノ区間変更回数情報、区間サンプル数情報及びステレオ確認情報のうち少なくとも一つをさらに伝送してもよい。

【0040】

一実施形態によるフラグメント属性情報決定部１２０は、現在フラグメントの一つ以上のステレオスコピックビデオ区間中で、それぞれのステレオスコピックビデオ区間に関する識別情報を定めてもよい。

【0041】

一実施形態によるフラグメント属性情報決定部１２０は、現在ビデオを含む複数のビデオ間に互いに参照関係を構成する場合、複数のビデオを参照するための関係情報を定める。一実施形態による関係情報は、参照ビデオのインデックス情報、位置情報などを含む。

【0042】

一実施形態によるフラグメント属性情報決定部１２０は、現在ファイルのビデオに関する、ステレオスコピックビデオを構成するために参照する参照ビデオの位置情報を定める。一実施形態による参照ビデオの位置情報は、現在ファイル内の参照ビデオ識別情報、現在ファイル以外の遠隔位置情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報、ＵＲＮ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｎａｍｅ）情報のうち少なくとも一つを用いて定められる。

【0043】

一実施形態によるフラグメント属性情報決定部１２０は、現在ファイルのビデオが複数のビデオを参照する場合、参照ビデオ数情報を定める。一実施形態によるフラグメント属性情報決定部１２０は、複数の参照ビデオを識別する参照インデックス情報と、それぞれの参照ビデオに関する位置情報のうち少なくとも一つをさらに定める。

【0044】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ネットワーク状態によってマルチメディアコンテンツを安全にストリーミングサービスで伝送するために、ビデオ画質によって差動的に符号化されたビデオを提供できる。一実施形態によるマルチメディアストリーミングサービス提供装置１００は、同じビデオをビデオ画質によって差動符号化して、複数チャネルのビデオを含むマルチチャネルビデオグループを生成できる。

【0045】

一実施形態によるフラグメント属性情報決定部１２０は、現在ファイルのビデオを取り替えられる他のチャネルのビデオ数を示すマルチチャネル数情報を定める。また、一実施形態によるフラグメント属性情報決定部１２０は、マルチチャネルビデオグループのうち他のチャネルのビデオの位置を示す参照情報を定めることもできる。

【0046】

図２は、一実施形態によるマルチメディアストリーミングサービス受信装置のブロック図である。

【0047】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ネットワークを用いてストリーミングデータのフラグメントを受信して、ファイル、フラグメント、サンプルごとに３次元シグナリング情報及び関係情報のうち少なくとも一つを含む属性情報を抽出して該当ビデオデータを抽出し、２次元ビデオ、３次元ビデオまたは２次元ビデオと３次元ビデオとの混合ビデオを復元する。

【0048】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信部２１０、ビデオデータ抽出部２２０、フラグメント属性情報抽出部２３０及び復元部２４０を備える。

【0049】

一実施形態による受信部２１０、ビデオデータ抽出部２２０、フラグメント属性情報抽出部２３０及び復元部２４０は、マルチメディアストリーミングサービス受信装置２００の内部または外部に位置している中央演算装置またはプロセッサーの制御によって、互いにデータを交換して有機的に作動する。または、一実施形態による受信部２１０、ビデオデータ抽出部２２０、フラグメント属性情報抽出部２３０及び復元部２４０のうち少なくとも一つの構成要素は、自体的に搭載されたプロセッサーによって作動し、他の構成要素と有機的に作動するように制御される。

【0050】

一実施形態による受信部２１０は、ネットワークストリーミングを通じて、複数のフラグメントを連続的に受信する。

【0051】

一実施形態によるビデオデータ抽出部２２０は、受信部２１０で受信されたフラグメントごとにメディアデータ領域から、２次元ビデオ及び３次元ビデオのうち少なくとも一つを含むビデオの符号化されたデータをフラグメント単位に分割された形態で抽出する。

【0052】

一実施形態によるフラグメント属性情報抽出部２３０は、受信部２１０で受信されたフラグメントごとに補助データ領域から属性情報をパージングする。一実施形態によるフラグメント属性情報抽出部２３０は、パージングされた属性情報からフラグメントのビデオを２次元または３次元で再生するための情報、コンテンツ関連特性、データ構造、複数のビデオ間の関係情報などの属性情報を読み取る。

【0053】

一実施形態による復元部２４０は、フラグメント属性情報抽出部２３０でフラグメントごとに属性情報から読み取られた３次元シグナリング情報または関係情報に基づいて、フラグメントの符号化されたビデオデータを復号化し、２次元ビデオまたは３次元ビデオに復元する。

【0054】

一実施形態によるフラグメント属性情報抽出部２３０は、フラグメントごとに現在ビデオに関して設定された３次元構成情報、左右順序情報及びステレオモノ区間変更回数情報のうち少なくとも一つを抽出する。

【0055】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントの３次元構成情報から、左視点映像及び右視点映像が現在フラグメントのステレオスコピック映像を構成する形態を読み取る。

【0056】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントの左右順序情報から、現在フラグメントのステレオスコピック映像で左視点映像及び右視点映像の順序を読み取る。

【0057】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントのステレオモノ区間変更回数情報から、現在フラグメントのモノスコピックビデオ区間とステレオスコピックビデオ区間との変更回数を読み取る。

【0058】

現在フラグメントのモノスコピックビデオ区間またはステレオスコピックビデオ区間は、それぞれの区間を構成するサンプルの数を用いて検出される。一実施形態によるフラグメント属性情報抽出部２３０は、フラグメントごとにステレオ確認情報及び区間サンプル数情報のうち少なくとも一つを抽出する。

【0059】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントのステレオ確認情報から、現在フラグメントのうち現在区間がモノスコピックビデオ区間であるか、またはステレオスコピックビデオ区間であるかを読み取る。

【0060】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントの区間サンプル数情報から、現在区間を構成するサンプルの数を読み取る。

【0061】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントのステレオスコピックビデオ区間ごとに、３次元構成情報及び左右順序情報のうち少なくとも一つを抽出する。

【0062】

一実施形態によるフラグメント属性情報抽出部２３０は、フラグメントの現在ステレオスコピックビデオ区間の３次元構成情報から、現在ステレオスコピックビデオ区間を構成するサンプルに関する３次元構成情報を読み取る。

【0063】

一実施形態によるフラグメント属性情報抽出部２３０は、フラグメントの現在ステレオスコピックビデオ区間の左右順序情報から、現在ステレオスコピックビデオ区間を構成するサンプルに関する左右順序情報を読み取る。

【0064】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントビデオデータのステレオスコピックビデオ区間ごとに、ステレオスコピックカメラディスプレイ情報を抽出する。

【0065】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ステレオスコピックビデオ区間のステレオスコピックカメラディスプレイ情報から、現在ステレオスコピックビデオ区間を構成するサンプルを獲得したステレオスコピックカメラに関する情報と、サンプルを用いて安全に３次元再生するためのディスプレイ規格に関する情報とを読み取る。

【0066】

一実施形態によるフラグメント属性情報抽出部２３０は、ステレオスコピックビデオ区間のうちそれぞれのアイテムを構成するサンプルの数を用いて、ステレオスコピックカメラディスプレイ情報が適用されるアイテムを検出する。

【0067】

一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントの現在ステレオスコピックビデオ区間中で、ステレオスコピックカメラディスプレイ情報が適用されるアイテムの数を示す情報、それぞれのアイテムで参照される現在ステレオスコピックカメラディスプレイ情報の識別情報、そして現在ステレオスコピックカメラディスプレイ情報が適用される区間の長さに関する情報のうち少なくとも一つを抽出して読み取る。

【0068】

一実施形態によるフラグメント属性情報抽出部２３０は、抽出された情報を用いて現在ステレオスコピックビデオ区間中では、現在ステレオスコピックカメラディスプレイ情報が適用されるアイテムを検出する。

【0069】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオに関する３次元構成情報、左右順序情報及びステレオモノーフラグメント変更回数情報のうち少なくとも一つを抽出する。

【0070】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルの３次元構成情報から、現在ファイルのビデオにおいて、左視点映像及び右視点映像が現在ファイルのステレオスコピック映像を構成する形態を読み取る。一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオに関する左右順序情報から、現在ファイルのステレオスコピック映像を構成する左視点映像及び右視点映像の順序を読み取る。

【0071】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのステレオモノーフラグメント変更回数情報から、現在ファイルのビデオのうち、モノスコピックビデオ区間で構成されたモノーフラグメントと、ステレオスコピックビデオ区間で構成されたステレオフラグメントとの変更回数を読み取る。

【0072】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオに関する３次元構成情報、左右順序情報及びステレオモノーフラグメント変更回数情報のうち少なくとも一つを抽出し、現在ファイルのフラグメントごとに、現在フラグメントのビデオに関するステレオモノ区間変更回数情報、区間サンプル数情報及びステレオ確認情報のうち少なくとも一つをさらに抽出して読み取ってもよい。

【0073】

また一実施形態によるフラグメント属性情報抽出部２３０は、現在フラグメントビデオデータの一つ以上のステレオスコピックビデオ区間中で、それぞれのステレオスコピックビデオ区間に関する識別情報を抽出して読み取る。読み取られたステレオスコピックビデオ区間に関する識別情報を用いて、現在ステレオスコピックビデオ区間が検出される。

【0074】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオが一つ以上のビデオを参照する場合、複数のビデオ間の参照関係を示す関係情報を抽出して読み取る。

【0075】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのステレオスコピックビデオを構成するために参照する他の一つのビデオに関して、参照ビデオの位置情報、参照ビデオ識別情報、現在ファイル以外での遠隔位置情報、ＵＲＬ情報、ＵＲＮ情報のうち少なくとも一つを抽出して読み取る。一実施形態による復元部２４０は、読み取られた情報を用いて参照される他の一つのビデオを検出することで、現在ファイルのステレオスコピック映像を復元できる。

【0076】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオデータが複数のビデオを参照する場合、現在ファイルから参照ビデオ数情報、複数の参照ビデオを識別するための参照インデックス情報、そしてそれぞれの参照ビデオに関する位置情報のうち少なくとも一つを抽出して読み取る。一実施形態による復元部２４０は、読み取られた情報を用いて参照されるビデオを選択的に検出することで、現在ファイルのビデオを所望の形態で復元できる。

【0077】

一実施形態によるマルチメディアストリングサービス受信装置２００は、ネットワーク状態によってマルチメディアコンテンツを安全にストリーミングサービスで受信するために、ビデオ画質によって差動的に符号化された複数のチャネルのビデオを含むマルチチャネルビデオグループに基づいた適応的ストリーミングサービスを提供される。一実施形態によるマルチメディアストリングサービス受信装置２００は、ビデオ画質によって複数のチャネルに差動されたビデオのうち、ネットワーク状態によって選択的に所定チャネルのビデオを受信する。

【0078】

一実施形態によるフラグメント属性情報抽出部２３０は、現在ファイルのビデオの他のチャネルのビデオ数を示すマルチチャネル数情報と、他のチャネルのビデオ位置を示す参照情報のうち少なくとも一つを抽出して読み取る。一実施形態による復元部２４０は、抽出されたマルチチャネル数情報及び参照情報を用いて、選択受信された他のチャネルのビデオを組み合わせてビデオを復元する。

【0079】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、フラグメントごとに３次元シグナリング情報または関係情報から読み取られた情報に基づいて、復元部２４０によって復元された２次元ビデオまたは３次元ビデオを２次元または３次元に再生する。

【0080】

図３は、一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットと、フラグメントごとに伝送される３次元シグナリング情報とを含むｍｆｓｉボックスを示す。

【0081】

一実施形態によるマルチメディアストリーミングサービス伝送装置１００は、２次元ビデオまたは３次元ビデオの符号化されたビデオデータと、伝送されるビデオに関する各種特性情報を含む補助データとを、一実施形態によるストリーミングファイルフォーマット３００によるデータストリームを収録して伝送する。

【0082】

一実施形態によるストリーミングファイルフォーマット３００は、ｆｔｙｐボックス、ｍｏｏｖボックス３５０、ｓｉｄｘボックスと、複数のフラグメント３１０、３１２、３１４とで構成されている。それぞれのフラグメント３１０、３２０、３３０は、ｍｏｏｆボックス３２０、３４０、３６０とｍｄａｔボックス３３０、３５０、３７０とで構成されている。

【0083】

一実施形態によるストリーミングファイルフォーマット３００に、ステレオスコピックコンテンツの符号化されたビデオデータが含まれて伝送される。ｆｔｙｐボックスは、一実施形態によるストリーミングファイルフォーマット３００による現在ファイルのファイルタイプ情報を含む。ｓｉｄｘボックスは、現在ファイルのうちそれぞれのセグメントを検索するためのセグメントインデックス情報を含む。

【0084】

ｍｏｏｖボックス３５０は、現在ファイルのビデオに関する時間的情報及び空間的情報、データ構造などに関する情報を含む。一実施形態によるストリーミングファイルフォーマット３００のｍｏｏｖボックス３５０は、ｓｖｍｉボックス３６０及びｓｃｄｉボックス３７０を備える。

【0085】

ｓｖｍｉボックス３６０は、ストリーミングファイルフォーマット３００による現在ファイルを通じて伝送されるステレオスコピックビデオのステレオスコピックビジュアルタイプ情報、２次元／３次元コンテンツの混合コンテンツ、フラグメント関連情報などの各種情報を含む。例えば、フラグメント関連情報は、フラグメントの数、連続的なサンプルの数、現在サンプルがステレオスコピックデータであるかどうかに関する情報を含む。

【0086】

ｓｃｄｉボックス３７０は、ストリーミングファイルフォーマット３００による現在ファイルを通じて伝送されるステレオスコピックビデオに関するステレオスコピックカメラ、ディスプレイ規格及び視覚安全性のための各種情報を含む。

【0087】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット３００によって、現在ビデオの符号化されたデータをフラグメント単位に分割して伝送する。それぞれのフラグメント３１０、３１２、３１４のｍｄａｔボックス３３０、３５０、３７０に、フラグメント単位に分割されたビデオデータが含まれる。例えば、ｍｄａｔボックス３３０は、２次元ビデオ３３５の分割されたデータを含み、ｍｄａｔボックス３５０は、２次元ビデオ３５２と３次元ビデオ３５４との混合ビデオの分割されたデータを含み、ｍｄａｔボックス３５０は、３次元ビデオ３７２と２次元ビデオ３７４との混合ビデオの分割されたデータを含む。

【0088】

それぞれのフラグメント３１０、３１２、３１４のｍｏｏｆボックス３２０、３４０、３６０には、該当フラグメント３１０、３１２、３１４のｍｄａｔボックス３５０、３６０、３７０に挿入されるビデオに関する時間的情報及び空間的情報、データ構造などに関する情報を含む。

【0089】

例えば、ｍｏｏｆボックス３４０は、現在フラグメント３１２のｍｄａｔボックス３４０に挿入される現在ビデオ３５２、３５４に関する３次元シグナリング情報を含む。

【0090】

例えば、ｍｏｏｆボックス３４０は、ｍｆｓｉボックス３８０及びｓｃｄｉボックス３９０を備える。一実施形態によるｍｆｓｉボックス３８０及びｓｃｄｉボックス３９０は、現在フラグメント３１２のｍｄａｔボックス３４０に挿入される現在ビデオ３５２、３５４に関する３次元シグナリング情報を含む。

【0091】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるストリーミングファイルフォーマット３００によるデータストリームを受信してパージングすることで、２次元ビデオまたは３次元ビデオの符号化されたビデオデータと、受信されたビデオに関する各種特性情報を含む補助データとを抽出する。

【0092】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるストリーミングファイルフォーマット３００によるデータストリームのｍｆｓｉボックス３８０及びｓｃｄｉボックス３９０からビデオに関する３次元シグナリング情報を抽出して、２次元ビデオまたは３次元ビデオを復元する。

【0093】

図４は、一実施形態によるｍｆｓｉボックス及びｓｃｄｉボックスに含まれた３次元シグナリング情報のシンタックスを示す。

【0094】

一実施形態によるｍｆｓｉボックスは、現在フラグメントに挿入されたビデオに関する３次元シグナリング情報として、ステレオスコピックビジュアルタイプ情報を含む。

【0095】

一実施形態によるステレオスコピックビジュアルタイプ情報は、現在フラグメントのビデオに関して、３次元構成情報‘ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ’、左右順序情報‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’と、ステレオモノ区間変更回数情報‘ｓｔｅｒｅｏ＿ｍｏｎｏ＿ｃｈａｎｇｅ＿ｃｏｕｎｔ’を含む。

【0096】

一実施形態による３次元構成情報‘ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ’は、現在フラグメントのビデオで左視点映像及び右視点映像がステレオスコピック映像を構成する形態を示す。一実施形態によるステレオスコピック映像の３次元構成情報によって識別されるステレオスコピック映像タイプは、一枚のステレオスコピック映像内で左視点映像及び右視点映像が左右に配列されたサイド・バイ・サイド（Ｓｉｄｅ−ｂｙ−ｓｉｄｅ）タイプ、上下に配列されたトップ・アンド・ボトム（Ｔｏｐ−ａｎｄ−ｂｏｔｔｏｍ）タイプ、左視点映像及び右視点映像が一枚ずつ交互に伝送されるフィールド（フレーム）シーケンシャルタイプ、そして左視点映像シーケンス及び右視点映像シーケンスがそれぞれ伝送されるタイプなどを含む。

【0097】

一実施形態による左右順序情報‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’は、現在フラグメントのステレオスコピック映像で左視点映像及び右視点映像が配列された順序を示す。例えば、左右順序情報‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’を用いて、サイド・バイ・サイドタイプであるステレオスコピック映像内部の左／右領域に、左視点映像及び右視点映像の順序または右視点映像及び左視点映像の順序に配置されるか、またはトップ・アンド・ボトムタイプであるステレオスコピック映像内部の上／下領域に、左視点映像及び右視点映像の順序または右視点映像及び左視点映像の順序に配置されるかが確認される。

【0098】

一実施形態によるステレオモノ区間変更回数情報‘ｓｔｅｒｅｏ＿ｍｏｎｏ＿ｃｈａｎｇｅ＿ｃｏｕｎｔ’は、現在フラグメントがモノスコピックビデオ区間またはステレオスコピックビデオ区間の連続的な区間で構成されたビデオを含む場合、モノスコピックビデオ区間とステレオスコピックビデオ区間の変更回数を示す。

【0099】

現在フラグメントに対して、モノスコピックビデオまたはステレオスコピックビデオか示すステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’が伝送される。一実施形態によるステレオスコピックビジュアルタイプ情報は、現在フラグメントのビデオ区間ごとに、モノスコピックビデオ区間またはステレオスコピックビデオ区間を示すためのステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’を含む。

【0100】

また、一実施形態によるステレオスコピックビジュアルタイプ情報は、現在フラグメントのビデオ区間ごとに、現在区間を構成するサンプルの数を示す区間サンプル数情報‘ｓａｍｐｌｅ＿ｃｏｕｎｔ’を含む。

【0101】

また、一実施形態によるステレオスコピックビジュアルタイプ情報は、現在フラグメントのうち、ステレオスコピックビデオ区間に関する３次元構成情報‘ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ’情報、左右順序情報‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’を含む。

【0102】

したがって、現在フラグメントのうち、ステレオスコピックビデオ区間ごとに、左視点映像及び右視点映像がステレオスコピック映像を構成する形態に関する３次元構成情報と、左視点映像及び右視点映像が配列された順序に関する左右順序情報とが伝送される。

【0103】

一実施形態による３次元シグナリング情報として、現在フラグメントのステレオスコピックビデオ区間ごとに、ステレオスコピックカメラ情報とステレオスコピックディスプレイ情報のうち少なくとも一つを含むｓｃｄｉボックスが伝送される。

【0104】

図４のｍｆｓｉボックスのシンタックスのように、一実施形態によるｓｃｄｉボックスは、一実施形態によるｍｆｓｉボックスに含まれて伝送される。図３のように、現在フラグメントビデオデータに関するｍｆｓｉボックス３８０とｓｃｄｉボックス３９０とがそれぞれ伝送される。

【0105】

一実施形態によるステレオスコピックビジュアルタイプ情報は、現在フラグメントのうち、ステレオスコピックビデオ区間に関する‘ｓｃｄｉ＿ｉｔｅｍ＿ｃｏｕｎｔ’情報を含む。

【0106】

‘ｓｃｄｉ＿ｉｔｅｍ＿ｃｏｕｎｔ’情報は、ステレオスコピックカメラディスプレイ情報が適用されるアイテムの数を示す。例えば、ステレオスコピックカメラディスプレイ情報が適用されるアイテムとは、３次元ビデオデータが含まれた区間を示す。この場合、‘ｓｃｄｉ＿ｉｔｅｍ＿ｃｏｕｎｔ’情報は、現在フラグメントに含まれた３次元ビデオデータ区間であるアイテムまたはサンプルの数を示す。

【0107】

一実施形態によるｓｃｄｉボックスは、現在ステレオスコピックカメラディスプレイ情報の識別情報‘ｓｃｄｉ＿ＩＤ’を含む。

【0108】

一実施形態によるステレオスコピックカメラディスプレイ情報は、ｍｏｏｖボックス３５０のｓｃｄｉボックス３７０のステレオスコピックカメラディスプレイ情報、またはｍｏｏｆボックス３２０、３４０、３６０の他のｓｃｄｉボックスのステレオスコピックカメラディスプレイ情報を参照できるので、‘ｓｃｄｉ＿ＩＤ’を用いて参照対象であるｓｃｄｉボックスが検索される。

【0109】

ステレオスコピックカメラディスプレイ情報が適用されるアイテムまたはサンプルごとに、‘ｓｃｄｉ＿ＩＤ’情報と‘ｓｃｄｉ＿ｄｕｒａｔｉｏｎ’情報とが伝送される。‘ｓｃｄｉ＿ｄｕｒａｔｉｏｎ’情報は、現在ステレオスコピックカメラディスプレイ情報が適用されるアイテムまたはサンプルの長さを示す。したがって、現在フラグメントに関する現在ステレオスコピックカメラディスプレイ情報が、ステレオスコピックビデオ区間を構成するアイテムまたはサンプル単位で伝送される。

【0110】

したがって、図３による事実施形態によるマルチメディアストリーミングファイルフォーマット３００と、図４のｍｓｆｉボックス及びｓｃｄｉボックスのシンタックスとに基づいて、モノスコピックビデオまたはステレオスコピックビデオを含むビデオがフラグメント単位で送受信され、フラグメントごとにビデオに関する３次元シグナリング情報が送受信される。

【0111】

また、フラグメント内のモノスコピックビデオ区間またはステレオスコピックビデオ区間に対して、それぞれの区間を構成するサンプルの数を示す情報が送受信される。また、フラグメントのビデオに関するステレオスコピックカメラディスプレイ情報がアイテムまたはサンプル単位で伝送される。

【0112】

図５は、一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットと、フラグメントごとに伝送される３次元シグナリング情報とを含むｓｖｆｉボックスを示す。

【0113】

一実施形態によるマルチメディアストリーミングサービス伝送装置１００は、２次元ビデオまたは３次元ビデオの符号化されたビデオデータと、伝送されるビデオに関する各種特性情報を含む補助データとを、一実施形態によるストリーミングファイルフォーマット５００によるデータストリームに収録して伝送する。

【0114】

一実施形態によるストリーミングファイルフォーマット５００は、ｆｔｙｐボックスとｍｏｏｖボックス５１０、そしてｍｏｏｆボックス５２０、５４０とｍｄａｔボックス５３０、５５０とで構成された複数のフラグメント５０１、５０２、ｍｆｒａボックスで構成されている。

【0115】

ｍｏｏｖボックス５１０に含まれるｔｒａｋボックスは、プレゼンテーション（ｐｒｅｓｅｎｔａｔｉｏｎ）のうち一つのトラック（ｔｒａｃｋ）を検索するための情報を含む。プレゼンテーションとは、オーディオと結合できる一つ以上のモーションシーケンスを示し、トラックとは、互いに関連するサンプルの集まり、例えば、ビデオのうち映像シーケンスを示す。

【0116】

ｔｒａｋボックスに含まれるｔｋｈｄボックスは、現在トラックに関するあらゆる情報を含むトラックヘッダーであり、ｍｄｉａボックスは、現在トラックのメディアに関する宣言情報を含む。ｍｄｉａボックスに含まれるｍｉｎｆボックスは、現在メディアに関する特性情報を宣言するあらゆる客体を含み、ｓｔｂｌボックスは、現在トラックのサンプルを検索するためのサンプルの時間、データ、位置などのインデクシング情報を含む。ｓｔｂｌボックスのｓｖｍｉボックスは、現在トラックの現在メディアに対するステレオスコピックビデオに関する情報を含む。

【0117】

ｍｏｏｖボックス５１０に含まれるｍｖｅｘボックスは、現在ファイルを通じてビデオのフラグメントが伝送されることを知らせる情報を含む。ｍｖｅｘボックスに含まれるｔｒｅｘボックスは、フラグメント５０１、５０２で使われるサンプルに関する基本値情報を含む。

【0118】

フラグメント５０１、５０２のｍｄａｔボックス５３０、５５０を通じて、モノスコピックビデオ、ステレオスコピックビデオまたは混合ビデオの符号化されたデータが伝送される。ｍｏｏｆボックス５３０、５５０に含まれるｍｆｈｄボックスは、現在ファイルでそれぞれのフラグメントに対する一連番号に関する情報を含む。

【0119】

ｍｏｏｆボックス５３０、５５０に含まれるｔｒａｆボックスは、現在フラグメントのうちそれぞれのトラックを構成する一つ以上のトラックフラグメントを含む。それぞれのトラックフラグメントは、一連のサンプルを記述する一つ以上のトラックランを含む。ｔｒａｆボックスに含まれるｔｒｕｎボックスは、現在トラックランに関する情報を含む。

【0120】

ｍｆｒａボックスは、それぞれのフラグメントにランダムに近付くためにランダムアクセスポイント情報を含む。ｔｒｆａボックスは、ランダムアクセスの可能なサンプルの位置情報及び再生時間情報を含む。

【0121】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、フラグメント単位で伝送されるストリーミングファイルフォーマット５００を通じて、フラグメントごとに伝送される３次元シグナリング情報を含むｓｖｆｉボックス５２５、５４５を伝送する。

【0122】

一実施形態によるｓｖｆｉボックス５２５、５４５に、それぞれ現在フラグメント５０１、５０２のｍｄａｔボックス５３０、５５０に挿入されたビデオ５３５、５５５に関する３次元シグナリング情報が収録される。

【0123】

例えば、マルチメディアストリーミングサービス提供装置１００は、ｍｏｏｆボックス５３０、５５０の下位ボックスであるｔｒａｆボックスにｓｖｆｉボックスを挿入して伝送してもよい。

【0124】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるストリーミングファイルフォーマット５００によるデータストリームを受信してパージングすることで、２次元ビデオまたは３次元ビデオの符号化されたビデオデータと、受信されたビデオデータに関する各種特性情報を含む補助データとを抽出する。

【0125】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるストリーミングファイルフォーマット５００によるデータストリームのｓｖｆｉボックス５２５、５４５、ｓｖｍｉボックスなどから、ビデオデータに関する３次元シグナリング情報を抽出して２次元ビデオまたは３次元ビデオを復元する。

【0126】

図６及び図７は、一実施形態によるｓｖｆｉボックスに含まれた３次元シグナリング情報のシンタックスを示す。

【0127】

一実施形態によるｓｖｆｉボックスを通じて、現在フラグメントを通じて伝送されるビデオに関する３次元シグナリング情報が送受信される。

【0128】

図６及び図７に示したｓｖｆｉボックスの３次元シグナリング情報は、現在フラグメントのビデオに関するステレオモノ区間変更回数情報‘ｓｔｅｒｅｏ＿ｍｏｎｏ＿ｃｈａｎｇｅ＿ｃｏｕｎｔ’を含む。ステレオモノ区間変更回数情報‘ｓｔｅｒｅｏ＿ｍｏｎｏ＿ｃｈａｎｇｅ＿ｃｏｕｎｔ’を通じて現在フラグメントのうち、モノスコピックビデオ区間とステレオスコピックビデオ区間とが検索される。一実施形態によるｓｖｆｉボックスの３次元シグナリング情報は、現在フラグメントのうち、ステレオスコピックビデオ区間に対する区間サンプル数情報‘ｓａｍｐｌｅ＿ｃｏｕｎｔ’、ステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’を含む。

【0129】

図７に示したｓｖｆｉボックスの３次元シグナリング情報は、ステレオスコピックビデオ区間を識別するための情報‘ｓｔｅｒｅｏ＿ｓｅｃｔｉｏｎ＿ＩＤ’をさらに含む。現在フラグメントが複数のステレオスコピックビデオ区間を含む場合、ステレオセクション識別情報‘ｓｔｅｒｅｏ＿ｓｅｃｔｉｏｎ＿ＩＤ’を用いて、それぞれのステレオスコピックビデオ区間が区別される。

【0130】

図８は、一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットにおいて、ファイルに対して設定された３次元シグナリング情報のシンタックスを示す。

【0131】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット５００のファイルチャネルから３次元構成情報及び左右順序情報を伝送できる。ｍｏｏｖボックスに含まれたｓｖｍｉボックスに、現在ファイルのビデオに関する３次元構成情報‘ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ’及び左右順序情報‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’が挿入される。

【0132】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ストリーミングファイルフォーマット５００のｍｏｏｖボックスに含まれたｓｖｍｉボックスをパージングして、‘ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ’フィールド及び‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’フィールドを抽出し、ストリーミングファイルフォーマット５００を通じて受信された現在ファイルのビデオに対してステレオスコピック映像を構成する形態と、ステレオスコピック映像における左視点映像及び右視点映像の順序に関する情報とを読み取る。

【0133】

図９は、一実施形態によるフラグメント単位で伝送されるストリーミングファイルフォーマットにおいて、サンプルに対して設定された３次元シグナリング情報のシンタックスを示す。

【0134】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット５００のトラック、フラグメントまたはサンプルチャネルからステレオ確認情報を伝送する。

【0135】

図９のシンタックスは、ｍｏｏｖボックスに含まれたｔｒｅｘボックス、ｍｏｏｆボックスに含まれたｔｆｈｄボックスまたはｔｒｕｎボックスのシンタックスに、一実施形態によるステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’が追加された形態である。

【0136】

すなわち、ｍｏｏｖボックスに含まれたｔｒｅｘボックスに、現在トラックのビデオに関するステレオ確認情報z‘ｓｔｅｒｅｏ＿ｆｌａｇ’が挿入されて伝送される。ｍｏｏｆボックスに含まれたｔｆｈｄボックスに、現在フラグメントのビデオに関するステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’が挿入されて伝送される。またはｍｏｏｆボックスに含まれたｔｒｕｎボックスに、現在フラグメントを構成するサンプルのビデオに関するステレオ確認情報‘ｓｔｅｒｅｏ＿ｆｌａｇ’が挿入されて伝送される。

【0137】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ストリーミングファイルフォーマット５００のｍｏｏｖボックスに含まれたｔｒｅｘボックス、ｍｏｏｆボックスに含まれたｔｆｈｄボックスまたはｔｒｕｎボックスをパージングして‘ｓｔｅｒｅｏ＿ｆｌａｇ’を抽出し、ストリーミングファイルフォーマット５００を通じて受信された現在トラック、現在フラグメントまたは現在サンプルのビデオがモノスコピックタイプであるか、またはステレオスコピックタイプであるかを読み取る。

【0138】

図１０は、一実施形態によってステレオスコピックビデオの左視点ビデオ及び右視点ビデオをそれぞれ伝送するための２個のストリーミングファイルフォーマットを示す。

【0139】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ステレオスコピックビデオを構成する左視点ビデオと右視点ビデオとをそれぞれ含む左視点ＥＳストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と右視点ＥＳストリームとに伝送する。また、一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット５００に基づいた左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０に左視点ＥＳストリームを挿入し、右視点ＥＳストリームを個別的に、右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０に右視点ＥＳストリームを挿入して伝送する。

【0140】

すなわち、一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ステレオスコピックビデオを伝送するために２個のＥＳストリームを２ファイルのストリーミングを通じて伝送する。

【0141】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、現在ファイルのステレオスコピックビデオを構成するために参照する他の一つのビデオに関する参照情報及び位置情報を含む関係情報を伝送する。例えば、一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ｍｏｏｖボックス１０３０の下位ボックスであるｔｒａｋボックス１０４０に参照ビデオに関する参照タイプ、位置情報などを挿入して伝送する。

【0142】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、受信された左視点ビデオファイルをパージングして、現在ファイルのステレオスコピックビデオを構成するために参照する他のビデオに関する参照タイプ及び位置情報を抽出して読み取る。

【0143】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、読み取られた情報を用いて参照される他の一つのビデオが受信されたストリーミングファイルを検出することで、２つのストリーミングファイルから抽出されたビデオを組み合わせてステレオスコピック映像を復元する。

【0144】

図１１は、一実施形態によってファイルに含まれたステレオスコピックビデオについて設定される関係情報を示す。

【0145】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、一実施形態によるストリーミングファイルフォーマット５００のｍｏｏｖボックスの下位ボックスであるｔｒａｋボックスに含まれるｔｒｅｆボックス１１１０に、ステレオスコピックビデオを構成するために他のビデオを検索するための関係情報を挿入する。

【0146】

一実施形態によってｔｒａｋボックスに含まれるトラックレファレンスタイプボックス１１２０は、ファイルのトラックごとに、現在トラックのビデオに対する参照ビデオが含まれたトラックを示すための参照トラック識別情報‘ｔｒａｃｋ＿ＩＤ’を含む。

【0147】

また、一実施形態によってｔｒａｋボックスに含まれるトラックレファレンスタイプＵＲＬボックス１１３０は、ファイルのトラックごとに現在トラックに対する複数の参照ビデオの位置を示すために、参照ビデオ数を示す情報‘ｅｎｔｒｙ＿ｃｏｕｎｔ’を含み、参照ビデオごとに位置情報‘ｌｏｃａｔｉｏｎ’を含む。

【0148】

一実施形態による位置情報‘ｌｏｃａｔｉｏｎ’は、ＵＴＦ−８などの言語に符号化された文字列であって、参照ビデオの遠隔位置を示す。したがって、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルからｍｏｏｖボックス、ｔｒａｋボックス、ｔｒｅｆボックス１１１０を順次にパージングして、トラックレファレンスタイプＵＲＬボックス１１３０から、現在ファイルの外部ファイルに位置するビデオを検出して参照してもよい。

【0149】

図１２は、一実施形態によって２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される一つの関係情報を示す。

【0150】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット５００に基づいた左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０のｍｏｏｖボックス１０３０に含まれるｔｒａｋボックス１０４０のｍｉｎｆボックス１０５０の下位ボックスであるｄｉｎｆボックス１０６０に、現在トラックのビデオが参照する一つのビデオに関する関係情報を挿入して伝送する。

【0151】

一実施形態によるｄｉｎｆボックス１０６０は、関係情報を伝送するためのｄｒｅｆボックス１０７０を備え、ｄｒｅｆボックス１０７０は、現在トラックの参照トラックの遠隔位置情報を示す参照ＵＲＬ情報１０８０を含む。

【0152】

一実施形態による参照ＵＲＬ情報１０８０は、ＵＲＬ情報‘ｌｏｃａｔｉｏｎ’だけでなく参照フラッグ‘ｆｌａｇｓ’を含む。一実施形態による参照フラッグ‘ｆｌａｇｓ’を通じて、現在ビデオは、ステレオスコピックビデオのうち左視点ビデオまたは基本時点ビデオであり、現在ファイル内に含まれていることが記述され、参照対象である右視点ビデオまたは付加時点ビデオは、‘ｌｏｃａｔｉｏｎ’が示す位置に含まれていると記述される。

【0153】

すなわち、参照ＵＲＬ情報１０８０のＵＲＬ情報‘ｌｏｃａｔｉｏｎ’は、右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０の遠隔位置を示す。参照ＵＲＬ情報１０８０の‘ｆｌａｇｓ’は、現在ビデオは、現在左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０を通じて伝送され、現在ビデオの参照ビデオは、‘ｌｏｃａｔｉｏｎ’が示す位置である右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０を通じて伝送されていることを示す。

【0154】

一実施形態によって、左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０のみに関係情報が収録される場合には、基準時点ビデオが位置する左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０のフラグメントが要請される時、付加時点ビデオが位置する右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０のうち対応するフラグメントも一緒に要請されると認識される。

【0155】

図１３は、一実施形態によって２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される複数の関係情報を示す。

【0156】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ストリーミングファイルフォーマット５００に基づいた左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０のｍｏｏｖボックス１３１０に含まれるｄｉｎｆボックス１３６０に、現在ビデオが参照する複数のビデオに関する参照情報を挿入して伝送する。

【0157】

例えば、ｄｉｎｆボックス１３６０のｄｒｅｆボックス１３７０は、現在ビデオの２個の参照ビデオの遠隔位置情報を示す２個の参照ＵＲＬ情報１３８０、１３９０を含む。

【0158】

一実施形態によるｄｒｅｆボックス１３７０に含まれた第１参照ＵＲＬ情報１３８０は、左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０の現在ビデオの第１フラグメント１３２０が参照する、右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０の第３フラグメント１３４０を示すための情報を含む。

【0159】

類似した方式で、一実施形態によるｄｒｅｆボックス１３７０に含まれた第２参照ＵＲＬ情報１３９０は、左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０の現在ビデオの第２フラグメント１３３０が参照する、右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０の第４フラグメント１３５０を示すための情報を含む。

【0160】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０を受信し、ｍｏｏｖボックス１３１０、ｄｉｎｆボックス１３６０、ｄｒｅｆボックス１３７０を順にパージングして、第１参照ＵＲＬ情報１３８０及び第２参照ＵＲＬ情報１３９０を抽出する。

【0161】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、第１参照ＵＲＬ情報１３８０の‘ｆｌａｇｓ’に基づいて、現在トラックの第１フラグメント１３２０は現在左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０を通じて伝送され、現在トラックの第１フラグメント１３２０の参照トラックは、‘ｌｏｃａｔｉｏｎ’のＵＲＬ情報が示す位置である右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０の第３フラグメント１３４０を通じて伝送されていると読み取れる。

【0162】

類似した方式で、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、第２参照ＵＲＬ情報１３９０の‘ｆｌａｇｓ’に基づいて、現在トラックの第２フラグメント１３３０は、現在左視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｌ．ｍｐ４’１０１０を通じて伝送され、現在トラックの第２フラグメント１３３０の参照トラックは、‘ｌｏｃａｔｉｏｎ’のＵＲＬ情報が示す位置である右視点ビデオファイル‘ｔｅｓｔ＿１６４４＿Ｒ．ｍｐ４’１０２０の第４フラグメント１３５０を通じて伝送されていると読み取れる。

【0163】

図１４は、一実施形態によって２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、複数の参照ビデオに関する関係情報を含むトラック情報のシンタックスを示す。

【0164】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ファイルの現在トラックに対する参照ビデオが複数である場合、参照ビデオ数とそれぞれの参照ビデオの位置とを連関させて、参照ビデオの位置情報のインデックスを示す情報を伝送できる。

【0165】

例えば、ｄｉｎｆボックスの下位ボックスであるｄｒｅｆボックスのうち参照ビデオ数を示す情報‘ｅｎｔｒｙ＿ｃｏｕｎｔ’と、それぞれの参照ビデオの位置情報‘ｌｏｃａｔｉｏｎ’とを連動して、参照ビデオの位置情報のインデックスを示す‘ｄａｔａ＿ｒｅｆｅｒｅｎｃｅ＿ｉｎｄｅｘ’情報がｄｒｅｆボックスを通じて伝送される。

【0166】

図１５は、一実施形態によって２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル内部で設定される関係情報のシンタックスを示す。

【0167】

一実施形態によるマルチメディアストリーミングサービス提供装置２００は、現在ビデオの参照ビデオを知らせるために、参照ビデオ位置ボックス１５１０、参照ビデオ名称ボックス１５２０及び参照エントリーボックス１５３０を用いる。

【0168】

例えば、参照ビデオ位置ボックス１５１０は、参照ビデオの位置情報‘ｌｏｃａｔｉｏｎ’として、ｈｔｔｐ、ｆｔｐ基盤の位置情報を含む。一実施形態による参照ビデオ名称ボックス１５２０は、参照ビデオのＵＲＮ情報‘ｎａｍｅ’及び位置情報‘ｌｏｃａｔｉｏｎ’を含む。

【0169】

一実施形態による参照エントリーボックス１５３０を通じて、参照エントリー数情報‘ｅｎｔｒｙ＿ｃｏｕｎｔ’と、参照エントリーごとにエントリータイプを示す情報‘ｅｎｔｒｙ＿ｆｌａｇｓ’とに基づいて定められる参照情報‘ｄａｔａ＿ｅｎｔｒｙ’が伝送される。

【0170】

例えば、‘ｅｎｔｒｙ＿ｆｌａｇｓ＝０ｘ０００００１’は、現在ファイル内に現在ビデオが挿入されていることを示す。一実施形態によるエントリーフラッグがｅｎｔｒｙ＿ｆｌａｇｓ＝０ｘ０００００２’の場合、現在ビデオは、ステレオスコピックビデオのうち左視点ビデオまたは基本時点ビデオであり、現在ファイル内に含まれていることが記述され、参照対象である右視点ビデオまたは付加時点ビデオは、‘ｌｏｃａｔｉｏｎ’が示す位置に含まれていると記述される。

【0171】

図１６は、一実施形態によって２個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル外部のインデックスファイルを用いて設定される関係情報を示す。

【0172】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、外部ファイルに関するインデックス情報を記述する外部インデックスファイルを用いて、現在ビデオの参照ビデオを示すための関係情報を伝送してもよい。

【0173】

一実施形態による外部インデックスファイルＳＭＩＬを通じて、一つのコンテンツのための複数のコンポネントに関する情報が共に伝送される。すなわち、一実施形態による外部インデックスファイルＳＭＩＬは、現在ファイルのためのインデックス情報１０１０と現在ファイルの参照ファイルのためのインデックス情報１０２０とをいずれも含む。

【0174】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルから、現在ファイルのビデオがステレオスコピックビデオを構成するために参照する参照ビデオに関する関係情報を抽出して、参照ビデオ数、複数の参照ビデオを識別するための参照インデックス、そしてそれぞれの参照ビデオに対する位置などを読み取る。一実施形態によるマルチメディアストリーミングサービス受信装置２００は、参照ビデオを検出して現在ビデオと組み合わせてステレオスコピックビデオを復元する。

【0175】

また、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、外部インデックスファイルを用いて、現在ビデオに対する参照ビデオを検出して現在ビデオと組み合わせて、ステレオスコピックビデオを復元する。

【0176】

図１７及び図１８は、一実施形態によってステレオスコピックビデオの左視点ビデオ及び右視点ビデオを伝送するための１個のストリーミングファイルフォーマットを示す。

【0177】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ステレオスコピックビデオのための左視点ＥＳストリームと右視点ＥＳストリームとを、１個のフラグメント基盤のストリーミングファイルを通じて伝送する。

【0178】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、一実施形態によるストリーミングファイルフォーマット５００に基づいたストリーミングファイル１７００、１８００に、左視点ＥＳストリーム及び右視点ＥＳストリームをいずれも挿入して伝送する。

【0179】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、現在ファイルのステレオスコピックビデオを構成するために参照する他のビデオに関する関係情報を伝送する。例えば、一実施形態によるマルチメディアストリーミングサービス提供装置１００は、ｍｏｏｖボックス１７１０、１８１０の下位ボックスであるｔｒａｋボックス１７１２、１７１４、１８１２、１８１４に関係情報を挿入して伝送する。

【0180】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、受信された左視点ビデオファイルをパージングして、現在ファイルのステレオスコピックビデオを構成するために参照する他のビデオに関する関係情報を抽出して読み取る。

【0181】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、読み取られた関係情報を用いて参照される他の一つのビデオを含むストリーミングファイルを検出することで、２つのストリーミングファイルから抽出されたビデオを組み合わせてステレオスコピック映像を復元する。

【0182】

先ず図１７を参照すれば、ストリーミングファイル１７００のそれぞれのフラグメントごとに、第１トラックである左視点ビデオと、第２トラックである右視点ビデオとをいずれも含む。すなわち、第１フラグメント１７２０を通じて左視点ビデオ１７２２及び右視点ビデオ１７２４が伝送され、第２フラグメント１７３０を通じて左視点ビデオ１７３２及び右視点ビデオ１７３４が伝送される。

【0183】

ｍｏｏｖボックス１７１０はトラック別に、第１トラックに対する第１ｔｒａｋボックス１７１２と、第２トラックに係る第２ｔｒａｋボックス１７１４とを備える。ステレオスコピックビデオのうち、付加時点ビデオのための右視点ビデオが伝送される第２トラックに係る第２ｔｒａｋボックス１７１４のｔｒｅｆボックス１７１５に、一実施形態による関係情報が挿入されて伝送される。一実施形態による関係情報は、ｔｒｅｆボックス１７１５は、参照タイプ情報‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’及び基本時点トラック識別情報‘ｔｒａｃｋ＿ＩＤ’を含む。

【0184】

図１８を参照すれば、ストリーミングファイル１８００のそれぞれのフラグメントごとに、第１トラックである左視点ビデオと、第２トラックである右視点ビデオとが個別的に挿入される。すなわち、第１フラグメント１８２０を通じて左視点ビデオ１８２２が伝送され、第２フラグメント１８３０を通じて右視点ビデオ１８３２が伝送され、第３フラグメント１８４０を通じて左視点ビデオ１８４２が伝送され、第４フラグメント１８５０を通じて右視点ビデオ１８５２が伝送される。

【0185】

図１８の場合、一実施形態による関係情報は、左視点ビデオが参照する右視点ビデオを含むフラグメントに関するオフセット情報を含んでもよい。

【0186】

もし関係情報として、右視点ビデオが伝送されるフラグメントに関するオフセット情報が別途に伝送されなければ、相応する左視点ビデオのフラグメント１８２０、１８４０と、右視点ビデオのフラグメント１８３０、１８５０とが、ストリーミングファイル１８００内で順次に挿入されて伝送されることが望ましい。これにより、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ストリーミングファイル１８００を受信しつつ、左視点ビデオのフラグメント１８２０、１８４０の直後に、相応する右視点ビデオのフラグメント１８３０、１８５０を受信する。

【0187】

ｍｏｏｖボックス１７１０はトラック別に、第１トラックに対する第１ｔｒａｋボックス１７１２と、第２トラックに係る第２ｔｒａｋボックス１７１４とを備える。ステレオスコピックビデオのうち、付加時点ビデオのための右視点ビデオが伝送される第２トラックに係る第２ｔｒａｋボックス１７１４のｔｒｅｆボックス１７１５に、一実施形態による関係情報が挿入されて送信される。一実施形態による参照情報は、ｔｒｅｆボックス１７１５は、参照タイプ情報‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’と、基本時点トラック識別情報‘ｔｒａｃｋ＿ＩＤ’とを含む。

【0188】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイル１７００、１８００のｍｏｏｖボックス１７１０、１８１０、ｔｒａｋボックス１７１２、１７１４、１８１２、１８１４を順次にパージングして、ｔｒｅｆボックス１７１５、１８１５が抽出される第２ｔｒａｋボックス１７１４、１８１４に対応する第２トラックに、付加時点ビデオである右視点ビデオが含まれていることを読み取る。また、ｔｒｅｆボックス１７１５、１８１５の参照タイプ情報‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’及び基本時点トラック識別情報‘ｔｒａｃｋ＿ＩＤ’に基づいて、第２トラックが第１トラックに属すると読み取られるので、第１ｔｒａｋボックス１７１２、１８１２に対応する第１トラックのフラグメントから左視点ビデオが抽出され、第２ｔｒａｋボックス１７１４、１８１４に対応する第２トラックのフラグメントから右視点ビデオが抽出される。

【0189】

ｍｆｒａボックス１７６０、１８６０の下位ボックスであるｔｆｒａボックス１７６２、１８６２は、ステレオスコピックビデオの再生時間からフラグメントまでの距離を示すフラグメントオフセット情報を含む。ステレオスコピックビデオの左視点ビデオ及び右視点ビデオに対する再生時間は同一であるので、第１トラックに対するｔｆｒａボックス１７６２、１８６２のみに、ストリーミングファイル１７００のステレオスコピックビデオを抽出するためのフラグメントオフセット情報が提供される。

【0190】

図１９及び図２０は、１個のストリーミングファイルでステレオスコピックビデオを伝送する場合、ファイル外部のインデックスファイルを用いて参照ビデオを定める方式を示す。

【0191】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、外部インデックスファイルを用いて現在ビデオの参照ビデオを示すための関係情報を伝送してもよい。

【0192】

一実施形態による外部インデックスファイルＳＭＩＬを通じて、一つのコンテンツのための複数のコンポネントに関する情報が共に伝送される。すなわち、一実施形態による外部インデックスファイルＳＭＩＬは、現在ファイル“ｔｅｓｔ＿１６４４．ｍｐ４”を通じて伝送される左視点ビデオトラックのためのインデックス情報と、右視点ビデオトラックのためのインデックス情報とをいずれも含む。

【0193】

図１９を参照すれば、ファイル外部のインデックスファイルは、現在ストリーミングファイルに含まれた左視点ビデオトラックと右視点ビデオトラックとを識別するために、トラック識別情報‘ｔｒａｃｋＩＤ’及びステレオスコピックタイプ‘ｓｔｅｒｅｏｔｙｐｅ’を含む。

【0194】

図２０を参照すれば、ファイル外部のインデックスファイル及びファイル内部のｔｒｅｆボックスを用いて参照ビデオが検索される。ファイル外部のインデックスファイルは、現在ストリーミングファイルに含まれた基本時点ビデオトラックを識別するためのトラック識別情報‘ｔｒａｃｋＩＤ’及びステレオスコピックタイプ‘ｓｔｅｒｅｏｔｙｐｅ’のみを含む。

【0195】

図２０の場合、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルのｍｏｏｖボックスのｔｒａｋボックスのうち、ｔｒｅｆボックスを含むｔｒａｋボックスに対応するトラックが、付加時点ビデオトラックであると読み取れる。したがって、ファイル外部のインデックスファイルが示すトラックのフラグメントから基本時点ビデオが抽出され、ｔｒｅｆボックスを含むｔｒａｋボックスに対応するトラックのフラグメントから付加時点ビデオが抽出される。

【0196】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルから、ステレオスコピックビデオを構成する基本時点ビデオ及び付加時点ビデオを抽出し、現在ストリーミングファイルの基本時点ビデオ及び付加時点ビデオに対するインデックス情報を抽出して、基本時点ビデオ及び付加時点ビデオの参照関係などを読み取る。一実施形態によるマルチメディアストリーミングサービス受信装置２００は、現在ストリーミングファイルから抽出された基本時点ビデオと付加時点ビデオとを組み合わせて、ステレオスコピックビデオを復元する。

【0197】

また、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、外部インデックスファイルを用いて、現在ストリーミングファイルの基本時点ビデオと付加時点ビデオとの関係を読み取って、基本時点ビデオと付加時点ビデオとを組み合わせてステレオスコピックビデオを復元してもよい。

【0198】

以上、図１０ないし図２０を参照して前述された、フラグメント基盤のストリーミングファイルを通じて送受信されるステレオスコピックビデオを再生するためには、左視点ビデオ及び右視点ビデオが同期化されねばならない。左視点ビデオ及び右視点ビデオは、対応する左視点サンプルと右視点サンプルとの間に同じ再生時間と、同じサンプル持続時間（ｓａｍｐｌｅ ｄｕｒａｔｉｏｎ）とを持つことで同期化される。

【0199】

以下、図２１及び図２２を参照して、適応的ストリーミングサービスのためのマルチチャネルビデオグループに対して、一実施形態によるマルチチャネルビデオグループを構成するビデオデータ間の関係情報を用いる方式が詳述される。

【0200】

マルチメディアの適応的ストリーミングサービスのために、ビデオ画質またはビットレートによって差動的に符号化されたビデオを提供するようにマルチチャネルビデオグループが提供される。マルチチャネルビデオグループから選択されたチャネルの符号化されたビデオデータが送受信される。

【0201】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ネットワーク環境、現在状態、ケーパビリティなどを考慮して、マルチチャネルビデオグループのうち所定チャネルのビデオをマルチメディアストリーミングサービス提供装置１００に要請する。

【0202】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、マルチメディアストリーミングサービス受信装置１００がマルチチャネルビデオグループのうち所望の形式のビデオを選択できるように、マルチチャネルビデオグループを構成するビデオの関係情報を伝送する。

【0203】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるマルチチャネルビデオグループの関係情報を用いて、所望のチャネルのビデオを選択し、要請して受信する。一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信された所定チャネルのビデオを用いてビデオを復元する。

【0204】

図２１は、適応的ストリーミングサービスのために、一実施形態によるマルチチャネルビデオグループの関係情報を含むａｆｇｐボックスのシンタックスを示す。

【0205】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、マルチメディアストリーミングファイルフォーマット３００、５００にａｆｇｐボックスを追加して、現在ストリーミングファイルを通じて伝送するビデオに係る、マルチチャネルビデオグループに関する関係情報を伝送する。

【0206】

一実施形態によるａｆｇｐボックスは、ｆｔｙｐボックス、ｍｏｏｖボックスなどと同じチャネルに構成される。

【0207】

一実施形態によるａｆｇｐボックスは、現在ビデオと係るマルチチャネルビデオグループのうち、現在ビデオを取り替えられる他のビデオに関する関係情報を含む。一実施形態によるａｆｇｐボックスは、マルチチャネルビデオグループを構成するビデオ数情報‘ｅｎｔｒｙ＿ｃｏｕｎｔ’及び他のビデオの位置情報‘ｆｉｌｅ＿ｌｏｃａｔｉｏｎ’を含む。

【0208】

一実施形態によるａｆｇｐボックスの位置情報‘ｆｉｌｅ＿ｌｏｃａｔｉｏｎ’は、他のビデオの遠隔位置、ＵＲＬなどを示す。すなわち、一実施形態によるａｆｇｐボックスは、現在ストリーミングファイルだけでなく、外部ファイルに位置するビデオに関する位置情報を伝送する。

【0209】

位置情報‘ｆｉｌｅ＿ｌｏｃａｔｉｏｎ’は、ＵＴＦ−８のような言語に符号化された文字列である。位置情報‘ｆｉｌｅ＿ｌｏｃａｔｉｏｎ’が示す外部ファイルと現在ファイルとは、同じマルチチャネルビデオグループであると示すためにマルチチャネルビデオグループ名称情報‘ａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐ’の値を共有することで、現在ファイルと外部ファイルとの取り替え関係が表現される。

【0210】

例えば、ａｆｇｐボックスを含む現在ファイルのビデオの‘ａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐ’値と、ａｆｇｐボックスの‘ｆｉｌｅ＿ｌｏｃａｔｉｏｎｓ’によって記述される所定外部ファイルに含まれたビデオの‘ａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐ’値とが０ではない同じ値ならば、現在ファイルのビデオと所定外部ファイルのビデオとは、マルチチャネルビデオグループを構成する互いに取り替え可能なビデオであることを示す。

【0211】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルから一実施形態によるａｆｇｐボックスをパージングして、マルチチャネルビデオグループを構成するビデオ数及び位置情報を読み取る。

【0212】

一実施形態によるマルチメディアストリーミングサービス受信装置２００は、ａｆｇｐボックスから読み取られたマルチチャネルビデオグループを構成するビデオのうち所望のチャネルのビデオを選択し、現在受信されたファイルまたは外部ファイルに位置しているビデオを要請して受信する。

【0213】

図２２は、適応的ストリーミングサービスのために、ファイル外部のインデックスファイルを用いて一実施形態によるマルチチャネルビデオグループ間の関係情報を設定する場合を示す。

【0214】

一実施形態によるマルチメディアストリーミングサービス提供装置１００は、外部インデックスファイルを用いて、マルチチャネルビデオグループを構成する複数のビデオとの関係情報が共に伝送される。例えば、一実施形態による外部インデックスファイルＳＭＩＬは、マルチチャネルビデオグループのビデオ別に、第１ファイルに関するインデックス情報２２１０と第２ファイルに関するインデックス情報２２２０とをいずれも含む。

【0215】

一実施形態による外部インデックスファイルＳＭＩＬは、マルチチャネルビデオグループを構成するビデオ別に、ビデオ位置情報ｔｅｓｔ＿１６４４．ｍｐ４、ｔｅｓｔ＿３２８８．ｍｐ４、ビットレート情報１６４４０００または３２８８０００と、現在マルチチャネルビデオグループを識別するためのグループ名称情報ａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐとを含む。

【0216】

一実施形態による外部インデックスファイルは、マルチチャネルビデオグループに含まれるビデオデータに関する位置情報として、現在受信されたファイルまたは外部ファイルの遠隔位置情報またはＵＲＬ情報を含む。

【0217】

また、第１ファイル“ｔｅｓｔ＿１６４４．ｍｐ４”が現在受信されたファイル内部のビデオトラックならば、一実施形態による外部インデックスファイルＳＭＩＬは、トラック識別情報ｔｒａｃｋＩＤをさらに含んでもよい。

【0218】

したがって、一実施形態によるマルチメディアストリーミングサービス受信装置２００は、受信されたストリーミングファイルの外部インデックスファイルから、現在ビデオが属するマルチチャネルビデオグループのビデオの位置情報及び特性情報などを読み取る。一実施形態によるマルチメディアストリーミングサービス受信装置２００は、外部インデックスファイルから読み取られたマルチチャネルビデオグループのうち取り替えビデオを選択し、現在受信されたファイルまたは外部ファイルに位置しているビデオを要請して受信する。

【0219】

図２３は、一実施形態によるマルチメディアストリーミングサービス提供方法のフローチャートを示す。段階２３１０で、２次元ビデオデータ及び３次元ビデオデータのうち少なくとも一つを含むビデオの符号化されたデータが、フラグメント単位に分割される。

【0220】

一実施形態によってフラグメントは、モノスコピックビデオ区間、ステレオスコピックビデオ区間、及びモノスコピックビデオ区間とステレオスコピックビデオ区間との混合ビデオ区間のうち一つを含む。

【0221】

段階２３２０で、フラグメントごとに、３次元シグナリング情報及び関係情報のうち少なくとも一つを含む属性情報が定められる。

【0222】

一実施形態によってフラグメントごとに、３次元構成情報、左右順序情報及びステレオモノ区間変更回数情報のうち少なくとも一つが定められる。

【0223】

一実施形態によってフラグメントの区間別に、ステレオ確認情報及び区間サンプル数情報のうち少なくとも一つが定められる。フラグメントのステレオスコピックビデオ区間別に、サンプルの３次元構成情報及び左右順序情報が定められる。

【0224】

一実施形態によってフラグメントのステレオスコピックビデオ区間別に、サンプルに関するステレオスコピックカメラディスプレイ情報が定められる。一実施形態によるステレオスコピックカメラディスプレイ情報は、ステレオスコピックカメラディスプレイ情報が適用されるアイテムを用いて表現される。

【0225】

一実施形態によって現在ファイルのビデオに対して、３次元構成情報、左右順序情報、及びステレオモノーフラグメント変更回数情報のうち少なくとも一つが定められる。ファイルに関する３次元構成情報、左右順序情報、及びステレオモノーフラグメント変更回数情報と共に、フラグメントごとにステレオモノ区間変更回数情報、区間サンプル数情報及びステレオ確認情報のうち少なくとも一つがさらに定められる。一実施形態によって、現在フラグメントのステレオスコピックビデオ区間ごとにステレオスコピックビデオ区間識別情報が定められる。

【0226】

一実施形態によって、現在ファイルのビデオが、ステレオスコピックビデオを構成する参照ビデオを検索するための関係情報として、現在ファイル内の参照ビデオの位置情報だけでなく、現在ファイル外部に位置する参照ビデオの遠隔位置情報、ＵＲＬ情報、ＵＲＮ情報のうち少なくとも一つが用いられる。

【0227】

一実施形態によって現在ファイルのビデオが複数のビデオを参照する場合、参照ビデオ数情報、複数の参照ビデオを識別するための参照インデックス情報及び位置情報のうち少なくとも一つが定められる。

【0228】

一実施形態によって適応的ストリーミングサービスのために、ビデオ画質によって差動的に複数チャネルのビデオを提供するマルチチャネルビデオグループが生成される。この場合、マルチチャネルビデオグループを構成するビデオ数情報及び他のチャネルのビデオ位置を示す参照情報のうち少なくとも一つが定められる。特に、マルチチャネルビデオグループを構成するビデオの位置情報は、現在ファイル外部のファイルに存在するビデオの位置を示すこともある。

【0229】

段階２３３０で、フラグメントの分割されたビデオについての属性情報と符号化されたビデオデータとを含むフラグメントが連続的に伝送される。フラグメントについての属性情報は、フラグメントの補助データ領域に挿入されて伝送され、フラグメント単位に分割された符号化されたビデオデータは、フラグメントのメディアデータ領域に挿入されて伝送される。

【0230】

図２４は、一実施形態によるマルチメディアストリーミングサービス受信方法のフローチャートを示す。段階２４１０で、複数のフラグメントが連続的に受信される。段階２４２０で、フラグメントごとにメディアデータ領域から、２次元ビデオ区間または３次元ビデオ区間で構成されたフラグメントの符号化されたビデオデータが抽出される。

【0231】

段階２４３０で、フラグメントごとに補助データ領域から属性情報がパージングされ、フラグメントビデオデータの２次元再生または３次元再生のための３次元シグナリング情報、及び複数のビデオ間の参照のための関係情報のうち少なくとも一つが抽出されて読み取られる。

【0232】

一実施形態によってフラグメントの３次元構成情報が抽出され、左視点映像及び右視点映像が現在フラグメントのステレオスコピック映像を構成する形態が読み取られる。一実施形態によってフラグメントの左右順序情報が抽出され、現在フラグメントのステレオスコピック映像で左視点映像及び右視点映像の順序が読み取られる。

【0233】

一実施形態によってフラグメントのステレオモノ区間変更回数情報が抽出され、現在フラグメントのモノスコピックビデオ区間及びステレオスコピックビデオ区間の変更回数が読み取られる。

【0234】

一実施形態によって、フラグメントのステレオ確認情報及び区間サンプル数情報のうち少なくとも一つが抽出され、フラグメントのモノスコピックビデオ区間またはステレオスコピックビデオ区間が区別される。

【0235】

一実施形態によって、フラグメントのステレオスコピックビデオ区間ごとに、３次元構成情報及び左右順序情報のうち少なくとも一つが抽出されて、現在ステレオスコピックビデオ区間を構成するサンプルに関する３次元構成情報が読み取られ、左右順序情報が読み取られる。

【0236】

一実施形態によって、フラグメントのステレオスコピックビデオ区間ごとに、ステレオスコピックカメラディスプレイ情報が抽出されて、現在ステレオスコピックビデオ区間を構成するサンプルを獲得したステレオスコピックカメラ及びディスプレイ規格に関する情報が読み取られる。一実施形態によるステレオスコピックカメラディスプレイ情報は、適用される対象アイテムを基準に読み取る。

【0237】

一実施形態によって、現在ファイルのビデオデータに関する３次元構成情報、左右順序情報及びステレオモノーフラグメント変更回数情報のうち少なくとも一つが抽出され、現在ファイルのフラグメントごとに、フラグメントのビデオに関するステレオモノ区間変更回数情報、区間サンプル数情報及びステレオ確認情報のうち少なくとも一つがさらに抽出されて読み取られる。

【0238】

一実施形態によって、フラグメントの一つ以上のステレオスコピックビデオ区間のうち、それぞれのステレオスコピックビデオ区間に関する識別情報が抽出されてステレオスコピックビデオ区間が区別される。

【0239】

一実施形態によって参照ビデオの位置情報、参照ビデオ識別情報、現在ファイル外部に位置している参照ビデオの遠隔位置情報、ＵＲＬ情報、ＵＲＮ情報のうち少なくとも一つが抽出されて読み取られることで、現在ファイルのビデオデータと参照される他の一つのビデオとが検索される。

【0240】

一実施形態によって、現在ファイルのビデオが複数のビデオを参照する場合、参照ビデオ数、参照インデックス、位置のうち少なくとも一つが読み取られ、参照されるビデオが選択的に検出される。

【0241】

一実施形態によって適応的ストリーミングサービスを受信するために、ビデオ画質によって複数のチャネルに差動符号化されたビデオを提供するマルチチャネルビデオグループに関する関係情報が受信される。一実施形態によるマルチチャネルビデオグループに関する関係情報が受信され、取り替えビデオに関する関係情報及び位置情報に基づいて、所望の取り替えビデオが選択的に要請されて受信される。取り替えビデオに関する位置情報は、現在ファイル内部のビデオに関する識別情報だけでなく、現在ファイル外部に存在するビデオの位置情報を含むこともある。

【0242】

段階２４４０で、フラグメントごとに３次元シグナリング情報または関係情報から読み取られた情報に基づいて、フラグメントごとに抽出されたビデオデータを復号化して組み合わせて２次元ビデオまたは３次元ビデオに復元される。一実施形態による３次元シグナリング情報または関係情報を用いて、復元されたビデオが２次元または３次元に再生されることもある。

【0243】

一実施形態によるマルチメディアストリーミングサービス提供装置１００、及び一実施形態によるマルチメディアストリーミングサービス受信装置２００は、一実施形態によるフラグメント基盤のストリーミングファイルフォーマットを通じて、ファイル単位、フラグメント単位またはサンプル単位でステレオスコピックビデオの３次元シグナリング情報を送受信する。

【0244】

また、一実施形態によるフラグメント基盤のストリーミングファイルフォーマットに基づいた一つ以上のストリーミングファイルを通じて、ステレオスコピックの基本時点ビデオ及び付加時点ビデオのように、複数のビデオ間の参照情報、特性情報などの関係情報が送受信される。

【0245】

これによって既存に生成されたファイルまたは他の位置に存在するファイルを参照できるので、参照ビデオを伝送するためのファイルを再生成するか、または物理的制約なしに複数のビデオを連関または組み合わせるマルチメディアサービスが提供される。

【0246】

ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いた適応的ストリーミング（ＨＴＴＰ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）サービスのために、一実施形態によるストリーミングファイルフォーマットを用いてＩＳＯ基盤のメディアファイルフォーマットと互換するように統一化された形態で、ステレオスコピックビデオを構成する複数のビデオ間の関係情報及び３次元シグナリング情報が提供される。複数のチャネルの品質に符号化されたビデオ、オーディオなどのマルチメディアだけでなくステレオスコピックマルチメディアが、一つ以上のマルチメディアファイルに積載して提供され、送信帯域幅や端末装置の性能に合わせて適応的に可変的品質のマルチメディアが使用者に切れ目なく提供される。

【0247】

本発明で開示されたブロック図は、本発明の原理を具現するための回路を概念的に表現した形態であると当業者に解釈される。類似して、任意のフローチャート、状態遷移図、擬似コードなどはコンピュータで読み取り可能な媒体で実質的に表現されて、コンピュータまたはプロセッサーが明示的に図示されるやいなや、かかるコンピュータまたはプロセッサーによって行われる多様なプロセスを示すということが当業者に認識される。したがって、前述した本発明の実施形態はコンピュータで行われるプログラムに作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）などの記録媒体を含む。

【0248】

図面に示した多様な要素の機能は適宜なソフトウェアに関して、ソフトウェアを行えるハードウェアだけではなく専用ハードウェアの利用により提供される。プロセッサーによって提供される時、かかる機能は、単一専用プロセッサー、単一共有プロセッサー、または一部が共有される複数の個別プロセッサーによって提供される。また、用語“プロセッサー”または“制御部”の明示的な利用は、ソフトウェアを行えるハードウェアを排他的に称すると解釈されてはならず、制限なしに、デジタル信号プロセッサー（ＤＳＰ）ハードウェア、ソフトウェアを保存するための判読専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性保存装置を暗黙的に含む。

【0249】

本明細書の請求項で、特定機能を行うための手段として表現された要素は特定機能を行う任意の方式を含み、これらの要素は、特定機能を行う回路要素の組み合わせ、または特定機能を行うためのソフトウェアを行うのに好適な回路と結合された、ファームウエア、マイクロコードなどを含む任意の形態のソフトウェアを含む。

【0250】

本明細書で、本発明の原理の‘一実施形態’と、かかる表現の多様な変形の指称はこの実施形態に係って、特定特徴、構造、特性などが本発明の原理の少なくとも一実施形態に含まれるということを意味する。したがって、表現‘一実施形態’と、本明細書の全体にわたって開示された任意の他の変形例とは、必ずしもいずれも同じ実施形態を称するものではない。

【0251】

本明細書で、‘ＡとＢのうち少なくとも一つ’の場合に‘〜のうち少なくとも一つ’の表現は、最初のオプション（Ａ）の選択のみ、または２番目に挙げられたオプション（Ｂ）の選択のみ、または両オプション（ＡとＢ）の選択を包括するために使われる。追加的な例として、‘Ａ、Ｂ、及びＣのうち少なくとも一つ’の場合は、最初に挙げられたオプション（Ａ）の選択のみ、または２番目にに挙げられたオプション（Ｂ）の選択のみ、または３番目に挙げられたオプション（Ｃ）の選択のみ、または最初と２番目に挙げられたオプション（ＡとＢ）の選択のみ、または２番目と３番目に挙げられたオプション（ＢとＣ）の選択のみ、またはすべての３個のオプションの選択（ＡとＢとＣ）を含む。さらに多い項目が挙げられる場合にも、当業者に明らかに拡張解釈される。以上、本発明についてその望ましい実施形態を中心として説明した。

【0252】

本明細書を通じて開示されたすべての実施形態及び条件付き例示は、当業者が、読者の本発明の原理及び概念の理解を助けるための意図で記述されたものであり、当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態に具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にいるすべての差異は本発明に含まれていると解釈されねばならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】