特許 7212102 マルチメディア伝送システムにおけるパケットを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-16

(45)【発行日】2023-01-24

(54)【発明の名称】マルチメディア伝送システムにおけるパケットを伝送する方法

(51)【国際特許分類】

   H04N 21/2362 20110101AFI20230117BHJP

   H04N 21/2381 20110101ALI20230117BHJP

【ＦＩ】

H04N21/2362

H04N21/2381

【請求項の数】 2

(21)【出願番号】P 2021084159

(22)【出願日】2021-05-18

(62)【分割の表示】P 2019117493の分割

【原出願日】2014-04-21

(65)【公開番号】P2021122149

(43)【公開日】2021-08-26

【審査請求日】2021-05-21

(31)【優先権主張番号】10-2013-0043855

(32)【優先日】2013-04-19

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】キュン－モ・パク

(72)【発明者】

【氏名】スン－オ・ファン

(72)【発明者】

【氏名】スン－リュル・リュ

(72)【発明者】

【氏名】ジェ－ヨン・ソン

【審査官】富樫 明

(56)【参考文献】

【文献】特許第６８８７４６６（ＪＰ，Ｂ２）

【文献】国際公開第２０１２／０９９４０８（ＷＯ，Ａ２）

【文献】Text of ISO/IEC 2nd CD 23008-1 MPEG Media Transport，ISO/IEC JTC1/SC29/WG11 MPEG/N13293，2013年01月，ｐ．２９－３４，http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13293.zip

【文献】Study of ISO/IEC CD 23008-1 MPEG Media Transport，ISO/IEC JTC1/SC29/WG11 MPEG/N13089，2012年10月，ｐ．７５－７９，http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13089-v2-w13089.zip(ISO-IEC_23008-1_(E)_SoCD_v12_redline.doc)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

マルチメディア伝送システムにおけるパケットを伝送する方法であって、
ヘッダ部と、ペイロード部を含むマルチメディアデータパケットを生成するステップと、
前記マルチメディアデータパケットを伝送するステップと、を含み、
前記ペイロード部に含まれるペイロードヘッダは、
前記ペイロード部に含まれるペイロードデータが分割されていない完全な形態のデータユニットであるか否かを示す分割指示情報と、
前記ペイロード部に複数のデータユニットが含まれるか否かを示すフラグ情報と、
前記ペイロード部に含まれるデータユニットがメディアプロセッシングユニット（ＭＰＵ）から分割されたメディアフラグメントユニット（ＭＦＵ）である場合、前記ＭＰＵを識別するための情報と、
を含み、
第１の値の前記分割指示情報は、前記ペイロードデータが前記完全な形態のデータユニットを含むことを示し、
第２の値の前記分割指示情報は、前記ペイロードデータが前記データユニットの一番目のフラグメントを含むことを示し、
第３の値の前記分割指示情報は、前記ペイロードデータが前記データユニットの前記一番目のフラグメントでも最終のフラグメントでもないフラグメントを含むことを示し、
第４の値の前記分割指示情報は、前記ペイロードデータが前記データユニットの前記最終のフラグメントを含むことを示すことを特徴とする伝送方法。

【請求項2】

前記ヘッダ部は、
前記パケットのＦＥＣ（Forward Error Correction）タイプに関する情報をさらに含むことを特徴とする請求項１に記載の伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチメディアサービスを提供するマルチメディア伝送システムにおいて、マルチメディア伝送パケットを生成し伝送する装置及びその方法に関する。

【背景技術】

【0002】

一般に、マルチキャスト、ブロードキャスト及び画像電話のようなインタラクティブサービス、ビデオオンデマンド（Video on Demand: ＶＯＤ）サービスのようなストリーミングサービスなどを、マルチメディアサービスという。このようなマルチメディアサービスは、リアルタイムマルチメディアサービスと、非リアルタイムマルチメディアサービスとに分類することができる。リアルタイムマルチメディアサービスは、ユーザの数によって、ユニキャストサービス、マルチキャストサービス、及びブロードキャストサービスに分類することができる。また、リアルタイムマルチメディアサービスは、サービスの形態によって、インタラクティブサービス、及びストリーミングサービスに分類することができる。

【0003】

従来のマルチメディアネットワークでは、マルチメディアコンテンツの伝送のために、ＭＰＥＧ（Moving Picture Experts Group）－２ ＴＳ（Transport Stream）が使われた。ＭＰＥＧ－２ ＴＳは、エラーのある固定的な帯域幅を提供する伝送環境の下で、複数のマルチメディアプログラム（例えば、複数のコード化されたビデオビット列）の多重化されたビット列を伝送するための伝送技術として使われている。例えば、ＭＰＥＧ－２ＴＳは、マルチメディアの時代に、デジタルテレビのようなマルチメディア装置で適切に使われた。

【0004】

図１は、従来のＭＰＥＧ－２ ＴＳをサポートするための階層構造を示す。
図１を参照すると、ＭＰＥＧ－２ ＴＳをサポートするための階層は、メディアコーディング階層１１０、同期階層１２０、伝達階層１３０、ネットワーク階層１４０、データリンク階層１５０、及び物理階層１６０を含む。

【0005】

メディアコーディング階層１１０と同期階層１２０とは、メディアデータを記録できるか、又は送信の基本単位として容易に使用できるフォーマットで構成してもよい。そして伝達階層１３０、ネットワーク階層１４０、データリンク階層１５０、及び物理階層１６０は、同期階層１２０により構成されたフォーマットのデータブロック（例えば、「ＡＵ（Access Unit）」）を別途の記録媒体に記録するか、伝送のためのマルチメディア伝送パケットとして構成する。前記構成されたマルチメディア伝送パケットは、所定のネットワークを通じて加入者端末に伝送される。

【0006】

このために、同期階層１２０は、フラグメントブロック１２２と、アクセスユニット１２４とを含んでもよい。また、伝達階層１３０は、ＭＰＥＧ－２ ＴＳ／ＭＰ４ ＲＴＰ（Real Time Transport Protocol）ペイロードフォーマット／ＦＬＵＴＥ（File deLivery over Unidirectional Transport）１３２、ＲＴＰ／ＨＴＴＰ（Hyper Text Transfer Protocol）１３４、及びＵＤＰ（User Datagram Protocol）／ＴＣＰ（Transmission Control Protocol）１３６を含んでもよい。

【0007】

しかし、ＭＰＥＧ－２ ＴＳは、マルチメディアサービスをサポートするに当って、いくつかの限界がある。具体的に、ＭＰＥＧ－２ ＴＳの限界には、単方向通信、固定されたパケットサイズによる伝送の非効率性、及びオーディオ／ビデオに特化された伝送プロトコル及びインターネットプロトコル（ＩＰ）を用いてデータを伝送する際に生じ得る不要なハンドオーバーが含まれる。

【0008】

したがって、ＭＰＥＧでは、ＭＰＥＧ技術に基づいて、マルチメディアサービスをサポートするためのマルチメディア伝送技術のうちの一つとして、ＭＭＴ（ＭＰＥＧ Media Transport）標準を新しく提案している。特に、ＭＭＴ標準は、ＭＰＥＧ－２ ＴＳの限界を克服するために、ＭＰＥＧにより提案された。

【0009】

例えば、ＭＭＴ標準は、異種ネットワークを通じてハイブリッドコンテンツを効率良く伝送するために適用し得る。ここで、ハイブリッドコンテンツとは、オーディオ、ビデオ、アプリケーションなどによるマルチメディア要素を有するコンテンツの集合を意味する。そして、異種ネットワークとは、マルチメディアネットワークと、通信ネットワークなどが混在しているネットワークを意味する。

【0010】

また、ＭＭＴ標準は、現在マルチメディアサービスのための伝送ネットワークにおける基本技術であるＩＰに親和的な伝送技術を定めることを目的としている。

【0011】

従って、ＭＭＴ標準は、ＩＰに基づいて変化する代表的なマルチメディアサービス環境において、効率的なＭＰＥＧ伝送技術を提供するためのものであり、持続的な研究とともに標準化が進んでいる。

【0012】

上記の情報は、専ら本発明の開示の理解を助けるための背景情報として提示される。上記のいずれかが、本発明に関する先行技術として適用できるかどうかについては、確認されず、断定されない。

【発明の概要】

【発明が解決しようとする課題】

【0013】

特に、ＭＭＴ標準では、単一の端末が、複数のネットワークに繋がって、マルチメディアサービスを提供するハイブリッドネットワーク環境において、またオーディオ及びビデオデータのみならず、アプリケーション、ウィージェット、イメージなどから構成され、またユーザの端末で消費できるハイブリッドコンテンツを提供しようとする最近のマルチメディアサービス環境において、効率的なＭＰＥＧ伝送技術を提供するための方策作りが必要である。

【0014】

本発明の目的は、少なくとも前述の問題及び／又は不利点に取り組んで、少なくとも後述する利点を提供することにある。従って、本発明の目的は、インターネットプロトコル（ＩＰ）に基づいて、マルチメディアサービスをサポートするマルチメディアシステムにおけるマルチメディア伝送パケットを構成する方法及び装置を提供することにある。

【0015】

本発明の他の目的は、ＭＭＴ技術に基づいて生成されたハイブリッドコンテンツ又はハイブリッドサービスのためのマルチメディアデータに基づいて、マルチメディア伝送パケットを生成し、これを伝送する方法及び装置を提供することにある。

【課題を解決するための手段】

【0016】

本発明の一態様によると、マルチメディア伝送システムにおけるメディアデータを伝送する方法が提供される。この方法は、一つ以上のサブデータユニットに分割されるデータユニットに基づいて、一つ以上のマルチメディアデータパケットを生成する過程と、各マルチメディアデータパケットは、パケットヘッダとペイロードとを含み、前記一つ以上のマルチメディアデータパケットを、受信エンティティへ伝送する過程とを含み、前記ペイロードのペイロードヘッダは、前記データユニットの分割指示子と、前記データユニットのフラグメントタイプ情報とを含む。

【発明の効果】

【0017】

本発明の一実施形態では、ＩＰネットワークを通じてハイブリッドサービス又はコンテンツを伝送するためのマルチメディアペイロードを構成し、これに基づいて、マルチメディアパケットを生成し、伝送する方法を提供することにより、マルチメディア環境で効率的なＭＰＥＧ伝送をサポートすることができる。

【0018】

本発明の特定の実施形態の上記の態様及び他の態様、特徴、及び利点は、添付の図面と共に、以下の詳細な説明からより明らかである。

【図面の簡単な説明】

【0019】

【図1】従来のＭＰＥＧ－２ ＴＳをサポートするための階層構造を示す図である。

【図2】本発明の一実施形態によるＭＭＴシステムにおいて、インターネットプロトコル（ＩＰ）ネットワークを通じて、ＭＭＴＰパケットに基づいたマルチサービス／コンテンツを伝送するためのマルチメディアペイロードの構造を示す図である。

【図3】本発明の一実施形態によるＭＭＴシステムにおいて、ＭＭＴＰパケットを構成し、これを伝送するための制御フローチャートである図である。

【図4a】本発明の一実施形態によるＭＰＵ構成の一例を示す模式図である。

【図4b】本発明の一実施形態により、図４ａのＭＰＵファイルに基づいて生成可能なＭＦＵの構成例を示す図である。

【図4c】本発明の一実施形態によるＭＦＵの詳細な構成の一例を示す図である。

【図4d】本発明の一実施形態により、図４ｃのＭＦＵに基づいて構成されるペイロードの構成例を示す図である。

【図5】図４ａのＭＰＵファイルに基づいて構成されたＭＰＵ／ＭＦＵビルディングブロックからペイロードを構成し、本発明の一実施形態によるＭＭＴＰパケットを生成する方法の一例を示す図である。

【図6a】本発明の一実施形態によりリアルタイムの必要条件に従い識別されるＭＰＵ構成の一例を示す図である。

【図6b】本発明の一実施形態によりリアルタイムの必要条件に従い識別されるＭＰＵ構成の一例を示す図である。

【図7】本発明の一実施形態により、図６ａのリアルタイムマルチメディアサービスを提供するＭＰＵを、ペイロード単位で構成する場合の一例を示す図である。

【図8】本発明の一実施形態により、図６ｂの非リアルタイムマルチメディアサービスをペイロード単位で構成する場合の一例を示す図である。

【図9】本発明の一実施形態によるＭＭＴシステムにおけるメディアデータを送信するための送信エンティティを示す図面である図である。

【図10】本発明の一実施形態によるＭＭＴシステムにおけるメディアデータを受信するための受信エンティティを示す図面である図である。

【0020】

図面において、類似の部分、構成要素、及び構造については同様の参照番号を付ける。

【発明を実施するための形態】

【0021】

添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供されるものである。この理解を助けるために様々な特定の詳細を含むが、これらは単なる一つの実施例に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここで説明する実施形態の様々な変更及び修正が可能であることは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、よく知られている機能や構成に関する具体的な説明は省略する。

【0022】

以下の詳細な説明及び特許請求の範囲において使われる用語及び単語は、文献上の意味に限定されず、専ら発明者により、本発明の明確で、かつ一貫した理解を可能にするのに使われる。したがって、添付した特許請求の範囲及びこれらの均等物により定義されるように、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、当該技術分野における通常の知識を有する者には明らかである。

【0023】

明細書において明確に言及しない限り、「a」、「an」、及び、「the」の単数形態は、複数の対象を含む。従って、例えば、「a component surface」への言及は、そのようなsurfaceの一つ又はそれ以上への言及を含む。

【0024】

用語「実質的に（substantially）は、挙げられた特徴、パラメータ、又は値が、必ずしも正確に成し遂げられる必要はないが、例えば、公差、測定エラー、測定精密限界及び当該技術分野における当業者に知られた他の要因を含めて、変動又は号差が、提供しようとする特徴に影響を及ばないほど起こり得ることを意味する。

【0025】

後述する本発明の実施形態では、ＭＭＴ標準において定義している階層構造について説明する。また、本発明の一実施形態では、マルチメディア伝送パケットを構成する方策を提案する。これによって、ＭＭＴ標準で定義している階層構造において、本発明の一実施形態によるマルチメディアデータパケットを生成するための階層と関連した動作を具体的に説明する。本明細書において、ＭＭＴサービスのためのマルチメディア伝送パケット（以下、ＭＭＴＰパケットと称する）は、ＭＭＴコンテンツから構成された伝送ペイロードを伝送するパケットとして定義される。本発明の一実施形態によるＭＭＴＰ（ＭＭＴ Pro
tocol）パケットは、要求の伝送情報と関連付けのＱｏＳ（Quality of Service）情報を含む。

【0026】

以下、本発明の一実施形態では、ＭＭＴＰパケットを生成するためのヘッダ情報の構成についてより具体的に説明する。前記ヘッダ情報は、ＭＭＴＰパケットのペイロードが、上位階層において所定のサイズ単位で提供されるマルチメディアデータを分割するか、又は結合して、所望のサイズのマルチメディアデータを構成するなどの情報を含む。

【0027】

本発明の一実施形態では、ＭＭＴ標準に基づいたマルチメディアシステム（以下、ＭＭＴシステムと称する）によるＭＭＴサービスを概念的に含む。

【0028】

前記ＭＭＴサービスのためのコンテンツとして、ＵＨＤ（Ultra High Definition）、ＶＯＤ（Video on Demand）、ライブストリーミング（Live Streaming）、ファイル（File）、ウィージェット（Widget）、電子ブック（E-book）、メタデータ（metadata）などを仮定している。しかし、電気的信号として表現可能な他のコンテンツを全て、前記ＭＭＴサービスのためのコンテンツとしてもよいことは、当業者には明らかである。

【0029】

前記の多様なコンテンツ各々のためのマルチメディアデータは、ＭＭＴカプセル化装置（ＭＭＴencapsulator）により、所定のフォーマットにカプセル化してもよく、ＭＭＴＰパケットを構成し、その後、ＭＭＴＰパケットを、異種ネットワークを通じて加入者端末へハイブリッド伝達してもよい。前記異種ネットワークとは、マルチメディアネットワークと、ＩＰネットワークなどが混在している伝送環境のネットワークを意味する。

【0030】

前記異種ネットワークを通じて、ハイブリッド伝達が行われたＭＭＴＰパケットを受信すると、加入者端末は、前記ＭＭＴＰパケットから、所望のコンテンツに相当するマルチメディアデータを抽出し、前記抽出したマルチメディアデータに対応するビデオ、オーディオ、アプリケーションなどをユーザに提供する。この際、特定のコンテンツのために提供されるビデオ、オーディオ、アプリケーションなどに対応するマルチメディアデータの各々を「アセット（asset）」と定義している。また、加入者端末とは、本発明の一実施形態において、マルチメディアサービスをサポートすることができる大部分の機器を含む意味として用いられる。前記加入者端末の代表的な例として、ＩＰＴＶ、スマートフォンなどが挙げられる。

【0031】

したがって、前記ＭＭＴサービスにより達成できる目的は、高品質コンテンツ伝達（High Quality Content Delivery）、ハイブリッドコンテンツサポート（Hybrid Contents Support）、及びハイブリッドネットワークサポート（Hybrid Network Support）などにより達成することができる。

【0032】

図２は、本発明の一実施形態によるＭＭＴシステムにおいて、異種ネットワークを通じてＭＭＴＰパケットに基づいたマルチサービス/コンテンツを伝送するための階層構造の一例を示す。

【0033】

図２を参照すると、ＭＭＴシステムにおいて、ＭＭＴＰパケットを構成し、構成されたＭＭＴＰパケットを伝送するためには、複数、例えば、７個の階層が要求される。前記７個の階層は、メディアコーディング階層２１０、カプセル化階層（以下、「階層Ｅ」と称する）２２０、伝達階層（以下、「階層Ｄ」又は「階層Ｔ」と称する）２３０、２９０、ネットワーク階層２４０、データリンク階層２５０、物理階層２６０、及び、例えば、ＭＭＴ Ｃ．１ ２７０、ＭＭＴ Ｃ．２ ２８０を含む制御階層（以下、「階層Ｃ」と称
する）を含んでもよい。

【0034】

本発明の実施形態によると、前記７個の階層のうち、メディアコーディング階層２１０及び階層Ｅ２２０により、マルチサービス／コンテンツに基づいたマルチメディアデータが生成される。したがって、これらの２個の階層は、「マルチメディアデータ生成部」の構成として看做してもよい。また、前記７個の階層のうち、階層Ｄ２３０によりＭＭＴＰパケットが構成されることによって、階層Ｄ２３０は、「マルチメディアパケット構成部」の構成として看做してもよい。即ち、マルチメディアパケット生成部に該当する階層Ｄ２３０は、ＭＭＴＰパケットを識別するためのパケット識別子（ＩＤ）と、ネットワーク階層における連結サービスの品質、及び終端間のネットワーク性能を測定するために要求される情報によって、ヘッダ情報を構成し、前記ヘッダ情報とマルチメディアデータとを組み合わせて、ＭＭＴＰパケットを構成する。

【0035】

一方、前記７個の階層のうち、階層Ｅ２２０、階層Ｄ２３０、階層Ｄ．３ ２９０、階層Ｃ．１ ２７０、及び階層Ｃ．２ ２８０は、ＭＭＴ標準のための関連度が非常に高い。階層Ｅ２２０は、ハイブリッドコンテンツの生成を担当し、階層Ｄ２３０及び階層Ｄ．３ ２９０は、異種ネットワークを通じて、前記生成したコンテンツの効率的な伝送を担当し、ＭＭＴ Ｃ．１ ２７０及びＭＭＴ Ｃ．２ ２８０は、前記ハイブリッドコンテンツの消費管理及び伝送管理のための全般的な操作を担当する。

【0036】

階層Ｅ２２０は、ＭＭＴ Ｅ．３階層２２２、ＭＭＴ Ｅ．２階層２２４、及びＭＭＴ Ｅ．１階層２２６を含んでもよい。ＭＭＴ Ｅ．３階層２２２は、メディアコーディング階層２１０から提供されるコード化されたマルチメディアデータを入力して、ＭＭＴサービスのための基本単位であるメディアデータフラグメント又はメディアプロセッシングユニットのフラグメント（fragment-of-media processing unit)（例えば、ＭＦＵ（Media Fragment Unit））を生成する。ＭＭＴ Ｅ．２階層２２４は、ＭＭＴ Ｅ．３階層２２２により生成されたＭＦＵを用いて、ＭＭＴサービスのためのメディア操作単位又はＭＰＵ（Ｍedia Processing Unit）を生成する。ＭＭＴ Ｅ．１階層２２６は、ＭＭＴ Ｅ．２階層２２４から提供されるＭＰＵを組み合わせ、分割を介して、ハイブリッドコンテンツを生成し、この生成したハイブリッドコンテンツを格納及び伝送するためのフォーマットを生成する。

【0037】

前記ＭＰＵは、前記アセット、マルチメディアデータの構成のために使われる。前記マルチメディアデータは、時限データか、非時限データである。単一アセットは、一つ以上のＭＰＵのコレクションであり、したがって、ＭＰＵは、他のＭＰＵとは独立的に復号可能な時限又は非時限のデータのためのコンテナである。具体的には、時限データの場合、ビデオが受信エンティティに提供され、前記ビデオは、一つ以上のイメージと、前記イメージの各々の処理のための構成情報などを含む。前記各々のイメージは、ＭＦＵに形成され、ＭＦＵが受信エンティティへ伝達され、ＭＰＵは、ＡＵより小さいデータユニット、即ち、ＭＦＵに分割される。

【0038】

階層Ｄ２３０は、ＭＭＴ Ｄ．１階層２３２及びＭＭＴ Ｄ．２階層２３４を含む。ＭＭＴ Ｄ．１階層２３２は、伝送しようとする個体単位、例えば、ＭＰＵを構成するＭＦＵを、当該ＭＭＴＰパケットの構造に対応するように構造化されたパケットペイロードに構成する役割を果す。ＭＭＴＤ．２階層２３４は、ＲＴＰ（Real Time Transport Protocol）又はＨＴＴＰ（Hyper Text Transfer Protocol）として類似の役割を果すアプリケーションプロトコル（ＡＰ: Application Protocol）を担当する。ＭＭＴ Ｄ．３階層２９０は、階層Ｅ２２０を構成する各階層と、階層Ｄ２３０を構成する各階層との間の最適化のための操作を実行する。

【0039】

ＭＭＴ Ｃ．１ ２７０は、ハイブリッドコンテンツの生成及び消費と関連付いた情報を提供し、ＭＭＴ Ｃ．２ ２８０は、ハイブリッドコンテンツの伝送と関連付いた情報を提供する。

【0040】

図３は、本発明の実施形態によるＭＭＴシステムにおいて、ＭＭＴＰパケットを構成し、これを伝送するための制御フローチャートである。
図３における操作は、図２に示した複数の階層のうち、階層Ｄ２３０を構成しているＭＭＴ Ｄ．２ ２３４により行われる。

【0041】

図３を参照すると、ＭＭＴ Ｄ．２ ２３４は、ステップ３１０において、ＭＭＴ Ｄ．１ ２３２からマルチメディアデータを受信する。ＭＭＴ Ｄ．１ ２３２からハイブリッドサービス又はハイブリッドコンテンツを提供するために十分なマルチメディアデータと、マルチメディアデータの各々に対応するＭＭＴアセットが提供されてもよい。

【0042】

ステップ３１２において、ＭＭＴ Ｄ．２ ２３４は、ステップ３１０で受信されたマルチメディアデータによって構成されたペイロードに基づいて、ＭＭＴＰパケットを構成するためのヘッダ情報を構成する。前記ヘッダ情報は、下記の表５に示されるＭＭＴＰパケットヘッダ領域のヘッダ情報と、下記の表２に示されるペイロードヘッダに関する情報とを含む。前記ヘッダ情報は、ＭＭＴＰパケットを識別するためのパケットＩＤ、ネットワーク階層における連結サービスの品質及び終端間のネットワーク性能を測定するために要求される情報のうちの少なくとも一つを含む。

【0043】

ステップ３１４において、ＭＭＴ Ｄ．２ ２３４は、ハイブリッドマルチメディアサービスのためのＭＭＴＰパケットを構成する。即ち、ＭＭＴ Ｄ．２ ２３４は、ステップ３１０で受信されたマルチメディアデータと、ステップ３１２で構成されたヘッダ情報とを組み合わせて、ＭＭＴＰパケットを構成する。

【0044】

前記ＭＭＴＰパケットを構成した後、ＭＭＴ Ｄ．２ ２３４は、ステップ３１６において、前記構成したＭＭＴＰパケットを、異種ネットワークを通じて加入者端末へ伝送する。

【0045】

以下、本発明の一実施形態により、ＭＭＴサービスのためのＭＭＴＰパケットの伝送を担当する階層Ｔ．２によりＭＭＴＰパケットを構成する方法について具体的に説明する。本発明の一実施形態によるＭＭＴＰパケットは、ヘッダ領域と、ペイロード領域とを含む。本発明の一実施形態では、前記ヘッダ領域で記録されるヘッダ情報と、前記ペイロード領域で記録するマルチメディアデータについて定義すべきである。また、本発明の一実施形態によるＭＭＴＰパケットは、要求されるＱｏＳを保証するように定義すべきである。

【0046】

その上、本発明の一実施形態により構成されたＭＭＴＰパケットのフロー制御を行うことができる方策も、調えるべきである。また、本発明の一実施形態によるフロー制御及びＱｏＳレベルによってＩＰプロトコルが提供する機能を代替することができなければならない。

【0047】

最終的に、本発明の一実施形態では、伝送しようとする個体単位、例えば、ＭＰＵを伝送するために、階層Ｔ．２が、他の階層と情報を交換するための手続きと、この手続きにより交換される情報のコンテンツ及びその伝達方法についても定義すべきである。

【0048】

下記の表１は、本発明の一実施形態によるＭＭＴＰパケットの構造の一例を示す。

【0049】

【表1】

【0050】

表１を参照すると、前記ＭＭＴＰパケットは、ＭＭＴＰパケットヘッダ領域と、ＭＭＴＰペイロード領域とを含む。前記ＭＭＴＰパケットヘッダ領域では、ＭＭＴＰパケットにより伝送されるハイブリッドサービス/コンテンツのためのマルチメディアデータの受信に用いられる制御情報に相応するヘッダ情報が記録される。そして、前記ＭＭＴＰペイロードの領域では、ハイブリッドサービス/コンテンツのためのマルチメディアデータが記録される。前記ＭＭＴＰペイロード領域は、ペイロードヘッダと、ペイロードデータとを含む。

【0051】

下記の表２は、ＭＭＴＰパケットを構成しているＭＭＴＰペイロード領域で記録される前記ペイロードヘッダの構成の一例を示す。

【0052】

【表2】

【0053】

表２を参照すると、前記ペイロードヘッダは、以下のような情報を含む。ここで確認される名称、ビット数、及び値は、単に一つの実施であり、本発明の他の実施形態において変わってもよい。
－length（16bits）：当該情報は、前記ＭＭＴＰペイロードの長さを示す。当該ＭＭＴＰペイロードの長さを保持するために、前記ＭＭＴＰペイロードに偽データ（例えば、無効、暫定データなど）が含まれた場合、当該偽データは除いてもよい。

【0054】

－type（8bits）：前記ＭＭＴＰペイロードに含まれるデータのタイプを示す。表３では、前記ＭＭＴＰペイロードに含まれ得るデータのタイプの一例を示す。

【0055】

【表3】

【0056】

-ＭＰＵ（０ｘ００）：ＭＰＵは、伝送しようとするＭＰＵの内部構造情報を考慮せず、ＭＭＴＰペイロードとして構成される場合である。これにより、当該ＭＭＴＰペイロードは、一つのＭＰＵを含むように構成されるか、前記ペイロードの長さより長いＭＰＵの一部を含むように構成されてもよい。

【0057】

-ＭＰＵ metadata（０ｘ０２）：伝送しようとするＭＰＵの内部構造情報を考慮してＭＭＴＰペイロードを構成する場合、当該ＭＭＴＰペイロードは、ＭＰＵメタデータ（metadata）を含む。前記ＭＰＵメタデータは、当該ＭＭＴＰペイロードを構成しているＭＰＵを処理するための制御情報であり、ＭＦＵをコードするためのコーデック（codec）パラメータに該当する。

【0058】

-Fragment metadata（０ｘ０３）：伝送しようとするＭＰＵの内部構造情報を考慮して、ＭＭＴＰペイロードを構成する場合、当該ＭＭＴＰペイロードは、フラグメントメタデータを含む。前記フラグメントメタデータは、当該ＭＭＴＰペイロードに含まれたＭＦＵの各々のフラグメント単位についての制御情報を示す。

【0059】

-ＭＦＵ aligned（０x０４）：伝送しようとするＭＰＵの内部構造情報を考慮して、ＭＭＴＰペイロードを構成する場合、当該ＭＭＴＰペイロードは、ＭＦＵの範囲を考慮して、ＭＭＴＰペイロードが構成されてもよい。即ち、「ＭＦＵ aligned」は、当該ＭＭＴＰペイロードが、少なくとも一つのＭＦＵを含む場合を示す。この場合、ＭＭＴＰペイロードに、少なくとも一つのＭＦＵは、ＭＭＴＰペイロードの境界に位置合わせる。

【0060】

-ＭＦＵ（０x０５）：伝送しようとするＭＰＵの内部構造情報を考慮して、ＭＭＴＰペイロードを構成する場合、当該ＭＭＴＰペイロードは、少なくとも一つのＭＦＵフラグメントを含む。この場合、少なくとも一つのＭＦＵフラグメントは、ＭＭＴＰペイロードの長さを考慮せず、構成される。したがって、少なくとも一つのＭＦＵフラグメントは、当該ＭＭＴＰペイロードの長さより長いか、又は短くてもよい。具体的な例として、ＭＭＴＰペイロードは、ペイロードの長さより長いＭＦＵの部分を含むように構成されてもよい。
特定の実施形態として、ＭＭＴＰペイロードは、このペイロードの長さより長いＭＦＵの一部を含むように構成されてもよい。

【0061】

f_i（２bits）：ＭＭＴＰペイロード単位の範囲を示す分割指示子を示す。下記の表４は、前記分割指示子の値の一例を示す表である。

【0062】

【表4】

【0063】

表４を参照すると、f_i＝「００」は、ＭＭＴＰペイロードが、少なくとも一つの完全なＤＵ、ＭＰＵを含む場合を示す。本発明の一実施形態による前記ＤＵは、当該データの特性によってＭＦＵに対応してもよく、ＭＰＵに対応してもよい。前記ＤＵが、リアルタイムマルチメディアサービスのためのデータのＤＵであると仮定すると、前記ＤＵはＭＦＵに対応する。この場合、f_i＝「００」は、ＭＭＴＰペイロードが、ＭＦＵ単位で構成され、少なくとも一つのＭＦＵを含む場合を示してもよい。前記ＤＵが一つのイメージである場合を仮定すると、前記ＤＵはＭＰＵに対応する。この場合、f_iが「００」の値を
有すると、ＭＭＴＰペイロードが、一つのＭＰＵとして構成されてもよい。また、f_i＝「０１」は、ＭＭＴＰペイロードが、ＤＵを構成しているＤＵフラグメントのうち、一番目のＤＵフラグメントを含む場合を示す。この場合、前記ＤＵがＭＦＵである場合を仮定すると、ＭＭＴＰペイロードは、f_iの値が「０１」である場合、前記ＭＦＵの分割により得られるＭＦＵフラグメントのうち、第１ＭＦＵフラグメントを含んでもよい。f_iの値が「１０」であると、ＭＭＴＰペイロードは、ＤＵを構成しているＤＵフラグメントのうち、一番目のＤＵフラグメントと、最後のＤＵフラグメント以外のＤＵフラグメントを含む。例えば、前記ＤＵが、３個のＤＵフラグメントを含む場合、f_iの値が「１０」であると、前記ＭＭＴＰペイロードは、中央のＤＵフラグメントを含む。最終的に、f_i＝「１１」の場合、ＭＭＴＰペイロードは、ＤＵを構成しているＤＵフラグメントのうち、最後のＤＵフラグメントを含む。

【0064】

- fragmentation_flag（Ｆ：１bit）：当該ＭＭＴＰペイロードが分割されたＭＰＵ（例えば、ＭＦＵ）を伝送する場合、fragmentation_flagは、「１」と表示されてもよい。
- aggregation_flag（Ａ：１bit）：当該ＭＭＴＰペイロードが、複数個のＭＰＵを伝送する場合、aggregation_flagは、「１」と表されてもよい。
- RAP_flag（Ｒ：１bit）： 当該ＭＭＴＰペイロードに含まれたデータが、ランダムアクセスを許容するデータユニット（例えば、ＲＡＰ： Random Access Point）を含む場合、RAP_flagは、「1」と表す。RAP_flagが「１」と表記されたデータは、当該データが直接デコード可能な状態であることを指示する情報である。例えば、ＭＭＴＰペイロードが、任意のビデオを構成している時間上に連続した１０個の場面の各々に対応するＭＰＵを含む場合を仮定する。この場合、ペイロードヘッダは、ＭＰＵの各々に対応するRAP_flagを含んでもよい。具体的な例として、RAP_flagが「１」と表記されたＭＰＵは、ビデオを構成しているフレームのうち、独立的にエンコードするフレーム（intra-coded frame、Ｉフレーム）に該当してもよい。
-payload_id（Ｐ：１bit）：当該ＭＭＴＰペイロードに含まれるＤＵのメディア操作単位（例えば、ＭＰＵ）に該当する識別子情報がある場合、payload_idは、「１」と表記される。
-extension_flag（Ｅ：１bit）：当該ＭＭＴＰペイロードの構造におけるヘッダ情報に拡張が必要である場合、extension_flagは、「１」と表記される。
-data_offset（８bits）： 当該ＭＭＴＰペイロードに含まれるペイロードデータの開始点のアドレスを示す。
-fragment_counter（frag_count: 8 bits）：ＭＭＴＰペイロードが、一つのＭＰＵを分割して得られたＭＦＵを含む場合、fragment_counterは、当該ＭＭＴＰペイロードに含まれているＭＰＵのＭＦＵを指示する、ペイロード番号に該当する。
-number_data_unit（numDU: 4 bits）：当該ＭＭＴＰペイロードが、データユニットの個数を含む場合、例えば、当該ＭＭＴＰペイロードが、複数個のＭＰＵを含む場合、number_data_unit は、ＭＰＵの個数を示す。
-DU_offset（16bits）：一つのＭＭＴＰペイロードを、複数個のＭＰＵから構成して伝送する場合、DU_offsetは、前記ＭＭＴＰペイロードを構成しているＭＰＵ各々の開始値を示す。ここで、ＤＵはＭＰＵに対応する。他の実施形態において、DU_offsetは、各ＭＰＵの長さで代替してもよい。この場合、numDUは使わなくてもよい。
-payload_id（32 bits）-ＭＭＴＰペイロードが、ＭＰＵの分割により得られた少なくとも一つのＭＦＵから構成されるか、或いはＭＭＴＰペイロードが、複数のＭＰＵの組み合わせにより構成される場合、payload_idは、当該ＭＭＴＰペイロードが含むＭＰＵの識別子を示す。前記ＭＰＵの識別子は、送信側からマルチメディアデータを分割して、複数のマルチメディアパケットを介して伝送する場合、受信側において前記複数のマルチメディアパケットを介して受信した複数のマルチメディアデータを組立てるための用途として用いられてもよい。
‐payload_sequence_flag（Ｐ: 1bit）：ＭＭＴＰペイロードのシーケンス番号を指示するために１ビットと設定される。
‐payload_sequence_number（32bit）：前記ＭＭＴＰペイロードのシーケンス番号を示す。

【0065】

前記payload_idの一例として、伝送されるマルチメディア伝送パケットの順序に対応するインデックスが用いられてもよく、場合によって、payload_idは、マルチメディア伝送パケット或いはアセットの識別子に対応するインデックスとして用いられてもよい。

【0066】

その他に、一つのマルチメディア伝送パケットを構成しているＭＭＴＰペイロードの内に、複数のデータグラムが含まれてもよい。この場合、一つのＭＭＴＰペイロードに記録された複数のサービス又はコンテンツのそれぞれに相応するマルチメディアデータを分離し、ヘッダ情報に記録された長さを考慮して、前記分離したマルチメディアデータのみで独立的なデータグラムを獲得してもよく、前又は後に受信するマルチメディアデータとの組立てによりデータグラムを獲得してもよい。

【0067】

下記の表５は、ＭＭＴＰパケットを構成しているＭＭＴＰパケットヘッダ領域に記録されたヘッダ情報の一例を示す。

【0068】

【表5】

【0069】

-packet_id（16bits）：ＭＭＴＰパケットの識別子であり、同一のマルチメディアストリームに限って、同一のパケットの識別子を有する。換言すると、ＭＭＴＰパケットの識別子は、一つのアセットのパケットを、他のアセットのパケットと識別するために、各アセットに割り当てられる。
-packet_sequence_number（32bits）：ＭＭＴＰパケットのシーケンス番号を示し、当該シーケンス番号は、伝送される全体のマルチメディア伝送パケット別に順次に増える番号と示してもよい。即ち、シーケンス番号は、各ＭＭＴＰパケットについて一つ増加する任意の値であってもよい。しかし、シーケンス番号は、事前の構成設定の情報を通じて、同一のpacket_idのマルチメディア伝送パケット別に順次に増加してもよい。事前の構成設定の情報は、マルチメディアデータ制御情報に含まれて伝送される。
-timestamp（32bits）：ＮＴＰ（Network Time Protocol）時間情報に基づいて、ＭＭＴＰパケットが伝送又は伝達される時点を示す。ＮＴＰ時間情報は、協定世界時（ＵＴＣ: Universal Time Cordinated）であって、終端間遅延の測定に使われてもよく、このＮＴＰ時間情報に基づいてビットレートを調整してもよい。
-QoS_classifier_flag（Ｑ： 1bit）は、ＱｏＳ分類情報を１ビットと設定する。
-FFC_type（ＦＥＣ：2bits）：ＦＥＣ（Forward Error Correction）関連のタイプ情報を示す。
-type_of_bitrate（ＴＢ： 3bits）: 当該情報は、当該マルチメディア伝送パケットのタイプを示す。下記の表６は、当該パケットのタイプの例を示す。ここで、当該マルチメディア伝送パケットのタイプは、当該パケットのビットレートによって識別されてもよい。このようなパケットのタイプは、受信端末或いは中間ネットワーク装置において、受信バッファの設定値及びパケットのスケジューリングに活用してもよい。例えば、当該パケットのタイプが、固定ビットレート（例えば、「０００」）と設定された場合、受信端末のバッファ及び中間ネットワーク装置のパケットのスケジューラは、当該メディアの処理のために、固定サイズのバッファを用いるか、キュー（queue）管理のために、固定値と設定して用いる。

【0070】

【表6】

【0071】

以上、ＭＭＴＰパケットの構造と、前記ＭＭＴＰパケットを構成しているヘッダ領域に記録されたヘッダ情報のそれぞれについての定義及び構成例について調べてみた。
以下、本発明の一実施形態により、ＭＰＵに基づいてＭＭＴＰペイロードを構成し、ＭＭＴＰペイロードを運搬するＭＭＴＰパケットを生成する方法について説明する。

【0072】

図４ａは、本発明の一実施形態によるＭＰＵ構成の一例を模式的に示す。
図４ａを参照すると、ＭＭＴコンテンツから生成されたＭＰＵファイル４００は、ヘッダ情報４０２と、メディアデータであるＭＤＡＴ４０４とを含む。前記ヘッダ情報４０２は、ファイルのタイプを示すＦＴＹＰ（File Type）、ＭＰＵの構成情報であるＭＭＰＵ、メディアのコーデック設定情報を示すＭＯＯＶ、及び分割単位の詳細情報であるＭＯＯＦ（Movie fragment）を含む。前記ＭＤＡＴ４０４は、コードされたメディアデータに該当するビデオサンプル（ＶＳ: Video Samples）４０６と、前記メディアデータの相互重要度、相互関連性、サイズなどのような、メディアのための付加情報に該当するヒントサンプル（ＨＳ: Hint Samples）４０８とを含む。図４ａに示したように、複数のＶＳと複数のＨＳとは、それぞれＭＤＡＴボックス（例えば、前記ＭＤＡＴ４０４）の内において、前記複数のＶＳ４０６のように当該複数のＶＳのみからなり、複数のＨＳ４０８のように、当該複数のＨＳのみからなってもよい。

【0073】

ＭＭＴＰパケットの生成のために、前記ＭＰＵファイル４００に基づいて構成されるＭＭＴＰペイロードは、構成の過程において、通常、メディアデータと構造情報と区分けられて構成される。ここで、構造情報としては、ＦＴＹＰ、ＭＭＰＵ、ＭＯＯＶ、ＭＯＯＦなどの前記ヘッダ情報４０２を含む。

【0074】

前記ＭＰＵファイル４００に基づいて、ＭＭＴＰパケットを構成するためのＭＰＵ/ＭＦＵビルディングブロック４１０が構成される。前記ＭＰＵ/ＭＦＵビルディングブロック４１０は、前記構造情報を含む独立した一つのペイロード（例えば、ＭＰＵメタデータ４１２と、当該ＨＳとＶＳの対を含むＭＦＵを含む。

【0075】

例えば、一つのＭＦＵ４１４は、ＭＤＡＴ４０４においてＶＳ＃１とＨＳ＃１を含んでもよい。また、他の実施形態では、当該ＭＤＡＴのフラグメント単位（例えば、ＭＦＵ或いはＭＰＵ）に一致するか、又は一致しないように、ＭＭＴＰペイロードが構成されてもよい。例えば、ＭＤＡＴのフラグメント単位に一致しないように、ＭＭＴＰペイロードが構成される場合、前記ＭＭＴＰペイロードは、自体の長さより長いＭＦＵのフラグメントを含んでもよい。このようなＭＭＴＰペイロードの構成は、先に説明したペイロードヘッダのタイプにより表示してもよい。以下、図４ｂを参照して具体的な例を説明する。

【0076】

図４ｂは、本発明の一実施形態により図４ａのＭＰＵファイルに基づいて生成可能なＭＦＵの構成例を示す。
図４ｂを参照すると、ＭＭＴＰペイロード＃１ ４２２は、先に説明したヘッダ情報の構成要素（例えば、ＦＴＹＰ、ＭＭＰＵ及びＭＯＯＶ）を含むＭＰＵメタデータを含んでもよい。前記ＭＰＵメタデータは、独立のＭＰＵからなってもよい。この場合、前記ＭＭＴＰペイロード＃1 ４２２のパケットタイプは、ＭＰＵと示される。前記パケットタイプは、前記ＭＭＴＰパケットヘッダの構成要素として含まれてもよい。また、前記ＭＭＴＰペイロード＃1 ４２２のペイロードヘッダに含まれるタイプの値は、「ＭＰＵメタデータ」を示す表３の「０ｘ０１」と設定される。ＭＭＴＰペイロード＃２ ４２４は、ＭＯＯＦと、ＭＤＡＴのヘッダ部分から構成されるフラグメントメタデータを含んでもよい。この場合、前記ＭＭＴＰペイロード＃２ ４２４のパケットタイプはＭＰＵであり、前記ＭＭＴＰペイロード＃1 ４２２のペイロードヘッダに含まれるタイプは、「フラグメントメタデータ」を示す表３の「０ｘ０２」と設定される。他の例として、ＭＭＴＰペイロード＃３ ４２６は、ＭＤＡＴにおいて複数のＶＳ（例えば、ＶＳ＃２、ＶＳ＃３及びＶＳ＃４）のみからなってもよい。この場合、前記複数のＶＳについての付加情報（例えば、各ＶＳに該当する重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタなど）をＭＭＴヒントトラックの構成情報として構成する。また、前記ＭＭＴヒントトラックは、前記複数のＶＳを含むＭＦＵの最前方に位置するＭＭＴヒントトラックの構成情報として含んでもよい。以下、図４ｃを参照して、ＭＦＵの詳細構成の一例を開示する。

【0077】

図４ｃは、本発明の一実施形態によるＭＦＵの詳細構成の一例を示す。
図４ｃを参照すると、例えば、一つのＭＦＵ４３０は、同一の長さを有する複数のセッションに分割してもよい。他の実施形態では、前記ＭＦＵ４３０は、異なる長さを有する複数のセッションに分割してもよい。そして、前記セッションのうち、第１セッション４３２は、前記ＭＦＵ４３０を構成しているデータサンプルの前記ＭＭＴhint trackを含む。さらに、他のセッションの各々は、前記ＭＦＵ４３０を構成しているＶＳを、前記他のセッション各々のサイズによって割り当てる。この場合、本発明の一実施形態により、他のセッション各々は、少なくとも一つのＶＳを含むように構成されるか、一つのＶＳの一部を含むように構成されてもよい。

【0078】

図４ｄは、本発明の実施形態により、図４ｃのＭＦＵに基づいて構成されるペイロード構成の一例を示す。

【0079】

図４ｄを参照すると、例えば、ペイロード４４０は、図４ｃのＭＦＵを構成しているセッションのうちの一つのセッションに対応するセッション部４４４を含む。前記セッション部４４４は、先に説明したペイロードデータに対応する。また、前記セッション部４４４にペイロードヘッダ４４２を付着することによって、一つのペイロード４４０が生成される。前記ペイロード４４０は、表１のＭＭＴペイロード領域に対応する。前記ペイロードヘッダ４４２は、前記セッション４４４についての重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタを含む。したがって、前記セッション部４４４が、図４ｃのＭＦＵを構成しているセッションのうちのＭＭＴhint trackを含む第１セッションの場合、前記ペイロードヘッダ４４２は、前記ＭＭＴhint trackと重複する情報を含む。そして、前記セッション部４４４が、図４ｃのＭＦＵを構成している他のセッションのうちの一つから構成される場合、前記他のセッション別の重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタを含む。そしてから、前記ペイロード４４０にパケットヘッダ４４６が付着されると、ＭＭＴＰパケット４４８が完成される。結果的に、ＭＭＴＰパケット４４８は、パケットヘッダ４４６、ペイロードヘッダ４４２、及びペイロードデータに対応するセッション部４４４から構成される。他の実施形態では、ＭＭＴＰパケットは、複数のペイロード４４０からなってもよい。

【0080】

図５は、本発明の一実施形態により、図４ａのＭＰＵファイルに基づいて構成されたＭＰＵ/ＭＦＵビルディングブロックからペイロードを構成し、ＭＭＴＰパケットを生成する方法の一例を説明するための図面である。

【0081】

図４ａ及び図５を参照すると、図４ａで説明した方法により構成されたＭＰＵメタデータ４１２は、例えば、一つのＭＭＴＰペイロードの構成要素となってもよい。即ち、前記ＭＰＵメタデータ４１２は、ペイロードデータに対応し、前記ＭＭＴペイロード５１５ａは、図４ｄに示したように、前記ＭＰＵメタデータ４１２に、ペイロードヘッダを付着して生成してもよい。

【0082】

同様に、先に説明したＭＦＵ４１４は、また一つのＭＭＴＰペイロード５１５ｂの構成要素となってもよい。前記ＭＦＵ４１４はまた、ペイロードデータに対応し、前記ＭＭＴＰペイロード５１５ｂは、図４ｄに示したように、前記ＭＦＵ４１４に、ペイロードヘッダを付着して生成する。また、他の例として、ＭＯＯＦ４２０のみから構成された一つのＭＦＵも、またペイロードヘッダを付着することにより、一つのペイロード５１５ｃとして生成してもよい。前記ペイロードヘッダは、表２に示したように構成されてもよい。

【0083】

なお、前述のように生成された少なくとも一つのＭＭＴＰペイロードに基づいて、ＭＭＴＰパケット５１６が構成されてもよい。即ち、前記ＭＭＴＰパケット５１６は、少なくとも一つのＭＭＴＰペイロード各々にパケットヘッダを付着して生成してもよい。前記パケットヘッダは、表５に示したように構成されてもよい。

【0084】

図６ａ及び図６ｂは、本発明の一実施形態により、リアルタイムの要求に従い識別されるＭＰＵ構成の一例を示す。

【0085】

まず、図６ａは、本発明の一実施形態によるリアルタイムマルチメディアサービスを提供するＭＰＵの構成の一例を示す。
図６ａを参照すると、前記ＭＰＵは、例えば、ftyp／styp（stream type）ボックスとsidxボックス、mmpuボックス、moovボックス、moofボックス及びmdatボックスから構成されてもよい。ここで、ftyp、mmpu及びmoovボックスは、ＭＰＵメタデータの構成要素であり、前記sidxボックスは、リアルタイムマルチメディアサービスを提供するＭＰＵについてのみ選択的に含まれてもよい。また、前記sidxボックスは、前記ＭＰＵを構成するＭＦＵのインデックスである。前記moovボックスは、図６ｂの非リアルタイムマルチメディア
サービスを提供するＭＰＵと比べて、ＭＭＴhint track情報の他に、media track情報を含む。前記ＭＭＴhint track情報は、前記ＭＰＵに含まれたＭＤＡＴ各々のＭＭＴhint trackの位置を指示する情報である。ユーザは、前記ＭＭＴhint trackの位置を確認し、確認された位置を介して受信されるmdatについてのＭＭＴhint trackを獲得することができる。前記Media track情報の場合、前記ＭＰＵに含まれたＭＤＡＴ各々の位置を指示する情報である。同様に、ユーザは、前記media track情報の場合、前記ＭＰＵに含まれたＭＤＡＴ各々の位置を確認し、確認された位置を介してmdatを受信することができる。さらに、前記ＭＰＵが実質的に伝送するリアルタイムデータに対応するmoofボックスは、少なくとも一つのtrafを含む。前記trafは、前記mdatを構成するＶＳを復号化する時間を提供する。これに比べて、図６ｂは、非リアルタイムマルチメディアサービスを提供するＭＰＵの構成の一例を示す。

【0086】

図６ｂを参照すると、前記ＭＰＵは、ftypボックス、mmpuボックス、moovボックス、metaボックス及びitemボックスから構成されてもよい。前記moovボックスは、ＭＭＴhint track情報のみから構成される。ここで、前記ＭＭＴhint track情報は、受信されるitemボックス各々の位置を指示する情報である。そして、前記metaボックスは、前記ＭＰＵを構成するitemボックスの位置を指示する情報位置（iloc）を含む。

【0087】

さらに、本発明の他の実施形態によるＭＰＵは、データとファイル或いはアプリケーションによって構成されてもよい。

【0088】

図７は、本発明の一実施形態により、図６ａのリアルタイムマルチメディアサービスを提供するＭＰＵを、ペイロード単位で構成する場合の一例を示す。

【0089】

図７を参照すると、図６ａのリアルタイムマルチメディアサービスを要求するＭＰＵの構成要素のうち、ftyp、mmpu及びmoovボックスを、ＭＰＵmetadataとして定義して、一つのペイロード７００を構成してもよい。また、mdatボックスと、この位置情報とを用いて、ペイロード７０２、７０４を構成してもよい。前記ペイロード７０２、７０４各々を構成するmdatボックスは、このペイロードを構成するＭＦＵについてのフラグメントメタデータを示し、各mdatボックスは、複数のＭＦＵに分割されてもよい。

【0090】

図８は、本発明の一実施形態により、図６ｂの非リアルタイムマルチメディアサービスを、ペイロード単位で構成する場合の一例を示す。

【0091】

図８を参照すると、図６ｂの非リアルタイムマルチメディアサービスを要求するＭＰＵを構成するftyp、mmpu、moov及びmetaボックスをＭＰＵ metadataとして定義して、一つのペイロード８００を構成してもよい。前記itemボックス各々が、一つのＭＦＵとして、一つのペイロード８０２、８０４を構成してもよい。

【0092】

図９は、本発明の一実施形態によるＭＭＴシステムにおけるメディアデータを送信するための送信エンティティの構成の一例である。

【0093】

図９を参照すると、ＭＭＴシステムにおけるメディアデータを伝送するための送信エンティティ９００は、制御部９０２と、送受信部９０４と、ＭＭＴＰパケット生成部９０６とを含む。前記送受信部９１０は、前記制御部９２０の制御の下で、前記ＭＭＴシステムにおけるマルチメディアデータの提供者から、マルチメディアデータを受信する装置と通信する。前記制御部９０２は、ＭＭＴＰパケットを生成するために記載された動作を行うように、ＭＭＴＰパケット生成部９０６を制御する。そしてから、前記ＭＭＴＰパケット生成部９０６は、前記マルチメディアデータによって構成されるペイロードに基づいて、ＭＭＴＰパケットを構成するためのヘッダ情報を構成する。そうすると、前記ＭＭＴＰパケット生成部９０６は、ステップ３１２で構成されたヘッダ情報と共に、ステップ３１０に受信されたマルチメディアデータとを組み合わせることにより、一つ以上のＭＭＴＰパケットを構成する。前記生成されたＭＭＴＰパケットは、パケットヘッダと、ペイロードとを含み、前記ペイロードは、ペイロードヘッダと、ペイロードデータとを含む。前記ヘッダ情報は、下記表５に示されるＭＭＴＰパケットヘッダ領域のヘッダ情報と、表２に示されるペイロードヘッダに関する情報とを含む。パケットヘッダ及びペイロードヘッダに含まれたヘッダ情報は、例えば、ペイロードがＭＰＵを含むことを指示する情報を含み、前記ペイロードデータが、ＭＰＵに分割された少なくとも一つのＭＦＵを含む場合、前記ヘッダ情報は、前記ペイロードデータに含まれたデータタイプ及び少なくとも一つのＭＦＵの位置情報を含む。前記制御部９０２は、ＭＭＴシステムにおけるメディアデータを送信するために、先に説明した動作を行うように送信部９１０を制御する。前記装置９００は、データ構成素子及びメモリのような、他の構成素子を含む。

【0094】

図１０は、本発明の一実施形態によるＭＭＴシステムにおけるメディアデータを受信するための受信エンティティの構成を示す。

【0095】

図１０を参照すると、ＭＭＴシステムにおけるメディアデータを受信するための受信エンティティ１０００は、制御部１００２と、送受信部１００４と、ＭＰＵ再構成部１００６と、ディスプレイ部１００８とを含む。前記送受信部１０１０が、前記制御部１００２の制御の下で、前記ＭＭＴシステムにおけるメディアデータを送信するための装置と通信する。前記送受信部１０１０が、少なくとも一つのＭＭＴＰパケットを受信すると、前記制御部１００２は、前記少なくとも一つのＭＭＴＰパケットのパケットヘッダ及びペイロードヘッダからヘッダ情報を獲得する。前記ヘッダ情報は、例えば、ペイロードデータがＭＰＵを含むことを指示ずる情報を含み、前記ペイロードデータが、前記ＭＰＵに分割された少なくとも一つのＭＦＵを含む場合、前記ヘッダ情報は、前記少なくとも一つのＭＦＵの位置情報と、前記ペイロードデータに含まれたデータタイプを含む。

【0096】

具体的に、前記制御部１００２は、前記獲得したヘッダ情報に基づいて、ＭＰＵ再構成部１００６が、前記ペイロードデータに含まれたＭＰＵ或いはＭＦＵを再構成するように制御する。再構成部１００６は、前記ヘッダ情報を利用して、当該マルチメディアデータを構成するＭＰＵ或いは複数のＭＦＵを確認する。そうすると、制御部１００２は、確認されたＭＰＵ或いは複数のＭＦＵを用いて、前記ディスプレイ部が、表示スクリーンイメージを介して、当該マルチメディアデータに対応するオーディオ、字幕などを提供するように制御する。そうすると、表示部１００８は、表示スクリーンを介して、当該マルチメディアデータをディスプレイする。装置１０００は、データ構成部及びメモリのような、他の構成素子を含んでもよい。

【0097】

上記の説明から明らかなように、本発明の一実施形態は、ＩＰネットワークを通じてハイブリッドサービス又はコンテンツを伝送するためのマルチメディアペイロードを構成し、これに基づいて、マルチメディアパケットを生成し、伝送する方法を提供し、これにより、マルチメディア環境において、効率的なＭＰＥＧ伝送をサポートすることができる。本発明の一実施形態により前述した方法は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。このような任意のソフトウェアは、例えば、削除可能、又は再記録可能の可否に関係なく、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、メモリチップ、メモリデバイス、或いはＩＣ（Intergrated Circuit）のようなメモリ、又はＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、磁気ディスク、又は磁気テープのような光学或いは磁気的に記録可能であると同時に機械（例えば、コンピュータ）読み取り可能な媒体に格納され得る。また、本発明の実施形態による前述の方法は、制御部及びメモリ（このメモリは、本発明の特定の実施形態を実現するための指示を含む一つ以上のプログラムを格納するために適切な機械で読み取れる持続性格納媒体の一例である）を含むコンピュータ及び携帯用端末により実現可能であることは自明である。

【0098】

従って、本発明の一実施形態は、添付した特許請求の範囲に定義されているいずれかの方法を実現するためのコードを含むプログラム及びこのようなプログラムを格納する持続性機械（コンピュータ）で読み取リ可能な格納媒体を含む。また、このようなプログラムは、有線又は無線接続を通じて伝達される通信信号のような所定の媒体により電子的に移送でき、本発明は、これと均等なものを適切に含む。

【0099】

以上、本発明の詳細な説明では、様々な実施形態について説明したが、添付の特許請求の範囲及びこれの均等なものにより定義されるように、本発明の趣旨及び範囲から逸脱せず、様々な変形及び詳細が可能であることは、当該技術分野における通常の知識を有する者には明らかである。

【符号の説明】

【0100】

９００ 送信エンティティ
９０２ 制御部
９０４ 送受信部
９０６ ＭＭＴパケット生成部
１０００ 受信エンティティ
１００２ 制御部
１００４ 送受信部
１００６ ＭＰＵ再構成部
１００８ ディスプレイ部

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9】

【図10】