【文献】
Youngkwon Lim,Review of w11792 ,[online],JCTVC-E JCTVC-E360-v3,2011年 3月20日,インターネット<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E360-v3-.zip>
(58)【調査した分野】(Int.Cl.,DB名)
前記完全なデータユニットであるか否かを示すインジケータは、前記データが前記完全なデータユニットではないことを示す場合、前記データユニットの不完全な位置をさらに識別する値を含むことを特徴とする請求項1に記載の方法。
【発明を実施するための形態】
【0007】
図面の全般に渡って、同様の部分、構成要素及び構造に対しては同様の参照番号を付することに留意すべきである。
【0008】
以下、添付の図面を参照して、本発明の実施形態を詳細に説明する。本発明を説明するにあたって、関連した公知の機能或いは構成についての具体的な説明が、本発明の要旨を不明瞭にする恐れがあると判断した場合、その詳細な説明は省略する。
【0009】
添付の図面を参照して記述した下記の説明は、特許請求の範囲により定められる本発明の例示的な実施形態及びこの均等物についての包括的な理解を助けるために提供されるものである。その理解を助けるために様々な特定の詳細を含むが、これらは単なる一つの例示的な実施例に過ぎない。従って、本発明の範囲と思想を逸脱することなく、本願で説明する実施形態の多様な変更及び修正が可能であることは、当該技術分野における通常の知識を有する者には明らかである。また、簡潔性と明瞭性の観点から、当業者によく知られている機能や構成に関する具体的な説明は省略する。
【0010】
以下の説明及び特許請求の範囲において用いられる用語及び単語は、文献上の意味に限定されず、専ら発明者により、本発明の明確で、かつ一貫した理解を可能とするのに使われる。従って、本発明の例示的な実施例に関する以下の説明は、単に実例を提供するためのものであって、添付した特許請求の範囲により定義される本発明及びその均等物を限定する目的で提供されないことは、当該技術分野における通常の知識を有する者には明らかである。
【0011】
本明細書の全般に渡って、「a」、「an」、及び、「the」の単数形態は、文脈からそうでない旨を明示しない限り、複数の対象物を含むことを理解すべきである。従って、例えば、「要素表面」というのは、そのような表面のうちの一つ又はそれ以上を指すこととする。
【0012】
本発明の実施形態により、ハイブリッドネットワーク環境は、放送のための専用ネットワーク(以下、「放送」ネットワークという)及びインターネット通信のためのネットワーク(以下、「広帯域」ネットワークという)上で、サーバとクライアントとの間のネットワーク接続を有する環境を意味する。 前記ハイブリッドネットワーク環境は、同一のクライアントに同時に提供することができ、クライアントは、複数のネットワークを介してサービスの提供を受けることができる。また、複数のネットワーク環境は、放送ネットワーク、放送環境、広帯域ネットワーク、及び広帯域環境を含む複数の接続環境を含んでもよい。前記複数のネットワーク環境は、二つの環境が複合的に接続されて構成されてもよく、有線又は無線ネットワークを含んでもよい。
【0013】
また、本発明の実施形態による、ハイブリッドマルチメディアコンテンツは、複合的に用いてもよいコンテンツを言う。その理由は、前記ハイブリッドマルチメディアコンテンツは、オーディオ信号、ビデオ及び同期化された字幕、及びイメージのように時間の、例えば、実時間特性を持って再生されるマルチメディアコンテンツと、オーディオブック、マルチメディアウィジェット、ファイル及び他の類似したコンテンツ及びデータのような非実時間特性を有するデータとの両方を含むからである。
【0014】
図1は、本発明の一実施形態によるハイブリッドマルチメディアコンテンツを伝送する装置を示す図である。
【0015】
本発明の一実施形態によるハイブリッドマルチメディアコンテンツを伝送する装置10は、MPEG MMT技術を用いてハイブリッドマルチメディアコンテンツを伝送することができる。前記MMTの伝送階層は、ハイブリッドマルチメディアコンテンツに含まれたデータに応じて伝送構造を構成し、前記データを効率よく伝送するための機能を果す。このような目的のために、MMT伝送階層は、共通的な伝送情報と、特徴的な伝送情報とに区別される構造を含んでもよい。
【0016】
図1を参照すると、マルチメディアコンテンツを伝送するための伝送装置10のMMTペイロードは、例えば、実時間放送のように、実時間データを伝送するためのストリーミングペイロード150と、非実時間的なデータを伝送するためのファイル伝送ペイロード160とを含む。前記ストリーミングペイロード150は、実時間データ伝送のために伝送される基本単位として、ハイブリッドマルチメディアコンテンツのMMTメディアユニット110(以下、「Mユニット110」と称する)と、MMT MFU(Media Fragment Unit)100(以下、「MFU100」と称する)とのうちの少なくとも一つを用いて構成されてもよい。独自的にデコード可能なビデオにおいて、前記MFU100は、エンコーディングの一つのフレームと呼んでもよく、又はフレームが多くのスライス(slice)構造からなる場合、一つのスライスと呼んでもよい。また、独自的にデコード可能なビデオにおいて、前記Mユニット110は、エンコーディングの一つのフレームと呼んでもよく、又は独自的にデコード可能なエンコーディングの取扱い単位に対応するGOP(Group of Picture)と呼んでもよい。MFU100又はMユニット110は、複合メディアの属性とサービスとを考慮して、その構造が決定することができる。
【0017】
ファイル伝送ペイロード160は、非実時間データ伝送のために用いられ、伝送のための基本単位として構成されるハイブリッドマルチメディアコンテンツのうち、MMTアセット120(以下、「アセット120」と称する)、又はMMTパッケージ130(以下、「パッケージ130」と称する)の全体又は特定の一部単位を基本単位として構成することができる。
【0018】
前記アセット120は、全てが同一のメディアタイプで構成された、Mユニット110の連続されたストリームである。ここで、同一のメディアタイプで構成されたMユニット110は、オーディオMユニット、ビデオMユニット、オーディオ/ビデオMユニット、及び任意の他の類似したメディアタイプMユニットを含んでもよい。また、前記パッケージ130は、単一アセット120或いは複数のアセット120についてのサービス付加情報を含んでもよい。この際、付加情報は、例えば、時間、空間的配置順序のようなハイブリッドマルチメディアの画面構成情報、伝送要求帯域幅、損失可能の可否に関する情報、遅延時間の許容可否に関する情報、及び任意の他の類似した及び/又は適合した情報に関するハイブリッドネットワーク環境を考慮した伝送環境情報を含んでもよい。
【0019】
前記伝送装置10は、MFU100又はM−ユニット110の単位でペイロードを構成し、例えば、実時間放送のように、実時間伝送を用いるサービスでマルチメディアコンテンツを送信することができ、アセット120又はパッケージ130の単位でペイロードを構成することができる。前記伝送装置10はまた、例えば、放送ネットワークを用いたVoD(Video on Demand)サービスのように、非実時間伝送を用いるサービスでマルチメディアコンテンツを送信することができる。実時間データ伝送のためのストリーミングペイロード150及び非実時間データ伝送のためのファイル伝送ペイロード160は、インターネットプロトコール(IP)ベースのアドレスに対応するTCP(Transmission Control Protocol)/UDP(User Datagram Protocol)170の環境で動作するMMT伝送パケット140、又はIPアドレスに対応するRTP(Real-time Transport Protocol)パケット180のペイロードに含まれることが可能であり、次に、端末に伝送されることが可能である。
【0020】
一方、前記MMTペイロード、例えば、ストリーミングペイロード150及びファイル伝送ペイロード160は、伝送環境に応じて用いられる構成情報を含むヘッダ領域と、伝送データを含むデータ領域より構成することができる。前記伝送データは、単一のペイロードにより送信されてもよく、又はマルチプレクスされて、複数のペイロードに伝送されてもよい。マルチプレクシングのためのペイロードは、一定の単位により二つ又はそれ以上のスライスに分けられてもよい。
【0021】
また、前記ペイロードは、特定の伝送機能を考慮して、一定の単位によりインターリビング機能を提供することができ、伝送階層の可能な一般的な単位構造により相当に効率よく、かつ簡単に定義することができる。ハイブリッドネットワーク環境で、ハイブリッドマルチメディアコンテンツ伝送のための汎用的なMMTペイロードのヘッダ領域は、表1のように構成されてもよい。
【0023】
i)ペイロードタイプ(Payload Type)
ペイロードタイプは、当該ペイロードのデータ構成タイプを示し、具体的には、伝送されるデータのタイプと構成情報を示す。この際、データのタイプと前記データのタイプによる構成情報は、ペイロードデータのタイプを指示する。即ち、前記ペイロードデータが、完全なMユニット110であるか、Mユニット110の単純なフラグメント(fragment)、完全なMFU100又は複数のMFU100のアグリゲーション(aggregation)であるかの可否に関する情報である。また、前記データのタイプと前記構成情報は、当該ペイロードが伝送するデータのタイプが伝送データであるか、又は制御データであるかを識別するファクタを含み、伝送データのタイプを区別する区別子情報を含む。
【0024】
例えば、データのタイプ及び前記構成情報が、伝送されるデータのメディアタイプ、例えば、ビデオタイプ、オーディオタイプ、イメージタイプ、テキストタイプ又は任意の他の類似したタイプ、及びメディアタイプ関連のコーデックタイプ(codec type)に関する情報を含む。また、追加的なデータタイプは、ペイロードで伝送されるデータが単一時間スタンプ(single time stamp)のデータタイプ又は複数時間スタンプ(multiple time stamp)のデータタイプであるか否かを示す情報を含み、時間スタンプを必要としない(non-time stamp)ことを示す識別子に関する情報を含む。
【0025】
ii)フラグメンテーションインジケータ(Fragmentation indicator)
フラグメンテーションインジケータは、伝送されるMユニット110がフラグメントに分けられる場合、前記Mユニット110の開始、中間、及び最終のうちの少なくとも一つを指示する情報であってもよい。例えば、当該ペイロードのデータがメディアのMFU100である場合、クライアントは、この情報を用いてデータ処理の束単位で前記データを取り扱い、その後、前記データを伝送することができる。また、前記Mユニット110の最終フラグメントを受信すると、端末は、完全なMユニット110を構成し、デコーディング処理を行う。
【0026】
ライブストリーム又はVoDの伝送の場合、伝送のためのペイロードは、単数のMFU100或いはM−ユニット110の大きさを有してもよく、ファイルの伝送の間に、前記ペイロードは、前記ファイル全体の大きさを有してもよい。追加的に、このような情報を通じて連鎖化されたペイロードであることを示すことができ、当該情報の構成を通じて複数のMFU100或いはMユニット110単位でマルチプレクシング機能を提供することができる。一つのペイロード内で複数のMユニット110或いはMFU100を伝送することが可能である。
【0027】
iii)シケーンス番号(Sequence Number)
シケーンス番号は増加され、例えば、繰り返される。また、各Mユニット110に関し、一つの単位により送信され、ペイロード損失を検知するために、受信機で用いられる。前記MMTは、MMTパケット損失に対する何らかの作用も行わないが、MMTパケット損失関連の動作は、実行するアプリケーションのために残る。前記MMT伝送は、伝送を保証しないが、シケーンス番号の存在は、損失されたMユニット110を検知することを可能にする。
【0028】
iv)長さ(Length)
このフィールドは、ペイロード(ヘッダとデータとを含む)の長さを指す。
【0029】
v)タイムスタンプ(Time stamp)
タイムスタンプは、ペイロードの再生時点を確認するために用いることになり、実時間伝送のためのペイロードに示すことができる。
【0030】
vi)マルチプレクシング情報(Multiplexing information)
マルチプレクシング情報は、当該ペイロードに含まれた伝送単位が複合的にマルチプレクスされていることを示す。例えば、前記マルチプレクシング情報は、複数のMユニット110がペイロードに含まれる場合を示す。また、当該情報は、マルチプレクスされた構成単位の個数、各構成単位の大きさ、前記構成単位のオフセット(offset)及び任意の他の類似及び/又は適合した情報などを含んでもよい。
【0031】
vii)アグリゲーション(Aggregation)
アグリゲーションフィールドは、Mユニット110に関する設定情報を指示し、このフィールドに関連した情報は、ペイロードタイプに依存する。前記アグリゲーションフィールドは、Mユニット110がフラグメントされた(fragmented)状態の場合、当該ペイロードに含まれたフラグメントの後に残りのフラグメントの個数を意味し、Mユニット110がアグリゲートされた状態で当該ペイロードに含まれたMユニット110或いはMFU100の個数を示す。
【0032】
viii)ペイロード構成(Payload Configuration)
前記ペイロードは、多様な伝送環境及びサービスによって構成され、これは、全てのペイロードに適用できる情報と関連して各部分で構成され、特定のペイロードにのみ適用できる情報から構成することができる。また、特定のペイロードのために典型的に非常に小さい構成が必要となるが、本発明の実施形態では、単純なペイロード構成を許容するために、専用受信機を除外し、特定の構成モード(modes)が用いられる。
【0033】
例えば、あるMMTコンテンツを伝送するために、ジェネリックモード(generic mode)、MMTストリーム(streams)モード、及びファイル伝送(file delivery)モードを用いることができる。また、将来、追加的なシステムに関連した情報の伝送のための必要条件を予想するために、補助フィールド(auxiliary field)が、あるデータを伝送できるように構成され得る。具体的に、補助フィールドには、損失制御のための機能を提供できる機能提供識別子、損失復元エンコーディング情報、自動エラー損失復旧要請のための情報、端末により提供される最小メモリバッファの大きさ、伝送データで用いる臨時メモリバッファの大きさ、臨界伝送データ、最大損失許容率 、最大許容パケット遅延時間、平均パケット遅延時間、ネットワーク同期化のための同期化コード情報、及び任意の他の類似した又は適切した情報が含まれてもよい。
【0034】
次に、上述したように構成されるMMTペイロードを用いてデータを伝送する場合を説明する。まず、実時間放送のためのハイブリッドコンテンツデータ伝送において、端末は、放送ネットワーク及び広帯域ネットワークの環境下に、少なくとも一つのサーバと接続されてもよい。そして、前記端末は、実時間サッカー試合中継放送サービスと、前記サッカー試合と関連したユーザの付加サービス、例えば、他の言語の字幕及びユーザオーディオ解説情報を、大型画面ディスプレイ装置を持っているクライアントに提供するために用いられる。このような場合、実時間放送コンテンツを構成するデータ単位のうちの基本伝送単位として取扱うことができるMユニット110或いはMFU100を、単一のペイロード或いは複数のペイロードに含ませて、伝送することができる。前記Mユニット110を基本伝送単位とする場合、一つのGOP(Group of Picture)をMユニット110として取扱い、ビデオデータで単一のペイロードを用いて伝送する。一つのGOPデータは、独自的にデコード可能な最大のビデオ単位であり、H.264ビデオでエンコードされる場合、前記最大のビデオ単位は、独自的にデコード可能なものであって、スライスを含み、前記スライスは、MFU100の最小単位として用いることができる。H.264にエンコードされる一つのGOPを、Mユニット110を用いて伝送のためのペイロードにより構成される場合には、表2のように構成されてもよい。一つのGOPの大きさは、ペイロードの大きさより大きいため、一つのGOPが数個のペイロードにより構成することができる。また、表2のように、ペイロードの単位データが、M−ユニット110の場合のみならず、MFU100の場合にも同一な構造と示すことができる。
【0036】
次に、複数のサーバから伝送されるサービスを介して非実時間放送でプログレッシブダウンロードコンテンツを伝送する場合を説明する。非実時間データ伝送のためのMMTペイロードの伝送データ基本単位構造は、アセット120を有する場合、及びパッケージ130を有する場合の二つの場合に区分けることができる。そして、各伝送データのタイプによってペイロードタイプが決定することができる。
【0037】
また、当該データの伝送特性が非実時間によるために、時間と関連した属性情報は、当該ペイロード データから除外されてもよく、これは大容量のデータ伝送において効率性を提供することができる。追加的に、損失に敏感な伝送データの特性によって、損失復元に用いる追加情報が、補助フィールドを介して記述することができ、補助フィールドの情報は、実時間伝送よりは損失復元に関するデータ構造情報を提供することができる。
【0038】
実時間放送のためのハイブリッドマルチメディアコンテンツ送信及び非実時間ハイブリッドマルチメディアコンテンツ伝送において、端末は、放送ネットワーク及び広帯域ネットワークの環境下で、少なくとも一つのサーバと接続されており、前記端末は、実時間サッカー中継放送サービスと、前記サッカー試合と関連したユーザの付加サービス、例えば、大型画面ディスプレイ装置を持っているクライアントに実時間でユーザオーディオ解説情報及び他の言語の字幕などを提供するために用いることができる。
【0039】
伝送構造の基本単位データが、実時間伝送データに対応するMFU100及びM−ユニット110と、非損失伝送データに対応するアセット120及びパッケージ130とを複合的に伝送する場合を考慮することができる。そして、マルチプレクシング情報を介して当該伝送構造を説明するための付加情報を送信する。前記付加情報は、マルチプレクス構造情報、各伝送データ単位のオフセット(offset)、長さ(length)、及び伝送データ単位のIDに対応するマルチプレクスタイプを介して当該データ情報の識別及び区別単位情報を提供することができる。
【0040】
一方、本発明の実施形態によるMMTペイロードは、MMT伝送パケット140又はIPアドレスに対応するRTPパケット180により伝送することができる。MMT伝送パケット140は、MMTペイロード伝送のためのデータパケット構造を有してもよく、複数のペイロードの単位によってデータをパケット化する機能を行ってもよく、前記データをネットワークに伝送してもよい。また、MMT伝送パケット140は、ヘッダ領域における伝送に関連した追加的な情報を含むが、前記追加的な情報には、パケットID、パケット番号、QoS(Quality of Service)提供のためのフローID、伝送時間及び制御情報として応用できるタイムスタンプ(timestamp)を考慮してもよい。
【0041】
上述の追加的な情報について具体的に説明すると、以下の通りである。
i)パケットID
パケットIDは、MMT伝送パケット140の識別子となることができ、パケットIDは、下位プロトコールのデータグラム(datagram)のフラグメントをアセンブル(assembling)する場合、送信側により割り当てられた識別値となり得る。また、前記パケットIDは、前記MMTペイロードに含まれたデータのメディアタイプを示す情報として用いることができ、MMTペイロードに複数の同一なメディアタイプに該当するデータが含まれる場合、各メディアタイプを区別できる情報を含んでもよい。
【0042】
ii)シケーンス番号(Sequence Number)
シケーンス番号は、伝送されるパケットの固有の識別番号である。受信側は、前記シケーンス番号を介してシケーンス番号に対応するパケットが損失されるか否かを判定することができ、前記シケーンス番号によるパケット整列機能を行うことができる。また、シケーンス番号情報は、順次的に増加されてもよいが、M−ユニット110別に設定されてもよく、アセット120別に設定されてもよい。
【0043】
iii)フローラベル(Flow Label)
フローラベルは、各データ伝送において各々のフローに要求される特定のQoSを識別する。例えば、フローラベルは、パケットのタイプ、遅延、処理量、同期パラメータ及び任意の他の類似した及び/又は適切な情報などを含む。そして、前記フローラベルは、表3から表6のように、データ伝送タイプによってフラグメントされ、指示されてもよい。
【0044】
- パケットタイプ(Type of Packet)
パケットタイプフィールドは、MMT伝送パケット140についてのパケットタイプ情報を示し、3ビット値であってもよい。
【0046】
-遅延(Delay)
遅延フィールドは遅延程度を示し、
図4に示したように、1ビット値となり得る。
【0048】
-処理量(Throughput)
処理量フィールドは処理量の程度を示し、
図5に示したように、1ビット値となり得る。
【0050】
-同期パラメータ(Synchronization parameter)
同期フィールドは同期情報を示し、表6に示したように、3ビット値となり得る。
【0052】
iv)パケット構成情報(Packet configuration Information)
パケット構成情報は、パケット化されたデータの伝送において、当該サービスクラス(service class)の柔軟で、かつ効率的なメカニズムに近接するための構成情報、例えば、パラメータを提供する。このようなパラメータは、ネットワークレイヤー(Network layer)で接続のQoSと終端間(end-to-end)ネットワークの性能を測定するのに用いられる。
【0053】
ネットワークは、このパラメータの特定値を満たすことにより、交渉されたQoSを保証すべきであり、当該パラメータ情報は、サービス(tos)フィールドのIPバージョン4(IPv4)及びIPバージョン6(IPv6)のQoSフィールドのパラメータの参照子として活用可能である。表7及び表8は、具体的なパラメータの構造を示す。
【0054】
-遅延(range)
遅延フィールドは、伝送に関連した最大の終端間の許容遅延時間を示し、レンジフィールドと称される。受信側では、遅延時間が、当該遅延情報に基づいて超過するか否かを容易に決定することができ、遅延時間の減少への努力についての対応時間を減らすことができる。
【0056】
-AU損失率(loss rate)(%)
AU損失率は、伝送されるパケットの許容損失率(Loss Ratio)を示す。前記AU損失率の百分率は、秒当りパケットの損失許容(allowance)を表す。受信側は、当該情報に基づいてパケット損失が復旧されるか否かの可否と、前記パケット損失に対する復元機能の対処方法をより迅速に判断することができる。
【0058】
図2は、本発明の実施形態によるハイブリッドマルチメディアコンテンツを伝送する方法を示す図である。
【0059】
図2を参照すると、ハイブリッドマルチメディアコンテンツは、MMT伝送パケット140により伝送することができる。ステップ200において、ペイロード部を生成するために、前記MMT伝送パケット140は、例えば、実時間放送のように、時間によって同期され再生されるデータ及び非実時間的なデータのうちの少なくとも一つを含む。次に、ステップ210において、ペイロード部に関する情報を含むペイロードヘッダ部が生成される。前記MMT伝送パケット140に関する情報を含むパケットヘッダ部を、ステップ220で生成してから、ステップ230において、ペイロード部、ペイロードヘッダ部及びパケットヘッダ部を含むMMT伝送パケット140が生成される。そして、ハイブリッドマルチメディアコンテンツは、送信機、送受信部又は任意の他の類似した及び/又は適切な送信機のうちの少なくとも一つを用いて送信される。前記送信機は、前記ハイブリッドネットワークに前記ハイブリッドマルチメディアコンテンツを含む信号を送信するためのアンテナ及び無線ラインのうちの少なくとも一つを含む。
【0060】
一方、本発明の詳細な説明では、具体的な実施形態について説明したが、本発明の思想及び範囲から逸脱しない限度内で様々な変形が可能であることは、当該技術分野における通常の知識を有する者には明らかである。従って、本発明の範囲は、説明された実施形態に局限されず、後述する特許請求の範囲だけではなく、この特許請求の範囲と均等なものにより定めるべきである。