特許 6797988 マルチメディアシステムにおけるメディアパケットを受信する受信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6797988

(24)【登録日】2020年11月20日

(45)【発行日】2020年12月9日

(54)【発明の名称】マルチメディアシステムにおけるメディアパケットを受信する受信装置

(51)【国際特許分類】

   H04N 21/434 20110101AFI20201130BHJP

   H04N 21/2362 20110101ALI20201130BHJP

【ＦＩ】

   H04N21/434

   H04N21/2362

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2019-168940(P2019-168940)

(22)【出願日】2019年9月18日

(62)【分割の表示】特願2018-214479(P2018-214479)の分割

【原出願日】2013年11月28日

(65)【公開番号】特開2019-220992(P2019-220992A)

(43)【公開日】2019年12月26日

【審査請求日】2019年9月18日

(31)【優先権主張番号】61/731,360

(32)【優先日】2012年11月29日

(33)【優先権主張国】US

(31)【優先権主張番号】14/091,243

(32)【優先日】2013年11月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】イメド・ボアジジ

(72)【発明者】

【氏名】ヨン−クウォン・リム

(72)【発明者】

【氏名】コング・ポッシュ・バト

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２００４−００７５３３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／０１８８１８２（ＵＳ，Ａ１）

【文献】 国際公開第２０１２／０９９４００（ＷＯ，Ａ２）

【文献】 特表２０１０−５３１５９０（ＪＰ，Ａ）

【文献】 特表２０１１−５２８８６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

マルチメディアシステムにおけるメディアデータを受信する受信装置であって、
一つ又は複数のサブユニットのデータをペイロード内に含む少なくとも一つのメディアパケットを受信する受信器と、
前記少なくとも一つのメディアパケットのペイロードから前記一つ又は複数のサブユニットのデータを獲得する制御器と、を備え、
前記ペイロードは、前記ペイロードに含まれたサブユニットが属するサンプルにおける前記サブユニットの位置を示すオフセット情報と、前記サンプルに割り当てられたサンプル番号と、を含むことを特徴とする受信装置。

【請求項2】

前記サブユニットは、前記メディアデータに基づいて識別されるデータユニットを分割することで生成され、
前記データユニットは、前記メディアデータのアセット識別子（ａｓｓｅｔ ＩＤ）により識別されることを特徴とする請求項１に記載の受信装置。

【請求項3】

前記メディアデータは、時間基盤（ｔｉｍｅｄ）データを含むことを特徴とする請求項１又は２に記載の受信装置。

【請求項4】

前記サブユニットは、前記メディアデータに基づいて識別されるデータユニットを分割することで生成され、
前記データユニットは、映像信号又は音声信号の処理の単位であり、前記映像信号又は音声信号を復号処理を行える単位であることを特徴とする請求項１乃至３のうち何れか一項に記載の受信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に、国際標準化機構（International Organization for Standardization、ＩＳＯ）基盤メディアファイル内のモーションピクチャーエクスパーツグループ（Motion Picture Experts Group、ＭＰＥＧ）メディアトランスポート（MPEG Media Transport、ＭＭＴ）アセットのカプセル化のためにメディアコンテンツを転送する方法及び装置に関する。

【背景技術】

【0002】

ＭＰＥＧメディアトランスポート（ＭＭＴ）は、異種インターネットプロトコル（ＩＰ）ネットワーク環境を通したマルチメディアサービスのために符号化されたメディアデータの配信のための技術を特定する。配信される符号化されたメディアデータは、（ｉ）データユニットが固有のタイムラインを有するオーディオビジュアルメディアデータ（すなわち、タイム（timed）データ）及び（ｉｉ）自身のデータユニットの間で固有のタイムラインを有しない他のタイプのデータ（すなわち、非タイム（non-timed）データ）のすべてを含む。

【0003】

ＭＭＴは、符号化されたメディアデータが実時間トランスポートプロトコル（RealTime Transport Protocol、ＲＴＰ）、送信制御プロトコル（Transmission Control Protocol 、ＴＣＰ）、及びユーザデータグラムプロトコル（User Datagram Protocol、ＵＤＰ）のようなインターネットプロトコルを用いてパケット基盤配信ネットワークを通して配信されるという仮定の下で考案されたものである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上述した課題もしくは不都合な点を解決し、少なくとも以下に示す優位性を提供する。すなわち、本発明の目的は、国際標準化機構（ＩＳＯ）基盤メディアファイル内のモーションピクチャーエクスパーツグループ（ＭＰＥＧ）メディアトランスポート（ＭＭＴ）アセットのカプセル化のための方法及び装置を提供することにある。

【課題を解決するための手段】

【0005】

上記のような目的を達成するために、第１の実施形態において、装置は、ＭＭＴコンテナを受信するように構成される受信経路回路を含む。また、この装置は、ＭＭＴコンテナ内のヒントトラックを用いてＭＭＴコンテナ内の１つ以上のメディアフラグメントユニット（ＭＦＵ）の位置を識別するように構成される処理装置を含むことを特徴とする。

【0006】

第２の実施形態において、装置は、ＭＭＴコンテナを送信するように構成される送信経路回路を含む。また、この装置は、ＭＭＴコンテナ内のヒントトラックを用いてＭＭＴコンテナ内の１つ以上のメディアフラグメントユニット（ＭＦＵ）の位置を識別するように構成される処理装置を含むことを特徴とする。

【0007】

第３の実施形態において、方法は、ＭＭＴコンテナを受信するステップを含む。また、この方法は、ＭＭＴコンテナ内のヒントトラックを用いてＭＭＴコンテナ内の１つ以上のメディアフラグメントユニット（ＭＦＵ）の位置を識別するステップを含むことを特徴とする。

【0008】

第４の実施形態において、方法は、ＭＭＴコンテナのＭＦＵを受信するステップと、欠落したＭＦＵを識別するステップと、正確の処理のためにこれらを適切にマークするか又はメタデータを調整するステップとを含むことを特徴とする。

【0009】

他の技術的な特徴は、以下の図面、詳細な説明、及び特許請求の範囲から当該分野の当業者に明確になるはずである。

【0010】

本発明を詳細に説明するのに先立って、本明細書の全般にわたって使用される特定の単語及び語句の定義を開示することが望ましい。”含む”及び “備える”という語句だけではなく、その派生語は、限定ではなく、包含を意味する。”又は”という用語は、”及び／又は”の意味を包含する。”関連した”及び”それと関連した”という語句だけではなく、その派生語句は、”含む”、”含まれる”、”相互に連結する”、”包含する”、”包含される”、”連結する”、”結合する”、”疎通する”、”協力する”、”相互配置する”、”並置する”、”近接する”、”接する”、”有する”、及び”特性を有する”などを意味することができる。 “制御部”は、少なくとも１つの動作を制御する装置、システム又はその部分を意味するもので、ハードウェア、ファームウェア、ソフトウェア、又は、それらのうちの２つ以上の組合せで実現することができる。特定の制御部に関連する機能は、集中しているか、あるいは近距離、または遠距離に分散されることもあることに留意すべきである。”少なくとも１つの〜”という語句は、項目のリストとともに使用される時、リストされた項目の中の１つ以上の相互に異なる組み合せが使用されることができ、そのリスト内の１つの項目だけが必要とされることを意味する。例えば、”Ａ、Ｂ、及びＣの中の少なくとも１つ”は、次のような組み合せ、すなわち、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、及びＡ及びＢ及びＣの中のいずれか１つを含む。特定の単語及び語句に関するこのような定義は、本明細書の全般にわたって規定されるもので、当業者には、大部分の場合ではなくても、多くの場合において、このような定義がそのように定義された単語及び語句の先行使用にはもちろん、将来の使用にも適用されるものであることが自明である。

【発明の効果】

【0011】

本発明とそれによって存在するより完全な理解と、それに従う多くの利点のより完全な理解は容易に明らかになり、添付された図面との結合を考慮すれば、後述する詳細な説明を参照してよりよく理解できる。

【図面の簡単な説明】

【0012】

【図1】本開示による異種ネットワークを通した様々なクライアントへの例示的なスケーラブルビデオ配信を示す図である。

【図2】本開示による例示的なＭＭＴ装置を示す図である。

【図3】本開示によるモーションピクチャーエクスパーツグループ（ＭＰＥＧ）メディアトランスポート（ＭＭＴ）により提供される例示的な機能を示す図である。

【図4】本開示による例示的なＭＭＴカプセル化を示す図である。

【図5】本開示によるタイム（timed）メディアのサンプルレベルメディアトラック及びサンプルレベルヒントトラックを使用する例示的ＭＭＴカプセル化を示す図である。

【図6】本開示によるタイムメディアを含まないメディアの例示的なＭＭＴカプセル化を示す図である。

【図7】本開示によるメディアフラグメントユニット（ＭＦＵｓ）を受信する例示的な方法を示す図である。

【発明を実施するための形態】

【0013】

以下に論議される図１乃至図７、及び本特許文献において本開示の原理を説明するために使用される様々な実施形態は、例示としてのみ提供され、本開示の範囲を限定するいかなる方法として理解されてはならない。本開示の原理が任意の適切な装置又はシステムで実施可能であることは、当該技術分野における通常の知識を持つ者には理解できることであろう。

【0014】

図１は、本開示による異種ネットワークを通した様々なクライアントへの例示的なスケーラブルビデオ配信を示す図である。図１に示す実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなく他の実施形態も使用可能である。

【0015】

異種ネットワーク１０２は、イメージ、オーディオ、及びビデオコンテンツのようなメディアコンテンツをＭＭＴクライアント１０６〜１１４にサービスするモーションピクチャーエクスパーツグループ（ＭＰＥＧ）メディアトランスポート（ＭＭＴ）サーバ１０４を含む。ＭＭＴサーバ１０４及びＭＭＴクライアント１０６〜１１４は、ＭＭＴ装置を示し、図２に示すように具現されるか、任意の他の適切な方式で具現されることができる。ＭＭＴサーバ１０４は、異種ネットワーク１０２を通してＭＭＴクライアント１０６〜１１４に全解像度ビデオストリーム１１６を送信することができる。ＭＭＴクライアント１０６〜１１４は、その中でも、異種ネットワーク１０２への接続タイプ及びＭＭＴクライアントのタイプに基づいて１つ以上のビットレート１１８〜１２６及び１つ以上の解像度１３０〜１３８のビデオストリーム１１６の一部又は全体を受信する。異種ネットワーク１０２への接続タイプ及びビットレートは、高速バックボーンネットワーク接続１２８、秒あたり１０００メガビット（Ｍｂｐｓ）接続１１８、秒あたり３１２キロビット（ｋｂｐｓ）接続１２０、１Ｍｂｐｓ接続１２２、４Ｍｂｐｓ接続１２４、２Ｍｂｐｓ接続１２６などを含むことができる。解像度１３０〜１３８は、６０ヘルツでの１０８０プログレッシブ（１０８０ｐ）（１０８０ｐ＠６０Ｈｚ）１３０、１０ＨｚでのＱＣＩＦ（quarter common intermediate format）１３２、２４ＨｚでのＳＤ（standard definition）１３４、６０Ｈｚでの７２０プログレッシブ（７２０ｐ）１３６などを含むことができる。クライアント１０６〜１１４のタイプは、デスクトップコンピュータ１０６、移動電話１０８、ＰＤＡ（personal digital assistant）１１０、ラップトップ１１２、及びタブレット１１４を含むことができる。

【0016】

ＭＭＴアセットとも呼ばれるメディアコンテンツは、ＭＭＴコンテナを通してＭＭＴサーバ１０４から１つ以上のＭＦＵを通したＭＭＴクライアント１０６〜１１４に送信される。ＭＭＴアセットは、ＭＦＵがＭＭＴクライアント１０６〜１１４によりすべて受信されない時にもＭＭＴクライアント１０６〜１１４により消費されることができる。ＭＭＴコンテナが受信されたＭＦＵ及び受信されなかったＭＦＵを識別するので、ＭＭＴクライアント１０６〜１１４が受信されたＭＦＵをレンダリングし、受信されなかったＭＦＵをレンダリングしないことがある。

【0017】

図２は、本開示による例示的なＭＭＴ装置２０２を示す図である。図２に示すＭＭＴ装置２０２の実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなくＭＭＴ装置の他の実施形態が使用されることができる。

【0018】

ＭＭＴ装置２０２は、アンテナ２０５、無線周波数（ＲＦ）送受信器２１０、送信（ＴＸ）処理回路２１５、マイクロフォン２２０、及び受信（ＲＸ）処理回路２２５を含む。また、ＭＭＴ装置２０２は、スピーカ２３０、処理部２４０、入力／出力（Ｉ／Ｏ）インターフェース（ＩＦ）２４５、キーパッド２５０、ディスプレイ２５５、及びメモリ２６０を含む。ＭＭＴ装置２０２は、このような任意の数の構成要素を含むことができる。

【0019】

処理部２４０は、メモリ２６０に記憶されるか又は処理部２４０内に内部的に記憶される命令語のような命令語を実行するように構成される処理回路を含む。メモリ２６０は、基本オペレーティングシステム（ＯＳ）プログラム２６１及び１つ以上のアプリケーション２６２を含む。ＭＭＴ装置２０２は、ＭＭＴクライアント１０６〜１１４又はＭＭＴサーバ１０４のようにＭＭＴを使用する任意の適切な装置を示すことができる。特定の実施形態において、ＭＭＴ装置２０２は、携帯電話、スマートフォン、パーソナルディジタルアシスタント（personal digital assistant：ＰＤＡ）、又はタブレットコンピュータを示す。ＭＭＴ装置２０２は、ＭＭＴを通してメディアコンテンツの送信、受信、又はディスプレイを行う。

【0020】

ＲＦ送受信部２１０は、アンテナ２０５から、基地局又は無線ネットワークでの他の装置により送信される入力される（incoming）ＲＦ信号を受信する。ＲＦ送受信部２１０は、流入ＲＦ信号をダウンコンバートすることにより中間周波数（ＩＦ）又は基底帯域信号を生成する。ＩＦ又は基底帯域信号は、ＲＸ処理回路２２５に送信され、処理された基底帯域信号を生成する（基底帯域又はＩＦ信号のフィルタリング、デコーディング、及び／又は２進化のような処理により）。ＲＸ処理回路２２５は、処理された基底帯域信号をスピーカ２３０（音声データの場合）に又はさらなる処理のための処理部２４０（ウェブブラウジング又は他のデータのような）に提供できる。

【0021】

ＴＸ処理回路２１５は、マイクロフォン２２０からアナログ又はディジタル音声データ又は処理部２４０から他の出力される（outgoing）基底帯域データ（ウェブデータ、電子メール、又はインタラクティブビデオゲームデータ）を受信する。ＴＸ処理回路２１５は、出力される基底帯域データのエンコーディング、マルチプレキシング、及び／又は２進化を行うことにより処理された基底帯域又はＩＦ信号を生成する。ＲＦ送受信部２１０は、処理された出力される基底帯域又はＩＦ信号をＴＸ処理回路２１５から受信し、アンテナ２０５を通して送信される基底帯域又はＩＦ信号をＲＦ信号にアップコンバートする。

【0022】

一部の実施形態において、処理部２４０は、１つ以上の離散装置で具現される中央処理ユニット（ＣＰＵ）２４２及びグラフィック処理ユニット（ＧＰＵ）２４４を含む。一部の実施形態において、ＣＰＵ２４２及びＧＰＵ２４４は、１つ以上の印刷回路基板上に配置される１つ以上の集積回路として具現される。メモリ２６０は、処理部２４０に結合される。一部の実施形態において、メモリ２６０の一部は、ランダムアクセスメモリ（random access memory：ＲＡＭ）を示し、メモリ２６０の他の一部は、読出し専用メモリ（read-only memory：ＲＯＭ）として機能するフラッシュメモリを示す。

【0023】

一部の実施形態において、メモリ２６０は、ＭＭＴを通してメディアコンテンツを転送するためにプログラム命令語を記憶するコンピュータ読み取り可能な媒体である。プログラム命令語が処理部２４０により実行される場合、プログラム命令語は、処理部２４０、ＣＰＵ２４２、及びＧＰＵ２４４の中の１つ以上が本開示の実施形態による様々な機能及びプログラムを実行するようにする。

【0024】

処理部２４０は、ＭＭＴ装置２０２の全般的な動作を制御するために、メモリ２６０に記憶されている基本ＯＳプログラム２６１を実行する。例えば、処理部２４０は、フォワードチャネル信号の受信及びリバースチャネル信号の送信を制御するためによく知られている原理に従ってＲＦ送受信部２１０、ＲＸ処理回路２２５、ＴＸ処理回路２１５を制御できる。

【0025】

また、処理部２４０は、以下でより詳細に説明されるようなヒントトラックを通してＭＦＵ位置を識別するための動作のように、メモリ２６０に滞在する他のプロセス及びプログラムを実行できる。また、処理部２４０は、実行プロセスにより要請される時、メモリ２６０の内又は外にデータを移動できる。一部の実施形態において、処理部２４０は、複数のアプリケーション２６２を実行するように構成される。処理部２４０は、ＯＳプログラム２６１に基づくか又は基地局から受信された信号に応答してアプリケーション２６２を動作させることができる。処理部２４０は、ラップトップコンピュータ、ハンドヘルドコンピュータ、及びサーバコンピュータのような他の装置への接続機能をＭＭＴ装置２０２に提供するＩ／Ｏインターフェース２４５に結合される。Ｉ／Ｏインターフェース２４５は、これらのアクセサリーと処理部２４０との間の通信経路である。

【0026】

また、処理部２４０は、キーパッド２５０及びディスプレイ部２５５に選択的に結合される。ＭＭＴ装置２０２のオペレータは、キーパッド２５０を使用してＭＭＴ装置２０２にデータを入力する。ディスプレイ２５５は、液晶ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、又はウェブサイトからのテキスト及び／又は少なくとも制限されたグラフィックをレンダリングできる他のディスプレイであり得る。代案的な実施形態は、他のタイプの入出力装置及びディスプレイを使用し得る。

【0027】

異種インターネットプロトコル（ＩＰ）ネットワーク環境で符号化されたメディアデータの効率的であり効果的な配信のために、ＭＭＴは、次の要素を提供する。

【0028】

− マッシュアップ（mash-up）アプリケーションのための様々な構成要素で構成されるコンテンツを構成するための論理的なモデル；
− パケット化及び適応化のような配信レイヤー処理のために符号化されたメディアデータに関する情報を運搬するデータの構造；
− ハイブリッド配信を含んでＴＣＰ又はＵＤＰを通して使用される特定のメディアのタイプ又は符号化方法に無関係にメディアコンテンツを配信するためのパケット化方法及びパケットの構造；
− メディアコンテンツの提供及び配信を管理するためのシグナリングメッセージのフォーマット；
− メディアコンテンツの提供及び配信を管理するためのシグナリングメッセージのフォーマット；
− クロスレイヤー通信を容易にするためにレイヤーにわたって交換されるべき情報のフォーマット；

【0029】

図３は、本開示によるＭＭＴにより提供される例示的な機能を示す図である。図３に示す実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなくＭＭＴ装置の他の実施形態が使用されることができる。

【0030】

ＭＭＴにより提供される機能は、３タイプの機能領域、すなわち、カプセル化レイヤー３０２、配信レイヤー３０４、及びシグナリングレイヤー３０６に分類される。カプセル化レイヤー３０２は、メディアコンテンツの論理的な構造、ＭＭＴパッケージ、及びＭＭＴコンプライアントエンティティにより処理されるデータユニットのフォーマットを定義する。ＭＭＴパッケージは、メディアコンテンツを有する１つ以上のコンポーネント及びコンポーネント間の関係の説明を含んで適応的な動作のために情報を下位配信レイヤー３０４に提供する。データユニットのフォーマットは、配信プロトコルのペイロードとして記憶されるか又は運搬され、異なる配信プロトコルの間で容易に転換されるように、メディアコンテンツの符号化されたメディアデータをカプセル化するように定義される。

【0031】

配信レイヤー３０４は、ペイロードのフォーマット及びアプリケーションレイヤープロトコルを定義する。アプリケーションレイヤープロトコルは、メディアコンテンツ（“マルチメディア”とも称する）の配信のための従来のアプリケーションレイヤープロトコルに比べて、符号化されたメディアデータの配信のために多重化のような改善した特性を提供する。ペイロードフォーマットは、特定のメディアタイプ又はエンコーディング方法に独立した符号化されたメディアデータを運搬するように定義される。

【0032】

シグナリングレイヤー３０６は、ＭＭＴパッケージの配信及び消費を管理するためのメッセージのフォーマットを定義する。消費管理のためのメッセージは、ＭＭＴパッケージの構造をシグナリングするために使用される。配信管理のためのメッセージは、プロトコルの構成及びペイロードフォーマットの構造をシグナリングするために使用される。 カプセル化レイヤー３０２は、ネットワークエンティティによる分散された記憶及び適応的な配信のために国際標準化機構（ＩＳＯ）基盤メディアファイルフォーマット（ＩＳＯＢＭＦＦ）内でＭＭＴパッケージの論理的な構造及びインスタンス化を定義する。ここで、ＭＭＴパッケージは、メディアコンテンツ（すなわち、ＭＭＴアセット）の符号化されたメディアデータ及び配信レイヤー処理のための情報をアグリゲーションする論理的なエンティティを定義する。ＭＭＴアセットは、符号化されたメディアデータを運搬する論理的な構造を定義する。ＭＭＴアセットは、同一のＭＭＴアセット識別子（ＩＤ）を用いて様々なメディア処理ユニット（ＭＰＵｓ）を集合的に参照できる。

【0033】

ＭＭＴクライアントに直接に接続されたエンティティにより個別に消費されることができる任意のデータのタイプが個別ＭＭＴアセットである。これは、１つのメディアコーデックによりデコーディング可能な符号化されたメディアデータだけでなく、すでに多重化された他のデータのタイプも含む。ＭＰＵは、ＭＰＵ内に乗せられるデータの小さなフラグメントの境界及びサイズのような下位配信レイヤーのパケットサイズの制約に従って適応的パケット化のためのメディアデータに関する情報を提供する。そのような小さなフラグメントは、メディアフラグメントユニット（ＭＦＵｓ）として知られている。これは、下位配信レイヤーエンティティが配信レイヤー３０４の最大送信ユニットのサイズに基づいてＭＰＵを適応的に動的にパケット化できるようにする。ＭＦＵは、アドバンスドビデオ符号化（ＡＶＣ）ビットストリームのネットワーク抽象化レイヤー（ＮＡＬ）ユニットのように、そのようなフラグメントが独立してデコーディングされるか又は廃棄されることができるようにする符号化されたメディアデータの小さなフラグメントを運搬する。

【0034】

ＩＳＯＢＭＦＦを通してインスタンス化されるＭＭＴカプセル化フォーマットは、ＭＭＴパッケージの論理的な構造を正確にキャプチャーし、次のようなＭＭＴ目標及び利点を達成するようにするいくつの特性を含む。

【0035】

− ＭＭＴカプセル化ができるだけＩＳＯＢＭＦＦを再使用し、ＩＳＯＢＭＦＦがＭＭＴパッケージを記憶するファイルからメディアデータのパーシング及びアクセス／抽出を行うという点での後方互換性（Backwards compatibility）；
− ＭＦＵを欠落する場合にも初期構造を正確に復旧するエラー強さ；
− ＭＰＵの特定の位置なしに上位レイヤー及び配信エンティティにより独立してＭＰ
Ｕを効率的に位置させアドレッシングする外部アドレッシング；
− タイムデータ及び非タイムデータの記憶及び配信のための統一された構造のサポー
ト；
− 適応的パケット化配信のためにＭＰＵメタデータ及びＭＦＵを容易に抽出し、理想的には、配信フォーマットと記憶フォーマットとが一致する時記憶フォーマットと配信フォーマットとの間の容易な変換を可能にするＭＰＵ及びＭＦＵに対するアクセスの容易性；
− ＭＰＥＧ−２転送ストリーム（ＴＳ）のようなレガシーデータフォーマットのカプセル化のサポート；
− 低いリダンダンシー
前のＭＭＴデザインは、次のようなものを含む既存の幾つの問題を有する。
− ストリーム上のそれぞれのＭＦＵごとのＭＦＵ“ボックス”であり、これは、多い量のＭＦＵボックス及び非常に高いオーバーヘッドをもたらす（１０％オーバーヘッドをもたらす１００バイトのＭＦＵボックスサイズ及び１０００バイトのＮＡＬサイズのように）；
− その内のメディアデータを参照するＭＦＵボックスであり、これは、配信レイヤーを通してメディアコンテンツをパケット化する方法に対する柔軟性を制限する；
− 記憶フォーマットは、配信フォーマットとは異なり、配信フォーマットが明確に定義されていない；
− 非タイムメディアデータが後方互換されない方式で記憶される。
また、ＩＯＳＢＭＦＦは、次のようなものを含むＭＭＴの様々な特性を提供しない：
− 映画フラグメントを独立してアドレッシングするか又は消費する；
− パケット化された配信の間に欠落した部分又はパケットが存在する場合映画フラグメントを正確にパーシングし消費する；
− 下位配信ネットワークの最大送信ユニット（ＭＴＵ）のサイズに適応するパケット化をサポートするためのヒントトラックの一般的な使用。

【0036】

本開示の実施形態は、ＭＦＵ構造に対するヒントトラックを定義することによりＩＳＯＢＭＦＦ内のＭＭＴコンテンツをカプセル化する。それぞれのＭＦＵは、ＭＭＴのヒントトラックに対するヒントサンプル内に記述される。ＭＭＴヒントトラックのヒントサンプルは、ＭＦＵを配信するために使用されるＭＦＵヘッダーに対応する。ＭＭＴヒントサンプルは、対応するメディアデータの位置に関する情報を運搬する。ＭＭＴ装置は、このような情報をＭＦＵシーケンス番号、ＭＰＵシーケンス番号、及びアセット識別子とともに使用してこのような配信から欠落したＭＦＵを正確に識別しつつ初期ＭＭＴアセット構造を復旧するようにする。

【0037】

一部の実施形態において、ＭＭＴヒントサンプルは、図４に関連して図示され論議されるようにＭＭＴフラグメンテーションユニットヘッダーと同等である。また、一部の実施形態は、図５及び６に関連して図示され論議されるように、それぞれのＭＦＵが１つのサンプルであり、それぞれのチャンク（chunk）がヒントトラック及びメディアトラックのすべてに１つのサンプルを含むもののように、サンプル単位でインターリービングされるＭＭＴヒントトラックサンプル及びＭＭＴメディアトラックサンプルを有することができる。

【0038】

図４は、本開示による例示的なＭＭＴカプセル化を示す図である。図４に示す実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなくＭＭＴ装置の他の実施形態が使用されることができる。

【0039】

図４に示すように、ＭＭＴアセット（ｍａｓｔ）４０２及びＭＰＵボックス（ｍｍｐｕ）４０４は、個別ボックスにより区切られる。これらのボックスは、外部アドレス機能を容易にする。記憶フォーマットは、配達フォーマットとは異なり、ＭＭＴサーバは、パケット化動作の間に記憶フォーマットを配信フォーマットに変換するためにＭＭＴヒントトラック４０６を使用する。ＭＭＴサーバは、単一メディアトラック４０８を含むＩＳＯＢＭＦＦのトラックとしてタイムメディアを記憶する。ＭＭＴサーバは、ＩＳＯＢＭＦＦ内のメタデータの一部として非タイムメディアを記憶する。

【0040】

ＩＳＯＢＭＦＦのメディアトラック４０８は、完全後方互換方式で“ｍｏｏｖ”ボックス４１０を通してインデキシングされる。ＭＰＵボックス４０４は、ＭＰＵの境界を内在的に示し、ライブコンテンツの編集、記録、及び増大生成のさらなる柔軟性を許容するために、次のＭＰＵの開始の前に又はファイルのエンドで終了する。一部の実施形態において、ＩＳＯＢＭＦＦのメディアトラック４０８は、“ｍｏｏｆ”ボックス（図５のｍｏｏｆボックス５０２のような）によりインデキシングされる。

【0041】

ＭＭＴヒントトラック４０６は、記憶されたＭＭＴアセット４０２をパケット化されたメディアストリームに変換する時、ＭＭＴサーバ１０４又はＭＭＴクライアント１０６〜１１４のような配信レイヤーエンティティを案内する。パケット化されたメディアストリームは、配信プロトコルとしてＭＭＴプロトコル（ＭＭＴＰ）を使用してＭＭＴサーバによりＭＭＴクライアントに配信される。

【0042】

ＭＭＴヒントトラック４０６は、ＭＭＴサーバ１０４のように、配信パケットを生成するエンティティに適応的パケット化及び配信決定のためのＭＰＵのＭＦＵの位置情報を提供する。パケット化及び配信決定は、瞬間的なネットワーク輻輳に対処するために一部のＭＦＵの統計的な多重化及び欠落を含む。ＭＭＴパケットを生成するために、ＭＭＴヒントサンプルとともに、ＭＭＴコンテナ内のＭＭＴアセットのメディアデータが抽出される。１つ以上のＭＦＵは、１つのＭＭＴＰパケットを構築するために使用され得る。結果的に、記憶フォーマットは、配信フォーマットと正確に同一でなく、これは、ＭＭＴＰパケットを構築するために即座にメディアデータの抽出及びカプセル化を実行できるアクティブネットワークエンティティを必要とする。メディアデータは、ＩＳＯＢＭＦＦコンプライアントエンティティがメディアデータをパーシングできる方式で記憶され得る。

【0043】

ＭＭＴヒントトラック４０６は、ＭＦＵに関する情報をＭＭＴパケットの生成のためのネットワークエンティティに提供する。配信のためのＭＰＵの追加分割が要求されない場合、ヒントトラック４０６は、完全に省略され得る。

【0044】

一部の実施形態において、ＭＭＴヒントトラック（ヒントトラック４０６のような）は、“ｍｍｔｈ”のサンプル内容内にエントリーフォーマットを有するヒントトラックであり、例えば、次のように定義され得る。

【0045】

aligned(8) class MMTHintSampleEntry() extends SampleEntry('mmtp' {
unsigned int(16) hinttrackversion = 1;
unsigned int(16) highestcompatibleversion = 1;
unsigned int(1) has_mfus_flag;
unsigned int(1) is_timed;
unsigned int(6) reserved;
MMTAsset asset;
}

【0046】

上述したサンプルディスクリプションフォーマットは、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなく他の実施形態が使用されることができる。サンプルディスクリプションフォーマットのセマンティックスは、次のようなものを含む。

【0047】

− has_mfus_flagは、ＭＰＵがＭＦＵに関する情報を提供するか否かを示し、ＭＰＵがＭＦＵに関する情報を提供しない時、ヒントトラックにより識別されたそれぞれのＭＦＵが１つのサンプルを有することができるようにヒントトラックが完全なＭＰＵを提供するか否か、及びＭＰＵがＭＦＵに関する情報を提供する場合それぞれのヒントサンプルがＭＦＵを参照するか否かを示す。
− is_timed：このようなトラックにより暗示されたメディアがタイム（timed）メディアであるか又はタイムメディアでないかを示す。

【0048】

それぞれのメディアサンプルは、１つ以上のＭＦＵに割り当てられる。ＭＭＴヒントトラックのそれぞれのサンプルは、次のようなシンタックスを使用できる１つ以上のＭＦＵを生成できる。

【0049】

aligned(8) class MMTHSample {
unsigned int(32) sequence_number; if (is_timed) {
signed int(8) trackrefindex;
unsigned int(32) samplenumber;
unsigned int(16) offset;
unsigned int(32) length;
} else {
unsigned int(16) item_ID;
}
unsigned int(1) mfu_lost_flag;
Unsigned int(7) reserved;
}

【0050】

上述したサンプルフォーマットは、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなく他の実施形態が使用されることができる。サンプルフォーマットのシンタックスは、次のようなものを含む。

【0051】

− sequence_numberは、ＭＦＵに割り当てられたシーケンス番号である。
− trackrefindexは、ＭＦＵデータが抽出されるメディアトラックの識別子である。
− samplenumberは、ＭＦＵが抽出されるサンプルに割り当てられるシーケンス番号である。
− item_IDは、非タイムメディアデータに対してＭＦＵを生成する項目を参照する。
− offsetは、メディアデータのオフセットを提供し、オフセットベースは、サンプルを含む“ｍｄａｔ”ボックスの開始である。
− lengthは、ＭＦＵの長さをバイト単位で提供する。
− mfu_lost_flagは、対応するメディアデータが欠落したか否かのようにＭＦＵが損失されたか否かを示す。

【0052】

図５は、本開示によるタイムメディアのサンプルレベルメディアトラック及びサンプルレベルヒントトラックを使用する例示的なＭＭＴカプセル化を示す図である。図５に示す実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなく他の実施形態が使用されることができる。

【0053】

サンプル配信のためのサンプル基盤インターリービングにあたり、配信フォーマットは、ＭＭＴペイロードフォーマットに対応し、ＭＦＵヘッダー及びＭＦＵメディアデータを含む。ＭＦＵヘッダーは、ＭＭＴＰペイロード及びパケットの生成を容易にするヒントサンプルのコピーである。

【0054】

図５において、ヒントトラック５０４及びメディアトラック５０６は、ＭＭＴコンテナ５０８の“ｍｏｏｆ”ボックス５０２の内にサンプルレベルでインターリービングされる。これは、チャンクあたりの１つのサンプル及び簡単なパケット化プロセスにつながる。また、ＭＭＴコンテナ５０８は、“ｍａｓｔ”ボックス５１０、“ｍｏｏｖ”ボックス５１２、“ｍｍｐｕ”ボックス５１４、“ｍｏｏｆ”ボックス５０２及び５１８、及び“ｍｄａｔ”ボックス５１６及び５２０を含む。ｍｏｏｆボックス５０２及び５１８は、ＭＭＴヒントトラック５０４及び５２２とメディアトラック５０６及び５２４とを含む。ｍｄａｔボックス５１６及び５２０は、１つ以上のＭＦＵ５２２を含む。ＭＦＵ５２２は、ＭＦＵヘッダー５２４及びペイロード５２６を含む。それぞれのＭＦＵヘッダー５２４は、ＭＦＵシーケンス番号を含み、選択的にmfu_lost_flagを含む。

【0055】

図６は、本開示によるタイムメディアを含まないメディアの例示的なＭＭＴカプセル化を示す図である。図６に示す実施形態は、単なる１つの実施形態にすぎない。本開示の範囲から逸脱することなく他の実施形態が使用されることができる。

【0056】

図６において、ヒントトラック６０２は、ＭＭＴコンテナ６０６の“ｍｏｏｖ”ボックス６０４の内にある。ＭＭＴコンテナ６０６は、“ｍａｓｔ”ボックス６１０、“ｍｏｏｖ”ボックス６０４、“ｍｍｐｕ”ボックス６１４、“ｍｅｔａ”ボックス６３２、及び“ｍｄａｔ”ボックス６２０を含む。ｍｏｏｖボックス６０４は、ＭＭＴヒントトラック６０２を含む。ｍｅｔａボックス６３２は、“ｈｄｌｒ”ボックス６０２、“ｉｌｏｃ”ボックス６３０、及び“ｉｉｎｆ”ボックス６２８を含む。ｍｄａｔボックス６２０の各々は、ＭＦＵヘッダー６２４及びペイロード６２６を含む１つ以上のＭＦＵ６２２を含む。

【0057】

図７は、本開示によるメディアフラグメントユニット（ＭＦＵｓ）を受信する例示的な方法を示す図である。図７に説明されるプロセスは、ＭＭＴサーバ１０４、ＭＭＴクライアント１０６〜１１４、又は他の装置内の処理回路などにより任意の適切な方式で具現されることができる。

【0058】

ブロック７０２において、ＭＭＴサーバ１０４又はクライアント１０６〜１１４のようなＭＭＴ装置は、ＭＭＴコンテナのＭＦＵを受信する。ＭＦＵは、ＭＭＴコンテナに含まれたメディアコンテンツを転送するために使用される１つ以上のＭＦＵの中の１つである。ブロック７０４において、ＭＭＴ装置は、ＭＦＵをＭＦＵヘッダー及びＭＦＵメディアデータに分割する。ブロック７０６において、ＭＭＴ装置は、ＭＦＵヘッダーからＭＰＵメタデータ及びＭＦＵシーケンス番号を使用してＭＭＴコンテナ内のＭＦＵヒントサンプルを位置させる。一部の実施形態において、ＭＭＴ装置は、ＭＦＵヒントサンプルに対応するＭＦＵヘッダーをパーシングする。

【0059】

ブロック７０８において、ＭＭＴ装置は、ＭＭＴコンテナのメディアコンテンツがタイムメディアを含むか否かを判定する。メディアコンテンツがタイムメディアを含む場合、プロセスは、ブロック７１０につながる。メディアコンテンツがタイムメディアを含まない場合、プロセスは、ブロック７１２につながる。ブロック７１０において、ＭＭＴ装置は、受信されたＭＭＴコンテナ内のＭＦＵからＭＦＵメディアデータを検索するために、ＭＰＵメタデータ及びＭＦＵサンプル情報を使用する。その後に、プロセスは、ブロック７１４につながる。ブロック７１２において、ＭＭＴ装置は、ＭＭＴコンテナ内のメディアデータを検索するために、ＭＰＵメタデータ及び項目識別子を使用する。その後に、プロセスは、ブロック７１４につながる。

【0060】

ブロック７１４において、ＭＭＴ装置は、ＭＭＴコンテナ内のＭＰＵメタデータに欠落したＭＦＵをマークする。一部の実施形態において、欠落したＭＦＵは、ＭＭＴコンテナの“ｍｄａｔ”ボックス内のＭＦＵごとにmfu_lost_flag値の使用を通してマークされる。

【0061】

ＭＭＴアセットがタイムメディアを含む場合、ＭＭＴ装置は、ＭＭＴヒントサンプルを処理の間にＭＭＴコンテナ内の正確な位置に配置する。そのような配置は、ヒントサンプル内のサンプル番号に変換するＭＦＵシーケンス番号に基づく。また、ＭＭＴ装置は、ＭＭＴコンテナ内のメディアデータの位置を検索するために、メディアトラックのサンプルテーブル（“ｓｔｃｏ”“ｓｔｓｚ”、及び“ｓｔｓｃ”テーブル又は“ｔｒｕｎ”テーブルのような）とともに、ＭＦＵヘッダー内のサンプル及びオフセット情報を使用する。配信の間に欠落した任意のＭＦＵが存在する場合、ＭＭＴコンテナ内の対応する領域は、空のままである。このようにすることにより、ＭＭＴ装置は、正確に受信されＭＦＵに対するデータを安全に検索し、配信の間に欠落したＭＦＵをスキップすることができる。

【0062】

様々な特性が図面に図示され上述されたが、図面に様々な変化があり得る。例えば、図面に示す構成要素のサイズ、形態、整列、及びレイアウトは、ただ例示のためのものである。それぞれの構成要素は、任意の適切なサイズ、形態、及び寸法を有することができ、様々な構成要素が任意の適切な配列及びレイアウトを有することができる。また、図面内の様々な構成要素が結合されるか、さらに細分化されるか、省略され得、特定のニーズに従って追加の構成要素が追加されることができる。また、装置又はシステム内のそれぞれの構成要素は、記述された機能を実行するための任意の適切な構造を使用して具現されることができる。また、図７は、様々な一連のステップを示すが、図７の様々なステップは、オーバーラップされるか、並列に発生するか、複数回発生するか、又は異なる順序に発生可能である。

【0063】

本開示は、所定の実施形態及び一般的に関連した方法を説明したが、これらの実施形態及び方法の変更及び置換例が当業者にとって自明である。したがって、例示的な実施形態の上記説明が本開示を定義するか又は拘束するのではない。以下に述べられる請求範囲により定義されるように、本開示の思想及び範囲から逸脱することなく他の変化、置換、及び変更も可能である。

【符号の説明】

【0064】

２０２ 装置
２０５ アンテナ
２１０ 送受信器
２１５ 送信処理回路
２２０ マイクロフォン
２２５ 受信処理回路
２３０ スピーカ
２４０ 処理部
２４５ インターフェース
２５０ キーパッド
２５５ ディスプレイ
２６０ メモリ
２６１ プログラム
２６２ アプリケーション
３０２ カプセル化レイヤー
３０４ 配信レイヤー
３０４ 下位配信レイヤー
３０６ シグナリングレイヤー
４０２ ＭＭＴアセット
４０４ ＭＰＵボックス
４０６ ＭＭＴヒントトラック
４０８ メディアトラック

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】