特許 6034458 スケーラブルビデオコーディングを利用したリニアなデジタルＴＶ番組の伝送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6034458

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月30日

(54)【発明の名称】スケーラブルビデオコーディングを利用したリニアなデジタルＴＶ番組の伝送方法

(51)【国際特許分類】

   H04N 21/433 20110101AFI20161121BHJP

   H04N 21/438 20110101ALI20161121BHJP

   H04N 5/765 20060101ALI20161121BHJP

   H04N 5/92 20060101ALI20161121BHJP

【ＦＩ】

   H04N21/433

   H04N21/438

   H04N5/91 L

   H04N5/92 H

【請求項の数】2

【外国語出願】

【全頁数】15

(21)【出願番号】特願2015-153727(P2015-153727)

(22)【出願日】2015年8月3日

(62)【分割の表示】特願2011-527806(P2011-527806)の分割

【原出願日】2009年9月10日

(65)【公開番号】特開2016-15739(P2016-15739A)

(43)【公開日】2016年1月28日

【審査請求日】2015年9月2日

(31)【優先権主張番号】61/097,531

(32)【優先日】2008年9月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ルー シュピン

(72)【発明者】

【氏名】シェミモン マナリクディ アンスル

(72)【発明者】

【氏名】デイビッド アンソニー カンパナ

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２００２−０１０２５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２２３５８２（ＵＳ，Ａ１）

【文献】 特表２００８−５３３８５０（ＪＰ，Ａ）

【文献】 特表２００６−５１１１４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ１３／００

Ｈ０４Ｂ７／２４−７／２６

Ｈ０４Ｌ１２／００−１２／２６

１２／５０−１２／９５５

Ｈ０４Ｍ３／００

３／１６−３／２０

３／３８−３／５８

７／００−７／１６

１１／００−１１／１０

Ｈ０４Ｎ５／３８−５／４６

５／７６

５／７６５

５／８０−５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

７／１０−７／１７３

７／２０−７／５６

１９／００−２１／８５８

Ｈ０４Ｗ４／００−８／２４

８／２６−１６／３２

２４／００−２８／００

２８／０２−７２／０２

７２／０４−７４／０２

７４／０４−７４／０６

７４／０８−８４／１０

８４／１２−８８／０６

８８／０８−９９／００

(57)【特許請求の範囲】

【請求項1】

ビデオ再生装置内で第１の層及び第２の層において伝送されるエンコードされたデジタルビデオ信号を再生する方法であって、前記第２の層は前記第１の層の解像度、フレームレート及び品質のうちの少なくとも１つを向上させる情報を含み、前記方法が、
前記ビデオ再生装置において、前記第２の層のデータユニットを受信するステップと、
前記ビデオ再生装置において、前記第２の層の当該受信されたデータユニットをエンハンスメント層のメディアコンテナファイル内に保存するステップと、
前記ビデオ再生装置において、前記第２の層のデータユニットに対応する第１の層のデータユニットを受信するステップと、
前記ビデオ再生装置において、前記第１の層の更なるデータユニットを受信する間に前記第１の層のデータユニットを前記第２の層の対応するデータユニットと結合するステップであって、前記第２の層のデータユニットの全ては、前記第１の層の任意の対応するデータユニットが受信される前に受信されて保存され、前記第１の層のデータユニット及び前記第２の層のデータユニットは、デジタルサンプルを含み、前記結合するステップは、
合致する同期情報を有する前記第１の層のデジタルサンプル及び前記第２の層のデジタルサンプルを特定することであって、
第１の層のデータユニットのストリームの開始からの前記第１の層のアクセスポイントの時間的変位を、タイムスタンプに従い決定することと、
トラックタイムラインの開始からの時間的変位が前記第１の層の前記アクセスポイントの前記時間的変位と合致する、前記第２の層の前記データユニットを特定することであって、前記エンハンスメント層のメディアコンテナファイルの時間とデジタルサンプルとを対応させた表にアクセスすることにより、前記トラックタイムラインの開始からの前記第２の層の前記データユニットの前記時間的変位を決定することを含み、前記時間とデジタルサンプルとを対応させた表は、前記第２の層のデジタルサンプルと、前記デジタルサンプルの各々の対応する期間と、を含み、前記時間とデジタルサンプルとを対応させた表における先行するデジタルサンプルすべての対応する期間すべてを加算することにより、前記デジタルサンプルの各々のデコード時刻が決定される、前記第２の層の前記データユニットを特定することと、
を含む、前記第1の層のデジタルサンプル及び前記第２の層のデジタルサンプルを特定すること、
を含む、前記結合するステップと、
前記ビデオ再生装置において、前記結合されたデータユニットをデコードすることによって出力ビデオフレームを生成するステップと、
を含む、前記方法。

【請求項2】

第１の層及び第２の層において伝送されるエンコードされたデジタルビデオ信号を再生する装置であって、前記第２の層が前記第１の層の解像度、フレームレート及び品質のうちの少なくとも１つを向上させる情報を含み、前記装置が、
前記第２の層のデータユニットを受信する手段と、
前記第２の層の当該受信されたデータユニットをエンハンスメント層のメディアコンテナファイル内に保存する手段と、
前記第２の層のデータユニットに対応する前記第１の層のデータユニットを受信する手段と、
前記第１の層の更なるデータユニットを受信する間、前記第１の層のデータユニットを前記第２の層の対応するデータユニットと結合する手段であって、前記第２の層のデータユニットの全てが、前記第１の層の任意の対応するデータユニットが受信される前に、受信されて保存され、前記第１の層のデータユニット及び前記第２の層のデータユニットは、デジタルサンプルを含み、前記結合する手段は、合致する同期情報を有する前記第１の層におけるデジタルサンプル及び前記第２の層におけるデジタルサンプルを特定することにより前記データユニットを結合し、前記特定することは、第１の層のデータユニットのストリームの開始からの前記第１の層のアクセスポイントの時間的変位を、タイムスタンプに従い決定することと、トラックタイムラインの開始からの時間的変位が前記第１の層の前記アクセスポイントの前記時間的変位と合致する、前記第２の層のデータユニットを特定することであって、前記エンハンスメント層のメディアコンテナファイルの時間とデジタルサンプルとを対応させた表にアクセスすることにより、前記トラックタイムラインの開始からの前記第２の層の前記データユニットの前記時間的変位を決定することを含み、前記時間とデジタルサンプルとを対応させた表は、前記第２の層のデジタルサンプルと、前記デジタルサンプルの各々の対応する期間と、を含む、前記第２の層のデータユニットを特定することと、を含み、前記時間とデジタルサンプルとを対応させた表における先行するデジタルサンプルすべての対応する期間すべてを加算することにより、前記デジタルサンプルの各々のデコード時刻が決定される、前記結合する手段と、
前記結合されたデータユニットをデコードすることによって出力ビデオフレームを生成する手段と、
を含む、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連特許出願＞
本出願は、米国特許法第１１９条（ｅ）の下で米国仮特許出願第６１／０９７，５３１号（出願日２００８年９月１６日）の利益を主張し、当該仮特許出願の全体の内容は、参照することによって本願に包含されている。

【0002】

本発明は全体としてデータ通信システムに関し、特に、ビデオデータの伝送に関する。

【背景技術】

【0003】

現在のリニアなデジタルテレビ（ＴＶ）伝送システムにおいては、エンドユーザ端末で利用可能なＴＶ番組の総数を制限する帯域の制約が存在する。高解像度のＴＶ番組がますます一般的になってくると、この帯域の制約が目に見えてくる。プライムタイム（ゴールデンタイム）の視聴者を奪い合う高解像度（ＨＤ）番組等のさらに広い帯域を必要とするコンテンツがさらに多くなると、ピーク時間に使用可能な帯域幅がボトルネックになり得る。

【0004】

１日の間、一般的なＴＶ放送サービスの帯域需要は、大きく変化するだろう。例えば、帯域需要は、一般的に、平日の午後６時から午後１１時の間、及び週末の午前１０時から午後１１時までにおいてピークを迎える。ピーク時間において、全てではないにしてもほとんどの使用可能な帯域は使用されており、いくつかの条件において帯域が不十分でさえあり得る。一方、通常、オフピーク時間においては、帯域は十分に利用可能である。

【0005】

従って、オフピーク時間の帯域は十分に使用されておらず、ピーク時間においては、標準解像度（ＳＤ）及び高解像度（ＨＤ）ＴＶ番組に対するエンドユーザの要求に見合う十分な使用可能帯域幅がない。

【発明の概要】

【0006】

本発明の原理に従った例示の実施形態において、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ））を使用した伝送方法が、ピークタイムの広い帯域幅を必要とするビデオの伝送をオフピーク時間ウインドウに移動する。今まで十分に使用されていなかったオフピークの帯域が、有利に使用されて、僅かなアップグレード費用でまたはアップグレード費用無しで全体の伝送効率が改善される。

【0007】

特に、ＳＶＣエンコーダによって生成されたビデオビットストリームは、１つのベース層及び１または複数のエンハンスメント層を含む。本発明原理に従っている１つの例示の実施形態において、通常は低いビットレート、低いフレームレート及び低いビデオ品質でエンコーディングされているベース層ビデオストリームは、エンドユーザ端末に生でストリーム配信されるかまたは放送される一方で、１または複数のエンハンスメント層ビデオストリームは、開始時間以前のオフピーク時間の間にエンドユーザ端末に徐々にダウンロードされる。

【0008】

本発明による伝送方法は、リニアなＴＶサービスに使用されて、ピーク時間の帯域消費を減少させることが可能である。さらに、ベース層ビデオが基本のサービスとして扱われることが可能であり、その一方でエンハンスメント層ビデオがその高いビデオ品質に関する上位サービスとして扱われることも可能である。デジタル著作権管理（ＤＲＭ）等が使用されて、エンハンスメント層ビデオへのアクセスが制御されてもよい。

【0009】

上述のように、かつ発明を実施するための形態から明らかになるように、他の実施形態及び特徴も利用可能でありかつ本発明の原理内に含まれる。

【0010】

本発明の実施形態に従った装置及び／または方法のいくつかの実施形態が、例示のみの目的で、添付の図面を参照して説明される。

【図面の簡単な説明】

【0011】

【図1】一般的なビデオ伝送環境のブロック図である。

【図2】本発明の原理に従った例示のビデオ伝送システムのブロック図である。

【図3A】ＳＶＣエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。

【図3B】ＳＶＣエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。

【図3C】ＳＶＣエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。

【図4】ＳＶＣベース層ビデオ情報を伝送するためのパケットストリームの例示の形式を示す図である。

【図5】本発明の例示の実施形態のデバイス受信動作方法例のフロー図である。

【図6】事前にダウンロードされているエンハンスメント層データとストリーム配信されたベース層データとの同期化を示す図である。

【発明を実施するための形態】

【0012】

本発明の概念以外、添付図面に示されている要素は、公知であり、詳細には説明されていない。例えば、本発明の概念以外、テレビ放送、受信機及びビデオエンコーディングについて熟知していることが前提とされ、これらは本明細書には詳細に説明されていない。例えば、本発明の概念以外、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ Ｌｉｎｅｓ）、ＳＥＣＡＭ（ＳＥｑｕｅｎｔｉａｌ Ｃｏｕｌｅｕｒ Ａｖｅｃ Ｍｅｍｏｉｒｅ）、及びＡＴＳＣ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）（ＡＴＳＣ）、中国デジタルテレビシステム（ＧＢ）２０６００−２００６、及びＤＶＢ−Ｈ等のＴＶ規格に関する現在の勧告及び今まで提案された勧告への熟知が前提とされる。同様に、本発明の概念以外、８−ＶＳＢ（ｅｉｇｈｔ−ｌｅｖｅｌ ｖｅｓｔｉｇｉａｌ ｓｉｄｅｂａｎｄ）、ＱＡＭ（Ｑｕａｄｒａｔｕｒｅ Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）等の他の伝送概念、並びにラジオ周波数（ＲＦ）フロントエンド（ｆｒｏｎｔ−ｅｎｄ）（ローノイズブロック（ｌｏｗ ｎｏｉｓｅ ｂｌｏｃｋ）、チューナ、ダウンコンバータ（ｄｏｗｎ ｃｏｎｖｅｒｔｅｒ）等）、デモジュレータ、コリレータ、リークインテグレータ（ｌｅａｋ ｉｎｔｅｇｒａｔｏｒ）、及びスクエアラ（ｓｑｕａｒｅｒ）等の受信コンポーネントの熟知が前提とされる。さらに、本発明の概念以外、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等のプロトコルへの熟知が前提とされ、本明細書において説明されていない。同様に、本発明の概念以外、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−２システム規格（ＩＳＯ／ＩＥＣ １３８１８−１）、Ｈ．２６４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）及びスケーラブルビデオコーディング（ＳＶＣ）が前提にされ、本明細書において説明されていない。本発明の概念が、それ自体は本明細書に記載されていない従来のプログラミング技術を用いて実装されてもよいことに留意すべきである。最後に、図面内の同様の参照符号は同様の要素を示す。

【0013】

ほとんどのＴＶ番組は、現在、図１に示されているようなシステムで伝送されている。示されているシステム１００において、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／ＭＰＥＧ−２エンコーダ１１０が、例えばＴＶ番組に対応するビデオ信号１０１を受信し、ＳＴＢ１５０で示されている１または複数のセットトップボックス（ＳＴＢ）への配信のために生放送（ｌｉｖｅ ｂｒｏａｄｃａｓｔ）信号１２５を生成する。その後、セットトップボックスは、受信した生放送信号１２５をデコーディングし、高解像度（ＨＤ）または標準解像度（ＳＤ）ビデオ等のビデオ信号１６５を、ユーザに表示するためのＴＶ等の表示デバイス１７０に提供する。ビデオ信号１６５を生成するためにＳＴＢによって必要とされる情報の全ては、信号１２５を介した生放送である。信号１２５は、有線または無線通信チャンネルを含む任意の適切な手段で伝送されてもよい。

【0014】

図２は、本発明の原理に従った例示のシステム２００を示している。このシステムにおいて、エンコーディングされたビデオは、ビデオサーバ２１０からＳＴＢ等のエンドユーザ端末に、スケーラブルビデオコーディング（ＳＶＣ）等の高度なコーディング技術を使用して伝送される。ビデオ信号２０１に基づいて、サーバ２１０のＳＶＣエンコーダ２１２は、少なくとも２つの空間的に拡張可能な（ｓｐａｔｉａｌｌｙ ｓｃａｌａｂｌｅ）ビデオ層ストリームを生成する。すなわち、低いビットレートのＳＤ解像度を用いた１つのベース層ストリーム、及び高いビットレートのＨＤ解像度を用いた１つのエンハンスメント層ストリームである。ビデオ信号２０１は、例えば、ＨＤＴＶ番組に対応している。ＳＶＣベース層及びＳＶＣエンハンスメント層は、ストリーム２２４及び２２６を介してＳＴＢ２５０に各々伝送される。本明細書においては空間的に拡張可能（例えば、ＳＤ対ＨＤ）という用語で説明されているが、本発明の原理は、ＳＶＣ拡張性の時間的及び品質的なモードにも適用可能である。

【0015】

本発明によって考慮されているように、異なったＳＶＣ層は、異なった時間にエンドユーザ端末に伝送される。１つの例示の実施形態において、ＳＶＣエンハンスメント層ストリーム２２６は、オフピーク時間帯にＳＴＢ２５０に送信され、その一方で、対応するベース層ストリーム２２４は、視聴時間にＳＴＢ２５０に、例えば、ビデオ信号２６５が、表示デバイス２７０によりエンドユーザに表示するためにＳＴＢによって生成される際に送信される。視聴時間は、１日の内のピーク帯域需要時間帯を含む任意の時間に発生してもよいことが考慮されている。

【0016】

エンハンスメント層ストリーム２２６が、エンコーディングする時刻にＳＴＢ２５０に送信されてもよい一方で、時間的に後に送信されるベース層ストリーム２２４は、記憶装置２１３等に保存され、視聴時刻にＳＴＢ２５０への伝送のために記憶装置から読み出される。代替的に、ビデオ信号２０１は、エンコーダ２１２によって生成されたときに送信されるベース層ストリーム２２４を用いて視聴時間において再生（ｒｅ−ｐｌａｙ）されかつ再度エンコーディングされ得、それによって記憶装置２１３が除去される。図示していないが、エンハンスメント層ストリーム２２６は、生成された後に保存され、ＳＴＢ２５０に送信されるときに記憶装置から読み出されてもよい。保存及び読み出しのための任意の適切な手段が、ストリーム２２４及び／または２２６に対して使用可能である。

【0017】

異なった層のビデオストリーム２２４、２２６は、ＳＴＢ２５０等のエンドユーザ端末がＳＶＣデコーティングのこれらの異なったビデオストリームを再同期化及び結合可能な限り、異なった伝送メカニズム（例えば、ファイルダウンロード、ファイルストリーミング配信等）を使用して送信される。別々のストリームとして説明されているが、ストリーム２２４及び２２６は、サーバ２１０からＳＴＢ２５０まで、同一または異なった物理チャンネル及び関連付けられた物理層デバイスを用いて送信されてもよい。例示の実施形態において、ストリーム２２４及び２２６は、異なったサーバから伝送されてもよい。

【0018】

ＳＴＢ２５０は、デコーディングのためにこれら２つのストリームを再同期化して結合し、そこから表示デバイス２７０によって表示されるビデオ２６５を生成する。ベース層ストリーム２２４がＳＴＢ２５０によって受信される際に、ビデオ信号２６５が生成されると考えられる。上述のように、エンハンスメント層ストリーム２２６は、ベース層ストリーム２２４より早い時刻に受信され、この場合、エンハンスメント層ストリーム２２６は、ＳＶＣデコーダ２５９によるデコーディングのために２つのストリームが２５５において結合する時間まで、メモリ２５７に保存されるだろう。通常、エンハンスメント層ストリーム２２６は、ベース層ストリーム２２４のデータが受信される前に完全に保存される。

【0019】

例示の実施形態において、エンハンスメント層ストリーム２２６は、ビデオフレーム各々のデコーディングタイミング情報を維持するＭＰ４ファイル等のメディアコンテナファイルの形式にされる。サーバ２１０のファイルライタブロック２１６は、ＳＶＣエンコーダ２１２によって生成されたエンハンスメント層ストリームを上述のメディアコンテナファイルの形式にする。このファイルは、ＳＴＢ２５０にダウンロードされて２５６で保存される。デコーディング時刻においてまたはその少し前において、ＳＴＢ２５０のファイルリーダブロック２５６が、当該ダウンロードされたメディアコンテナファイル内に含まれているエンハンスメント層ビデオデータ及びそれに関連するタイミング情報を抽出する。ファイルライタ２１６及びファイルリーダ２５６の動作は、変更されたＭＰファイル構造に関して以下でさらに詳しく説明される。

【0020】

信号２０１によって示されるＴＶ番組が表示に関してスケジューリングされている場合、ベース層ビデオストリーム２２４は、生放送、ネットワークストリーミング配信等を介して、ＳＴＢ等の複数の受信デバイスに放送（送信）される。例示の実施形態において、ベース層ビデオストリーム２２４の放送（送信）は、リアルタイムプロトコル（ＲＴＰ）ストリーミングを用いて行われる。ＲＴＰは、ベース層ストリーム２２４を上述のメディアコンテナファイル内のエンハンスメント層データと同期化するために使用されるヘッダ内の時間情報を提供する。サーバ２１０において、パケタイザ（ｐａｃｋｅｔｉｚｅｒ）２１４は、ＳＴＢ２５０にストリーミング配信するためにＳＶＣベース層をＲＴＰパケット形式にする。ＳＴＢ２５０において、デパケタイザ（ｄｅ−ｐａｃｋｅｔｉｚｅｒ）２５４は、ブロック２５５によってエンハンスメント層と同期化させて結合させるために受信されたベース層ＲＴＰパケットストリーム２２４からベース層ビデオデータ及びタイミング情報を抽出する。パケタイザ２１４及びデパケタイザ２５４の動作は、例示のＲＴＰパケット構造を参照して以下でされに詳細に説明される。

【0021】

エンハンスメント層ファイルは、デジタル著作権管理（ＤＲＭ）保護付きであってもよい。エンハンスメント層ビデオに対して条件付きアクセスを用いることは、高度なビデオをベース層ビデオに追加される上位アドオンサービスとして提供することを可能にする。例えば、ＨＤ番組は、エンハンスメント層への条件付きアクセスによって提供され得、その一方で、ＳＤ番組はベース層へのアクセスによって全ての契約者に提供され得る。ＨＤ番組のこれらの契約に関して、１または複数のエンハンスメント層ファイルが、後に使用される１または複数のＨＤ番組の全てまたは一部に関して、ＳＴＢに前もってダウンロードされるだろう。エンハンスメント層ファイルの各々は、１もしくは複数のＨＤ番組またはＨＤ番組の一部のデータを含んでもよい。ＨＤ番組を契約していないユーザは、インジケータ等に基づいて、エンハンスメント層データ受信できるかもしくは受信できなくてもよく、または当該ファイルを受信できるが保存もしくは復号できなくてもよい。インジケータは、例えば、様々な可能性があるが、ユーザがパスワードもしくはアクセスコードを間違えなく入力するかまたはユーザのＳＴＢにスマートカードを挿入すること等のユーザとのやりとりに基づいて設定されてもよい。エンハンスメント層ファイルがＤＲＭ保護付きであり、ＳＴＢ２５０がこれらを復号可能である場合、このような復号は２５８において行われ、復号されたエンハンスメント層データは、その後、ファイルリーダ２５６に提供される。代替的に、復号は、ファイルリーダ２５６によって行われてもよい。ファイルリーダ２５６は、復号されたエンハンスメント層データを、視聴時間にＳＴＢ２５０にストリーミング配信されたベース層データとの同期化及び結合のためにブロック２５５に提供する。結合されたデータは、その後、ビデオ信号２６５のデコーディング及び生成のためにＳＶＣデコーダ２５９に送られる。ＲＴＰストリーム内の対応するＳＶＣベース層を有するＭＰ４ファイル内のＳＶＣエンハンスメント層を同期化及び結合する例示の方法は、以下に説明される。

【0022】

例示の実施形態において、エンハンスメント層への条件付きアクセス機能は、同期化及び結合ブロック２５５によって制御されてもよい。例えば、エンハンスメント層メディアコンテナファイル内のデジタルセキュリティ機能が、ＳＴＢ２５０がエンハンスメント層データを使用する権利を有していると示す場合、ブロック２５５は、エンハンスメント層データとベース層データとの同期化及び結合を行い、そうでない場合、同期化及び結合はスキップされ、ベース層データのみがＳＶＣデコーダ２５９に送られる。セキュリティ機能は、エンハンスメント層がデコーディング可能な回数を示すインジケータを含んでもよい。この回数は、エンハンスメント層がデコーディングされるたびに、エンハンスメント層のデコーディングが許可されなくなるまでデクリメント（減少）させられる。

【0023】

上述のように、本発明の例示の実施形態において、エンコーディングされたＳＶＣストリームのベース層及びエンハンスメント層は、生放送のために、各々、事前ダウンロード可能なＭＰ４ファイルとＲＴＰパケットストリームに分割される。ＩＳＯ規格化団体は、エンコーディングされたＡＶＣコンテンツの包含のためにＭＰ４ファイル形式を定義している（ＩＳＯ／ＩＥＣ １４４９６−１５：２００４ 情報技術--オーディオビジュアルオブジェクトのコーディング--第１５部：ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ファイル形式）が、ＭＰ４ファイル形式は、ＳＶＣでコーディングされたコンテンツにも容易に拡張可能である。図３Ａ−３Ｃは、変更されたＭＰ４ファイル内のエンコーディングされたＳＶＣエンハンスメント層コンテンツの例示のレイアウトを示している。

【0024】

図３Ａ及び３Ｃに示されているように、本発明の例示の実施形態において使用される変更されたＭＰ４ファイル３００は、メタデータアトム（ｍｅｔａｄｅｔａ ａｔｏｍ）３０１及びメディアデータアトム（ｍｅｔａｄｅｔａ ａｔｏｍ）３０２を含んでいる。メタデータアトム３０１は、編集リスト３２０を含んでいるＳＶＣトラックアトム３１０を含んでいる。編集リスト３２０の編集内容の各々は、メディア時間及び存続期間を含んでいる。この編集内容は、端末相互間に配され、トラックタイムラインを生成する。ＳＶＣトラックアトム３１０は、サンプル表（ｓａｍｐｌｅ ｔａｂｌｅ）３４０を含んでいるメディア情報アトム３３０も含む。サンプル表３４０は、サンプル記述アトム３５０、時間とサンプルとを対応させた表３６０及びスケーラビリティ（ｓｃａｌａｂｉｌｉｔｙ）レベル記述子アトム３７０を含む。時間とサンプルとを対応させた表３６０は、メディアのタイミング及び構造データを含んでいる。アトム３６０のさらに詳細な表示は、図３Ｂに示されている。図３Ｂに示されているように、アトム３６０内のエントリの各々は、エンハンスメント層のコーディングされているビデオサンプル及び当該ビデオサンプルの対応する存続期間ｄＴへのポインタを含んでいる。サンプルは、デコーディング順に保存される。サンプルのデコーディングタイムスタンプは、編集リスト内の全ての先行するサンプルの存続期間を追加することによって判定されてもよい。時間とサンプルとを対応させた表は、図３Ｂに示されているように、これらの存続期間を与える。

【0025】

図３Ｃに示されているメディアデータアトム３０２は、アトム３６０内のポインタによって参照されるエンハンスメント層のコーディングされたビデオサンプルを含む。メディアデータアトム３０２内のサンプルの各々は、アクセスユニット及び対応する長さを含む。アクセスユニットは、連続的なネットワーク抽象化層（ＮＡＬ）ユニットの１つのセットであり、このセットのデコーディングは、１つのデコーディングされたピクチャをもたらす。

【0026】

図３Ａ−３Ｃに示された例示のファイル形式が、ＳＶＣエンハンスメント層データしか含まないことに注意する。ＳＶＣベース層データ及びエンハンスメント層データの両方を含むファイル形式は、エンハンスメント層サンプルとインタリーブ（ｉｎｔｅｒｌｅａｖｅ）されたベース層サンプルを含む。

【0027】

図２の例示のシステム２００を参照すると、図３Ａ−３Ｃに示されているファイル等の変形されたＭＰ４ファイルを生成する場合、サーバ２１０内のファイルライタ２１６は、タイミング情報を有するエンハンスメント層ＮＡＬＵを、ＳＶＣエンコーダ２１２からＭＰ４ファイルのメディアデータアトム構造内にコピーする。上述のように、変更されたＭＰ４ファイルは、当該ファイルが関連する番組の生放送の前に、ＳＴＢ２５０に事前にダウンロードされる。

【0028】

ＳＴＢ２５０内のファイルリーダ２５６は、サーバ２１０内のファイルライタ２１６の逆の機能を実行する。ファイルリーダ２５６は、２５７内に保存されている事前にダウンロードされているメディアコンテナファイルを読み込み、アトム３６０内のタイミング情報を有するエンハンスメント層ＮＡＬＵ、及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＣＯＲＤＩＮＧ ＯＦ ＭＯＶＩＮＧ ＰＩＣＴＵＲＥＳ ＡＮＤ ＡＵＤＩＯ（ＩＳＯ／ＩＥＣ １４４９６−１５ Ａｍｅｎｄｍｅｎｔ ２−情報技術--オーディオビジュアルオブジェクトのコーディング--スケーラブルビデオコーディングのファイルフォーマットサポート）に定義されているようなアトム３７０内のスケーラビリティレベル記述子を抽出する。

【0029】

ＲＴＰでＳＶＣエンコーディングされたストリームのパケット化及び伝送は、ＩＥＴＦによって特定されている（例えば、ＳＶＣビデオに関するＲＴＰペイロードフォーマット、ＩＥＴＦ、２００９年３月６日参照）。ベース層及びエンハンスメント層ＮＡＬＵは、別々のＲＴＰパケット内にパケット化されてもよい。図４は、本発明の例示の実施形態に従って、ＳＶＣベース層のみを送信するＲＴＰパケットストリームを示している。パケットの各々のＲＴＰタイムスタンプは、コンテンツのサンプリングタイムスタンプに設定されている。

【0030】

図２の例示のシステム２００を参照すると、サーバ２１０のパケタイザ２１４が、ＲＴＰヘッダタイムスタンプ領域内にコピーされているタイミング情報を用いて、ＲＴＰプロトコルに従ってＳＶＣベース層ＮＡＬＵをパケット化している。デパケタイザ２５４は、ＳＴＢのネットワークバッファ（図示せず）からＳＴＢによって受信されたパケットを読み込んで、関連するタイミング情報を有するベース層ＮＡＬＵを抽出する。

【0031】

そこから抽出されたタイミング情報に基づいて、ＳＴＢ２５０内の同期化及び結合モジュール２５５が、デパケタイザ２５４及びファイルリーダ２５６から得られたベース及びエンハンスメント層ＮＡＬＵを同期化及び結合する。同期化の後、生ＲＴＰストリームから非パケット化されたベース層ＮＡＬＵと事前にダウンロードされていたＭＰ４ファイルから抽出される対応するエンハンスメントＮＡＬＵとが結合される。例示の実施形態において、ベース層ＮＡＬＵとエンハンスメント層ＮＡＬＵとの結合は、デコーダ２５９に対して、正確なデコーディング順序でＮＡＬＵを表示することを含んでもよい。結合されたＮＡＬＵは、その後、適切なＳＶＣデコーディングのためにデコーダ２５９に送信される。

【0032】

本発明の原理に従ったＳＴＢ２５０等の受信デバイスの例示の動作方法のフロー図が図５に示されている。５０５において、ＳＴＢは、後に視聴される番組のエンハンスメント層ビデオ（ＥＬＶ）ファイル５０７を、サーバ２１０等から受信して保存する。５１０において、上述の番組の視聴時間に先立って、ＳＴＢ２５０がサーバ２１０から、番組に関連しており、ＲＦＣ２３２７に記載されているセッション記述プロトコル（ＳＤＰ）に従っているようなセッション記述ファイルを受信する。このＳＤＰファイルは、１または複数の関連付けられたエンハンスメント層の存在及びそれらの暗号化情報を特定してもよい。５１５において、ＳＴＢは、ＳＴＢが番組に対して関連付けられたＥＬＶファイルを有しているか、及び上述のようにＥＬＶファイルが上位サービス契約に関係しているＤＲＭによって保護されている場合に、ＳＴＢが当該ＥＬＶファイルを復号して読み込めるかを判定する。そうであるならば、上述のファイルリーダ機能２５６等のＥＬＶファイルリーダ処理が５２０で開始される。

【0033】

５２５において、ＳＴＢは、ＲＴＰストリーミング等によって、ＳＶＣベース層のパケット（１または複数）のフレームを受信する。ベース層フレームの各々は、図４に示されているような、１または複数のパケットによって表されてもよい。５３０において、ベース層フレームは、さらなる処理のために非パケット化される。図４に示されているように、ベース層ＲＴＰパケットの各々は、ＲＴＰヘッダ及びＳＶＣベース層ＮＡＬＵを含む。５３５において判定されるように、関連付けられたＥＬＶファイルが存在し、ＳＴＢがそれを読み込み可能であるならば、動作は５４０に進み、そこにおいて、同期化情報が非パケット化されたベース層フレームから抽出される。このような同期化情報は、例えば、フレームのベース層パケット（１または複数）のヘッダ内のＲＴＰタイムスタンプを含んでもよい。５４５において、ベース層フレームのタイミング情報と合致するタイミング情報を有しているエンハンスメント層アクセスユニットのＮＡＬＵがＥＬＶファイル５０７から読み込まれる。タイミング情報に基づいて、エンハンスメント層ＮＡＬＵを特定する例示の方法が以下に説明されている。ベース層ＮＡＬＵ（１または複数）及びそれに合致するエンハンスメント層ＮＡＬＵ（１または複数）は、５５０において結合、すなわち、それらのタイミング情報に基づいて適切に並べられ、当該結合されたものが表示のために５５５においてデコーディングされる。

【0034】

５３５において、ベース層がＳＴＢにストリーミング配信されている番組に関連付けられているＥＬＶファイルが無い場合、またはＳＴＢがＥＬＶを読み込めない場合、動作は５５５に進み、そこで単独のベース層フレームが視聴のためにデコーディングされる。

【0035】

５６０において、番組が終了を迎えたかに関する判定が行われる。番組に関するベース層パケットがもはや受信されなくなった時に終了を迎える。そうではない場合、動作が５２５にループバックして次のベース層フレームが受信されて、上述の手順が繰り返され、これ以外の場合、図５の処理が終了する。ＥＬＶファイル５０７が番組の終了の前に完全に読み込まれている場合、利用可能であるならば他のＥＬＶファイルが読み込まれるか、または動作はエンハンスメント層無しでベース層のみのデコーディングを行う。

【0036】

上述の例は、ＭＰ４及びＲＴＰを用いて与えられているが、同期化メカニズムは、他の規格形式の中で、例えば、ＭＰ４及びＭＰＥＧ２−ＴＳに適用されてもよい。

【0037】

複数のエンハンスメント層を用いた応用に関して、全てのエンハンスメント層が１または複数のファイルで事前にダウンロードされて、ベース層がストリーミング配信されてもよい。代替的に、１または複数のエンハンスメント層が事前にダウンロードされ、１または複数のエンハンスメント層がベース層とともにストリーミング配信されてもよい。

【0038】

図６は、上述の変更されたＭＰ４ファイル等であって、ＲＴＰストリームにおいて受信されるベース層データに対応している事前ダウンロードメディアコンテナファイル内のエンハンスメント層データを特定する例示の方法を示している。ベース層ＲＴＰパケットＢｎがサーバからストリーミング配信される場合、ＳＴＢは、ストリーミング配信が開始された後のある時点でこのストリーミングを受信（tune into）する（６０５）。ベース層ＲＴＰパケットＢｎの各々は、ストリーム内の第１のパケットのタイムスタンプＢ１（例えば、ｔ１＝０）が基準となるＲＴＰタイムスタンプｔｎを有している。

【0039】

図６の例に示されているように、ＳＴＢは、ベース層パケットＢ２のストリーミングの間に受信を行う。しかし、このストリームを適切にデコーディングするために、ＳＴＢはアクセスポイントを受信しなければならず、この受信はパケットＢ３が受信される際に発生する。パケットＢ３のタイムスタンプは、メディアコンテナファイル内の対応するエンハンスメント層データＥ３を発見するために使用される。換言すれば、メディアコンテナファイル内のトラックタイムラインの開始からｔｎ−ｔ１であるエンハンスメント層データサンプルは、ベース層パケットＢｎに対応しているだろう。データサンプルが上述の変更されたＭＰ４形式等で、それらに対応する存続期間を用いて一覧化された場合、先行するサンプルの存続期間が合計されてトラックタイムラインの開始からのデータサンプルの時間的変位、すなわちＲＴＰタイムスタンプに相当するデータサンプルが決定される。従って、図６で示されているように、Ｅ３は、Ｂ３に対応して決定される。なぜならば、Ｅ１及びＥ２の存続期間の合計ｄＴ１＋ｄＴ２は、ｔ３−ｔ１、ベース層ＲＴＰストリームの開始からのＢ３の時間的変位に等しいからである。このように、ＳＴＢの同期化及び結合モジュール（２５５）は、生ストリーミング放送から得られる第１のアクセスポイントパケット（Ｂｎ）のＲＴＰタイムスタンプを、ＲＴＰストリームの開始からのパケットの時間的変位を決定するための基準点として使用する（すなわち、ｔｎ−ｔ１）。その後、同期化及び結合モジュールは、事前にダウンロードされているエンハンスメント層メディアコンテナファイルの時間とサンプルとを対応させた表（３６０）をチェックし、トラックタイムラインの開始からの同一のまたは実質的に同一の時間的変位を有するエンハンスメント層サンプルを検索する。図６において、Ｂ３及びＥ３は、同期化されてＳＶＣデコーディングに関して一緒に提供される第１のベース及びエンハンスメント層データを表す。

【0040】

上記のことを考慮して、上述の記載は、本発明の原理を例示しているだけであり、当業者が、本明細書内に明示的に記載していなくとも、本発明の原理を含みかつ本発明の精神及び範囲内にある様々な代替の構成を考え出すことが可能であることが理解されるだろう。例えば、別個の機能的要素の文脈で説明されていたとしても、これらの機能的要素は、１つの集積回路（ＩＣ）内、または複数の集積回路（ＩＣ）内で具体化されてもよい。同様に、別個の要素として示されていても、いくつかまたは全ての要素は、例えば、任意の様々な適切な記憶媒体内に具体化されているソフトウェアであって、１または複数のステップに対応する関連付けられたソフトウェアを実行するデジタル信号プロセッサまたは汎用プロセッサ等の、保存されているプログラムによって制御されているプロセッサ内に実装されてもよい。さらに、本発明の原理は、例えば、地上放送波、衛星、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、携帯電話等の、様々なタイプの有線及び無線通信システムに適用可能である。実際、本発明の概念は、固定または携帯受信器に適用可能である。従って、様々な変更を例示の実施形態に対して行うことが可能であり、他の構成も本発明の精神及び範囲から逸脱することなく考え出すことが可能であることが理解されるべきである。
本発明の好ましい実施形態を以下に示す。
付記１．第１の層及び第２の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する方法であって、前記第２の層は前記第１の層の解像度、フレームレート及び品質のうちの少なくとも１つを向上させる情報を含み、前記方法が、
前記第２の層のデータユニットを受信するステップと、
前記第２の層の当該受信されたデータユニットを保存するステップと、
前記第２の層のデータユニットに対応する第１の層のデータユニットを受信するステップと、
前記第１の層の更なるデータユニットを受信する間に前記第１の層のデータユニットを前記第２の層の対応するデータユニットと結合するステップであって、前記第２の層のデータユニットは、前記第１の層の対応するデータユニットが受信される前に受信されて保存される、ステップと、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するステップと
を含むことを特徴とする方法。
付記２．前記結合されたデータユニットのデコーディングが許可されていることをインジケータが示している場合に、前記第２の層のデータユニットが保存されることを特徴とする付記１に記載の方法。
付記３．ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの１つに前記インジケータを設定するステップをさらに含むことを特徴とする付記２に記載の方法。
付記４．前記第１の層のデータユニットの受信に応答して前記第２の層の前記保存されたデータユニットを含むファイルを特定するステップと、
前記第２の層のデータユニットを検索するために前記ファイルにアクセスするステップと
をさらに含むことを特徴とする付記１に記載の方法。
付記５．前記第１の層及び前記第２の層のデータユニットがデジタルサンプルを含み、前記結合するステップが、
マッチング同期化情報を有する前記第１の層内のデジタルサンプル及び前記第２の層内のデジタルサンプルを特定するステップを含むことを特徴とする付記１に記載の方法。
付記６．前記第２の層のデータユニットは、メディアコンテナファイル内に含まれていることを特徴とする付記１に記載の方法。
付記７．前記メディアコンテナファイルは、ＭＰ４ファイルであることを特徴とする付記６に記載の方法。
付記８．前記第１の層のデータユニットは、リアルタイムプロトコルに従ったパケットのストリーム内で伝送されることを特徴とする付記１に記載の方法。
付記９．前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第１の層はベース層であり、前記第２の層はエンハンスメント層であることを特徴とする付記１に記載の方法。
付記１０．前記ベース層は標準解像度ビデオを伝送し、前記エンハンスメント層は高解像度ビデオを伝送することを特徴とする付記９に記載の方法。
付記１１．第１の層及び第２の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第２の層は、前記第１の層の解像度、フレームレート及び品質のうちの少なくとも１つを向上させる情報を含み、前記装置が、
前記第１の層及び前記第２の層のデータユニットを受信する受信器と、
前記第２の層の当該受信されたデータユニットを保存するメモリと、
前記第１の層の更なるデータユニットを受信する間、前記第１の層のデータユニットを前記第２の層の対応するデータユニットに結合する結合器であって、前記第２の層のデータユニットは、前記第１の層の対応するデータユニットが受信される前に受信されかつ保存される、結合器と、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するデコーダと
を含むことを特徴とする装置。
付記１２．当該結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第２の層のデータユニットが保存されることを特徴とする付記１１に記載の装置。
付記１３．ユーザインプットを受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの１つに前記インジケータを設定するインタフェースをさらに含むことを特徴とする付記１２に記載の装置。
付記１４．前記第１の層のデータユニットの受信に応答して前記第２の層の当該保存されたデータユニットを含むファイルを特定しかつ前記第２の層のデータユニットを検索するために前記ファイルにアクセスするファイルリーダをさらに含むことを特徴とする付記１１に記載の装置。
付記１５．前記第１の層及び前記第２の層のデータユニットがデジタルサンプルを含み、前記装置が、
マッチング同期化情報を有する前記第１の層内のデジタルサンプル及び前記第２の層内のデジタルサンプルを特定する同期化器を含むことを特徴とする付記１１に記載の装置。
付記１６．前記第２の層のデータユニットは、メディアコンテナファイル内に含まれることを特徴とする付記１１に記載の装置。
付記１７．前記メディアコンテナファイルは、ＭＰ４ファイルであることを特徴とする付記１６に記載の装置。
付記１８．前記第１の層のデータユニットが、リアルタイムプロトコルに従ったパケットのストリームで前記受信器に伝送されることを特徴とする付記１１に記載の装置。
付記１９．前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第１の層がベース層であり、前記第２の層がエンハンスメント層であることを特徴とする付記１１に記載の装置。
付記２０．前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする付記１９に記載の装置。
付記２１．第１の層及び第２の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第２の層が前記第１の層の解像度、フレームレート及び品質のうちの少なくとも１つを向上させる情報を含み、前記装置が、
第２の層のデータユニットを受信する手段と、
前記第２の層の当該受信されたデータユニットを保存する手段と、
前記第２の層のデータユニットに対応する前記第１の層のデータユニットを受信する手段と、
前記第１の層の更なるデータユニットを受信する間、前記第１の層のデータユニットと前記第２の層の対応するデータユニットとを結合する手段であって、前記第２の層のデータユニットが、前記第１の層の対応するデータユニットが受信される前に、受信されかつ保存される、手段と、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成する手段と
を含むことを特徴とする装置。
付記２２．前記結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第２の層のデータユニットが保存されることを特徴とする付記２１に記載の装置。
付記２３．ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの１つに前記インジケータを設定する手段をさらに含むことを特徴とする付記２２に記載の装置。
付記２４．前記第１の層のデータユニットの受信に応答して前記第２の層の前記保存されたデータユニットを含むファイルを特定しかつ前記第２の層のデータユニットを検索するために前記ファイルにアクセスする手段をさらに含むことを特徴とする付記２１に記載の装置。
付記２５．前記第１の層及び前記第２の層のデータユニットがデジタルサンプルを含み、前記装置が、
マッチング同期化情報を有する前記第１の層内のデジタルサンプル及び前記第２の層内のデジタルサンプルを特定する手段を含むことを特徴とする付記２１に記載の装置。
付記２６．前記第２の層のデータユニットがメディアコンテナファイル内に含まれていることを特徴とする付記２１に記載の装置。
付記２７．前記メディアコンテナファイルがＭＰ４ファイルであることを特徴とする付記２６に記載の装置。
付記２８．前記第１の層のデータユニットがリアルタイムプロトコルに従ったパケットのストリームで伝送されることを特徴とする付記２１に記載の装置。
付記２９．前記デジタルビデオ信号が、スケーラブルビデオコーディングに従ってエンコーディングされ、前記第１の層がベース層であり、前記第２の層がエンハンスメント層であることを特徴とする付記２１に記載の装置。
付記３０．前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする付記２９に記載の装置。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】