特許 6614139 送信装置、送信方法、受信装置および受信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6614139

(24)【登録日】2019年11月15日

(45)【発行日】2019年12月4日

(54)【発明の名称】送信装置、送信方法、受信装置および受信方法

(51)【国際特許分類】

   H04N 21/236 20110101AFI20191125BHJP

   H04N 21/235 20110101ALI20191125BHJP

   H04N 21/438 20110101ALI20191125BHJP

   H04N 21/434 20110101ALI20191125BHJP

   H04N 19/31 20140101ALI20191125BHJP

   H04N 19/70 20140101ALI20191125BHJP

【ＦＩ】

   H04N21/236

   H04N21/235

   H04N21/438

   H04N21/434

   H04N19/31

   H04N19/70

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2016-514910(P2016-514910)

(86)(22)【出願日】2015年4月20日

(86)【国際出願番号】JP2015061937

(87)【国際公開番号】WO2015163267

(87)【国際公開日】20151029

【審査請求日】2018年4月17日

(31)【優先権主張番号】特願2014-92083(P2014-92083)

(32)【優先日】2014年4月25日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】塚越 郁夫

【審査官】 冨田 高史

(56)【参考文献】

【文献】 国際公開第２０１４／０５０５９７（ＷＯ，Ａ１）

【文献】 Recommendation ITU-T H.222.0(2012) - Amendment 3，ITU-T，２０１４年 １月，ＵＲＬ，https://www.itu.int/rec/T-REC-H.222.0-201401-S!Amd3/en

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを生成する画像符号化部を備え、
上記符号化画像データには所属階層を示す階層識別情報が付加されており、
上記符号化画像データと共に最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と最大階層を示す情報を送信する送信部をさらに備え、
上記複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値は、それぞれの階層範囲における上記最大階層以下の全ての階層のピクチャの符号化画像データを持つビットストリームのレベル指定値である
送信装置。

【請求項2】

上記送信部は、
上記情報を、上記符号化画像データを含むコンテナのレイヤに挿入して送信する
請求項１に記載の送信装置。

【請求項3】

上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記送信部は、上記情報をプログラムマップテーブルの配下に挿入して送信する
請求項２に記載の送信装置。

【請求項4】

動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを生成する手順を有し、
上記符号化画像データには階層識別情報が付加されており、
上記符号化画像データと共に最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と最大階層を示す情報を送信する手順をさらに有し、
上記複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値は、それぞれの階層範囲における上記最大階層以下の全ての階層のピクチャの符号化画像データを持つビットストリームのレベル指定値である
送信方法

【請求項5】

動画像データを構成する各ピクチャの画像データが階層符号化されて得られた各階層のピクチャの符号化画像データと共に、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と最大階層を示す情報を受信する受信部を備え、
上記符号化画像データには階層識別情報が付加されており、
上記複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値は、それぞれの階層範囲における上記最大階層以下の全ての階層のピクチャの符号化画像データを持つビットストリームのレベル指定値であり、
上記情報に基づいて、上記符号化画像データから所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する処理部をさらに備える
受信装置。

【請求項6】

動画像データを構成する各ピクチャの画像データが階層符号化されて得られた各階層のピクチャの符号化画像データと共に、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と最大階層を示す情報を受信する手順を有し、
上記符号化画像データには階層識別情報が付加されており、
上記複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値は、それぞれの階層範囲における上記最大階層以下の全ての階層のピクチャの符号化画像データを持つビットストリームのレベル指定値であり、
上記情報に基づいて、上記符号化画像データから所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する手順をさらに有する
受信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、送信装置、送信方法、受信装置および受信方法に関し、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。

【背景技術】

【0002】

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。

【0003】

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。

【0004】

例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12,pp. 1649-1668, DECEMBER 2012

【発明の概要】

【発明が解決しようとする課題】

【0006】

本技術の目的は、受信側においてデコード能力に応じた良好なデコード処理を可能とすることにある。

【課題を解決するための手段】

【0007】

本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオデータを送信するデータ送信部と、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信する情報送信部とを備える
送信装置にある。

【0008】

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオデータが生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの画像データを持つデータストリームが生成される。送信部により、このビデオデータが送信される。

【0009】

情報送信部により、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が送信される。例えば、情報送信部は、情報を、ビデオデータを含むコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、コンテナは、ＭＰＥＧ２−ＴＳであり、情報送信部は、情報をプログラムマップテーブルの配下に挿入して送信する、ようにされてもよい。また、例えば、情報送信部は、情報を、ビデオデータに関するメタ情報を持つメタファイルに挿入して送信する、ようにされてもよい。この場合、例えば、メタファイルは、ＭＰＤファイルである、ようにされてもよい。

【0010】

このように本技術においては、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が送信されるものである。そのため、受信側では、デコード性能に応じた階層範囲のピクチャの符号化画像データをデコードすることが容易となる。

【0011】

なお、本技術において、例えば、情報送信部は、プロファイルの情報と共に、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信する、ようにされてもよい。この場合、受信側では、ビットストリームのレベル指定値の他に、プロファイルの情報に基づいて、デコード性能に応じた階層範囲を確認することが可能となる。

【0012】

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを受信するデータ受信部と、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を受信する情報受信部と、
上記情報に基づいて、上記ビデオデータから所定階層以下の階層のピクチャの画像データを取り出して復号化する処理部を備える
受信装置にある

【0013】

本技術において、受信部により、ビデオデータが受信される。このビデオデータは、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの画像データを持っている。

【0014】

情報受信部により、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が受信される。例えば、情報受信部は、ビデオデータを含むコンテナのレイヤから情報を取得する、ようにされてもよい。また、例えば、情報受信部は、ビデオデータに関するメタ情報を持つメタファイルから情報を取得する、ようにされてもよい。処理部により、この情報に基づいて、ビデオデータから所定階層以下の階層のピクチャの画像データが取り出されて復号化される。

【0015】

このように本技術においては、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が受信され、この情報に基づいてビデオデータから所定階層以下の階層のピクチャの画像データが取り出されて復号化されるものである。そのため、デコード性能に応じた階層範囲のピクチャの符号化画像データをデコードすることが容易となる。

【発明の効果】

【0016】

本技術によれば、受信側においてデコード能力に応じた良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0017】

【図1】実施の形態としての送受信システムの構成例を示すブロック図である。

【図2】ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。

【図3】階層符号化の一例を示す図である。

【図4】「level_idc」と、その値の一例を示す図である。

【図5】送信装置の構成例を示すブロック図である。

【図6】要素を追加したＨＥＶＣデスクリプタの構造例を示す図である。

【図7】レイヤ・シグナリング・デスクリプタの構造例を示す図である。

【図8】レイヤ・シグナリング・デスクリプタの構造例における主要な情報の内容を示す図である。

【図9】プロファイルレイヤの構成例を説明するための図である。

【図10】トランスポートストリームＴＳの構成例を示す図である。

【図11】受信装置の構成例を示すブロック図である。

【図12】デマルチプレクサおよびデコーダの構成を概略的に示す図である。

【図13】テンポラルＩＤ解析部の振舞を概略的に示す図である。

【図14】デコーダ、ポスト処理部の処理フローの一例を示す図である。

【図15】ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの構成例を示す図である。

【図16】ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。

【図17】FragmentedMP4ストリームの構成例をＭＰＤファイルに対応付けて示す図である。

【図18】ＭＰＤファイルの実現例を示す図である。

【発明を実施するための形態】

【0018】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

【0019】

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

【0020】

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオデータが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。

【0021】

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことが可能となる。

【0022】

図２（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図２（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。

【0023】

トランスポートストリームＴＳには、単一のビデオストリームが含まれる。また、このトランスポートストリームＴＳには、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が挿入される。この情報は、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に挿入される。

【0024】

図３は、階層符号化の一例を示し、矩形枠のそれぞれがピクチャを示している。図３（ａ）は、最上位階層が３とされた例である。例えば、最大階層を階層３とする階層範囲のビットストリームのレベル指定値は２１６０/１００Ｐのサービスに対応する“level5.2”とされ、階層範囲の情報は０〜３を示すものとされる。また、例えば、最大階層を階層２とする階層範囲のビットストリームのレベル指定値は２１６０/５０Ｐのサービスに対応する“level5.1”とされ、階層範囲の情報は０〜２を示すものとされる。

【0025】

図３（ｂ）は、最上位階層が３とされた例である。例えば、最大階層を階層３とする階層範囲のビットストリームのレベル指定値は２１６０/１００Ｐのサービスに対応する“level5.2”とされ、階層範囲の情報は０〜３を示すものとされる。また、例えば、最大階層を階層２とする階層範囲のビットストリームのレベル指定値は２１６０/５０Ｐのサービスに対応する“level5.1”とされ、階層範囲の情報は０〜２を示すものとされる。

【0026】

図３（ｃ）は、最上位階層が４とされた例である。例えば、最大階層を階層４とする階層範囲のビットストリームのレベル指定値は２１６０/１００Ｐのサービスに対応する“level5.2”とされ、階層範囲の情報は０〜４を示すものとされる。また、例えば、最大階層を階層３とする階層範囲のビットストリームのレベル指定値は２１６０/５０Ｐのサービスに対応する“level5.1”とされ、階層範囲の情報は０〜３を示すものとされる。また、例えば、最大階層を階層２とする階層範囲のビットストリームのレベル指定値は２１６０/２５Ｐのサービスに対応する“level5”とされ、階層範囲の情報は０〜２を示すものとされる。

【0027】

ここで、「level_idc」の値について説明する。図４は、「level_idc」と、その値の一例を示している。例えば、１０８０/５０Ｐのサービスに対応する「level_idc」は“level4.1”であり、その値は１０進数で“１２３”、１６進数で“０ｘ７ｂ”である。この“level4.1”を表すために、後述するＨＥＶＣデスクリプタに「ls4b_sublayer_level_idc」として記載されるのは下位４ビットの“ｂ”である。また、例えば、１０８０/１００Ｐのサービスに対応する「level_idc」は“level4.2”であり、その値は１０進数で“１２６”、１６進数で“０ｘ７ｅ”である。

【0028】

また、例えば、２１６０/５０Ｐのサービスに対応する「level_idc」は“level5.1”であり、その値は１０進数で“１５３”、１６進数で“０ｘ９９”である。この“level5.1”を表すために、後述するＨＥＶＣデスクリプタに「ls4b_sublayer_level_idc」として記載されるのは下位４ビットの“９”である。また、例えば、２１６０/１００Ｐのサービスに対応する「level_idc」は“level5.2”であり、その値は１０進数で“１５６”、１６進数で“０ｘ９ｃ”である。

【0029】

また、例えば、４３２０/５０Ｐのサービスに対応する「level_idc」は“level6.1”であり、その値は１０進数で“１８３”、１６進数で“０ｘｂ７”である。この“level6.1”を表すために、後述するＨＥＶＣデスクリプタに「ls4b_sublayer_level_idc」として記載されるのは下位４ビットの“７”である。また、例えば、４３２０/１００Ｐのサービスに対応する「level_idc」は“level6.2”であり、その値は１０進数で“１８６”、１６進数で“０ｘｂａ”である。

【0030】

受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオデータから、自身のデコード能力に合わせて、所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する。この際、受信装置２００は、上述したようにトランスポートストリームＴＳに挿入されている、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報に基づいて行う。

【0031】

「送信装置の構成」
図５は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

【0032】

エンコーダ１０２は、非圧縮の動画像データＶＤを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データＶＤを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリーム（ビデオデータ）を生成する。

【0033】

エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化画像データを含むビデオストリームを、一時的に蓄積する。

【0034】

マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、単一のビデオストリームが含まれる。マルチプレクサ１０４は、コンテナのレイヤに、最大階層を異にする複数の階層範囲（レベルレイヤ）におけるビットストリームのレベル指定値と階層範囲の情報を挿入する。送信部１０５は、マルチプレクサ１０４で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

【0035】

［情報の挿入について］
マルチプレクサ１０４における情報の挿入についてさらに説明する。この情報の挿入には、既存のＨＥＶＣデスクリプタ（HEVC_descriptor）あるいは新規定義するレイヤ・シグナリング・デスクリプタ（Layer_signaling descriptor）が用いられる。

【0036】

図６は、従来のＨＥＶＣデスクリプタに要素を追加した場合の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

【0037】

「profile_idc」の８ビットフィールドは、ビットストリームのプロファイルを示す。「level_idc」の８ビットフィールドは、最上位階層におけるビットストリームのレベル指定値を示す。「ls4b_sublayer_level_idc」の４ビットフィールドは、最上位階層より低い階層（例えば、最上位階層の１つ下の階層）におけるビットストリームのレベル指定値を示す。この場合、１６進数の表現で下位４ビットが配置される。

【0038】

また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」、「temporal_id_max」、「temporal_id_sublayer_min」、「temporal_id_sublayer_max」のそれぞれ３ビットフィールドが存在する。「temporal_id_max」は、最大階層を最上位階層とする階層範囲の最も高い階層、つまり最上位階層のtemporal_idの値を示し、「temporal_id_min」はその階層範囲の最も低い階層のtemporal_idの値を示す。また、「temporal_id_sublayer_max」は、最大階層を、最上位階層より低い階層（通常は、最上位階層の１つ下の階層）とする階層範囲の最も高い階層のtemporal_idの値を示し、「temporal_id_sublayer_min」その階層範囲の最も低い階層のtemporal_idの値を示す。

【0039】

例えば、図３（ａ）に示す階層符号化例における各フィールドの記述の具体例を説明する。「level_idc」の８ビットフィールドには、“level5.2”の値である“０ｘ９ｃ”が記述される。「ls4b_sublayer_level_idc」の４ビットフィールドには、“level5.1”の値である“０ｘ９９”のうち“９”が記述される。

【0040】

「temporal_id_max」の３ビットフィールドにはtemporal_id ＝３を示す“０１１”が記述され、「temporal_id_min」の３ビットフィールドにはt temporal_id ＝０を示す“０００”が記述される。また、「temporal_id_sublayer_max」の３ビットフィールドにはtemporal_id ＝２を示す“０１０”が記述され、「temporal_id_min」の３ビットフィールドにはtemporal_id ＝０を示す“０００”が記述される。

【0041】

図７は、レイヤ・シグナリング・デスクリプタ（Layer_signaling descriptor）の構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。上述したＨＥＶＣデスクリプタ（図６参照）では、２つの階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報が送信されるが、このレイヤ・シグナリング・デスクリプタでは、３つ以上の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信することも可能である。

【0042】

「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・シグナリング・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

【0043】

「overall_profile_idc」の８ビットフィールドは、スケーラブルな符号化ツール関係の最大範囲のプロファイル（profile）を示す。「highest_level_idc」の８ビットフィールドは、スケーラブルな範囲の最大レベルを示す。「number_of_profile_layers」の８ビットフィールドは、スケーラブルな機能を持つプロファイルレイヤ（profile layer）の数を示す。「number_of_level_layers」は、レベルレイヤ（level layer）の数を示す。

【0044】

「layer_profile_idc[i]」の８ビットフィールドは、各プロファイルレイヤ（profile layer）のプロファイルを示す。「layer_level_idc[i][j]」の８ビットフィールドは、各レベルレイヤ（level layer）のレベルを示す。「temporal_id_layer_min[i][j]」の８ビットフィールドは、各レベルレイヤの最小のtemporal_idの値を示す。「temporal_id_layer_max[i][j]」の８ビットフィールドは、各レベルレイヤの最大のtemporal_idの値を示す。

【0045】

例えば、図３（c）に示す階層符号化例における、レベルに係る各フィールドの記述の具体例を説明する。「highest_level_idc」の８ビットフィールドには、“level5.2”の値である“０ｘ９ｃ”が記述される。「number_of_level_layers」の８ビットフィールドには、階層４，３，２をそれぞれ最大階層とする３つの階層範囲を設定する場合には、レベルレイヤの数が３つであるとして、「３」が記述される。

【0046】

そして、１番目のレベルレイヤに関し、「layer_level_idc[i][j]」の８ビットフィールドには、“level5.2”の値である“０ｘ９ｃ”が記述され、「temporal_id_layer_max[i][j]」の８ビットフィールドには、temporal_id ＝４を示す“１００”が記述され、「temporal_id_layer_min[i][j]」の８ビットフィールドには、temporal_id ＝０を示す“０００”が記述される。

【0047】

また、２番目のレベルレイヤに関し、「layer_level_idc[i][j]」の８ビットフィールドには、“level5.1”の値である“０ｘ９９”が記述され、「temporal_id_layer_max[i][j]」の８ビットフィールドには、temporal_id ＝３を示す“０１１”が記述され、「temporal_id_layer_min[i][j]」の８ビットフィールドには、temporal_id ＝０を示す“０００”が記述される。

【0048】

また、３番目のレベルレイヤに関し、「layer_level_idc[i][j]」の８ビットフィールドには、“level5”の値である“０ｘ９６”が記述され、「temporal_id_layer_max[i][j]」の８ビットフィールドには、temporal_id ＝２を示す“０１０”が記述され、「temporal_id_layer_min[i][j]」の８ビットフィールドには、temporal_id ＝０を示す“０００”が記述される。

【0049】

ここで、図９を参照して、プロファイルレイヤの構成例を説明する。図９（ａ）は、「Profile_layering_id = 0」のメインプロファイル（Main Profile）のベースストリームに、「Profile_layering_id = 1」のスケーラブルメインプロファイル（Scalable Main Profile）の拡張ストリームとして、差分データを符号化することで、２つのストリームによって、ベースストリームだけの場合と比較して、 画質が向上した８ビット画像を符号化する例である。

【0050】

図９（ｂ）は、「Profile_layering_id = 0」のメイン１０プロファイル（Main Profile）のベースストリームに、「Profile_layering_id = 1」のスケーラブルメイン１０プロファイル（Scalable Main10 Profile ）の拡張ストリームとして、差分データを符号化することで、２つのストリームによって、ベースストリームだけの場合と比較して、 画質が向上した１０ビット画像を符号化する例である。

【0051】

図９（ｃ）は、「Profile_layering_id = 0」のメインプロファイル（Main Profile）のベースストリームに、「Profile_layering_id = 1」のスケーラブルメインプロファイル（Scalable Main Profile）の拡張ストリーム１として、差分データを符号化することで、２つのストリームによって、ベースストリームだけの場合と比較して、 画質が向上した８ビット画像を符号化する例である。さらに、「Profile_layering_id = 2」のスケーラブルメインプロファイル（Scalable Main Profile）の拡張ストリーム２として、１０ビット、８ビットの間の差分データを符号化することで、１０ビットの精度を持つ画像を符号化する。

【0052】

なお、スケーラブル拡張のストリームによる表示の付加価値は、上述のような画質向上のみでなく、空間解像度の増加、色域の拡大、輝度レベルの拡大に関してのスケーラブル拡張にも適用できる。これらの各ストリームに関し、受信機のデコーダ入力バッファからのパケットを解析することで、適宜読み分けを行って、所望のデコードが可能になる。

【0053】

[トランスポートストリームＴＳの構成]
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１つのビデオストリームが含まれている。すなわち、この構成例では、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。

【0054】

各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている

【0055】

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

【0056】

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES1 loop）が存在する。

【0057】

ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）、レイヤ・シグナリング・デスクリプタ（Layer_signaling descriptor）が挿入される。なお、レイヤ・シグナリング・デスクリプタは、図６に示すような、要素を追加したＨＥＶＣデスクリプタが用いられる場合には、挿入されない。

【0058】

図５に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データＶＤを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリーム（ビデオデータ）が生成される。この場合、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。

【0059】

エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、単一のビデオストリームが含まれる。

【0060】

このようにマルチプレクサ１０４でトランスポートストリームＴＳが生成されるとき、コンテナのレイヤに、最大階層を異にする複数の階層範囲におけるビットストリームのレベル指定値と階層範囲の情報が挿入される。例えば、プログラムマップテーブル（ＰＭＴ）の配下に、要素を追加したＨＥＶＣデスクリプタ（図６参照）あるいはレイヤ・シグナリング・デスクリプタ（図７参照）が挿入される。マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

【0061】

「受信装置の構成」
図１１は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

【0062】

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、それに含まれるビデオストリームを構成するＴＳパケットをＰＩＤフィルタでフィルタリングして取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。

【0063】

また、デマルチプレクサ２０３は、トランスポートストリームＴＳから、セクションデータデータを取り出し、ＣＰＵ２０１に送る。このセクションデータには、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）、レイヤ・シグナリング・デスクリプタ（Layer_signaling descriptor）も含まれる。ＣＰＵ２０１は、これらのデスクリプタにビットストリームのレベル指定値と階層範囲の情報を伴って示された複数の階層範囲から、デコーダ２０５がデコード可能な階層範囲を決定し、その階層範囲のテンポラルＩＤ（temporal_id）の情報をデコーダ２０５に送る。

【0064】

また、デマルチプレクサ２０３は、ＰＣＲ（Program Clock Reference）が含まれるＴＳパケットからＰＣＲを抽出し、ＣＰＵ２０１に送る。また、デマルチプレクサ２０３は、ピクチャ毎にＰＥＳヘッダに挿入されているタイムスタンプ（ＤＴＳ、ＰＴＳ）を抽出し、ＣＰＵ２０１に送る。

【0065】

圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３から転送されるＴＳパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。この際、デコーダ２０５は、ＣＰＵ２０１から与えられるデコード可能な階層範囲のテンポラルＩＤ（temporal_id）の情報に基づいて、デコード可能な階層範囲に含まれるピクチャの符号化画像データのみを選択的にデコードする。

【0066】

図１２は、デマルチプレクサ２０３およびデコーダ２０５の構成例を概略的に示している。デマルチプレクサ２０３は、ビデオ多重化バッファ２０３ａと、セクションデータバッファ２０３ｂを有している。トランスポートストリームＴＳからＰＩＤフィルタで取り出された、放送サービスチャネルに相当するプログラムナンバー（program number）に対応したＴＳパケットは、ビデオ多重化バッファ２０３ａに一時的に蓄積された後に、圧縮データバッファ２０４に転送される。また、トランスポートストリームＴＳからＰＩＤフィルタで取り出されたセクションデータは、セクションデータバッファ２０３ｂ一時的に蓄積された後に、ＣＰＵ２０１に送られる。

【0067】

また、デコーダ２０５は、テンポラルＩＤ解析部２０５ａと、デコード処理部２０５ｂを有している。テンポラルＩＤ解析部２０５ａは、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化データをデコードタイミングで順次読み出し、ＮＡＬユニットヘッダに挿入されているテンポラルＩＤ（temporal_id）の情報を解析する。そして、テンポラルＩＤ解析部２０５ａは、デコード可能な階層範囲にあればデコード処理部２０５ｂに転送し、デコード可能な階層範囲になければデコード処理部２０５ｂに転送せずに捨てる。なお、テンポラルＩＤ解析部２０５ａには、ＣＰＵ２０１から、デコード可能な階層範囲のテンポラルＩＤ（temporal_id）の情報が与えられる。

【0068】

例えば、図３（ａ）の階層符号化例の場合を考えてみる。例えば、デコーダ２０５が１００ｐデコーダである場合、ＣＰＵ２０１からテンポラルＩＤ解析部２０５ａには、デコード可能な階層範囲のテンポラルＩＤ情報として「０〜３」が与えられる。そのため、テンポラルＩＤ解析部２０５ａは、階層０〜３のピクチャの符号化画像データをデコード処理部２０５ｂに送る。

【0069】

一方、デコーダ２０５が５０ｐデコーダである場合、ＣＰＵ２０１からテンポラルＩＤ解析部２０５ａには、デコード可能な階層範囲のテンポラルＩＤ情報として「０〜２」が与えられる。そのため、テンポラルＩＤ解析部２０５ａは、階層０〜２のピクチャの符号化画像データをデコード処理部２０５ｂに送る。一方、テンポラルＩＤ解析部２０５ａは、階層３のピクチャの符号化画像データをデコード処理部２０５ｂに送ることなく捨てる。図１３は、このようなテンポラルＩＤ解析部２０５ａの振舞を、概略的に示している。なお、「tid = high」は、階層３を示し、「tid = low」は、階層０〜２を示している。

【0070】

図１１に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６からＰＴＳ（Presentation Time stamp）で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。

【0071】

例えば、デコード後の各ピクチャの画像データのフレームレートが５０ｆｐｓであって、表示能力が１００ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１００ｆｐｓの画像データとして表示部２０８に送る。

【0072】

表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。

【0073】

図１４は、デコーダ２０５、ポスト処理部２０７の処理フローの一例を示している。ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、デコーダ２０５は、圧縮データバッファ（ｃｐｂ）２０４からデコードタイミングでデコード対象のビデオストリーム（デコード対象のピクチャの符号化画像データ）を読み出し、テンポラルＩＤ（temporal_id）を検知する。

【0074】

次に、デコーダ２０５は、ステップＳＴ３において、ステップＳＴ２で検知されたテンポラルＩＤ（temporal_id）がデコード可能範囲に含まれるか判断する。含まれないとき、デコーダ２０５は、デコード処理を行うことなく、ステップＳＴ２の処理に戻る。一方、含まれるとき、デコーダ２０５は、ステップＳＴ４の処理に移る。このステップＳＴ４において、デコーダ２０５は、デコード処理を行って、デコード後のピクチャの画像データを非圧縮データバッファ（ｄｐｂ）２０６に転送する。

【0075】

次に、ポスト処理部２０７は、ステップＳＴ５において、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで表示対象のピクチャの画像データの画像データを読み出す。次に、ポスト処理部２０７は、ステップＳＴ６において、ディスプレイ表示周波数と非圧縮データバッファ（ｄｐｂ）２０６からの読み出し周波数が異なるか判断する。異なっているとき、ポスト処理部２０７は、ステップＳＴ７において、ピクチャのフレーム補間あるいは間引きを行うことで、ディスプレイ表示周波数に合わせる。ステップＳＴ７の処理の後、ステップＳＴ８において、処理を終了する。また、ステップＳＴ６で異なっていないとき、直ちに、ステップＳＴ８において、処理を終了する。

【0076】

図１１に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＭＴに含まれるＰＩＤ情報に基づいて、サービスに対応したＴＳパケットが取り出される。このＴＳパケットは、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。

【0077】

また、デマルチプレクサ２０３では、トランスポートストリームＴＳから、セクションデータが取り出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、ＨＥＶＣデスクリプタやレイヤ・シグナリング・デスクリプタに、ビットストリームのレベル指定値と階層範囲の情報を伴って示された複数の階層範囲から、デコーダ２０５がデコード可能な階層範囲が決定され、その階層範囲のテンポラルＩＤ（temporal_id）の情報がデコーダ２０５に送られる。

【0078】

デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、デコーダ２０５では、ＣＰＵ２０１から与えられるデコード可能な階層範囲のテンポラルＩＤ（temporal_id）の情報に基づいて、デコード可能な階層範囲に含まれるピクチャの符号化画像データのみが選択的にデコードされる。

【0079】

非圧縮データバッファ（ｄｐｂ）２０６に蓄積された各ピクチャの画像データは、表示タイミングで順次読み出されて、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間またはサブサンプル、あるいは間引きが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、表示部２０８に供給され、各ピクチャの画像データによる動画像の表示が行われる。

【0080】

以上説明したように、図１に示す送受信システム１０において、送信装置１００では、トランスポートストリームＴＳのコンテナのレイヤに、要素を追加したＨＥＶＣデスクリプタ（図６参照）、あるいはレイヤ・シグナリング・デスクリプタ（図７参照）が挿入される。これらのデスクリプタは、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を持つものである。そのため、例えば、受信側では、この情報に基づいて、デコード性能に応じた階層範囲のピクチャの符号化画像データをデコードすることが容易に可能となる。

【0081】

＜２．変形例＞
［ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムへの適用］
なお、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。

【0082】

図１５（ａ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０の構成例を示している。このストリーム配信システム３０は、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個の受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。

【0083】

ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。

【0084】

また、ＤＡＳＨストリームファイルサーバ３１は、受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。

【0085】

ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。

【0086】

ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。受信機３３では、そのレートの値を参考にして、上述したように、受信機３３の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。

【0087】

図１５（ｂ）も、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ａの構成例を示している。このストリーム配信システム３０Ａは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２が接続された放送送出システム３６と、Ｍ個の受信機３５-1，３５-2，・・・，３５-Mとで構成されている。このストリーム配信システム３０Ａの場合、放送送出システム３６は、ＤＡＳＨストリームファイルサーバ３１で生成されるＤＡＳＨ仕様のストリームセグメント（ＤＡＳＨセグメント）およびＤＡＳＨ ＭＰＤサーバ３２で生成されるＭＰＤファイルを、放送波に載せて送信する。

【0088】

図１６は、上述のＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図１６（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。

【0089】

図１６（ｂ）に示すように、ピリオドには、複数のリプレゼンテーション（Representation）が存在する。この複数のリプレゼンテーションには、アダプテーションセット（AdaptationSet）でグルーピングされる、ストリーム属性、例えばレートの異なる同一内容のビデオデータストリームに係るリプレゼンテーション群が存在する。

【0090】

図１６（ｃ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図１６（ｄ）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。

【0091】

なお、アダプテーションセットでグルーピングされている複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、ＩＰＴＶクライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのない動画配信が可能となる。

【0092】

図１７は、FragmentedMP4ストリームの構成例を、ＭＰＤファイルに対応付けて、示している。FragmentedMP4ストリームには、ビデオストリームをパケット化して得られたFragmentedMP4が含まれている。FragmentedMP4の「mdat」の部分にビデオストリームの所定ピクチャ分、例えば１ＧＯＰ分の符号化ビデオデータが挿入される。

【0093】

図１５（ａ），（ｂ）に示すストリーム配信システム３０，３０Ａにも、本技術を適用できる。この場合、ビデオストリームは、上述の実施の形態と同様に階層符号化されたものとされる。また、ＭＰＤファイルに、例えば、上述のレイヤ・シグナリング・デスクリプタ（図７参照）の記述内容と同等の内容が挿入されて、受信側に送られる。図１８は、ＭＰＤファイルの実現例を示している。

【0094】

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

【0095】

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化部と、
上記ビデオデータを送信するデータ送信部と、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信する情報送信部とを備える
送信装置。
（２）上記情報送信部は、
上記情報を、上記ビデオデータを含むコンテナのレイヤに挿入して送信する
前記（１）に記載の送信装置。
（３）上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記情報送信部は、上記情報をプログラムマップテーブルの配下に挿入して送信する
前記（２）に記載の送信装置。
（４）上記情報送信部は、
上記情報を、上記ビデオデータに関するメタ情報を持つメタファイルに挿入して送信する
前記（１）に記載の送信装置。
（５）上記メタファイルは、ＭＰＤファイルである
前記（４）に記載の送信装置。
（６）上記情報送信部は、プロファイルの情報と共に、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信する
前記（１）から（５）のいずれかに記載の送信装置。
（７）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化ステップと、
上記ビデオデータを送信するデータ送信ステップと、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を送信する情報送信ステップとを備える
送信方法。
（８）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを受信するデータ受信部と、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を受信する情報受信部と、
上記情報に基づいて、上記ビデオデータから所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する処理部を備える
受信装置。
（９）上記情報受信部は、
上記ビデオデータを含むコンテナのレイヤから上記情報を取得する
前記（８）に記載の受信装置。
（１０）上記情報受信部は、
上記ビデオデータに関するメタ情報を持つメタファイルから上記情報を取得する
前記（８）に記載の受信装置。
（１１）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを受信するデータ受信ステップと、
最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報を受信する情報受信ステップと、
上記情報に基づいて、上記ビデオデータから所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する処理ステップを備える
受信方法。

【0096】

本技術の主な特徴は、階層符号化されたビデオデータを送信する際に、最大階層を異にする複数の階層範囲のそれぞれにおけるビットストリームのレベル指定値と階層範囲の情報をも送信することで、受信側において、デコード性能に応じた階層範囲のピクチャの符号化画像データをデコードすることを容易としたことである（図１０、図６、図７参照）。

【0097】

１０・・・送受信システム
３０，３０Ａ・・・ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム
３１・・・ＤＡＳＨストリームファイルサーバ
３２・・・ＤＡＳＨ ＭＰＤサーバ
３３-1，３３-2，・・・，３３-N，３５-1，３５-2，・・・，３５-M・・・受信機
３４・・・ＣＤＮ（Content Delivery Network）
３６・・・放送送出システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０３ａ・・・ビデオ多重化バッファ
２０３ｂ・・・セクションデータバッファ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０５ａ・・・テンポラルＩＤ解析部
２０５ｂ・・・デコード処理部
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】