特許 6576635 送信装置、送信方法、受信装置および受信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6576635

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】送信装置、送信方法、受信装置および受信方法

(51)【国際特許分類】

   H04N 19/31 20140101AFI20190909BHJP

   H04N 19/70 20140101ALI20190909BHJP

【ＦＩ】

   H04N19/31

   H04N19/70

【請求項の数】5

【全頁数】31

(21)【出願番号】特願2014-522604(P2014-522604)

(86)(22)【出願日】2013年6月21日

(86)【国際出願番号】JP2013067147

(87)【国際公開番号】WO2014002914

(87)【国際公開日】20140103

【審査請求日】2016年6月8日

【審判番号】不服2017-18937(P2017-18937/J1)

【審判請求日】2017年12月21日

(31)【優先権主張番号】特願2012-144979(P2012-144979)

(32)【優先日】2012年6月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】316009762

【氏名又は名称】サターン ライセンシング エルエルシー

【氏名又は名称原語表記】Ｓａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】湯沢 啓二

(72)【発明者】

【氏名】鈴木 輝彦

【合議体】

【審判長】 鳥居 稔

【審判官】 清水 正一

【審判官】 菊池 智紀

(56)【参考文献】

【文献】 米国特許出願公開第２００９／００４１１２９（ＵＳ，Ａ１）

【文献】 特表２００９−５１０９５２（ＪＰ，Ａ）

【文献】 特表２０１０−５０７３４６（ＪＰ，Ａ）

【文献】 Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６４，Ｈ．２６４（０１／２０１２），ＩＴＵ−Ｔ，２０１２年１月，ｐｐ．３９９−４００［Ｇ．７．３．１．１ ＮＡＬ ｕｎｉｔ ｈｅａｄｅｒ ＳＶＣ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ］，４１０−４１２［Ｇ．７．４．１．１ ＮＡＬ ｕｎｉｔ ｈｅａｄｅｒ ＳＶＣ ｅｘｔｅｎｓｉｏｎ ｓｅｍａｎｔｉｃｓ］

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 19/00 - 19/98

(57)【特許請求の範囲】

【請求項1】

動画像データを構成する各ピクチャの画像データを被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように階層符号化し、それぞれに所属階層を識別するための階層識別情報が付加された、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含むと共に、該ビデオストリームに対応して、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を持つデスクリプタを含むトランスポートストリームを送信する送信部を備える
送信装置。

【請求項2】

上記デスクリプタは、上記最下位の階層よりも上位の各階層までの合成階層におけるフレーム周波数が、上記最下位の階層のフレーム周波数に対して何倍であるかを示す情報をさらに持つ
請求項１に記載の送信装置。

【請求項3】

画像符号化部が、動画像データを構成する各ピクチャの画像データを被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように階層符号化し、それぞれに所属階層を識別するための階層識別情報が付加された、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含むと共に、該ビデオストリームに対応して、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を持つデスクリプタを含むトランスポートストリームを送信する送信ステップを有する
送信方法。

【請求項4】

動画像データを構成する各ピクチャの画像データを被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように階層符号化されて生成された、それぞれに所属階層を識別するための階層識別情報が付加された、各階層のピクチャの符号化画像データを持つビデオストリームを含むと共に、該ビデオストリームに対応して、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を持つデスクリプタを含むトランスポートストリームを受信する受信部と、
上記デスクリプタが持つ情報に基づいて、上記ビデオストリームから選択的に所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する処理部を備える
受信装置。

【請求項5】

受信部が、動画像データを構成する各ピクチャの画像データを被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように階層符号化されて生成された、それぞれに所属階層を識別するための階層識別情報が付加された、各階層のピクチャの符号化画像データを持つビデオストリームを含むと共に、該ビデオストリームに対応して、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を持つデスクリプタを含むトランスポートストリームを受信する受信ステップと、
処理部が、上記デスクリプタが持つ情報に基づいて、上記ビデオストリームから選択的に所定階層以下の階層のピクチャの符号化画像データを取り出して復号化する処理ステップを有する
受信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、高フレーム周波数のサービスを可能とする送信装置等に関する。

【背景技術】

【0002】

圧縮動画を、放送、ネット等でサービスする際、受信機の能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のサービスを同時提供したりする必要がある。

【0003】

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。

【0004】

Ｈ．２６４／ＡＶＣ（Advanced Video Coding）（非特許文献１参照）などの動画圧縮方式は、一般的に以下の３種類のピクチャからなる。
Ｉピクチャ：自己のみで復号可能
Ｐピクチャ：自己と、Ｉピクチャと他のPピクチャの参照で復号可能
Ｂピクチャ：自己と、Ｉピクチャ、Ｐピクチャおよび他のＢピクチャの参照で復号可能

【0005】

この性質を利用して、例えばＩピクチャ、Ｐピクチャのみ再生する等、ある程度のフレーム間引き再生は可能である。しかし、この方法では、きめ細かな間引き再生が困難であり、実用的なサービスとして利用するのは難しい。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】ITU-T H.264(06/2011) Advanced video coding for generic audiovisual services

【発明の概要】

【発明が解決しようとする課題】

【0007】

本技術の目的は、高フレーム周波数のサービスの容易な実現を図ることにある。

【課題を解決するための手段】

【0008】

本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および自己階層よりも下位の階層に所属するように符号化する
送信装置にある。

【0009】

本技術において、階層分類部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類される。画像符号化部により、各階層の画像データが符号化され、この符号化された各階層の画像データを持つビデオストリームが生成される。この場合、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化される。

【0010】

送信部により、上述のビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

【0011】

このように本技術においては、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化された各階層の画像データを持つビデオストリームが送信されるものである。そのため、１個の番組または１個のファイルを送信するだけで、多様なフレーム周波数に対応したサービスを提供でき、運営コストの削減が可能となる。

【0012】

また、受信側では、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となり、受信機の普及促進に効果的となる。ここで、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、受信機では、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。

【0013】

なお、本技術において、例えば、画像符号化部は、符号化された各階層の画像データを持つ単一のビデオストリームを生成し、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する、ようにされてもよい。この場合、受信側では、階層識別情報に基づいて、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。

【0014】

また、本技術において、例えば、階層分類部は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類する、ようにされてもよい。この場合、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。

【0015】

また、本技術において、コンテナに最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える、ようにされてもよい。例えば、各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する、ようにされてもよい。この場合、受信側では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を、容易に取得可能となる。

【0016】

また、本技術において、例えば、情報挿入部は、各情報をビデオのレイヤに挿入するとき、コンテナのレイヤに、ビデオのレイヤに各情報の挿入が有るか否かを識別する識別情報をさらに挿入する、ようにされてもよい。この場合、受信側では、ビデオストリームを復号化することなく、このビデオストリームに、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されているか否かを知ることが可能となる。

【0017】

また、本技術において、例えば、符号化された各階層のそれぞれの画像データを持つ複数のビデオストリームを生成する、ようにされてもよい。この場合、例えば、コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、ストリーム識別情報に基づいて、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。

【0018】

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
受信装置にある。

【0019】

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームが含まれている。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

【0020】

画像復号化部により、コンテナに含まれるビデオストリームから選択的に所定階層以下の階層の符号化画像データが取り出されて復号化され、各ピクチャの画像データが得られる。そして、再生速度調整部により、復号化された各ピクチャの画像データによる画像再生速度が所定階層のピクチャのフレーム周波数に調整される。

【0021】

例えば、コンテナには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されており、コンテナに挿入されている各情報と自己の復号能力に基づいて、画像復号化部における復号化階層を制御し、再生速度調整部における画像再生速度を制御する制御部をさらに備える、ようにされてもよい。

【0022】

このように本技術においては、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となる。また、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。

【0023】

なお、本技術において、例えば、コンテナには、符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、画像復号化部は、階層識別情報に基づいて、単一のビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化する、ようにされてもよい。この場合、コンテナに符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれる場合であっても、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。

【0024】

また、本技術において、例えば、コンテナには、符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、画像符号化部は、ストリーム識別情報に基づいて、選択的に、所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する、ようにされてもよい。この場合、コンテナに符号化された各階層のそれぞれの画像データを持つ複数のビデオストリームが含まれる場合であっても、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。

【発明の効果】

【0025】

本技術によれば、高フレーム周波数のサービスを容易に実現可能となる。

【図面の簡単な説明】

【0026】

【図1】実施の形態としてのＴＶ送受信システムの構成例を示すブロック図である。

【図2】ＴＶ送受信システムを構成するＴＶ送信機の構成例を示すブロック図である。

【図3】階層分類および画像符号化の一例を示す図である。

【図4】階層識別情報（temporal_id）の配置位置を説明するための図である。

【図5】ＦＰＳデスクリプタ（fps_descriptor）の配置位置を説明するための図である。

【図6】ＦＰＳデスクリプタの構造例（Syntax）を示す図である。

【図7】アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入するＦＰＳインフォ（fps_info）の構造例と、ＰＭＴの配下に配置されるＦＰＳエグジストデスクリプタ（fps_exit_descriptor）の構造例（Syntax）を示す図である。

【図8】ＴＶ送受信システムを構成するＴＶ受信機の構成例を示すブロック図である。

【図9】同一ＰＩＤで、かつＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置される場合の送信処理手順の一例を示すフローチャートである。

【図10】同一ＰＩＤで、かつＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置されている場合の受信処理手順の一例を示すフローチャートである。

【図11】同一ＰＩＤで、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示すフローチャートである。

【図12】同一ＰＩＤで、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示すフローチャートである。

【図13】画像符号化において複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する場合に各階層を別のＰＩＤにより振り分けることを示す図である。

【図14】ＰＭＴの配下に配置されるストラクチャデスクリプタ(structure_descriptor）の構造例（Syntax）を示す図である。

【図15】画像符号化において複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する場合に、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを使用する例を示す図である。

【図16】別ＰＩＤで、かつＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置される場合の送信処理手順の一例を示すフローチャートである。

【図17】別ＰＩＤで、かつＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置されている場合の受信処理手順の一例を示すフローチャートである。

【図18】別ＰＩＤで、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示すフローチャートである。

【図19】別ＰＩＤで、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示すフローチャートである。

【図20】（ａ）同一ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｂ）同一ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述、（ｃ）別ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｄ）別ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述の４つの方法における付加情報を比較して示す図である。

【図21】階層分類および画像符号化の他の例を説明するための図である。

【図22】階層分類および画像符号化の他の例を説明するための図である。

【図23】階層分類および画像符号化の他の例を説明するための図である。

【発明を実施するための形態】

【0027】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

【0028】

＜１．実施の形態＞
［ＴＶ送受信システム］
図１は、実施の形態としてのＴＶ（Television）送受信システム１０の構成例を示している。このＴＶ送受信システム１０は、ＴＶ送信機１００と、ＴＶ受信機２００を有する構成とされている。

【0029】

ＴＶ送信機１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層の画像データの符号化データを持つ単一のビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化される。

【0030】

この場合、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データが複数の階層に分類される。このような分類では、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。

【0031】

符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。

【0032】

トランスポートストリームＴＳに、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入される。これらの情報は、トランスポートレイヤあるいはビデオレイヤに挿入される。例えば、これらの情報は、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下のビデオエレメンタリ・ループの配下の記述子に挿入される。また、例えば、これらの情報は、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入される。このようにフレーム周波数情報および階層数情報が挿入されることで、受信側では、これらの情報を容易に取得することが可能となる。

【0033】

ＴＶ受信機２００は、ＴＶ送信機１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。ＴＶ受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを取得して、画像再生を行う。この場合、復号化された各ピクチャの画像データによる画像再生速度は、所定階層のピクチャのフレーム周波数に合致するように調整される。

【0034】

トランスポートストリームＴＳに、上述したように、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されている。ＴＶ受信機２００では、これらの情報と自己の復号能力に基づいて、復号化階層が制御され、また、画像再生速度が制御される。

【0035】

［ＴＶ送信機の構成例］
図２は、ＴＶ送信機１００の構成例を示している。このＴＶ送信機１００は、源動画データ供給部１０１と、復号装置１０２と、階層分類部１０３と、画像符号化部１０４と、音声符号化部１０５と、多重化部１０６と、付加情報発生部１０７と、変調／送信アンテナ部１０８を有している。

【0036】

源動画データ供給部１０１は、例えばＨＤＤ（Hard Disk Drive）等に業務用に適切な圧縮形式で格納されて源動画データ（画像データ、音声データ）を取り出し、復号装置１０２に供給する。復号装置１０２は、源動画データを復号し、非圧縮画像データおよび非圧縮音声データを出力する。

【0037】

階層分類部１０３は、非圧縮画像データを構成する各ピクチャの画像データを複数の階層に分類する。例えば、図示のように、第１階層、第２階層、第３階層の３階層に分類する。ここで、階層分類部１０３は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、分類する。

【0038】

画像符号化部１０４は、分類された各階層の画像データを符号化し、符号化された各階層の画像データを持つビデオストリーム（ビデオエレメンタリストリーム）を生成する。ここで、画像符号化部１０４は、例えば、Ｈ．２６４／ＡＶＣなどの符号化を行って、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。

【0039】

図３は、階層分類および画像符号化の一例を示している。この例は、各ピクチャの画像データを第１階層から第３階層までの３階層に分類する例である。この例において、Ｉピクチャ(Intra picture)およびＰピクチャ(Predictive picture)は第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。

【0040】

また、第１階層の各ピクチャの時間的中央位置にＢピクチャ(Bi-directional predictive picture)が配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の合成階層所属のピクチャしか参照しないように符号化される。

【0041】

この例においては、この第２階層のＢピクチャは、第１階層のＩピクチャおよびＰピクチャのみを参照するようにされている。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は２倍となる。

【0042】

また、第１、第２の合成階層の各ピクチャの時間的中央位置にＢピクチャが配置され、それらは第３階層に所属するようにされる。この第３階層のＢピクチャは、第３階層および／または第１、第２の合成階層所属のピクチャのみ参照するようにされている。そのため、第３階層は、第１〜第３の合成階層だけで復号可能となる。また、第１、第２の合成階層のみ復号した場合に比べて、第１〜第３の合成階層を復号した場合は、フレーム周波数は２倍となる。

【0043】

図３において、破線は、ピクチャの参照関係を示している。第１階層のＰピクチャは、直前のＩピクチャまたはＰピクチャのみを参照している。第２階層のＢピクチャは、第１階層の直前および直後のＩピクチャまたはＰピクチャのみを参照している。第３階層のＢピクチャは、第１、第２の合成階層の直前および直後のＩピクチャ、ＰピクチャまたはＢピクチャのみを参照している。

【0044】

画像符号化部１０４は、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する。すなわち、画像符号化部１０４は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）を配置する。

【0045】

図４は、階層識別情報（temporal_id）の配置位置を表している。すなわち、階層識別情報（temporal_id）は、例えば、ＮＡＬユニットヘッダのＳＶＣ拡張（Header svc extension ）に配置される。そして、図３に示すように、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられ、第３階層所属ピクチャには「temporal_id=2」が割り当てられる。

【0046】

図３の例において、第１階層のみのフレーム周波数が３０ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は６０ｆｐｓとなり、第１〜第３の合成階層のフレーム周波数は１２０ｆｐｓとなる。また、図示されていないが、以下同様に第４階層、第５階層と構築することが可能である。

【0047】

図２に戻って、音声符号化部１０５は、非圧縮音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。多重化部１０６は、画像符号化部１０４および音声符号化部１０５から出力される各エレメンタリストリームを多重化する。そして、多重化部１０６は、伝送データとしてのトランスポートストリームＴＳを出力する。

【0048】

付加情報発生部１０７は、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を発生し、多重化部１０６に送る。多重化部１０６は、これらの情報を、トランスポートレイヤに挿入する。例えば、多重化部１０６は、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、図５に示すように、フレーム周波数情報および階層数情報が記述された、新規定義のＦＰＳデスクリプタ（fps_descriptor）を配置する。このデスクリプタループは、各エレメンタリストリーム（elementary_stream）の性質情報を記述する場所である。ＦＰＳデスクリプタは、その中に含まれるデスクリプタの１つとされる。

【0049】

図６は、ＦＰＳデスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示し、ここでは、“０ｘ０２”となる。

【0050】

「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、例えば、図３に示す例のように３０ｆｐｓの場合は、３０を示す“０ｘ１ｅ”となる。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、例えば、図３に示す例のように第３階層まである場合は、３を示す“０ｘ０３”となる。

【0051】

このように、送信側（符号化側）でＦＰＳデスクリプタを追加することで、受信側（復号側）でのフレーム間引き再生が容易となる。すなわち、このＦＰＳデスクリプタの記述内容から、第１階層のみで３０ｆｐｓ、第１、第２の合成階層で６０ｆｐｓ、第１〜第３の合成階層で１２０ｆｐｓであることが解る。例えば、受信側の復号能力が最大６０ｆｐｓまでだった場合、この情報から第１、第２の合成階層まで復号可能なことが解る。そして、「temporal_id=0」および「temporal_id=1」のピクチャを復号すればよいことが解る。また、復号したピクチャは、６０ｆｐｓで再生すればよいことが解る。

【0052】

なお、フレーム周波数情報および階層数情報を、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入することも考えられる。この場合、付加情報発生部１０７は、これらの情報を、破線図示するように、画像符号化部１０４に送る。画像符号化部１０４は、図７（ｂ）に示すように、「base」および「max」の各情報を持つＦＰＳインフォ（fps_info）を、アクセスユニットの“ＳＥＩｓ”の部分に、「fps_info SEI message」として、挿入する。

【0053】

このようにＳＥＩメッセージを利用する場合、多重化部１０６は、そのＳＥＩメッセージの有無を識別する識別情報を、トランスポートレイヤに挿入する。例えば、多重化部１０６は、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、図７（ａ）に示すように、新規定義のＦＰＳエグジストデスクリプタ（fps_exit_descriptor）を配置する。

【0054】

「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳエグジストデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ２”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示し、ここでは、“０ｘ０１”となる。「fps_exit」の８ビットフィールドは、ＦＰＳインフォ（fps_info）が挿入されたＳＥＩメッセージの有無を示す。例えば、「fps_exit = 0」はそのＳＥＩメッセージが無いことを示し、「fps_exit = １」はそのＳＥＩメッセージがあることを示す。

【0055】

このように、送信側（符号化側）でＦＰＳエグジストデスクリプタを追加することで、受信側（復号側）では、フレーム周波数情報および階層数情報を持つＦＰＳインフォ（fps_info）が挿入されたＳＥＩメッセージの有無が解る。受信側（復号側）は、ＦＰＳエグジストデスクリプタがＳＥＩメッセージの存在を示す場合、fps_infoを抽出し、その中の「base」と「max」の値から、自分が復号すべき「temporal_id」を持つピクチャを知ることができる。これに基づき、受信側（復号側）は、所望の「temporal_id」のピクチャを復号する。

【0056】

図２に戻って、変調／送信アンテナ部１０８は、トランスポートストリームＴＳを、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調する。そして、この変調／送信アンテナ部１０８は、ＲＦ変調信号を送信アンテナから送信する。

【0057】

図２に示すＴＶ送信機１００の動作を説明する。源動画データ供給部１０１から復号装置１０２に、業務用に適切な圧縮形式で格納されて源動画データ（画像データ、音声データ）が、供給される。復号装置１０２では、源動画データが復号され、非圧縮画像データおよび非圧縮音声データが得られる。

【0058】

復号装置１０２で得られた非圧縮画像データは、階層分類部１０３に供給される。階層分類部１０３では、非圧縮画像データを構成する各ピクチャの画像データが複数の階層に分類される。この場合、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、分類される（図３参照）。

【0059】

このように階層分類された各階層の画像データは画像符号化部１０４に供給される。画像符号化部１０４では、分類された各階層の画像でデータが符号化され、符号化された各階層の画像データを持つビデオストリーム（ビデオエレメンタリストリーム）が生成される。この場合、例えば、Ｈ．２６４／ＡＶＣなどの符号化が行われ、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。

【0060】

この場合、画像符号化部１０４では、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、画像符号化部１０４では、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される（図４参照）。

【0061】

また、復号装置１０２で得られた非圧縮音声データは、音声符号化部１０５に供給される。この音声符号化部１０５では、非圧縮音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリーム（オーディオエレメンタリストリーム）が生成される。

【0062】

画像符号化部１０４で生成されたビデオストリームと、音声符号化部１０５で生成されたオーディオストリームは、多重化部１０６に供給される。多重化部１０６では、各エレメンタリストリームが多重化され、伝送データとしてのトランスポートストリームＴＳが得られる。この多重化部１０６では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が発生され、トランスポートレイヤ（コンテナのレイヤ）に挿入される。例えば、多重化部１０６では、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに、フレーム周波数情報および階層数情報が記述されたＦＰＳデスクリプタ（fps_descriptor）が配置される（図５、図６参照）。

【0063】

なお、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されることもある。この場合、各情報を持つＦＰＳインフォ（fps_info）が、アクセスユニットの“ＳＥＩｓ”の部分に、「fps_info SEI message」として、挿入される（図７（ｂ）参照）。そして、この場合、そのＳＥＩメッセージの有無を識別する識別情報が、トランスポートレイヤ（コンテナのレイヤ）に挿入する。例えば、多重化部１０６では、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、ＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が配置される（図７（ａ）参照）。

【0064】

多重化部１０６で生成されたトランスポートストリームＴＳは、変調／送信アンテナ部１０８に送られる。この変調／送信アンテナ部１０８では、トランスポートストリームＴＳが、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調されて、ＲＦ変調信号が生成される。そして、変調／送信アンテナ部１０８では、このＲＦ変調信号を送信アンテナから送信することが行われる。

【0065】

［ＴＶ受信機の構成例］
図８は、ＴＶ受信機２００の構成例を示している。このＴＶ受信機２００は、受信アンテナ／復調部２０１と、多重分離部２０２と、制御部２０３と、画像復号化部２０４と、再生速度調整部２０５と、画像表示部２０６と、音声復号化部２０７と、音声出力部２０８を有している。

【0066】

受信アンテナ／復調部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。多重分離部２０２は、トランスポートストリームＴＳから、ビデオストリームおよびオーディオストリームをそれぞれ抽出する。このビデオストリームには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持っている。

【0067】

また、この多重分離部２０２は、トランスポートストリームＴＳのトランスポートレイヤ（コンテナのレイヤ）に挿入されている種々の情報を抽出して、制御部２０３に送る。この際、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳデスクリプタ（fps_descriptor）も抽出される。このＦＰＳデスクリプタには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が記述されている。

【0068】

あるいは、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されている場合、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が抽出されることもある。

【0069】

画像復号化部２０４は、多重分離部２０２で分離されたビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る。この際、画像復号化部２０４は、各ピクチャのＮＡＬユニットのヘッダ部分に配置されている階層識別情報（temporal_id）に基づいて、所望の階層のピクチャの符号化画像データを取り出して復号化する。再生速度調整部２０５は、復号化された各ピクチャの画像データによる画像再生速度を、所定階層のピクチャのフレーム周波数に合致するように調整する。すなわち、再生速度調整部２０５は、復号化された各ピクチャの画像データを、所定階層のピクチャのフレーム周波数（フレームレート）に合わせて順次出力する。

【0070】

制御部２０３は、ＴＶ受信部２００の各部の動作を制御する。制御部２０３は、画像復号化部２０４に対しては、復号化対象となる所定階層以下の階層を特定する復号階層情報を送って、復号化階層の制御を行う。また、制御部２０３は、再生速度調整部２０５に対しては、所定階層のピクチャのフレーム周波数に対応した再生速度情報、例えば同期信号を送って、画像再生速度の制御を行う。

【0071】

制御部２０３は、フレーム周波数情報および階層数情報と、自己の復号能力に基づいて、画像復号化部２０４における復号化階層を制御し、再生速度調整部２０５における画像再生速度を制御する。例えば、ＦＰＳデスクリプタ（fps_descriptor）が、図６に示すような記述内容である場合を考える。

【0072】

この場合、制御部２０３は、第１階層のみで３０ｆｐｓ、第１、第２の合成階層で６０ｆｐｓ、第１〜第３の合成階層で１２０ｆｐｓであることが解る。そして、自己の復号能力が最大６０ｆｐｓまでだった場合、この情報から第１、第２の合成階層まで復号可能なことが解る。そして、「temporal_id=0」および「temporal_id=1のピクチャを復号すればよいことが解る。また、復号したピクチャは、６０ｆｐｓで再生すればよいことが解る。

【0073】

画像表示部２０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイにより構成されている。この画像表示部２０６は、再生速度調整部２０５から出力される各ピクチャの画像データによる画像を表示する。音声復号化部２０７は、多重分離部２０２で分離されたオーディオストリームに対して復号化を施して、画像復号化部２０４で得られる画像データに対応した音声データを得る。音声出力部２０８は、アンプ、スピーカなどにより構成されている。この音声出力部２０８は、音声復号化部２０７から出力される音声データによる音声を出力する。

【0074】

図８に示すＴＶ受信機２００の動作を説明する。受信アンテナ／復調部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、多重分離部２０２に供給される。この多重分離部２０２では、トランスポートストリームＴＳから、ビデオストリームおよびオーディオストリームがそれぞれ抽出される。ここで、ビデオストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持っている。

【0075】

また、多重分離部２０２では、トランスポートストリームＴＳのトランスポートレイヤ（コンテナのレイヤ）に挿入されている種々の情報が抽出されて、制御部２０３に送られる。この際、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳデスクリプタ（fps_descriptor）も抽出される。このＦＰＳデスクリプタには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が記述されている。

【0076】

あるいは、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されている場合、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が抽出されることもある。

【0077】

制御部２０３では、フレーム周波数情報および階層数情報と、自己の復号能力に基づいて、どの階層まで復号可能であるかの判定が行われる。そして、この制御部２０３により、画像復号化部２０４における復号化階層が制御され、再生速度調整部２０５における画像再生速度が制御される。

【0078】

多重分離部２０２で分離されたビデオストリームは画像復号化部２０４に供給される。この画像復号化部２０４では、制御部２０３の制御のもと、ビデオストリームから選択的に所定階層以下の階層の符号化画像データが取り出されて復号化され、各ピクチャの画像データが順次得られる。このように復号化された各ピクチャの画像データは再生速度調整部２０５に供給される。

【0079】

再生速度調整部２０５では、各ピクチャの画像データによる画像再生速度が、制御部２０３の制御のもと、所定階層のピクチャのフレーム周波数に合致するように調整される。すなわち、再生速度調整部２０５からは、各ピクチャの画像データが、所定階層のピクチャのフレーム周波数（フレームレート）に合わせて順次出力される。この画像データは、画像表示部２０６に供給され、所定階層以下の各ピクチャの画像データによる画像が表示される。

【0080】

また、多重分離部２０２で分離されたオーディオストリームは音声復号化部２０７に供給される。この音声復号化部２０７では、オーディオストリームに対して復号化が施されて、画像復号化部２０４で得られる画像データに対応した音声データが得られる。この音声データは、音声出力部２０８に供給され、表示画像に対応した音声が出力される。

【0081】

図９のフローチャートは、図２に示すＴＶ送信機１００において、ＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置される場合の送信処理手順の一例を示している。なお、図２に示すＴＶ送信機１００において、画像符号化部１０４では、上述したように、符号化された各階層のピクチャの画像データを持つ単一のビデオストリームが生成されるものである。

【0082】

まず、ＴＶ送信機１００は、ステップＳＴ１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。

【0083】

次に、ＴＶ送信機１００は、ステップＳＴ３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。

【0084】

次に、ＴＶ送信機１００は、ステップＳＴ４において、階層分類された各ピクチャの画像データを符号化する。この場合、第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に階層識別情報（temporal_id）を配置する。

【0085】

次に、ＴＶ送信機１００は、ステップＳＴ５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ６において、ＦＰＳデスクリプタ（fps_descriptor）と、それを含むＰＭＴを生成する。

【0086】

次に、ＴＶ送信機１００は、ステップＳＴ７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ９において、処理を終了する。

【0087】

図１０のフローチャートは、図８に示すＴＶ受信機２００において、ＰＭＴの“ES_info_length”直下のデスクリプタループにＦＰＳデスクリプタ（fps_descriptor）が配置されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図９のフローチャートに示した送信処理手順に対応したものである。

【0088】

まず、ＴＶ受信機２００は、ステップＳＴ１１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ１２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。

【0089】

次に、ＴＶ受信機２００は、ステップＳＴ１３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。そして、ＴＶ受信機２００は、ステップＳ１４において、ＰＭＴからＦＰＳデスクリプタ（fps_descriptor）を抽出し、自己の復号能力と比較して、復号すべき階層を決定する。

【0090】

次に、ＴＶ受信機２００は、ステップＳＴ１５において、ステップＳＴ１４で決定した階層のピクチャの画像データを復号化する。そして、ＦＰＳデスクリプタ（fps_descriptor）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ１６において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ１７において、処理を終了する。

【0091】

図１１のフローチャートは、図２に示すＴＶ送信機１００において、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示している。なお、図２に示すＴＶ送信機１００において、画像符号化部１０４では、上述したように、符号化された各階層の画像データを持つ単一のビデオストリームが生成されるものである。

【0092】

まず、ＴＶ送信機１００は、ステップＳＴ２１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ２２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。

【0093】

次に、ＴＶ送信機１００は、ステップＳＴ２３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。

【0094】

次に、ＴＶ送信機１００は、ステップＳＴ２４において、階層分類された各ピクチャの画像データを符号化する。この場合、第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に階層識別情報（temporal_id）を配置する。また、ＴＶ送信機１００は、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する。

【0095】

次に、ＴＶ送信機１００は、ステップＳＴ２５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ２６において、ＦＰＳエグジストデスクリプタ（fps_exist_descriptor）と、それを含むＰＭＴを生成する。

【0096】

次に、ＴＶ送信機１００は、ステップＳＴ２７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ２８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ２９において、処理を終了する。

【0097】

図１２のフローチャートは、図８に示すＴＶ受信機２００において、ＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１１のフローチャートに示した送信処理手順に対応したものである。

【0098】

まず、ＴＶ受信機２００は、ステップＳＴ３１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ３２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。

【0099】

次に、ＴＶ受信機２００は、ステップＳＴ３３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。ＴＶ受信機２００は、ステップＳ３４において、ＰＭＴからＦＰＳエグジストデスクリプタ（fps_exit_descriptor）を抽出し、「fps_exit」を見る。そして、ＴＶ受信機２００は、ステップＳＴ３５において、「fps_exit = 1」であるか否かを判断する。

【0100】

「fps_exit = 1」であるとき、ＴＶ受信機２００は、ステップＳＴ３６において、ＳＥＩメッセージとして付加されているＦＰＳインフォ（fps_info）を抽出して、自己の復号能力と比較して、復号すべき階層を決定する。ＴＶ受信機２００は、ステップＳＴ３７において、ステップＳＴ３６で決定した階層のピクチャの画像データを復号化する。そして、ＦＰＳインフォ（fps_info）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ３８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ３９において、処理を終了する。

【0101】

また、ステップＳＴ３５で「fps_exit = 0」であるとき、ＴＶ受信機２００は、ステップＳＴ４０において、画像データを通常復号して再生する。そして、ＴＶ受信機２００は、ステップＳＴ３８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ３９において、処理を終了する。

【0102】

以上説明したように、図１に示すＴＶ送受信システム１０において、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化された各階層の画像データを持つビデオストリームが送信されるものである。そのため、送信側においては、１個の番組または１個のファイルを送信するだけで、多様なフレーム周波数に対応したサービスを提供でき、運営コストの削減が可能となる。

【0103】

一方、受信側では、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となり、受信機の普及促進に効果的となる。ここで、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、受信機では、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。

【0104】

また、図１に示すＴＶ送受信システム１０において、画像符号化部１０４は、符号化された各階層の画像データを持つ単一のビデオストリームを生成し、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報（temporal_id）を付加するものである。そのため、受信側では、階層識別情報に基づいて、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。

【0105】

また、図１に示すＴＶ送受信システム１０において、階層分類部１０３は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類するものである。そのため、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。

【0106】

また、図１に示すＴＶ送受信システム１０において、コンテナのレイヤ（トランスポートレイヤ）あるいはビデオレイヤに最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を挿入するものである。そのため、受信側では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を、容易に取得可能となる。

【0107】

＜２．変形例＞
［別ＰＩＤの例］
なお、上述実施の形態においては、画像符号化部１０４では、符号化された各階層の画像データを持つ単一のビデオストリームが生成される例、つまり同一ＰＩＤの例を示した。しかし、画像符号化部１０４において、複数の階層のそれぞれの画像データを持つ複数のビデオストリームが生成されるようにすることも考えられる。

【0108】

この場合、図１３に示すように、各階層を別のＰＩＤにより振り分けることになる。ビデオ層の階層化によって分離された各階層のＮＡＬユニットをトランスポートストリームパケットに多重化するときに、それぞれ別ＰＩＤが割り当てられる。上述の実施の形態のように、同一ＰＩＤに全ての階層を乗せる場合と比較して、以下のような違いがある。

【0109】

・「同一ＰＩＤの場合」
（ａ）受信側（復号側）では、１個のＰＩＤのＴＳパケットのみ取得する。
（ｂ）nalヘッダを解析して、「temporal_id」を検出し、必要な「temporal_id」を持つnalユニットのみを復号する。
・「別ＰＩＤの場合」
（ａ）受信側（復号側）では、必要な複数のＰＩＤのＴＳパケットを取得する。
（ｂ）取得したＰＩＤのＴＳパケット内のnalユニット全てを復号する。「temporal_id」は、有っても無くてもよい。

【0110】

別ＰＩＤの場合は、ＰＭＴの“program_info_length”直下のデスクリプタループに、例えば、ストラクチャデスクリプタ(structure_descriptor）が配置される。図１４は、ストラクチャデスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ストラクチャデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ１”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。

【0111】

「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、例えば、図１３に示す例のように３０ｆｐｓの場合は、３０を示す“０ｘ１ｅ”となる。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、例えば、図１３に示す例のように第３階層まである場合は、３を示す“０ｘ０３”となる。

【0112】

forループ内には、各階層に割り当てられたＰＩＤ（layer_PID）が全て記述される。記述順は、例えば第１階層から順とされる。復号側では、「base」の値と列記されたＰＩＤから、どのＰＩＤのＴＳパケットを取得すれば良いかがわかる。

【0113】

また、別ＰＩＤで図１５（ｂ）に示すＦＰＳインフォ（fps_info）のＳＥＩメッセージを使用することも考えられる。この場合、図１５（ａ）に示すストラクチャデスクリプタ（structure_descriptor）が、“program_info_length”直下のデスクリプタループに配置される。受信側（復号側）では、このストラクチャデスクリプタのforループの最初に記述されている第１階層のＰＩＤのＴＳパケットを取得し、その中のＳＥＩメッセージであるＦＰＳインフォ（fps_info）を抽出する。その「base」の値から復号すべき階層を判断し、このストラクチャデスクリプタの「layer_PID」から取得すべきＴＳパケットのＰＩＤを検出して所望のＴＳパケットを取得して復号する。

【0114】

図１６のフローチャートは、ＴＶ送信機１００が各階層の画像データを別ＰＩＤで符号化し、かつＰＭＴの配下にＦＰＳデスクリプタ（structure_descriptor）を配置するように構成された場合の送信処理手順の一例を示している。

【0115】

まず、ＴＶ送信機１００は、ステップＳＴ５１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ５２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。

【0116】

次に、ＴＶ送信機１００は、ステップＳＴ５３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。

【0117】

次に、ＴＶ送信機１００は、ステップＳＴ５４において、階層分類された各ピクチャの画像データを符号化する。第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。

【0118】

次に、ＴＶ送信機１００は、ステップＳＴ５５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ５６において、ストラクチャデスクリプタ（structure_descriptor）と、それを含むＰＭＴを生成する。

【0119】

次に、ＴＶ送信機１００は、ステップＳＴ５７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、画像データを、階層毎に、別のＰＩＤに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ５８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ５９において、処理を終了する。

【0120】

図１７のフローチャートは、図８に示すＴＶ受信機２００において、各階層の画像データが別ＰＩＤで符号化され、かつＰＭＴの配下にストラクチャデスクリプタ（structure_descriptor）が配置されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１６のフローチャートに示した送信処理手順に対応したものである。

【0121】

まず、ＴＶ受信機２００は、ステップＳＴ６１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ６２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。

【0122】

次に、ＴＶ受信機２００は、ステップＳＴ６３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。そして、ＴＶ受信機２００は、ステップＳ６４において、ＰＭＴからストラクチャデスクリプタ（structure_descriptor）を抽出し、自己の復号能力と比較して、復号すべき階層を決定する。

【0123】

次に、ＴＶ受信機２００は、ステップＳＴ６５において、ステップＳＴ６４で決定した階層のピクチャの画像データを各ＰＩＤのＴＳパケットから復号化する。そして、ストラクチャデスクリプタ（structure_descriptor）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ６６において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ６７において、処理を終了する。

【0124】

図１８のフローチャートは、ＴＶ送信機１００が各階層の画像データを別ＰＩＤで符号化し、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示している。

【0125】

まず、ＴＶ送信機１００は、ステップＳＴ７１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ７２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。

【0126】

次に、ＴＶ送信機１００は、ステップＳＴ７３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。

【0127】

次に、ＴＶ送信機１００は、ステップＳＴ７４において、階層分類された各ピクチャの画像データを符号化する。第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する。

【0128】

次に、ＴＶ送信機１００は、ステップＳＴ７５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ７６において、ストラクチャデスクリプタ（structure_descriptor）と、それを含むＰＭＴを生成する。

【0129】

次に、ＴＶ送信機１００は、ステップＳＴ７７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、画像データを、階層毎に、別のＰＩＤに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ７８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ７９において、処理を終了する。

【0130】

図１９のフローチャートは、図８に示すＴＶ受信機２００において、各階層の画像データが別ＰＩＤで符号化され、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１８のフローチャートに示した送信処理手順に対応したものである。

【0131】

まず、ＴＶ受信機２００は、ステップＳＴ８１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ８２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。

【0132】

次に、ＴＶ受信機２００は、ステップＳＴ８３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。ＴＶ受信機２００は、ステップＳ８４において、ＰＭＴからストラクチャデスクリプタ（structure_descriptor）を抽出する。そして、ＴＶ受信機２００は、ステップＳＴ８５において、ストラクチャデスクリプタが有ったか否かを判断する。

【0133】

ストラクチャデスクリプタがあるとき、ＴＶ受信機２００は、ステップＳＴ８６において、ＳＥＩメッセージとして付加されているＦＰＳインフォ（fps_info）を抽出して、自己の復号能力と比較して、復号すべき階層を決定する。ＴＶ受信機２００は、ステップＳＴ７７において、ステップＳＴ７６で決定した階層のピクチャの画像データを各ＰＩＤのＴＳパケットから復号化する。そして、ＦＰＳインフォ（fps_info）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ８８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ８９において、処理を終了する。

【0134】

また、ステップＳＴ８５でストラクチャデスクリプタがないとき、ＴＶ受信機２００は、ステップＳＴ９０において、画像データを通常復号して再生する。そして、ＴＶ受信機２００は、ステップＳＴ８８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ８９において、処理を終了する。

【0135】

図２０は、（ａ）同一ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｂ）同一ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述、（ｃ）別ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｄ）別ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述の、上述した４つの方法における付加情報を比較して示している。

【0136】

［階層分類および画像符号化の他の例］
また、上述実施の形態においては、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類する例を示した。しかし、分類の仕方は、この例に限定されるものではない。例えば、以下のような分類の仕方も可能である。

【0137】

「他の例１」
図２１（ａ）は、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。

【0138】

また、第１階層の各ピクチャの間に時間的に等間隔に２個のＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の所属ピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は３倍となる。そのため、図示のように、第１階層のみのフレーム周波数が４０ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は１２０ｆｐｓとなる。

【0139】

この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられている。

【0140】

図２１（ｂ）は、図２１（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。

【0141】

「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、４０を示す“０ｘ２８”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、２を示す“０ｘ０２”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０３”とされ、３倍であることが記述されている。

【0142】

「他の例２」
図２２（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。

【0143】

また、第１階層の各ピクチャの間に時間的に等間隔に４個のＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の所属のピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は５倍となる。そのため、図示のように、第１階層のみのフレーム周波数が２４ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は１２０ｆｐｓとなる。

【0144】

この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられている。

【0145】

図２２（ｂ）は、図２２（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。

【0146】

「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、２４を示す“０ｘ１８”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、２を示す“０ｘ０２”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０５”とされ、５倍であることが記述されている。

【0147】

「他の例３」
図２３（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層から第４階層までの４階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。

【0148】

また、第１階層の各ピクチャの時間的中央位置にＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の合成階層所属のピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は２倍となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は２４ｆｐｓとなる。

【0149】

また、第１階層の各ピクチャの間に時間的に等間隔に４個のＢピクチャが配置され、それらは第３階層に所属するようにされる。この第３階層のＢピクチャは、第３階層および／または第２階層以下の階層の所属ピクチャしか参照しないように符号化される。そのため、第３階層は、第１から第３の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１から第３の合成階層を復号した場合は、フレーム周波数は５倍となる。また、第１、第２の合成階層のフレーム周波数に対しては、２．５倍のフレーム周波数となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１から第３の合成階層のフレーム周波数は６０ｆｐｓとなる。

【0150】

また、第１階層、第３階層の各ピクチャの間の時間的中央位置にＢピクチャが配置され、それらは第４階層に所属するようにされる。ただし、一部は第２階層のピクチャと同じなので、欠けている。この第４階層のＢピクチャは、第４階層および／または第３階層以下の階層の所属ピクチャしか参照しないように符号化される。そのため、第４階層は、第１から第４の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１から第４の合成階層を復号した場合は、フレーム周波数は１０倍となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１から第４の合成階層のフレーム周波数は１２０ｆｐｓとなる。

【0151】

この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられ、第３階層所属ピクチャには「temporal_id=2」が割り当てられ、第４階層所属ピクチャには「temporal_id=3」が割り当てられている。

【0152】

図２３（ｂ）は、図２３（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。

【0153】

「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、１２を示す“０ｘ０Ｃ”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、４を示す“０ｘ０４”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０３”とされ、２倍であることが記述されている。また、第３階層に関して“０ｘ０５”とされ、５倍であることが記述されている。さらに、第４階層に関して“０ｘ０ａ”とされ、１０倍であることが記述されている。

【0154】

［その他］
また、上述実施の形態においては、ＴＶ送信機１００とＴＶ受信機２００からなるＴＶ送受信システム１０を示したが、本技術を適用し得るＴＶ送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。

【0155】

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

【0156】

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
送信装置。
（２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
前記（１）に記載の送信装置。
（３）上記階層分類部は、
最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、上記下位の全ての階層の所属ピクチャの時間的中央に位置するように、上記動画像データを構成する各ピクチャの画像データを複数の階層に分類する
前記（１）または（２）に記載の送信装置。
（４）上記コンテナに最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、
上記各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記各情報を上記ビデオのレイヤに挿入するとき、上記コンテナのレイヤに、上記ビデオのレイヤに上記各情報の挿入が有るか否かを識別する識別情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する
前記（１）に記載の送信装置。
（８）上記コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える
前記（７）に記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類するステップと、
上記分類された各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、該符号化された各階層の画像データを持つビデオストリームを生成するステップと、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
送信方法。
（１０）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
送信装置。
（１１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
符号化装置。
（１２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
請求項１１に記載の符号化装置。
（１３）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に合致するように調整する再生速度調整部とを備える
受信装置。
（１４）上記コンテナには、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報が挿入されており、
上記コンテナに挿入されている各情報と自己の復号能力に基づいて、上記画像復号化部における復号化階層を制御し、上記再生速度調整部における画像再生速度を制御する制御部をさらに備える
前記（１３）に記載の受信装置。
（１５）上記コンテナには、上記符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、
上記符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、
上記画像復号化部は、
上記階層識別情報に基づいて、上記単一のビデオストリームから選択的に上記所定階層以下の階層の符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１６）上記コンテナには、上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、
上記コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、
上記画像符号化部は、
上記ストリーム識別情報に基づいて、選択的に、上記所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１７）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信するステップと、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得るステップと、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整するステップとを備える
受信方法。
（１８）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
復号化装置。

【0157】

本技術の主な特徴は、動画像データを構成する各ピクチャの画像データが複数の階層に分類し、各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、符号化された各階層の画像データを持つビデオストリームを所定フォーマットのコンテナで送信することで、高フレーム周波数のサービスを容易に実現可能としたことである（図２、図３参照）。

【符号の説明】

【0158】

１０・・・ＴＶ送受信システム
１００・・・ＴＶ送信機
１０１・・・源画像データ供給部
１０２・・・復号装置
１０３・・・階層分類部
１０４・・・画像符号化部
１０５・・・音声符号化部
１０６・・・多重化部
１０７・・・付加情報発生部
１０８・・・変調／送信アンテナ部
２００・・・ＴＶ受信機
２０１・・・受信アンテナ／復調部
２０２・・・多重分離部
２０３・・・制御部
２０４・・・画像復号化部
２０５・・・再生速度調整部
２０６・・・画像表示部
２０７・・・音声復号化部
２０８・・・音声出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】