ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】送信方法、送信装置、受信装置および受信方法
(51)【国際特許分類】
H04N 19/30 20140101AFI20231108BHJP
H04N 19/70 20140101ALI20231108BHJP
H04N 21/2362 20110101ALI20231108BHJP
H04N 21/2662 20110101ALI20231108BHJP
【ＦＩ】
H04N19/30
H04N19/70
H04N21/2362
H04N21/2662
【請求項の数】
7
(21)【出願番号】P 2022150697
(22)【出願日】2022-09-21
(62)【分割の表示】P 2021042016の分割
【原出願日】2015-07-09
(65)【公開番号】P2022177214
(43)【公開日】2022-11-30
【審査請求日】2022-10-21
(31)【優先権主張番号】P 2014156995
(32)【優先日】2014-07-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２００９－２６７５３７（ＪＰ，Ａ）
【文献】国際公開第２０１４／０３８５２２（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０３４４６３（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１６１４４２（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１５１８１４（ＷＯ，Ａ１）
【文献】H.222.0 (06/2012) Information technology - Generic coding of moving pictures and associated audio in，ITU-T，2012年06月，pp.5-6,49-52,71-74,101-102,139-144
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
Ｈ０４Ｎ ２１／００ － ２１／８５８
(57)【特許請求の範囲】
【請求項1】
基本フォーマットの画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマットの画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含むコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームが対応するスケーラブル拡張のタイプを示す種別情報を、上記コンテナのレイヤに挿入する種別情報挿入ステップを有し、
上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームはNALユニットを含み、
上記NALユニットのヘッダには、上記NALユニットが基本ビデオストリームに含まれるか拡張ビデオストリームに含まれるかに対応する識別情報が含まれる
送信方法。
【請求項2】
上記基本ビデオストリームに含まれるNALユニットのヘッダには、上記基本フォーマットに対応する値の識別情報が含まれ、上記所定数の拡張ビデオストリームに含まれるNALユニットのヘッダには、上記所定数の拡張ビデオストリームが対応する上記高品質フォーマットに対応する値の識別情報が含まれる
請求項１に記載の送信方法。
【請求項3】
基本フォーマットの画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマットの画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含むコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームが対応するスケーラブル拡張のタイプを示す種別情報を、上記コンテナのレイヤに挿入する種別情報挿入部を備え、
上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームはNALユニットを含み、
上記NALユニットのヘッダには、上記NALユニットが基本ビデオストリームに含まれるか拡張ビデオストリームに含まれるかに対応する識別情報が含まれる
送信装置。
【請求項4】
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含むコンテナを受信する受信部を備え、上記コンテナのレイヤには、上記所定数の拡張ビデオストリームが対応するスケーラブル拡張のタイプを示す種別情報が挿入されており、
上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームはNALユニットを含み、
上記NALユニットのヘッダには、上記NALユニットが基本ビデオストリームに含まれるか拡張ビデオストリームに含まれるかに対応する識別情報が含まれ、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記種別情報と上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
【請求項5】
上記処理部は、上記種別情報、上記識別情報、及び表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
請求項４に記載の受信装置。
【請求項6】
上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
請求項４に記載の受信装置。
【請求項7】
受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含むコンテナを受信する受信ステップを有し、上記コンテナのレイヤには、上記所定数の拡張ビデオストリームが対応するスケーラブル拡張のタイプを示す種別情報が挿入されており、
上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームはNALユニットを含み、
上記NALユニットのヘッダには、上記NALユニットが基本ビデオストリームに含まれるか拡張ビデオストリームに含まれるかに対応する識別情報が含まれ、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記種別情報と上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信方法、送信装置、受信装置および受信方法に関する。
【背景技術】
【0002】
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２００８－５４３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信することにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナおよび/または上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置にある。
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナおよび/または上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置にある。
【0006】
本技術において、画像符号化部により、基本ビデオストリームと所定数の拡張ビデオストリームが生成される。ここで、基本ビデオストリームは、基本フォーマット画像データが符号化されて得られたものである。また、所定数の拡張ビデオストリームはそれぞれ所定数の高品質フォーマット画像データが符号化されて得られたものである。
【0007】
例えば、画像符号化部は、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理を行って基本ビデオストリームを生成し、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理を選択的に行って拡張ビデオストリームを生成する、ようにされてもよい。
【0008】
送信部により、画像符号化部で生成された基本ビデオストリームおよび所定数の拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0009】
識別情報挿入部により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が、コンテナやビデオストリームのレイヤに挿入される。例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、識別情報挿入部は、識別情報をコンテナのレイヤに挿入する場合、この識別情報をプログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に存在する所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ（video ES loop）内に挿入する、ようにされてもよい。また、例えば、ビデオストリームはＮＡＬ(Network Abstraction Layer)ユニット構造を有し、識別情報挿入部は、識別情報をＮＡＬユニットのヘッダに挿入する、ようにされてもよい。
【0010】
このように本技術においては、所定数の拡張ビデオストリームが対応する高品質フォーマットの識別情報がコンテナやビデオストリームのレイヤに挿入されて送信されるものである。そのため、受信側では、識別情報に基づいて、所定のビデオストリームに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易となる。
【0011】
なお、本技術において、例えば、コンテナのレイヤに挿入される識別情報には、所定数の拡張ビデオストリームがそれぞれ基本フォーマット画像データとの間の予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている、ようにされてもよい。この場合、受信側では、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で基本フォーマット画像データが参照されたか他の高品質フォーマット画像データが参照されたかを容易に認識可能となる。
【0012】
また、本技術において、例えば、コンテナのレイヤに挿入される識別情報には、所定数の拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている、ようにされてもよい。この場合、受信側では、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で参照された画像データに対応したビデオストリームがどれであるかを容易に認識可能となる。
【0013】
また、本技術の他の概念は、
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置にある。
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置にある。
【0014】
本技術において、受信部により、基本ビデオストリームおよび所定数の拡張ビデオストリームを含むコンテナが受信される。ここで、基本ビデオストリームは、基本フォーマット画像データが符号化されて得られたものである。また、所定数の拡張ビデオストリームはそれぞれ所定数の高品質フォーマット画像データが符号化されて得られたものである。コンテナやビデオストリームのレイヤには、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されている。
【0015】
例えば、基本ビデオストリームは、基本フォーマット画像データに対して、この基本フォーマット画像データ内の予測符号化処理が行われて生成されており、拡張ビデオストリームは、高品質フォーマット画像データに対して、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている、ようにされてもよい。
【0016】
処理部により、受信されたコンテナに含まれている各ビデオストリームが、識別情報に基づいて処理される。例えば、処理部は、識別情報と表示能力情報に基づいて基本ビデオストリームおよび所定の拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する、ようにされてもよい。
【0017】
このように本技術においては、コンテナやビデオストリームのレイヤに挿入されて送られてくる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報に基づいて各ビデオストリームの処理を行うものである。そのため、所定のビデオストリームに選択的に復号化処理を行って受信能力に応じた画像データを得ることが容易となる。
【発明の効果】
【0018】
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0019】
【図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【図2】送信装置の構成例を示すブロック図である。
【図3】基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部の構成例を示すブロック図である。
【図4】エンコード部の主要部の構成例を示すブロック図である。
【図5】ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。
【図6】基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の構成例を示す図である。
【図7】スケーラブル・エクステンション・デスクリプタの構造例を示す図である。
【図8】スケーラブル・エクステンション・デスクリプタの構造例における主要な情報の内容を示す図である。
【図9】スケーラブル・エクステンション・デスクリプタの「type of enhancement」のフィールドの値と、ＮＡＬユニットヘッダの「nuh_layer_id」のフィールドの値との対応関係を示す図である。
【図10】トランスポートストリームＴＳの構成例を示す図である。
【図11】受信装置の構成例を示すブロック図である。
【図12】デコード部の主要部の構成例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
１．実施の形態
２．変形例
【0021】
【0022】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、基本ビデオストリームと、所定数の拡張ビデオストリームが含まれる。
【0023】
基本ビデオストリームは、基本フォーマット画像データに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施されて生成されたものである。ここで、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われて、基本ビデオストリームが生成される。
【0024】
所定数の拡張ビデオストリームは、所定数の高品質画像データに、それぞれ、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施されて生成されたものである。ここで、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理、または基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて拡張ビデオストリームが生成される。
【0025】
コンテナのレイヤに、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入される。受信側では、この識別情報により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットをコンテナのレイヤで容易に把握可能となる。この実施の形態において、識別情報は、プログラムマップテーブルの配下に存在する所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
【0026】
この識別情報には、所定数の拡張ビデオストリームがそれぞれ基本フォーマット画像データとの予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加される。受信側では、この情報により、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で基本フォーマット画像データが参照されたか他の高品質フォーマット画像データが参照されたかをコンテナのレイヤで容易に認識可能となる。
【0027】
また、この識別情報には、所定数の拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加される。受信側では、この情報により、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で参照された画像データに対応したビデオストリームがどれであるかをコンテナのレイヤで容易に認識可能となる。
【0028】
ビデオストリームのレイヤに、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入される。受信側では、この識別情報により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットを容易に把握可能となる。この実施の形態において、識別情報は、ＮＡＬユニットのヘッダに挿入される。
【0029】
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。上述したようにコンテナやビデオストリームのレイヤに、トランスポートストリームＴＳに含まれている所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されている。受信装置２００は、この識別情報に基づいて、トランスポートストリームＴＳに含まれている各ビデオストリームを処理し、表示能力に応じた画像データを取得する。
【0030】
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０ＨｚであるＬＤＲ（Low Dynamic Lange）画像データである。高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚであるＬＤＲ画像データである。ＬＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさに対して０％から１００％の輝度範囲を持つ。
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０ＨｚであるＬＤＲ（Low Dynamic Lange）画像データである。高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚであるＬＤＲ画像データである。ＬＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさに対して０％から１００％の輝度範囲を持つ。
【0031】
高品質フォーマット画像データＶｈ２は、フレーム周波数が５０ＨｚであるＨＤＲ（High Dynamic Range）画像データである。高品質フォーマット画像データＶｈ３は、フレーム周波数が１００ＨｚであるＨＤＲ画像データである。このＨＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさを１００％とすると、０～１００％＊Ｎ、例えば０～４００％あるいは０～８００％などの輝度範囲を持つ。
【0032】
図３は、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部１５０の構成例を示している。この画像データ生成部１５０は、ＨＤＲカメラ１５１と、フレームレート変換部１５２と、ダイナミックレンジ変換部１５３と、フレームレート変換部１５４を有している。
【0033】
ＨＤＲカメラ１５１は、被写体を撮像し、フレーム周波数が１００ＨｚであるＨＤＲ画像データ、つまり高品質フォーマット画像データＶｈ３を出力する。フレームレート変換部１５２は、ＨＤＲカメラ１５１から出力される高品質フォーマット画像データＶｈ３に対して、フレーム周波数を１００Ｈｚから５０Ｈｚに変換する処理をおこなって、フレーム周波数が５０ＨｚであるＨＤＲ画像データ、つまり高品質フォーマット画像データＶｈ２を出力する。
【0034】
ダイナミックレンジ変換部１５３は、ＨＤＲカメラ１５１から出力される高品質フォーマット画像データＶｈ３に対して、ＨＤＲからＬＤＲに変換する処理をおこなって、フレーム周波数が１００ＨｚであるＬＤＲ画像データ、つまり高品質フォーマット画像データＶｈ１を出力する。フレームレート変換部１５４は、ダイナミックレンジ変換部１５３から出力される高品質フォーマット画像データＶｈ１に対して、フレーム周波数を１００Ｈｚから５０Ｈｚに変換する処理をおこなって、フレーム周波数が５０ＨｚであるＬＤＲ画像データ、つまり基本フォーマット画像データＶｂを出力する。
【0035】
図２に戻って、送信装置１００は、制御部１０１と、ＬＤＲ光電変換部１０２，１０３と、ＨＤＲ光電変換部１０４，１０５と、ビデオエンコーダ１０６と、システムエンコーダ１０７と、送信部１０８を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
【0036】
ＬＤＲ光電変換部１０２は、基本フォーマット画像データＶｂに対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）を適用して、伝送用の基本フォーマット画像データＶｂ´を得る。ＬＤＲ光電変換部１０３は、高品質フォーマット画像データＶｈ１に対して、ＬＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ１´を得る。
【0037】
ＨＤＲ光電変換部１０４は、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）を適用して、伝送用の高品質フォーマット画像データＶｈ２´を得る。ＨＤＲ光電変換部１０５は、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ３´を得る。
【0038】
ビデオエンコーダ１０６は、４つのエンコード部１０６-0，１０６-1，１０６-2，１０６-3を有する。エンコード部１０６-0は、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、基本ビデオストリームＳＴｂを生成する。この場合、エンコード部１０６-0は、画像データＶｂ´内の予測を行う。
【0039】
エンコード部１０６-1は、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、拡張ビデオストリームＳＴｅ１を生成する。この場合、エンコード部１０６-1は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ１´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
【0040】
エンコード部１０６-2は、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、拡張ビデオストリームＳＴｅ２を生成する。この場合、エンコード部１０６-2は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ２´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
【0041】
エンコード部１０６-3は、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、拡張ビデオストリームＳＴｅ３を生成する。この場合、エンコード部１０６-3は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ３´内の予測、または画像データＶｈ２´との間の予測を、選択的に行う。
【0042】
図４は、エンコード部１６０の主要部の構成例を示している。このエンコード部１６０は、エンコード部１０６-1，１０６-2，１０６-3に適用し得るものである。このエンコード部１６０は、レイヤ内予測部１６１と、レイヤ間予測部１６２と、予測調整部１６３と、選択部１６４と、エンコード機能部１６５を有している。
【0043】
レイヤ内予測部１６１は、符号化対象の画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１６２は、符号化対象の画像データＶ１に対して、参照対象の画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
【0044】
予測調整部１６３は、レイヤ間予測部１６２におけるレイヤ間予測を効率よく行うために、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。ダイナミックレンジ拡張の場合は、ＬＤＲからＨＤＲに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、ブロックを所定のサイズに拡大する。フレームレート拡張の場合は、バイパスする。色域拡張の場合は、輝度・色差のそれぞれに対してマッピングを行う。ビット長拡張の場合は、画素のＭＳＢを揃える変換を行う。
【0045】
例えば、エンコード部１０６-1の場合、画像データＶ１は高品質フォーマット画像データＶｈ１´（１００Ｈｚ、ＬＤＲ）であり、画像データＶ２は基本フォーマット画像データＶｂ´（５０Ｈｚ、ＬＤＲ）であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´がそのままバイパスされる。
【0046】
また、例えば、エンコード部１０６-2の場合、画像データＶ１は高品質フォーマット画像データＶｈ２´（５０Ｈｚ、ＨＤＲ）であり、画像データＶ２は基本フォーマット画像データＶｂ´（５０Ｈｚ、ＬＤＲ）であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´に対してＬＤＲからＨＤＲに変換するためのレベル調整が行われる。
【0047】
また、例えば、エンコード部１０６-3の場合、画像データＶ１は高品質フォーマット画像データＶｈ３´（１００Ｈｚ、ＨＤＲ）であり、画像データＶ２は高品質フォーマット画像データＶｈ２´（５０Ｈｚ、ＨＤＲ）であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´がそのままバイパスされる。
【0048】
選択部１６４は、符号化ブロック毎に、レイヤ内予測部１６１で得られる予測残差データ、またはレイヤ間予測部１６２で得られる予測残差データを選択的に取り出し、エンコード機能部１６５に送る。この場合、選択部１６４では、例えば、予測残差の小さい方が取り出される。エンコード機能部１６５は、選択部１６４から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、ビデオストリームＳＴを得る。
【0049】
図２に戻って、ビデオエンコーダ１０６は、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のレイヤに、それぞれに対応する高品質フォーマットの識別情報を挿入する。ビデオエンコーダ１０６は、この識別情報を、例えば、ＮＡＬユニットのヘッダに挿入する。
【0050】
図５（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図５（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、ストリームのレイヤ拡張種別を示すＩＤである。「nuh_temporal_id_plus1」の３ビットフィールドは、temporal_id（０～６）を示し、１を加えた値（１～７）を取る。
【0051】
この実施の形態において、「nuh_layer_id」の６ビットフィールドは、各拡張ビデオストリームが対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）を示す。例えば、“０”は、ベースストリームを示す。“１～４”は、空間拡張ストリームを示す。“５～８”は、フレームレート拡張ストリームを示す。“９～１２”は、ダイナミックレンジ拡張ストリームを示す。“１３～１６”は、色域拡張ストリームを示す。“１７～２０”は、ビット長拡張ストリームを示す。“２１～２４”は、空間拡張およびフレームレート拡張を示す。“２５～２８”は、フレームレート拡張およびダイナミックレンジ拡張を示す。
【0052】
例えば、基本ビデオストリームＳＴｂはベースストリームに該当し、従ってこの基本ビデオストリームＳＴｂを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“０”とされる。また、例えば、拡張ビデオストリームＳＴｅ１はフレームレート拡張ストリームに該当し、従ってこの拡張ビデオストリームＳＴｅ１を構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“５～８”の範囲のいずれかとされる。
【0053】
また、例えば、拡張ビデオストリームＳＴｅ２はダイナミックレンジ拡張ストリームに該当し、従ってこの拡張ビデオストリームＳＴｅ２を構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“９～１２”の範囲のいずれかとされる。また、例えば、拡張ビデオストリームＳＴｅ３はフレームレート拡張およびダイナミックレンジ拡張のストリームに該当し、従ってこの拡張ビデオストリームＳＴｅ３を構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“２５～２８”の範囲のいずれかとされる。
【0054】
図６は、基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の構成例を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、実線矢印は、予測符号化におけるピクチャの参照関係を示している。
【0055】
基本ビデオストリームＳＴｂは、「００」、「０１」、・・・のピクチャの符号化画像データで構成される。拡張ビデオストリームＳＴｅ１は、基本ビデオストリームＳＴｂの各ピクチャの間に位置する「１０」、「１１」、・・・のピクチャの符号化画像データで構成される。拡張ビデオストリームＳＴｅ２は、基本ビデオストリームＳＴｂの各ピクチャと同じ位置の「２０」、「２１」、・・・のピクチャの符号化画像データで構成される。そして、拡張ビデオストリームＳＴｅ３は、拡張ビデオストリームＳＴｅ２の各ピクチャの間に位置する「３０」、「３１」、・・・のピクチャの符号化画像データで構成される。
【0056】
図２に戻って、システムエンコーダ１０７は、ビデオエンコーダ１０６で生成された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３を含むトランスポートストリームＴＳを生成する。そして、送信部１０８は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【0057】
この際、システムエンコーダ１０７は、コンテナ（トランスポートストリーム）のレイヤに、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報を挿入する。この実施の形態においては、例えば、ＰＭＴ（Program Map Table）の配下に存在する各拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、識別情報を含むスケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）を挿入する。
【0058】
図７は、このスケーラブル・エクステンション・デスクリプタの構造例（Syntax）を示している。図８は、図７に示す構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・エクステンション・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【0059】
「type of enhancement」の４ビットフィールドは、各拡張ビデオストリームが対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）を示す。例えば、“１”は、空間スケーラブル拡張を示す。“２”は、フレームレートスケーラブル拡張を示す。“３”は、ダイナミックレンジスケーラブル拡張を示す。“４”は、色域スケーラブル拡張を示す。“５”は、ビット長スケーラブル拡張を示す。“６”は、空間/フレームレートスケーラブル拡張を示す。“７”は、フレームレート/ダイナミックレンジスケーラブル拡張を示す。
【0060】
例えば、拡張ビデオストリームＳＴｅ１はフレームレートスケーラブル拡張に該当し、従ってこの拡張ビデオストリームＳＴｅ１に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“２”とされる。
【0061】
また、例えば、拡張ビデオストリームＳＴｅ２はダイナミックレンジスケーラブル拡張に該当し、従ってこの拡張ビデオストリームＳＴｅ２に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“３”とされる。
【0062】
また、例えば、拡張ビデオストリームＳＴｅ３はフレームレート/ダイナミックレンジスケーラブル拡張に該当し、従ってこの拡張ビデオストリームＳＴｅ３に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“７”とされる。
【0063】
図９は、この「type of enhancement」のフィールドの値と、上述したＮＡＬユニットヘッダの「nuh_layer_id」のフィールドの値との対応関係を示している。このように、いずれのフィールドからであっても、各拡張ビデオストリームが対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）を同じように把握できることがわかる。
【0064】
図７に戻って、「scalable_priority」の４ビットフィールドは、各拡張ビデオストリームの同一の拡張カテゴリ内での優先順位を示す。すなわち、このフィールドは、各拡張ビデオストリームがそれぞれ基本フォーマット画像データとの間の予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す。
【0065】
例えば、“０”は基本ストリームを参照する第１優先ストリームであること、つまり基本フォーマット画像データとの間の予測符号化処理を行って生成されていることを示す。また、例えば、“１”は第１優先のストリームを参照する第２優先ストリームであること、つまり高品質フォーマット画像データとの間の予測符号化処理を行って生成されていることを示す。
【0066】
例えば、拡張ビデオストリームＳＴｅ１は、高品質フォーマット画像データＶｈ１´の符号化に係るものであり、基本フォーマット画像データＶｂ´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ１に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“０”とされる。
【0067】
また、例えば、拡張ビデオストリームＳＴｅ２は、高品質フォーマット画像データＶｈ２´の符号化に係るものであり、基本フォーマット画像データＶｂ´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ２に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“０”とされる。
【0068】
また、例えば、拡張ビデオストリームＳＴｅ３は、高品質フォーマット画像データＶｈ３´の符号化に係るものであり、高品質フォーマット画像データＶｈ２´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ３に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“１”とされる。
【0069】
「enhancement reference PID」の３２ビットフィールドは、参照ストリームのＰＩＤ値を示す。すなわち、このフィールドは、各拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームのＰＩＤ値を示す。
【0070】
例えば、拡張ビデオストリームＳＴｅ１は、高品質フォーマット画像データＶｈ１´の符号化に係るものであり、基本フォーマット画像データＶｂ´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ１に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、基本ビデオストリームＳＴｂのＰＩＤ値を示す。
【0071】
また、例えば、拡張ビデオストリームＳＴｅ２は、高品質フォーマット画像データＶｈ２´の符号化に係るものであり、基本フォーマット画像データＶｂ´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ２に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、基本ビデオストリームＳＴｂのＰＩＤ値を示す。
【0072】
また、例えば、拡張ビデオストリームＳＴｅ３は、高品質フォーマット画像データＶｈ３´の符号化に係るものであり、高品質フォーマット画像データＶｈ２´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームＳＴｅ３に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、拡張ビデオストリームＳＴｅ２のＰＩＤ値を示す。
【0073】
［トランスポートストリームＴＳの構成］
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の４つのビデオストリームが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の４つのビデオストリームが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
【0074】
基本ビデオストリームＳＴｂのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。このビデオストリームの各ピクチャの符号化画像データには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は“０”とされ、基本ビデオストリームであることが示されている（図９参照）。
【0075】
また、拡張ビデオストリームＳＴｅ１のパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。このビデオストリームの各ピクチャの符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は例えば“５”とされ、フレームレート拡張ストリームであることが示されている（図９参照）。
【0076】
また、拡張ビデオストリームＳＴｅ２のパケット識別子（ＰＩＤ）は例えばＰＩＤ３とされている。このビデオストリームの各ピクチャの符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は例えば“９”とされ、ダイナミックレンジ拡張ストリームであることが示されている（図９参照）。
【0077】
さらに、拡張ビデオストリームＳＴｅ３のパケット識別子（ＰＩＤ）は例えばＰＩＤ４とされている。このビデオストリームの各ピクチャの符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は例えば“２５”とされ、フレームレート拡張およびダイナミックレンジ拡張のストリームであることが示されている（図９参照）。
【0078】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0079】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の４つのビデオストリームに対応して４つのビデオエレメンタリストリームループ（video ES loop）が存在する。基本ビデオストリームＳＴｂに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置される。
【0080】
また、拡張ビデオストリームＳＴｅ１に対応したビデオエレメンタリストリームループには、ストリームタイプ（ST1）、パケット識別子（PID2）等の情報が配置されると共に、この拡張ビデオストリームＳＴｅ１に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）が挿入される。
【0081】
このデスクリプタにおける「type of enhancement」は“２”とされ、フレームレート拡張ストリーム（フレームレートスケーラブル拡張）であることが示されている（図９参照）。また、このデスクリプタにおける「scalable_priority」は“０”とされ、基本ストリームを参照する第１優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「ＰＩＤ１」とされ、基本ビデオストリームＳＴｂを参照することが示されている。
【0082】
また、拡張ビデオストリームＳＴｅ２に対応したビデオエレメンタリストリームループには、ストリームタイプ（ST2）、パケット識別子（PID3）等の情報が配置されると共に、この拡張ビデオストリームＳＴｅ２に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタが挿入される。
【0083】
このデスクリプタにおける「type of enhancement」は“３”とされ、ダイナミックレンジ拡張ストリーム（ダイナミックレンジスケーラブル拡張）であることが示されている（図９参照）。また、このデスクリプタにおける「scalable_priority」は“０”とされ、基本ストリームを参照する第１優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「ＰＩＤ１」とされ、基本ビデオストリームＳＴｂを参照することが示されている。
【0084】
また、拡張ビデオストリームＳＴｅ３に対応したビデオエレメンタリストリームループには、ストリームタイプ（ST3）、パケット識別子（PID4）等の情報が配置されると共に、この拡張ビデオストリームＳＴｅ３に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタが挿入される。
【0085】
このデスクリプタにおける「type of enhancement」は“７”とされ、フレームレート拡張およびダイナミックレンジ拡張のストリーム（フレームレート/ダイナミックレンジスケーラブル拡張）であることが示されている（図９参照）。また、このデスクリプタにおける「scalable_priority」は“１”とされ、第１優先のストリームを参照する第２優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「ＰＩＤ３」とされ、拡張ビデオストリームＳＴｅ２を参照することが示されている。
【0086】
図２に示す送信装置１００の動作を簡単に説明する。フレーム周波数が５０ＨｚのＬＤＲ画像データである基本フォーマット画像データＶｂは、ＬＤＲ光電変換部１０２に供給される。このＬＤＲ光電変換部１０２では、基本フォーマット画像データＶｂに対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の基本フォーマット画像データＶｂ´が得られる。この基本フォーマット画像データＶｂ´は、ビデオエンコーダ１０６のエンコード部１０６-0，１０６-１，１０６-2に供給される。
【0087】
また、フレーム周波数が１００ＨｚのＬＤＲ画像データである高品質フォーマット画像データＶｈ１は、ＬＤＲ光電変換部１０３に供給される。このＬＤＲ光電変換部１０３では、高品質フォーマット画像データＶｈ１に対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ１´が得られる。この高品質フォーマット画像データＶｈ１´は、ビデオエンコーダ１０６のエンコード部１０６-１に供給される。
【0088】
また、フレーム周波数が５０ＨｚのＨＤＲ画像データである高品質フォーマット画像データＶｈ２は、ＨＤＲ光電変換部１０４に供給される。このＨＤＲ光電変換部１０４では、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ２´が得られる。この高品質フォーマット画像データＶｈ２´は、ビデオエンコーダ１０６のエンコード部１０６-2，１０６-3に供給される。
【0089】
また、フレーム周波数が１００ＨｚのＨＤＲ画像データである高品質フォーマット画像データＶｈ３は、ＨＤＲ光電変換部１０５に供給される。このＨＤＲ光電変換部１０５では、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ３´が得られる。この高品質フォーマット画像データＶｈ３´は、ビデオエンコーダ１０６のエンコード部１０６-3に供給される。
【0090】
ビデオエンコーダ１０６では、基本フォーマット画像データＶｂ´、高品質フォーマット画像データＶｈ１´，Ｖｈ２´，Ｖｈ３´のそれぞれに対して符号化処理が施されてビデオストリームが生成される。すなわち、エンコード部１０６-0では、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む基本ビデオストリームＳＴｂが生成される。この場合、エンコード部１０６-0では、画像データＶｂ´内の予測が行われる。
【0091】
また、エンコード部１０６-1では、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームＳＴｅ１が生成される。この場合、エンコード部１０６-1では、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ１´内の予測、または画像データＶｂ´との間の予測が、選択的に行われる。
【0092】
また、エンコード部１０６-2では、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームＳＴｅ２が生成される。この場合、エンコード部１０６-2では、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ２´内の予測、または画像データＶｂ´との間の予測が、選択的に行われる。
【0093】
また、エンコード部１０６-3では、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームＳＴｅ３が生成される。この場合、エンコード部１０６-3では、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ３´内の予測、または画像データＶｈ２´との間の予測が、選択的に行われる。
【0094】
また、ビデオエンコーダ１０６では、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のレイヤに、それぞれに対応する高品質フォーマットの識別情報が挿入される。すなわち、ビデオエンコーダ１０６では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドに、各拡張ビデオストリームが対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）が設定される（図５、図９参照）。
【0095】
ビデオエンコーダ１０６で生成される基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅは、システムエンコーダ１０７に供給される。このシステムエンコーダ１０７では、各ビデオストリームを含むトランスポートストリームＴＳが生成される。
【0096】
このシステムエンコーダ１０７では、コンテナ（トランスポートストリーム）のレイヤに、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報が挿入される。すなわち、システムエンコーダ１０７では、ＰＭＴの配下に存在する各拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、識別情報（ストリームの拡張カテゴリ情報）を含むスケーラブル・エクステンション・デスクリプタが挿入される（図７、図９参照）。
【0097】
システムエンコーダ１０７で生成されるトランスポートストリームＴＳは、送信部１０８に送られる。送信部１０８では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【0098】
「受信装置の構成」
図１１は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、ＬＤＲ電光変換部２０５，２０６Ｌと、ＨＤＲ電光変換部２０７，２０８と、表示部（表示デバイス）２０９を有している。制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、図示しないストレージに格納されている制御プログラムに基づいて、受信装置２００の各部の動作を制御する。
図１１は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、ＬＤＲ電光変換部２０５，２０６Ｌと、ＨＤＲ電光変換部２０７，２０８と、表示部（表示デバイス）２０９を有している。制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、図示しないストレージに格納されている制御プログラムに基づいて、受信装置２００の各部の動作を制御する。
【0099】
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３を抽出する。
【0100】
また、システムデコーダ２０３は、コンテナ（トランスポートストリーム）のレイヤに挿入されている種々の情報を抽出し、制御部２０１に送る。この情報には、上述したスケーラブル・エクステンション・デスクリプタも含まれる。制御部２０１は、このデスクリプタの「type of enhancement」のフィールドから、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）を把握できる。
【0101】
また、制御部２０１は、このデスクリプタの「scalable_priority」のフィールドから、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれにおける同一の拡張カテゴリ内での優先順位、つまり基本ストリームを参照する第１優先ストリームであるか、第１優先ストリームを参照する第２優先ストリームであるかを把握できる。さらに、制御部２０１は、このデスクリプタの「enhancement reference PID」のフィールドから、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれが参照するビデオストリームのＰＩＤ値を把握できる。
【0102】
ビデオデコーダ２０４は、４つのデコード部２０４-0，２０４-1，２０４-2，２０４-3を有する。デコード部２０４-0は、基本ビデオストリームＳＴｂに対して復号化処理を行って、基本フォーマット画像データＶｂ´を生成する。この場合、デコード部２０４-0は、画像データＶｂ´内で予測補償を行う。
【0103】
デコード部２０４-1は、拡張ビデオストリームＳＴｅ１に対して復号化処理を行って、高品質フォーマット画像データＶｈ１´を生成する。この場合、デコード部２０４-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ１´内の予測補償、または画像データＶｂ´との間の予測補償を、行う。
【0104】
デコード部２０４-2は、拡張ビデオストリームＳＴｅ２に対して復号化処理を行って、高品質フォーマット画像データＶｈ２´を生成する。この場合、デコード部２０４-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ２´内の予測補償、または画像データＶｂ´との間の予測補償を、行う。
【0105】
デコード部２０４-3は、拡張ビデオストリームＳＴｅ３に対して復号化処理を行って、高品質フォーマット画像データＶｈ３´を生成する。この場合、デコード部２０４-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ３´内の予測補償、または画像データＶｈ２´との間の予測補償を、行う。
【0106】
図１２は、デコード部２４０の主要部の構成例を示している。このデコード部２４０は、デコード部２０４-1，２０４-2，２０４-3に適用し得るものである。このデコード部２４０は、図４のエンコード部１６５の処理とは逆の処理を行う。このデコード部２４０は、デコード機能部２４１と、レイヤ内予測補償部２４２と、レイヤ間予測補償部２４３と、予測調整部２４４と、選択部２４５と、を有している。
【0107】
デコード機能部２４１は、ビデオストリームＳＴに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２４２は、予測残差データに対して、画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２４３は、予測残差データに対して、参照対象の画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
【0108】
予測調整部２４４は、詳細説明は省略するが、図４のエンコード部１６０の予測調整部１６３と同様に、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じた処理を行う。選択部２４５は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部２４２で得られる画像データＶ１、またはレイヤ間予測補償部２４３で得られる画像データＶ１を選択的に取り出して、出力とする。
【0109】
図１１に戻って、ビデオデコーダ２０４は、各ビデオストリームのＮＡＬユニットのヘッダ情報を制御部２０１に送る。制御部２０１は、このヘッダ情報の「nuh_layer_id」のフィールドから、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）を把握できる。
【0110】
ＬＤＲ電光変換部２０５は、デコード部２０４-0で得られる基本フォーマット画像データＶｂ´に、上述した送信装置１００におけるＬＤＲ光電変換部１０２とは逆特性の電光変換を施し、基本フォーマット画像データＶｂを得る。この基本フォーマット画像データは、フレーム周波数が５０ＨｚのＬＤＲ画像データである。
【0111】
また、ＬＤＲ電光変換部２０６は、デコード部２０４-1で得られる高品質フォーマット画像データＶｈ１´に、上述した送信装置１００におけるＬＤＲ光電変換部１０３とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ１を得る。この高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚのＬＤＲ画像データである。
【0112】
また、ＨＤＲ電光変換部２０７は、デコード部２０４-2で得られる高品質フォーマット画像データＶｈ２´に、上述した送信装置１００におけるＨＤＲ光電変換部１０４とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ２を得る。この高品質フォーマット画像データＶｈ２は、フレーム周波数が５０ＨｚのＨＤＲ画像データである。
【0113】
また、ＨＤＲ電光変換部２０８は、デコード部２０４-3で得られる高品質フォーマット画像データＶｈ３´に、上述した送信装置１００におけるＨＤＲ光電変換部１０５とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ３を得る。この高品質フォーマット画像データＶｈ３は、フレーム周波数が１００ＨｚのＨＤＲ画像データである。
【0114】
表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２０９は、表示能力に応じて、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３のいずれかによる画像を表示する。
【0115】
この場合、制御部２０１は、表示部２０９に供給すべき画像データを制御する。この制御は、上述したように制御部２０１が把握する拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）と、表示部２０９の表示能力情報に基づいて、行われる。
【0116】
すなわち、表示部２０９が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、表示部２０９に基本ビデオストリームＳＴｂの復号化に係る基本フォーマット画像データＶｂが供給されるように制御する。この場合、制御部２０１は、デコード部２０４-0が基本ビデオストリームＳＴｂを復号化し、ＬＤＲ電光変換部２０５が基本フォーマット画像データＶｂを出力するように制御する。
【0117】
また、表示部２０９が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、表示部２０９に拡張ビデオストリームＳＴｅ１の復号化に係る高品質フォーマット画像データＶｈ１が供給されるように制御する。この場合、制御部２０１は、デコード部２０４-0が基本ビデオストリームＳＴｂを復号化し、デコード部２０４-1が拡張ビデオストリームＳＴｅ１を復号化し、ＬＤＲ電光変換部２０６が高品質フォーマット画像データＶｈ１を出力するように制御する。
【0118】
また、表示部２０９が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、表示部２０９に拡張ビデオストリームＳＴｅ２の復号化に係る高品質フォーマット画像データＶｈ２が供給されるように制御する。この場合、制御部２０１は、デコード部２０４-0が基本ビデオストリームＳＴｂを復号化し、デコード部２０４-2が拡張ビデオストリームＳＴｅ２を復号化し、ＨＤＲ電光変換部２０７が高品質フォーマット画像データＶｈ２を出力するように制御する。
【0119】
また、表示部２０９が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、表示部２０９に拡張ビデオストリームＳＴｅ３の復号化に係る高品質フォーマット画像データＶｈ３が供給されるように制御する。この場合、制御部２０１は、デコード部２０４-0が基本ビデオストリームＳＴｂを復号化し、デコード部２０４-2が拡張ビデオストリームＳＴｅ２を復号化し、デコード部２０４-3が拡張ビデオストリームＳＴｅ３を復号化し、ＨＤＲ電光変換部２０８が高品質フォーマット画像データＶｈ３を出力するように制御する。
【0120】
図１１に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳから、基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３が抽出される。
【0121】
また、システムデコーダ２０３では、コンテナ（トランスポートストリーム）のレイヤに挿入されている種々の情報が抽出され、制御部２０１に送られる。この情報には、スケーラブル・エクステンション・デスクリプタも含まれる。制御部２０１では、このデスクリプタの「type of enhancement」のフィールドから、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３のそれぞれに対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）が把握される。
【0122】
表示部２０９が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、ＬＤＲ電光変換部２０５から表示部２０９に基本フォーマット画像データＶｂが供給される。表示部２０９には、この基本フォーマット画像データＶｂ、つまりフレーム周波数が５０ＨｚでＬＤＲ画像データによる画像が表示される。
【0123】
この場合、システムデコーダ２０３で抽出される基本ビデオストリームＳＴｂがデコード部２０４-0に供給される。デコード部２０４-0では、基本ビデオストリームＳＴｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。ここで、デコード部２０４-0では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームＳＴｂであることの確認が可能となる。
【0124】
デコード部２０４-0で生成される基本フォーマット画像データＶｂ´は、ＬＤＲ電光変換部２０５に供給される。ＬＤＲ電光変換部２０５では、この基本フォーマット画像データＶｂ´に電光変換が施され、基本フォーマット画像データＶｂが得られて、表示部２０９に供給される。
【0125】
また、表示部２０９が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、ＬＤＲ電光変換部２０６から表示部２０９に高品質フォーマット画像データＶｈ１が供給される。表示部２０９には、この高品質フォーマット画像データＶｈ１、つまりフレーム周波数が１００ＨｚでＬＤＲ画像データによる画像が表示される。
【0126】
この場合、システムデコーダ２０３で抽出される基本ビデオストリームＳＴｂがデコード部２０４-0に供給される。デコード部２０４-0では、基本ビデオストリームＳＴｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。また、システムデコーダ２０３で抽出される拡張ビデオストリームＳＴｅ１がデコード部２０４-1に供給される。デコード部２０４-1では、拡張ビデオストリームＳＴｅ１に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ１´が生成される。
【0127】
ここで、デコード部２０４-0では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームＳＴｂであることの確認が可能となる。また、デコード部２０４-1では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームＳＴｅ１であることの確認が可能となる。
【0128】
デコード部２０４-1で生成される高品質フォーマット画像データＶｈ１´は、ＬＤＲ電光変換部２０６に供給される。ＬＤＲ電光変換部２０６では、この高品質フォーマット画像データＶｈ１´に電光変換が施され、高品質フォーマット画像データＶｈ１が得られて、表示部２０９に供給される。
【0129】
また、表示部２０９が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、ＨＤＲ電光変換部２０７から表示部２０９に高品質フォーマット画像データＶｈ２が供給される。表示部２０９には、この高品質フォーマット画像データＶｈ２、つまりフレーム周波数が５０ＨｚでＨＤＲ画像データによる画像が表示される。
【0130】
この場合、システムデコーダ２０３で抽出される基本ビデオストリームＳＴｂがデコード部２０４-0に供給される。デコード部２０４-0では、基本ビデオストリームＳＴｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。また、システムデコーダ２０３で抽出される拡張ビデオストリームＳＴｅ２がデコード部２０４-2に供給される。デコード部２０４-2では、拡張ビデオストリームＳＴｅ２に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ２´が生成される。
【0131】
ここで、デコード部２０４-0では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームＳＴｂであることの確認が可能となる。また、デコード部２０４-2では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームＳＴｅ２であることの確認が可能となる。
【0132】
デコード部２０４-2で生成される高品質フォーマット画像データＶｈ２´は、ＨＤＲ電光変換部２０７に供給される。ＨＤＲ電光変換部２０７では、この高品質フォーマット画像データＶｈ２´に電光変換が施され、高品質フォーマット画像データＶｈ２が得られて、表示部２０９に供給される。
【0133】
また、表示部２０９が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、ＨＤＲ電光変換部２０８から表示部２０９に高品質フォーマット画像データＶｈ３が供給される。表示部２０９には、この高品質フォーマット画像データＶｈ３、つまりフレーム周波数が１００ＨｚでＨＤＲ画像データによる画像が表示される。
【0134】
この場合、システムデコーダ２０３で抽出される基本ビデオストリームＳＴｂがデコード部２０４-0に供給される。デコード部２０４-0では、基本ビデオストリームＳＴｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。また、システムデコーダ２０３で抽出される拡張ビデオストリームＳＴｅ２がデコード部２０４-2に供給される。デコード部２０４-2では、拡張ビデオストリームＳＴｅ２に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ２´が生成される。
【0135】
さらに、システムデコーダ２０３で抽出される拡張ビデオストリームＳＴｅ３がデコード部２０４-3に供給される。デコード部２０４-3では、拡張ビデオストリームＳＴｅ３に対して、高品質フォーマット画像データＶｈ２´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ３´が生成される。
【0136】
ここで、デコード部２０４-0では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームＳＴｂであることの確認が可能となる。また、デコード部２０４-2では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームＳＴｅ２であることの確認が可能となる。また、デコード部２０４-3では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームＳＴｅ３であることの確認が可能となる。
【0137】
デコード部２０４-3で生成される高品質フォーマット画像データＶｈ３´は、ＨＤＲ電光変換部２０８に供給される。ＨＤＲ電光変換部２０８では、この高品質フォーマット画像データＶｈ３´に電光変換が施され、高品質フォーマット画像データＶｈ３が得られて、表示部２０９に供給される。
【0138】
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、トランスポートストリームＴＳに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）がコンテナやビデオストリームのレイヤに挿入されて送信されるものである。そのため、受信側では、この識別情報に基づいて、所定のビデオストリームに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易となる。
【0139】
＜２．変形例＞
なお、上述実施の形態においては、トランスポートストリームＴＳに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）がコンテナおよびビデオストリームの双方のレイヤに挿入されて送信される例を示した。しかし、この識別情報を、コンテナのレイヤのみ、あるいはビデオストリームのレイヤのみに挿入することも考えられる。
なお、上述実施の形態においては、トランスポートストリームＴＳに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）がコンテナおよびビデオストリームの双方のレイヤに挿入されて送信される例を示した。しかし、この識別情報を、コンテナのレイヤのみ、あるいはビデオストリームのレイヤのみに挿入することも考えられる。
【0140】
また、ストリームのレイヤ拡張種別を示すＩＤと、ストリームの拡張カテゴリ、そして、拡張カテゴリ内での優先順位を示す情報を伝送する代わりに、それらを組み合わせた状態を、「stream_type」の値で示すことも可能である。例えば、図１０に示すように、基本ストリームは「Stream_type = ST0」、フレームレートスケーラブル拡張の第１ストリームは「Stream_type = ST1」、ダイナミックレンジスケーラブル拡張の第１ストリームは「Stream_type = ST2」、フレームレート/ダイナミックレンジスケーラブル拡張のストリーム（第２拡張ストリーム）は「Stream_type = ST3」、というようにできる。
【0141】
また、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
【0142】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【0143】
また、本技術は、以下のような構成を取ることもできる。
（１）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記（１）に記載の送信装置。
（３）上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームがそれぞれ上記基本フォーマット画像データとの間の予測符号化処理を行って生成されているか上記高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている
前記（２）に記載の送信装置。
（４）上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームをそれぞれ生成する際に行われた上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている
前記（２）または（３）に記載の送信装置。
（５）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記識別情報挿入部は、
上記識別情報をプログラムマップテーブルの配下に存在する上記所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記識別情報挿入部は、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤにさらに挿入する
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記ビデオストリームはＮＡＬユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（６）に記載の送信装置。
（８）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
（９）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置。
（１０）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記（９）に記載の送信装置。
（１１）上記ビデオストリームはＮＡＬユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（９）または（１０）に記載の送信装置。
（１２）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
（１３）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
（１４）上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記（１３）に記載の受信装置。
（１５）上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１３）または（１４）に受信装置。
（１６）受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
（１７）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
（１８）上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記（１７）に記載の受信装置。
（１９）上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１７）または（１８）に受信装置。
（２０）受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
（１）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記（１）に記載の送信装置。
（３）上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームがそれぞれ上記基本フォーマット画像データとの間の予測符号化処理を行って生成されているか上記高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている
前記（２）に記載の送信装置。
（４）上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームをそれぞれ生成する際に行われた上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている
前記（２）または（３）に記載の送信装置。
（５）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記識別情報挿入部は、
上記識別情報をプログラムマップテーブルの配下に存在する上記所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記識別情報挿入部は、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤにさらに挿入する
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記ビデオストリームはＮＡＬユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（６）に記載の送信装置。
（８）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
（９）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置。
（１０）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記（９）に記載の送信装置。
（１１）上記ビデオストリームはＮＡＬユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（９）または（１０）に記載の送信装置。
（１２）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
（１３）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
（１４）上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記（１３）に記載の受信装置。
（１５）上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１３）または（１４）に受信装置。
（１６）受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
（１７）基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
（１８）上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記（１７）に記載の受信装置。
（１９）上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１７）または（１８）に受信装置。
（２０）受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
【0144】
本技術の主な特徴は、トランスポートストリームＴＳに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報（ストリームの拡張カテゴリ情報）をコンテナやビデオストリームのレイヤに挿入して送信することで、受信側において、表示能力に応じた画像データを得ることを容易としたことである（図１０参照）。
【0145】
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２，１０３・・・ＬＤＲ光電変換部
１０４，１０５・・・ＨＤＲ光電変換部
１０６・・・ビデオエンコーダ
１０６-0，１０６-1，１０６-1，１０６-1・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・ＨＤＲカメラ
１５２，１５４・・・フレームレート変換部
１５３・・・ダイナミックレンジ変換部
１６０・・・エンコード部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４-0，２０４-1，２０４-1，２０４-1・・・デコード部
２０５，２０６・・・ＬＤＲ電光変換部
２０７，２０８・・・ＨＤＲ電光変換部
２０９・・・表示部
２４０・・・デコード部
２４１・・・デコード機能部
２４２・・・レイヤ内予測補償部
２４３・・・レイヤ間予測補償部
２４４・・・予測調整部
２４５・・・選択部
１００・・・送信装置
１０１・・・制御部
１０２，１０３・・・ＬＤＲ光電変換部
１０４，１０５・・・ＨＤＲ光電変換部
１０６・・・ビデオエンコーダ
１０６-0，１０６-1，１０６-1，１０６-1・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・ＨＤＲカメラ
１５２，１５４・・・フレームレート変換部
１５３・・・ダイナミックレンジ変換部
１６０・・・エンコード部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４-0，２０４-1，２０４-1，２０４-1・・・デコード部
２０５，２０６・・・ＬＤＲ電光変換部
２０７，２０８・・・ＨＤＲ電光変換部
２０９・・・表示部
２４０・・・デコード部
２４１・・・デコード機能部
２４２・・・レイヤ内予測補償部
２４３・・・レイヤ間予測補償部
２４４・・・予測調整部
２４５・・・選択部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】