ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】受信装置
(51)【国際特許分類】
H04N 21/2362 20110101AFI20231031BHJP
H04N 21/2389 20110101ALI20231031BHJP
H04N 21/434 20110101ALI20231031BHJP
H04N 19/30 20140101ALI20231031BHJP
H04N 19/70 20140101ALI20231031BHJP
H04H 20/28 20080101ALI20231031BHJP
H04H 20/95 20080101ALI20231031BHJP
H04H 40/18 20080101ALI20231031BHJP
【ＦＩ】
H04N21/2362
H04N21/2389
H04N21/434
H04N19/30
H04N19/70
H04H20/28
H04H20/95
H04H40/18
【請求項の数】
3
(21)【出願番号】P 2022100026
(22)【出願日】2022-06-22
(62)【分割の表示】P 2021084808の分割
【原出願日】2016-02-10
(65)【公開番号】P2022125084
(43)【公開日】2022-08-26
【審査請求日】2022-07-20
(31)【優先権主張番号】P 2015039234
(32)【優先日】2015-02-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開２０１５－０８０２０３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０５０４４７（ＷＯ，Ａ１）
【文献】特開２０１５－００５９７６（ＪＰ，Ａ）
【文献】特開２０１５－００５９７７（ＪＰ，Ａ）
【文献】特開２００７－２５７６４１（ＪＰ，Ａ）
【文献】特開２０１２－０５４８００（ＪＰ，Ａ）
【文献】国際公開第２０１５／００８７７５（ＷＯ，Ａ１）
【文献】特表２０１３－５１１２０１（ＪＰ，Ａ）
【文献】特表２０１５－５０１０９０（ＪＰ，Ａ）
【文献】特表２０１５－５０３２８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｎ ７／１４－７／１７３
Ｈ０４Ｎ １９／００－１９／９８
Ｈ０４Ｈ ２０／００－２０／４６
Ｈ０４Ｈ ２０／５１－２０／８６
Ｈ０４Ｈ ２０／９１－４０／２７
Ｈ０４Ｈ ４０／９０－６０／９８
(57)【特許請求の範囲】
【請求項1】
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームとハイフレームレート画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔は均等とされており、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔は均等とされており、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻は、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の中間とされており、
上記コンテナに含まれるビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプに基づいてデコード処理を行うデコード部と、
表示能力情報に基づいて、基本フォーマット画像データまたはハイフレームレート画像データを表示用画像データとして得る処理部をさらに備える
受信装置。
【請求項2】
ＬＣＤ(Liquid Crystal Display)または有機ＥＬ（Organic Electro-Luminescence）パネルで構成され、上記表示用画像データを表示する表示部をさらに備える請求項１に記載の受信装置。
【請求項3】
上記表示用画像データを表示する表示部とＨＤＭＩ（High-Definition Multimedia Interface）で接続されるよう構成され、上記表示部から、表示能力情報としてＥＤＩＤ（Extended display identification data）を取得する
請求項１に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、受信装置に関する。
【背景技術】
【0002】
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２００８－５４３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能とすることにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置にある。
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置にある。
【0006】
本技術において、画像符号化部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマット画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームが生成される。そして、送信部により、基本ビデオストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。
【0007】
例えば、画像符号化部は、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理を行って符号化画像データを得、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理を選択的に行って符号化画像データを得る、ようにされてもよい。
【0008】
この場合、例えば、基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データであり、高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかであり、高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つ、ようにされてもよい。
【0009】
例えば、画像符号化部は、通常ダイナミックレンジ画像データに対する差分情報を求めるとき、差分値を小さくするために通常ダイナミックレンジ画像データにダイナミックレンジ変換を行う、ようにされてもよい。この場合、例えば、画像符号化部は、通常ダイナミックレンジ画像データに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいて、ダイナミックレンジ変換を行う、ようにされてもよい。
【0010】
情報挿入部により、拡張ビデオストリームおよび/またはコンテナに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が挿入される。例えば、拡張ビデオストリームはＮＡＬユニット構造を有し、情報挿入部は、高品質フォーマット情報を、ＮＡＬユニットのヘッダに挿入する、ようにされてもよい。
【0011】
また、例えば、拡張ビデオストリームはＮＡＬユニット構造を有し、情報挿入部は、高品質フォーマット情報を、ＳＥＩ ＮＡＬユニットの領域に挿入する、ようにされてもよい。また、例えば、コンテナはＭＰＥＧ２－ＴＳであり、情報挿入部は、高品質フォーマット情報を、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。
【0012】
例えば、情報挿入部は、拡張ビデオストリームおよび/またはコンテナに、上記の変換情報をさらに挿入する、ようにされてもよい。この場合、受信側においては、この変換情報に基づいて、ハイダイナミックレンジ画像データを得るために通常ダイナミックレンジ画像データに行うべきダイナミックレンジ変換の処理を適切に行うことが可能となる。
【0013】
このように本技術においては、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が拡張ビデオストリームおよび/またはコンテナに挿入されるものである。そのため、受信側では、高品質フォーマット画像データの高品質フォーマットを容易に認識可能となる。そして、受信側では、この情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから、表示能力に対応した画像データを表示用画像データとして得ることが可能となる。
【0014】
なお、本技術において、例えば、画像符号化部は、拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻と同じか中間とし、基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とし、拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とする、ようにされてもよい。このようにデコードタイムスタンプの間隔が均等とされることで、受信側におけるデコード能力を効率よく使用可能となる。
【0015】
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置にある。
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置にある。
【0016】
本技術において、受信部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナが受信される。例えば、基本ビデオストリームに含まれる符号化画像データは、基本フォーマット画像データに対して、この基本フォーマット画像データ内の予測符号化処理が行われて生成されており、拡張ビデオストリームに含まれる符号化画像データは、高品質フォーマット画像データに対して、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている、ようにされてもよい。
【0017】
拡張ビデオストリームおよび/またはコンテナに、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報が挿入されている。情報抽出部により、拡張ビデオストリームおよび/またはコンテナから、この情報が抽出される。処理部により、抽出された情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから表示能力に対応した画像データが表示用画像データとして得られる。
【0018】
このように本技術においては、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから、表示能力に対応した画像データが表示用画像データとして得られるものである。そのため、表示能力に対応した画像データを表示用画像データとして効率よく得ることが可能となる。
【発明の効果】
【0019】
本技術によれば、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0020】
【図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【図2】送信装置の構成例を示すブロック図である。
【図3】基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを生成する画像データ生成部の構成例を示すブロック図である。
【図4】エンコード部の主要部の構成例を示すブロック図である。
【図5】ダイナミックレンジ拡張の場合におけるレベル調整（ダイナミックレンジ変換）を説明するための図である。
【図6】ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。
【図7】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。
【図8】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。
【図9】スケーラブル・リンケージＳＥＩメッセージの構造例を示す図である。
【図10】スケーラブル・リンケージＳＥＩメッセージの構造例における主要な情報の内容を示す図である。
【図11】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＨＤＲ＋ＨＦＲ）を示す図である。
【図12】符号化画像データにおけるデコード・表示タイミング（デコード・表示のタイムスタンプ）の管理を説明するための図である。
【図13】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＨＤＲ＋ＬＦＲ）を示す図である。
【図14】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＳＤＲ＋ＨＦＲ）を示す図である。
【図15】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＳＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＨＦＲ」）を示す図である。
【図16】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＳＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＬＦＲ」）を示す図である。
【図17】基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＨＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＬＦＲ」）を示す図である。
【図18】スケーラブル・リンケージ・デスクリプタの構造例およびその構造例における主要な情報の内容を示す図である。
【図19】ＮＡＬユニットのヘッダの「nuh_layer_id」の値を符号化成分によって固定とする場合およびＮＡＬユニットのヘッダの「nuh_layer_id」の値をフレキシブルに割り当てる場合における各フィールドの値の一例を示す図である。
【図20】トランスポートストリームＴＳの構成例を示す図である。
【図21】受信装置の構成例を示すブロック図である。
【図22】デコード部の主要部の構成例を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
１．実施の形態
２．変形例
【0022】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。
【0023】
このトランスポートストリームＴＳには、基本ビデオストリームと拡張ビデオストリームの２本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを持つものである。この基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データである。この基本フォーマット画像データの符号化画像データは、基本フォーマット画像データに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。この場合、基本フォーマット画像データ内の予測符号化処理が行われて符号化画像データが得られる。
【0024】
拡張ビデオストリームは、複数種類の中から選択された一つの種類の高品質フォーマット画像データの符号化画像データを持つものである。この実施の形態において、高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかである。
【0025】
この拡張ビデオストリームの符号化画像データは、高品質フォーマット画像データに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。この場合、高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理が選択的に行われて符号化画像データが得られる。
【0026】
この場合、高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つものとなる。
【0027】
送信装置１００は、拡張ビデオストリームおよび/またはコンテナとしてのトランスポートストリームＴＳに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（以下、適宜、「高品質フォーマット情報」という）を挿入する。この情報は、ＮＡＬユニットのヘッダやＳＥＩ ＮＡＬユニットの領域に挿入される。また、この情報は、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入される。
【0028】
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、高品質フォーマット画像データの符号化画像データを持つ拡張ビデオストリームを有している。
【0029】
拡張ビデオストリームおよび/またはコンテナとしてのトランスポートストリームＴＳに、上述したように、高品質フォーマット情報が挿入されている。受信装置２００は、この情報と表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして取得する。
【0030】
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０Ｈｚ（ＬＦＲ：ローフレームレート）であるＳＤＲ（Standard Dynamic Range）画像データである。
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０Ｈｚ（ＬＦＲ：ローフレームレート）であるＳＤＲ（Standard Dynamic Range）画像データである。
【0031】
高品質フォーマット画像データＶｅは、例えば、（ａ）フレーム周波数が１００Ｈｚ（ＨＦＲ：ハイフレームレート）であるＨＤＲ画像データ、（ｂ）フレーム周波数が５０Ｈｚ（ＬＦＲ）であるＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００Ｈｚ（ＨＦＲ）であるＳＤＲ画像データの３つの種類の中から選択された一つの種類の高品質フォーマット画像データとされる。ＨＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさを１００％とすると、０～１００％＊Ｎ、例えば０～１０００％あるいはそれ以上の範囲の輝度を持つ。
【0032】
図３は、基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを生成する画像データ生成部１５０の構成例を示している。この画像データ生成部１５０は、カメラ１５１と、変換部１５２を有している。
【0033】
カメラ１５１は、被写体を撮像して、高品質フォーマット画像データＶｅを出力する。カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が１００ＨｚのＨＤＲ画像データである場合、変換部１５２は、フレームレートおよびダイナミックレンジの変換を行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。
【0034】
また、カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が５０ＨｚのＨＤＲ画像データである場合、変換部１５２は、ダイナミックレンジの変換のみを行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。また、カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が１００ＨｚのＳＤＲ画像データである場合、変換部１５２は、フレームレートの変換のみを行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。
【0035】
図２に戻って、送信装置１００は、制御部１０１と、光電変換部１０２と、ＲＧＢ/ＹＣｂＣｒ変換部１０３と、光電変換部１０４と、ＲＧＢ/ＹＣｂＣｒ変換部１０５と、ビデオエンコーダ１０６と、システムエンコーダ１０７と、送信部１０８を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
【0036】
光電変換部１０２は、基本フォーマット画像データＶｂに対して、ＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）を適用して、伝送用の基本フォーマット画像データＶｂ´を得る。ＲＧＢ/ＹＣｂＣｒ変換部１０３は、この基本フォーマット画像データＶｂ´を、ＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
【0037】
光電変換部１０４は、高品質フォーマット画像データＶｅに対して、ＨＤＲ光電変換特性（ＨＤＲ ＯＥＴＦカーブ）あるいはＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）を適用して、伝送用の高品質フォーマット画像データＶｅ´を得る。ＲＧＢ/ＹＣｂＣｒ変換部１０５は、この高品質フォーマット画像データＶｅ´を、ＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
【0038】
ビデオエンコーダ１０６は、エンコード部１０６ｂおよびエンコード部１０６ｅを有する。エンコード部１０６ｂは、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ基本ビデオストリーム（ビデオエレメンタリストリーム）ＢＳを生成する。
【0039】
エンコード部１０６ｅは、伝送用の高品質フォーマット画像データＶｅ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ拡張ビデオストリーム（ビデオエレメンタリストリーム）ＥＳを生成する。この場合、エンコード部１０６ｅは、予測残差を小さくするために、符号化ブロック毎に、画像データＶｅ´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
【0040】
図４は、エンコード部１０６ｅの主要部の構成例を示している。エンコード部１０６ｅは、レイヤ内予測部１６１と、レイヤ間予測部１６２と、予測調整部１６３と、選択部１６４と、エンコード機能部１６５を有している。
【0041】
レイヤ内予測部１６１は、符号化対象の画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１６２は、符号化対象の画像データＶ１に対して、参照対象の画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
【0042】
予測調整部１６３は、レイヤ間予測部１６２におけるレイヤ間予測を効率よく行うために、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。すなわち、ダイナミックレンジ拡張の場合は、ＳＤＲからＨＤＲに変換するためのレベル調整（ダイナミックレンジ変換）を行う。フレームレート拡張の場合は、バイパスする。
【0043】
図５を参照して、ダイナミックレンジ拡張の場合におけるレベル調整（ダイナミックレンジ変換）についてさらに説明する。実線ａは、ＳＤＲ光電変換特性を示すＳＤＲ ＯＥＴＦカーブの一例を示している。実線ｂは、ＨＤＲ光電変換特性を示すＨＤＲ ＯＥＴＦカーブの一例を示している。横軸は入力輝度レベルを示し、Ｐ１はＳＤＲ最大レベルに対応する入力輝度レベルを示し、Ｐ２はＨＤＲ最大レベルに対応する入力輝度レベルを示している。
【0044】
また、縦軸は伝送符号値または正規化された符号化レベルの相対値を示す。相対最大レベルＭはＨＤＲ最大レベルおよびＳＤＲ最大レベルを示す。基準レベルＧは、ＳＤＲ最大レベルに対応する入力輝度レベルＰ１におけるＨＤＲ ＯＥＴＦの伝送レベルを示すもので、いわゆるリファレンスの白レベルを意味する。分岐レベルＢは、ＳＤＲ ＯＥＴＦカーブとＨＤＲ ＯＥＴＦカーブとが同一軌道から分岐して別れるレベルを示す。Ｐｆは、分岐レベルに対応する入力輝度レベルを示す。なお、この分岐レベルＢは、０以上の任意の値とすることができる。
【0045】
予測調整部１６３におけるレベル調整（ダイナミックレンジ変換）では、基本フォーマット画像データＶｂ´のうち、分岐レベルＢから相対最大レベルＭまでが、ＨＤＲ光電変換特性による変換データの値となるように変換される。この場合、ＳＤＲの相対最大レベルＭは基準レベルＧと一致するようにされる。なお、分岐レベルＢ未満の入力データは、そのまま出力データとされる。
【0046】
ここで、変換情報は、変換テーブルあるいは変換係数で与えられる。変換テーブルで与えられる場合、予測調整部１６３は、この変換テーブルを参照して変換を行う。一方、変換係数で与えられる場合、予測調整部１６３は、この変換係数を用いた演算により変換を行う。例えば、変換係数をＣとするとき、分岐レベルＢから相対最大レベルＭまでの入力データに関して、以下の（１）式により、変換を行う。
出力データ＝分岐レベルＢ＋（入力データ－分岐レベルＢ）＊Ｃ ・・・（１）
出力データ＝分岐レベルＢ＋（入力データ－分岐レベルＢ）＊Ｃ ・・・（１）
【0047】
選択部１６４は、符号化ブロック毎に、レイヤ内予測部１６１で得られる予測残差データ、またはレイヤ間予測部１６２で得られる予測残差データを選択的に取り出し、エンコード機能部１６５に送る。この場合、選択部１６４では、例えば、予測残差の小さい方が取り出される。エンコード機能部１６５は、選択部１６４から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データＣＶを得る。
【0048】
拡張ビデオストリームに含まれる符号化画像データには、高品質フォーマット画像データＶｅに応じた種類の符号化成分が含まれる。すなわち、画像データＶｅが（ａ）ＨＦＲ（１００Ｈｚ）かつＨＤＲの画像データであるときは、ＨＤＲでＨＦＲの符号化成分が含まれる。また、画像データＶｅが（ｂ）ＬＦＲ（５０Ｈｚ）かつＨＤＲの画像データであるときは、ＨＤＲでＬＦＲの符号化成分が含まれる。また、画像データＶｅが（ｃ）ＨＦＲ（１００Ｈｚ）かつＳＤＲの画像データであるときは、ＳＤＲでＨＦＲの符号化成分が含まれる。
【0049】
図２に戻って、エンコード部１０６ｅは、拡張ビデオストリームＥＳに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）を挿入する。エンコード部１０６ｅは、この高品質フォーマット情報を、例えば、ＮＡＬユニットのヘッダ、あるいはＳＥＩ ＮＡＬユニットの領域に挿入する。
【0050】
図６（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図６（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「forbidden_zero_bit」の１ビットフィールドは、０が必須である。「nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「nuh_layer_id」の６ビットフィールドは、拡張レイヤのＩＤを示す。「nuh_temporal_id_plus1」の３ビットフィールドは、temporal_id（０～６）を示し、１を加えた値（１～７）を取る。
【0051】
基本ビデオストリームにおいて、「nuh_layer_id」の値は“０”とされる。高品質フォーマット情報をＮＡＬユニットのヘッダに挿入するときには、当該拡張ビデオストリームにおいて、「nuh_layer_id」の値は、符号化画像データに含まれる符号化成分の種類によって固定とされる。つまり、符号化画像データが対応する高品質フォーマットの種類に応じた固定値とされる。
【0052】
このとき、「nuh_layer_id」は、高品質フォーマット情報を構成する。例えば、符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であるときには、「nuh_layer_id」は“６”とされる。また、符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であるときには、「nuh_layer_id」は“５”とされる。また、符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であるときには、「nuh_layer_id」は“０”とされる。
【0053】
一方、この拡張ビデオストリームにおいて、「nuh_layer_id」の値をフレキシブルに割り当てる場合には、高品質フォーマット情報をＳＥＩ ＮＡＬユニットに挿入する。この場合は、「nuh_layer_id」は、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを直接的に指し示す機能は持たない。
【0054】
このとき、エンコード部１０６ｅは、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、高品質フォーマット情報を持つ、新規定義するスケーラブル・リンケージＳＥＩメッセージ（Scalable_linkage SEI message）を挿入する。
【0055】
図７は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図８は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。スケーラブル・リンケージＳＥＩメッセージは、図示のように、例えば、ＳＥＩメッセージ群「Suffix_SEIs」としてあるいは「Prefix SEIs」として配置される。
【0056】
図９は、スケーラブル・リンケージＳＥＩメッセージの構造例(Syntax)を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。「Scalable_linkage_cancel_flag」の１ビットのフラグ情報は、“Scalable_linkage”のＳＥＩメッセージをリフレッシュするかを示す。“０”は、このＳＥＩメッセージをリフレッシュすることを示す。“１”は、このＳＥＩメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
【0057】
「Scalable_linkage_cancel_flag」が“０”であるとき、以下のフィールドが存在する。「scalable_index」の１６ビットフィールドは、スケーラブル拡張ストリームの種類を示すインデックスである。つまり、このフィールドは、高品質フォーマット情報を構成する。
【0058】
例えば、“０ｘ８”は、ＨＤＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であることを示す。また、“０ｘ１０”は、ＨＦＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であることを示す。また、“０ｘ１８”は、ＨＤＲおよびＨＦＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であることを示す。
【0059】
「nuh_layer_id」の６ビットフィールドは、拡張ビデオストリームに含まれるレイヤＩＤ（layer ID）を示す。「reference_level」の１５ビットフィールドは、基準輝度レベル値、つまり基準レベルＧ（図５参照）を示す。「conversion_table_flag」の１ビットのフラグ情報は、変換テーブルによること、つまり変換テーブル情報が存在することを示す。
【0060】
「conversion_table_flag」が“１”であるとき、「table_size」の８ビットフィールドが存在する。このフィールドは、変換テーブルの入力数を示す。そして、その入力数だけ、「predctrl_y[i]」、「predctrl_cb[i]」、「predctrl_cr[i]」の各１６ビットフィールドが存在する。「predctrl_y[i]」のフィールドは、輝度に関す予測調整変換の値を示す。「predctrl_cb[i]」のフィールドは、色差Ｃｂに関す予測調整変換の値を示す。「predctrl_cr[i]」のフィールドは、色差Ｃｒに関す予測調整変換の値を示す。
【0061】
図１１は、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＨＤＲでＨＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
【0062】
横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。縦軸は階層を示している。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。矩形枠内の数字は、符号化されるピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。サブ・ピクチャグループ（Sub group of pictures）がいくつか集まってＧＯＰ（Group Of Pictures）となる。
【0063】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0064】
また、拡張ビデオストリームの符号化画像データは、０，１，２の３階層で階層符号化されている。階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“６”とされ、符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であることが示される。
【0065】
【0066】
「Ｂ」は、基本フレーム周波数を構成するピクチャを示している。「Ｌ」は、基本フレーム周波数で、ダイナミックレンジは基本ビデオストリームＢＳとの予測差分となるピクチャ成分を示している。「Ｕ」は、基本フレーム周波数のフレーム同士の中間のタイミングに位置するフレームで、「Ｌ」あるいは「Ｂ」のフレームと時間的に合成することでハイフレーム周波数となる。また、「Ｕ」には、ダイナミックレンジにおいても「Ｂ」あるいは「Ｌ」との差分成分を持つことができ、これらと合成することでハイダイナミックレンジとなる。
【0067】
デコードタイミング（デコードタイムスタンプ）の管理では、「Ｂ」、「Ｌ」のデコードは同時刻に、「Ｕ」のデコードは前後の「Ｂ」または「Ｌ」のデコード時刻のちょうど中間になるようにエンコードバッファ管理(ＨＲＤ管理）が行われる。表示タイミング（表示タイムスタンプ）も同様に、「Ｂ」、「Ｌ」は同時刻に予測合成表示され、「Ｕ」の表示は前後の基本フレーム周波数画像の表示時刻のちょうど中間になるようにエンコードバッファ管理(ＨＲＤ管理）がなされる。
【0068】
なお、詳細説明は省略するが、以下のその他の構成例においても、デコード・表示タイミング（デコード・表示のタイムスタンプ）の管理が同様に行われる。
【0069】
図１３も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＨＤＲでＬＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
【0070】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0071】
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１の２階層で階層符号化されており、階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。
【0072】
切り換え後のサブ・ピクチャグループでは０，２の２階層で階層符号化されており、階層０，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，２が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“５”とされ、符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であることが示される。
【0073】
図１４も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＳＤＲでＨＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
【0074】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0075】
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
【0076】
切り換え後のサブ・ピクチャグループでは０の１階層で階層符号化されており、階層０のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０が設定される。なお、破線で示すように、階層１の１階層あるいは階層２の１階層を用いることもできる。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされ、符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であることが示される。
【0077】
図１５も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＳＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＨＦＲの符号化成分が含まれる例である。
【0078】
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
【0079】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0080】
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
【0081】
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１７」、「２０」、「２３」はそれぞれピクチャ「１３」、「１６」、「１９」、「２２」のＨＤＲ差分のピクチャである。
【0082】
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１０”とされてＳＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ１８”とされてＨＤＲでＨＦＲの符号化成分であることが示される。
【0083】
図１６も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＳＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＬＦＲの符号化成分が含まれる例である。
【0084】
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
【0085】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0086】
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
【0087】
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１６」、「１８」、「２０」はそれぞれピクチャ「１３」、「１５」、「１７」、「１９」のＨＤＲ差分のピクチャである。
【0088】
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１０”とされてＳＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ０８”とされてＨＤＲでＬＦＲの符号化成分であることが示される。
【0089】
図１７も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＨＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＬＦＲの符号化成分が含まれる例である。
【0090】
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
【0091】
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
【0092】
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のＨＤＲ差分のピクチャである。
【0093】
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１６」、「１８」、「２０」はそれぞれピクチャ「１３」、「１５」、「１７」、「１９」のＨＤＲ差分のピクチャである。
【0094】
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１８”とされてＨＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ０８”とされてＨＤＲでＬＦＲの符号化成分であることが示される。
【0095】
図２に戻って、システムエンコーダ１０７は、ビデオエンコーダ１０６で生成された基本ビデオストリームＢＳおよび拡張ビデオストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。そして、送信部１０８は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【0096】
システムエンコーダ１０７は、コンテナとしてのトランスポートストリームＴＳに、高品質フォーマット情報を挿入する。この実施の形態において、ＰＭＴ（Program Map Table）の配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、新規定義するスケーラブル・リンケージ・デスクリプタ（Scalable_linkage descriptor）を挿入する。
【0097】
図１８（ａ）は、スケーラブル・リンケージ・デスクリプタの構造例（Syntax）を示している。図１８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・リンケージ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【0098】
「scalable_index」の１６ビットフィールドは、スケーラブル拡張ストリームの種類を示すインデックスである。この「scalable_index」のフィールドは、上述したスケーラブル・リンケージＳＥＩメッセージ（図９参照）の「scalable_index」のフィールドと同じ値に設定される。従って、ＮＡＬユニットのヘッダの「nuh_layer_id」の値がフレキシブルに割り当てられる場合であって、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドが高品質フォーマット情報を構成する場合、このスケーラブル・リンケージ・デスクリプタの「scalable_index」のフィールドも同様の情報を構成することになる。
【0099】
「nuh_layer_id」の６ビットフィールドは、拡張ビデオストリームに含まれるレイヤＩＤ（layer ID）を示す。この「nuh_layer_id」のフィールドは、上述したＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドと同じ値に設定される。従って、ＮＡＬユニットのヘッダの「nuh_layer_id」の値が拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類によって固定とされる場合であって、当該「nuh_layer_id」のフィールドが高品質フォーマット情報を構成する場合、このスケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールドも同様の情報を構成することになる。
【0100】
図１９（ａ）は、ＮＡＬユニットのヘッダの「nuh_layer_id」の値を符号化成分によって固定とする場合における各フィールドの値の一例を示している。この場合、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成する。この場合には、スケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールドも、高品質フォーマット情報を構成する。この場合、スケーラブル・リンケージ・デスクリプタの「scalable_index」の値は、拡張ビデオストリームの符号化画像データに対応した高品質フォーマットを表してはいない。
【0101】
図１９（ｂ）は、ＮＡＬユニットのヘッダの「nuh_layer_id」の値をフレキシブルに割り当てる場合における各フィールドの値の一例を示している。この場合、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成しない。この場合、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドが、高品質フォーマット情報を構成する。この場合には、スケーラブル・リンケージ・デスクリプタの「scalable_index」のフィールドも、高品質フォーマット情報を構成する。なお、図示していないが、このスケーラブル・リンケージ・デスクリプタに、上述したスケーラブル・リンケージＳＥＩメッセージ（図９参照）と同様に、予測変換情報（ダイナミックレンジ変換情報）を含めることも考えられる。
【0102】
[トランスポートストリームＴＳの構成]
図２０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＢＳと拡張ビデオストリームＥＳが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
図２０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＢＳと拡張ビデオストリームＥＳが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
【0103】
基本ビデオストリームＢＳのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。この基本ビデオストリームＢＳには、基本フォーマット画像データの各ピクチャの符号化画像データが含まれている。この符号化画像データには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。
【0104】
また、拡張ビデオストリームＥＳのパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。この拡張ビデオストリームＥＳには、高品質フォーマット画像データの各ピクチャの符号化画像データが含まれている。この符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。
【0105】
例えば、ＮＡＬユニットのヘッダの「nuh_layer_id」の値が符号化成分によって固定とされることで、この「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成する。一方、ＮＡＬユニットのヘッダの「nuh_layer_id」の値がフレキシブルに割り当てられる場合、高品質フォーマット情報を構成する「scalable_index」のフィールドを持つスケーラブル・リンケージＳＥＩメッセージ（図９参照）が、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に挿入される。
【0106】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0107】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。
【0108】
この構成例では、基本ビデオストリームＢＳと拡張ビデオストリームＥＳにそれぞれ対応したビデオエレメンタリストリームループ（video ES loop）が存在する。基本ビデオストリームＢＳに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置されると共に、この拡張ビデオストリームＥＳに関連する情報を記述するデスクリプタも配置される。
【0109】
また、拡張ビデオストリームＥＳに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST1）、パケット識別子（PID2）等の情報が配置されると共に、この拡張ビデオストリームＥＳに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・リンケージ・デスクリプタ（図１８参照）が配置される。
【0110】
図２に示す送信装置１００の動作を簡単に説明する。フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂは、光電変換部１０２に供給される。この光電変換部１０２では、基本フォーマット画像データＶｂに対して、ＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の基本フォーマット画像データＶｂ´が得られる。この基本フォーマット画像データＶｂ´は、ＲＧＢ/ＹＣｂＣｒ変換部１０３によりＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０６のエンコード部１０６ｂ，１０６ｅに供給される。
【0111】
また、高品質フォーマット画像データＶｅは、光電変換部１０４に供給される。高品質フォーマット画像データＶｅは、（ａ）フレーム周波数が１００ＨｚのＨＤＲ画像データ、（ｂ）フレーム周波数が５０ＨｚのＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００ＨｚのＳＤＲ画像データのいずれかである。
【0112】
光電変換部１０４では、高品質フォーマット画像データＶｅに対して、ＨＤＲ光電変換特性（ＨＤＲ ＯＥＴＦカーブ）あるいはＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｅ´が得られる。この高品質フォーマット画像データＶｅ´は、ＲＧＢ/ＹＣｂＣｒ変換部１０５によりＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０６のエンコード部１０６ｅに供給される。
【0113】
エンコード部１０６ｂでは、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて符号化画像データが得られ、この符号化ビデオデータを含む基本ビデオストリーム（ビデオエレメンタリストリーム）ＢＳが生成される。この基本ビデオストリームＢＳは、システムエンコーダ１０７に供給される。
【0114】
エンコード部１０６ｅでは、伝送用の高品質フォーマット画像データＶｅ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて符号化画像データが得られ、この符号化ビデオデータを含む拡張ビデオストリーム（ビデオエレメンタリストリーム）ＥＳが生成される。この場合、エンコード部１０６ｅでは、予測残差を小さくするために、符号化ブロック毎に、画像データＶｅ´内の予測、または画像データＶｂ´との間の予測が、選択的に行われる。
【0115】
エンコード部１０６ｅでは、拡張ビデオストリームＥＳに、高品質フォーマット情報が挿入される。例えば、この情報は、ＮＡＬユニットのヘッダに挿入される。この場合、「nuh_layer_id」（図６参照）の値が符号化画像データに含まれる符号化成分の種類によって固定とされる。また、例えば、この情報は、ＳＥＩ ＮＡＬユニットの領域に挿入される。この場合、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に新規定義するスケーラブル・リンケージＳＥＩメッセージ（図９参照）が挿入される。
【0116】
システムエンコーダ１０７では、ビデオエンコーダ１０６で生成された基本ビデオストリームＢＳおよび拡張ビデオストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化が施されて、トランスポートストリームＴＳが生成される。このとき、システムエンコーダ１０７では、コンテナとしてのトランスポートストリームＴＳに、高品質フォーマット情報が挿入される。すなわち、ＰＭＴの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、新規定義するスケーラブル・リンケージ・デスクリプタ（図１８参照）が配置される。
【0117】
システムエンコーダ１０７で生成されるトランスポートストリームＴＳは、送信部１０８に送られる。送信部１０８では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【0118】
「受信装置の構成」
図２１は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、ＹＣｂＣｒ/ＲＧＢ変換部１０５と、電光変換部２０６と、ＹＣｂＣｒ/ＲＧＢ変換部２０７と、電光変換部２０８と、表示部２０９を有している。
図２１は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、ＹＣｂＣｒ/ＲＧＢ変換部１０５と、電光変換部２０６と、ＹＣｂＣｒ/ＲＧＢ変換部２０７と、電光変換部２０８と、表示部２０９を有している。
【0119】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、基本ビデオストリームＢＳと拡張ビデオストリームＥＳを抽出する。
【0120】
また、システムデコーダ２０３は、コンテナとしてのトランスポートストリームＴＳに挿入されている種々の情報を抽出し、制御部２０１に送る。この情報には、上述した、スケーラブル・リンケージ・デスクリプタ（図１８参照）も含まれる。制御部２０１は、このデスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドに基づいて、拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識する。すなわち、制御部２０１は、ＨＤＲでＨＦＲの符号化成分が含まれるか、ＨＤＲでＬＦＲの符号化成分が含まれるか、あるいはＳＤＲでＨＦＲの符号化成分が含まれるかを認識し、受信・表示システムの構成によってデコード対象を選択する。
【0121】
ビデオデコーダ２０４は、デコード部２０４ｂおよびデコード部２０４ｅを有する。デコード部２０４ｂは、基本ビデオストリームＢＳに対してデコード処理を施して、基本フォーマット画像データＶｂ´を生成する。この場合、デコード部２０４ｂは、画像データＶｂ´内で予測補償を行う。
【0122】
デコード部２０４ｅは、拡張ビデオストリームＥＳに対してデコード処理を施して、高品質フォーマット画像データＶｅ´を生成する。この場合、デコード部２０４ｅは、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｅ´内の予測補償、または画像データＶｂ´との間の予測補償を行う。
【0123】
図２２は、デコード部２０４ｅの主要部の構成例を示している。このデコード部２０４ｅは、図４のエンコード部１０６ｅの処理とは逆の処理を行う。このデコード部２０４ｅは、デコード機能部２４１と、レイヤ内予測補償部２４２と、レイヤ間予測補償部２４３と、予測調整部２４４と、選択部２４５を有している。
【0124】
デコード機能部２４１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２４２は、予測残差データに対して、画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２４３は、予測残差データに対して、参照対象の画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
【0125】
予測調整部２４４は、詳細説明は省略するが、図４のエンコード部１０６ｅの予測調整部１６３と同様に、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じた処理を行う。選択部２４５は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部２４２で得られる画像データＶ１、またはレイヤ間予測補償部２４３で得られる画像データＶ１を選択的に取り出して、出力とする。
【0126】
図２１に戻って、デコード部２０４ｅは、拡張ビデオストリームＥＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどを抽出し、制御部２０１に送る。制御部２０１は、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットを認識する。
【0127】
上述したように、制御部２０１は、スケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドによっても、拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識する。しかし、デスクリプタのようなコンテナレベルの識別情報は、ビデオのフレーム単位の動的な変化に追従できない。ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識することで、フレーム単位の動的な変化に追従できる。
【0128】
また、制御部２０１は、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、予測調整のための変換テーブル情報を認識する。制御部２０１は、当該変換テーブルを予測調整部２４４に設定する。これにより、予測調整部２４４において、送信側における予測調整部１６３と同様のレベル調整（ダイナミックレンジ変換）を確実に行わせることが可能となる。
【0129】
ＹＣｂＣｒ/ＲＧＢ変換部１０５は、デコード部２０４ｂで得られる基本フォーマット画像データＶｂ´を、ＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。電光変換部２０６は、ＲＧＢドメインに変換された基本フォーマット画像データＶｂ´に、上述した送信装置１００における光電変換部１０２とは逆特性の電光変換を施し、基本フォーマット画像データＶｂを得る。この基本フォーマット画像データは、フレーム周波数が５０ＨｚのＳＤＲ画像データである。
【0130】
ＹＣｂＣｒ/ＲＧＢ変換部２０７は、デコード部２０４ｅで得られる高品質フォーマット画像データＶｅ´を、ＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。電光変換部２０８は、ＲＧＢドメインに変換された高品質フォーマット画像データＶｅ´に、上述した送信装置１００における光電変換部１０４とは逆特性の電光変換を施し、高品質フォーマット画像データＶｅを得る。
【0131】
この高品質フォーマット画像データは、（ａ）フレーム周波数が１００Ｈｚ（ＨＦＲ：ハイフレームレート）であるＨＤＲ画像データ、（ｂ）フレーム周波数が５０Ｈｚ（ＬＦＲ）であるＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００Ｈｚ（ＨＦＲ）であるＳＤＲ画像データのいずれかである。
【0132】
表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２０９は、表示能力に応じて、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｅのいずれかによる画像を表示する。
【0133】
この場合、制御部２０１は、表示部２０９に供給すべき画像データ、つまり表示用画像データとして得られる画像データを制御する。この制御は、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットの情報、従って高品質フォーマット画像データＶｅの高品質フォーマットの情報と、表示部２０９の表示能力情報に基づいて、行われる。
【0134】
すなわち、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が不可能である場合には、表示部２０９に基本フォーマット画像データＶｂが供給されるように制御する。一方、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が可能である場合には、表示部２０９に高品質フォーマット画像データＶｅが供給されるように制御する。
【0135】
図２１に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳから基本ビデオストリームＢＳと拡張ビデオストリームＥＳが抽出される。基本ビデオストリームＢＳは、デコード部２０４ｂに供給される。拡張ビデオストリームＥＳは、デコード部２０４ｅに供給される。
【0136】
また、システムデコーダ２０３では、コンテナとしてのトランスポートストリームＴＳに挿入されている種々の情報が抽出され、制御部２０１に送られる。この情報には、スケーラブル・リンケージ・デスクリプタ（図１８参照）も含まれる。制御部２０１では、このデスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドに基づいて、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットが認識される。
【0137】
デコード部２０４ｂでは、基本ビデオストリームＢＳに対してデコード処理が施されて、基本フォーマット画像データＶｂ´が生成される。この場合、デコード部２０４ｂでは、画像データＶｂ´内で予測補償が行われる。デコード部２０４ｅでは、拡張ビデオストリームＥＳに対してデコード処理が施されて、高品質フォーマット画像データＶｅ´が生成される。この場合、デコード部２０４ｅでは、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｅ´内の予測補償、または画像データＶｂ´との間の予測補償が行われる。
【0138】
また、デコード部２０４ｅでは、拡張ビデオストリームＥＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどが抽出され、制御部２０１に送られる。制御部２０１では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットが、フレーム単位で認識される。
【0139】
デコード部２０４ｂで得られる基本フォーマット画像データＶｂ´は、ＹＣｂＣｒ/ＲＧＢ変換部２０５でＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２０６に供給される。電光変換部２０６では、ＲＧＢドメインに変換された基本フォーマット画像データＶｂ´に、送信装置１００における光電変換とは逆特性の電光変換が施されて、基本フォーマット画像データＶｂが得られる。
【0140】
デコード部２０４ｅで得られる高品質フォーマット画像データＶｅ´は、ＹＣｂＣｒ/ＲＧＢ変換部２０７でＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２０８に供給される。電光変換部２０８では、ＲＧＢドメインに変換された高品質フォーマット画像データＶｅ´に、送信装置１００における光電変換とは逆特性の電光変換が施されて、高品質フォーマット画像データＶｅが得られる。
【0141】
制御部２０１により、表示部２０９に供給すべき画像データ（表示用画像データ）が制御される。この制御は、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットの情報、従って高品質フォーマット画像データＶｅの高品質フォーマットの情報と、表示部２０９の表示能力情報に基づいて、行われる。
【0142】
表示部２０９が高品質フォーマット画像データＶｅによる画像表示が不可能である場合には、表示部２０９に基本フォーマット画像データＶｂが供給される。これにより、表示部２０９には、基本フォーマット（５０Ｈで通常ダイナミックレンジ）の画像が表示される。一方、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が可能である場合には、表示部２０９に高品質フォーマット画像データＶｅが供給される。これにより、表示部２０９には、高品質フォーマットの画像が表示される。
【0143】
以上説明したように、図１に示す送受信システム１０においては、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が拡張ビデオストリームおよび/またはコンテナに挿入されるものである。そのため、受信側では、高品質フォーマット画像データの高品質フォーマットを容易に認識可能となる。そして、受信側では、この情報および表示能力情報に基づいて、基本フォーマット画像データＶｂまたは高品質フォーマット画像データＶｅを表示用画像データとして選択して、表示能力にあった画像表示を容易に行い得る。
【0144】
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
なお、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
【0145】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）、あるいは次世代トランスポートのＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｔ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【0146】
また、本技術は、以下のような構成を取ることもできる。
（１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って符号化画像データを得、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理を選択的に行って符号化画像データを得る
前記（１）に記載の送信装置。
（３）上記基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データであり、
上記高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかであり、
上記高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つ
前記（２）に記載の送信装置。
（４）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに対する差分情報を求めるとき、差分値を小さくするために上記通常ダイナミックレンジ画像データにダイナミックレンジ変換を行う
前記（３）に記載の送信装置。
（５）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいて、上記ダイナミックレンジ変換を行う
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記拡張ビデオストリームおよび/またはコンテナに、上記変換情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻と同じか中間とし、
上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とし、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とする
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、上記ＮＡＬユニットのヘッダに挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、ＳＥＩ ＮＡＬユニットの領域に挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（１０）上記コンテナはＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（１）から（９）のいずれかに記載の送信装置。
（１１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入ステップを有する
送信方法。
（１２）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置。
（１３）上記基本ビデオストリームに含まれる符号化画像データは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームに含まれる符号化画像データは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１２）に記載の受信装置。
（１４）受信部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出ステップと、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理ステップをさらに有する
受信方法。
（１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って符号化画像データを得、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理を選択的に行って符号化画像データを得る
前記（１）に記載の送信装置。
（３）上記基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データであり、
上記高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかであり、
上記高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つ
前記（２）に記載の送信装置。
（４）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに対する差分情報を求めるとき、差分値を小さくするために上記通常ダイナミックレンジ画像データにダイナミックレンジ変換を行う
前記（３）に記載の送信装置。
（５）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいて、上記ダイナミックレンジ変換を行う
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記拡張ビデオストリームおよび/またはコンテナに、上記変換情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻と同じか中間とし、
上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とし、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とする
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、上記ＮＡＬユニットのヘッダに挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、ＳＥＩ ＮＡＬユニットの領域に挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（１０）上記コンテナはＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（１）から（９）のいずれかに記載の送信装置。
（１１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入ステップを有する
送信方法。
（１２）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置。
（１３）上記基本ビデオストリームに含まれる符号化画像データは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームに含まれる符号化画像データは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１２）に記載の受信装置。
（１４）受信部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出ステップと、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理ステップをさらに有する
受信方法。
【0147】
本技術の主な特徴は、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を拡張ビデオストリームおよび/またはコンテナに挿入することで、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能としたことである（図２０参照）。
【0148】
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２，１０４・・・光電変換部
１０３，１０５・・・ＲＧＢ/ＹＣｂＣＲ変換部
１０６・・・ビデオエンコーダ
１０６ｂ，１０６ｅ・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・カメラ
１５２・・・変換部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４ｂ，２０４ｅ・・・デコード部
２０５，２０７・・・ＹＣｂＣｒ/ＲＧＢ変換部
２０６，２０８・・・電光変換部
２０９・・・表示部
２４１・・・デコード機能部
２４２・・・レイヤ内予測補償部
２４３・・・レイヤ間予測補償部
２４４・・・予測調整部
２４５・・・選択部
１００・・・送信装置
１０１・・・制御部
１０２，１０４・・・光電変換部
１０３，１０５・・・ＲＧＢ/ＹＣｂＣＲ変換部
１０６・・・ビデオエンコーダ
１０６ｂ，１０６ｅ・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・カメラ
１５２・・・変換部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４ｂ，２０４ｅ・・・デコード部
２０５，２０７・・・ＹＣｂＣｒ/ＲＧＢ変換部
２０６，２０８・・・電光変換部
２０９・・・表示部
２４１・・・デコード機能部
２４２・・・レイヤ内予測補償部
２４３・・・レイヤ間予測補償部
２４４・・・予測調整部
２４５・・・選択部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】