ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022171957
(43)【公開日】2022-11-11
(54)【発明の名称】送信方法、送信装置、受信装置および受信方法
(51)【国際特許分類】
H04N 21/2662 20110101AFI20221104BHJP
H04N 21/2362 20110101ALI20221104BHJP
H04N 21/434 20110101ALI20221104BHJP
【ＦＩ】
H04N21/2662
H04N21/2362
H04N21/434
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022150748
(22)【出願日】2022-09-21
(62)【分割の表示】P 2021042048の分割
【原出願日】2015-07-09
(31)【優先権主張番号】P 2014161833
(32)【優先日】2014-08-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
(57)【要約】
【課題】基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信する。
【解決手段】基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する、あるいは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する。生成されたビデオストリームを含む所定フォーマットのコンテナを送信する。基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する。
【選択図】図１０
【解決手段】基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する、あるいは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する。生成されたビデオストリームを含む所定フォーマットのコンテナを送信する。基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する。
【選択図】図１０
【特許請求の範囲】
【請求項1】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
【請求項2】
上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
請求項１に記載の送信装置。
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
請求項１に記載の送信装置。
【請求項3】
上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
請求項２に記載の送信装置。
請求項２に記載の送信装置。
【請求項4】
上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
請求項２に記載の送信装置。
請求項２に記載の送信装置。
【請求項5】
上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
請求項１に記載の送信装置。
【請求項6】
上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項５に記載の送信装置。
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項５に記載の送信装置。
【請求項7】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
【請求項8】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
【請求項9】
上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
請求項８に記載の受信装置。
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
請求項８に記載の受信装置。
【請求項10】
上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項８に記載の受信装置。
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項８に記載の受信装置。
【請求項11】
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
【請求項12】
上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
請求項１１に記載の送信装置。
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
請求項１１に記載の送信装置。
【請求項13】
上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
請求項１２に記載の送信装置。
請求項１２に記載の送信装置。
【請求項14】
上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
請求項１２に記載の送信装置。
請求項１２に記載の送信装置。
【請求項15】
上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
請求項１１に記載の送信装置。
請求項１１に記載の送信装置。
【請求項16】
上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項１５に記載の送信装置。
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項１５に記載の送信装置。
【請求項17】
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
【請求項18】
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
【請求項19】
上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
請求項１８に記載の受信装置。
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
請求項１８に記載の受信装置。
【請求項20】
上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項１８に記載の受信装置。
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項１８に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法および受信装置に関し、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する送信装置等に関する。
【背景技術】
【0002】
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２００８－５４３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信することにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
【0006】
本技術において、画像符号化部により、基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームが生成される。例えば、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われる。また、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が行われる。
【0007】
送信部により、画像符号化部で生成された基本ビデオストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0008】
画像符号化部では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。例えば、符号化画像データは、ＮＡＬユニット構造を有し、画像符号化部は、識別情報をＮＡＬユニットのヘッダに挿入する、ようにされてもよい。この場合、例えば、画像符号化部は、識別情報を、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する、ようにされてもよい。また、この場合、例えば、画像符号化部は、識別情報を、ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する、ようにされてもよい。
【0009】
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
【0010】
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、情報挿入部は、情報を、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。この場合、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
【0011】
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
【0012】
本技術において、受信部により、基本ビデオストリームおよび拡張ビデオストリームを有する所定フォーマットのコンテナが受信される。ここで、基本ビデオストリームには、基本フォーマット画像データの符号化画像データが含まれる。拡張ビデオストリームには、所定数の高品質フォーマット画像データのそれぞれの符号化画像データが含まれる。
【0013】
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されている。例えば、符号化画像データは、ＮＡＬユニット構造を有し、識別情報は、ＮＡＬユニットのヘッダに挿入されている、ようにされてもよい。処理部により、受信されたコンテナが有する各ビデオストリームが、識別情報と表示能力情報に基づいて処理される。
【0014】
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに挿入されている、対応するフォーマットを識別するための識別情報と、表示能力情報に基づいて、受信されたコンテナが有する拡張ビデオストリームが処理されるものである。そのため、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
【0015】
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、処理部は、コンテナのレイヤに挿入されている情報に基づいて、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する、ようにされてもよい。
【0016】
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
【0017】
本技術において、画像符号化部により、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームが生成される。例えば、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われる。また、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が行われる。
【0018】
送信部により、画像符号化部で生成されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0019】
画像符号化部では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。例えば、符号化画像データは、ＮＡＬユニット構造を有し、画像符号化部は、識別情報をＮＡＬユニットのヘッダに挿入する、ようにされてもよい。この場合、例えば、画像符号化部は、識別情報を、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する、ようにされてもよい。また、この場合、例えば、画像符号化部は、識別情報を、ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する、ようにされてもよい。
【0020】
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
【0021】
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、情報挿入部は、情報を、プログラムマップテーブルの配下に存在するビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。この場合、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
【0022】
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
【0023】
本技術において、受信部により、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受が受信される。
【0024】
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されている。例えば、符号化画像データは、ＮＡＬユニット構造を有し、識別情報は、ＮＡＬユニットのヘッダに挿入されている、ようにされてもよい。処理部により、受信されたコンテナが有するビデオストリームが、識別情報と表示能力情報に基づいて処理される。
【0025】
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに挿入されている、対応するフォーマットを識別するための識別情報と、表示能力情報に基づいて、受信されたコンテナが有するビデオストリームが処理されるものである。そのため、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
【0026】
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、処理部は、コンテナのレイヤに挿入されている情報に基づいて、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する、ようにされてもよい。
【発明の効果】
【0027】
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0028】
【図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【図2】送信装置の構成例を示すブロック図である。
【図3】基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部の構成例を示すブロック図である。
【図4】エンコード部の主要部の構成例を示すブロック図である。
【図5】ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。
【図6】符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の構成例を示す図である。
【図7】スケーラブル・エクステンション・デスクリプタの構造例を示す図である。
【図8】スケーラブル・エクステンション・デスクリプタの構造例における主要な情報の内容を示す図である。
【図9】ＮＡＬユニットヘッダの「nuh_layer_id」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示す図である。
【図10】トランスポートストリームＴＳの構成例（２ストリームの場合）を示す図である。
【図11】トランスポートストリームＴＳの構成例（１ストリームの場合）を示す図である。
【図12】受信装置の構成例を示すブロック図である。
【図13】デコード部の主要部の構成例を示すブロック図である。
【図14】２ストリーム構成の場合における圧縮データバッファ（ｃｐｂ）の出力と、「nuh_layer_id」による符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の対応するデコード部への振り分けを概略的に示す図である。
【図15】１ストリーム構成の場合における圧縮データバッファ（ｃｐｂ）の出力と、「nuh_layer_id」による符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の対応するデコード部への振り分けを概略的に示す図である。
【図16】表示能力情報（表示性能情報）からデコード範囲を判断する処理の一例を示すフローチャートである。
【図17】符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の構成例を示す図である。
【図18】ＮＡＬユニットヘッダの「nuh_layer_id」、「nuh_temporal_id_plus1」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示す図である。
【図19】表示能力情報（表示性能情報）からデコード範囲を判断する処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【0029】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
１．実施の形態
２．変形例
【0030】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００から受信装置２００にコンテナとしてのトランスポートストリームＴＳが放送波あるいはネットのパケットに載せて送信される。この実施の形態においては、（１）トランスポートストリームＴＳが基本ビデオストリームおよび拡張ビデオストリームの２本のビデオストリームを有する２ストリーム構成の場合と、（２）トランスポートストリームＴＳが１本のビデオストリームを有する１ストリーム構成の場合の２通りがある。
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００から受信装置２００にコンテナとしてのトランスポートストリームＴＳが放送波あるいはネットのパケットに載せて送信される。この実施の形態においては、（１）トランスポートストリームＴＳが基本ビデオストリームおよび拡張ビデオストリームの２本のビデオストリームを有する２ストリーム構成の場合と、（２）トランスポートストリームＴＳが１本のビデオストリームを有する１ストリーム構成の場合の２通りがある。
【0031】
「２ストリーム構成の場合」
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、基本ビデオストリームと拡張ビデオストリームの２本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを含むものである。基本ビデオストリームは、例えば、基本フォーマット画像データにＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、基本ビデオストリームと拡張ビデオストリームの２本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを含むものである。基本ビデオストリームは、例えば、基本フォーマット画像データにＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。
【0032】
拡張ビデオストリームは、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。この拡張ビデオストリームは、所定数の高品質画像データに、それぞれ、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。
【0033】
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。受信側では、この識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。この実施の形態において、識別情報は、ＮＡＬユニットのヘッダに挿入される。
【0034】
コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。受信側では、この情報により、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。この実施の形態において、情報は、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
【0035】
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有している。
【0036】
所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、上述したように、対応するフォーマットを識別するための識別情報が挿入されている。受信装置２００は、この識別情報と表示能力情報に基づいて、トランスポートストリームＴＳに含まれている各ビデオストリームを処理し、表示能力に応じた画像データを取得する。
【0037】
「１ストリーム構成の場合」
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、１本のビデオストリームが含まれる。このビデオストリームは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。このビデオストリームは、基本フォーマット画像データおよび所定数の高品質フォーマット画像データに、それぞれ、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、１本のビデオストリームが含まれる。このビデオストリームは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。このビデオストリームは、基本フォーマット画像データおよび所定数の高品質フォーマット画像データに、それぞれ、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。
【0038】
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、基本フォーマットあるいは対応する高品質フォーマットを識別するための識別情報が挿入される。受信側では、この識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。この実施の形態において、識別情報は、ＮＡＬユニットのヘッダに挿入される。
【0039】
コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。受信側では、この情報により、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。この実施の形態において、情報は、プログラムマップテーブルの配下に存在するビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
【0040】
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有している。
【0041】
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、上述したように、対応するフォーマットを識別するための識別情報が挿入されている。受信装置２００は、この識別情報と表示能力情報に基づいて、トランスポートストリームＴＳに含まれているビデオストリームを処理し、表示能力に応じた画像データを取得する。
【0042】
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０ＨｚであるＬＤＲ（Low Dynamic Lange）画像データである。高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚであるＬＤＲ画像データである。ＬＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさに対して０％から１００％の輝度範囲を持つ。
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０ＨｚであるＬＤＲ（Low Dynamic Lange）画像データである。高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚであるＬＤＲ画像データである。ＬＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさに対して０％から１００％の輝度範囲を持つ。
【0043】
高品質フォーマット画像データＶｈ２は、フレーム周波数が５０ＨｚであるＨＤＲ（High Dynamic Range）画像データである。高品質フォーマット画像データＶｈ３は、フレーム周波数が１００ＨｚであるＨＤＲ画像データである。このＨＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさを１００％とすると、０～１００％＊Ｎ、例えば０～１０００％あるいはそれ以上の範囲の輝度をもつ。
【0044】
図３は、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部１５０の構成例を示している。この画像データ生成部１５０は、ＨＤＲカメラ１５１と、フレームレート変換部１５２と、ダイナミックレンジ変換部１５３と、フレームレート変換部１５４を有している。
【0045】
ＨＤＲカメラ１５１は、被写体を撮像し、フレーム周波数が１００ＨｚであるＨＤＲ画像データ、つまり高品質フォーマット画像データＶｈ３を出力する。フレームレート変換部１５２は、ＨＤＲカメラ１５１から出力される高品質フォーマット画像データＶｈ３に対して、フレーム周波数を１００Ｈｚから５０Ｈｚに変換する処理をおこなって、フレーム周波数が５０ＨｚであるＨＤＲ画像データ、つまり高品質フォーマット画像データＶｈ２を出力する。
【0046】
ダイナミックレンジ変換部１５３は、ＨＤＲカメラ１５１から出力される高品質フォーマット画像データＶｈ３に対して、ＨＤＲからＬＤＲに変換する処理をおこなって、フレーム周波数が１００ＨｚであるＬＤＲ画像データ、つまり高品質フォーマット画像データＶｈ１を出力する。フレームレート変換部１５４は、ダイナミックレンジ変換部１５３から出力される高品質フォーマット画像データＶｈ１に対して、フレーム周波数を１００Ｈｚから５０Ｈｚに変換する処理をおこなって、フレーム周波数が５０ＨｚであるＬＤＲ画像データ、つまり基本フォーマット画像データＶｂを出力する。
【0047】
図２に戻って、送信装置１００は、制御部１０１と、ＬＤＲ光電変換部１０２，１０３と、ＨＤＲ光電変換部１０４，１０５と、ビデオエンコーダ１０６と、システムエンコーダ１０７と、送信部１０８を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
【0048】
ＬＤＲ光電変換部１０２は、基本フォーマット画像データＶｂに対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）を適用して、伝送用の基本フォーマット画像データＶｂ´を得る。ＬＤＲ光電変換部１０３は、高品質フォーマット画像データＶｈ１に対して、ＬＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ１´を得る。
【0049】
ＨＤＲ光電変換部１０４は、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）を適用して、伝送用の高品質フォーマット画像データＶｈ２´を得る。ＨＤＲ光電変換部１０５は、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ３´を得る。
【0050】
ビデオエンコーダ１０６は、４つのエンコード部１０６-0，１０６-1，１０６-2，１０６-3を有する。エンコード部１０６-0は、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、符号化画像データＣｂを得る。この場合、エンコード部１０６-0は、画像データＶｂ´内の予測を行う。
【0051】
エンコード部１０６-1は、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、符号化画像データＣｈ１を得る。この場合、エンコード部１０６-1は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ１´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
【0052】
エンコード部１０６-2は、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、符号化画像データＣｈ２を得る。この場合、エンコード部１０６-2は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ２´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
【0053】
エンコード部１０６-3は、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、符号化画像データＣｈ３を得る。この場合、エンコード部１０６-3は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ３´内の予測、または画像データＶｈ２´との間の予測を、選択的に行う。
【0054】
図４は、エンコード部１６０の主要部の構成例を示している。このエンコード部１６０は、エンコード部１０６-1，１０６-2，１０６-3に適用し得るものである。このエンコード部１６０は、レイヤ内予測部１６１と、レイヤ間予測部１６２と、予測調整部１６３と、選択部１６４と、エンコード機能部１６５を有している。
【0055】
レイヤ内予測部１６１は、符号化対象の画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１６２は、符号化対象の画像データＶ１に対して、参照対象の画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
【0056】
予測調整部１６３は、レイヤ間予測部１６２におけるレイヤ間予測を効率よく行うために、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。ダイナミックレンジ拡張の場合は、ＬＤＲからＨＤＲに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、他のレイヤのブロックを所定のサイズにスケーリング処理を施したものを対象とする。フレームレート拡張の場合は、バイパスする。色域拡張の場合は、輝度・色差のそれぞれに対してマッピングを行う。ビット長拡張の場合は、画素のＭＳＢを揃える変換を行う。
【0057】
例えば、エンコード部１０６-1の場合、画像データＶ１は高品質フォーマット画像データＶｈ１´（１００Ｈｚ、ＬＤＲ）であり、画像データＶ２は基本フォーマット画像データＶｂ´（５０Ｈｚ、ＬＤＲ）であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´がそのままバイパスされる。
【0058】
また、例えば、エンコード部１０６-2の場合、画像データＶ１は高品質フォーマット画像データＶｈ２´（５０Ｈｚ、ＨＤＲ）であり、画像データＶ２は基本フォーマット画像データＶｂ´（５０Ｈｚ、ＬＤＲ）であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´に対してＬＤＲからＨＤＲに変換するためのレベル調整が行われる。なお、レベル調整は、ダイナミックレンジ変換部１５３から供給される情報を元に行われてもよい。
【0059】
また、例えば、エンコード部１０６-3の場合、画像データＶ１は高品質フォーマット画像データＶｈ３´（１００Ｈｚ、ＨＤＲ）であり、画像データＶ２は高品質フォーマット画像データＶｈ２´（５０Ｈｚ、ＨＤＲ）であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部１６３では、画像データＶｂ´がそのままバイパスされる。
【0060】
選択部１６４は、符号化ブロック毎に、レイヤ内予測部１６１で得られる予測残差データ、またはレイヤ間予測部１６２で得られる予測残差データを選択的に取り出し、エンコード機能部１６５に送る。この場合、選択部１６４では、例えば、予測残差の小さい方が取り出される。エンコード機能部１６５は、選択部１６４から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データＣＶを得る。
【0061】
図２に戻って、ビデオエンコーダ１０６は、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３のそれぞれに、対応するフォーマットを識別するための識別情報を挿入する。ビデオエンコーダ１０６は、この識別情報を、例えば、ＮＡＬユニットのヘッダに挿入する。
【0062】
図５（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図５（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「forbidden_zero_bit」の１ビットフィールドは、０が必須である。「nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「nuh_layer_id」の６ビットフィールドは、ストリームのレイヤ拡張種別を示すＩＤである。「nuh_temporal_id_plus1」の３ビットフィールドは、temporal_id（０～６）を示し、１を加えた値（１～７）を取る。
【0063】
この実施の形態において、「nuh_layer_id」の６ビットフィールドは、当該ＮＡＬユニット（符号化画像データ）が対応するフォーマットを識別するための識別情報を示す。例えば、“０”は、基本を示す。“１”は、空間拡張を示す。“２”は、フレームレート拡張を示す。“３”は、ビット長拡張を示す。“４”は、ダイナミックレンジ拡張を示す。“５”は、広色域拡張を示す。“６”は、フレームレート拡張とダイナミックレンジ拡張を示す。“７”は、空間拡張とフレームレート拡張を示す。
【0064】
符号化画像データＣｂは基本フォーマット画像データＶｂに対応し、この符号化画像データＣｂの「nuh_layer_id」は“０”とされる。また、符号化画像データＣｈ１は、フレームレート拡張フォーマット画像データＶｈ１に対応し、この符号化画像データＣｈ１の「nuh_layer_id」は“２”とされる。また、符号化画像データＣｈ２は、ダイナミックレンジ拡張フォーマット画像データＶｈ２に対応し、この符号化画像データＣｈ２の「nuh_layer_id」は“４”とされる。また、符号化画像データＣｈ３は、フレームレート拡張とダイナミックレンジ拡張のフォーマット画像データＶｈ３に対応し、この符号化画像データＣｈ３「nuh_layer_id」は“６”とされる。
【0065】
図６は、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の構成例を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
【0066】
符号化画像データＣｂは、「００」、「０１」、・・・のピクチャの符号化画像データで構成される。符号化画像データＣｈ１は、符号化画像データＣｂの各ピクチャの間に位置する「１０」、「１１」、・・・のピクチャの符号化画像データで構成される。符号化画像データＣｈ２は、符号化画像データＣｂの各ピクチャと同じ位置の「２０」、「２１」、・・・のピクチャの符号化画像データで構成される。そして、符号化画像データＣｈ３は、符号化画像データＣｈ２の各ピクチャの間に位置する「３０」、「３１」、・・・のピクチャの符号化画像データで構成される。
【0067】
図２に戻って、システムエンコーダ１０７は、ビデオエンコーダ１０６で生成された符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を用いて、ビデオストリームを生成し、ＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。そして、送信部１０８は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【0068】
ここで、２ストリーム構成の場合、システムエンコーダ１０７は、符号化画像データＣｂを含む基本ビデオストリームと符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む拡張ビデオストリームを生成する。つまり、この場合、トランスポートストリームＴＳは、符号化画像データＣｂを含む基本ビデオストリームと符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む拡張ビデオストリームの２本のビデオストリームを有するものとなる。
【0069】
また、１ストリーム構成の場合、システムエンコーダ１０７は、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を含むビデオストリームを生成する。つまり、この場合、トランスポートストリームＴＳは、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を含む１本のビデオストリームを有するものとなる。
【0070】
システムエンコーダ１０７は、コンテナ（トランスポートストリーム）のレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する。
【0071】
この実施の形態において、２ストリーム構成の場合、ＰＭＴ（Program Map Table）の配下に存在する拡張ビデオストリーム（符号化データＣｈ１，Ｃｈ２，Ｃｈ３を含む）に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）を挿入する。この場合、符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３に挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する。
【0072】
また、この実施の形態において、１ストリーム構成の場合、ＰＭＴ（Program Map Table）の配下に存在するビデオストリーム（符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を含む）に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）を挿入する。この場合、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３に挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する。
【0073】
図７は、このスケーラブル・エクステンション・デスクリプタの構造例（Syntax）を示している。図８は、図７に示す構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・エクステンション・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【0074】
「Extended_spatial_resolution_flag」のフラグは、空間解像度の拡張成分を含むかを示す。“１”は空間解像度拡張成分を含むことを示し、“０”は空間解像度拡張成分を含まないことを示す。「Extended_frame_rate_flag」のフラグは、フレームレート拡張成分を含むかを示す。“１”はフレームレート拡張成分を含むことを示し、“０”はフレームレート拡張成分を含まないことを示す。
【0075】
「Extended_bit_depth_flag」のフラグは、ビット長拡張成分を含むかを示す。“１”はビット長拡張成分を含むことを示し、“０”はビット長拡張成分を含まないことを示す。「Extended_dynamic_range_flag」のフラグは、ダイナミックレンジ拡張成分を含むかを示す。“１”はダイナミックレンジ拡張成分を含むことを示し、“０”はダイナミックレンジ拡張成分を含まないことを示す。「Extended_color_gamut_flag」のフラグは、色域拡張成分を含むかを示す。“１”は色域拡張成分を含むことを示し、“０”は色域拡張成分を含まないことを示す。
【0076】
「number_of_layerIDs」の８ビットフィールドは、ストリームが含むレイヤ数を示す。レイヤ数分だけ「layerID」の６ビットフィールドが存在する。この「layerID」のフィールドは、レイヤＩＤ（Layer_id）を示す。
【0077】
ここで、２ストリーム構成の場合であって、拡張ビデオストリームに符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“０”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定される。また、「number_of_layerIDs」は“３”に設定され、「layerID」として、順に、“２”、“４”、“６”が設定される。
【0078】
このような設定により、「layerID」＝“２”はフレームレート拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと定義される。また、「layerID」＝“４”はダイナミックレンジ拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「layerID」＝“６”はフレームレート拡張およびダイナミックレンジ拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0079】
また、１ストリーム構成の場合であって、ビデオストリームに符号化データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“０”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定される。また、「number_of_layerIDs」は“４”に設定され、「layerID」として、順に、“０”、“２”、“４”、“６”が設定される。
【0080】
このような設定により、「layerID」＝“０”は基本を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“０”は基本フォーマットの符号化画像データを示すものと定義される。また、「layerID」＝“２”はフレームレート拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと定義される。また、「layerID」＝“４”はダイナミックレンジ拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「layerID」＝“６”はフレームレート拡張およびダイナミックレンジ拡張を示し、従ってＮＡＬユニットのヘッダの「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0081】
図９は、ＮＡＬユニットヘッダの「nuh_layer_id」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示している。すなわち、ストリームに、「nuh_layer_id」＝“０”である基本フォーマットの符号化画像データ（基本成分）が含まれる場合、「layerID」として、“０”が設定される。
【0082】
また、ストリームに、「nuh_layer_id」＝“１”である空間拡張の符号化画像データ（空間拡張成分）が含まれる場合、「Extended_spatial_resolution_flag」は“１”とされ、「layerID」として、“１”が設定される。また、ストリームに、「nuh_layer_id」＝“２”であるフレームレート拡張の符号化画像データ（フレームレート拡張成分）が含まれる場合、「Extended_frame_rate_flag」は“１”とされ、「layerID」として、“２”が設定される。また、ストリームに、「nuh_layer_id」＝“３”であるフレームレート拡張の符号化画像データ（ビット長拡張成分）が含まれる場合、「Extended_bit_depth_flag」は“１”とされ、「layerID」として、“３”が設定される。
【0083】
また、ストリームに、「nuh_layer_id」＝“４”であるダイナミックレンジ拡張の符号化画像データ（ダイナミックレンジ拡張成分）が含まれる場合、「Extended_dynamic_range_flag」は“１”とされ、「layerID」として、“４”が設定される。また、ストリームに、「nuh_layer_id」＝“５”である色域拡張の符号化画像データ（色域拡張成分）が含まれる場合、「Extended_color_gamut_flag」は“１”とされ、「layerID」として、“５”が設定される。
【0084】
また、ストリームに、「nuh_layer_id」＝“６”であるフレームレート拡張とダイナミックレンジ拡張の符号化画像データ（フレームレート拡張成分とダイナミックレンジ拡張成分）が含まれる場合、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”とされ、「layerID」として、“６”が設定される。また、ストリームに、「nuh_layer_id」＝“７”である空間拡張とフレームレート拡張の符号化画像データ（空間拡張成分とフレームレート拡張成分）が含まれる場合、「Extended_spatial_resolution_flag」および「Extended_frame_rate_flag」は“１”とされ、「layerID」として、“７”が設定される。
【0085】
［トランスポートストリームＴＳの構成］
図１０は、２ストリーム構成の場合におけるトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅの２本のビデオストリームが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
図１０は、２ストリーム構成の場合におけるトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅの２本のビデオストリームが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
【0086】
基本ビデオストリームＳＴｂのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。この基本ビデオストリームＳＴｂには、基本フォーマットの各ピクチャの符号化画像データが含まれている。この基本フォーマットの各ピクチャの符号化画像データには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は、例えば、“０”とされ、基本フォーマットに係る符号化画像データであることが示される。
【0087】
また、拡張ビデオストリームＳＴｅのパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。この拡張ビデオストリームＳＴｅには、フレームレート拡張、ダイナミックレンジ拡張、さらにはフレームレート拡張およびダイナミックレンジ拡張の３つの高品質フォーマットの各ピクチャの符号化画像データが含まれている。この高品質フォーマットの各ピクチャの符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。
【0088】
なお、基本フォーマットの各ピクチャの符号化画像データにおけるＳＰＳと、高品質フォーマットの各ピクチャの符号化画像データにおけるＳＰＳとは、「nal_unit_type」の値は同じで、中にエクステンションを含むかどうかで異なる。すなわち、高品質フォーマットの各ピクチャの符号化画像データにおけるＳＰＳは、ＳＰＳエクステンションを含む。なお、基本フォーマットのＳＰＳと高品質フォーマットのＳＰＳとを別の「nal_unit_type」の値とすることも可能である。
【0089】
フレームレート拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“２”とされ、フレームレート拡張に係る符号化画像データであることが示される。また、ダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“４”とされ、ダイナミックレンジ拡張に係る符号化画像データであることが示される。また、フレームレート拡張およびダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“６”とされ、フレームレート拡張およびダイナミックレンジ拡張に係る符号化画像データであることが示される。
【0090】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0091】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅの２本のビデオストリームに対応して２つのビデオエレメンタリストリームループ（video ES loop）が存在する。基本ビデオストリームＳＴｂに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置される。
【0092】
また、拡張ビデオストリームＳＴｅに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST1）、パケット識別子（PID2）等の情報が配置されると共に、この拡張ビデオストリームＳＴｅに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）（図７参照）が挿入される。
【0093】
このデスクリプタにおいて、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定され、「number_of_layerIDs」は“３”に設定され、「layerID」として、順に、“２”、“４”、“６”が設定される。これにより、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと定義される。また、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0094】
図１１は、１ストリーム構成の場合におけるトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１本のビデオストリームＳＴが含まれている。この構成例では、このビデオストリームＳＴのＰＥＳパケット「video PES」が存在する。
【0095】
このビデオストリームＳＴのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。このビデオストリームＳＴには、基本フォーマットの各ピクチャの符号化画像データが含まれていると共に、フレームレート拡張、ダイナミックレンジ拡張、さらにはフレームレート拡張およびダイナミックレンジ拡張の３つの高品質フォーマットの各ピクチャの符号化画像データが含まれている。
【0096】
基本フォーマットの各ピクチャの符号化画像データには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。これらのＮＡＬユニットのヘッダにおける「nuh_layer_id」は、例えば、“０”とされ、基本フォーマットに係る符号化画像データであることが示される。
【0097】
また、高品質フォーマットの各ピクチャの符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。なお、基本フォーマットの各ピクチャの符号化画像データにおけるＳＰＳと、高品質フォーマットの各ピクチャの符号化画像データにおけるＳＰＳとは、「nal_unit_type」の値は同じで、中にエクステンションを含むかどうかで異なる。すなわち、高品質フォーマットの各ピクチャの符号化画像データにおけるＳＰＳは、ＳＰＳエクステンションを含む。
【0098】
フレームレート拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“２”とされ、フレームレート拡張に係る符号化画像データであることが示される。また、ダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“４”とされ、ダイナミックレンジ拡張に係る符号化画像データであることが示される。また、フレームレート拡張およびダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するＮＡＬユニットのヘッダにおける「nuh_layer_id」は、“６”とされ、フレームレート拡張およびダイナミックレンジ拡張に係る符号化画像データであることが示される。
【0099】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0100】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、１本のビデオストリームＳＴに対応して１つのビデオエレメンタリストリームループ（video ES loop）が存在する。
【0101】
このビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置されると共に、このビデオストリームＳＴに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ（Scalable extension descriptor）（図７参照）が挿入される。
【0102】
このデスクリプタにおいて、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定され、「number_of_layerIDs」は“４”に設定され、「layerID」として、順に、“０”、“２”、“４”、“６”が設定される。これにより、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“０”は基本フォーマットの符号化画像データを示すものと定義される。ＮＡＬユニットのヘッダの「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと定義される。また、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、ＮＡＬユニットのヘッダの「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0103】
図２に示す送信装置１００の動作を簡単に説明する。フレーム周波数が５０ＨｚのＬＤＲ画像データである基本フォーマット画像データＶｂは、ＬＤＲ光電変換部１０２に供給される。このＬＤＲ光電変換部１０２では、基本フォーマット画像データＶｂに対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の基本フォーマット画像データＶｂ´が得られる。この基本フォーマット画像データＶｂ´は、ビデオエンコーダ１０６のエンコード部１０６-0，１０６-１，１０６-2に供給される。
【0104】
また、フレーム周波数が１００ＨｚのＬＤＲ画像データである高品質フォーマット画像データＶｈ１は、ＬＤＲ光電変換部１０３に供給される。このＬＤＲ光電変換部１０３では、高品質フォーマット画像データＶｈ１に対して、ＬＤＲ画像用の光電変換特性（ＬＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ１´が得られる。この高品質フォーマット画像データＶｈ１´は、ビデオエンコーダ１０６のエンコード部１０６-１に供給される。
【0105】
また、フレーム周波数が５０ＨｚのＨＤＲ画像データである高品質フォーマット画像データＶｈ２は、ＨＤＲ光電変換部１０４に供給される。このＨＤＲ光電変換部１０４では、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ２´が得られる。この高品質フォーマット画像データＶｈ２´は、ビデオエンコーダ１０６のエンコード部１０６-2，１０６-3に供給される。
【0106】
また、フレーム周波数が１００ＨｚのＨＤＲ画像データである高品質フォーマット画像データＶｈ３は、ＨＤＲ光電変換部１０５に供給される。このＨＤＲ光電変換部１０５では、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ３´が得られる。この高品質フォーマット画像データＶｈ３´は、ビデオエンコーダ１０６のエンコード部１０６-3に供給される。
【0107】
ビデオエンコーダ１０６では、基本フォーマット画像データＶｂ´、高品質フォーマット画像データＶｈ１´，Ｖｈ２´，Ｖｈ３´のそれぞれに対して符号化処理が施されて、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３が生成される。すなわち、エンコード部１０６-0では、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、符号化画像データＣｂが得られる。
【0108】
また、エンコード部１０６-1では、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、符号化画像データＣｈ１が得られる。また、エンコード部１０６-2では、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、符号化画像データＣｈ２が得られる。さらに、エンコード部１０６-3では、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、符号化画像データＣｈ３が得られる。
【0109】
ビデオエンコーダ１０６では、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３のそれぞれに、対応するフォーマットを識別するための識別情報が挿入される。すなわち、ビデオエンコーダ１０６では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドに、当該ＮＡＬユニット（符号化画像データ）が対応するフォーマットを識別するための識別情報が挿入される。
【0110】
ビデオエンコーダ１０６で得られる符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３は、システムエンコーダ１０７に供給される。システムエンコーダ１０７では、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を用いて、ビデオストリームが生成され、ＰＥＳパケット化およびＴＳパケット化が行われて、トランスポートストリームＴＳが生成される。
【0111】
ここで、２ストリーム構成の場合、符号化画像データＣｂを含む基本ビデオストリームと符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む拡張ビデオストリームの２本のビデオストリームが生成される。また、１ストリーム構成の場合、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を含む１本のビデオストリームが生成される。
【0112】
システムエンコーダ１０７では、コンテナ（トランスポートストリーム）のレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。
【0113】
ここで、２ストリーム構成の場合、ＰＭＴの配下に存在する拡張ビデオストリーム（符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む）に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタが挿入される。また、１ストリーム構成の場合、ＰＭＴの配下に存在するビデオストリーム（符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３を含む）に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタが挿入される。
【0114】
システムエンコーダ１０７で生成されるトランスポートストリームＴＳは、送信部１０８に送られる。送信部１０８では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【0115】
「受信装置の構成」
図１２は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、圧縮データバッファ（ｃｐｂ）２０４と、ビデオデコーダ２０５と、ＬＤＲ電光変換部２０６，２０７と、ＨＤＲ電光変換部２０８、２０９と、表示部（表示デバイス）２１０を有している。
図１２は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、圧縮データバッファ（ｃｐｂ）２０４と、ビデオデコーダ２０５と、ＬＤＲ電光変換部２０６，２０７と、ＨＤＲ電光変換部２０８、２０９と、表示部（表示デバイス）２１０を有している。
【0116】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳからビデオストリームを抽出する。
【0117】
２ストリーム構成の場合（図１０参照）、基本フォーマット画像データの符号化画像データＣｂを含む基本ビデオストリームと高品質フォーマット画像データの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む拡張ビデオストリームの２本のビデオストリームを抽出する。また、１ストリーム構成の場合（図１１参照）、基本フォーマット画像データの符号化画像データＣｂおよび高品質フォーマット画像データの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む１本のビデオストリームを抽出する。
【0118】
また、システムデコーダ２０３は、コンテナ（トランスポートストリーム）のレイヤに挿入されている種々の情報を抽出し、制御部２０１に送る。この情報には、上述したスケーラブル・エクステンション・デスクリプタも含まれる。制御部２０１は、このデスクリプタに基づいて、符号化画像データに挿入されている識別情報（この実施の形態においては、ＮＡＬユニットのヘッダの「nuh_layer_id」）がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
【0119】
圧縮データバッファ２０４は、システムデコーダ２０３で抽出されるビデオストリームを、一時的に蓄積する。ビデオデコーダ２０５は、４つのデコード部２０５-0，２０５-1，２０５-2，２０５-3を有する。デコード部２０５-0は、圧縮データバッファ２０４から選択的に読み出される、基本フォーマットの符号化画像データ（基本成分）Ｃｂに対して復号化処理を行って、基本フォーマット画像データＶｂ´を生成する。この場合、デコード部２０５-0は、画像データＶｂ´内で予測補償を行う。
【0120】
デコード部２０５-1は、圧縮データバッファ２０４から選択的に読み出される、フレームレート拡張の符号化画像データ（フレームレート拡張成分）Ｃｈ１に対して復号化処理を行って、高品質フォーマット画像データＶｈ１´を生成する。この場合、デコード部２０５-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ１´内の予測補償、または画像データＶｂ´との間の予測補償を、行う。
【0121】
デコード部２０５-2は、圧縮データバッファ２０４から選択的に読み出される、ダイナミックレンジ拡張の符号化画像データ（ダイナミックレンジ拡張成分）Ｃｈ２に対して復号化処理を行って、高品質フォーマット画像データＶｈ２´を生成する。この場合、デコード部２０５-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ２´内の予測補償、または画像データＶｂ´との間の予測補償を、行う。
【0122】
デコード部２０５-3は、圧縮データバッファ２０４から選択的に読み出される、フレームレート拡張とダイナミックレンジ拡張の符号化画像データ（フレームレート拡張成分とダイナミックレンジ拡張成分）Ｃｈ３に対して復号化処理を行って、高品質フォーマット画像データＶｈ３´を生成する。この場合、デコード部２０５-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ３´内の予測補償、または画像データＶｈ２´との間の予測補償を、行う。
【0123】
図１３は、デコード部２５０の主要部の構成例を示している。このデコード部２５０は、デコード部２０５-1，２０５-2，２０５-3に適用し得るものである。このデコード部２５０は、図４のエンコード部１６５の処理とは逆の処理を行う。このデコード部２５０は、デコード機能部２５１と、レイヤ内予測補償部２５２と、レイヤ間予測補償部２５３と、予測調整部２５４と、選択部２５５と、を有している。
【0124】
デコード機能部２５１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２５２は、予測残差データに対して、画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２５３は、予測残差データに対して、参照対象の画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
【0125】
予測調整部２５４は、詳細説明は省略するが、図４のエンコード部１６０の予測調整部１６３と同様に、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じた処理を行う。選択部２５５は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部２５２で得られる画像データＶ１、またはレイヤ間予測補償部２５３で得られる画像データＶ１を選択的に取り出して、出力とする。
【0126】
図１２に戻って、ＬＤＲ電光変換部２０６は、デコード部２０５-0で得られる基本フォーマット画像データＶｂ´に、上述した送信装置１００におけるＬＤＲ光電変換部１０２とは逆特性の電光変換を施し、基本フォーマット画像データＶｂを得る。この基本フォーマット画像データは、フレーム周波数が５０ＨｚのＬＤＲ画像データである。
【0127】
また、ＬＤＲ電光変換部２０７は、デコード部２０５-1で得られる高品質フォーマット画像データＶｈ１´に、上述した送信装置１００におけるＬＤＲ光電変換部１０３とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ１を得る。この高品質フォーマット画像データＶｈ１は、フレーム周波数が１００ＨｚのＬＤＲ画像データである。
【0128】
また、ＨＤＲ電光変換部２０８は、デコード部２０５-2で得られる高品質フォーマット画像データＶｈ２´に、上述した送信装置１００におけるＨＤＲ光電変換部１０４とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ２を得る。この高品質フォーマット画像データＶｈ２は、フレーム周波数が５０ＨｚのＨＤＲ画像データである。
【0129】
また、ＨＤＲ電光変換部２０９は、デコード部２０５-3で得られる高品質フォーマット画像データＶｈ３´に、上述した送信装置１００におけるＨＤＲ光電変換部１０５とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ３を得る。この高品質フォーマット画像データＶｈ３は、フレーム周波数が１００ＨｚのＨＤＲ画像データである。
【0130】
表示部２１０は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２１０は、表示能力に応じて、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３のいずれかによる画像を表示する。
【0131】
この場合、制御部２０１は、表示部２１０に供給すべき画像データを制御する。この制御は、各符号化画像データに挿入されている基本フォーマット、高品質フォーマットの識別情報と、表示部２０９の表示能力情報に基づいて、行われる。
【0132】
すなわち、表示部２１０が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、表示部２１０に基本フォーマットの符号化画像データ（基本成分）Ｃｂの復号化に係る基本フォーマット画像データＶｂが供給されるように制御する。この場合、制御部２０１は、圧縮データバッファ２０４から基本フォーマットの符号化画像データＣｂを選択的に取り出してデコード部２０５-0に送る。そして、制御部２０１は、デコード部２０５-0が符号化画像データＣｂを復号化し、ＬＤＲ電光変換部２０６が基本フォーマット画像データＶｂを出力するように制御する。
【0133】
また、表示部２１０が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、表示部２１０にフレームレート拡張の符号化画像データ（フレームレート拡張成分）Ｃｈ１の復号化に係る高品質フォーマット画像データＶｈ１が供給されるように制御する。
【0134】
この場合、制御部２０１は、圧縮データバッファ２０４から基本フォーマットの符号化画像データＣｂを選択的に取り出してデコード部２０５-0に送ると共に、圧縮データバッファ２０４からフレームレート拡張の符号化画像データＣｈ１を選択的に取り出してデコード部２０５-1に送る。そして、制御部２０１は、デコード部２０５-0が符号化画像データＣｂを復号化し、デコード部２０５-1が符号化画像データＣｈ１を復号化し、ＬＤＲ電光変換部２０７が高品質フォーマット画像データＶｈ１を出力するように制御する。
【0135】
また、表示部２１０が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、表示部２１０にダイナミックレンジ拡張の符号化画像データ（ダイナミックレンジ拡張成分）Ｃｈ２の復号化に係る高品質フォーマット画像データＶｈ２が供給されるように制御する。
【0136】
この場合、制御部２０１は、圧縮データバッファ２０４から基本フォーマットの符号化画像データＣｂを選択的に取り出してデコード部２０５-0に送ると共に、圧縮データバッファ２０４からダイナミックレンジ拡張の符号化画像データＣｈ２を選択的に取り出してデコード部２０５-2に送る。そして、制御部２０１は、デコード部２０５-0が符号化画像データＣｂを復号化し、デコード部２０５-2が符号化画像データＣｈ２を復号化し、ＬＤＲ電光変換部２０８が高品質フォーマット画像データＶｈ２を出力するように制御する。
【0137】
また、表示部２１０が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、表示部２１０にフレームレート拡張およびダイナミックレンジ拡張の符号化画像データ（フレームレート拡張成分およびダイナミックレンジ拡張成分）Ｃｈ３の復号化に係る高品質フォーマット画像データＶｈ３が供給されるように制御する。
【0138】
この場合、制御部２０１は、圧縮データバッファ２０４から基本フォーマットの符号化画像データＣｂを選択的に取り出してデコード部２０５-0に送ると共に、圧縮データバッファ２０４からダイナミックレンジ拡張の符号化画像データＣｈ２を選択的に取り出してデコード部２０５-1に送り、さらに、圧縮データバッファ２０４からフレームレート拡張とダイナミックレンジ拡張の符号化画像データＣｈ３を選択的に取り出してデコード部２０５-3に送る。
【0139】
そして、制御部２０１は、デコード部２０５-0が符号化画像データＣｂを復号化し、デコード部２０５-2が符号化画像データＣｈ２を復号化し、デコード部２０５-3が符号化画像データＣｈ３を復号化し、ＨＤＲ電光変換部２０９が高品質フォーマット画像データＶｈ３を出力するように制御する。
【0140】
図１４は、２ストリーム構成の場合における圧縮データバッファ（ｃｐｂ）２０４の出力と、「nuh_layer_id」による符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の対応するデコード部への振り分けを概略的に示している。
【0141】
２ストリーム構成の場合、図１４（ａ）に示すように、圧縮データバッファ（ｃｐｂ）２０４から、基本ビデオストリーム（ＰＩＤ１）に含まれていた基本フォーマットの符号化画像データＣｂおよび拡張ビデオストリーム（ＰＩＤ２）に含まれていた高品質フォーマットの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３の各ピクチャの符号化画像デーが順次読み出されていく。
【0142】
ここで、「００」、「０１」、・・・は、符号化画像データＣｂを構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“０”に設定されている。制御部２０１は、この符号化画像データＣｂが基本ビデオストリームに含まれていたものであることから、「nuh_layer_id」＝“０”は基本フォーマットの符号化画像データを示すものと把握する。
【0143】
また、「１０」、「１１」、・・・は、符号化画像データＣｈ１を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“２”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと把握する。
【0144】
また、「２０」、「２１」、・・・は、符号化画像データＣｈ２を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“４”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと把握する。
【0145】
さらに、「３０」、「３１」、・・・は、符号化画像データＣｈ３を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“６”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと把握する。
【0146】
圧縮データバッファ２０４から読み出された各ピクチャの符号化画像データは、図１４（ｂ）に示すように、「nuh_layer_id」に基づいて、対応するデコード部に送られる。この場合、デコードに関係しないレイヤの符号化画像データは。読み捨てられる。図示の例は、全てをデコードする場合の例を示している。
【0147】
図１５は、１ストリーム構成の場合における圧縮データバッファ（ｃｐｂ）２０４の出力と、「nuh_layer_id」による符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の対応するデコード部への振り分けを概略的に示している。
【0148】
１ストリーム構成の場合、図１５（ａ）に示すように、圧縮データバッファ（ｃｐｂ）２０４から、１本のビデオストリーム（ＰＩＤ１）に含まれていた基本フォーマットの符号化画像データＣｂおよび高品質フォーマットの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３の各ピクチャの符号化画像デーが順次読み出されていく。
【0149】
ここで、「００」、「０１」、・・・は、符号化画像データＣｂを構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“０”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“０”は基本フォーマットの符号化画像データを示すものと把握する。
【0150】
また、「１０」、「１１」、・・・は、符号化画像データＣｈ１を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“２”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“２”はフレームレート拡張の符号化画像データを示すものと把握する。
【0151】
また、「２０」、「２１」、・・・は、符号化画像データＣｈ２を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“４”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“４”はダイナミックレンジ拡張の符号化画像データを示すものと把握する。
【0152】
さらに、「３０」、「３１」、・・・は、符号化画像データＣｈ３を構成する各ピクチャの符号化画像データを示しており、ＮＡＬユニットのヘッダの「nuh_layer_id」は“６”に設定されている。制御部２０１は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」＝“６”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと把握する。
【0153】
圧縮データバッファ２０４から読み出された各ピクチャの符号化画像データは、図１５（ｂ）に示すように、「nuh_layer_id」に基づいて、対応するデコード部に送られる。この場合、デコードに関係しないレイヤの符号化画像データは。読み捨てられる。図示の例は、全てをデコードする場合の例を示している。
【0154】
図１６のフローチャートは、制御部２０１が、表示能力情報（表示性能情報）から、デコード範囲を判断する処理の一例を示している。制御部２０１は、ステップＳＴ１において、処理を開始する。
【0155】
次に、制御部２０１は、ステップＳＴ２において、スケーラブル・エクステンション・デスクリプタを参照して、各フォーマットの「nuh_layer_id」を把握する。この実施の形態では、基本フォーマットでは「nuh_layer_id」＝“０”であり、フレームレート拡張では「nuh_layer_id」＝“２”であり、ダイナミックレンジレート拡張では「nuh_layer_id」＝“４”であり、フレームレート拡張およびダイナミックレンジレート拡張では「nuh_layer_id」＝“６”であることを把握する。
【0156】
次に、制御部２０１は、ステップＳＴ３において、１００ｐＨＤＲの表示、つまりフレーム周波数が１００ＨｚでＨＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ４において、「nuh_layer_id」が“０”，“４”，“６”である符号化画像データ、つまり符号化画像データＣｂ，Ｃｈ２，Ｃｈ３をデコード範囲とし、その後、ステップＳＴ１１において、処理を終了する。
【0157】
ステップＳＴ３で可能でないとき、制御部２０１は、ステップＳＴ５において、５０ｐＨＤＲの表示、つまりフレーム周波数が５０ＨｚでＨＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ６において、「nuh_layer_id」が“０”，“４”である符号化画像データ、つまり符号化画像データＣｂ，Ｃｈ２をデコード範囲とし、その後、ステップＳＴ１１において、処理を終了する。
【0158】
ステップＳＴ５で可能でないとき、制御部２０１は、ステップＳＴ７において、１００ｐＬＤＲの表示、つまりフレーム周波数が１００ＨｚでＬＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ８において、「nuh_layer_id」が“０”，“２”である符号化画像データ、つまり符号化画像データＣｂ，Ｃｈ１をデコード範囲とし、その後、ステップＳＴ１１において、処理を終了する。
【0159】
ステップＳＴ７で可能でないとき、制御部２０１は、ステップＳＴ９において、５０ｐＬＤＲの表示、つまりフレーム周波数が５０ＨｚでＬＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ１０において、「nuh_layer_id」が“０”である符号化画像データ、つまり符号化画像データＣｂをデコード範囲とし、その後、ステップＳＴ１１において、処理を終了する。なお、ステップＳＴ９で可能でないとき、制御部２０１は、ステップＳＴ１１において、処理を終了する。
【0160】
図１２に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳからビデオストリームが抽出される。このビデオストリームは、圧縮データバッファ２０４に一時的に蓄積される。
【0161】
ここで、２ストリーム構成の場合（図１０参照）、基本フォーマット画像データの符号化画像データＣｂを含む基本ビデオストリームと高品質フォーマット画像データの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む拡張ビデオストリームの２本のビデオストリームが抽出される。また、１ストリーム構成の場合（（図１１参照）、基本フォーマット画像データの符号化画像データＣｂおよび高品質フォーマット画像データの符号化画像データＣｈ１，Ｃｈ２，Ｃｈ３を含む１本のビデオストリームが抽出される。
【0162】
また、システムデコーダ２０３では、コンテナ（トランスポートストリーム）のレイヤに挿入されている種々の情報が抽出され、制御部２０１に送られる。この情報には、スケーラブル・エクステンション・デスクリプタも含まれる。制御部２０１では、このデスクリプタに基づいて、符号化画像データに挿入されている識別情報（この実施の形態においては、ＮＡＬユニットのヘッダの「nuh_layer_id」）がいかなるフォーマットの符号化画像データを示すかが把握される。
【0163】
表示部２１０が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、ＬＤＲ電光変換部２０６から表示部２１０に基本フォーマット画像データＶｂが供給される。表示部２１０には、この基本フォーマット画像データＶｂ、つまりフレーム周波数が５０ＨｚでＬＤＲ画像データによる５０ｐＬＤＲ画像が表示される。
【0164】
この場合、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“０”である基本フォーマットの符号化画像データＣｂが選択的に取り出されてデコード部２０５-0に供給される。デコード部２０５-0では、符号化画像データＣｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。この基本フォーマット画像データＶｂ´は、ＬＤＲ電光変換部２０６に供給される。ＬＤＲ電光変換部２０６では、この基本フォーマット画像データＶｂ´に電光変換が施され、基本フォーマット画像データＶｂが得られて、表示部２１０に供給される。
【0165】
また、表示部２１０が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、ＬＤＲ電光変換部２０７から表示部２１０に高品質フォーマット画像データＶｈ１が供給される。表示部２１０には、この高品質フォーマット画像データＶｈ１、つまりフレーム周波数が１００ＨｚでＬＤＲ画像データによる画像が表示される。
【0166】
この場合、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“０”である基本フォーマットの符号化画像データＣｂが選択的に取り出されてデコード部２０５-0に供給される。デコード部２０５-0では、符号化画像データＣｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。
【0167】
また、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“２”であるフレームレート拡張の符号化画像データＣｈ１が選択的に取り出されてデコード部２０５-1に供給される。デコード部２０５-1では、符号化画像データＣｈ１に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ１´が生成される。
【0168】
デコード部２０５-1で生成される高品質フォーマット画像データＶｈ１´は、ＬＤＲ電光変換部２０７に供給される。ＬＤＲ電光変換部２０７では、この高品質フォーマット画像データＶｈ１´に電光変換が施され、高品質フォーマット画像データＶｈ１が得られて、表示部２１０に供給される。
【0169】
また、表示部２１０が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、ＨＤＲ電光変換部２０８から表示部２１０に高品質フォーマット画像データＶｈ２が供給される。表示部２１０には、この高品質フォーマット画像データＶｈ２、つまりフレーム周波数が５０ＨｚでＨＤＲ画像データによる画像が表示される。
【0170】
この場合、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“０”である基本フォーマットの符号化画像データＣｂが選択的に取り出されてデコード部２０５-0に供給される。デコード部２０５-0では、符号化画像データＣｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。
【0171】
また、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“４”であるダイナミックレンジ拡張の符号化画像データＣｈ２が選択的に取り出されてデコード部２０５-2に供給される。デコード部２０５-2では、符号化画像データＣｈ２に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ２´が生成される。
【0172】
デコード部２０５-2で生成される高品質フォーマット画像データＶｈ２´は、ＨＤＲ電光変換部２０８に供給される。ＨＤＲ電光変換部２０８では、この高品質フォーマット画像データＶｈ２´に電光変換が施され、高品質フォーマット画像データＶｈ２が得られて、表示部２１０に供給される。
【0173】
また、表示部２１０が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、ＨＤＲ電光変換部２０９から表示部２１０に高品質フォーマット画像データＶｈ３が供給される。表示部２１０には、この高品質フォーマット画像データＶｈ３、つまりフレーム周波数が１００ＨｚでＨＤＲ画像データによる画像が表示される。
【0174】
この場合、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“０”である基本フォーマットの符号化画像データＣｂが選択的に取り出されてデコード部２０５-0に供給される。デコード部２０５-0では、符号化画像データＣｂに対して復号化処理が行われ、基本フォーマット画像データＶｂ´が生成される。
【0175】
また、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“４”であるダイナミックレンジ拡張の符号化画像データＣｈ２が選択的に取り出されてデコード部２０５-2に供給される。デコード部２０５-2では、符号化画像データＣｈ２に対して、基本フォーマット画像データＶｂ´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ２´が生成される。
【0176】
また、圧縮データバッファ２０４からＮＡＬユニットのヘッダの「nuh_layer_id」が“６”であるフレームレート拡張およびダイナミックレンジ拡張の符号化画像データＣｈ３が選択的に取り出されてデコード部２０５-3に供給される。デコード部２０５-3では、符号化画像データＣｈ２に対して、高品質フォーマット画像データＶｈ２´が参照されて復号化処理が行われ、高品質フォーマット画像データＶｈ３´が生成される。
【0177】
デコード部２０５-3で生成される高品質フォーマット画像データＶｈ３´は、ＨＤＲ電光変換部２０９に供給される。ＨＤＲ電光変換部２０９では、この高品質フォーマット画像データＶｈ３´に電光変換が施され、高品質フォーマット画像データＶｈ３が得られて、表示部２１０に供給される。
【0178】
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
【0179】
また、図１に示す送受信システム１０において、送信装置１００では、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されるものである。そのため、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
【0180】
＜２．変形例＞
なお、上述実施の形態においては、符号化画像データに識別情報を挿入するためにＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いる例を示したが、「nuh_layer_id」および「nuh_temporal_id_plus1」の２つのフィールドを用いることも考えられる。
なお、上述実施の形態においては、符号化画像データに識別情報を挿入するためにＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いる例を示したが、「nuh_layer_id」および「nuh_temporal_id_plus1」の２つのフィールドを用いることも考えられる。
【0181】
例えば、符号化画像データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３の「nuh_layer_id」および「nuh_temporal_id_plus1」は、例えば、図１７に示すように、設定される。すなわち、基本フォーマットの符号化画像データＣｂについては、「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“１～６”とされる。また、フレームレート拡張の符号化画像データＣｈ１については、「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“７”とされる。
【0182】
また、ダイナミックレンジ拡張の符号化画像データＣｈ２については、「nuh_layer_id」は“４”とされ、「nuh_temporal_id_plus1」は“１～６”とされる。さらに、フレームレート拡張およびダイナミックレンジ拡張の符号化画像データＣｈ３については、「nuh_layer_id」は“４”とされ、「nuh_temporal_id_plus1」は“７”とされる。
【0183】
この場合、スケーラブル・エクステンション・デスクリプタ（図７参照）は、以下のように設定される。すなわち、２ストリーム構成の場合であって、拡張ビデオストリームに符号化データＣｈ２，Ｃｈ３が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“０”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定される。また、「number_of_layer IDs」は“３”に設定され、「layerID」として、順に、“４”、“４”が設定される。
【0184】
このような設定により、「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“７”はフレームレート拡張の符号化画像データを示すものと定義される。また、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“１～６”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“７”は、レームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0185】
また、１ストリーム構成の場合であって、拡張ビデオストリームに符号化データＣｂ，Ｃｈ１，Ｃｈ２，Ｃｈ３が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“０”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”に設定される。また、「number_of_layer IDs」は“４”に設定され、「layerID」として、順に、“０”、“０”、“４”、“４”が設定される。
【0186】
このような設定により、「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“１～６”は基本フォーマットの符号化画像データを示すものと定義される。また、「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“７”はフレームレート拡張の符号化画像データを示すものと定義される。また、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“１～６”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“７”は、レームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
【0187】
図１８は、ＮＡＬユニットヘッダの「nuh_layer_id」、「nuh_temporal_id_plus1」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示している。すなわち、ストリームに、「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“１～６”である基本フォーマットの符号化画像データ（基本成分）が含まれる場合、「layerID」として、“０”が設定される。また、ストリームに、「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“７”であるフレームレート拡張の符号化画像データ（フレームレート拡張成分）が含まれる場合、「Extended_spatial_resolution_flag」は“１”とされ、「layerID」として、“０”が設定される。
【0188】
また、ストリームに、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“１～６”であるダイナミックレンジ拡張の符号化画像データ（フレームレート拡張成分）が含まれる場合、「Extended_dynamic_range_flag」は“１”とされ、「layerID」として、“４”が設定される。また、ストリームに、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“７”であるフレームレート拡張およびダイナミックレンジ拡張の符号化画像データ（フレームレート拡張成分およびダイナミックレンジ拡張成分）が含まれる場合、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“１”とされ、「layerID」として、“４”が設定される。
【0189】
図１９のフローチャートは、上述したように符号化画像データに識別情報を挿入するためにＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」の２つのフィールドを用いた場合において、制御部２０１が、表示能力情報（表示性能情報）から、デコード範囲を判断する処理の一例を示している。
【0190】
制御部２０１は、ステップＳＴ２１において、処理を開始する。次に、制御部２０１は、ステップＳＴ２２において、スケーラブル・エクステンション・デスクリプタを参照して、各フォーマットの「nuh_layer_id」、「nuh_temporal_id_plus1」を把握する。
【0191】
ここでは、基本フォーマットでは「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“１～６”であり、フレームレート拡張では「nuh_layer_id」＝“０”、「nuh_temporal_id_plus1」＝“７”であり、ダイナミックレンジ拡張では「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“１～６”であり、フレームレート拡張およびダイナミックレンジ拡張では、「nuh_layer_id」＝“４”、「nuh_temporal_id_plus1」＝“７”であることを把握する。
【0192】
次に、制御部２０１は、ステップＳＴ２３において、１００ｐＨＤＲの表示、つまりフレーム周波数が１００ＨｚでＨＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ２４において、「nuh_layer_id」＝“０”かつ「nuh_temporal_id_plus1」＝“１～６”である符号化画像データＣｂと、「nuh_layer_id」＝“４”かつ「nuh_temporal_id_plus1」＝“１～７”である符号化画像データＣｈ２，Ｃｈ３をデコード範囲とし、その後、ステップＳＴ３１において、処理を終了する。
【0193】
ステップＳＴ２３で可能でないとき、制御部２０１は、ステップＳＴ２５において、５０ｐＨＤＲの表示、つまりフレーム周波数が５０ＨｚでＨＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ２６において、「nuh_layer_id」＝“０”かつ「nuh_temporal_id_plus1」＝“１～６”である符号化画像データＣｂと、「nuh_layer_id」＝“４”かつ「nuh_temporal_id_plus1」＝“１～６”である符号化画像データＣｈ２をデコード範囲とし、その後、ステップＳＴ３１において、処理を終了する。
【0194】
ステップＳＴ２５で可能でないとき、制御部２０１は、ステップＳＴ２７において、１００ｐＬＤＲの表示、つまりフレーム周波数が１００ＨｚでＬＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ２８において、「nuh_layer_id」＝“０” かつ「nuh_temporal_id_plus1」＝“１～７”である符号化画像データＣｂ，Ｃｈ１をデコード範囲とし、その後、ステップＳＴ３１において、処理を終了する。
【0195】
ステップＳＴ２７で可能でないとき、制御部２０１は、ステップＳＴ２９において、５０ｐＬＤＲの表示、つまりフレーム周波数が５０ＨｚでＬＤＲの表示が可能か否かを判断する。可能であるとき、制御部２０１は、ステップＳＴ３０において、「nuh_layer_id」＝“０”かつ「nuh_temporal_id_plus1」＝“１～６”である符号化画像データＣｂをデコード範囲とし、その後、ステップＳＴ３１において、処理を終了する。なお、ステップＳＴ２９で可能でないとき、制御部２０１は、ステップＳＴ３１において、処理を終了する。
【0196】
また、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
【0197】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【0198】
また、本技術は、以下のような構成を取ることもできる。
（１）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
（２）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（１）に記載の送信装置。
（３）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記（２）に記載の送信装置。
（４）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記（２）に記載の送信装置。
（５）上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（５）に記載の送信装置。
（７）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
（８）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
（９）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
前記（８）に記載の受信装置。
（１０）上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記（８）または（９）に記載の受信装置。
（１１）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
（１２）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（１１）に記載の送信装置。
（１３）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記（１２）に記載の送信装置。
（１４）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記（１２）に記載の送信装置。
（１５）上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（１５）に記載の送信装置。
（１７）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
（１８）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
（１９）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
前記（１８）に記載の受信装置。
（２０）上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記（１８）または（１９）に記載の受信装置。
（１）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
（２）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（１）に記載の送信装置。
（３）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記（２）に記載の送信装置。
（４）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記（２）に記載の送信装置。
（５）上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（５）に記載の送信装置。
（７）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
（８）基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
（９）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
前記（８）に記載の受信装置。
（１０）上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記（８）または（９）に記載の受信装置。
（１１）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
（１２）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記画像符号化部は、上記識別情報を上記ＮＡＬユニットのヘッダに挿入する
前記（１１）に記載の送信装置。
（１３）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記（１２）に記載の送信装置。
（１４）上記画像符号化部は、上記識別情報を、上記ＮＡＬユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記（１２）に記載の送信装置。
（１５）上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（１５）に記載の送信装置。
（１７）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
（１８）基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
（１９）上記符号化画像データは、ＮＡＬユニット構造を有し、
上記識別情報は、上記ＮＡＬユニットのヘッダに挿入されている
前記（１８）に記載の受信装置。
（２０）上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記（１８）または（１９）に記載の受信装置。
【0199】
本技術の主な特徴は、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入して送信することで、受信側において、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることを容易としたことである（図１０、図１１参照）。
【0200】
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２，１０３・・・ＬＤＲ光電変換部
１０４，１０５・・・ＨＤＲ光電変換部
１０６・・・ビデオエンコーダ
１０６-0，１０６-1，１０６-2，１０６-3・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・ＨＤＲカメラ
１５２，１５４・・・フレームレート変換部
１５３・・・ダイナミックレンジ変換部
１６０・・・エンコード部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・圧縮データバッファ
２０５・・・ビデオデコーダ
２０５-0，２０５-1，２０５-2，２０５-3・・・デコード部
２０６，２０７・・・ＬＤＲ電光変換部
２０８，２０９・・・ＨＤＲ電光変換部
２１０・・・表示部
２５０・・・デコード部
２５１・・・デコード機能部
２５２・・・レイヤ内予測補償部
２５３・・・レイヤ間予測補償部
２５４・・・予測調整部
２５５・・・選択部
１００・・・送信装置
１０１・・・制御部
１０２，１０３・・・ＬＤＲ光電変換部
１０４，１０５・・・ＨＤＲ光電変換部
１０６・・・ビデオエンコーダ
１０６-0，１０６-1，１０６-2，１０６-3・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・ＨＤＲカメラ
１５２，１５４・・・フレームレート変換部
１５３・・・ダイナミックレンジ変換部
１６０・・・エンコード部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・圧縮データバッファ
２０５・・・ビデオデコーダ
２０５-0，２０５-1，２０５-2，２０５-3・・・デコード部
２０６，２０７・・・ＬＤＲ電光変換部
２０８，２０９・・・ＨＤＲ電光変換部
２１０・・・表示部
２５０・・・デコード部
２５１・・・デコード機能部
２５２・・・レイヤ内予測補償部
２５３・・・レイヤ間予測補償部
２５４・・・予測調整部
２５５・・・選択部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【手続補正書】
【提出日】2022-10-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含むコンテナを送信する送信ステップを有し、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含む
送信方法。
上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含むコンテナを送信する送信ステップを有し、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含む
送信方法。
【請求項2】
上記コンテナのレイヤに含まれるテーブルの、ビデオストリームの単位に対応するループ領域には、上記拡張ビデオストリームに含まれる上記符号化画像データのスケーラブル拡張のタイプを示すフラグ情報が挿入される
請求項１に記載の送信方法。
請求項１に記載の送信方法。
【請求項3】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含むコンテナを送信する送信部を備え、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含む
送信装置。
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含むコンテナを送信する送信部を備え、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含む
送信装置。
【請求項4】
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データの符号化画像データを含む拡張ビデオストリームを有するコンテナを受信する受信部を備え、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含み、
上記受信されたコンテナが有する各ビデオストリームを、上記Temporal IDを示す値と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含み、
上記受信されたコンテナが有する各ビデオストリームを、上記Temporal IDを示す値と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
【請求項5】
上記コンテナのレイヤに含まれるテーブルの、ビデオストリームの単位に対応するループ領域には、上記拡張ビデオストリームに含まれる上記符号化画像データのスケーラブル拡張のタイプを示すフラグ情報が挿入され、
上記処理部は、上記フラグ情報、上記Temporal IDを示す値、及び上記表示能力情報に基づいて、上記受信されたコンテナが有する各ビデオストリームを処理する
請求項４に記載の受信装置。
上記処理部は、上記フラグ情報、上記Temporal IDを示す値、及び上記表示能力情報に基づいて、上記受信されたコンテナが有する各ビデオストリームを処理する
請求項４に記載の受信装置。
【請求項6】
受信部により、基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数のタイプのスケーラブル拡張に対応する所定数の高品質フォーマット画像データの符号化画像データを含む拡張ビデオストリームを有するコンテナを受信する受信ステップを有し、
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含み、
上記受信されたコンテナが有する各ビデオストリームを、上記Temporal IDを示す値と表示能力情報に基づいて処理する処理ステップをさらに有する
受信方法。
上記拡張ビデオストリームは、少なくともフレームレート拡張に対応する高品質フォーマット画像データの符号化画像データを含み、
上記基本ビデオストリームと上記拡張ビデオストリームに含まれる符号化画像データは、上記フレームレート拡張に対応する高品質フォーマット画像データに対応するTemporal IDを示す値または上記フレームレート拡張に対応する高品質フォーマット画像データに対応しないTemporal IDを示す値が挿入されたNALユニットを含み、
上記受信されたコンテナが有する各ビデオストリームを、上記Temporal IDを示す値と表示能力情報に基づいて処理する処理ステップをさらに有する
受信方法。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本技術は、送信方法、送信装置、受信装置および受信方法に関する。