(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】送信方法および受信装置
(51)【国際特許分類】
H04N 21/2362 20110101AFI20240903BHJP
H04N 21/434 20110101ALI20240903BHJP
H04N 19/31 20140101ALI20240903BHJP
H04N 19/70 20140101ALI20240903BHJP
【FI】
H04N21/2362
H04N21/434
H04N19/31
H04N19/70
(21)【出願番号】P 2022186842
(22)【出願日】2022-11-22
(62)【分割の表示】P 2021175109の分割
【原出願日】2017-08-17
【審査請求日】2022-12-22
(31)【優先権主張番号】P 2016162278
(32)【優先日】2016-08-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】醍醐 一貴
(56)【参考文献】
【文献】国際公開第2015/053157(WO,A1)
【文献】特開2016-096585(JP,A)
【文献】特開2015-204634(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップと、
上記ビデオストリームを含む映像信号を、放送波を用いた放送あるいはネットワークを介した配信で、送信する送信ステップを有し、
上記映像信号は、第1のフレームレートの動画像データを符号化した第1のビデオストリームおよび上記第1のフレームレートより高い第2のフレームレートの動画像データを符号化した第2のビデオストリームを切り替わるように含み、
上記映像信号は、
最大規模の値に固定されたデコードに必要な値を含み、
上記最大規模の値に固定されたデコードに必要な値は、少なくとも上記
第2のビデオストリームの最大階層に対応する値を含む
送信方法。
【請求項2】
上記最大規模の値に固定されたデコードに必要な値は、上記第2のビデオストリームのレベル指定値を含む
請求項1に記載の送信方法。
【請求項3】
上記第1のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームを含み、
上記第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームを含み、
上記最大規模の値に固定されたデコードに必要な値は、基本ストリームに含まれるピクチャの階層に関わらず固定された値である
請求項1に記載の送信方法。
【請求項4】
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む映像信号を、放送波を用いた放送あるいはネットワークを介した配信で、受信する受信部を備え、
上記映像信号は、第1のフレームレートの動画像データを符号化した第1のビデオストリームおよび上記第1のフレームレートより高い第2のフレームレートの動画像データを符号化した第2のビデオストリームを切り替わるように含み、
上記映像信号は、
最大規模の値に固定されたデコードに必要な値を含み、
上記最大規模の値に固定されたデコードに必要な値は、少なくとも上記
第2のビデオストリームの最大階層に対応する値を含み、
上記最大
規模の値に固定されたデコードに必要な値に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
受信装置。
【請求項5】
上記最大規模の値に固定されたデコードに必要な値は、上記第2のビデオストリームのレベル指定値を含む
請求項4に記載の受信装置。
【請求項6】
上記第1のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームを含み、
上記第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームを含み、
上記最大規模の値に固定されたデコードに必要な値は、基本ストリームに含まれるピクチャの階層に関わらず固定された値である
請求項4に記載の受信装置。
【請求項7】
上記制御部は、上記ビデオストリームの復号化処理によって復号化処理された各ピクチャの画像データに対して、表示部の表示能力に基づくフレームレートの補間処理または解像度の変換処理を行う
請求項
4に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信方法および受信装置に関する。
【背景技術】
【0002】
放送において、画像フォーマット、例えばフレームレート(フレーム周波数)を異にする複数の番組(イベント)を混在させて送信することが考えられる。例えば、スポーツ系の番組は100Pのサービスで提供し、その他は50Pのサービスとする、などである。
【0003】
従来、例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。
【先行技術文献】
【非特許文献】
【0004】
【文献】Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012
【発明の概要】
【発明が解決しようとする課題】
【0005】
本技術の目的は、ビデオストリームの送信を良好に行い得るようにすることにある。
【課題を解決するための手段】
【0006】
本技術の概念は、
動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信装置にある。
【0007】
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが階層符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。例えば、画像符号化部は、第1のフレームレートの動画像データを符号化して第1のビデオストリームを生成し、第1のフレームレートより高い第2のフレームレートの動画像データを符号化して第2のビデオストリームを生成し、送信部は、画像符号化部で生成された第1のビデオストリームおよび第2のビデオストリームを連続的に含む所定フォーマットのコンテナを送信する、ようにされてもよい。
【0008】
この場合、例えば、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなり、第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる、ようにされてもよい。この場合は、HFR(High Frame Rate)の後方互換性を持ったモードでの配信となる。
【0009】
このとき、例えば、拡張ストリームに含まれるピクチャの階層は、基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされてもよい。これにより、基本ストリームの各ピクチャの階層構造が変化する場合においても、基本ストリームに含まれる各階層のピクチャの符号化画像データの抽出を適切に行い得る。
【0010】
また、この場合、例えば、第1のビデオストリームおよび第2のビデオストリームは、それぞれ、全階層のピクチャの符号化画像データを持つ基本ストリームからなる、ようにされてもよい。この場合は、HFR(High Frame Rate)の後方互換性を持たないモードでの配信となる。
【0011】
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが、固定的に挿入される。また、デコードに必要な値は、最大規模の値に固定される。例えば、デコードに必要な値は、ビデオストリームのレベル指定値およびビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値である、ようにされてもよい。
【0012】
このように本技術によれば、コンテナのレイヤにデコードに必要な値が記述されたデスクリプタが固定的に挿入され、また、デコードに必要な値は最大規模の値に固定されるものであり、送信側の運用が容易となると共に、受信側ではデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識し得る。
【0013】
なお、本技術において、例えば、コンテナは、トランスポートストリームであり、デスクリプタは、HEVC VIDEO デスクリプタであり、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されてもよい。これにより、受信側では、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
【0014】
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
受信装置にある。
【0015】
本技術において、受信部により、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナが受信される。
【0016】
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されている。また、デコードに必要な値は、最大規模の値に固定されている。制御部により、デスクリプタの記述内容に基づいて、ビデオストリームの復号化処理が制御される。
【0017】
このように本技術によれば、コンテナのレイヤに挿入されており、デコードに必要な値が最大規模の値に固定されて記述されているデスクリプタに基づいてビデオストリームの復号化処理が制御されるものであり、ビデオストリームの復号化処理を適切に行うことが可能となる。
【0018】
なお、本技術において、例えば、コンテナは、トランスポートストリームであり、デスクリプタは、HEVC VIDEO デスクリプタであり、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、制御部は、HEVC VIDEO デスクリプタの記述内容およびコンポーネントデスクリプタの記述内容に基づいて、ビデオストリームの復号化処理を制御する、ようにされてもよい。これにより、制御部は、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
【発明の効果】
【0019】
本技術によれば、ビデオストリームの送信を良好に行い得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0020】
【
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【
図3】NALユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。
【
図4】HEVC VIDEO デスクリプタの構造例を示す図である。
【
図5】EITの構造例と、その構造例において関係する要素の内容を示す図である。
【
図6】コンポーネントデスクリプタの構造例と、その構造例における主要な要素の内容を示す図である。
【
図7】「component_type」の各値とそれで識別されるビデオストリームの対応関係を示す図である。
【
図8】ストリーム・アイデンチファイヤ・デスクリプタの構造例を示す図である。
【
図9】HEVC VIDEO デスクリプタの記述内容とコンポーネントデスクリプタの記述内容との対応関係の一例を示す図である。
【
図10】送信装置の構成例を示すブロック図である。
【
図11】後方互換性を持ったモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット、HEVC VIDEO デスクリプタおよびコンポーネントデスクリプタの状態変化の一例を示す図である。
【
図12】後方互換性を持ったモードでの配信において、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。
【
図13】後方互換性を持ったモードでの配信において、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。
【
図14】従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を示す図である。
【
図15】後方互換性を持たないモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット、HEVC VIDEO デスクリプタおよびコンポーネントデスクリプタの状態変化の一例を示す図である。
【
図16】後方互換性を持たないモードでの配信において、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。
【
図17】後方互換性を持たないモードでの配信において、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。
【
図18】従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を示す図である。
【
図19】受信装置の構成例を示すブロック図である。
【
図21】受信装置においてユーザ操作に基づいて行われるEPG表示等の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0022】
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
【0023】
送信装置100は、コンテナ(多重化ストリーム)としてのトランスポートストリームTSを、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、複数の番組(イベント)のビデオストリームが連続的に含まれる。ビデオストリームは、動画像データを構成する各ピクチャの画像データが階層符号化されて生成されたものであり、各階層のピクチャの符号化画像データを持っている。
【0024】
複数の番組には、第1のフレームレート(第1のフレーム周波数)の動画像データに係る番組と、第1のフレームレートより高い第2のフレームレート(第2のフレーム周波数)の動画像データに係る番組が含まれる。例えば、第1のフレームレートは50Hzであって第2のフレームレートは100Hz、あるいは第1のフレームレートは60Hzであって第2のフレームレートは120Hzである。ここでは、第1のフレームレートが50Hz、第2のフレームレートが100Hzである場合を例にとって説明する。
【0025】
複数の番組は、サービスに応じて、HFR(High Frame Rate)の後方互換性を持ったモード(HFR Backward Compatible Mode)での配信が行われるか、あるいはHFRの後方互換性を持たないモード(HFR Non-Backward Compatible Mode)での配信が行われる。
【0026】
50Hzの動画像データに係る番組に関しては、当該動画像データが符号化されて第1のビデオストリームが生成される。一方、100Hzの動画像データに係る番組に関しては、当該動画像データが符号化されて第2のビデオストリームが生成される。
【0027】
ここで、後方互換性を持ったモードでの配信において、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。また、この後方互換性を持ったモードでの配信において、第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる。
【0028】
この場合、拡張ストリームに含まれるピクチャの階層は、基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされる。これにより、基本ストリームの各ピクチャの階層構造が変化する場合においても、基本ストリームに含まれる各階層のピクチャの符号化画像データの抽出を適切に行い得るようになる。
【0029】
また、後方互換性を持たないモードでの配信において、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。また、この後方互換性を持たないモードでの配信において、第2のビデオストリームも、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。
【0030】
図2(a)は、後方互換性を持ったモードでの配信における第1のビデオストリーム(基本ストリーム)、あるいは後方互換性を持たないモードでの配信における第1のビデオストリーム(基本ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「4」とされた例である。第1のビデオストリーム(基本ストリーム)は、「0」から「4」の階層のピクチャの符号化画像データを持つものとなる。
【0031】
図2(b)は、後方互換性を持ったモードでの配信における第2のビデオストリーム(基本ストリーム、拡張ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「5」とされた例である。基本ストリームは、「0」から「4」の階層のピクチャの符号化画像データを持つものとなる。拡張ストリームは、「5」の階層のピクチャの符号化画像データを持つものとなる。
【0032】
図2(c)は、後方互換性を持たないモードでの配信における第2のビデオストリーム(基本ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「5」とされた例である。第2のビデオストリーム(基本ストリーム)は、「0」から「5」の階層のピクチャの符号化画像データを持つものとなる。
【0033】
なお、階層符号化においては、例えば、H.264/AVC、H.265/HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報(temporal_id)が付加される。各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”)が配置される。このように階層識別情報が付加されることで、受信側では、各ピクチャの所属階層を知ることができる。
【0034】
図3(a)は、NALユニットヘッダの構造例(Syntax)を示し、
図3(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、“temporal_id”を示し、1を加えた値(1~7)をとる。
【0035】
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタ、ここではPMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入される。また、このHEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定される。デコードに必要な値は、例えば、ビデオストリームのレベル指定値およびビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値などである。
【0036】
図4は、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HEVC VIDEO デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
【0037】
「level_idc」の8ビットフィールドは、ビデオストリームのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の5ビットフィールドと、「temporal_id_max」の5ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層の“temporal_id”の値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層の“temporal_id”の値を示す。
【0038】
また、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタ(Component_descriptor)が挿入される。このコンポーネントデスクリプタは、EIT(Event Information Table)に配置される。
【0039】
図5(a)は、EITの構造例(Syntax)を示している。
図5(b)は、EITの構造例において関係する要素の内容(Semantics)を示している。「service_id」の16ビットフィールドは、配信サービスを示す識別IDである。「event_id」の16ビットフィールドは、番組(インベント)を識別するIDを示す。「start_time」の40ビットフィールドは、番組の開始時刻を示し、UTCUniversal Time, Coordinated)で表される。「descriptor()」のフィールドにデスクリプタが挿入される。N個のデスクリプタの挿入が可能である。
【0040】
図6(a)は、コンポーネントデスクリプタの構造例(Syntax)を示している。
図6(b)は、コンポーネントデスクリプタの構造例における主要な要素の内容(Semantics)を示している。「stream_content_ext」の4ビットフィールドは、後方互換性を持った配信であるか否かを示す。“0x1”は互換性ありを示し、“0x0”は互換性なしを示す。
【0041】
「stream_content」の4ビットフィールドは、ストリームのタイプを示す。例えば、“0x9”は、HEVC符号化ストリームであってもよい。「component_type」の8ビットフィールドは、ストリームのパラメータの組み合わせを示す識別情報である。
【0042】
図7は、「component_type」の各値とそれで識別されるビデオストリームの対応関係を示している。「stream_content_ext = 0x0」であって、「component_type = 0x05」であるとき、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type = 0x06」であるとき、HEVCメイン10プロファイルのUHDビデオで、60Hzのシングルストリーム(基本ストリーム)であることを示す。
【0043】
また、「stream_content_ext = 0x0」であって、「component_type = 0x07」であるとき、HEVCメイン10プロファイルのHD(High Definition)ビデオで、100Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type = 0x08」であるとき、HEVCメイン10プロファイルのHD(High Definition)ビデオで、120Hzのシングルストリーム(基本ストリーム)であることを示す。
【0044】
また、「stream_content_ext = 0x0」であって、「component_type = 0x09」であるとき、HEVCメイン10プロファイルのUHDビデオで、100Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type = 0x0A」であるとき、HEVCメイン10プロファイルのUHDビデオで、120Hzのシングルストリーム(基本ストリーム)であることを示す。
【0045】
また、「stream_content_ext = 0x1」であって、「component_type = 0x07」であるとき、HEVCメイン10プロファイルのHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることを示す。また、「stream_content_ext = 0x1」であって、「component_type = 0x08」であるとき、HEVCメイン10プロファイルのHDビデオで、基本ストリームと合わせて120Hzとするための拡張ストリームであることを示す。
【0046】
また、「stream_content_ext = 0x1」であって、「component_type = 0x09」であるとき、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることを示す。また、「stream_content_ext = 0x1」であって、「component_type = 0x0A」であるとき、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて120Hzとするための拡張ストリームであることを示す。
【0047】
図6に戻って、「component_tag」の8ビットフィールドは、コンポーネントタグ(component_tag)を示し、対応するHEVC VIDEO デスクリプタと共に配置されたストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)のコンポーネントタグ(component_tag)と一致する。これにより、PMTとEITとの関連付け、つまりHEVC VIDEO デスクリプタとコンポーネントデスクリプタとの関連付けがなされる。
図8は、ストリーム・アイデンチファイヤ・デスクリプタの構造例(Syntax)を示している。「ISO_639_language_code」の24ビットフィールドは、「text_char」のフィールドで表示する言語を“3-character code”で表す。
【0048】
図9は、HEVC VIDEO デスクリプタの記述内容とコンポーネントデスクリプタの記述内容との対応関係の一例を示している。“サービス1”は、後方互換性を持ったモードにおける配信例である。この“サービス1”においては、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入され、各HEVC VIDEO デスクリプタに記述されるデコードに必要な値(ビットレートのレベル指定値、階層の最大の値など)は最大規模の値に固定される。
【0049】
基本ストリームに対応したESループには、基本ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x24」に設定され、PID情報は基本ストリームのPESパケットに付与される「PID1」に設定される。
【0050】
また、この基本ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“153”、つまり“level5.1”に設定されている。また、「temporal_id_max」は“4”に設定されている(
図2(a),(b)参照)。
【0051】
また、拡張ストリームに対応したESループには、拡張ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x25」に設定され、PID情報は拡張ストリームのPESパケットに付与される「PID2」に設定される。
【0052】
また、この拡張ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“156”、つまり“level5.2”に設定されている。また、「temporal_id_max」は“5”に設定されている(
図2(b)参照)。
【0053】
また、ストリーム・アイデンチファイヤ・デスクリプタにおけるコンポーネントタグが“Component_tag1”に設定され、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとが対応付けられる。コンポーネントデスクリプタの記述内容により、EPG(Electronic program guide)情報が構成される。
【0054】
EPG情報には、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報、互換性情報も含まれる。例えば、開始時刻(start_time)が“6:00:00”である番組(イベント)に関しては、1つのビデオストリームの存在が示されている。そして、この1つのビデオストリームは、「stream_content_ext = 0x0」、「component_type = 0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることがわかる。
【0055】
また、例えば、開始時刻(start_time)が“7:00:00”である番組(イベント)に関しては、2つのビデオストリームが存在し、UHD100Hzの互換配信であることが示されている。そして、一方のビデオストリームは、「Component_tag1_1」により示される要素が「stream_content_ext = 0x0」、「component_type = 0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzの基本ストリームであることがわかる。また、他方のビデオストリームは、「Component_tag1_2」より示される要素が「stream_content_ext = 0x1」、「component_type = 0x09」であることから、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることがわかる。
【0056】
“サービス2”も、後方互換性を持ったモードにおける配信例である。上述した“サービス1”の場合と同様であるので、その詳細説明は省略する。
【0057】
“サービス3”は、後方互換性を持たないモードにおける配信例である。この“サービス3”においては、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入され、そのHEVC VIDEO デスクリプタに記述されるデコードに必要な値(ビットレートのレベル指定値、階層の最大の値など)は最大規模の値に固定される。
【0058】
基本ストリームに対応したESループには、基本ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x24」に設定され、PID情報は基本ストリームのPESパケットに付与される「PID1」に設定される。
【0059】
また、この基本ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“156”、つまり“level5.2”に設定されている。また、「temporal_id_max」は“5”に設定されている(
図2(c)参照)。ビデオストリームのレベル指定値が“level5.1”であっても、HEVC VIDEO デスクリプタでは“level5.2”を示す。元々1ストリームで100p放送をする場合は非互換サービスが前提なので、50p放送しか受信できない受信装置は、“サービス3”の対象にならない。
【0060】
また、ストリーム・アイデンチファイヤ・デスクリプタにおけるコンポーネントタグが“Component_tag3”に設定され、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとが対応付けられる。コンポーネントデスクリプタの記述内容により、EPG(Electronic program guide)情報が構成される。
【0061】
EPG情報には、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報、互換性情報も含まれる。例えば、開始時刻(start_time)が“6:00:00”である番組(イベント)に関しては、1つのビデオストリームの存在が示されている。そして、この1つのビデオストリームは、「Component_tag3 」により示される要素が「stream_content_ext = 0x0」、「component_type = 0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることがわかる。
【0062】
また、例えば、開始時刻(start_time)が“7:00:00”である番組(イベント)に関しては、1つのビデオストリームが存在し、UHD100Hzの非互換配信であることが示されている。そして、このビデオストリームは、「Component_tag3 」により示される要素が「stream_content_ext = 0x0」、「component_type = 0x09」であることから、HEVCメイン10プロファイルのUHDビデオで、100Hzのシングルストリーム(基本ストリーム)であることがわかる。
【0063】
図1に戻って、受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したように、複数の番組(イベント)のビデオストリームが連続的に含まれる。ここで、複数の番組には、50Hzの動画像データに係る番組と、100Hzの動画像データに係る番組が含まれる。
【0064】
そして、後方互換性を持ったモードでの配信において、50Hzの動画像データに係る番組に関しては、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在し、100Hzの動画像データに係る番組に関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが存在する。
【0065】
一方、後方互換性を持たないモードでの配信において、50Hzの動画像データに係る番組に関しては、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在し、100Hzの動画像データに係る番組に関しても、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在する。
【0066】
コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入され、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定されている(
図9参照)。
【0067】
また、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入され、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けがなされている(
図9参照)。
【0068】
受信装置200は、HEVC VIDEO デスクリプタの記述内容、あるいはHEVC VIDEO デスクリプタの記述内容およびコンポーネントデスクリプタの記述内容に基づいて、ビデオストリームの復号化処理を制御し、各番組の画像表示をする。
【0069】
例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)のみが存在する番組(イベント)の場合、50p放送しか受信できない受信装置200および100p放送も受信できる受信装置200のいずれにおいても、当該基本ストリームの復号化処理を行って、当該番組の画像表示をする。
【0070】
また、例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)と、基本ストリームと合わせて100Hzとするための拡張ストリームの2つのビデオストリームが存在する場合、50p放送しか受信できない受信装置200は基本ストリームの復号化処理を行って当該番組の画像表示をし、100p放送も受信できる受信装置200は基本ストリームおよび拡張ストリームの双方の復号化処理を行って、当該番組の画像表示をする。
【0071】
また、例えば、後方互換性を持たないモードでの配信であって(
図9のサービス3参照)、50Hzあるいは100Hzのシングルストリーム(基本ストリーム)が存在する番組(イベントの場合、50p放送しか受信できない受信装置200は当該基本ストリームの復号化処理をせず、当該番組の画像表示をしないが、100p放送も受信できる受信装置200は当該基本ストリームの復号化処理を行って、当該番組の画像表示をする。
【0072】
「送信装置の構成」
図10は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、TSフォーマッタ(マルチプレクサ)104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
【0073】
エンコーダ102は、フレームレートが50Hzの番組(以下、適宜、「50Hz番組」という)の動画像データVDAとフレームレートが100Hzの番組(以下、適宜、「100Hz番組」という)の動画像データVDBを選択的に入力し、例えば、H.264/AVC、H.265/HEVCなどの符号化を行って、ビデオストリームを生成する。この場合、ビデオストリームは、動画像データを構成する各ピクチャの画像データが階層符号化されて生成される。
【0074】
HFRの後方互換性を持ったモード(HFR Backward Compatible Mode)での配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される(
図2(b)参照)。
【0075】
また、HFRの後方互換性を持たないモード(HFR Non-Backward Compatible Mode)での配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しても、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(c)参照)。
【0076】
圧縮データバッファ(cpb)103は、エンコーダ103で生成されたビデオストリームを、一時的に蓄積する。TSフォーマッタ104は、圧縮データバッファ103に蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
【0077】
このトランスポートストリームTSには、50Hz番組のビデオストリームと100Hz番組のビデオストリームが連続的に含まれる。後方互換性を持ったモードでの配信では、50Hz番組のビデオストリームとしては基本ストリームのみが存在し、100Hz番組のビデオストリームとしては基本ストリームと拡張ストリームが存在する。また、後方互換性を持たないモードでの配信では、50Hz番組および100Hz番組のビデオストリームとしてはそれぞれ基本ストリームのみが存在する。
【0078】
また、TSフォーマッタ104は、コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタを固定的に挿入し、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値を、最大規模の値に固定する。
【0079】
後方互換性を持ったモードでの配信では、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタを固定的に挿入する。そして、基本ストリームに対応したESループに挿入されるHEVC VIDEO デスクリプタにおいて、「level_idc 」を“153”に設定し、「temporal_id_max」を“4”に設定し、拡張ストリームに対応したESループに挿入されるHEVC VIDEO デスクリプタにおいて、「level_idc 」を“156”に設定し、「temporal_id_max」を“5”に設定する(
図9のサービス1,2参照)。
【0080】
一方、後方互換性を持たないモードでの配信では、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタを固定的に挿入する。そして、このHEVC VIDEO デスクリプタにおいて、「level_idc 」を“156”に設定し、「temporal_id_max」を“5”に設定する(
図9のサービス3参照)。
【0081】
また、TSフォーマッタ104は、基本ストリームに固定のPID(=PID_1)を付与する。また、TSフォーマッタ104は、拡張ストリームに固定のPID(=PID_2)を付与する。
【0082】
また、TSフォーマッタ104は、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタを挿入し、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けをする(
図9参照)。このコンポーネントデスクリプタは、EITに配置される。
【0083】
送信部105は、TSフォーマッタ104で得られたトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
【0084】
図10に示す送信装置100の動作を簡単に説明する。エンコーダ102には、50Hz番組の動画像データVDAと100Hz番組の動画像データVDBが選択的に入力される。エンコーダ102では、入力された動画像データに階層符号化が施されて、ビデオストリームが生成される。このビデオストリームは、圧縮データバッファ(cpb)103に一時的に蓄積される。
【0085】
ここで、HFRの後方互換性を持ったモードでの配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される(
図2(b)参照)。
【0086】
また、HFRの後方互換性を持たないモードでの配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しても、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(
図2(c)参照)。
【0087】
TSフォーマッタ104では、圧縮データバッファ103に蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
【0088】
このトランスポートストリームTSには、50Hz番組のビデオストリームと100Hz番組のビデオストリームが連続的に含まれる。後方互換性を持ったモードでの配信では、50Hz番組のビデオストリームとして基本ストリームのみが含まれ、100Hz番組のビデオストリームとして基本ストリームと拡張ストリームが含まれる。また、後方互換性を持たないモードでの配信では、50Hz番組および100Hz番組のビデオストリームとしてそれぞれ基本ストリームのみが含まれる。
【0089】
また、TSフォーマッタ104では、コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入され、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定される。この場合、後方互換性を持ったモードでの配信では、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入される。一方、後方互換性を持たないモードでの配信では、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入される。
【0090】
また、TSフォーマッタ104では、基本ストリームに固定のPID(=PID_1)が付与されると共に、拡張ストリームに固定のPID(=PID_2)が付与される。
【0091】
また、TSフォーマッタ104では、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入され、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けがなされる。
【0092】
TSフォーマッタ104で得られたトランスポートストリームTSは、送信部105に送られる。送信部105では、TSフォーマッタ104で得られたトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
【0093】
図11は、後方互換性を持ったモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット(SPS:Sequence Parameter Set)、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)およびコンポーネントデスクリプタ(Component_descriptor)の状態変化の一例を示している。
【0094】
50Hz番組のビデオストリームとして、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から4の全ての階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1」は“4”に設定される。
【0095】
100Hz番組のビデオストリームとして、基本ストリーム(base stream)および拡張ストリーム(enhanced stream)が存在する。基本ストリームに0から4の階層のピクチャの符号化画像データが含まれ、拡張ストリームに5の階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1」は“5”に設定される。
【0096】
50Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その50Hz番組に対応したPMTが挿入される。ここで、50Hz番組のビデオストリームとしては基本ストリームだけが存在するが、PMTには、基本ストリームに対応したHEVC VIDEO デスクリプタと拡張ストリームに対応したHEVC VIDEO デスクリプタが挿入される。これは、本技術において、PMTデスクリプタを固定的に挿入することによる。
【0097】
この場合、基本ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定される。また、拡張ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定される。
【0098】
基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。
【0099】
同様に、50Hz番組の送信期間において、100Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その100Hz番組に対応したPMTが挿入される。ここで、100Hz番組のビデオストリームとしては基本ストリームおよび拡張ストリームが存在し、PMTには、基本ストリームに対応したHEVC VIDEO デスクリプタと拡張ストリームに対応したHEVC VIDEO デスクリプタが挿入される。
【0100】
この場合、各HEVC VIDEO デスクリプタの記述内容は、50Hz番組に対応したPMTにおける各HEVC VIDEO デスクリプタの記述内容と同じである。すなわち、基本ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定される。また、拡張ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定される。
【0101】
基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされた第1のコンポーネントデスクリプタと、拡張ストリームに対応したHEVC VIDEO デスクリプタに関連付けされた第2のコンポーネントデスクリプタが存在する。第1のコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。また、第2のコンポーネントデスクリプタでは、「stream_content_ext」は“0x1”に設定され、「component_type」は“0x09”に設定されており、基本ストリームと合わせて100Hzとするための拡張ストリームの存在が示される。
【0102】
このように、本技術においては、コンテナのレイヤに、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入される。つまり、50Hz番組に対応したPMTデスクリプタと100Hz番組に対応したPMTデスクリプタは全く同じ状態とされる。そして、このPMTデスクリプタに記述されるデコードに必要な値は最大規模の値に固定される。
【0103】
図12は、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
【0104】
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.1”に設定されている。
【0105】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、実際に存在する基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)と、実際には存在しない拡張ストリーム(video PES2)に対応したビデオESループ(video ES2 loop)が存在する。
【0106】
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
【0107】
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
【0108】
ビデオESループ(video ES2 loop)には、拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、上述したように拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。
【0109】
また、ビデオESループ(video ES2 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag2」で対応付けるものである。
【0110】
図13は、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」と、PID2で識別される拡張ストリームのPESパケット「video PES2」が存在する。ここで、PID1は基本ストリームに固定のPIDであり、PID2は拡張ストリームに固定のPIDである。
【0111】
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
【0112】
SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.2”に設定されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。ここで、「sublayer_level_idc[4]」は、“level5.1”に設定されている。
【0113】
一方、拡張ストリームの各ピクチャの符号化画像データには、AUD、PPS、SLICEなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
【0114】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)と、拡張ストリーム(video PES2)に対応したビデオESループ(video ES2 loop)が存在する。
【0115】
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
【0116】
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
【0117】
ビデオESループ(video ES2 loop)には、拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、上述したように拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。
【0118】
また、ビデオESループ(video ES2 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag2」で対応付けるものである。
【0119】
図14は、従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を
図11の例と対比可能に示している。従来の場合、50Hz番組に対応したPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタのみが存在し、拡張ストリームに対応したHEVC VIDEO デスクリプタの挿入はない。この点から、従来の場合には、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入されたものではない。なお、各HEVC VIDEO デスクリプタの記述内容(要素の値)に関しては固定である。
【0120】
図15は、後方互換性を持たないモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット(SPS:Sequence Parameter Set)、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)およびコンポーネントデスクリプタ(Component_descriptor)の状態変化の一例を示している。
【0121】
50Hz番組のビデオストリームとして、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から4の全ての階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1」は“4”に設定される。
【0122】
100Hz番組のビデオストリームとしても、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から5の階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1」は“5”に設定される。
【0123】
50Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その50Hz番組に対応したPMTが挿入される。このPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタが挿入される。
【0124】
この基本ストリームに対応したHEVC VIDEO デスクリプタにおいては、50Hz番組に対応するものであるが、後述の100Hz番組に対応するものと同様に、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定される。これは、本技術において、PMTデスクリプタを固定的に挿入し、かつ当該デスクリプタに記述されるデコードに必要な値を最大規模の値に固定することによる。
【0125】
この基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。
【0126】
同様に、50Hz番組の送信期間において、100Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その100Hz番組に対応したPMTが挿入される。このPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタが挿入される。この基本ストリームに対応したHEVC VIDEO デスクリプタにおいては、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定される。
【0127】
この基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x09”に設定されており、100Hzのシングルストリーム(基本ストリーム)の存在が示される。
【0128】
このように、本技術においては、コンテナのレイヤに、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入される。つまり、50Hz番組に対応したPMTデスクリプタと100Hz番組に対応したPMTデスクリプタは全く同じ状態とされる。そして、このPMTデスクリプタに記述されるデコードに必要な値は最大規模の値に固定される。
【0129】
図16は、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
【0130】
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.1”に設定されている。
【0131】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)が存在する。
【0132】
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
【0133】
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
【0134】
図17は、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
【0135】
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
【0136】
SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.2”に設定されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。ここで、「sublayer_level_idc[4]」は、“level5.1”に設定されている。
【0137】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)が存在する。
【0138】
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
【0139】
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
【0140】
図18は、従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を
図15の例と対比可能に示している。基本ストリームに対応したHEVC VIDEO デスクリプタの記述内容は、50Hz番組のビデオストリームにおけるSPSの記述内容に対応したものとなっている。すなわち、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。この点から、従来の場合には、PMTデスクリプタとしてのHEVC VIDEO デスクリプタの記述内容(要素の値)に関しては、デコードに必要な値が最大規模の値に固定されたものでなない。
【0141】
「受信装置の構成」
図19は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、TS解析部(デマルチプレクサ)203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
【0142】
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。TS解析部203は、トランスポートストリームTSから、それに含まれるビデオストリームを構成するストリームをPIDフィルタでフィルタリングして取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。
【0143】
この場合、基本ストリームや拡張ストリームにはそれぞれ固定のPIDが付与されている。そのため、例えば、50Hz番組(50pサービス)から100Hz番組(100pサービス)に、あるいはその逆にサービスの切り替えがあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。
【0144】
図20は、TS解析部203の構成例を示している。このTS解析部203は、PIDフィルタ231と、多重化バッファ232_0~232_n,232_null,232_cと、セクションフィルタ233と、PMT解析部234を有している。
【0145】
PIDフィルタ231は、PIDに基づいて、トランスポートストリームTSに含まれるセクションデータ、ヌルパケットを通過させる。図示の例では、セクションデータのPID値をPID_cとし、ヌルパケットのPIDをPID_nullとしている。ヌルパケットは独自のPID値を持たなく、ビデオのPIDのストリームの中に挿入されるように伝送されてもよい。これにより、受信機の多重化バッファでヌルパケットを検知して切り替えが起こることの判定に利用することが可能となる。
【0146】
また、PIDフィルタ231は、トランスポートストリームTSに含まれる、放送サービスチャネルに相当するプログラムナンバー(program number)に対応したTSパケットを、セットされるPID値に基づいて通過させる。図示の例では、セット可能なTSパケットのPID値を、PID_0~PID_nとしている。
【0147】
多重化バッファ232_0~232_n,232_null,232_cは、PIDフィルタ231を通過したTSパケット、セクションデータ、ヌルパケットをそれぞれ一時的に蓄積する。つまり、TS解析部203では、多重化バッファがPID値別に管理されている。セクションフィルタ233は、多重化バッファ232_cに蓄積されたセクションデータから、PID値に基づいて、プログラムマップテーブル(PMT)を抽出する。
【0148】
PMT解析部234は、セクションフィルタ233で抽出されたPMTを解析し、その解析結果に基づいて、PIDフィルタ231に、通過させるTSパケットのPID値をセットする。
【0149】
例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)のみが存在する番組(イベント)の場合を考える。この場合、50p放送しか受信できない受信装置200および100p放送も受信できる受信装置200のいずれにおいても、PID_0として、基本ストリームに付与されている固定のPID値である“PID1”がセットされる。なお、100p放送を受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされると共に、PID_1として拡張ストリームに付与されている固定のPID値である“PID2”がセットされてもよい。
【0150】
また、例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)と、基本ストリームと合わせて100Hzとするための拡張ストリームの2つのビデオストリームが存在する場合を考える。この場合、50p放送しか受信できない受信装置200では、PID_0として、基本ストリームに付与されている固定のPID値である“PID1”がセットされる。また、この場合、100p放送も受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされると共に、PID_1として拡張ストリームに付与されている固定のPID値である“PID2”がセットされる。
【0151】
また、例えば、後方互換性を持たないモードでの配信であって(
図9のサービス3参照)、50Hzあるいは100Hzのシングルストリーム(基本ストリーム)が存在する番組(イベントの場合を考える。この場合、50p放送しか受信できない受信装置200では、受信の対象外であるので、PID_0,PID_1にはPID値のセットは行われない。また、この場合、100p放送も受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされる。
【0152】
ここで、PMT解析部234におけるデスクリプタ解析による番組認識について説明する。最初に、後方互換性を持ったモードでの配信について説明する。PMT解析部234は、コンポーネントデスクリプタの「component_type」と「stream_type_ext」とから配信ストリームの番組(イベント)単位の情報を識別する。
【0153】
コンポーネントデスクリプタは、ストリーム・アイデンチファイヤ・デスクリプタを介してコンポーネントタグ(component_tag)で、PMTのHEVC VIDEO デスクリプタと関連付けされている。そのため、PMT解析部234は、50Hz番組の配信時には、“PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.1”、「temporal_id_max」=“4”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
【0154】
また、PMT解析部234は、100Hz番組の配信時には、PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.1”、「temporal_id_max」=“4”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
【0155】
同時に、PMT解析部234は、“PID2”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x1”、「component_type」=“0x09”に対応し、UHD 100Hzの配信ストリームで、「level_idc 」=“level5.2”、「temporal_id_max」=“5”であることを認識する。
【0156】
この場合、同時に、コンポーネントデスクリプタが2つ存在することで、PMT解析部234は、この番組の配信は50Hz受信機互換モードの2ストリームで配信されていることを認識する。
【0157】
次に、後方互換性を持たないモードでの配信について説明する。PMT解析部234は、コンポーネントデスクリプタの「component_type」と「stream_type_ext」とから配信ストリームの番組(イベント)単位の情報を識別する。
【0158】
コンポーネントデスクリプタは、ストリーム・アイデンチファイヤ・デスクリプタを介してコンポーネントタグ(component_tag)で、PMTのHEVC VIDEO デスクリプタと関連付けされている。そのため、PMT解析部234は、50Hz番組の配信時には、“PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
【0159】
また、PMT解析部234は、100Hz番組の配信時には、PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x09”に対応し、1ストリームによるUHD 100Hzの配信ストリームで、「level_idc 」=“level5.2”、「temporal_id_max」=“5”であることを認識する。
【0160】
この場合、同時に、コンポーネントデスクリプタが1つ存在することで、PMT解析部234は、この番組の配信は100Hz受信機非互換モードの1ストリームで配信されていることを認識する。
【0161】
図20に戻って、TS解析部203は、多重化バッファ232_0~232_nにPID値別に蓄積されたTSパケットを、圧縮データバッファ204に転送する。例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)、50p放送しか受信できない受信装置200の場合には、多重化バッファ232_0に蓄積された基本ストリームに係るTSパケットを、圧縮データバッファ204に転送する。
【0162】
また、例えば、後方互換性を持ったモードでの配信であって(
図9のサービス1,2参照)100p放送も受信できる受信装置200の場合には、多重化バッファ232_0に蓄積される基本ストリームに係るTSパケットと、多重化バッファ232_1に蓄積される拡張ストリームに係るTSパケットを、圧縮データバッファ204に転送する。
【0163】
また、後方互換性を持たないモードでの配信であって(
図9のサービス3参照)、100p放送も受信できる受信装置200の場合には、多重化バッファ232_0に蓄積された基本ストリームに係るTSパケットを、圧縮データバッファ204に転送する。なお、後方互換性を持たないモードでの配信であって(
図9のサービス3参照)、50p放送しか受信できない受信装置200の場合には、受信対象外であり、多重化バッファ232_0への蓄積はなく、圧縮データバッファ204へのTSパケットの転送は行われない。
【0164】
図19に戻って、圧縮データバッファ(cpb)204は、TS解析部203から転送されるTSパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのDTS(Decoding Time stamp)で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ(dpb)206に送る。
【0165】
非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206からPTS(Presentation Time stamp)で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
【0166】
例えば、デコード後の各ピクチャの画像データのフレームレートが50fpsであって、表示能力が100fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、100fpsの画像データとして表示部208に送る。なお、ポスト処理はフレーム周波数のみでなく、例えば、デコーダ出力がHD解像度である場合、ポスト処理にて解像度変換によりより高精細な解像度へ変換することも行われる。この場合、デコーダ出力が既にUHD解像度である場合は、解像度変換はバイパスされる。
【0167】
表示部208は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部208は、受信装置200に接続される外部機器であってもよい。
【0168】
図19に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、TS解析部203に送られる。TS解析部203では、トランスポートストリームTSから、それに含まれるビデオストリームを構成するストリームがPIDフィルタでフィルタリングされて取り出され、圧縮データバッファ(cpb)204に送られる。
【0169】
この場合、後方互換性を持ったモードでの配信であるか後方互換性を持たないモードでの配信であるかによって、および50p放送しか受信できない受信装置200であるか100p放送も受信できる受信装置200であるかによって、フィルタリングすべきストリームが制御される。
【0170】
本実施の形態においては、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入され、また、このデスクリプタに記述されるデコードに必要な値は最大規模の値に固定されている。しかし、HEVC VIDEO デスクリプタとコンポーネントタグで関連付けされているンポーネントデスクリプタの解析により、番組の認識が適切に行われる。
【0171】
デコーダ205では、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。そして、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、表示部208に供給され、動画像の表示が行われる。
【0172】
図21(a)は、受信装置200において、例えば、ユーザ操作に基づいて行われるEPG表示の一例を示している。各番組(イベント)に対応したコンポーネントデスクリプタの記述内容によって、各番組の欄に、その番組のフレームレート情報、互換性情報の表記がなされている。例えば、チャネル1(サービス1)の6:00:00から始まる番組の場合、その番組の欄に「UHD 50Hz」と表記され、50Hz番組であることがわかる。
【0173】
また、例えば、チャネル1(サービス1)の9:00:00から始まる番組の場合、その番組の欄に「UHD 100Hz 互換配信」と表記され、100Hz番組であるが、互換配信であることがわかり、50p放送しか受信できない受信装置200であっても受信可能であることがわかる。
図21(b)は、この番組を、例えば50p放送しか受信できない受信装置200で選択した場合におけるUI表示の一例を示している。
【0174】
また、例えば、チャネル3(サービス3)の9:00:00から始まる番組の場合、その番組の欄に「UHD 100Hz 非互換配信」と表記され、100Hz番組であって、非互換配信であることがわかり、50p放送しか受信できない受信装置200では受信不可能であることがわかる。
図21(c)は、この番組を、例えば50p放送しか受信できない受信装置200で選択した場合におけるUI表示の一例を示している。
【0175】
以上説明したように、
図1に示す送受信システム10においては、コンテナのレイヤにデコードに必要な値が記述されたPMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入され、また、デコードに必要な値は最大規模の値に固定される。そのため、送信側の運用が容易となると共に、受信側ではデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識可能となる。
【0176】
また、
図1に示す送受信システム10においては、コンテナのレイヤに、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入される。そのため、受信側では、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
【0177】
<2.変形例>
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。また、互換配信する際のコンポーネントデスクリプタの要素、「component_type」と「stream_content_ext」の値で基本ストリームか拡張ストリームかの識別を行う例を示したが、これに限定するものではなく、「component_type」の値のみによって基本ストリームか拡張ストリームかを識別するようにしてもよい。
【0178】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
【0179】
また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信装置。
(2)上記デコードに必要な値は、上記ビデオストリームのレベル指定値および上記ビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値である
前記(1)に記載の送信装置。
(3)上記画像符号化部は、第1のフレームレートの動画像データを符号化して第1のビデオストリームを生成し、上記第1のフレームレートより高い第2のフレームレートの動画像データを符号化して第2のビデオストリームを生成し、
上記送信部は、上記画像符号化部で生成された上記第1のビデオストリームおよび上記第2のビデオストリームを連続的に含む上記所定フォーマットのコンテナを送信する
前記(1)または(2)に記載の送信装置。
(4)上記第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなり、
上記第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる
前記(3)に記載の送信装置。
(5)上記拡張ストリームに含まれるピクチャの階層は、上記基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされる
前記(4)に記載の送信装置。
(6)上記第1のビデオストリームおよび上記第2のビデオストリームは、それぞれ、全階層のピクチャの符号化画像データを持つ基本ストリームからなる
前記(3)に記載の送信装置。
(7)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入される
前記(1)から(6)のいずれかに記載の送信装置。
(8)画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信方法。
(9)動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
受信装置。
(10)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、上記HEVC VIDEO デスクリプタの記述内容および上記コンポーネントデスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する
前記(9)に記載の受信装置。
(11)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、上記コンポーネントデスクリプタの記述内容に基づいて、EPG表示の各番組の欄にそれぞれの番組のフレームレート情報および互換性情報が表記されるように制御する
前記(9)または(10)に記載の受信装置。
(12)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、所定の番組が選択されたとき、該所定の番組のフレームレート情報および互換性情報に基づいたUI表示が行われるように制御する
前記(9)から(11)のいずれかに記載の受信装置。
(13)受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
制御部が、上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御ステップをさらに有する
受信方法。
【0180】
本技術の主な特徴は、コンテナのレイヤにデコードに必要な値が記述されたPMTデスクリプタ(HEVC VIDEO デスクリプタ)を固定的に挿入し、また、このデコードに必要な値を最大規模の値に固定することで、送信側の運用を容易とすると共に、受信側でデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識可能としたことである(
図11、
図15参照)。
【符号の説明】
【0181】
10・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104・・・TSフォーマッタ(マルチプレクサ)
105・・・送信部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・TS解析部(デマルチプレクサ)
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
231・・・PIDフィルタ
232_0~232_n,232_null,232_c・・・多重化バッファ
233・・・セクションフィルタ
234・・・PMT解析部