特許第6801662号(P6801662)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特許6801662送信装置、送信方法、受信装置および受信方法
<>
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000002
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000003
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000004
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000005
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000006
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000007
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000008
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000009
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000010
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000011
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000012
  • 特許6801662-送信装置、送信方法、受信装置および受信方法 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6801662
(24)【登録日】2020年11月30日
(45)【発行日】2020年12月16日
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
   H04N 19/30 20140101AFI20201207BHJP
   H04N 19/70 20140101ALI20201207BHJP
【FI】
   H04N19/30
   H04N19/70
【請求項の数】6
【全頁数】25
(21)【出願番号】特願2017-536734(P2017-536734)
(86)(22)【出願日】2016年8月10日
(86)【国際出願番号】JP2016073544
(87)【国際公開番号】WO2017033748
(87)【国際公開日】20170302
【審査請求日】2019年7月8日
(31)【優先権主張番号】特願2015-165902(P2015-165902)
(32)【優先日】2015年8月25日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2015−057875(JP,A)
【文献】 特開2015−005977(JP,A)
【文献】 特表2011−514080(JP,A)
【文献】 特開2009−225431(JP,A)
【文献】 国際公開第2015/076277(WO,A1)
【文献】 米国特許出願公開第2009/0201990(US,A1)
【文献】 Miska M. Hannuksela,MV-HEVC/SHVC HLS: On access unit definition and allowing different decoding orders in different layer trees,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,17th Meeting: Valencia, ES,2014年 3月,JCTVC-Q0091,pp.1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
基本フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットにデコード順を示す情報を含め、
上記所定数の拡張ストリームのそれぞれのアクセスユニットの先頭に上記デコード順を示す情報を含む拡張アクセス・ユニット・デリミタのNALユニットを配置する
送信装置。
【請求項2】
上記所定数の拡張ストリームのアクセスユニットの先頭に配置される拡張アクセス・ユニット・デリミタのNALユニットは、いずれの拡張ストリームのアクセスユニットであるかを識別する識別情報をさらに含む
請求項1に記載の送信装置。
【請求項3】
上記所定フォーマットのコンテナは、トランスポートストリーム(MPEG-2 TS)またはMMT(MPEG Media Transport)である
請求項1に記載の送信装置。
【請求項4】
基本フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットにデコード順を示す情報を含め、
上記所定数の拡張ストリームのそれぞれのアクセスユニットの先頭に上記デコード順を示す情報を含む拡張アクセス・ユニット・デリミタのNALユニットを配置する
送信方法。
【請求項5】
基本フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットにデコード順を示す情報が含まれており、
上記所定数の拡張ストリームのそれぞれのアクセスユニットの先頭に上記デコード順を示す情報を含む拡張アクセス・ユニット・デリミタのNALユニットが配置されており、
上記処理部は、上記基本ストリームのアクセスユニットおよび上記所定数の拡張ストリームのそれぞれのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信装置。
【請求項6】
受信部により、基本フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎のNALユニット構造の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理ステップを有し、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットにデコード順を示す情報が含まれており、
上記所定数の拡張ストリームのそれぞれのアクセスユニットの先頭に上記デコード順を示す情報を含む拡張アクセス・ユニット・デリミタのNALユニットが配置されており、
上記処理ステップでは、上記基本ストリームのアクセスユニットおよび上記所定数の拡張ストリームのそれぞれのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する送信装置等に関する。
【背景技術】
【0002】
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献1には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのための基本レイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2008−543142号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
基本レイヤのストリームに対して、スケーラブル拡張により機能追加を行う場合、各々の拡張成分に対応するレイヤに対してエンコードする際の参照対象が決まってくる。スケーラブル拡張が複数存在する場合、拡張によって新たに設けられるレイヤの各々のピクチャに属するブロックの参照・被参照の関係はデコードする際に被参照先のピクチャが既にデコード後である関係とされ、受信側におけるストリームのパケットの受信はデコード順を前提とするようになっている。
【0005】
しかし、エンコードされたストリームのパケットは、多重化を含んで必ずしもエンコード順に伝送されることは保証されない。受信側におけるストリームのパケットの受信がデコード順でない場合には、復号化処理が滞るということも考えられる。
【0006】
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する際の受信側におけるデコード処理の便宜を図ることにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記高品質フォーマットの画像データに上記基本フォーマットの画像データまたは他の高品質フォーマットの画像データを参照した予測符号化処理を施し、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信装置にある。
【0008】
本技術において、画像符号化部により、基本ストリームおよび所定数の拡張ストリームが生成される。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。送信部により、基本ストリームおよび所定数の拡張ストリームを含む所定フォーマットのコンテナが送信される。
【0009】
高品質フォーマット画像データのピクチャ毎の符号化画像データは、この高品質フォーマット画像データに基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理が施されて得られる。また、拡張ストリームのアクセスユニットにデコード順を示す情報が付加される。例えば、符号化画像データはNALユニット構造を有し、画像符号化部は、拡張ストリームのアクセスユニットの先頭にデコード順を示す情報を持つ拡張アクセス・ユニット・デリミタのNALユニットを配置する、ようにされてもよい。
【0010】
このように本技術においては、拡張ストリームのアクセスユニットにデコード順を示す情報が付加されるものである。そのため、受信側では、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで、容易に正しい順番で行うことが可能となる。
【0011】
なお、本技術において、例えば、画像符号化部は、さらに、基本ストリームのアクセスユニットにデコード順を示す情報を付加する、ようにされてもよい。この場合、例えば、符号化画像データはNALユニット構造を有し、画像符号化部は、基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットにデコード順を示す情報を持たせる、ようにされてもよい。このように基本ストリームのアクセスユニットにもデコード順を示す情報が付加されることで、受信側では、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで、容易に正しい順番で行うことが可能となる。
【0012】
また、本技術の他の概念は、
基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信装置にある。
【0013】
本技術において、受信部により、基本ストリームおよび所定数の拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。
【0014】
高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものである。拡張ストリームのアクセスユニットにデコード順を示す情報が付加されている。
【0015】
処理部により、基本ストリーム、あるいは基本ストリームと所定数の拡張ストリームの一部または全部が処理されて基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データが得られる。この場合、拡張ストリームのアクセスユニットの復号化処理は、デコード順を示す情報に基づいた順番で行われる。
【0016】
このように本技術においては、拡張ストリームのアクセスユニットの復号化処理がデコード順を示す情報に基づいた順番で行われる。そのため、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
【0017】
なお、本技術において、例えば、基本ストリームのアクセスユニットにデコード順を示す情報が付加されており、処理部は、基本ストリームのアクセスユニットおよび拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報に基づいた順番で行う、ようにされてもよい。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
【発明の効果】
【0018】
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する際の受信側におけるデコード処理の便宜を図ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0019】
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
図2】送信装置の構成例を示すブロック図である。
図3】基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を生成する画像データ生成部の構成例を示すブロック図である。
図4】エンコード部の主要部の構成例を示すブロック図である。
図5】基本ストリーム、拡張ストリームのアクセスユニットへのデコード順を示す情報の付加を説明するための図である。
図6】EAUDのNALユニットおよびデコード順を示す情報を持つAUDのNALユニットの構造例などを示す図である。
図7】基本ストリームCb、拡張ストリームCh1,Ch2,CH3の構成例を示す図である。
図8】トランスポートストリームTSの構成例(2ストリームの場合)を示す図である。
図9】トランスポートストリームTSの構成例(1ストリームの場合)を示す図である。
図10】受信装置の構成例を示すブロック図である。
図11】受信側におけるアクセスユニットに付加されているデコード順を示す情報に基づくアクセスユニットの順番変更を説明するための図である。
図12】デコード部の主要部の構成例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0021】
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有している。送信装置100から受信装置200にコンテナとしてのトランスポートストリームTSが放送波あるいはネットのパケットに載せて送信される。
【0022】
このトランスポートストリームTSには、基本ストリームおよび所定数の拡張ストリームが含まれる。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。
【0023】
基本フォーマット画像データおよび高品質フォーマット画像データには、例えば、H.264/AVC、H.265/HEVCなどの予測符号化処理が施され、ピクチャ毎の符号化画像データが得られる。この場合、符号化画像データはNALユニット構造を有するものとされる。ここで、高品質フォーマット画像データのピクチャ毎の符号化画像データは、この高品質フォーマット画像データに基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理が施されて生成される。
【0024】
基本ストリーム、拡張ストリームのアクセスユニットに、デコード順を示す情報が付加される。なお、拡張ストリームのアクセスユニットにのみデコード順を示す情報が付加されることも考えられる。この実施の形態において、拡張ストリームのアクセスユニットの先頭にデコード順を示す情報を持つ拡張アクセス・ユニット・デリミタ(EAUD:Extension Access Unit Delimiter)のNALユニットが配置される。また、この実施の形態において、基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタ(AUD:Unit Delimiter)のNALユニットにデコード順を示す情報が持たせられる。
【0025】
基本ストリームおよび所定数の拡張ストリームは、単一のビデオエレメンタリストリームとしてトランスポートストリームTSに含まれるか、あるいは複数、例えば2つのビデオエレメンタリストリームとしてトランスポートストリームTSに含まれる。2つのビデオエレメンタリストリームの場合、例えば、第1のビデオエレメンタリストリームには基本ストリームが含まれ、第2のビデオエレメンタリストリームには所定数の拡張ストリームが含まれる。
【0026】
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、基本ストリームおよび所定数の拡張ストリームが含まれる。上述したように、基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。各アクセスユニットには、デコード順を示す情報が付加されている。
【0027】
受信装置200は、基本ストリーム、あるいは基本ストリームと所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理は、付加されているデコード順を示す情報に基づいた順番で行われる。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
【0028】
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、送信画像データとして、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を取り扱う。基本フォーマット画像データVbは、解像度がHD(High Definition)、ダイナミックレンジがSDR(Standard Dynamic Range)、フレームレートがLFR(Low Frame Rate)である画像データ(HD&SDR&LFR画像データ)である。
【0029】
高品質フォーマット画像データVh1は、解像度がUHD(Ultra High Definition)、ダイナミックレンジがSDR(Standard Dynamic Range)、フレームレートがLFR(Low Frame Rate)である画像データ(UHD&SDR&LFR画像データ)である。高品質フォーマット画像データVh2は、解像度がUHD(Ultra High Definition)、ダイナミックレンジがHDR(High Dynamic Range)、フレームレートがLFR(Low Frame Rate)である画像データ(UHD&HDR&LFR画像データ)である。
【0030】
画像データVh3は、解像度がUHD(Ultra High Definition)、ダイナミックレンジがHDR(High Dynamic Range)、フレームレートがHFR(High Frame Rate)である画像データ(UHD&HDR&HFR画像データ)である。ここでは、例えば、HFRは120Hzであり、LFRは60Hzである。
【0031】
図3は、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を生成する画像データ生成部150の構成例を示している。この画像データ生成部150は、カメラ151と、フレームレート変換部152と、ダイナミックレンジ変換部153と、解像度変換部154を有している。
【0032】
カメラ151は、被写体を撮像し、UHD&HDR&HFR画像データ、つまり高品質フォーマット画像データVh3を出力する。フレームレート変換部152は、HDRカメラ151から出力される高品質フォーマット画像データVh3に対して、フレームレートをHFRからLFRに変換する処理を行って、UHD&HDR&LFR画像データ、つまり高品質フォーマット画像データVh2を出力する。
【0033】
ダイナミックレンジ変換部153は、フレームレート変換部152から出力される高品質フォーマット画像データVh2に対してダイナミックレンジをHDRからSDRに変換する処理を行って、UHD&SDR&LFR画像データ、つまり高品質フォーマット画像データVh1を出力する。解像度変換部154は、ダイナミックレンジ変換部153から出力される高品質フォーマット画像データVh1に対して、解像度をUHDからHDに変換する処理を行って、HD&SDR&LFR画像データ、つまり基本フォーマット画像データVbを出力する。
【0034】
図2に戻って、送信装置100は、制御部101と、SDR光電変換部102,103と、HDR光電変換部104,105と、ビデオエンコーダ106と、システムエンコーダ107と、送信部108を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
【0035】
SDR光電変換部102は、基本フォーマット画像データVbに対して、SDR画像用の光電変換特性(SDR OETFカーブ)を適用して、伝送用の基本フォーマット画像データVb´を得る。SDR光電変換部103は、高品質フォーマット画像データVh1に対して、SDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh1´を得る。
【0036】
HDR光電変換部104は、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)を適用して、伝送用の高品質フォーマット画像データVh2´を得る。HDR光電変換部105は、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh3´を得る。
【0037】
ビデオエンコーダ106は、4つのエンコード部106-0,106-1,106-2,106-3を有する。エンコード部106-0は、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む基本レイヤのストリーム、つまり基本ストリームCbを得る。この場合、エンコード部106-0は、画像データVb´内の予測を行う。
【0038】
エンコード部106-1は、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームCh1を得る。この場合、エンコード部106-1は、予測残差を小さくするために、符号化ブロック毎に、画像データVh1´内の予測、または画像データVb´との間の予測を、選択的に行う。
【0039】
エンコード部106-2は、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームCh2を得る。この場合、エンコード部106-2は、予測残差を小さくするために、符号化ブロック毎に、画像データVh2´内の予測、または画像データVh1´との間の予測を、選択的に行う。
【0040】
エンコード部106-3は、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームCh3を得る。この場合、エンコード部106-3は、予測残差を小さくするために、符号化ブロック毎に、画像データVh3´内の予測、または画像データVh2´との間の予測を、選択的に行う。
【0041】
図4は、エンコード部160の主要部の構成例を示している。このエンコード部160は、エンコード部106-1,106-2,106-3に適用し得るものである。このエンコード部160は、レイヤ内予測部161と、レイヤ間予測部162と、予測調整部163と、選択部164と、エンコード機能部165を有している。
【0042】
レイヤ内予測部161は、符号化対象の画像データV1に対して、この画像データV1内での予測(レイヤ内予測)を行って予測残差データを得る。レイヤ間予測部162は、符号化対象の画像データV1に対して、参照対象の画像データV2との間での予測(レイヤ間予測)を行って予測残差データを得る。
【0043】
予測調整部163は、レイヤ間予測部162におけるレイヤ間予測を効率よく行うために、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じて、例えば、以下の処理を行う。ダイナミックレンジ拡張の場合は、SDRからHDRに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、他のレイヤのブロックを所定のサイズにスケーリング処理を施したものを対象とする。フレームレート拡張の場合は、バイパスするか、または、参照、被参照データに係数を乗ずるなどする。
【0044】
例えば、エンコード部106-1の場合、画像データV1は高品質フォーマット画像データVh1´(UHD&SDR&LFR画像データ)であり、画像データV2は基本フォーマット画像データVb´(HD&SDR&LFR画像データ)であり、スケーラブル拡張のタイプは空間スケーラブル拡張に当たる。そのため、予測調整部163では、ブロックのスケーリング処理が行われる。
【0045】
また、例えば、エンコード部106-2の場合、画像データV1は高品質フォーマット画像データVh2´(UHD&HDR&LFR画像データ)であり、画像データV2は高品質フォーマット画像データVh1´(UHD&SDR&LFR画像データ)であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部163では、画像データV1´に対してSDRからHDRに変換するためのレベル調整が行われる。なお、レベル調整は、ダイナミックレンジ変換部153から供給される情報を元に行われてもよい。
【0046】
また、例えば、エンコード部106-3の場合、画像データV1は高品質フォーマット画像データVh3´(UHD&HDR&HFR画像データ)であり、画像データV2は高品質フォーマット画像データVh2´(UHD&HDR&LFR画像データ)であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部163では、画像データVh2´がそのままバイパスされるか、または、参照、被参照データに係数を乗ずるなどされる。
【0047】
選択部164は、符号化ブロック毎に、レイヤ内予測部161で得られる予測残差データ、またはレイヤ間予測部162で得られる予測残差データを選択的に取り出し、エンコード機能部165に送る。この場合、選択部164では、例えば、予測残差の小さい方が取り出される。エンコード機能部165は、選択部164から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データCVを得る。
【0048】
図2に戻って、ビデオエンコーダ106は、基本ストリーム(基本レイヤのストリーム)Cbのアクセスユニットに、デコード順(エンコード順)を示す情報を付加する。具体的には、基本ストリームCbのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタ(AUD:Access Unit Delimiter)のNALユニットに、デコード順を示す情報を持たせる。
【0049】
また、ビデオエンコーダ106は、拡張ストリーム(拡張レイヤのストリーム)Ch1,Ch2,CH3のアクセスユニットに、デコード順(エンコード順)を示す情報を付加する。具体的には、拡張ストリームCh1,Ch2,CH3のアクセスユニットの先頭に、デコード順(エンコード順)を示す情報を持つ、新規定義する拡張・アクセス・ユニット・デリミタ(EAUD:Extension Access Unit Delimiter)のNALユニットを配置する。
【0050】
図5(a)は、基本レイヤのアクセスユニット(Base layer Access Unit)と、それに対応する拡張レイヤのアクセスユニット(Enhanced layer Access Unit)のペアでグローバル・アクセスユニット(Global Access Unit)が構成されることを示している。ここで、基本レイヤのアクセスユニットの1個に対して、所定個、例えば拡張レイヤ数と同じ個数の拡張レイヤのアクセスユニットが存在する。
【0051】
図5(b)は、基本レイヤのアクセスユニットの1個に対して、1個の拡張レイヤのアクセスユニットが存在する場合を示している。図5(c)は、基本レイヤのアクセスユニットの1個に対して、2個の拡張レイヤのアクセスユニットが存在する場合を示している。図示のように、基本レイヤのアクセスユニットの先頭にAUDのNALユニットが配置され、拡張レイヤのアクセスユニットの先頭にEAUDのNALユニットが配置される。
【0052】
図6(a)は、EAUDのNALユニットおよびデコード順を示す情報を持つAUDのNALユニットの構造例(Syntax)を示し、図6(b)は、NALユニットヘッダの構造例(Syntax)を示し、図6(c)は、それらの構造例における主要なパラメータの内容(Semantics)を示している。
【0053】
図6(a)に示すように、EAUDのNALユニットおよびデコード順を示す情報を持つAUDのNALユニットは、NALユニットヘッダ(nal_unit_header())と、ペイロード情報としての「au_decoding_order」の8ビットフィールドからなっている。ここで、「NumBytesInNalUnit」は、NALユニットヘッダ(nal_unit_header())のバイト数(Byte length)+1の値を示す。
【0054】
「au_decoding_order」のフィールドは、アクセスユニットのデコード順を昇順で示す。「forbidden_zero_bit」の1ビットフィールドは、0が必須である。「nal_unit_type」の6ビットフィールドは、NALユニットタイプ(NAL unit type)を示す。AUDのNALユニットのNALユニットタイプの値は“35”と定義されている。EAUDのNALユニットのNALユニットタイプの値は、現状で未使用の新規の値で定義する。
【0055】
「nuh_layer_id」の6ビットフィールドは、拡張レイヤの“id”を示す。「nuh_temporal_id_plus1」の3ビットフィールドは、temporal_id(0〜6)を示し、1を加えた値(1〜7)を取る。この実施の形態においては、これら2つのフィールドの情報で基本ストリームCb、拡張ストリームCh1,Ch2,CH3の各ストリームの識別が可能とされる。
【0056】
例えば、基本ストリームCbに関しては、「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“1”とされ、基本ストリームCbであることが識別可能とされる。また、拡張ストリームCh1に関しては、「nuh_layer_id」は“1”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh1であることが識別可能とされる。
【0057】
また、拡張ストリームCh2に関しては、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh2であることが識別可能とされる。また、拡張ストリームCh3に関しては、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“7”とされ、拡張ストリームCh3であることが識別可能とされる。
【0058】
図7は、基本ストリームCb、拡張ストリームCh1,Ch2,CH3の構成例を示している。横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
【0059】
基本ストリームCbは、「0」、「4」、・・・のピクチャのアクセスユニット(符号化画像データ)で構成される。拡張ストリームCh1は、基本ストリームCbの各ピクチャと同じ位置の「1」、「5」、・・・のピクチャのアクセスユニット(符号化画像データ)で構成される。拡張ストリームCh2は、拡張ストリームCh1の各ピクチャと同じ位置の「2」、「6」、・・・のピクチャのアクセスユニット(符号化画像データ)で構成される。拡張ストリームCh3は、拡張ストリームCh2の各ピクチャの間に位置する「3」、「7」、・・・のピクチャのアクセスユニット(符号化画像データ)で構成される。
【0060】
図2に戻って、システムエンコーダ107は、ビデオエンコーダ106で生成された基本ストリームCb、拡張ストリームCh1,Ch2,CH3の各ストリームを用いて、ビデオストリームを生成し、PESパケット化およびTSパケット化を行って、トランスポートストリームTSを生成する。送信部108は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
【0061】
ここで、2ストリーム構成の場合、システムエンコーダ107は、基本ストリームCbのアクセスユニット(符号化画像データ)を含む基本ビデオストリームと、拡張ストリームCh1,Ch2,CH3のアクセスユニット(符号化画像データ)を含む拡張ビデオストリームを生成する。つまり、この場合、トランスポートストリームTSは、基本ビデオストリームと拡張ビデオストリームの2本のビデオストリームを有するものとなる。
【0062】
また、1ストリーム構成の場合、システムエンコーダ107は、基本ストリームCb、拡張ストリームCh1,Ch2,CH3のアクセスユニット(符号化画像データ)を含むビデオストリームを生成する。つまり、この場合、トランスポートストリームTSは、1本のビデオストリームを有するものとなる。
【0063】
[トランスポートストリームTSの構成]
図8は、2ストリーム構成の場合におけるトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
【0064】
基本ビデオストリームSTbのパケット識別子(PID)は例えばPID1とされている。この基本ビデオストリームSTbには、基本ストリームCbのアクセスユニット(符号化画像データ)が含まれている。このアクセスユニットには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。このNALユニットのヘッダにおいて、「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“1”とされ、基本ストリームCbに係るアクセスユニットであることが示される。
【0065】
また、拡張ビデオストリームSTeのパケット識別子(PID)は例えばPID2とされている。この拡張ビデオストリームSTeには、拡張ストリームCh1,Ch2,CH3のアクセスユニット(符号化画像データ)が含まれている。このアクセスユニットには、EAUD、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。拡張ストリームCh1のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“1”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh1に係るアクセスユニットであることが示される。
【0066】
また、拡張ストリームCh2のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh2に係るアクセスユニットであることが示される。また、拡張ストリームCh3のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“7”とされ、拡張ストリームCh3に係るアクセスユニットであることが示される。
【0067】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0068】
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームに対応して2つのビデオエレメンタリストリームループ(video ES loop)が存在する。
【0069】
基本ビデオストリームSTbに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置される。また、拡張ビデオストリームSTeに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST1)、パケット識別子(PID2)等の情報が配置されると共に、この拡張ビデオストリームSTeに関連する情報を記述するデスクリプタも配置される。
【0070】
図9は、1ストリーム構成の場合におけるトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、1本のビデオストリームSTが含まれている。この構成例では、このビデオストリームSTのPESパケット「video PES」が存在する。
【0071】
このビデオストリームSTのパケット識別子(PID)は例えばPID1とされている。このビデオストリームSTには、基本ストリームCbのアクセスユニット(符号化画像データ)が含まれていると共に、拡張ストリームCh1,Ch2,CH3のアクセスユニット(符号化画像データ)が含まれている。
【0072】
基本ストリームの各ピクチャのアクセスユニットには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“1”とされ、基本ストリームCbに係るアクセスユニットであることが示される。このNALユニットのヘッダにおいて、「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“1”とされ、基本ストリームCbに係るアクセスユニットであることが示される。
【0073】
また、拡張ストリームCh1,Ch2,CH3のアクセスユニットには、EAUD、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。拡張ストリームCh1のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“1”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh1に係るアクセスユニットであることが示される。
【0074】
また、拡張ストリームCh2のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“1”とされ、拡張ストリームCh2に係るアクセスユニットであることが示される。また、拡張ストリームCh3のアクセスユニットのこのNALユニットのヘッダにおいて、「nuh_layer_id」は“2”とされ、「nuh_temporal_id_plus1」は“7”とされ、拡張ストリームCh3に係るアクセスユニットであることが示される。
【0075】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0076】
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、1本のビデオストリームSTに対応して1つのビデオエレメンタリストリームループ(video ES loop)が存在する。このビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置されると共に、このビデオストリームSTに関連する情報を記述するデスクリプタも配置される。
【0077】
図2に示す送信装置100の動作を簡単に説明する。基本フォーマット画像データ(HD&SDR&LFR画像データ)Vbは、SDR光電変換部102に供給される。このSDR光電変換部102では、基本フォーマット画像データVbに対して、SDR画像用の光電変換特性(SDR OETFカーブ)が適用されて、伝送用の基本フォーマット画像データVb´が得られる。この基本フォーマット画像データVb´は、ビデオエンコーダ106のエンコード部106-0に供給される。
【0078】
また、高品質フォーマット画像データ(UHD&SDR&LFR画像データ)Vh1は、SDR光電変換部103に供給される。このSDR光電変換部103では、高品質フォーマット画像データVh1に対して、SDR画像用の光電変換特性(SDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh1´が得られる。この高品質フォーマット画像データVh1´は、ビデオエンコーダ106のエンコード部106-1に供給される。
【0079】
また、高品質フォーマット画像データ(UHD&HDR&LFR画像データ)Vh2は、HDR光電変換部104に供給される。このHDR光電変換部104では、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh2´が得られる。この高品質フォーマット画像データVh2´は、ビデオエンコーダ106のエンコード部106-2に供給される。
【0080】
また、高品質フォーマット画像データ(UHD&HDR&HFR画像データ)Vh3は、HDR光電変換部105に供給される。このHDR光電変換部105では、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh3´が得られる。この高品質フォーマット画像データVh3´は、ビデオエンコーダ106のエンコード部106-3に供給される。
【0081】
ビデオエンコーダ106では、基本フォーマット画像データVb´、高品質フォーマット画像データVh1´,Vh2´,Vh3´のそれぞれに対して符号化処理が施されて、基本ストリーム(基本レイヤのストリーム)Cb、拡張ストリーム(拡張レイヤのストリーム)Ch1,Ch2,Ch3が生成される。すなわち、エンコード部106-0では、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、基本ストリームCbが得られる。
【0082】
また、エンコード部106-1では、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、拡張ストリームCh1が得られる。また、エンコード部106-2では、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、拡張ストリームCh2が得られる。さらに、エンコード部106-3では、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、拡張ストリームCh3が得られる。
【0083】
ビデオエンコーダ106では、基本ストリームCbのアクセスユニットの先頭に配置されたAUDのNALユニットに、デコード順(エンコード順)を示す情報を持たせることが行われる。また、ビデオエンコーダ106では、拡張ストリームCh1,Ch2,CH3のアクセスユニットの先頭に、デコード順(エンコード順)を示す情報を持つ、新規定義するEAUDのNALユニットが配置される。
【0084】
ビデオエンコーダ106で得られる基本ストリームCb、拡張ストリームCh1,Ch2,CH3の各ストリームは、システムエンコーダ107に供給される。システムエンコーダ107では、各ストリームを用いて、ビデオストリームが生成され、PESパケット化およびTSパケット化が行われて、トランスポートストリームTSが生成される。
【0085】
ここで、2ストリーム構成の場合、基本ストリームCbのアクセスユニットを含む基本ビデオストリームと拡張ストリームCh1,Ch2,CH3のアクセスユニットを含む2本のビデオストリームが生成される。また、1ストリーム構成の場合、基本ストリームCb、拡張ストリームCh1,Ch2,CH3のアクセスユニットを含む1本のビデオストリームが生成される。トランスポートストリームTSは、送信部108に送られる。送信部108では、このトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
【0086】
「受信装置の構成」
図10は、受信装置200の構成例を示している。この受信装置200は、図2の送信装置100の構成例に対応したものである。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、圧縮データバッファ(cpb)204と、ビデオデコーダ205と、SDR電光変換部206,207と、HDR電光変換部208、209と、表示部(表示デバイス)210と、NALユニット解析部211を有している。
【0087】
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSからビデオストリームを抽出する。
【0088】
2ストリーム構成の場合(図8参照)、基本ストリームCbを含む基本ビデオストリームと、拡張ストリームCh1,Ch2,CH3を含む拡張ビデオストリームの2本のビデオストリームを抽出する。また、1ストリーム構成の場合(図9参照)、基本ストリームCb、拡張ストリームCh1,Ch2,CH3を含む1本のビデオストリームを抽出する。
【0089】
圧縮データバッファ204は、システムデコーダ203で抽出されて送られてきた基本ストリームCb、拡張ストリームCh1,Ch2,CH3のアクセスユニットを順に蓄積する。NALユニット解析部211は、圧縮データバッファ204に蓄積された各アクセスユニットのNALユニットを解析する。NALユニット解析部211は、各アクセスユニットの先頭に配置されたAUD,EAUDのNALユニットの「au_decoding_order」のフィールドのデコード順を示す情報から、各アクセスユニットのデコード順を把握する。
【0090】
また、NALユニット解析部211は、各アクセスユニットのNALユニットヘッダのnuh_layer_id」のフィールドおよび「nuh_temporal_id_plus1」のフィールドの情報から、各アクセスユニットが基本ストリームCb、拡張ストリームCh1,Ch2,CH3のいずれのストリームに係るアクセスユニットであるかを把握する。
【0091】
圧縮データバッファ204は、上述したようにシステムデコーダ203で抽出されて送られてきて順に蓄積された各アクセスユニットの順を、NALユニット解析部211で把握される各アクセスユニットのデコード順に基づいて、デコード順となっていない箇所に関しては、デコード順となるように変更する。
【0092】
図11(a)は、システムデコーダ203で抽出されて圧縮データバッファ204に送られるアクセスユニット列の一例を示している。なお、「Dc_order」は、デコード順を示す昇順の値である。第2番目に受信されたアクセスユニットと、第3番目に受信されたアクセスユニットの順は、デコード順とはなっていない。また、第5番目から第7番目に受信されたアクセスユニットの順は、デコード順とはなっていない。そこで、圧縮データバッファ204は、NALユニット解析部211で把握される各アクセスユニットのデコード順に基づいて、図11(b)に示すように、デコード順となっていない箇所に関しては、デコード順となるように変更する。
【0093】
ビデオデコーダ205は、4つのデコード部205-0,205-1,205-2,205-3を有する。ビデオデコーダ205は、圧縮データバッファ204に蓄積された各アクセスユニットに対して、デコード順に、復号化処理をする。デコード部205-0は、基本ストリームCbのアクセスユニットに復号化処理を行って、基本フォーマット画像データVb´を生成する。この場合、デコード部205-0は、画像データVb´内で予測補償を行う。
【0094】
デコード部205-1は、拡張ストリームCh1のアクセスユニットに復号化処理を行って、高品質フォーマット画像データVh1´を生成する。この場合、デコード部205-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh1´内の予測補償、または画像データVb´との間の予測補償を、行う。
【0095】
デコード部205-2は、拡張ストリームCh2のアクセスユニットに復号化処理を行って、高品質フォーマット画像データVh2´を生成する。この場合、デコード部205-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh2´内の予測補償、または画像データVh1´との間の予測補償を、行う。
【0096】
デコード部205-3は、拡張ストリームCh3のアクセスユニットに復号化処理を行って、高品質フォーマット画像データVh3´を生成する。この場合、デコード部205-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh3´内の予測補償、または画像データVh2´との間の予測補償を、行う。
【0097】
図12は、デコード部250の主要部の構成例を示している。このデコード部250は、デコード部205-1,205-2,205-3に適用し得るものである。このデコード部250は、図4のエンコード部165の処理とは逆の処理を行う。このデコード部250は、デコード機能部251と、レイヤ内予測補償部252と、レイヤ間予測補償部253と、予測調整部254と、選択部255と、を有している。
【0098】
デコード機能部251は、符号化画像データCVに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部252は、予測残差データに対して、画像データV1内での予測補償(レイヤ内予測補償)を行って、画像データV1を得る。レイヤ間予測補償部253は、予測残差データに対して、参照対象の画像データV2との間での予測補償(レイヤ間予測補償)を行って、画像データV1を得る。
【0099】
予測調整部254は、詳細説明は省略するが、図4のエンコード部160の予測調整部163と同様に、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じた処理を行う。選択部255は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部252で得られる画像データV1、またはレイヤ間予測補償部253で得られる画像データV1を選択的に取り出して、出力とする。
【0100】
図10に戻って、SDR電光変換部206は、デコード部205-0で得られる基本フォーマット画像データVb´に、上述した送信装置100におけるSDR光電変換部102とは逆特性の電光変換を施し、基本フォーマット画像データVbを得る。この基本フォーマット画像データVbは、解像度がHD、ダイナミックレンジがSDR、フレームレートがLFRである画像データ(HD&SDR&LFR画像データ)である。
【0101】
また、SDR電光変換部207は、デコード部205-1で得られる高品質フォーマット画像データVh1´に、上述した送信装置100におけるSDR光電変換部103とは逆特性の電光変換を施し、高品質フォーマット画像データVh1を得る。この高品質フォーマット画像データVh1は、解像度がUHD、ダイナミックレンジがSDR、フレームレートがLFRである画像データ(UHD&SDR&LFR画像データ)である。
【0102】
また、HDR電光変換部208は、デコード部205-2で得られる高品質フォーマット画像データVh2´に、上述した送信装置100におけるHDR光電変換部104とは逆特性の電光変換を施し、高品質フォーマット画像データVh2を得る。この高品質フォーマット画像データVh2は、解像度がUHD、ダイナミックレンジがHDR、フレームレートがLFRである画像データ(UHD&HDR&LFR画像データ)である。
【0103】
また、HDR電光変換部209は、デコード部205-3で得られる高品質フォーマット画像データVh3´に、上述した送信装置100におけるHDR光電変換部105とは逆特性の電光変換を施し、高品質フォーマット画像データVh3を得る。この高品質フォーマット画像データVh3は、解像度がUHD、ダイナミックレンジがHDR、フレームレートがHFRである画像データ(UHD&HDR&HFR画像データ)である。
【0104】
表示部210は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。表示部210は、表示能力に応じて、基本フォーマット画像データVb、高品質フォーマット画像データVh1,Vh2,Vh3のいずれかによる画像を表示する。
【0105】
図10に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSからビデオストリームが抽出される。
【0106】
2ストリーム構成の場合(図8参照)、基本ストリームCbを含む基本ビデオストリームと、拡張ストリームCh1,Ch2,CH3を含む拡張ビデオストリームの2本のビデオストリームが抽出される。また、1ストリーム構成の場合(図9参照)、基本ストリームCb、拡張ストリームCh1,Ch2,CH3を含む1本のビデオストリームが抽出される。
【0107】
システムデコーダ203で抽出された基本ストリームCb、拡張ストリームCh1,Ch2,CH3のアクセスユニットは圧縮データバッファ204に送られて、順に蓄積される。NALユニット解析部211では、圧縮データバッファ204に蓄積された各アクセスユニットのNALユニットが解析される。
【0108】
NALユニット解析部211では、各アクセスユニットの先頭に配置されたAUD,EAUDのNALユニットの「au_decoding_order」のフィールドのデコード順を示す情報から、各アクセスユニットのデコード順が把握される。また、NALユニット解析部211では、各アクセスユニットのNALユニットヘッダのnuh_layer_id」のフィールドおよび「nuh_temporal_id_plus1」のフィールドの情報から、各アクセスユニットが基本ストリームCb、拡張ストリームCh1,Ch2,CH3のいずれのストリームに係るアクセスユニットであるかが把握される。
【0109】
圧縮データバッファ204では、上述したようにシステムデコーダ203で抽出されて送られてきて順に蓄積された各アクセスユニットの順が、NALユニット解析部211で把握される各アクセスユニットのデコード順に基づいて、デコード順となっていない箇所に関しては、デコード順となるように変更される(図11(a),(b)参照)。
【0110】
圧縮データバッファ204に蓄積された各アクセスユニットは、デコード順に、ビデオデコーダ205に供給されて、復号化処理が施される。この場合、基本ストリームCbのアクセスユニットはデコード部205-0に供給されて復号化処理が施され、基本フォーマット画像データVb´が生成される。この場合、デコード部205-0では、画像データVb´内で予測補償が行われる。
【0111】
また、拡張ストリームCh1のアクセスユニットはデコード部205-1に供給されて復号化処理が施され、高品質フォーマット画像データVh1´が生成される。この場合、デコード部205-1では、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh1´内の予測補償、または画像データVb´との間の予測補償が、行われる。
【0112】
また、拡張ストリームCh2のアクセスユニットはデコード部205-2に供給されて復号化処理が施され、高品質フォーマット画像データVh2´が生成される。この場合、デコード部205-2では、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh2´内の予測補償、または画像データVh1´との間の予測補償が、行われる。
【0113】
また、拡張ストリームCh3のアクセスユニットはデコード部205-3に供給されて復号化処理が施され、高品質フォーマット画像データVh3´が生成される。この場合、デコード部205-3では、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh3´内の予測補償、または画像データVh2´との間の予測補償が、行われる。
【0114】
ビデオデコーダ205のデコード部205-0で生成される基本フォーマット画像データVb´は、SDR電光変換部206で電光変換が施されて、基本フォーマット画像データ(HD&SDR&LFR画像データ)Vbが得られる。また、ビデオデコーダ205のデコード部205-1で生成される高品質フォーマット画像データVh1´は、SDR電光変換部207で電光変換が施されて、高品質フォーマット画像データ(UHD&SDR&LFR画像データ)Vh1が得られる。
【0115】
また、ビデオデコーダ205のデコード部205-2で生成される高品質フォーマット画像データVh2´は、HDR電光変換部208で電光変換が施されて、高品質フォーマット画像データ(UHD&HDR&LFR画像データ)Vh2が得られる。また、ビデオデコーダ205のデコード部205-3で生成される高品質フォーマット画像データVh3´は、HDR電光変換部209で電光変換が施されて、高品質フォーマット画像データ(UHD&HDR&HFR画像データ)Vh3が得られる。
【0116】
表示部210には、基本フォーマット画像データVb、高品質フォーマット画像データVh1,Vh2,Vh3のいずれかが表示能力に応じて選択的に供給され、画像の表示が行われる。ここで、表示部210が、解像度がHD、ダイナミックレンジがSDR、フレームレートがLFRの画像表示能力がある場合には、SDR電光変換部206で得られる基本フォーマット画像データ(HD&SDR&LFR画像データ)Vbが表示部210に供給される。この場合、ビデオデコーダ205では、基本ストリームCbのアクセスユニットに復号化処理を施すことで足りる。
【0117】
また、表示部210が、解像度がUHD、ダイナミックレンジがSDR、フレームレートがLFRの画像表示能力がある場合には、SDR電光変換部207で得られる高品質フォーマット画像データ(UHD&SDR&LFR画像データ)Vh1が表示部210に供給される。この場合、ビデオデコーダ205では、基本ストリームCb、拡張ストリームCh1のアクセスユニットに復号化処理を施すことで足りる。
【0118】
また、表示部210が、解像度がUHD、ダイナミックレンジがHDR、フレームレートがLFRの画像表示能力がある場合には、HDR電光変換部208で得られる高品質フォーマット画像データ(UHD&HDR&LFR画像データ)Vh2が表示部210に供給される。この場合、ビデオデコーダ205では、基本ストリームCb、拡張ストリームCh1,Ch2のアクセスユニットに復号化処理を施すことで足りる。
【0119】
また、表示部210が、解像度がUHD、ダイナミックレンジがHDR、フレームレートがHFRの画像表示能力がある場合には、HDR電光変換部209で得られる高品質フォーマット画像データ(UHD&HDR&HFR画像データ)Vh3が表示部210に供給される。この場合、ビデオデコーダ205では、基本ストリームCb、拡張ストリームCh1,Ch2,Ch3の全てに復号化処理を施すことが必要となる。
【0120】
以上説明したように、図1に示す送受信システム10において、送信装置100では、基本ストリーム、拡張ストリームのアクセスユニットにデコード順を示す情報が付加されるものである。そのため、受信側では、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで容易に正しい順番で行うことができ、受信側におけるストリームのパケットの受信がデコード順でない場合にあっても復号化処理が滞るということを回避可能となる。
【0121】
<2.変形例>
なお、上述実施の形態においては、基本ストリームCb、拡張ストリームCh1,Ch2,Ch3のアクセスユニットにデコード順を示す情報を付加する例を示した。しかし、拡張ストリームのアクセスユニットにのみデコード順を示す情報を付加することも考えられる。この場合、受信側では、拡張ストリームのアクセスユニットの復号化処理を、基本ストリームデコード後の拡張ストリームのデコード順を示す情報を参照することで容易に正しい順番で行うことができ、受信側における拡張ストリームのパケットの受信がデコード順でない場合にあっても復号化処理が滞るということを回避可能となる。
【0122】
また、上述実施の形態においては、送信装置100と受信装置200とからなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからEDID(Extended display identification data)を取得する等して表示能力情報を得ることができる。なお、「HDMI」は、登録商標である。
【0123】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)あるいはMMT(MPEG Media Transport)、インターネット配信で使用されているISOBMFF(MP4)などの種々のフォーマットのコンテナが該当する。
【0124】
また、本技術は、以下のような構成を取ることもできる。
(1)基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信装置。
(2)上記符号化画像データはNALユニット構造を有し、
上記画像符号化部は、上記拡張ストリームのアクセスユニットの先頭に上記デコード順を示す情報を持つ拡張アクセス・ユニット・デリミタのNALユニットを配置する
前記(1)に記載の送信装置。
(3)上記画像符号化部は、さらに、上記基本ストリームのアクセスユニットにデコード順を示す情報を付加する
前記(1)または(2)に記載の送信装置。
(4)上記符号化画像データはNALユニット構造を有し、
上記画像符号化部は、上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのNALユニットに上記デコード順を示す情報を持たせる
前記(3)に記載の送信装置。
(5)基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信方法。
(6)基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信装置。
(7)上記基本ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記基本ストリームのアクセスユニットおよび上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
前記(6)
(8)受信部により、基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理ステップを有し、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理ステップでは、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信方法。
【0125】
本技術の主な特徴は、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを、各アクセスユニットにデコード順を示す情報を付加して送信することで、受信側において、拡張ストリームの各アクセスユニットの復号化処理を、デコード順を示す情報を参照して容易に正しい順番で行い得るようにしたことである(図5図6参照)。
【0126】
10・・・送受信システム
100・・・送信装置
101・・・制御部
102,103・・・SDR光電変換部
104,105・・・HDR光電変換部
106・・・ビデオエンコーダ
106-0,106-1,106-2,106-3・・・エンコード部
107・・・システムエンコーダ
108・・・送信部
150・・・画像データ生成部
151・・・カメラ
152・・・フレームレート変換部
153・・・ダイナミックレンジ変換部
154・・・解像度変換部
160・・・エンコード部
161・・・レイヤ内予測部
162・・・レイヤ間予測部
163・・・予測調整部
164・・・選択部
165・・・エンコード機能部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・圧縮データバッファ
205・・・ビデオデコーダ
205-0,205-1,205-2,205-3・・・デコード部
206,207・・・SDR電光変換部
208,209・・・HDR電光変換部
210・・・表示部
211・・・NALユニット解析部
250・・・デコード部
251・・・デコード機能部
252・・・レイヤ内予測補償部
253・・・レイヤ間予測補償部
254・・・予測調整部
255・・・選択部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12