IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7367806送信装置、送信方法、受信装置および受信方法
<>
  • 特許-送信装置、送信方法、受信装置および受信方法 図1
  • 特許-送信装置、送信方法、受信装置および受信方法 図2
  • 特許-送信装置、送信方法、受信装置および受信方法 図3
  • 特許-送信装置、送信方法、受信装置および受信方法 図4
  • 特許-送信装置、送信方法、受信装置および受信方法 図5
  • 特許-送信装置、送信方法、受信装置および受信方法 図6
  • 特許-送信装置、送信方法、受信装置および受信方法 図7
  • 特許-送信装置、送信方法、受信装置および受信方法 図8
  • 特許-送信装置、送信方法、受信装置および受信方法 図9
  • 特許-送信装置、送信方法、受信装置および受信方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
   H04N 21/2362 20110101AFI20231017BHJP
   H04N 21/2343 20110101ALI20231017BHJP
   H04N 21/431 20110101ALI20231017BHJP
   H04N 21/434 20110101ALI20231017BHJP
   H04N 19/30 20140101ALI20231017BHJP
   H04N 19/70 20140101ALI20231017BHJP
   H04N 23/60 20230101ALI20231017BHJP
【FI】
H04N21/2362
H04N21/2343
H04N21/431
H04N21/434
H04N19/30
H04N19/70
H04N23/60 300
H04N23/60 500
【請求項の数】 18
(21)【出願番号】P 2022096088
(22)【出願日】2022-06-14
(62)【分割の表示】P 2020089714の分割
【原出願日】2015-12-28
(65)【公開番号】P2022118104
(43)【公開日】2022-08-12
【審査請求日】2022-06-24
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】川中 龍太
(56)【参考文献】
【文献】国際公開第2015/190246(WO,A1)
【文献】国際公開第2015/072754(WO,A1)
【文献】国際公開第2015/125719(WO,A1)
【文献】国際公開第2015/118909(WO,A1)
【文献】国際公開第2015/034188(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
H04N 19/00 - 19/98
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを取得し、
前記ハイダイナミックレンジ伝送ビデオデータに符号化を行って、符号化されたハイダイナミックレンジ伝送ビデオデータを含むビデオストリームを出力し、
前記ビデオストリームのSEIの領域およびVUIの領域に変換特性メタ情報を挿入し、
前記ビデオストリームにピーク輝度情報を挿入し、
前記ビデオストリームを送信する、
回路を備え、
前記ハイダイナミックレンジ伝送ビデオデータの表示輝度は、前記ピーク輝度情報に基づいて調整され、前記ハイダイナミックレンジ伝送ビデオデータの電光変換は、前記SEIの領域および前記VUIの領域に前記変換特性メタ情報が挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて行われ
前記回路は、さらに、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って通常ダイナミックレンジ伝送ビデオデータを取得し、
前記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームを取得し、
前記ハイダイナミックレンジ伝送ビデオデータに前記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って、前記符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを取得し、
前記拡張ビデオストリームのSEIの領域に前記変換特性メタ情報を挿入し、
前記基本ビデオストリームのVUIの領域に、通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入す
送信装置。
【請求項2】
前記回路は、さらに、
前記拡張ビデオストリームのSEIの領域に、前記変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する
請求項1に記載の送信装置。
【請求項3】
前記表示制御のためのメタ情報は、前記ピーク輝度情報を含む
請求項に記載の送信装置。
【請求項4】
前記表示制御のためのメタ情報は、輝度変換が許容される領域を示す領域情報を含む
請求項に記載の送信装置。
【請求項5】
前記変換特性メタ情報で示される変換特性は、光電変換特性および電光変換特性のうちの少なくとも1つである
請求項1に記載の送信装置。
【請求項6】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを取得し、
前記ハイダイナミックレンジ伝送ビデオデータに符号化を行って、符号化されたハイダイナミックレンジ伝送ビデオデータを含むビデオストリームを出力し、
前記ビデオストリームのSEIの領域およびVUIの領域に変換特性メタ情報を挿入し、
前記ビデオストリームにピーク輝度情報を挿入し、
前記ビデオストリームを送信し、
前記ハイダイナミックレンジ伝送ビデオデータの表示輝度は、前記ピーク輝度情報に基づいて調整され、前記ハイダイナミックレンジ伝送ビデオデータの電光変換は、前記SEIの領域および前記VUIの領域に前記変換特性メタ情報が挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて行われ
さらに、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って通常ダイナミックレンジ伝送ビデオデータを取得し、
前記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームを取得し、
前記通常ダイナミックレンジ伝送ビデオデータを用いて前記ハイダイナミックレンジ伝送ビデオデータに予測符号化を行って、前記符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを取得し、
前記拡張ビデオストリームのSEIの領域に前記変換特性メタ情報を挿入し、
前記基本ビデオストリームのVUIの領域に、通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入す
送信方法。
【請求項7】
前記変換特性メタ情報で示される変換特性は、光電変換特性および電光変換特性のうちの少なくとも1つである
請求項に記載の送信方法。
【請求項8】
ビデオストリームを受信し、
前記ビデオストリームを復号化してハイダイナミックレンジ伝送ビデオデータを取得し、
前記ビデオストリームは変換特性メタ情報およびピーク輝度情報を含み、
前記変換特性メタ情報は前記ビデオストリームのSEIの領域およびVUIの領域に挿入されており、
前記変換特性メタ情報が前記SEIの領域および前記VUIの領域に挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータにハイダイナミックレンジ電光変換を行って表示用ビデオデータを取得し、
前記ビデオストリームに含まれている前記ピーク輝度情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータまたは前記表示用ビデオデータに表示輝度調整をする、
回路を備え
前記ビデオストリームは、通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームと、前記ハイダイナミックレンジ伝送ビデオデータに前記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた、符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを含み、
前記回路は、さらに、前記基本ビデオストリームを復号化して前記通常ダイナミックレンジ伝送ビデオデータを取得し、前記拡張ビデオストリームを復号化して前記ハイダイナミックレンジ伝送ビデオデータを取得し、
前記変換特性メタ情報は、前記拡張ビデオストリームのSEIの領域に含まれてい
受信装置。
【請求項9】
前記表示用ビデオデータに対応する画像を表示する表示装置をさらに備える
請求項に記載の受信装置。
【請求項10】
前記ピーク輝度情報は、前記拡張ビデオストリームのSEIの領域に含まれている
請求項に記載の受信装置。
【請求項11】
前記回路は、さらに、前記拡張ビデオストリームの前記SEIの領域から、輝度変換が許容される領域を示す領域情報を取得し、前記領域情報に基づいて、輝度変換が許容されている領域で前記表示輝度調整を行う
請求項10に記載の受信装置。
【請求項12】
前記ハイダイナミックレンジ電光変換および前記表示輝度調整は、順次または同時に行われる
請求項に記載の受信装置。
【請求項13】
前記変換特性メタ情報で示される変換特性は、光電変換特性および電光変換特性のうちの少なくとも1つである
請求項に記載の受信装置。
【請求項14】
ビデオストリームを受信し、
前記ビデオストリームを復号化してハイダイナミックレンジ伝送ビデオデータを取得し、
前記ビデオストリームは変換特性メタ情報およびピーク輝度情報を含み、
前記変換特性メタ情報は前記ビデオストリームのSEIの領域およびVUIの領域に挿入されており、
前記変換特性メタ情報が前記SEIの領域および前記VUIの領域に挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータにハイダイナミックレンジ電光変換を行って表示用ビデオデータを取得し、
前記ビデオストリームに含まれている前記ピーク輝度情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータまたは前記表示用ビデオデータに表示輝度調整をし、
前記ビデオストリームは、通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームと、前記通常ダイナミックレンジ伝送ビデオデータを用いて前記ハイダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを含み、
さらに、前記基本ビデオストリームを復号化して前記通常ダイナミックレンジ伝送ビデオデータを取得し、前記拡張ビデオストリームを復号化して前記ハイダイナミックレンジ伝送ビデオデータを取得し、
前記変換特性メタ情報は、前記拡張ビデオストリームのSEIの領域に含まれてい
受信方法。
【請求項15】
表示装置に、前記表示用ビデオデータに対応する画像をさらに表示する
請求項14に記載の受信方法。
【請求項16】
前記ピーク輝度情報は、前記拡張ビデオストリームのSEIの領域に含まれている
請求項14に記載の受信方法。
【請求項17】
さらに、前記拡張ビデオストリームの前記SEIの領域から、輝度変換が許容される領域を示す領域情報を取得し、前記領域情報に基づいて、輝度変換が許容されている領域で前記表示輝度を調整する
請求項14に記載の受信方法。
【請求項18】
前記変換特性メタ情報で示される変換特性は、光電変換特性および電光変換特性のうちの少なくとも1つである
請求項14に記載の受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信する送信装置等に関する。
【背景技術】
【0002】
従来、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信することが考えられている。例えば、非特許文献1には、従来受信機による受信を考慮した、従来の光電変換特性(ガンマ特性)との互換領域を含むハイダイナミックレンジ光電変換特性(新ガンマ特性)についての記載がある。
【先行技術文献】
【非特許文献】
【0003】
【文献】Tim Borer, “Non-Linear Opto-Electrical Transfer Functions for High Dynamic Range Television”, Research & Development White Paper WHP 283, July 2014
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、上述の従来の光電変換特性との互換領域を含むハイダイナミックレンジ光電変換特性を用いて得られた伝送ビデオデータを送信する場合、従来受信機が光電変換特性は従来と同様と判断でき、かつハイダイナミックレンジ対応受信機が光電変換特性はハイダイナミックレンジ光電変換特性と判断できることが必要となる。
【0005】
本技術の目的は、ハイダイナミックレンジ光電変換がされて得られた伝送ビデオデータに対する電光変換の処理をハイダイナミックレンジ対応受信機で適切に行い得るようにすることにある。
【課題を解決するための手段】
【0006】
本技術の概念は、
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換部と、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコード部と、
上記ビデオストリームを送信する送信部と、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入部を備える
送信装置にある。
【0007】
本技術において、光電変換部により、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換が行われてハイダイナミックレンジ伝送ビデオデータが得られる。例えば、ハイダイナミックレンジ光電変換の特性には、STD-B67(ハイブリッドログガンマ)、ST2084(PQカーブ)などの種々の特性が含まれる。エンコード部により、ハイダイナミックレンジ伝送ビデオデータが少なくとも入力され、符号化ビデオデータを含むビデオストリームが出力される。送信部により、ビデオストリームが送信される。情報挿入部により、ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入される。
【0008】

このように本技術においては、ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ変換特性メタ情報を挿入するものである。そのため、ハイダイナミックレンジ対応受信機では、このハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ伝送ビデオデータに対する電光変換の処理を適切に行うことが可能となる。
【0009】
なお、本技術において、例えば、エンコード部は、ハイダイナミックレンジ伝送ビデオデータと共に、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って得られた通常ダイナミックレンジ伝送ビデオデータを入力し、通常ダイナミックレンジ伝送ビデオデータの符号化ビデオデータを含む基本ビデオストリームと、ハイダイナミックレンジ伝送ビデオデータと通常ダイナミックレンジ伝送ビデオデータとの間の差分の符号化ビデオデータを含む拡張ビデオストリームを出力し、情報挿入部は、拡張ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ変換特性メタ情報を挿入し、基本ビデオストリームのSPS NALユニットの領域に通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する、ようにされてもよい。
【0010】
この場合、ハイダイナミックレンジ対応受信機は、基本ビデオストリームと拡張ビデオストリームからハイダイナミックレンジ伝送ビデオデータを得、このハイダイナミックレンジ伝送ビデオデータに拡張ビデオストリームのSEI NALユニットの領域に挿入されているハイダイナミックレンジ変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータを得ることが可能となる。また、通常ダイナミックレンジ対応受信機は、基本ビデオストリームから通常ダイナミックレンジ伝送ビデオビデオデータを得、この通常ダイナミックレンジ伝送ビデオデータに基本ビデオストリームのSPS NALユニットの領域に挿入されている通常ダイナミックレンジ変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータを得ることが可能となる。
【0011】
また、本技術において、例えば、情報挿入部は、SEI NALユニットの領域に、ハイダイナミックレンジ変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する、ようにされてもよい。この場合、例えば、表示制御のためのメタ情報は、ピーク輝度情報を含む、ようにされてもよい。また、例えば、表示制御のためのメタ情報は、輝度変換を許容する領域を示す領域情報をさらに含む、ようにされてもよい。この場合、ハイダイナミックレンジ対応受信機において、この表示制御のためのメタ情報を用いて表示輝度制御を適切に行い得るようになる。
【0012】
また、本技術の他の概念は、
ビデオストリームを受信する受信部と、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコード部を備え、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性を示すメタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換部をさらに備える
受信装置にある。
【0013】
本技術において、受信部により、ビデオストリームが受信される。デコード部により、ビデオストリームにデコード処理が施されてハイダイナミックレンジ伝送ビデオデータが得られる。ビデオストリームのSEI NALユニットの領域に、ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されている。電光変換部により、ハイダイナミックレンジ伝送ビデオデータに、ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換が行われて表示用ビデオデータが得られる。
【0014】
例えば、受信部は、通常ダイナミックレンジ伝送ビデオデータの符号化ビデオデータを含む基本ビデオストリームと、ハイダイナミックレンジ伝送ビデオデータと上記通常ダイナミックレンジ伝送ビデオデータとの間の差分の符号化ビデオデータを含む拡張ビデオストリームを受信し、デコード部は、基本ビデオストリームにデコード処理を施して通常ダイナミックレンジ伝送ビデオデータを得、この通常ダイナミックレンジ伝送ビデオデータを用いて拡張ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得、ハイダイナミックレンジ変換特性メタ情報は、拡張ビデオストリームのSEI NALユニットの領域に挿入されている、ようにされてもよい。
【0015】
このように本技術においては、ビデオストリームのSEI NALユニットの領域に挿入されているハイダイナミックレンジ変換特性メタ情報に基づいてハイダイナミックレンジ伝送ビデオデータに電光変換を行って表示用ビデオデータを得るものである。そのため、ハイダイナミックレンジ伝送ビデオデータに電光変換を適切に行うことができ、表示用ビデオデータとして良好なハイダイナミックレンジビデオデータを得ることが可能となる。
【0016】
なお、本技術において、例えば、SEI NALユニットの領域に、ピーク輝度情報がさらに挿入されており、表示用ビデオデータにピーク輝度情報に基づいて表示輝度調整を行う輝度調整部をさらに備える、ようにされてもよい。このようにピーク輝度情報に基づいて表示輝度調整を行うことで、モニタの表示輝度能力に応じた表示輝度調整を適切に行うことが可能となる。
【0017】
また、この場合、例えば、SEI NALユニットの領域に、輝度変換を許容する領域を示す領域情報がさらに挿入されており、輝度調整部は、輝度変換を許容する領域を示す領域情報に基づいて、輝度変換を許容する領域で表示輝度調整を行う、ようにされてもよい。このように輝度変換を許容する領域で表示輝度調整を行うことで、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
【発明の効果】
【0018】
本技術によれば、ハイダイナミックレンジ光電変換がされて得られた伝送ビデオデータに対する電光変換の処理をハイダイナミックレンジ対応受信機で適切に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0019】
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
図2】送受信システムを構成する送信装置の構成例を示すブロック図である。
図3】SDRビデオデータV1と、HDRビデオデータV2を生成するビデオデータ生成部の構成例を示すブロック図である。
図4】SDRおよびHDRの光電変換特性の一例を示す図である。
図5】ダイナミックレンジ・SEIメッセージの構造例を示す図である。
図6】ダイナミックレンジ・SEIメッセージの構造例における主要な情報の内容を示す図である。
図7】トランスポートストリームTSの構成例を示す図である。
図8】送受信システムを構成するSDR対応(HDR非対応)の従来の受信装置の構成例を示すブロック図である。
図9】送受信システムを構成するHDR対応の受信装置の構成例を示すブロック図である。
図10】HDR表示マッピング部における表示輝度調整の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0021】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200,300により構成されている。受信装置200は、従来の通常ダイナミックレンジ(SDR:Standard Dynamic Range)に対応し、ハイダイナミックレンジ(HDR:High Dynamic Range)に対応していない受信装置である。受信装置300は、HDR対応の受信装置である。
【0022】
送信装置100は、コンテナストリーム(多重化ストリーム)としてのMPEG-2 トランスポートストリーム(以下、単に、「トランスポートストリームTS」と称する)を、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、HEVC、AVC等のビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれる。
【0023】
基本ビデオストリームには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータが含まれる。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれる。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。
【0024】
ビデオストリームに、この実施の形態では拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入される。そして、ビデオストリームに、この実施の形態では基本ビデオストリームのSPS NALユニットの領域にSDR光電変換の特性(BT-709:ガンマ特性)を示すSDR変換特性メタ情報が挿入される。
【0025】
また、ビデオストリームに、この実施の形態では拡張ビデオストリームのSEI NALユニットの領域に、このHDR変換特性メタ情報と共に、表示制御のためのメタ情報が挿入される。この表示制御のためのメタ情報には、ピーク輝度情報や輝度変換を許容する領域を示す領域情報などが含まれる。
【0026】
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したようにビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれている。そして、受信されたビデオストリーム、この実施の形態では、基本ビデオストリームのSPS NALユニットの領域に、SDR変換特性メタ情報が挿入されている。
【0027】
受信装置200は、トランスポートストリームTSから必要とするビデオストリーム、ここでは基本ビデオストリームを抽出し、デコード処理を施してSDR伝送ビデオデータを得、このSDR伝送ビデオデータにSDR変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータとしてのSDRビデオデータを得る。また、受信装置200は、ピーク輝度(100cd/m)、モニタの表示最大輝度などに基づいて、表示用ビデオデータに、表示マッピング処理、つまり表示輝度調整をする。
【0028】
受信装置300は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したようにビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれている。そして、受信されたビデオストリーム、この実施の形態では、拡張ビデオストリームのSEI NALユニットの領域に、HDR変換特性メタ情報が挿入されている。
【0029】
受信装置300は、トランスポートストリームTSから必要とするビデオストリーム、ここでは基本ビデオストリームおよび拡張ビデオストリームの双方を抽出し、デコード処理を施してHDR伝送ビデオデータを得、このHDR伝送ビデオデータにHDR変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータとしてのHDRビデオデータを得る。また、受信装置300は、HDR変換特性メタ情報と共に挿入されている表示制御のためのメタ情報、モニタの表示最大輝度などに基づいて、表示用ビデオデータに、表示マッピング処理、つまり表示輝度調整をする。
【0030】
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、SDRビデオデータV1と、HDRビデオデータV2を取り扱う。このHDRビデオデータV2は、従来のSDR画像の白ピークの明るさを100%とすると、0~100%*N、例えば0~1000%あるいはそれ以上の範囲の輝度をもつ。
【0031】
図3は、SDRビデオデータV1と、HDRビデオデータV2を生成するビデオデータ生成部150の構成例を示している。この画像データ生成部150は、HDRカメラ151と、ダイナミックレンジ変換部153を有している。HDRカメラ151は、被写体を撮像し、HDRビデオデータV2を出力する。ダイナミックレンジ変換部153は、HDRカメラ151から出力されるHDRビデオデータV2に対して、HDRからSDRに変換する処理を行ってSDRビデオデータV1を出力する。
【0032】
図2に戻って、送信装置100は、制御部101と、SDR光電変換部102と、HDR光電変換部103と、ビデオエンコーダ104と、システムエンコーダ105と、送信部106を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
【0033】
SDR光電変換部102は、SDRビデオデータV1に対して、SDR光電変換特性(BT.709:ガンマ特性)を適用して、伝送用のSDRビデオデータ、つまりSDR伝送ビデオデータV1’を得る。HDR光電変換部103は、HDRビデオデータV2に対して、HDR光電変換特性(例えば、STD-B67、ST2084など)を適用して、伝送用のHDRビデオデータ、つまりHDR伝送ビデオデータV2’を得る。
【0034】
図4は、SDRおよびHDRの光電変換特性の一例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。破線aは、SDR光電変換特性(BT.709:ガンマ特性)を示している。実線bは、HDR光電変換特性としてのSTD-B67(HLG)の特性を示している。一点鎖線cは、HDR光電変換特性としてのST2084(PQカーブ)の特性を示している。
【0035】
STD-B67(HLG)の特性は、SDR光電変換特性(BT.709:ガンマ特性)との互換領域を含んでいる。すなわち、入力輝度レベルが両特性の互換限界値までは、両特性のカーブは一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルSPとなる。ST2084(PQカーブ)は、人間の眼に合わせた量子化ステップのカーブである。HDR光電変換特性において、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。
【0036】
HDR表示基準閾値CLは、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域と、CEモニタ依存とする領域との境界を示す。入力輝度レベルが互換限界値CLであるとき、伝送符号値は閾値レベルCPとなる。なお、SDR光電変換特性において、入力輝度レベルがSDR特性表現限界輝度SLであるとき、伝送符号値はピークレベルMPとなる。ここで、SLは100cd/mである。
【0037】
図2に戻って、ビデオエンコーダ104は、エンコード部104bと、エンコード部104eを有している。エンコード部104bは、SDR伝送ビデオデータV1’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化ビデオデータを得る。この場合、エンコード部104bは、SDR伝送ビデオデータV1’内の予測を行う。また、このエンコード部104bは、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム、つまり基本ビデオストリームSTbを生成する。
【0038】
この際、エンコード部104bは、基本ビデオストリームSTbのレイヤに、SDR光電変換の特性を示すSDR変換特性メタ情報を挿入する。すなわち、エンコード部104bは、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、SDR光電変換特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」を挿入する。
【0039】
エンコード部104eは、HDR伝送ビデオデータV2’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化ビデオデータを得る。この場合、エンコード部104eは、予測残差を小さくするために、符号化ブロック毎に、HDR伝送ビデオデータV2’内の予測、またはSDR伝送ビデオデータV1’との間の予測を、選択的に行う。また、このエンコード部104eは、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム、つまり拡張ビデオストリームSTeを生成する。
【0040】
この際、エンコード部104eは、拡張ビデオストリームSTeのレイヤに、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報および表示制御のためのメタ情報を挿入する。すなわち、エンコード部104eは、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、HDR変換特性メタ情報「transfer_characteristics 2」および表示制御のためのメタ情報を持つ、新規定義するダイナミックレンジ・SEIメッセージ(Dynamic Range SEI message)を挿入する。
【0041】
図5は、ダイナミックレンジ・SEIメッセージの構造例(Syntax)を示している。図6は、その構造例における主要な情報の内容(Semantics)を示している。「transfer_characteristics 2」の8ビットフィールドは、HDR光電変換の特性、または該特性に対応したHDR電光変換特性を示す。HDR対応の受信装置300は、メタ情報「transfer_characteristics 2」が存在する場合には、VUIの領域に挿入されているメタ情報「Transfer characteristics 1」よりも優先させて表示の際に参照する。
【0042】
「number_of_bits」の8ビットフィールドは、符号化画素ビット数を示す。「minimum_brightness_value」の16ビットフィールドは、最小レベルの輝度(cd/m)を示す。「peak_level」の16ビットフィールドは、最大レベルの相対値(%)を示す。「peak_level_brightness」の16ビットフィールドは、最大レベルの輝度(cd/m)を示し、図4におけるピーク輝度PLに対応する。「peak_level」あるいは「peak_level_brightness」によって、画像のヒストグラムを取るなどしてから表示能力に適した表示画像を作りこむ際の画像処理方法の選択を行うことができる。
【0043】
「compliant_threshold_level」の16ビットフィールドは、表示レベルマッピングの際の閾値(%)を示す。「compliant_threshold_level_value」の16ビットフィールドは、表示レベルマッピングの際の閾値となる輝度(cd/m)を示し、図4におけるHDR表示基準閾値CLに対応する。
【0044】
図2に戻って、システムエンコーダ105は、ビデオエンコーダ104で生成された基本ビデオストリームSTbと拡張ビデオストリームSteを含むトランスポートストリームTSを生成する。送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200,300に送信する。
【0045】
図2に示す送信装置100の動作を簡単に説明する。SDRビデオデータV1は、SDR光電変換部102に供給される。このSDR光電変換部102では、SDRビデオデータV1に対して、SDR光電変換特性(BT.709:ガンマ特性)が適用されて、伝送用のSDRビデオデータであるSDR伝送ビデオデータV1’が得られる。
【0046】
また、HDRビデオデータV2は、HDR光電変換部103に供給される。このHDR光電変換部103では、HDRビデオデータV2に対して、HDR光電変換特性(例えば、STD-B67、ST2084など)が適用されて、伝送用のHDRビデオデータであるHDR伝送ビデオデータV2’が得られる。
【0047】
SDR光電変換部102で得られたSDR伝送ビデオデータV1’は、エンコーダ104のエンコード部104bとエンコード部104eに供給される。このエンコード部104bでは、SDR伝送ビデオデータV1’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームである基本ビデオストリームSTbが生成される。
【0048】
この際、エンコード部104bでは、基本ビデオストリームSTbのレイヤに、SDR光電変換の特性を示すSDR変換特性メタ情報を挿入する。この場合、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、SDR光電変換特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」が挿入される。
【0049】
HDR光電変換部103で得られたHDR伝送ビデオデータV2’は、エンコーダ104のエンコード部104eに供給される。このエンコード部104eでは、HDR伝送ビデオデータV2’に対して、SDR伝送ビデオデータV1’が用いられて、H.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームである拡張ビデオストリームSTeが生成される。
【0050】
この際、エンコード部104eでは、拡張ビデオストリームSTeのレイヤに、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報および表示制御のためのメタ情報が挿入される。この場合、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、HDR変換特性メタ情報「transfer_characteristics 2」および表示制御のためのメタ情報を持つダイナミックレンジ・SEIメッセージが挿入される。
【0051】
ビデオエンコーダ104のエンコード部104bで生成された基本ビデオストリームSTbは、システムエンコーダ105に供給される。また、ビデオエンコーダ104のエンコード部104eで生成された拡張ビデオストリームSTeは、システムエンコーダ105に供給される。
【0052】
システムエンコーダ105では、基本ビデオストリームSTbと拡張ビデオストリームSteのそれぞれがPESパケット化され、さらにトランスポートパケット化されて多重化され、コンテナストリーム(多重化ストリーム)としてのトランスポートストリームTSが得られる。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200,300に送信される。
【0053】
[トランスポートストリームTSの構成]
図7は、トランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
【0054】
基本ビデオストリームSTbのパケット識別子(PID)は例えばPID1とされている。この基本ビデオストリームSTbには、SDR伝送ビデオデータV1’に予測符号化を行って得られた符号化ビデオデータが含まれている。この基本ビデオストリームSTbの各アクセスユニットには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。
【0055】
各NALユニットのヘッダにおける「nuh_layer_id」は、例えば、“0”とされ、基本ビデオストリームSTbに係る符号化ビデオデータであることが示されている。また、SPSのNALユニットのVUIの領域に、SDR光電変換の特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」が挿入されている。
【0056】
また、拡張ビデオストリームSTeのパケット識別子(PID)は例えばPID2とされている。この拡張ビデオストリームSTeには、HDR伝送ビデオデータV2’にSDR伝送ビデオデータV1’を用いた予測符号化を行って得られた符号化ビデオデータが含まれている。この拡張ビデオストリームSTeの各アクセスユニットには、AUD、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。
【0057】
各NALユニットのヘッダにおける「nuh_layer_id」は、例えば、“1”とされ、拡張ビデオストリームSTeに係る符号化ビデオデータであることが示されている。アクセスユニットに、HDR変換特性メタ情報「Transfer characteristics 2」および表示制御のためのメタ情報が記述されたダイナミックレンジ・SEIメッセージが挿入されている。
【0058】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【0059】
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームに対応して2つのビデオエレメンタリストリームループ(video ES loop)が存在する。
【0060】
基本ビデオストリームSTbに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置されている。また、拡張ビデオストリームSTeに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST1)、パケット識別子(PID2)等の情報が配置されている。
【0061】
「SDR対応受信装置の構成例」
図8は、受信装置200の構成例を示している。この受信装置200は、上述したようにSDR対応の受信装置である。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、SDR電光変換部205と、SDR表示マッピング部206と、CEモニタ207を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。
【0062】
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。
【0063】
基本ビデオストリームSTbには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含まれている。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームSTeには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれている。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。
【0064】
基本ビデオストリームのSPS NALユニットの領域に、SDR光電変換の特性を示すSDR変換特性メタ情報が挿入されている。また、拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入されている。
【0065】
システムデコーダ203は、トランスポートストリームTSから、基本ビデオストリームSTbを抽出する。ビデオデコーダ204は、デコード部204bを有している。このデコード部204bは、システムデコーダ203で抽出された基本ビデオストリームSTbに対してデコード処理を行ってSDR伝送ビデオデータV1’を得る。この場合、デコード部204bは、図2のビデオエンコーダ104のエンコード部104bとは逆の処理を行う。
【0066】
また、デコード部204bは、基本ビデオストリームSTbの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。制御部201は、SPSのビデオ・ユーザビリティ情報(VUI)における、SDR変換特性メタ情報「Transfer characteristics 1」に基づいて、SDR光電変換特性(BT.709:ガンマ特性)を認識し、SDR電光変換部205に、SDR光電変換特性とは逆特性のSDR電光変換特性を設定する。
【0067】
SDR電光変換部205は、ビデオデコーダ204から出力される伝送ビデオデータV1’に、SDR電光変換特性を適用して、SDRビデオデータV1を得る。SDR表示マッピング部206は、SDR電光変換部205で得られたSDRビデオデータV1に対して表示輝度調整を行う。すなわち、SDR表示マッピング部206は、CEモニタ207の最大輝度表示能力がSDR特性表現限界輝度SL(図4参照)よりも高い場合、表示最大輝度レベルがそのCEモニタ207の最大輝度表示能力となるように表示マッピング処理、つまり輝度変換処理を行う。
【0068】
図8に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、基本ビデオストリームSTbが抽出される。
【0069】
システムデコーダ203で抽出された基本ビデオストリームSTbは、ビデオデコーダ204のデコード部204bに供給される。デコード部204bでは、基本ビデオストリームSTbに対してデコード処理が行われてSDR伝送ビデオデータV1’が得られる。また、このデコード部204bでは、基本ビデオストリームSTbに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。
【0070】
制御部201では、SPSのビデオ・ユーザビリティ情報(VUI)における、SDR変換特性メタ情報「Transfer characteristics 1」に基づいて、SDR光電変換特性(BT.709:ガンマ特性)が認識される。そして、SDR電光変換部205には、制御部201の制御により、SDR光電変換特性とは逆特性のSDR電光変換特性が設定される。
【0071】
ビデオデコーダ204(デコード部204b)で得られたSDR伝送ビデオデータV1’はSDR電光変換部205に供給される。SDR電光変換部205では、SDR伝送ビデオデータV1’に、SDR電光変換特性が適用されて、表示用ビデオデータとしてのSDRビデオデータV1が得られる。
【0072】
SDR電光変換部205で得られたSDRビデオデータV1は、SDR表示マッピング部206に供給される。SDR表示マッピング部206では、SDRビデオデータV1に対して表示輝度調整が行われる。すなわち、SDR表示マッピング部206では、CEモニタ207の最大輝度表示能力がSLよりも高い場合、表示最大輝度レベルがそのCEモニタ207の最大輝度表示能力となるように表示マッピング処理、つまり輝度変換処理が行われる。
【0073】
SDR表示マッピング部206の出力ビデオデータは、CEモニタ207に供給される。このCEモニタ207に、表示輝度調整されたSDRビデオデータによるSDR画像の表示が行われる。
【0074】
「HDR対応の受信装置の構成例」
図9は、受信装置300の構成例を示している。この受信装置300は、上述したようにHDR対応の受信装置である。この受信装置300は、制御部301と、受信部302と、システムデコーダ303と、ビデオデコーダ304と、HDR電光変換部305と、HDR表示マッピング部306と、CEモニタ307を有している。制御部301は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置300の各部の動作を制御する。
【0075】
受信部302は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。
【0076】
基本ビデオストリームSTbには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含まれている。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームSTeには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれている。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。
【0077】
基本ビデオストリームのSPS NALユニットの領域に、SDR光電変換の特性を示すSDR変換特性メタ情報が挿入されている。また、拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入されている。
【0078】
システムデコーダ303は、このトランスポートストリームTSから基本ビデオストリームSTbおよび拡張ビデオストリームSTeを抽出する。ビデオデコーダ304は、デコード部304b,304eを有している。デコード部304bは、システムデコーダ303で抽出された基本ビデオストリームSTbに対してデコード処理を行ってSDR伝送ビデオデータV1’を得る。この場合、デコード部304bは、図2のビデオエンコーダ104のエンコード部104bとは逆の処理を行う。また、デコード部304bは、基本ビデオストリームSTbの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部301に送る。
【0079】
デコード部304eは、システムデコーダ303で抽出された拡張ビデオストリームSTeに対してSDR伝送ビデオデータV1’を用いたデコード処理を行ってHDR伝送ビデオデータV2’を得る。この場合、デコード部304eは、図2のビデオエンコーダ104のエンコード部104eとは逆の処理を行う。また、デコード部304eは、拡張ビデオストリームSTeの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部301に送る。
【0080】
制御部301は、ダイナミックレンジ・SEIメッセージにおけるHDR変換特性メタ情報「Transfer characteristics 2」に基づいて、HDR光電変換特性(例えば、STD-B67、ST2084など)を認識し、HDR電光変換部305に、HDR光電変換特性とは逆特性のHDR電光変換特性を設定する。HDR電光変換部305は、ビデオデコーダ304(デコード部304e)から出力されるHDR伝送ビデオデータV2’に、HDR電光変換特性を適用して、表示用ビデオデータとしてのHDRビデオデータV2を得る。
【0081】
HDR表示マッピング部306は、制御部301の制御のもと、ダイナミックレンジ・SEIメッセージにおける表示制御のためのメタ情報に基づいて、HDR電光変換部305で得られたHDRビデオデータV2に対して、表示輝度調整を行う。この表示輝度調整について説明する。
【0082】
図10は、表示輝度調整の一例を示している。この図において、横軸は、図4の縦軸に対応した、伝送符号値を示す。縦軸は、図4の横軸に対応した、出力輝度レベル(表示輝度レベル)を示す。この図において、実線aは、HDR電光変換特性を示すEOTFカーブである。伝送符号値がピークレベルMPであるとき、出力輝度レベルはPLとなる。また、伝送符号値が閾値レベルCPであるとき、出力輝度レベルはCLとなる。
【0083】
ここで、CEモニタ307の最大輝度表示能力が、送信側におけるマスターモニタの想定する最大輝度PLよりも上の場合、伝送符号値が閾値レベルCPよりも大きい値に対応した出力輝度レベルは、表示マッピング部306における処理によって、CEモニタ307の表示最大輝度レベルDP1までの範囲に、割り当てられる(高輝度化処理)。この図において、二点鎖線bは、その場合における、輝度変換処理の一例を示している。
【0084】
一方、CEモニタ307の最大輝度表示能力が、送信側におけるマスターモニタの想定する最大輝度PLよりも下の場合、伝送符号値が閾値レベルCPよりも大きい値に対応した出力輝度レベルは、表示マッピング部306における処理によって、CEモニタ307の表示最大輝度レベルDP2までの範囲に、割り当てられる(低輝度化処理)。この図において、一点鎖線cは、その場合における、輝度変換処理の一例を示している。
【0085】
図9に示す受信装置300の動作を簡単に説明する。受信部302では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ303に供給される。システムデコーダ303では、このトランスポートストリームTSから基本ビデオストリームSTbおよび拡張ビデオストリームSTeが抽出される。
【0086】
システムデコーダ303で抽出された基本ビデオストリームSTbは、ビデオデコーダ304のデコード部304bに供給される。デコード部304bでは、基本ビデオストリームSTbに対してデコード処理が行われてSDR伝送ビデオデータV1’が得られる。また、デコード部304bでは、基本ビデオストリームSTbに挿入されているパラメータセットやSEIメッセージが抽出され、制御部301に送られる。
【0087】
また、システムデコーダ303で抽出された拡張ビデオストリームSTeは、ビデオデコーダ304のデコード部304eに供給される。デコード部304eでは、拡張ビデオストリームSTeに対してSDR伝送ビデオデータV1’を用いたデコード処理が行われてHDR伝送ビデオデータV2’が得られる。また、デコード部304edeは、拡張ビデオストリームSTeの各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部301に送られる。
【0088】
制御部301では、ダイナミックレンジ・SEIメッセージにおけるHDR変換特性メタ情報「Transfer characteristics 2」に基づいて、HDR光電変換特性(例えば、STD-B67、ST2084など)が認識される。そして、HDR電光変換部305には、HDR光電変換特性とは逆特性のHDR電光変換特性が設定される。
【0089】
ビデオデコーダ304(デコード部304e)で得られたHDR伝送ビデオデータV2’はHDR電光変換部305に供給される。HDR電光変換部305では、HDR伝送ビデオデータV2’に、HDR電光変換特性が適用されて、表示用ビデオデータとしてのHDRビデオデータV2が得られる。
【0090】
HDR電光変換部305で得られたHDRビデオデータV2は、HDR表示マッピング部306に供給される。HDR表示マッピング部306では、ダイナミックレンジ・SEIメッセージにおける表示制御のためのメタ情報に基づいて、HDRビデオデータV2に対して、表示輝度調整が行われる(図10参照)。
【0091】
HDR表示マッピング部306の出力ビデオデータは、CEモニタ307に供給される。このCEモニタ307に、表示輝度調整されたHDRビデオデータによるHDR画像の表示が行われる。
【0092】
上述したように、図1に示す送受信システム10においては、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR変換特性メタ情報が挿入されて送信される。そのため、HDR対応受信機では、このHDR変換特性メタ情報に基づいて、基本ビデオストリームSTbおよび拡張ビデオストリームSTeを処理して得られたHDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。
【0093】
また、図1に示す送受信システム10においては、基本ビデオストリームSTbのSPS NALユニットの領域にSDR変換特性メタ情報が挿入されて送信される。そのため、SDR対応受信機では、このSDR変換特性メタ情報に基づいて、基本ビデオストリームSTbを処理して得られたSDR伝送ビデオデータV1’に対する電光変換の処理を適切に行うことが可能となる。
【0094】
また、図1に示す送受信システム10において、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR変換特性メタ情報と共に、表示制御のためのメタ情報が挿入されて送信される。そのため、HDR対応受信機では、この表示制御のためのメタ情報を用いて表示輝度制御を適切に行うことができる。この場合、表示制御のためのメタ情報には輝度変換を許容する領域を示す領域情報が含まれ、輝度変換を許容する領域でのみ、例えばCEモニタの表示輝度能力に応じた輝度変換が行われるため、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
【0095】
<2.変形例>
なお、上述実施の形態においては、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR光電変換の特性を示すメタ情報を挿入する例を示した。しかし、このHDR光電変換の特性を示すメタ情報を、基本ビデオストリームSTbのSEI NALユニットの領域に挿入することも考えられる。この場合にあっても、HDR対応受信機では、このHDR光電変換の特性を示すメタ情報に基づいて、HDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。
【0096】
本技術は、例えば、HDRビデオデータにハイブリッドログガンマ(例えば、STD-B67)のHDR光電変換特性が施されて得られたHDR伝送ビデオデータV2’に係る1つのビデオストリームをSDR下位互換のためのビデオストリームとして伝送する場合にも適用し得るものである。この場合にあっても、このビデオストリームのSEI NALユニットの領域にHDR光電変換の特性を示すメタ情報を挿入することで、HDR対応受信機では、このHDR光電変換の特性を示すメタ情報に基づいて、HDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。
【0097】
また、上述実施の形態において、受信装置200,300では、電光変換部205,305で電光変換処理を行うと共に、表示マッピング部206,306でCEモニタ207,307の最大輝度表示能力に応じた表示輝度調整を行う例を示した。しかし、電光変換特性(EOTF)に輝度変換特性を反映させておくことで、電光変換部205,305のみで電光変換処理と表示輝度調整とを同時に行わせることが可能である。
【0098】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFF(ISO base media file format)やMMT(MPEG Media Transport)などの場合でも、ビデオのレイヤは同一の方法で実現できる。
【0099】
また、本技術は、以下のような構成を取ることもできる。
(1)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換部と、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコード部と、
上記ビデオストリームを送信する送信部と、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入部を備える
送信装置。
(2)上記エンコード部は、
上記ハイダイナミックレンジ伝送ビデオデータと共に、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って得られた通常ダイナミックレンジ伝送ビデオデータを入力し、
上記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含む基本ビデオストリームと、上記ハイダイナミックレンジ伝送ビデオデータに上記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータを含む拡張ビデオストリームを出力し、
上記情報挿入部は、
上記拡張ビデオストリームの上記SEI NALユニットの領域に上記ハイダイナミックレンジ変換特性メタ情報を挿入し、上記基本ビデオストリームのSPS NALユニットの領域に上記通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する
前記(1)に記載の送信装置。
(3)上記情報挿入部は、
上記SEI NALユニットの領域に、上記ハイダイナミックレンジ変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する
前記(1)または(2)に記載の送信装置。
(4)上記表示制御のためのメタ情報は、ピーク輝度情報を含む
前記(3)に記載の送信装置。
(5)上記表示制御のためのメタ情報は、輝度変換を許容する領域を示す領域情報をさらに含む
前記(4)に記載の送信装置。
(6)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換ステップと、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコードステップと、
送信部により、上記ビデオストリームを送信する送信ステップと、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入ステップを有する
送信方法。
(7)ビデオストリームを受信する受信部と、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコード部を備え、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換部をさらに備える
受信装置。
(8)上記受信部は、
通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含む基本ビデオストリームと、上記ハイダイナミックレンジ伝送ビデオデータに上記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータを含む拡張ビデオストリームを受信し、
上記デコード部は、
上記基本ビデオストリームにデコード処理を施して上記通常ダイナミックレンジ伝送ビデオデータを得、該通常ダイナミックレンジ伝送ビデオデータを用いて上記拡張ビデオストリームにデコード処理を施して上記ハイダイナミックレンジ伝送ビデオデータを得、
上記ハイダイナミックレンジ変換特性メタ情報は、上記拡張ビデオストリームのSEI NALユニットの領域に挿入されている
前記(7)に記載の受信装置。
(9)上記SEI NALユニットの領域に、ピーク輝度情報がさらに挿入されており、
上記表示用ビデオデータに上記ピーク輝度情報に基づいて表示輝度調整を行う輝度調整部をさらに備える
前記(7)または(8)に記載の受信装置。
(10)上記SEI NALユニットの領域に、輝度変換を許容する領域を示す領域情報がさらに挿入されており、
上記輝度調整部は、
上記輝度変換を許容する領域を示す領域情報に基づいて、輝度変換を許容する領域で上記表示輝度調整を行う
前記(9)に記載の受信装置。
(11)受信部により、ビデオストリームを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコードステップを有し、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換ステップをさらに有する
受信方法。
【0100】
本技術の主な特徴は、ビデオストリームのSEI NALユニットの領域にHDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報を挿入して送信することで、HDR対応受信機では、このHDR変換特性メタ情報に基づいて、HDR伝送ビデオデータに対する電光変換の処理を適切に行い得るようにしたことである(図5図7参照)。
【符号の説明】
【0101】
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・SDR光電変換部
103・・・HDR光電変換部
104・・・ビデオエンコーダ
104b.104e・・・エンコード部
105・・・システムエンコーダ
106・・・送信部
200,300・・・受信装置
201,301・・・制御部
202,302・・・受信部
203,303・・・システムデコーダ
204,304・・・ビデオデコーダ
204b・・・デコード部
205・・・SDR電光変換部
206・・・SDR表示マッピング部
207,307・・・CEモニタ
304b.304e・・・デコード部
305・・・HDR電光変換部
306・・・HDR表示マッピング部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10