(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】送信方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240903BHJP
H04N 21/2362 20110101ALI20240903BHJP
H04N 19/85 20140101ALI20240903BHJP
【FI】
H04N19/70
H04N21/2362
H04N19/85
(21)【出願番号】P 2023076536
(22)【出願日】2023-05-08
(62)【分割の表示】P 2022109665の分割
【原出願日】2016-03-03
【審査請求日】2023-05-22
(31)【優先権主張番号】P 2015044108
(32)【優先日】2015-03-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】特表2014-534719(JP,A)
【文献】特開2015-8361(JP,A)
【文献】特表2014-531821(JP,A)
【文献】特表2012-520619(JP,A)
【文献】特開2015-126469(JP,A)
【文献】国際公開第2014/178286(WO,A1)
【文献】国際公開第2015/008987(WO,A1)
【文献】米国特許出願公開第2011/0194618(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
入力ビデオデータを処理して所定の光電変換特性を持たせた伝送ビデオデータを得る光電 変換処理ステップと、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコードステ ップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームのVUIの領域に、上記入力ビデオデータの光電変換の状態を示す情報を挿入し、上記コンテナはイベント情報テーブルを含み、該イベント情報テーブルに、上記入力ビデオデータの光電変換特性に対応した電光変換特性を示す情報を挿入する情報挿入ステップを有する
送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信方法に関する。
【背景技術】
【0002】
従来、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信することが考えられている。以下、ハイダイナミックレンジを、適宜、「HDR」と表記する。例えば、非特許文献1には、従来受信機による受信を考慮した、従来の光電変換特性(ガンマ特性)との互換領域を含むHDR光電変換特性(新ガンマ特性)についての記載がある。
【先行技術文献】
【非特許文献】
【0003】
【文献】Tim Borer, “Non-Linear Opto-Electrical Transfer Functions for High Dynamic Range Television”, Research & Development White Paper WHP 283, July 2014
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、受信側において所定の光電変換特性を持たせた伝送ビデオデータから表示用画像データを得る処理を適切に行い得るようにすることにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
入力ビデオデータを処理して所定の光電変換特性を持たせた伝送ビデオデータを得る光電変換処理部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報を挿入する情報挿入部を備える
送信装置にある。
【0006】
本技術において、光電変換処理部により、入力ビデオデータが処理されて所定の光電変換特性を持たせた伝送ビデオデータが得られる。エンコード部により、伝送ビデオデータにエンコード処理が施されてビデオストリームが得られる。送信部により、このビデオストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、ビデオストリームおよび/またはコンテナに、入力ビデオデータの光電変換の状態を示す情報が挿入される。
【0007】
例えば、入力ビデオデータの光電変換の状態を示す情報は、入力ビデオデータに光電変換が行われているときは、この光電変換の変換特性に対応した電光変換特性を示す情報とされ、入力ビデオデータに光電変換が行われていないときは、所定の光電変換特性に対応した電光変換特性を示す情報とされる、ようにされてもよい。
【0008】
例えば、光電変換処理部は、通常ダイナミックレンジ光電変換特性を持たせた第1の伝送ビデオデータを得るか、ハイダイナミックレンジ光電変換特性を持たせた第2の伝送ビデオデータを得るか、ハイダイナミックレンジ光電変換特性を持たせた第3の伝送ビデオデータを得る、ようにされてもよい。
【0009】
第1の伝送ビデオデータは、入力ビデオデータとしての通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られる。第2の伝送ビデオデータは、入力ビデオデータとしてのハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性による光電変換が行われて得られる。
【0010】
第3の伝送ビデオデータは、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られた入力ビデオデータに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいてダイナミックレンジ変換が行われて得られる。例えば、変換情報は、変換係数、あるいは変換テーブルである、ようにされてもよい。
【0011】
例えば、情報挿入部は、光電変換処理部が第3の伝送ビデオデータを得るとき、ビデオストリームおよび/またはコンテナに、変換情報をさらに挿入する、ようにされてもよい。このように変換情報が挿入されることで、受信側では、この変換情報を用いて伝送ビデオデータのダイナミックレンジ変換を行うことでき、通常ダイナミックレンジの画像表示を行うための処理を容易に行い得る。
【0012】
例えば、情報挿入部は、ビデオストリームおよび/またはコンテナに、所定の光電変換特性に対応した電光変換特性を示す情報をさらに挿入する、ようにされてもよい。この場合、受信側では、伝送ビデオデータが持っている所定の光電変換特性に対応した電光変換特性を容易に把握可能となる。また、例えば、情報挿入部は、ビデオストリームおよび/またはコンテナに、基準輝度レベルである基準レベル、あるいは通常ダイナミックレンジ光電変換特性とハイダイナミックレンジ光電変換特性のカーブが同一軌道から分岐して別れる輝度レベルである分岐レベルをさらに挿入する、ようにされてもよい。
【0013】
このように本技術においては、入力ビデオデータを処理して得られた所定の光電変換特性を持つ伝送ビデオデータを送信する際に、その入力ビデオデータの光電変換の状態を示す情報も送信するものである。そのため、受信側において当該伝送ビデオデータから表示用画像データを得る処理を適切に行い得る。
【0014】
また、本技術の他の概念は、
伝送ビデオデータがエンコードされて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記伝送ビデオデータは、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータであり、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報が挿入されており、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記ビデオストリームおよび/または上記コンテナから、上記入力ビデオデータの光電変換の状態を示す情報を抽出する情報抽出部と、
上記デコード部で得られた伝送ビデオデータに、上記情報抽出部で抽出された情報、上記所定の光電変換特性の情報および表示性能に基づいた電光変換処理を施して表示用画像データを得る処理部をさらに備える
受信装置にある。
【0015】
本技術において、受信部により、伝送ビデオデータがエンコードされて得られたビデオストリームを含む所定フォーマットのコンテナが受信される。ここで、伝送ビデオデータは、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータである。また、ビデオストリームおよび/またはコンテナに、入力ビデオデータの光電変換の状態を示す情報が挿入されている。
【0016】
例えば、伝送ビデオデータは、通常ダイナミックレンジ光電変換特性を持つ第1の伝送ビデオデータであるか、ハイダイナミックレンジ光電変換特性を持つ第2の伝送ビデオデータであるか、ハイダイナミックレンジ光電変換特性を持つ第3の伝送ビデオデータである、ようにされてもよい。
【0017】
ここで、第1の伝送ビデオデータは、入力ビデオデータとしての通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られたものである。第2の伝送ビデオデータは、入力ビデオデータとしてのハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性による光電変換が行われて得られたものである。
【0018】
第3の伝送ビデオデータは、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られた入力ビデオデータに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいてダイナミックレンジ変換が行われて得られたものである。
【0019】
デコード部により、ビデオストリームにデコード処理が施されて伝送ビデオデータが得られる。情報抽出部により、ビデオストリームおよび/またはコンテナから、入力ビデオデータの光電変換の状態を示す情報が抽出される。そして、処理部により、デコード部で得られた伝送ビデオデータに、情報抽出部で抽出された情報、所定の光電変換特性の情報および表示性能に基づいた電光変換処理が施されて表示用画像データが得られる。
【0020】
例えば、処理部は、表示性能がハイダイナミックレンジであるとき、伝送ビデオデータが第1の伝送ビデオデータである場合には、伝送ビデオデータにダイナミックレンジ変換を行った後にハイダイナミックレンジ電光変換特性による電光変換を施して表示用画像データを得、伝送ビデオデータが第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合には、伝送ビデオデータにハイダイナミックレンジ電光変換特性による電光変換を施して表示用画像データを得る、ようにされてもよい。
【0021】
また、例えば、処理部は、表示性能が通常ダイナミックレンジであるとき、伝送ビデオデータが第1の伝送ビデオデータである場合には、伝送ビデオデータに通常ダイナミックレンジ電光変換特性による電光変換を施して上記表示用画像データを得、伝送ビデオデータが第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合には、伝送ビデオデータにダイナミックレンジ変換を行った後に通常ダイナミックレンジ電光変換特性による電光変換を施して表示用画像データを得る、ようにされてもよい。
【0022】
このように本技術においては、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータに、入力ビデオデータの光電変換の状態を示す情報、所定の光電変換特性の情報および表示性能に基づいた電光変換処理を施して表示用画像データを得るものである。そのため、伝送ビデオデータから表示用画像データを得る処理を適切に行い得る。
【発明の効果】
【0023】
本技術によれば、受信側において所定の光電変換特性を持たせた伝送ビデオデータから表示用画像データを得る処理を適切に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0024】
【
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【
図2】サービス送信システムの構成例を示すブロック図である。
【
図3】サービス送信システムにおけるダイナミックレンジ変換部の動作を説明するための図である。
【
図4】サービス送信システムにおけるダイナミックレンジ変換部の動作を説明するための図である。
【
図5】符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。
【
図6】符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。
【
図7】ダイナミックレンジ・コンバージョンSEIメッセージの構造例を示す図である。
【
図8】ダイナミックレンジ・コンバージョンSEIメッセージの構造例における主要な情報の内容を示す図である。
【
図9】ダイナミックレンジ・コンバージョン・デスクリプタの構造例を示す図である。
【
図10】ダイナミックレンジ・コンバージョン・デスクリプタの構造例における主要な情報の内容を示す図である。
【
図11】トランスポートストリームの構造例を示す図である。
【
図12】サービス受信機の構成例を示すブロック図である。
【
図13】サービス受信機におけるHDR/SDR変換部の動作を説明するための図である。
【
図14】サービス受信機におけるHDR/SDR変換部の動作を説明するための図である。
【
図15】サービス受信機におけるHDR/SDR変換部の動作を説明するための図である。
【
図16】サービス受信機におけるSDR/HDR変換部の動作を説明するための図である。
【発明を実施するための形態】
【0025】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0026】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、サービス送信システム100とサービス受信機200により構成されている。サービス送信システム100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。
【0027】
サービス送信システム100は、入力ビデオデータを処理して、所定の光電変換特性を持たせた伝送ビデオデータを得る。トランスポートストリームTSには、この伝送ビデオデータにエンコード処理を施して得られたビデオストリームが含まれる。ビデオストリームおよび/またはコンテナとしてのトランスポートストリームTSに、入力ビデオデータの光電変換の状態を示す情報が挿入される。
【0028】
サービス受信機200は、サービス送信システム100から送信されてくるトランスポートストリームTSを受信する。サービス受信機200は、トランスポートストリームTSに含まれているビデオストリームにデコード処理を施して伝送ビデオデータを得る。この伝送ビデオデータは、上述したように、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータである。
【0029】
サービス受信機200は、ビデオストリームおよび/またはコンテナとしてのトランスポートストリームTSに含まれている、入力ビデオデータの光電変換の状態を示す情報を抽出する。そして、サービス受信機200は、伝送ビデオデータに、抽出された情報、所定の光電変換特性の情報および表示性能に基づいた電光変換処理を施して表示用画像データを得る。
【0030】
「サービス送信システムの構成例」
図2は、サービス送信システム100の構成例を示している。このサービス送信システム100は、制御部101と、HDR(High Dynamic Range:ハイダイナミックレンジ)光電変換部103と、SDR(Standard Dynamic Range:通常ダイナミックレンジ)光電変換部104と、ダイナミックレンジ変換部105と、切換スイッチ106と、RGB/YCbCr変換部107と、ビデオエンコーダ108と、コンテナエンコーダ109と、送信部110を有している。
【0031】
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス送信システム100の各部の動作を制御する。HDR光電変換部103は、高コントラストカメラ出力、すなわちHDRビデオデータVhに対して、HDR光電変換特性を適用して光電変換し、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)を得る。このHDR伝送ビデオデータは、HDR OETFで映像制作された映像素材となる。
【0032】
SDR光電変換部104は、通常コントラストカメラ出力、すなわちSDRビデオデータVsに対して、SDR光電変換特性を適用して光電変換し、SDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)を得る。このSDR伝送ビデオデータは、SDR OETFで映像制作された映像素材となる。
【0033】
ダイナミックレンジ変換部105は、SDR伝送ビデオデータにダイナミックレンジ変換を行ってHDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)を得る。つまり、このダイナミックレンジ変換部105は、SDR OETFで映像制作された映像素材であるSDR伝送ビデオデータをHDR伝送ビデオデータに変換する。ここで、ダイナミックレンジ変換部105は、SDR光電変換特性による変換データの値をHDR光電変換特性による変換データの値に変換するための変換情報に基づいて、ダイナミックレンジ変換を行う。この変換情報は、例えば、制御部101から与えられる。
【0034】
図3を参照して、ダイナミックレンジ変換について、さらに説明する。実線aは、SDR光電変換特性を示すSDR OETFカーブの一例を示している。実線bは、HDR光電変換特性を示すHDR OETFカーブの一例を示している。横軸は入力輝度レベルを示し、P1はSDR最大レベルに対応する入力輝度レベルを示し、P2はHDR最大レベルに対応する入力輝度レベルを示している。
【0035】
また、縦軸は伝送符号値または正規化された符号化レベルの相対値を示す。相対最大レベルMはHDR最大レベルおよびSDR最大レベルを示す。基準レベルGは、SDR最大レベルに対応する入力輝度レベルP1におけるHDR OETFの伝送レベルを示すもので、いわゆるリファレンスの白レベルを意味し、このレベルよりも高い範囲をHDR特有のきらめき表現に利用することを示す。
【0036】
分岐レベルBは、SDR OETFカーブとHDR OETFカーブとが同一軌道から分岐して別れるレベルを示す。Pfは、分岐レベルに対応する入力輝度レベルを示す。なお、この分岐レベルBは、0以上の任意の値とすることができる。
図4は、分岐レベルBが0である場合の例を示している。
【0037】
ダイナミックレンジ変換部105におけるダイナミックレンジ変換では、SDR伝送ビデオデータのうち、分岐レベルBから相対最大レベルMまでが、HDR光電変換特性による変換データの値となるように変換される。この場合、SDR最大レベルである相対最大レベルMは基準レベルGと一致するようにされる。なお、分岐レベルB未満の入力データは、そのまま出力データとされる。
【0038】
ここで、変換情報は、変換テーブルあるいは変換係数で与えられる。変換テーブルで与えられる場合、ダイナミックレンジ変換部105は、この変換テーブルを参照して変換を行う。一方、変換係数で与えられる場合、ダイナミックレンジ変換部105は、この変換係数を用いた演算により変換を行う。例えば、変換係数をCとするとき、分岐レベルBから相対最大レベルMまでの入力データに関して、以下の(1)式により、変換を行う。
出力データ=分岐レベルB+(入力データ-分岐レベルB)*C ・・・(1)
【0039】
図2に戻って、切換スイッチ106は、SDR光電変換部104で得られたSDR伝送ビデオデータ(第1の伝送ビデオデータ)、HDR光電変換部103で得られたHDR伝送ビデオデータ(第2の伝送ビデオデータ)、またはダイナミックレンジ変換部105で得られたHDR伝送ビデオデータ(第3の伝送ビデオデータ)を選択的に取り出す。
【0040】
RGB/YCbCr変換部107は、切換スイッチ106で取り出された伝送ビデオデータV1をRGBドメインからYCbCr(輝度・色差)ドメインに変換する。この場合、RGB/YCbCr変換部107は、色空間情報に基づいて、色空間に対応した変換式を用いて変換を行う。なお、これらの色空間のドメインは、RGBドメインに限定されるものではなく、また、輝度・色差ドメインはYCbCrに限定されるわけではない。
【0041】
ビデオエンコーダ108は、RGB/YCbCr変換部107でYCbCrドメインに変換された伝送ビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施して符号化ビデオデータを得、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)VSを生成する。
【0042】
この際、ビデオエンコーダ108は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)などのメタ情報を挿入する。
【0043】
ここで、伝送ビデオデータV1が持つ光電変換特性は、この伝送ビデオデータV1がSDR光電変換部104で得られたSDR伝送ビデオデータ(第1の伝送ビデオデータ)であるときは、SDR光電変換部104における光電変換特性である。また、伝送ビデオデータV1が持つ光電変換特性は、この伝送ビデオデータV1がHDR光電変換部104で得られたHDR伝送ビデオデータ(第2の伝送ビデオデータ)であるときは、HDR光電変換部103における光電変換特性である。さらに、伝送ビデオデータV1が持つ光電変換特性は、この伝送ビデオデータV1がダイナミックレンジ変換部105で得られたHDR伝送ビデオデータ(第3の伝送ビデオデータ)であるときは、HDR光電変換部103における光電変換特性である。
【0044】
また、ビデオエンコーダ108は、アクセスユニット(AU)の“SEIs”の部分に、入力ビデオデータの光電変換の状態を示す情報、ダイナミックレンジ変換の変換情報などのメタ情報を持つ、新規定義するダイナミックレンジ・コンバージョンSEIメッセージ(Dynamic_range_conv SEI message)を挿入する。ここで、入力ビデオデータの光電変換の状態を示す情報は、入力ビデオデータに光電変換が行われているときは、この光電変換の変換特性に対応した電光変換特性を示す情報とされ、入力ビデオデータに光電変換が行われていないときは、伝送ビデオデータが持つ所定の光電変換特性に対応した電光変換特性を示す情報とされる。
【0045】
ここで、伝送ビデオデータV1がSDR光電変換部104で得られたSDR伝送ビデオデータ(第1の伝送ビデオデータ)であるとき、入力ビデオデータの光電変換の状態を示す情報は、SDR光電変換部104における光電変換特性に対応した電光変換特性を示す情報とされる。また、伝送ビデオデータV1がHDR光電変換部104で得られたHDR伝送ビデオデータ(第2の伝送ビデオデータ)であるとき、入力ビデオデータの光電変換の状態を示す情報は、HDR光電変換部103における光電変換特性に対応した電光変換特性を示す情報とされる。さらに、伝送ビデオデータV1がダイナミックレンジ変換部105で得られたHDR伝送ビデオデータ(第3の伝送ビデオデータ)であるとき、入力ビデオデータの光電変換の状態を示す情報は、SDR光電変換部104における光電変換特性に対応した電光変換特性を示す情報とされる。
【0046】
図5は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、
図6は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。ダイナミックレンジ・コンバージョンSEIメッセージは、例えば、図示のようにSEIメッセージ群「Suffix_SEIs」として、あるいはSEIメッセージ群「Prefix SEIs」として配置される。
【0047】
図7は、ダイナミックレンジ・コンバージョンSEIメッセージの構造例(Syntax)を示している。
図8は、その構造例における主要な情報の内容(Semantics)を示している。「Dynamic_range_conv_cancel_flag」の1ビットのフラグ情報は、“Dynamic_range_conv”のメッセージをリフレッシュするかを示す。“0”は、“Dynamic_range_conv”のメッセージをリフレッシュすることを示す。“1”は、“Dynamic_range_conv”のメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
【0048】
「Dynamic_range_conv_cancel_flag」が“0”であるとき、以下のフィールドが存在する。「coded_data_bit_depth」の8ビットフィールドは、符号化画素ビット数(伝送符号値のビット数)を示す。「reference_level」の16ビットフィールドは、基準輝度レベル値、つまり基準レベルG(
図3参照)を示す。「ratio_conversion_flag」の1ビットのフラグ情報は、シンプル変換によること、つまり変換係数が存在することを示す。「conversion_table_flag」の1ビットのフラグ情報は、変換テーブルによること、つまり変換テーブル情報が存在することを示す。「branch_level」の16ビットフィールドは、分岐レベルB(
図3参照)を示す。
【0049】
「ratio_conversion_flag」が“1”であるとき、「level_conversion_ratio」の8ビットフィールドが存在する。このフィールドは、変換係数(レベル変換の比)を示す。「conversion_table_flag」が“1”であるとき、「table_size」の16ビットフィールドが存在する。
【0050】
このフィールドは、変換テーブルの入力数を示す。符号化画素ビット数に対応した数だけ、「level_R[i]」、「level_G[i]」、「level_B[i]」の各16ビットフィールドが存在する。「level_R[i]」のフィールドは、赤コンポーネント(Red component)の変換後の値を示す。「level_G[i]」のフィールドは、緑コンポーネント(Red component)の変換後の値を示す。「level_B[i]」のフィールドは、青コンポーネント(Red component)の変換後の値を示す。
【0051】
「original_transferfunction」の8ビットフィールドは、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す。“1”は、「BT.709-5 Transfer Function(SDR)」を示す。“14”は、「10bit BT.2020 Transfer Function (SDR)」を示す。“16”は、「SMPTE 2084 Transfer Function (HDR1)」を示す。“25”は、「HDR(HDR2)」を示す。
【0052】
図2に戻って、コンテナエンコーダ109は、ビデオエンコーダ108で生成されたビデオストリームVSを含むトランスポートストリームTSを生成する。送信部110は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、サービス受信機200に送信する。
【0053】
この際、コンテナエンコーダ109は、コンテナとしてのトランスポートストリームTSに、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報などを挿入する。この実施の形態において、コンテナエンコーダ109は、プログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に、ダイナミックレンジ・コンバージョン・デスクリプタ(dynamic_range_conversion_descriptor)を挿入する。
【0054】
図9は、ダイナミックレンジ・コンバージョン・デスクリプタの構造例(Syntax)を示している。
図10は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ダイナミックレンジ・コンバージョン・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
【0055】
「highdynamicrange」の8ビットフィールドは、対象ストリームがHDRストリームであるかSDRストリームであるかを示す。“1”はHDRストリームであることを示し、“0”はSDRストリームであることを示す。「transferfunction」の8ビットフィールドは、電光変換特性(EOTF特性)を示す。つまり、このフィールドは、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す。例えば、“1”は「BT.709-5 Transfer Function(SDR)」を示し、“14”は「10bit BT.2020 Transfer Function(SDR)」を示し、“16”は「SMPTE 2084 Transfer Function(HDR1)」を示し、“25”は「HDR(HDR2)」を示す。なお、「HDR(HDR2)」は、HDR電光変換特性を示すが、PQカーブではなく、いわゆるハイブリッドガンマと称されるものである。
【0056】
「xycolourprimaries」の8ビットフィールドは、色空間を示す。例えば、“1”は「BT.709-5」を示し、“9”は「BT.2020」を示し、“10”は「SMPTE 428 or XYZ」を示す。「matrixcoefficients」の8ビットフィールドは、色マトリクス係数を示す。例えば、“1”は「BT.709-5」を示し、“9”は「BT.2020 non-constant lumiinance」を示し、“11”は「SMPTE 2085 or Y′D′zD′x」を示す。
【0057】
「referencelevel」の8ビットフィールドは、基準レベルG(
図3参照)を示す。この場合、基準レベルGとして、最大「1」に正規化された相対範囲の中を0~100の値で指定した値が記述される。受信側では、この値を100で割ったものが相対基準レベルとして認識される。この相対基準レベルは、ダイナミックレンジ変換の変換情報としての変換係数を構成する。
【0058】
「branchlevel」の8ビットフィールドは、分岐レベルB(
図3参照)を示す。この場合、分岐レベルBとして、最大「1」に正規化された相対範囲の中を0~100の値で指定した値が記述される。受信側では、この値を100で割ったものが分岐レベルとして認識される。
【0059】
「original_transferfunction」の8ビットフィールドは、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す。“1”は、「BT.709-5 Transfer Function(SDR)」を示す。“14”は、「10bit BT.2020 Transfer Function (SDR)」を示す。“16”は、「SMPTE 2084 Transfer Function (HDR1)」を示す。“25”は、「HDR(HDR2)」を示す。
【0060】
図11は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES」が存在する。アクセスユニットのSPSのVUIの領域に、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報などのメタ情報が挿入される。また、アクセスユニットに、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報、ダイナミックレンジ変換の変換情報などのメタ情報を持つダイナミックレンジ・コンバージョンSEIメッセージが挿入される。
【0061】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
【0062】
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)が存在する。ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【0063】
このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES」に付与されるPID1を示すものとされる。デスクリプタの一つとして、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報、入力ビデオデータの光電変換の状態を示す情報などのメタ情報を持つダイナミックレンジ・コンバージョン・デスクリプタが挿入される。
【0064】
また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Service Information)としてのEIT(Event Information Table)が含まれている。このEITの配下に、ダイナミックレンジ・コンバージョン・デスクリプタを挿入することも考えられる。
【0065】
図2に示すサービス送信システム100の動作を簡単に説明する。高コントラストカメラ出力であるHDRビデオデータVhはHDR光電変換部103に供給される。このHDR光電変換部103では、HDRビデオデータVhにHDR光電変換特性で光電変換が施され、HDR OETFで映像制作された映像素材としてのHDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)が得られる。
【0066】
また、通常コントラストカメラ出力であるSDRビデオデータVsはSDR光電変換部104に供給される。このSDR光電変換部104では、SDRビデオデータVsにSDR光電変換特性で光電変換が施され、SDR OETFで映像制作された映像素材としてのSDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)が得られる。
【0067】
SDR光電変換部104で得られたSDR伝送ビデオデータは、ダイナミックレンジ変換部105に供給される。ダイナミックレンジ変換部105では、制御部101から供給される変換情報(変換テーブル、変換係数)に基づいて、SDR伝送ビデオデータにダイナミックレンジ変換が施される。このダイナミックレンジ変換により、SDR伝送ビデオデータは、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)に変換される(
図3参照)。
【0068】
切換スイッチ106では、制御部101の制御により、SDR光電変換部104で得られたSDR伝送ビデオデータ(第1の伝送ビデオデータ)、HDR光電変換部103で得られたHDR伝送ビデオデータ(第2の伝送ビデオデータ)、またはダイナミックレンジ変換部105で得られたHDR伝送ビデオデータ(第3の伝送ビデオデータ)が選択的に取り出される。このように取り出された伝送ビデオデータは、RGB/YCbCr変換部107でRGBドメインからYCbCr(輝度・色差)ドメインに変換される。
【0069】
YCbCrドメインに変換された伝送ビデオデータV1は、ビデオエンコーダ108に供給される。このビデオエンコーダ108では、伝送ビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化が施されて符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームVSが生成される。
【0070】
この際、ビデオエンコーダ108では、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報などのメタ情報が挿入される。また、ビデオエンコーダ108では、アクセスユニット(AU)の“SEIs”の部分に、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報、ダイナミックレンジ変換の変換情報などのメタ情報を持つ、新規定義するダイナミックレンジ・コンバージョンSEIメッセージ(
図7参照)が挿入される。
【0071】
ビデオエンコーダ108で得られたビデオストリームVSは、コンテナエンコーダ109に供給される。コンテナエンコーダ109では、ビデオエンコーダ108で生成されたビデオストリームVSを含むトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部110により、放送波あるいはネットのパケットに載せて、サービス受信機200に送信される。
【0072】
この際、コンテナエンコーダ109では、コンテナとしてのトランスポートストリームTSに、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報などのメタ情報が挿入される。すなわち、コンテナエンコーダ109では、プログラム・マップ・テーブルの配下、あるいはイベント・インフォメーション・テーブルの配下に、ダイナミックレンジ・コンバージョン・デスクリプタ(
図9参照)が挿入される。
【0073】
「サービス受信機の構成例」
図12は、サービス受信機200の構成例を示している。このサービス受信機200は、制御部201と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、YCbCr/RGB変換部205と、切換スイッチ206を有している。また、このサービス受信機200は、HDR/SDR変換部207と、SDR電光変換部208と、SDR/HDR変換部209と、HDR電光変換部210を有している。
【0074】
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス受信機200の各部の動作を制御する。受信部202は、サービス送信システム100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。コンテナデコーダ203は、トランスポートストリームTSからビデオストリームVSを抽出する。
【0075】
また、コンテナデコーダ203は、トランスポートストリームTSに挿入されている種々の情報を抽出し、制御部201に送る。この情報には、上述した、ダイナミックレンジ・コンバージョン・デスクリプタ(
図9参照)も含まれる。制御部201は、このデスクリプタの記述に基づいて、SDRのストリームであるかHDRのストリームであるか、ビデオストリームVSに含まれる伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性、送信側における入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)などを認識する。
【0076】
また、制御部201は、この認識により、ビデオストリームVSに含まれる伝送ビデオデータV1の種類を認識する。上述したように、伝送ビデオデータV1は、第1の伝送ビデオデータ、第2の伝送ビデオデータおよび第3の伝送ビデオデータのうちのいずれである。ここで、第1の伝送ビデオデータは、上述したように、SDRビデオデータVsに対してSDR光電変換が施されて得られたSDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)である。
【0077】
また、第2の伝送ビデオデータは、HDRビデオデータVhに対してHDR光電変換が施されて得られたHDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)である。また、第3の伝送ビデオデータは、SDRビデオデータVsに対してSDR光電変換が施されて得られたSDR伝送ビデオデータにさらにダイナミックレンジ変換が行われて得られたHDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)である。
【0078】
伝送ビデオデータV1が第1の伝送ビデオデータである場合には、SDRのストリームを示し、また、送信側における入力ビデオデータの光電変換の状態を示す情報(以下、適宜「オリジナル電光変換情報」という)および伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性(以下、適宜、「現状電光変換情報」という)が同一のSDR電光変換特性を示すことから、制御部201は、伝送ビデオデータV1は第1の伝送ビデオデータであると認識する。
【0079】
また、伝送ビデオデータV1が第2の伝送ビデオデータである場合には、HDRのストリームを示し、また、オリジナル電光変換情報および現状電光変換情報が同一のHDR電光変換特性を示すことから、制御部201は、伝送ビデオデータV1は第2の伝送ビデオデータであると認識する。また、伝送ビデオデータV1が第3の伝送ビデオデータである場合には、HDRのストリームを示し、また、オリジナル電光変換情報はSDR電光変換特性を示すが、現状電光変換情報はHDR電光変換特性を示すことから、制御部201は、伝送ビデオデータV1は第3の伝送ビデオデータであると認識する。
【0080】
ビデオデコーダ204は、コンテナデコーダ203で抽出されるビデオストリームVSに対してデコード処理を施して、伝送ビデオデータV1を得る。また、ビデオデコーダ204は、ビデオストリームVSから各アクセスユニットに挿入されているパラメータセットやSEIメッセージなどの情報を抽出し、制御部201に送る。
【0081】
この情報には、アクセスユニットのSPS NALユニットのVUIの領域に挿入されている、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報などのメタ情報も含まれる。また、この情報には、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報、ダイナミックレンジ変換の変換情報などのメタ情報を持つダイナミックレンジ・コンバージョンSEIメッセージ(
図7参照)も含まれる。
【0082】
制御部201は、このデスクリプタの記述に基づいて、SDRのストリームであるかHDRのストリームであるか、ビデオストリームVSに含まれる伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性、送信側における入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)などを認識する。また、制御部201は、この認識により、ビデオストリームVSに含まれる伝送ビデオデータV1の種類を認識する。
【0083】
制御部201は、上述したように、ダイナミックレンジ・コンバージョン・デスクリプタの記述情報からも同様の認識を行う。しかし、デスクリプタのようなコンテナレベルの識別情報は、ビデオのフレーム単位の動的な変化に追従できない。ビデオストリームVSのアクセスユニットのSPS NALユニットのVUIの領域およびSEIメッセージから得られる情報に基づいて認識することで、フレーム単位の動的な変化に追従できる。
【0084】
YCbCr/RGB変換部205は、ビデオデコーダ204で得られた伝送ビデオデータV1を、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。なお、これらの色空間のドメインは、RGBドメインに限定されるものではなく、また、輝度・色差ドメインはYCbCrに限定されるわけではない。切換スイッチ206は、制御部201の制御のもと、RGBドメインに変換された伝送ビデオデータV1を、HDR/SDR変換部207、あるいはSDR/HDR変換部209に送る。
【0085】
この場合、表示モニタ(図示せず)がSDR対応、つまり表示モニタの表示性能がSDRであるとき、切換スイッチ206は、伝送ビデオデータV1をHDR/SDR変換部207に送る。一方、表示モニタがHDR対応、つまり表示モニタの表示性能がHDRであるとき、切換スイッチ206は、伝送ビデオデータV1をSDR/HDR変換部209に送る。制御部201は、イナミックレンジ・コンバージョンSEIメッセージ(
図7参照)から認識したダイナミックレンジの変換情報(変換テーブル、変換係数)をHDR/SDR変換部207およびSDR/HDR変換部209に与える。
【0086】
HDR/SDR変換部207は、HDR伝送ビデオデータにダイナミックレンジ変換を施してSDR伝送ビデオデータを得る。このHDR/SDR変換部207は、伝送ビデオデータV1がHDR伝送ビデオデータである第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合に機能し、伝送ビデオデータV1がSDR伝送ビデオデータである第1の伝送ビデオデータである場合には、入力をそのまま出力とする。
【0087】
図13を参照して、伝送ビデオデータV1がHDR伝送ビデオデータ(第3の伝送ビデオデータ)である場合におけるダイナミックレンジ変換の詳細を説明する。縦軸は出力輝度レベルを示し、
図3の横軸に対応する。また、横軸は伝送符号値を示し、
図3の縦軸に対応する。実線aは、SDR電光変換特性を示すSDR EOTFカーブである。このSDR EOTFカーブは、
図3に実線aで示すSDR OETFカーブに対応している。実線bは、HDR電光変換特性を示すHDR EOTFカーブである。このHDR EOTFカーブは、
図3に実線bで示すHDR OETFカーブに対応している。なお、
図14は、分岐レベルBが0である場合の例を示しており、
図4の例に対応した例である。
【0088】
HDR/SDR変換部207におけるダイナミックレンジ変換では、
図2のダイナミックレンジ変換部105とは逆の変換が行われる。すなわち、このダイナミックレンジ変換では、HDR伝送ビデオデータのうち、分岐レベルBから基準レベルGまでが、SDR光電変換特性による変換データの値と一致するように変換される。この場合、基準レベルGはSDR最大レベルである相対最大レベルMと一致するようにされる。なお、分岐レベルB未満の入力データは、そのまま出力データとされる。
【0089】
ここで、変換情報は、例えば、上述したように制御部201から変換テーブルあるいは変換係数で与えられる。変換テーブルで与えられる場合、HDR/SDR変換部207は、この変換テーブルを参照して変換を行う。一方、変換係数で与えられる場合、HDR/SDR変換部207は、この変換係数を用いた演算により変換を行う。例えば、変換係数をCとするとき、分岐レベルBから基準レベルGまでの入力データに関して、以下の(2)式により、変換を行う。
出力データ=分岐レベルB+(入力データ-分岐レベルB)*1/C ・・・(2)
【0090】
次に、
図15を参照して、伝送ビデオデータV1がHDR伝送ビデオデータ(第2の伝送ビデオデータ)である場合におけるダイナミックレンジ変換の詳細を説明する。この場合、HDR/SDR変換部207では、HDR EOTFカーブへの入力レベルが、SDR EOTFカーブへの入力レベルに変換される。この
図15において、
図13と対応する部分には同一符号を付して示している。なお、P1´は、基準レベルGより低い所定のレベルHに対応した出力輝度レベルを示している。
【0091】
この場合、HDR/SDR変換部207におけるダイナミックレンジ変換では、基準レベルGより低い所定のレベルHまでの入力データに関しては、上述の伝送ビデオデータV1がHDR伝送ビデオデータ(第3の伝送ビデオデータ)である場合と同様の変換が行われる。そして、レベルHからレベルMまでの入力データに関しては、一点鎖線で示すトーンマッピング特性TMに基づいてレベル変換が行われて出力データが得られる。この場合、例えば、レベルHはレベルH´に変換され、基準レベルGはレベルG´に変換され、レベルMはそのままレベルMとされる。
【0092】
このようにレベルHからレベルMまでの入力データに関してトーンマッピング特性TMに基づいたレベル変換がなされることで、基準レベルGから相対最大レベルMまでのレベル飽和による画質劣化の低減が可能となる。
【0093】
SDR電光変換部209は、HDR/SDR変換部207から出力されたSDR伝送ビデオデータに、SDR電光変換特性を適用して、SDR画像を表示するための表示用ビデオデータVsdを得る。
【0094】
SDR/HDR変換部209は、SDR伝送ビデオデータにダイナミックレンジ変換を施してHDR伝送ビデオデータを得る。このSDR/HDR変換部209は、伝送ビデオデータV1がSDR伝送ビデオデータである第1の伝送ビデオデータである場合に機能し、伝送ビデオデータV1がHDR伝送ビデオデータである第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合には、入力をそのまま出力とする。
【0095】
図16を参照して、伝送ビデオデータV1がSDR伝送ビデオデータ(第1の伝送ビデオデータ)である場合におけるダイナミックレンジ変換の詳細を説明する。この場合、SDR/HDR変換部209では、SDR EOTFカーブへの入力レベルが、HDR EOTFカーブへの入力レベルに変換される。この
図16において、
図13と対応する部分には同一符号を付して示している。
【0096】
SDR/HDR変換部209におけるダイナミックレンジ変換では、
図2のダイナミックレンジ変換部105と同様の変換が行われる。すなわち、このダイナミックレンジ変換では、SDR伝送ビデオデータのうち、分岐レベルBからSDR最大レベルである相対最大レベルMまでが、HDR光電変換特性による変換データの値と一致するように変換される。この場合、相対最大レベルMは基準レベルGと一致するようにされる。なお、分岐レベルB未満の入力データは、そのまま出力データとされる。
【0097】
HDR光電変換部210は、SDR/HDR変換部209から出力されたHDR伝送ビデオデータに、HDR電光変換特性を適用して、HDR画像を表示するための表示用ビデオデータVhdを得る。
【0098】
図12に示すサービス受信機200の動作を簡単に説明する。受信部202では、サービス送信システム100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、コンテナデコーダ203に供給される。コンテナデコーダ203では、トランスポートストリームTSからビデオストリームVSが抽出される。
【0099】
また、コンテナデコーダ203では、コンテナとしてのトランスポートストリームTSに挿入されている種々の情報が抽出され、制御部201に送られる。この情報には、上述した、ダイナミックレンジ・コンバージョン・デスクリプタ(
図9参照)も含まれる。制御部201では、この情報に基づいて、SDRのストリームであるかHDRのストリームであるか、ビデオストリームVSに含まれる伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性、送信側における入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)などが認識され、さらに伝送ビデオデータV1の種類も認識される。
【0100】
コンテナデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対してデコード処理が施され、伝送ビデオデータV1が得られる。この伝送ビデオデータV1は、SDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)である第1の伝送ビデオデータであるか、あるいいは、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)である第2の伝送ビデオデータまたは第3の伝送ビデオデータである。
【0101】
また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。この情報には、アクセスユニットのSPS NALユニットのVUIの領域やダイナミックレンジ・コンバージョンSEIメッセージ(
図7参照)の情報も含まれる。制御部201では、この情報に基づいて、SDRのストリームであるかHDRのストリームであるか、ビデオストリームVSに含まれる伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性、送信側における入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)などが認識され、さらに伝送ビデオデータV1の種類も認識される。
【0102】
ビデオデコーダ204で得られた伝送ビデオデータV1は、YCbCr/RGB変換部205でCbCr(輝度・色差)ドメインからRGBドメインに変換される。RGBドメインに変換された伝送ビデオデータV1は、表示モニタがSDR対応であるとき、切換スイッチ206を通じて、HDR/SDR変換部207に供給される。
【0103】
HDR/SDR変換部207では、伝送ビデオデータV1がHDR伝送ビデオデータである第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合は、このHDR伝送ビデオデータにダイナミックレンジ変換が施されてSDR伝送ビデオデータが得られる(
図13~
図15参照)。なお、伝送ビデオデータV1がSDR伝送ビデオデータである第1の伝送ビデオデータである場合には、入力がそのまま出力とされる。
【0104】
HDR/SDR変換部207で得られたSDR伝送ビデオデータは、SDR電光変換部208に供給される。このSDR電光変換部208では、SDR伝送ビデオデータに、SDR電光変換特性が適用されて、SDR画像を表示するための表示用ビデオデータVsdが得られる。この表示用ビデオデータVsdは、表示モニタの表示能力に応じて適宜表示マッピング処理が施された後に、表示モニタに供給され、SDR画像の表示が行われる。
【0105】
また、YCbCr/RGB変換部205でRGBドメインに変換された伝送ビデオデータV1は、表示モニタがHDR対応であるとき、切換スイッチ206を通じて、SDR/HDR変換部209に供給される。
【0106】
SDR/HDR変換部209では、伝送ビデオデータV1がSDR伝送ビデオデータである第1の伝送ビデオデータである場合は、このSDR伝送ビデオデータにダイナミックレンジ変換が施されてHDR伝送ビデオデータが得られる(
図16参照)。なお、伝送ビデオデータV1がHDR伝送ビデオデータである第2の伝送ビデオデータあるいは第3の伝送ビデオデータである場合には、入力がそのまま出力とされる。
【0107】
SDR/HDR変換部209で得られたHDR伝送ビデオデータは、HDR電光変換部210に供給される。このHDR電光変換部210では、HDR伝送ビデオデータに、HDR電光変換特性が適用されて、HDR画像を表示するための表示用ビデオデータVhdが得られる。この表示用ビデオデータVhdは、表示モニタの表示能力に応じて適宜表示マッピング処理が施された後に、表示モニタに供給され、HDR画像の表示が行われる。
【0108】
上述したように、
図1に示す送受信システム10においては、入力ビデオデータを処理して得られた所定の光電変換特性を持つ伝送ビデオデータを送信する際に、その入力ビデオデータの光電変換の状態を示す情報も送信するものである。そのため、受信側において当該伝送ビデオデータから表示用画像データを得る処理を適切に行うことができる。
【0109】
<2.変形例>
なお、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、コンテナがトランスポートストリームと限定されるものではなく、他のパケット、例えばISOBMFF(ISO Base Media File Format)、あるいはMMT(Mpeg Media Transport)などの場合でも、ビデオのレイヤは同一の方法で実現できる。
【0110】
図17は、MMT構造を示している。MMTストリームには、ビデオ、オーディオ等の各アセットのMMTパケットが存在する。図示の例では、ID1で識別されるビデオのアセットのMMTパケットが存在する。クセスユニットのSPSのVUIの領域に、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報などのメタ情報が挿入される。また、アクセスユニットに、入力ビデオデータの光電変換の状態(オリジナル伝達関数特性の種類)を示す情報、ダイナミックレンジ変換の変換情報などのメタ情報を持つダイナミックレンジ・コンバージョンSEIメッセージが挿入される。
【0111】
また、MMTストリームには、PA(Packet Access)メッセージパケットなどのメッセージパケットが存在する。PAメッセージパケットには、MMT・パケット・テーブル(MMT Package Table)などのテーブルが含まれている。MPテーブルには、アセット毎の情報が含まれている。ここでは、ビデオのアセットに関連して、SDRのストリームであるかHDRのストリームであるかを示す情報、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報、入力ビデオデータの光電変換の状態を示す情報などのメタ情報を持つダイナミックレンジ・コンバージョン・デスクリプタが挿入される。
【0112】
また、EPG番組表示向けにMH・イベント・インフォメーション・テーブル(MH Event Information Table)が含まれる場合に、番組イベントの識別子(id)と共にデスクリプタが配置される。このデスクリプタとしてダイナミックレンジ・コンバージョン・デスクリプタを配置して、HDR対応の番組であることを示すことも可能である。
【0113】
また、上述実施の形態においては、サービス送信システム100およびサービス受信機200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、サービス受信機200が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス(STB)およびモニタからなる構成であってもよい。なお、「HDMI」は、登録商標である。
【0114】
また、基準レベルや分岐レベルの情報はその値が光電変換特性を参照することで一意に求まる場合には、レベル値そのものを送らずとも、光電変換特性の識別情報によって代用させることができ、そのような情報供給においても本実施例の一つとして扱いうるものである。
【0115】
また、本技術は、以下のような構成を取ることもできる。
(1)入力ビデオデータを処理して所定の光電変換特性を持たせた伝送ビデオデータを得る光電変換処理部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報を挿入する情報挿入部を備える
送信装置。
(2)上記光電変換処理部は、
上記入力ビデオデータとしての通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換を行って通常ダイナミックレンジ光電変換特性を持たせた第1の伝送ビデオデータを得るか、
上記入力ビデオデータとしてのハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性による光電変換を行ってハイダイナミックレンジ光電変換特性を持たせた第2の伝送ビデオデータを得るか、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られた上記入力ビデオデータに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいてダイナミックレンジ変換を行ってハイダイナミックレンジ光電変換特性を持たせた第3の伝送ビデオデータを得る
前記(1)に記載の送信装置。
(3)上記情報挿入部は、
上記光電変換処理部が上記第3の伝送ビデオデータを得るとき、
上記ビデオストリームおよび/または上記コンテナに、上記変換情報をさらに挿入する
前記(2)に記載の送信装置。
(4)上記変換情報は、変換係数である
前記(2)または(3)に記載の送信装置。
(5)上記変換情報は、変換テーブルである
前記(2)または(3)に記載の送信装置。
(6)上記情報挿入部は、
上記ビデオストリームおよび/または上記コンテナに、上記所定の光電変換特性に対応した電光変換特性を示す情報をさらに挿入する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記入力ビデオデータの光電変換の状態を示す情報は、
上記入力ビデオデータに光電変換が行われているときは、該光電変換の変換特性に対応した電光変換特性を示す情報とされ、
上記入力ビデオデータに光電変換が行われていないときは、上記所定の光電変換特性に対応した電光変換特性を示す情報とされる
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記情報挿入部は、
上記ビデオストリームおよび/または上記コンテナに、基準輝度レベルである基準レベル、あるいは通常ダイナミックレンジ光電変換特性とハイダイナミックレンジ光電変換特性のカーブが同一軌道から分岐して別れる輝度レベルである分岐レベルをさらに挿入する
前記(1)から(7)のいずれかに記載の送信装置。
(9)入力ビデオデータを処理して所定の光電変換特性を持たせた伝送ビデオデータを得る光電変換処理ステップと、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコードステップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報を挿入する情報挿入ステップを有する
送信方法。
(10)伝送ビデオデータがエンコードされて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記伝送ビデオデータは、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータであり、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報が挿入されており、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記ビデオストリームおよび/または上記コンテナから、上記入力ビデオデータの光電変換の状態を示す情報を抽出する情報抽出部と、
上記デコード部で得られた伝送ビデオデータに、上記情報抽出部で抽出された情報、上記所定の光電変換特性の情報および表示性能に基づいた電光変換処理を施して表示用画像データを得る処理部をさらに備える
受信装置。
(11)上記伝送ビデオデータは、
上記入力ビデオデータとしての通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られた通常ダイナミックレンジ光電変換特性を持つ第1の伝送ビデオデータであるか、
上記入力ビデオデータとしてのハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性による光電変換が行われて得られたハイダイナミックレンジ光電変換特性を持つ第2の伝送ビデオデータであるか、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換特性による光電変換が行われて得られた上記入力ビデオデータに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいてダイナミックレンジ変換が行われて得られたハイダイナミックレンジ光電変換特性を持つ第3の伝送ビデオデータである
前記(10)に記載の受信装置。
(12)上記処理部は、表示性能がハイダイナミックレンジであるとき、
上記伝送ビデオデータが上記第1の伝送ビデオデータである場合には、上記伝送ビデオデータにダイナミックレンジ変換を行った後にハイダイナミックレンジ電光変換特性による電光変換を施して上記表示用画像データを得、
上記伝送ビデオデータが上記第2の伝送ビデオデータあるいは上記第3の伝送ビデオデータである場合には、上記伝送ビデオデータにハイダイナミックレンジ電光変換特性による電光変換を施して上記表示用画像データを得る
前記(11)に記載の受信装置。
(13)上記処理部は、表示性能が通常ダイナミックレンジであるとき、
上記伝送ビデオデータが上記第1の伝送ビデオデータである場合には、上記伝送ビデオデータに通常ダイナミックレンジ電光変換特性による電光変換を施して上記表示用画像データを得、
上記伝送ビデオデータが上記第2の伝送ビデオデータあるいは上記第3の伝送ビデオデータである場合には、上記伝送ビデオデータにダイナミックレンジ変換を行った後に通常ダイナミックレンジ電光変換特性による電光変換を施して上記表示用画像データを得る
前記(11)に記載の受信装置。
(14)受信部により、伝送ビデオデータがエンコードされて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記伝送ビデオデータは、送信側で入力ビデオデータが処理されて得られた所定の光電変換特性を持つ伝送ビデオデータであり、
上記ビデオストリームおよび/または上記コンテナに、上記入力ビデオデータの光電変換の状態を示す情報が挿入されており、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコードステップと、
上記ビデオストリームおよび/または上記コンテナから、上記入力ビデオデータの光電変換の状態を示す情報を抽出する情報抽出ステップと、
上記デコードステップで得られた伝送ビデオデータに、上記情報抽出ステップで抽出された情報、上記所定の光電変換特性の情報および表示性能に基づいた電光変換処理を施して表示用画像データを得る処理ステップをさらに有する
受信方法。
【0116】
本技術の主な特徴は、入力ビデオデータを処理して得られた所定の光電変換特性を持つ伝送ビデオデータを送信する際に、その入力ビデオデータの光電変換の状態を示す情報も送信することで、受信側において当該伝送ビデオデータから表示用画像データを得る処理を適切に行い得るようにしたことである(
図11参照)。
【符号の説明】
【0117】
10・・・送受信システム
100・・・サービス送信システム
101・・・制御部
103・・・HDR光電変換部
104・・・SDR光電変換部
105・・・ダイナミックレンジ変換部
106・・・切換スイッチ
107・・・RGB/YCbCr変換部
108・・・ビデオエンコーダ
109・・・コンテナエンコーダ
110・・・送信部
200・・・サービス受信機
201・・・制御部
202・・・受信部
203・・・コンテナデコーダ
204・・・ビデオデコーダ
205・・・YCbCr/RGB変換部
206・・・切換スイッチ
207・・・HDR/SDR変換部
208・・・SDR電光変換部
209・・・SDR/HDR変換部
210・・・HDR電光変換部