【文献】
Signalling of Luminance Dynamic Range in Tone mapping information SEI,JCTVC-J0149 [online],2013年 1月12日,pp.1-7,URL,http://phenix.it-sudparis.eu/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J0149-v1.zip
(58)【調査した分野】(Int.Cl.,DB名)
低輝度値から第1の高輝度値までの第1の輝度値範囲を持つ入力ビデオデータにガンマカーブを適用して得られた、上記低輝度値から上記第1の高輝度値よりも小さな値の第2の高輝度値までの第2の輝度値範囲を持つ伝送ビデオデータを受信し、
上記伝送ビデオデータと共に受信される補助情報に基づいて、上記伝送ビデオデータの輝度値を変換して上記伝送ビデオデータの最大輝度値を大きくする
回路を備え、
上記伝送ビデオデータは、上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータの上記第2の高輝度値よりも低い第1の所定値と上記第1の高輝度値との間の範囲の輝度値を上記第1の所定値と上記第2の高輝度値との間の範囲の輝度値に変換する処理を行って得られたビデオデータであり、
上記回路は、上記第1の所定値と上記第2の高輝度値との間の範囲の上記伝送ビデオデータの輝度値を、上記補助情報に含まれる変換カーブ情報を適用して、上記第1の所定値と上記第2の高輝度値とは異なる第3の高輝度値との間の範囲の輝度値に変換する
表示装置。
【発明を実施するための形態】
【0026】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0027】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
【0028】
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波に載せて送信する。このトランスポートストリームTSは、ガンマカーブを適用して得られた伝送ビデオデータが符号化されて得られたビデオストリームを有するものである。
【0029】
この実施の形態において、伝送ビデオデータは、例えば、カメラで撮像されて得られたHDR(High Dynamic Range)の入力ビデオデータ、つまり0〜100%*N(Nは1より大きい数)のレベル範囲を持つ入力ビデオデータにガンマカーブを適用して得られたものである。ここで、100%のレベルは、白の輝度値100cd/m2に相当する輝度レベルを前提とする。
【0030】
伝送ビデオデータは、例えば、以下の伝送ビデオデータ(a)と伝送ビデオデータ(b)、伝送ビデオデータ(c)などである。伝送ビデオデータ(a)、伝送ビデオデータ(b)は、入力ビデオデータの100%のレベルに相当するレベルを最大レベルとして持ち、低ダイナミックレンジのビデオデータの体裁をとる。伝送ビデオデータ(c)は、入力ビデオデータの100%*Nのレベルに相当するレベルを最大レベルとして持ち、高ダイナミックレンジのビデオデータの体裁をとる。
【0031】
「伝送ビデオデータ(a)」
図2を参照して、伝送ビデオデータ(a)について説明する。「Content data level range」は、入力ビデオデータの0%から100%*Nまでのレベル範囲を示す。「V_100*N」は、入力ビデオデータの100%*Nのレベルに相当する、ガンマカーブ適用後のビデオデータ(出力ビデオデータ)のレベルを示す。「V_100」は、入力ビデオデータの100%のレベルに相当する、ガンマカーブ適用後のビデオデータ(出力ビデオデータ)のレベルを示す。「Encoder Input Pixel data range」は、伝送ビデオデータの0からV_100までのレベル範囲を示す。例えば、0〜V_100の階調数は、所定ビット、例えば8ビットで表される。
【0032】
伝送ビデオデータ(a)は、入力ビデオデータにガンマカーブ(実線a参照)を適用して得られた出力ビデオデータに対し、さらに、入力ビデオデータの100%から100%*Nのレベルに相当するレベルを、入力ビデオデータの100%に相当するレベル(V_100)に変換するクリッピング処理(破線b参照)を行うことで得られる。この伝送ビデオデータ(a)は、入力ビデオデータの0%から100%のレベルに相当するレベルを持ち、低ダイナミックレンジのビデオデータの体裁をとる。
【0033】
「伝送ビデオデータ(b)」
図3を参照して、伝送ビデオデータ(b)について説明する。「Content data level range」、「V_100*N」、「Encoder Input Pixel data range」は、
図2と同じである。「V_th」は、入力ビデオデータの100%のレベルに相当するレベル以下の閾値であるスレッショルド・クリッピング・レベル(Threshold_clipping_level)を示す。
【0034】
伝送ビデオデータ(b)は、入力ビデオデータにガンマカーブ(実線a参照)を適用して得られた出力ビデオデータに対し、さらに、入力ビデオデータの100%に相当するレベル以下の閾値(V_th)から入力ビデオデータの100%*Nに相当するレベル(V_100*N)までを、閾値(V_th)から入力ビデオデータの100%に相当するレベル(V_100)までの間のレベルに変換するマッピング処理を行うことで得られる。この伝送ビデオデータ(b)は、入力ビデオデータの0%から100%のレベルに相当するレベルを持ち、低ダイナミックレンジのビデオデータの体裁をとる。
【0035】
「伝送ビデオデータ(c)」
図4を参照して、伝送ビデオデータ(c)について説明する。「Content data level range」、「V_100*N」は、
図2と同じである。「Encoder Input Pixel data range」は、伝送ビデオデータの0からV_100*Nのレベル範囲を示す。伝送ビデオデータ(c)は、入力ビデオデータにガンマカーブ(実線a参照)を適用して得られた出力ビデオデータそのままである。この伝送ビデオデータ(c)は、入力ビデオデータの0%から100%*Nのレベルに相当するレベルを持ち、高ダイナミックレンジのビデオデータの体裁をとる。
【0036】
図1に戻って、送信装置100は、ビデオストリームのレイヤに、上述したガンマカーブの情報を挿入する。この情報には、
図5に示すように、「extended_range_white_level」、「nominal_black_level_code_value」、「nominal_white_level_code_value」、「extended_white_level_code_value」などが含まれる。
【0037】
「extended_range_white_level」は、「nominal white level(標準白レベル)」を100%とする場合の整数倍(N倍)のパーセンテージ(100%*N)を示す。「nominal_black_level_code_value」は、標準黒レベルに対する輝度サンプル値を示し、8ビットでビデオデータが符号化されている場合、黒レベルは「16」とされる。「nominal_white_level_code_value」は、標準白レベルに対する輝度サンプル値を示し、8ビットでビデオデータが符号化されている場合、白レベルは例えば「235」とされる。「extended_white_level_code_value」は、「extended_range_white_level」の輝度サンプル値を示す。
【0038】
また、送信装置100は、ビデオストリームのレイヤに、受信側で伝送ビデオデータの高レベル側のレベル範囲を変換するための補助情報を、挿入する。この補助情報には、フィルタ情報、変換カーブ情報などが含まれる。この補助情報の詳細については、後述する。
【0039】
また、送信装置100は、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにガンマカーブ情報や補助情報が挿入されていることを示す識別情報を挿入する。例えば、この識別情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT: Program Map Table)の配下に挿入される。識別情報により、ビデオストリームをデコードすることなく、ガンマカーブ情報や補助情報の挿入の有無を知ることが可能となる。この識別情報の詳細については、後述する。
【0040】
受信装置200は、送信装置100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、符号化ビデオデータを含むビデオストリームを有している。受信装置200は、ビデオストリームのデコード等の処理を行って、表示用のビデオデータを取得する。
【0041】
ビデオストリームのレイヤには、上述したようにガンマカーブ情報や補助情報が挿入されている。また、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにガンマカーブ情報や補助情報が挿入されているか否かを示す識別情報が挿入されている。受信装置200は、この識別情報に基づき、ビデオストリームのレイヤにガンマカーブ情報や補助情報の挿入があることを認識し、ビデオストリームからこれらの情報を取得して処理に利用する。
【0042】
受信装置200は、デコード後のビデオデータ(伝送ビデオデータ)に対し、その高レベル側のレベル範囲を、補助情報に基づいて、最大レベルが所定レベルとなるように変換する。この場合、受信装置200は、所定レベルを、例えば、補助情報に含まれるNの情報およびモニタの輝度ダイナミックレンジの情報に基づいて決定する。
【0043】
受信装置200は、伝送ビデオデータが上述の伝送ビデオデータ(a)、伝送ビデオデータ(b)、伝送ビデオデータ(c)である場合、それぞれ、以下に示すような変換処理を行う。この変換処理により、受信側において適切な輝度ダイナミックレンジでの表示が可能となる。
【0044】
「伝送ビデオデータ(a)に対する変換処理」
図6を参照して、伝送ビデオデータ(a)に対する変換処理について説明する。「Decoded pixel data range」は、入力ビデオデータ(伝送ビデオデータ)の0からV_100までのレベル範囲を示す。「Display Level range」は、モニタ(ディスプレイ)の0%の輝度から100%*Nの輝度までのレベル範囲を示す。そして、実線aは、モニタのガンマ特性を示すカーブであり、上述したガンマカーブ(
図2の実線a参照)とは逆の特性となる。
【0045】
受信装置200は、伝送ビデオデータの、レベルがV_100の各画素データのレベルを、補助情報に含まれるフィルタ情報で特定されるフィルタを適用して、V_100から所定レベル(V_100*N以下)までの間のレベルに変換する。この場合、変換前の伝送ビデオデータのうち、V_100のレベルの画素データに関しては、一点鎖線bに示すように、モニタ(ディスプレイ)において100%以上の輝度を発生させるレベルに変換される。この変換後のビデオデータは、V_100より高い所定レベルを最大レベルとして持ち、高ダイナミックレンジのビデオデータとなる。
【0046】
「伝送ビデオデータ(b)に対する変換処理」
図7を参照して、伝送ビデオデータ(b)に対する変換処理について説明する。「Decoded pixel data range」は、入力ビデオデータ(伝送ビデオデータ)の0からV_100までのレベル範囲を示す。「Display Level range」は、モニタ(ディスプレイ)の0%の輝度から100%*Nの輝度までのレベル範囲を示す。そして、実線aは、モニタのガンマ特性を示すカーブであり、上述したガンマカーブ(
図3の実線a参照)とは逆の特性となる。
【0047】
受信装置200は、伝送ビデオデータの、レベルがV_thからV_100の各画素データのレベルを、補助情報に含まれるフィルタ情報、あるいは変換カーブ情報を適用して、V_thから所定レベル(V_100*N以下)までの間のレベルに変換する。この場合、変換前の伝送ビデオデータのうち、V_thからV_100のレベルの画素データに関しては、一点鎖線bに示すように、モニタ(ディスプレイ)において100%以上の輝度を発生させるレベルに変換される。この変換後のビデオデータは、V_100より高い所定レベルを最大レベルとして持ち、高ダイナミックレンジのビデオデータとなる。
【0048】
図8は、ビデオデータにおける輝度サンプル値と画素度数(頻度)との関係の一例を示している。
図8(a)は、送信装置100における入力ビデオデータの状態を示しており、サンプル値の最大はV_N*100となっている。
図8(b)は、送信装置100におけるガンマカーブを適用した後の伝送ビデオデータ(出力ビデオデータ)の状態を示しており、サンプル値の最大はV_100に抑制されている。ここで、破線図示の範囲のサンプル値の画素はマッピング処理の影響を受けており、本来のレベルからずれたものとなっている。
【0049】
図8(c)は、受信装置200における変換処理後の状態を示している。ここで、破線図示の範囲のサンプル値に存在する画素は、変換処理(再マッピング処理)が施されたものである。この再マッピング処理により、マッピング処理の影響を受けている各画素のレベルがマッピング処理前のレベルに近づくようになされる。なお、この
図8(c)では、サンプル値の最大はV_N*100となっている。しかし、モニタの輝度ダイナミックレンジ(Monitor Luminance dynamic range)によっては、サンプル値の最大はV_N*100より小さなレベルとされる。
【0050】
「伝送ビデオデータ(c)に対する変換処理」
図9を参照して、伝送ビデオデータ(b)に対する変換処理について説明する。「Decoded pixel data range」は、入力ビデオデータ(伝送ビデオデータ)の0からV_100*Nまでのレベル範囲を示す。「Display Level range」は、モニタ(ディスプレイ)の0%の輝度から100%*Lの輝度までのレベル範囲を示す。そして、実線aは、モニタのガンマ特性を示すカーブであり、上述したガンマカーブ(
図4の実線a参照)とは逆の特性となる。
【0051】
受信装置200は、伝送ビデオデータの、レベルがV_thからV_100*Nの各画素データのレベルを、補助情報に含まれる変換カーブ情報を適用して、V_thから所定レベル(V_100*L)までの間のレベルに変換する。この場合、変換前の伝送ビデオデータのうち、V_thからV_100*Nのレベルの画素データに関しては、一点鎖線bに示すように、モニタ(ディスプレイ)において100*L以下の輝度を発生させるレベルに変換される。この変換後のビデオデータは、V_100*Nより低い所定レベルを最大レベルとして持ち、低ダイナミックレンジのビデオデータとなる。
【0052】
「送信装置の構成例」
図10は、送信装置100の構成例を示している。この送信装置100は、制御部101と、カメラ102と、色空間変換部103と、ガンマ処理部104と、ビデオエンコーダ105と、システムエンコーダ106と、送信部107を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、所定のストレージに格納されている制御プログラムに基づいて、送信装置100の各部の動作を制御する。
【0053】
カメラ102は、被写体を撮像して、HDR(High Dynamic Range)のビデオデータを出力する。このビデオデータは、0〜100%*N、例えば0〜400%あるいは0〜800%などのレベルを持つ。ここで、100%のレベルは、白の輝度値100cd/m2に相当するものである。色空間変換部103は、カメラ102から出力されるビデオデータを、RGB色空間からYUV色空間に変換する。
【0054】
ガンマ処理部104は、色空間変換後のビデオデータに対してガンマカーブを適用し、さらに必要に応じて、高輝度のレベルを変換する処理(マッピング処理、クリッピング処理)を施して、伝送ビデオデータを得る(
図2〜4参照)。この伝送ビデオデータは、例えば、伝送ビデオデータ(a),(b)の場合には8ビットで表され、伝送ビデオデータ(c)の場合には9ビット以上で表される。
【0055】
ビデオエンコーダ105は、変換ビデオデータに対して、例えば、MPEG4−AVC、MPEG2video、あるいはHEVC(high Efficiency Video Coding)などの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ105は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
【0056】
この際、ビデオエンコーダ105は、ビデオストリームのレイヤに、ガンマカーブ情報を挿入するとともに、補助情報を挿入する。この補助情報は、受信側で高輝度のレベルを変換するための情報であり、フィルタ情報や変換カーブ情報などを含むものである。
【0057】
システムエンコーダ106は、ビデオエンコーダ105で生成されたビデオストリームを含むトランスポートストリームTSを生成する。そして、送信部107は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
【0058】
この際、システムエンコーダ106は、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにガンマカーブ情報や補助情報が挿入されているか否かを示す識別情報を挿入する。また、システムエンコーダ106は、さらに、トランスポートストリームTSのレイヤに、変換カーブデータを挿入する。システムエンコーダ106は、例えば、識別情報や変換カーブデータを、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入する。
【0059】
図10に示す送信装置100の動作を簡単に説明する。カメラ102で撮像されて得られたHDRビデオデータは、色空間変換部103によりRGB色空間からYUV色空間に変換された後、ガンマ処理部104に供給される。ガンマ処理部104では、色空間変換後のビデオデータに対してガンマカーブが適用され、さらに必要に応じて、高輝度のレベルを変換する処理(マッピング処理、クリッピング処理)が施され、伝送ビデオデータが得られる。この伝送ビデオデータは、ビデオエンコーダ105に供給される。
【0060】
ビデオエンコーダ105では、伝送ビデオデータに対して、例えば、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVC(high Efficiency Video Coding)などの符号化が施されて、符号化ビデオデータが得られる。そして、このビデオエンコーダ105では、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)が生成される。この際、ビデオエンコーダ105では、ビデオストリームのレイヤに、ガンマカーブ情報が挿入される他、受信側で高輝度のレベルを変換するための、フィルタ情報や変換カーブ情報などを含む補助情報が挿入される。
【0061】
ビデオエンコーダ105で生成されたビデオストリームは、システムエンコーダ106に供給される。このシステムエンコーダ106では、ビデオストリームを含むMPEG2のトランスポートストリームTSが生成される。この際、システムエンコーダ106では、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにガンマカーブ情報や補助情報が挿入されていることを示す識別情報、さらには変換カーブデータが挿入される。このトランスポートストリームTSは、送信部107により、放送波に載せられて送信される。
【0062】
[ガンマカーブ情報、補助情報、識別情報、変換カーブデータの構造と、TS構成]
上述したように、ビデオストリームのレイヤに、ガンマカーブ情報や補助情報が挿入される。例えば、符号化方式がMPEG4−AVCである場合、または、HEVCのような、NALパケットなどの符号化構造が似通っている符号化方式である場合、この補助情報は、アクセスユニット(AU)の“SEIs”の部分に、SEIメッセージとして挿入される。
【0063】
ガンマカーブ情報は、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)として挿入される。また、補助情報は、HDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)として挿入される。
【0064】
図11は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、
図12は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。
【0065】
図11、
図12に示すように、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)およびHDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)は、SEIメッセージ群「Suffix_SEIs」として配置される。
【0066】
図13、
図14は、「Tone mapping information SEI message」の構造例(Syntax)を示している。
図15は、その構造例における主要な情報の内容(Semantics)を示している。「Tone mapping_cancel_flag」は、1ビットのフラグ情報である。“1”は、それまでのトーン・マッピング((Tone mapping)のメッセージ状態をキャンセルすることを示す。“0”は、各要素を伝送し、それで以前の状態をリフレッシュすることを示す。
【0067】
「coded_data_bit_depth」の8ビットフィールドは、符号化データのビット長を示し、例えば8〜14ビットが使用される。「target_bit_depth」は、トーン・マッピング・インフォメーション・SEIメッセージによる処理の出力(output)ビット長として想定する最大のビット長を示し、最大16ビットまでとることができる。
【0068】
「ref_screen_luminance_white 」の32ビットフィールドは、リファレンスモニタの標準白レベルを示し、単位は「cd/m2」である。「extended_range_white_level」は、「nominal white level(標準白レベル)」を100%とする場合の整数倍(N倍)のパーセンテージ(100%*N)を示す。「nominal_black_level_code_value」は、標準黒レベルに対する輝度サンプル値を示し、8ビットでビデオデータが符号化されている場合、黒レベルは「16」とされる。「nominal_white_level_code_value」は、標準白レベルに対する輝度サンプル値を示し、8ビットでビデオデータが符号化されている場合、白レベルは「235」とされる。「extended_white_level_code_value」は、「extended_range_white_level」の輝度サンプル値を示す。
【0069】
図16は、「HDR_conversion SEI message」の構造例(Syntax)を示している。
図17は、その構造例における主要な情報の内容(Semantics)を示している。「HDR_conversion_cancel_flag」は、1ビットのフラグ情報である。“1”は、それまでのHDR・コンバージョン(HDR_conversion)のメッセージ状態をキャンセルすることを示す。“0”は、各要素を伝送し、それで以前の状態をリフレッシュすることを示す。
【0070】
「threshold_clipping_level」の16ビットフィールドは、HDRの範囲で、非線形トーン・マッピング(tone mapping)によって従来符号化範囲に変換された輝度の閾値、つまりV_thを示す(
図3参照)。「operator _type」の8ビットフィールドは、V_th(threshold_clipping_level)を超える輝度レベルのマーキング(Marking)を行う際に用いるフィルタタイプを示す。「range_max_percent」の8ビットフィールドは、100%*NのNを表す。
【0071】
「level_mapping_curve_type」の8ビットフィールドは、V_th(threshold_clipping_level)を超える輝度レベルをターゲットの輝度レベルに変換する関数のタイプを示す。この「level_mapping_curve_type」の8ビットフィールドは、「threshold_clipping_level」<「nominal_white_level_code_value」を満たす場合、つまりV_thが輝度100%未満の場合のみ配置される。
【0072】
また、上述したように、例えば、トランスポートストリームTSのプログラム・マップ・テーブル(PMT)のビデオエレメンタリ・ループ(Video ES loop)の配下に、ビデオストリームのレイヤにガンマカーブ情報や補助情報が挿入されていることを示す識別情報が挿入される。
【0073】
図18は、識別情報としてのHDR・シンプル・デスクリプタ(HDR_simple descriptor)の構造例(Syntax)を示している。また、
図19は、その構造例における主要な情報の内容(Semantics)を示している。
【0074】
「HDR_simple descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HDR・シンプル・デスクリプタであることを示す。「HDR_simple descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
【0075】
「Tonemapping_SEI_existed」の1ビットフィールドは、ビデオレイヤ(ビデオストリームのレイヤ)に、トーン・マッピングSEI情報(ガンマカーブ情報)が存在するか否かを示すフラグ情報である。“1”はトーン・マッピングSEI情報が存在することを示し、“0”はトーン・マッピングSEI情報が存在しないことを示す。
【0076】
「HDR_conversion_SEI_existed」の1ビットフィールドは、ビデオレイヤ(ビデオストリームのレイヤ)に、HDR・コンバージョンSEI情報(補助情報)が存在するか否かを示すフラグ情報である。“1”はHDR・コンバージョンSEI情報が存在することを示し、“0”はHDR・コンバージョンSEI情報が存在しないことを示す。
【0077】
また、
図20は、識別情報としてのHDR・フル・デスクリプタ(HDR_full descriptor)の構造例(Syntax)を示している。「HDR_full descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HDR・フル・デスクリプタであることを示す。「HDR_full descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
【0078】
以下、詳細説明は省略するが、このHDR・フル・デスクリプタには、HDR・シンプル・デスクリプタ(
図18参照)に含まれる情報と共に、上述のトーン・マッピング・インフォメーション・SEIメッセージ(
図13、
図14参照)およびHDR・コンバージョン・SEIメッセージ(
図16参照)に含まれる情報も配置されている。
【0079】
この場合、受信側においては、このHDR・フル・デスクリプタにより、ビデオストリームをデコードする前に、ビデオレイヤにおけるトーン・マッピングSEI情報、HDR・コンバージョンSEI情報の存在の有無だけではなく、そこに含まれる情報内容を把握することが可能となる。
【0080】
また、上述したように、例えば、トランスポートストリームTSのプログラム・マップ・テーブル(PMT)のビデオエレメンタリ・ループ(Video ES loop)の配下に、変換カーブデータが挿入される。
図21は、変換カーブデータとしてのレベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)の構造例(Syntax)を示している。
【0081】
「level_mapping_curve descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、レベル・マッピング・カーブ・デスクリプタであることを示す。「level_mapping_curve descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
【0082】
「mapping_curve_table_id」の8ビットフィールドは、マッピングカーブ(mapping curve)のテーブルの識別子(id)を示す。この「mapping_curve_table_id」により、複数の種類のユースケース(Usecase)のカーブが並存できる。例えば、伝送ビデオデータ(b)および伝送ビデオデータ(c)のそれぞれに対する変換処理に使用する変換カーブ(マッピングカーブ)の区別が可能となる。
【0083】
「number of levels N」の16ビットフィールドは、伝送ビデオデータの変換対象レベル範囲に含まれるレベル数を示す。ここで、変換対象レベル範囲は、例えば、伝送ビデオデータ(b)の場合は、V_thからV_100の範囲であり(
図7参照)、伝送ビデオデータ(c)場合は、V_thからV_100*Nの範囲である(
図9参照)。
【0084】
「number of curve types C」の8ビットフィールドは、変換カーブ(マッピングカーブ)のタイプを示す。この「number of curve types C」により、変換カーブとして、変換特性を異にする数種類の並存が可能となる。ここで、変換特性が異なる場合としては、例えば、変換後の最大レベルが違う場合、あるいは、変換後の最大レベルは同じであるが中間の変換レベルが異なる場合などが考えられる。
【0085】
「curve_data」の16ビットフィールドは、変換カーブ(マッピングカーブ)の変換後の値を表す。
図22は、(a),(b),(c)の3種類の変換カーブ(マッピングカーブ)の例を示している。この例は、いずれも変換後の最大レベルをV_100*Nとするものであり、中間の変換レベルが異なるものである。
図23は、
図22に示す(a),(b),(c)の3種類の変換カーブ(マッピングカーブ)に対応した、マッピングカーブ(mapping curve)のテーブルを概略的に示している。
【0086】
図24は、トランスポートストリームTSの構成例を示している。トランスポートストリームTSには、ビデオエレメンタリストリームのPESパケット「PID1:video PES1」が含まれている。このビデオエレメンタリストリームに、トーン・マッピングSEI情報およびHDR・コンバージョンSEI情報が挿入されている。
【0087】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
【0088】
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述の1つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【0089】
このPMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、HDR・シンプル・デスクリプタ(HDR_simple descriptor)あるいはHDR・フル・デスクリプタ(HDR_full descriptor)が配置される。これらのデスクリプタは、上述したように、ビデオストリームに、トーン・マッピングSEI情報やHDR・コンバージョンSEI情報の挿入があることを示すものである。また、このPMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、レベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)が配置される。
【0090】
「受信装置の構成例」
図25は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、HDR処理部205と、色空間変換部206と、表示部207を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、所定のストレージに格納されている制御プログラムに基づいて、受信装置200の各部の動作を制御する。
【0091】
受信部202は、送信装置100から放送波に載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSからビデオストリーム(エレメンタリストリーム)を抽出する。また、システムデコーダ203は、このトランスポートストリームTSから、上述のHDR・シンプル・デスクリプタ(HDR_simple descriptor)あるいはHDR・フル・デスクリプタ(HDR_full descriptor)を抽出し、制御部201に送る。
【0092】
制御部201は、デスクリプタから、ビデオストリームに、トーン・マッピングSEI情報やHDR・コンバージョンSEI情報の挿入があるか否かを認識できる。制御部203は、これらのSEI情報があると認識するとき、例えば、ビデオデコーダ204に対して、それらのSEI情報を積極的に取得するように制御可能となる。
【0093】
また、システムデコーダ203は、このトランスポートストリームTSから、レベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)を抽出し、制御部201に送る。制御部201は、このデスクリプタに含まれるマッピングカーブ(mapping curve)のテーブルに基づき、HDR処理部205における変換カーブ情報を使用した変換処理の制御を行うことができる。
【0094】
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームに対してデコード処理を行って、ベースバンドのビデオデータ(伝送ビデオデータ)を取得する。また、ビデオデコーダ204は、ビデオストリームに挿入されているSEIメッセージを抽出し、制御部201に送る。このSEIメッセージには、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)およびHDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)も含まれる。制御部201は、SEI情報に基づいて、デコード処理や表示処理を制御する。
【0095】
HDR処理部205は、ビデオデコーダ204で得られたビデオデータ(伝送ビデオデータ)に対し、その高レベル側のレベル範囲を、補助情報に基づいて、最大レベルが所定レベルとなるように変換する。この場合、HDR処理部205は、上述したように、伝送ビデオデータ(a),(b),(c)に対応した処理を行う(
図6、
図7、
図9参照)。
このHDR処理部205の詳細については、後述する。
【0096】
色空間変換部206は、HDR処理部205で得られるビデオデータを、YUV色空間からRGB色空間に変換する。表示部207は、色空間変換後のビデオデータにより画像表示を行う。
【0097】
[HDR処理部の構成例]
図26は、HDR処理部205の構成例を示している。HDR処理部205は、クリッピング処理部251と、マーキング処理部252と、レンジマッピング処理部253とを有している。伝送ビデオデータ(a)の場合(
図6参照)、伝送ビデオデータ(decoded pixel data)はクリッピング処理部251に入力され、フィルタ情報を用いた処理が行われる。
【0098】
伝送ビデオデータ(b)の場合(
図7参照)、V_th(threshold_clipping_level)=V_100のときは、伝送ビデオデータ(decoded pixel data)はクリッピング処理部251に入力され、フィルタ情報を用いた処理が行われる。
【0099】
また、この伝送ビデオデータ(b)の場合(
図7参照)、V_th(threshold_clipping_level)<V_100のときは、フィルタ情報を用いた処理と変換カーブ情報を用いた処理のいずれも可能となる。フィルタ情報を用いた処理を行う場合、伝送ビデオデータ(decoded pixel data)はクリッピング処理部251に入力される。また、変換カーブ情報を用いた処理を行う場合、伝送ビデオデータ(decoded pixel data)はレンジマッピング処理部253に入力される。
【0100】
伝送ビデオデータ(c)の場合(
図9参照)、伝送ビデオデータ(decoded pixel data)はレンジマッピング処理部253に入力され、変換カーブ情報を用いた処理が行われる。
【0101】
最初に、フィルタ情報を用いた処理が行われる場合について説明する。クリッピング処理部251は、伝送ビデオデータを構成する画素データから、スレッショルド・クリッピング・レベル(Threshold_clipping_level)を用い、このレベル以上の画素データを再マッピング処理の対象として取り出す。なお、伝送ビデオデータ(a)の場合、スレッショルド・クリッピング・レベル(Threshold_clipping_level)はV_100となる。
【0102】
例えば、
図27(a)が伝送ビデオデータを構成する画素データの一部を示し、白色で示した画素データのみがスレッショルド・クリッピング・レベル以上であるとする。クリッピング処理部251では、
図27(b)に白色で示すように、再マッピング処理の対象の画素データが取り出される。なお、再マッピング処理の対象とならない画素データに関しては、そのままの値をもって、HDR処理部205の出力とする。
【0103】
マーキング処理部252は、再マッピング処理の対象となった画素データ毎に、その周辺の画素データをも使用して、オペレータ・タイプ(Operator_type)で示されるフィルタタイプのフィルタリング操作を行ってレベル分けをする。
図27(c)は、再マッピング処理の対象となった各画素データがレベル分けされた状態を示している。
図27(d)は、例えば、3段階、すなわち(1)「highest level」、(2)「2nd
highest level」、(3)「3rd
highest level」にレベル分けされた状態を示している。なお、レベル分けの段階は、ここでは理解を容易とするために3段階としてあるが、実際にはさらに細かく設定される。
【0104】
レンジマッピング処理部253は、各画素データの値を、レベル分けされた段階に応じた値にマッピングして、出力する。このレンジマッピング処理部253は、レンジ・マックス・パーセント(renge_max_percent)、つまりNの値と、モニタ・ルミナンス・ダイナミック・レンジ(Monitor Luminance dynamic range)を使用して、マッピングする。
【0105】
図28は、レンジマッピングの一例を示している。この例は、レンジ・マックス、パーセント(renge_max_percent)が「4」で、モニタ・ルミナンス・ダイナミック・レンジ(Monitor Luminance dynamic range)が400%である場合を示している。(1)「highest level」の画素データに関しては、表示部207の出力輝度であるアウトプット・ルミナンス・パーセンテージ(Output luminance percentage)が400%となる値にマッピングされる。(2)「2nd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが300%となる値にマッピングされる。さらに、(3)「3rd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが200%となる値にマッピングされる。
【0106】
図29は、レンジマッピングの他の例を示している。“Case 1”から“Case 4”の各例は、説明を簡単とするため、マーキング処理部252では、(1)「highest level」、(2)「2nd
highest level」の2段階にレベル分けされるものとしている。
【0107】
“Case 1”の例は、レンジ・マックス・パーセントが「8」で、モニタ・ルミナンス・ダイナミック・レンジが「800%」である場合を示している。(1)「highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが800%となる値にマッピングされる。(2)「2nd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが400%となる値にマッピングされる。
【0108】
“Case 2”の例は、レンジ・マックス・パーセントが「4」で、モニタ・ルミナンス・ダイナミック・レンジが800%である場合を示している。(1)「highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが400%となる値にマッピングされる。(2)「2nd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが200%となる値にマッピングされる。
【0109】
この例の場合、ビデオデータのダイナミックレンジが400%までであるので、モニタ輝度のダイナミックレンジ800%まであっても、アウトプット・ルミナンス・パーセンテージの最大値は、ビデオデータのダイナミックレンジの400%に対応するように選択される。これにより、高輝度部分が不必要に明るく不自然になることが抑制される。
【0110】
“Case 3”の例は、レンジ・マックス・パーセントが「8」で、モニタ・ルミナンス・ダイナミック・レンジが400%である場合を示している。(1)「highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが400%となる値にマッピングされる。(2)「2nd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが200%となる値にマッピングされる。
【0111】
この例の場合、モニタ輝度のダイナミックレンジが400%までであるので、ビデオデータのダイナミックレンジが400%まであっても、アウトプット・ルミナンス・パーセンテージの最大値は、モニタ輝度のビデオデータのダイナミックレンジの400%に対応するように選択される。これにより、モニタ輝度のダイナミックレンジに合致した表示用のビデオデータを得ることができ、高輝度側がつぶれる、いわゆる白つぶれの状態を回避できる。
【0112】
“Case 4”の例は、レンジ・マックス・パーセントが「8」で、モニタ・ルミナンス・ダイナミック・レンジが100%である場合を示している。(1)「highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが100%となる値にマッピングされる。(2)「2nd
highest level」の画素データに関しては、アウトプット・ルミナンス・パーセンテージが100%未満となる値にマッピングされる。
【0113】
次に、変換カーブ情報を用いた処理が行われる場合について説明する。レンジマッピング処理部253は、伝送ビデオデータのうち、V_thからV_100*Nの変換対象レベル範囲の各画素データの値を、マッピングカーブ(mapping curve)のテーブルを参照して、マッピングして、出力データとする。この場合、変換カーブとして、レンジ・マックス・パーセント(renge_max_percent)、つまりNの値と、モニタ・ルミナンス・ダイナミック・レンジ(Monitor Luminance dynamic range)を使用して決定された変換後の最大レベルを持つものが使用される。
【0114】
この変換後の最大レベルの決定の仕方は、上述したフィルタ情報を用いる場合と同様に行われる(
図29参照)。例えば、レンジ・マックス・パーセントが「8」で、モニタ・ルミナンス・ダイナミック・レンジが「800%」である場合、最大レベルは、アウトプット・ルミナンス・パーセンテージが800%となる値に決定される。また、例えば、レンジ・マックス・パーセントが「4」で、モニタ・ルミナンス・ダイナミック・レンジが800%である場合、最大レベルは、アウトプット・ルミナンス・パーセンテージが400%となる値に決定される。
【0115】
なお、伝送ビデオデータのうち、変換対象レベル範囲以外の各画素データの値に関しては、そのままの値をもって、レンジマッピング処理部253の出力、したがってHDR処理部205の出力とする。
【0116】
図30は、レンジマッピングの一例(Case 5)を示している。この例は、レンジ・マックス、パーセント(renge_max_percent)が「4」で、モニタ・ルミナンス・ダイナミック・レンジ(Monitor Luminance dynamic range)が200%である場合を示している。この場合、最大レベルは、アウトプット・ルミナンス・パーセンテージが200%となる値に決定される。この例では、伝送ビデオデータの最大レベルである「960」は、レベル「480」に変換される。
【0117】
なお、レンジマッピング処理部253は、モニタ・ルミナンス・ダイナミック・レンジ(Monitor Luminance dynamic range)の情報が使用される。受信装置200がセットトップボックス(STB)の場合、この、モニタ・ルミナンス・ダイナミック・レンジに関しては、HDMI経由で、モニタ側のEDIDから得る情報に基づいて判断することが可能である。また、「Range_max_percent」、並びに、SEIメッセージおよびデスクリプタの各要素は、Vender Specific Info Frameに定義することにより、セットトップボックスとモニタとで共有することが可能である。なお、HDMIは登録商標である。
【0118】
図25に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波に載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSからビデオストリーム(エレメンタリストリーム)が抽出される。また、システムデコーダ203では、このトランスポートストリームTSから、HDR・シンプル・デスクリプタ(HDR_simple descriptor)あるいはHDR・フル・デスクリプタ(HDR_full descriptor)を抽出して制御部201に送られる。
【0119】
制御部201では、このデスクリプタにより、ビデオストリームに、トーン・マッピングSEI情報やHDR・コンバージョンSEI情報の挿入があるか否かが認識される。制御部203では、これらのSEI情報があると認識するとき、例えば、ビデオデコーダ204に対して、それらのSEI情報を積極的に取得するように制御が行われる。
【0120】
システムデコーダ204で抽出されるビデオストリームは、ビデオデコーダ204に供給される。ビデオデコーダ204では、このビデオストリームに対してデコード処理が行われて、ベースバンドのビデオデータが生成される。また、ビデオデコーダ204では、このビデオストリームに挿入されているSEIメッセージが抽出され、制御部201に送られる。
【0121】
このSEIメッセージには、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)およびHDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)も含まれる。制御部201では、SEI情報に基づいて、デコード処理や表示処理を制御することが行われる。
【0122】
ビデオデコーダ204で得られたビデオデータ(伝送ビデオデータ)は、HDR処理部205に供給される。HDR処理部205では、伝送ビデオデータに対し、その高レベル側のレベル範囲が、補助情報に基づいて、最大レベルが所定レベルとなるように変換される。
【0123】
HDR処理部206で得られたビデオデータは、色空間変換部206により、YUV色空間からRGB色空間に変換された後、表示部207に供給される。表示部207では、受信ビデオデータによる画像が、送信されるビデオデータの輝度ダイナミックレンジ、さらにはモニタの輝度ダイナミックレンジに応じた輝度ダイナミックレンジで、表示される。
【0124】
上述したように、
図1に示す送受信システム10において、送信装置100は、0%から100%*Nのレベル範囲を持つ入力ビデオデータにガンマカーブを適用して得られた伝送ビデオデータを、受信側で高輝度のレベルを変換するための補助情報と共に送信するものである。したがって、例えば、受信側では、この補助情報により、伝送ビデオデータの高輝度のレベルを変換することが可能となり、受信側において適切な輝度ダイナミックレンジでの表示が可能となる。
【0125】
また、
図1に示す送受信システム10において、送信装置100から受信装置200に送信されるトランスポートストリームTSのレイヤに、ビデオストリームのレイヤに補助情報の挿入があることを示す識別情報が挿入されるものである。したがって、受信側では、ビデオストリームをデコードしなくても、このビデオストリームに補助情報の挿入があることを知ることができ、ビデオストリームから補助情報の抽出を適切に行うことができる。
【0126】
<2.変形例>
[MPEG−DASHベースのストリーム配信システムへの適用]
なお、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。
【0127】
図31は、ストリーム配信システム30の構成例を示している。このストリーム配信システム30は、MPEG−DASHベースのストリーム配信システムである。このストリーム配信システム30は、DASHセグメントストリーマ31およびDASH MPDサーバ32に、N個のIPTVクライアント33-1,33-2,・・・,33-Nが、CDN(Content Delivery Network)34を介して、接続された構成となっている。
【0128】
DASHセグメントストリーマ31は、所定のコンテンツのメディアデータ(ビデオデータ、オーディオデータ、字幕データなど)に基づいて、DASH仕様のストリームセグメント(以下、「DASHセグメント」という)を生成し、IPTVクライアントからのHTTP要求に応じてセグメントを送出する。このDASHセグメントストリーマ31は、ストリーミング専用のサーバであってもよいし、また、ウェブ(Web)サーバで兼用されることもある。
【0129】
また、DASHセグメントストリーマ31は、IPTVクライアント33(33-1,33-2,・・・,33-N)からCDN14を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、CDN34を介して、要求元のIPTVクライアント33に送信する。この場合、IPTVクライアント33は、MPD(Media Presentation Description)ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
【0130】
DASH MPDサーバ32は、DASHセグメントストリーマ31において生成されるDASHセグメントを取得するためのMPDファイルを生成するサーバである。コンテンツマネジメントサーバ(
図31には図示せず)からのコンテンツメタデータと、DASHセグメントストリーマ31において生成されたセグメントのアドレス(url)をもとに、MPDファイルを生成する。
【0131】
MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。IPTVクライアント33では、そのレートの値を参考にして、上述したように、IPTVクライアント33の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
【0132】
図32は、上述のMPDファイルに階層的に配置されている各構造体の関係の一例を示している。
図32(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
【0133】
図32(b)に示すように、ピリオドには、複数のリプレゼンテーション(Representation)が存在する。この複数のリプレゼンテーションには、上述したアダプテーションセット(AdaptationSet)でグルーピングされる、ストリーム属性、例えばレートの異なる同一内容のビデオデータストリームに係るリプレゼンテーション群が存在する。
【0134】
図32(c)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、
図32(d)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
【0135】
なお、アダプテーションセットでグルーピングされている複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、IPTVクライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのない動画配信が可能となる。
【0136】
図33(a)は、セグメント構造を示している。セグメントは、構成する要素の違いにより3種類がある。一つめは、コーデックの初期化情報「Initialization Segment」に加えて、断片化した動画データを格納する「Media Segment」が複数ある構造である。二つ目は、「Media Segment」が一つだけの構造である。三つ目は、コーデックの初期化情報「Initialization Segment」と一体化した「Media Segment」を用いる構造である。
図33(b),(c)は、「Media Segmentが一つだけの構造を用いた場合の、ISOBMFFやMPEG-2TSに対応したセグメントのデータ形式の例を示している。
【0137】
MPEG−DASHベースのストリーム配信システム30に本技術を適用する場合、「Media Segment」の部分に、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)とHDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)が挿入されたビデオストリームが配置される。また、「Initialization Segment」の部分に、HDR・シンプル・デスクリプタ(HDR_simple descriptor)あるいはHDR・フル・デスクリプタ(HDR_full descriptor)と、さらにレベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)が配置される。
【0138】
図34は、MPEG-2TSに対応したセグメントのデータ形式(
図33(c)参照)における「Initialization Segment」内に含まれる情報と、「Media Segment」内に含まれる情報が、トランスポートストリーム内のどの情報であるかを、概略的に示している。なお、上述したように、MPEG−DASHベースのストリーム配信システム30において、IPTVクライアント33(33-1,33-2,・・・,33-N)は、MPDファイルに存在するアドレス(url)の情報に基づいて、「Initialization Segment」および「Media Segment」を取得して、画像表示を行う。
【0139】
図31に示すストリーム配信システム30においても、ビデオストリームのレイヤにガンマカーブ情報や再マッピングのための付加情報を持つSEIメッセージが挿入されると共に、システムレイヤ(コンテナのレイヤ)に、SEIメッセージの挿入の有無の識別情報を持つデスクリプタが挿入されるものである。したがって、IPTVクライアント33においては、
図1に示す送受信システム10における受信装置200と同様の処理が可能となる。
【0140】
[MMT構造伝送ストリームへの適用]
近年、次世代放送向けのトランスポート構造としてMMT(MPEG Media Transport)構造が脚光を浴びつつある。このMMT構造は、IPネットワークとの共存が主な特徴である。このMMT構造伝送ストリームを扱う送受信システムに本技術を適用することも考えられる。
【0141】
図35は、MMT構造伝送ストリームを取り扱う送受信システム40の構成例を示している。この送受信ステム40は、トランスポートパケット送信装置300と、トランスポートパケット受信装置400により構成されている。
【0142】
送信装置300は、MMT構造(ISO/IEC CD 23008-1参照)のトランスポートパケット、つまりMMTパケットが含まれる伝送ストリームを生成し、この伝送ストリームをRF伝送路あるいは通信ネットワーク伝送路を通じて、受信側に送信する。この伝送ストリームには、ペイロードにビデオやオーディオの伝送メディアを含む第1のMMTパケットと、ペイロードに伝送メディアに関する情報を含む第2のMMTパケットが、少なくともフラグメントされたパケットの大きさで時分割的に多重化されている。
【0143】
受信装置400は、送信側から、RF伝送路あるいは通信ネットワーク伝送路を通じて、上述の伝送ストリームを受信する。受信装置400は、伝送ストリームから取り出した伝送メディアを、時刻情報に基づいて取得されたデコード時刻および表示時刻を用いて処理し、画像を表示すると共に音声を出力する。
【0144】
図36は、MMTパケットの構成をツリー形式で示したものである。MMTパケットは、MMTパケットヘッダ(MMT Packet Header)と、MMTペイロードヘッダ(MMT Payload Header)と、MMTペイロード(MMT Payload)により構成される。MMTペイロードには、メッセージ(Message)、MPU(Media Processing Unit)、FEC修正シンボル(FEC Repair Symbol)などが含まれ、これらのシグナリングはMMTペイロードヘッダに含まれるペイロードタイプ(payload_type)により行われる。
【0145】
メッセージには、各種のメッセージ内容がテーブル形式で挿入される。また、MPUは、フラグメント化されて、MFU(MMT Fragment Unit)に細分化されることもある。その場合、各MFUの先頭には、MFUヘッダ(MFU Header)が付加される。MMTペイロードには、ビデオやオーディオのメディアデータに係るMPU、さらには、メタデータに係るMPUが存在する。各MPUを含むMMTパケットは、MMTパケットヘッダに存在するパケットID(Packet_ID)で識別可能とされる。
【0146】
MMT構造伝送ストリームを取り扱う送受信システム40に本技術を適用する場合、MMTペイロードに、トーン・マッピング・インフォメーション・SEIメッセージ(Tone mapping information SEI message)やHDR・コンバージョン・SEIメッセージ(HDR conversion SEI message)が挿入されたビデオストリームが配置される。また、例えば、上述のHDR・シンプル・デスクリプタ(HDR_simple descriptor)あるいはHDR・フル・デスクリプタ(HDR_full descriptor)、さらにレベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)と同様の内容を含むHDR・ディスクリプション・テーブル(HDR description table)を持つメッセージが定義される。
【0147】
図37は、HDR・シンプル・ディスクリプション・テーブルを持つHDR・ディスクリプション・メッセージ(HDR description Message)の構造例(Syntax)を示している。「message_id」の16ビットフィールドは、HDR・ディスクリプション・メッセージであることを示す。「version」の8ビットフィールドは、このメッセージのバージョンを示す。「lengh」の16ビットフィールドは、このメッセージの長さ(サイズ)を示し、以降のバイト数を示す。このHDR・ディスクリプション・メッセージには、HDR・シンプル・ディスクリプション・テーブル(HDR simple description table)が含まれている。
【0148】
図38は、HDR・シンプル・ディスクリプション・テーブルの構造例(Syntax)を示している。「table_id」の8ビットフィールドは、HDR・シンプル・ディスクリプション・テーブルであることを示す。「version」の8ビットフィールドは、このテーブルのバージョンを示す。「table_id」および「version」は、システムでユニークに割り当てられる。「length」の16ビットフィールドは、このテーブルの全体の(サイズ)を示す。「packet_id」の16ビットフィールドは、MMTパケットヘッダに含まれる「packet_id」と同じである。これにより、アセット(asset)レベルでの関連付けが行われる。
【0149】
「tone_mapping_SEI_existed」の1ビットフィールドは、
図18のHDR・シンプル・デスクリプタ(HDR_simple descriptor)におけると同様に、ビデオレイヤ(ビデオストリームのレイヤ)に、トーン・マッピングSEI情報(ガンマカーブ情報)が存在するか否かを示すフラグ情報である。“1”はトーン・マッピングSEI情報が存在することを示し、“0”はトーン・マッピングSEI情報が存在しないことを示す。
【0150】
また、「HDR_conversion_SEI_existed」の1ビットフィールドは、
図18のHDR・シンプル・デスクリプタ(HDR_simple descriptor)におけると同様に、ビデオレイヤ(ビデオストリームのレイヤ)に、HDR・コンバージョンSEI情報(付加情報)が存在するか否かを示すフラグ情報である。“1”はHDR・コンバージョンSEI情報が存在することを示し、“0”はHDR・コンバージョンSEI情報が存在しないことを示す。
【0151】
図39は、HDR・ディスクリプション・テーブルを持つHDR・ディスクリプション・メッセージ(HDR description Message)の他の構造例(Syntax)を示している。「message_id」の16ビットフィールドは、HDR・ディスクリプション・メッセージであることを示す。「version」の8ビットフィールドは、このメッセージのバージョンを示す。「length」の16ビットフィールドは、このメッセージの長さ(サイズ)を示し、以降のバイト数を示す。このHDR・ディスクリプション・メッセージには、HDR・フル・ディスクリプション・テーブル(HDR full description table)が含まれている。
【0152】
図40は、HDR・フル・ディスクリプション・テーブルの構造例(Syntax)を示している。「table_id」の8ビットフィールドは、HDR・シンプル・ディスクリプション・テーブルであることを示す。「version」の8ビットフィールドは、このテーブルのバージョンを示す。「table_id」および「version」は、システムでユニークに割り当てられる。「length」の16ビットフィールドは、このテーブルの全体の(サイズ)を示す。「packet_id」の16ビットフィールドは、MMTパケットヘッダに含まれる「packet_id」と同じである。これにより、アセット(asset)レベルでの関連付けが行われる。
【0153】
詳細説明は省略するが、このHDR・フル・ディスクリプション・テーブルには、「tone_mapping_SEI_existed」、「HDR_conversion_SEI_existed」をはじめとして、
図20のHDR・フル・デスクリプタ(HDR_full descriptor)におけると同様の情報が含まれている。
【0154】
図41は、レベル・マッピング・カーブ・テーブルを持つHDR・ディスクリプション・メッセージの構造例を示す図である。「message_id」の16ビットフィールドは、HDR・ディスクリプション・メッセージであることを示す。「version」の8ビットフィールドは、このメッセージのバージョンを示す。「length」の16ビットフィールドは、このメッセージの長さ(サイズ)を示し、以降のバイト数を示す。このHDR・ディスクリプション・メッセージには、レベル・マッピング・カーブ・テーブル(Level_mapping_curve_table)が含まれている。
【0155】
図42は、レベル・マッピング・カーブ・テーブルの構造例(Syntax)を示している。「table_id」の8ビットフィールドは、レベル・マッピング・カーブ・テーブルであることを示す。「version」の8ビットフィールドは、このテーブルのバージョンを示す。「table_id」および「version」は、システムでユニークに割り当てられる。「length」の16ビットフィールドは、このテーブルの全体の(サイズ)を示す。「packet_id」の16ビットフィールドは、MMTパケットヘッダに含まれる「packet_id」と同じである。これにより、アセット(asset)レベルでの関連付けが行われる。
【0156】
以下、詳細説明は省略するが、
図21におけるレベル・マッピング・カーブ・デスクリプタ(level_mapping_curve descriptor)と同様に、「mapping_curve_table_id」、「number of levels N」、「number of curve types C」および「curve_data」の情報が含まれている。
【0157】
なお、上述したように、MPEG−DASHベースのストリーム配信システム30において、IPTVクライアント33(33-1,33-2,・・・,33-N)は、MPDファイルに存在するアドレス(url)の情報に基づいて、「Initialization Segment」および「Media Segment」を取得して、画像表示を行う。そして、その際に、
図1に示す送受信システム10における受信装置200と同様に、SEIメッセージを用いた処理が可能となる。
【0158】
図35に示す送受信システム40においても、ビデオストリームのレイヤにガンマカーブ情報や再マッピングのための付加情報を持つSEIメッセージが挿入されると共に、システムレイヤ(コンテナのレイヤ)に、SEIメッセージの挿入の有無の識別情報を持つディスクリプション・テーブルが挿入されるものである。したがって、トランスポートパケット受信装置400においては、
図1に示す送受信システム10における受信装置200と同様の処理が可能となる。
【0159】
また、本技術は、以下のような構成を取ることもできる。
(1)0%から100%*N(Nは1より大きい数)のレベル範囲を持つ入力ビデオデータにガンマカーブを適用して伝送ビデオデータを得る処理部と、
上記伝送ビデオデータを、受信側で高輝度のレベルを変換するための補助情報と共に送信する送信部とを備える
送信装置。
(2)上記送信部は、上記伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信し、
上記ビデオストリームのレイヤおよび/または上記コンテナのレイヤに上記補助情報を挿入する補助情報挿入部を備える
前記(1)に記載の送信装置。
(3)上記ビデオストリームのレイヤに上記補助情報の挿入があることを示す識別情報を上記コンテナのレイヤに挿入する識別情報挿入部を備える
前記(2)に記載の送信装置。
(4)上記処理部は、
上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータに対し、さらに、上記入力ビデオデータの100%から100%*Nのレベルに相当するレベルを、上記入力ビデオデータの100%に相当するレベルに変換する処理を行って上記伝送ビデオデータを得る
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記補助情報は、上記伝送ビデオデータの上記入力ビデオデータの100%に相当するレベルの画素データに適用するフィルタの情報を含む
前記(4)に記載の送信装置。
(6)上記処理部は、
上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータに対し、さらに、上記入力ビデオデータの100%に相当するレベル以下の閾値から上記入力ビデオデータの100%*Nに相当するレベルまでを、上記閾値から上記入力ビデオデータの100%に相当するレベルまでの間のレベルに変換する処理を行って上記伝送ビデオデータを得る
前記(1)から(3)のいずれかに記載の送信装置。
(7)上記補助情報は、上記伝送ビデオデータの上記閾値から上記入力ビデオデータの100%に相当するレベルまでの画素データに適用するフィルタの情報を含む
前記(6)に記載の送信装置。
(8)上記補助情報は、上記伝送ビデオデータの上記閾値から上記入力ビデオデータの100%に相当するレベルまでの画素データに適用する変換カーブの情報を含む
前記(6)に記載の送信装置。
(9)上記処理部は、
上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータをそのまま上記伝送ビデオデータにする
前記(1)から(3)のいずれかに記載の送信装置。
(10)上記補助情報は、上記伝送ビデオデータの高レベル側に適用する変換カーブの情報を含む
前記(9)に記載の送信装置。
(11)0%から100%*N(Nは1より大きい数)のレベル範囲を持つ入力ビデオデータにガンマカーブを適用して伝送ビデオデータを得る処理ステップと、
上記伝送ビデオデータを、受信側で高輝度のレベルを変換するための補助情報と共に送信する送信ステップとを備える
送信方法。
(12)0%から100%*N(Nは1より大きい数)のレベル範囲を持つ入力ビデオデータにガンマカーブを適用して得られた伝送ビデオデータを受信する受信部と、
上記伝送ビデオデータの高レベル側のレベル範囲を、該伝送ビデオデータと共に受信される補助情報に基づいて、最大レベルが所定レベルとなるように変換する処理部とを備える
受信装置。
(13)上記処理部は、
上記所定レベルを、上記補助情報に含まれる上記Nの情報およびモニタの輝度ダイナミックレンジの情報に基づいて決定する
前記(12)に記載の受信装置。
(14)上記伝送ビデオデータは、上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータに対し、さらに、上記入力ビデオデータの100%から100%*Nのレベルに相当するレベルを、上記入力ビデオデータの100%に相当するレベルに変換する処理を行って得られたビデオデータであり、
上記処理部は、
上記伝送ビデオデータの、上記入力ビデオデータの100%に相当するレベルの各画素データのレベルを、上記補助情報に含まれるフィルタ情報で特定されるフィルタを適用して、上記入力ビデオデータの100%に相当するレベルから上記所定のレベルまでの間のレベルに変換する
前記(12)または(13)に記載の受信装置。
(15)上記伝送ビデオデータは、上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータに対し、さらに、上記入力ビデオデータの100%に相当するレベル以下の閾値から上記入力ビデオデータの100%*Nに相当するレベルまでを、上記閾値から上記入力ビデオデータの100%に相当するレベルまでの間のレベルに変換する処理を行って得られたビデオデータであり、
上記処理部は、
上記伝送ビデオデータの、上記閾値から上記入力ビデオデータの100%に相当するレベルまでの各画素データを、上記補助情報に含まれるフィルタ情報で特定されるフィルタを適用して、上記閾値から上記所定レベルまでの間のレベルに変換する
前記(12)または(13)に記載の受信装置。
(16)上記伝送ビデオデータは、上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータに対し、さらに、上記入力ビデオデータの100%に相当するレベル以下の閾値から上記入力ビデオデータの100%*Nに相当するレベルまでを、上記閾値から上記入力ビデオデータの100%に相当するレベルまでの間のレベルに変換する処理を行って得られたビデオデータであり、
上記処理部は、
上記伝送ビデオデータの、上記閾値から上記入力ビデオデータの100%に相当するレベルまでの各画素データを、上記補助情報に含まれる変換カーブ情報を適用して、上記閾値から上記所定レベルまでの間のレベルに変換する
前記(12)または(13)に記載の受信装置。
(17)上記伝送ビデオデータは、上記入力ビデオデータに上記ガンマカーブを適用して得られた出力ビデオデータそのままのビデオデータであり、
上記処理部は、
上記伝送ビデオデータの、上記入力ビデオデータの100%に相当するレベル以下の閾値から上記入力ビデオデータの100%*Nに相当するレベルまでの各画素データを、上記補助情報に含まれる変換カーブ情報を適用して、上記閾値から上記入力ビデオデータのL%*100(LはN以下の数)に相当する上記所定レベルまでの間のレベルに変換する
前記(12)または(13)に記載の受信装置。
(18)0%から100%*N(Nは1より大きい数)のレベル範囲を持つ入力ビデオデータにガンマカーブを適用して得られた伝送ビデオデータを受信する受信ステップと、
上記伝送ビデオデータの高レベル側のレベル範囲を、該伝送ビデオデータと共に受信される補助情報に基づいて、最大レベルが所定レベルとなるように変換する処理ステップとを備える
受信方法。
【0160】
本技術の主な特徴は、HDRの入力ビデオデータにガンマカーブを適用して得られた伝送ビデオデータを、受信側で高輝度のレベルを変換するための補助情報(フィルタ情報、変換カーブ情報)と共に送信することで、受信側において適切な輝度ダイナミックレンジでの表示を可能としたことである(
図10参照)。