(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022097593
(43)【公開日】2022-06-30
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
H04N 21/236 20110101AFI20220623BHJP
H04N 21/434 20110101ALI20220623BHJP
H04N 21/84 20110101ALI20220623BHJP
H04N 19/46 20140101ALI20220623BHJP
H04N 19/85 20140101ALI20220623BHJP
H04N 5/232 20060101ALI20220623BHJP
H04N 5/222 20060101ALI20220623BHJP
【FI】
H04N21/236
H04N21/434
H04N21/84
H04N19/46
H04N19/85
H04N5/232 300
H04N5/222
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022075128
(22)【出願日】2022-04-28
(62)【分割の表示】P 2021061179の分割
【原出願日】2015-12-16
(31)【優先権主張番号】P 2014267034
(32)【優先日】2014-12-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
(57)【要約】
【課題】HDR光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を良好に行い得るようにする。
【解決手段】ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る。この伝送ビデオデータにエンコード処理を施してビデオストリームを得る。このビデオストリームを含む所定フォーマットのコンテナを送信する。ビデオストリームのパラメータセット領域に、ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る光電変換部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する情報挿入部を備える
送信装置。
【請求項2】
上記パラメータセット領域は、SPS NALユニットの領域である
請求項1に記載の送信装置。
【請求項3】
上記情報挿入部は、上記コンテナのレイヤに、上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報をさらに挿入する
請求項1に記載の送信装置。
【請求項4】
上記識別情報には、上記ビデオストリームが通常ダイナミックレンジとの表示互換性があるか否を示す情報が付加される
請求項3に記載の送信装置。
【請求項5】
上記識別情報には、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が付加される
請求項3に記載の送信装置。
【請求項6】
上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、上記識別情報を、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する
請求項3に記載の送信装置。
【請求項7】
上記コンテナは、MMTストリームであり、
上記情報挿入部は、上記識別情報を、MMT・パッケージ・テーブルの配下に挿入する
請求項3に記載の送信装置。
【請求項8】
上記情報挿入部は、上記ビデオストリームの上記パラメータセット領域とは異なる領域に、表示制御のためのメタ情報をさらに挿入する
請求項1に記載の送信装置。
【請求項9】
上記表示制御のためのメタ情報は、ピーク輝度情報を含む
請求項8に記載の送信装置。
【請求項10】
上記表示制御のためのメタ情報は、表示輝度調整を許容する領域を示す領域情報を含む
請求項8に記載の送信装置。
【請求項11】
上記表示制御のためのメタ情報は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報を含む
請求項8に記載の送信装置。
【請求項12】
上記異なる領域は、SEI NALユニットの領域である
請求項8に記載の送信装置。
【請求項13】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る光電変換ステップと、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコードステップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する情報挿入ステップを有する
送信方法。
【請求項14】
伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記デコード部で得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換部を備え、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものであり、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換の特性に対応した電光変換特性を示すメタ情報が挿入されており、
上記ビデオストリームから上記メタ情報を抽出する情報抽出部をさらに備え、
上記電光変換部は、上記情報抽出部で抽出された上記メタ情報が示す電光変換特性を用いる
受信装置。
【請求項15】
上記パラメータセット領域は、SPS NALユニットの領域である
請求項14に記載の受信装置。
【請求項16】
上記コンテナのレイヤに、上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報が挿入されており、
上記情報抽出部は、上記識別情報に基づいて上記ビデオストリームのパラメータセット領域から上記メタ情報を抽出する
請求項14に記載の受信装置。
【請求項17】
上記ビデオストリームの上記パラメータセット領域とは異なる領域に表示制御のためのメタ情報が含まれており、
上記表示制御のためのメタ情報に基づいて上記表示用ビデオデータに表示輝度調整を行う輝度調整部をさらに備える
請求項14に記載の受信装置。
【請求項18】
上記表示制御のためのメタ情報は表示輝度調整を許容する領域を示す領域情報を含み、
上記輝度調整部は、上記表示輝度調整を許容する領域で上記表示輝度調整を行う
請求項17に記載の受信装置。
【請求項19】
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が挿入されており、
上記輝度調整部は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が禁止されることを示すとき、上記表示用ビデオデータに表示輝度調整を行わない
請求項17に記載の受信装置。
【請求項20】
受信部により、伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコードステップと、
上記デコードステップで得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換ステップを有し、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものであり、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換の特性に対応した電光変換特性を示すメタ情報が挿入されており、
上記電光変換ステップでは、上記メタ情報が示す電光変換特性を用いる
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信する送信装置等に関する。
【背景技術】
【0002】
従来、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信することが考えられている。以下、ハイダイナミックレンジを、適宜、「HDR」と表記する。例えば、非特許文献1には、従来受信機による受信を考慮した、従来の光電変換特性(ガンマ特性)との互換領域を含むHDR光電変換特性(新ガンマ特性)についての記載がある。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Tim Borer, “Non-Linear Opto-Electrical Transfer Functions for High Dynamic Range Television”, Research & Development White Paper WHP 283, July 2014
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、HDR光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を良好に行い得るようにすることにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る光電変換部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する情報挿入部を備える
送信装置にある。
【0006】
本技術において、光電変換部により、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換が行われて伝送ビデオデータが得られる。エンコード部により、伝送ビデオデータにエンコード処理が施されてビデオストリームが得られる。送信部により、このビデオストリームを含む所定フォーマットのコンテナが送信される。
【0007】
情報挿入部により、ビデオストリームのパラメータセット領域にハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報が挿入される。例えば、パラメータセット領域は、SPS NALユニットの領域である、ようにされてもよい。
【0008】
このように本技術においては、ビデオストリームのパラメータセット領域にハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報が挿入されるものである。そのため、HDR光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を良好に行い得る。
【0009】
また、本技術において、例えば、情報挿入部は、コンテナのレイヤに、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報をさらに挿入する、ようにされてもよい。この識別情報により受信側ではビデオストリームがハイダイナミックレンジに対応していることを容易に認識でき、ビデオストリームのパラメータセット領域からハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を抽出して、伝送ビデオデータに適切な電光変換を行うことが可能となる。
【0010】
この場合、例えば、識別情報には、ビデオストリームが通常ダイナミックレンジとの表示互換性があるか否を示す情報が付加される、ようにされてもよい。また、この場合、例えば、識別情報には、ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が付加される、ようにされてもよい。
【0011】
また、この場合、例えば、コンテナは、トランスポートストリームであり、情報挿入部は、識別情報を、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。また、この場合、例えば、コンテナは、MMTストリームであり、情報挿入部は、識別情報を、MMT・パッケージ・テーブルの配下に挿入する、ようにされてもよい。
【0012】
また、本技術は、例えば、情報挿入部は、ビデオストリームのパラメータセット領域とは異なる領域に、表示制御のためのメタ情報をさらに挿入する、ようにされてもよい。この場合、例えば、表示制御のためのメタ情報は、ピーク輝度情報を含む、ようにされてもよい。また、この場合、例えば、表示制御のためのメタ情報は、表示輝度調整を許容する領域を示す領域情報を含む、ようにされてもよい。この場合、表示制御のためのメタ情報を用いて表示制御を適切に行い得るようになる。
【0013】
また、この場合、例えば、表示制御のためのメタ情報は、ビデオストリームの表示輝度調整が禁止されるか否かを示す情報を含む、ようにされてもよい。これにより、表示輝度に関して制作側の意図を超える調整を抑制でき、あるいは、視聴者の眼の疲労を抑制できる。
【0014】
また、本技術の他の概念は、
伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記デコード部で得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換部を備え、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものであり、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換の特性に対応した電光変換特性を示すメタ情報が挿入されており、
上記ビデオストリームから上記メタ情報を抽出する情報抽出部をさらに備え、
上記電光変換部は、上記情報抽出部で抽出された上記メタ情報が示す電光変換特性を用いる
受信装置にある。
【0015】
本技術において、受信部により、伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが受信される。デコード部により、ビデオストリームにデコード処理が施されて伝送ビデオデータが得られる。そして、電光変換部により、伝送ビデオデータに電光変換が行われて表示用ビデオデータが得られる。
【0016】
伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものである。ビデオストリームのパラメータセット領域にハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報が挿入されている。情報抽出部により、ビデオストリームからメタ情報が抽出される。電光変換部では、このメタ情報が示す電光変換特性が用いられて、伝送ビデオデータに電光変換が施される。例えば、パラメータセット領域は、SPS NALユニットの領域である、ようにされてもよい。
【0017】
このように本技術においては、ビデオストリームのパラメータセット領域からハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報が抽出され、このメタ情報が示す電光変換特性が用いられて伝送ビデオデータに電光変換が行われるものである。そのため、ハイダイナミックレンジ光電変換特性を用いて得られた伝送ビデオデータに対する電光変換処理を良好に行い得る。
【0018】
なお、本技術において、例えば、コンテナのレイヤに、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報が挿入されており、情報抽出部は、識別情報に基づいてビデオストリームのパラメータセット領域からメタ情報を抽出する、ようにされてもよい。この場合、ビデオストリームのパラメータセット領域からメタ情報の抽出が確実に行われ、従って、伝送ビデオデータに適切な電光変換を行うことが可能となる。
【0019】
また、本技術において、例えば、ビデオストリームのパラメータセット領域とは異なる領域に表示制御のためのメタ情報が含まれており、表示制御のためのメタ情報に基づいて表示用ビデオデータに表示輝度調整を行う輝度調整部をさらに備える、ようにされてもよい。この場合、例えば、表示制御のためのメタ情報は表示輝度調整を許容する領域を示す領域情報を含み、輝度調整部は、表示輝度調整を許容する領域で表示輝度調整を行う、ようにされてもよい。この場合、表示輝度調整を適切に行い得る。
【0020】
また、この場合、例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が挿入されており、輝度調整部は、ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が禁止されることを示すとき、表示用ビデオデータに表示輝度調整を行わない、ようにされてもよい。これにより、表示輝度に関して制作側の意図を超える調整を抑制でき、あるいは、視聴者の眼の疲労を抑制できる。
【発明の効果】
【0021】
本技術によれば、HDR光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0022】
【
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【
図2】送受信システムを構成する送信装置の構成例を示すブロック図である。
【
図3】HDR光電変換の特性を説明するための図である。
【
図4】HDR電光変換特性のタイプで、直接的あるいは間接的に、リファレンスレベル「reference level」や閾値レベル「threshold level」を指定することが可能であることを説明するための図である。
【
図5】符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。
【
図6】符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。
【
図7】ダイナミックレンジ・SEIメッセージの構造例を示す図である。
【
図8】ダイナミックレンジ・SEIメッセージの構造例における主要な情報の内容を示す図である。
【
図9】ハイダイナミックレンジ・デスクリプタの構造例を示す図である。
【
図10】ハイダイナミックレンジ・デスクリプタの構造例における主要な情報の内容を示す図である。
【
図11】トランスポートストリームの構成例を示す図である。
【
図12】送受信システムを構成する受信装置の構成例を示すブロック図である。
【
図13】HDR電光変換の特性、HDR表示マッピング処理などを説明するための図である。
【
図14】送受信システムの他の構成例を示すブロック図である。
【
図15】セットトップボックスからモニタに送る“Vender Specific InfoFrame”のパケットの第7バイト以降の構造例を示す図である。
【
図16】“Vender Specific InfoFrame”のパケットの各構造例における主要な情報の内容を示す図である。
【
図17】MMTストリームの構成例を示す図である。
【発明を実施するための形態】
【0023】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0024】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
【0025】
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、HDRビデオデータにHDR光電変換を行って得られた伝送ビデオデータにエンコード処理を施して得られたビデオストリームが含まれる。
【0026】
ビデオストリームのパラメータセット領域に、HDR光電変換特性に対応した電光変換特性を示すメタ情報が挿入される。また、コンテナのレイヤに、ビデオストリームがHDRに対応していることを示す識別情報が挿入されている。この識別情報には、ビデオストリームが通常ダイナミックレンジとの表示互換性があるか否かを示す情報やビデオストリームの表示輝度調整が禁止されているか否かを示す情報などが含まれる。以下、通常ダイナミックレンジを、適宜、「LDR」と表記する。
【0027】
また、ビデオストリームの、パラメータセット領域とは異なる領域に、表示制御のための情報が挿入される。この表示制御のためのメタ情報には、ピーク輝度情報や表示輝度調整を許容する領域を示す領域情報、ビデオストリームの表示輝度調整が禁止されているか否かを示す情報などが含まれる。
【0028】
受信装置200は、受信コンテナに含まれているビデオストリームにデコード処理を施して伝送ビデオデータを得る。受信装置200は、ビデオストリームのパラメータセット領域に挿入されているメタ情報が示す伝送変換特性に基づいて、伝送ビデオデータに光電変換を行って表示用ビデオデータを得る。この場合、受信装置200は、コンテナのレイヤに挿入されているビデオストリームがハイダイナミックレンジに対応していることを示す識別情報に基づいて、ビデオストリームのパラメータセット領域に挿入されているメタ情報を抽出する。
【0029】
また、受信装置200は、ビデオストリームのパラメータセット領域に挿入されている表示制御のための情報に基づいて、表示用ビデオデータに、表示マッピング処理、つまり表示輝度調整をする。コンテナのレイヤおよび/またはビデオストリームのレイヤに挿入されている表示輝度調整が禁止されるか否かを示す情報が禁止されることを示すとき、この表示輝度調整は行われない。
【0030】
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、HDRカメラ102と、HDR光電変換部103と、ビデオエンコーダ104と、システムエンコーダ105と、送信部106を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
【0031】
HDRカメラ102は、被写体を撮像して、HDR(High Dynamic Range)ビデオデータを出力する。このHDRビデオデータは、従来のSDR画像の白ピークの明るさを超える0~100%*N(Nは1より大きい数)、例えば0~1000%などのコントラスト比を持つ。ここで、100%のレベルは、例えば、白の輝度値100cd/m2に相当する。
【0032】
マスターモニタ103aは、HDRカメラ102で得られるHDRビデオデータをグレーディングするためのモニタである。このマスターモニタ103aは、HDRビデオデータに対応した、あるいは、HDRビデオデータをグレーディングするのに適した表示輝度レベルを持っている。
【0033】
HDR光電変換部103は、HDRカメラ102で得られるHDRビデオデータに対して、HDR光電変換特性を適用して、伝送ビデオデータV1を得る。
図3の実線a、破線bは、それぞれ、HDR光電変換特性を示すHDR OETFカーブの一例である。また、
図3の破線cは、SDR光電変換特性を示すSDR OETFカーブである。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。
【0034】
HDR光電変換特性は、上述の
図3の実線a、破線bに示すHDR光電変換特性のように、SDR光電変換特性との互換領域を含んだものとすることができる。すなわち、入力輝度レベルが両特性の互換限界値までは、両特性の曲線は一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルSPとなる。HDR光電変換特性において、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。
【0035】
HDR表示基準閾値CLは、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域と、CEモニタ依存とする領域との境界を示す。入力輝度レベルがHDR表示基準閾値CLであるとき、例えば、
図3の実線aのHDR OETFカーブにおいて、伝送符号値は閾値レベルCPとなる。なお、SDR光電変換特性において、入力輝度レベルがSDR特性表現限界輝度SLであるとき、伝送符号値はピークレベルMPとなる。ここで、SLは100cd/m2である。なお、HDR表示基準閾値CLは互換限界値と一致するようにすることもでき、その場合閾値レベルCPを互換レベルSPで代用することも可能である。
【0036】
図2に戻って、ビデオエンコーダ104は、伝送ビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ104は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
【0037】
この際、ビデオエンコーダ104は、ビデオストリームのパラメータセット領域に、HDR光電変換特性に対応したHDR電光変換特性を示すメタ情報を挿入する。この実施の形態において、ビデオエンコーダ104は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、メタ情報「Transfer characteristics」を挿入する。
【0038】
このメタ情報「Transfer characteristics」は、HDR電光変換特性を指定する。すなわち、この「Transfer characteristics」は、HDR電光変換特性のタイプ“New Type”を示す。この場合、直接的あるいは間接的に、リファレンスレベル「reference level」や閾値レベル「threshold level」を指定することが可能である。ここで、リファレンスレベル「reference level」は、例えば白の輝度値100cd/m2に相当する100%とされる。また、閾値レベル「threshold level」は、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域と、CEモニタ依存とする領域との境界を示す。
【0039】
直接的である場合には、
図4(a)に示すように、VUIの識別値に、「reference level」、「threshold level」が定義されるものである。この場合、VUIのセマンティクス規定において各要素が記載されて参照されることを示す。なお、必ずしも「reference level」と「threshold level」とが別に規定されることはなく、「Reference level」=「Threshold level」で、どちらか一つのレベルが規定されることも可能である。
【0040】
間接的である場合には、
図4(b)に示すように、VUIの識別値に、「reference level」、「threshold level」が定義されないものである。この場合、VUIのセマンティクス規定において各要素は記載されない。この場合、VUIで指定される「Transfer characteristics 」を定義する規格において、“New Type”の特性として、
Reference level = Lr ( Lx > Lr > Lc )
Threshold level = Lt ( Ly > Lt > Lr )
が規定されていることを示す。なお、必ずしも「reference level」と「threshold level」とが別に規定されることはなく、「Reference level」=「Threshold level」で、どちらか一つのレベルが規定されることも可能である。
【0041】
また、ビデオエンコーダ104は、ビデオストリームのパラメータセット領域とは別の領域に、表示制御のためのメタ情報を挿入する。この実施の形態において、ビデオエンコーダ104は、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、ダイナミックレンジ・SEIメッセージ(Dynamic Range SEI message)を挿入する。
【0042】
図5は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、
図6は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。
図5、
図6に示すように、ダイナミックレンジ・SEIメッセージは、SEIメッセージ群「Suffix_SEIs」として配置されるようにしてもよい。
【0043】
図7は、ダイナミックレンジ・SEIメッセージの構造例(Syntax)を示している。
図8は、その構造例における主要な情報の内容(Semantics)を示している。「transfer_characteristics」の8ビットフィールドは、HDR電光変換特性を指定する。すなわち、このフィールドはHDR電光変換特性のタイプ“New Type”を示す。
【0044】
「number_of_bits」の8ビットフィールドは、符号化画素ビット数を示す。「minimum_brightness_value」の16ビットフィールドは、最小レベルの輝度(cd/m2)を示す。「peak_level」の16ビットフィールドは、最大レベルの相対値(%)を示す。「peak_level_brightness」の16ビットフィールドは、最大レベルの輝度(cd/m2)を示し、
図3におけるピーク輝度PLに対応する。
【0045】
「compliant_threshold_level」の16ビットフィールドは、表示レベルマッピングの際の閾値(%)を示す。「compliant_threshold_level_value」の16ビットフィールドは、表示レベルマッピングの際の閾値となる輝度(cd/m2)を示し、
図3におけるHDR表示基準閾値CLに対応する。なお、「Compliant_threshold_level」、「Compliant_threshold_level_value」の閾値情報は、リファレンスの輝度を示す100%とリファレンスの輝度として送られることも可能である。「mapping_protection_flag」のフラグは、デコード後の表示マッピング(表示輝度調整)を禁止するか否かを示す。“1”は、表示マッピングを禁止することを示す。“0”は、表示マッピングを禁止しないことを示す。
【0046】
図2に戻って、システムエンコーダ105は、ビデオエンコーダ104で生成されたビデオストリームVSを含むトランスポートストリームTSを生成する。そして、送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
【0047】
この際、システムエンコーダ105は、トランスポートストリーム(コンテナ)のレイヤに、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報を挿入する。この実施の形態において、システムエンコーダ105は、プログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に、ハイダイナミックレンジ・デスクリプタ(High Dynamic Range descriptor)を挿入する。
【0048】
図9は、ハイダイナミックレンジ・デスクリプタの構造例(Syntax)を示している。
図10は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ハイダイナミックレンジ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
【0049】
「HDR_flag」のフラグは、サービスストリーム(ビデオストリーム)がHDRに対応するものかどうかを示す。“1”は、ビデオストリームはHDR対応であり、VUIがHDR特性をもつか、あるいはVUIは従来通りでSEIがHDR情報を示すか、あるいはVUIがHDR特性でSEIもHDR情報をもつか、のいずれかであることを示す。 “0”は、ビデオストリームはHDRに対応しないことを示す。
【0050】
「SDR_compatible_flag」のフラグは、サービスストリーム(ビデオストリーム)がHDRに対応する場合に、SDRとの表示互換性があるかどうかを示す。“1”は、SDRとの表示互換性があることを示す。“0”は、SDRとの表示互換性がないことを示す。「mapping_protection flag」のフラグは、サービスストリーム(ビデオストリーム)が表示マッピング(表示輝度調整)を禁止するかどうかを示す。“1”は、表示マッピングを禁止することを示す。“0”は、表示マッピングを禁止しないことを示す。
【0051】
図2に示す送信装置100の動作を簡単に説明する。HDRカメラ102で撮像されて得られたHDRビデオデータは、HDR光電変換部103に供給される。HDRカメラ102で得られるHDRビデオデータは、マスターモニタ103aを用いてグレーディングされる。このHDR光電変換部103では、このHDRビデオデータに対してHDR光電変換特性(HDR OETFカーブ)が適用されて光電変換が行われ、伝送ビデオデータV1が得られる。この伝送ビデオデータV1は、ビデオエンコーダ104に供給される。
【0052】
ビデオエンコーダ104では、伝送ビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ104では、後段に備えるストリームフォーマッタにより、この符号化ビデオデータを含むビデオストリームが生成される。
【0053】
この際、ビデオエンコーダ104では、ビデオストリームのレイヤに、HDR光電変換特性に対応したHDR電光変換特性を示すメタ情報が挿入される。すなわち、ビデオエンコーダ104では、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、メタ情報「Transfer characteristics」が挿入される。
【0054】
また、ビデオエンコーダ104では、ビデオストリームのレイヤに、表示制御のためのメタ情報が挿入される。すなわち、ビデオエンコーダ104では、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、ハイダイナミックレンジ・SEIメッセージが挿入される。
【0055】
ビデオエンコーダ104で生成されたビデオストリームVSは、システムエンコーダ105に供給される。このシステムエンコーダ105では、ビデオストリームを含むMPEG2のトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
【0056】
この際、システムエンコーダ105では、トランスポートストリーム(コンテナ)のレイヤに、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報が挿入される。すなわち、システムエンコーダ105では、プログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に、ハイダイナミックレンジ・デスクリプタ(High Dynamic Range descriptor)が挿入される。
【0057】
[トランスポートストリームTSの構成]
図11は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES1」が存在する。アクセスユニットのSPSのVUIの領域に、HDR電光変換特性を指定するメタ情報「Transfer characteristics」が挿入される。また、アクセスユニットに、ピークレベル「Peak level」、閾値レベル「threshold level」、マッピング・プロテクション・フラグ「mapping_protection_flag」などが記述されたダイナミックレンジ・SEIメッセージが挿入される。
【0058】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
【0059】
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)が存在する。ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【0060】
このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES」に付与されるPID1を示すものとされる。デスクリプタの一つとして、HDRフラグ「HDR_flag」、SDRコンパチブルフラグ「SDR_compatible_flag」、マッピング・プロテクション・フラグ「mapping_protection_flag」などが記述されたハイダイナミックレンジ・デスクリプタが挿入される。
【0061】
また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Service Information)としてのEIT(Event Information Table)が含まれている。このEITの配下に、ハイダイナミックレンジ・デスクリプタを挿入することも考えられる。
【0062】
「受信装置の構成例」
図12は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、HDR電光変換部205と、HDR表示マッピング部206と、CEモニタ207を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。
【0063】
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSからビデオストリーム(エレメンタリストリーム)VSを抽出する。また、システムデコーダ203は、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報を抽出し、制御部201に送る。
【0064】
この実施の形態においては、この抽出情報に、ハイダイナミックレンジ・デスクリプタ(
図9参照)の情報も含まれる。制御部201は、ハイダイナミックレンジ・デスクリプタの「HDR flag」が“1”であることから、ビデオストリームがHDRに対応することを認識し、また、HDR表示の際にSEI(ダイナミックレンジ・SEI)を参照すべきことを認識する。
【0065】
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理を行って、伝送ビデオデータV1を出力する。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
【0066】
この実施の形態においては、制御部201が上述したように、ビデオストリームがHDRに対応することを認識し、また、HDR表示の際にSEIを参照すべきことを認識することから、SPS NALユニットのVUIの領域に挿入されているHDR電光変換特性を指定するメタ情報「Transfer characteristics」やダイナミックレンジ・SEIメッセージ(
図7参照)も確実に抽出される。
【0067】
制御部201は、HDR電光変換部205に、メタ情報「Transfer characteristics」が指定するHDR電光変換特性、つまり送信側で用いられたHDR光電変換特性に対応したHDR電光変換特性を設定する。HDR電光変換部205は、ビデオデコーダ204から出力される伝送ビデオデータV1に、設定されたHDR電光変換特性を適用して、HDR画像を表示するための表示用ビデオデータを得る。
【0068】
図13の実線aは、HDR電光変換特性を示すHDR EOTFカーブ(Type A)である。このHDR EOTFカーブ(Type A)は、
図3の実線aに示すHDR OETFカーブに対応している。また、
図13の破線bは、他のHDR電光変換特性を示すHDR EOTFカーブ(Type B)である。このHDR EOTFカーブ(Type B)は、
図3の破線bに示すHDR OETFカーブに対応している。なお、
図13の破線cは、
図3の破線cに示すSDR OETFカーブに対応したSDR EOTFカーブ(Type C)を示している。
【0069】
HDR電光変換特性において、伝送符号値がピークレベルMPであるとき、表示輝度レベルはPLとなる。また、伝送符号値が閾値レベルCPであるとき、出力輝度レベルはHDR表示基準閾値CLとなる。なお、
図13において、HDR EOTFカーブ(Type A)の場合は閾値レベルCPとHDR表示基準閾値CLが示され、マッピング保護がなされていなければ、表示側で表示輝度レベルEPまで二点鎖線a´のような輝度マッピングを行い、また、HDR EOTFカーブ(Type B)の場合は互換レベルSPとそれに対して定義されるリファレンスレベルが検知され、マッピング保護がなされていなければ、表示側で表示輝度レベルEPまで一点鎖線b´のような輝度マッピングを行う。なお、閾値CLは、上述したように、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域とCEモニタ依存とする領域との境界を示す。
【0070】
ビデオストリームのレイヤに挿入されるダイナミックレンジ・SEIメッセージには、PL、CLの輝度情報が、表示制御のためのメタ情報として含まれている(
図7参照)。HDR表示マッピング部206は、HDR電光変換部205で得られた表示用ビデオデータに対して、表示制御のためのメタ情報に基づいて、表示輝度調整を行う。すなわち、HDR表示マッピング部206は、CEモニタ207の最大輝度表示能力がPLよりも高いEPである場合、HDR電光変換部205の出力輝度レベルのうち、輝度CLを越えるレベルを、表示最大輝度レベルがEPとなるように表示マッピング処理、つまり表示輝度調整処理を行うことも表示機能の一方法として可能となる。
図13の二点鎖線a´は、その場合における表示輝度調整処理の一例を示している。
【0071】
なお、HDR表示マッピング部206は、ハイダイナミックレンジ・デスクリプタやダイナミックレンジ・SEIメッセージの「mapping_protection_flag」が“1”であって、表示マッピングを禁止することが示されているときは、制御部201の制御に基づき、表示輝度調整処理を行わない。これにより、表示輝度に関して制作側の意図を超える調整が抑制され、あるいは、視聴者の眼の疲労が抑制される。
【0072】
図12に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSからビデオストリームVSが抽出される。
【0073】
また、システムデコーダ203では、コンテナのレイヤに挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報には、ハイダイナミックレンジ・デスクリプタ(
図9参照)の情報も含まれる。制御部201では、ハイダイナミックレンジ・デスクリプタの「HDR flag」が“1”であることに基づいて、ビデオストリームがHDRに対応することが認識され、また、HDR表示の際にSEIを参照すべきことが認識される。
【0074】
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理が施され、伝送ビデオデータV1が得られる。
【0075】
また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。制御部201において、上述したように、ビデオストリームがHDRに対応することが認識され、また、HDR表示の際にSEIを参照すべきことが認識されることから、SPS NALユニットのVUIの領域に挿入されているHDR電光変換特性を指定するメタ情報「Transfer characteristics」やダイナミックレンジ・SEIメッセージ(
図7参照)の抽出も行われる。
【0076】
制御部201の制御で、HDR電光変換部205に、メタ情報「Transfer characteristics」が指定するHDR電光変換特性、つまり送信側で用いられたHDR光電変換特性に対応したHDR電光変換特性が設定される。HDR電光変換部205では、ビデオデコーダ204から出力される伝送ビデオデータV1に、設定されたHDR電光変換特性が適用されて、HDR画像を表示するための表示用ビデオデータが得られる。
【0077】
HDR電光変換部205で得られた表示用ビデオデータは、HDR表示マッピング部206に供給される。HDR表示マッピング部206では、表示用ビデオデータに対して、表示制御のためのメタ情報に基づいて、表示輝度調整が行われる。すなわち、HDR表示マッピング部206では、CEモニタ207の最大輝度表示能力がPLよりも高いEPである場合、HDR電光変換部205の出力輝度レベルのうち、輝度CLを越えるレベルが、表示最大輝度レベルがEPとなるように表示マッピング処理、つまり輝度変換処理が行われる(
図13の二点鎖線a´参照)。あるいは、リファレンス輝度レベルを越えるレベルに対して、表示最大輝度レベルがEPとなるように表示マッピング処理、つまり輝度変換処理が行われる(
図13の一点鎖線b´参照)。
【0078】
なお、HDR表示マッピング部206では、ハイダイナミックレンジ・デスクリプタやダイナミックレンジ・SEIメッセージの「mapping_protection_flag」が“1”であって、表示マッピングを禁止することが示されているときには、表示輝度調整処理を行われず、HDR電光変換部205で得られた表示用ビデオデータがそのまま出力される。
【0079】
表示マッピング部206の出力ビデオデータは、CEモニタ207に供給される。このCEモニタ207に、HDR画像が表示される。
【0080】
上述したように、
図1に示す送受信システム10において、ビデオストリームのSPS NALユニットのVUIの領域にハイダイナミックレンジ光電変換特性に対応した電光変換特性を指定するメタ情報「Transfer characteristics」が挿入されるものである。そのため、HDR光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を、メタ情報「Transfer characteristics」が指定するHDR電光変換特性を用いて行うことで、良好に行うことができる。
【0081】
また、
図1に示す送受信システム10において、コンテナ(トランスポートストリーム)のレイヤに、ハイダイナミックレンジ・デスクリプタ(High Dynamic Range descriptor)が挿入されるものである。このデスクリプタには、サービスストリーム(ビデオストリーム)がHDRに対応するものかどうかを示す「HDR_flag」が含まれている。そのため、受信側ではビデオストリームがハイダイナミックレンジに対応していることを容易に認識でき、ビデオストリームのパラメータセット領域からハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報「Transfer characteristics」を確実に抽出して、伝送ビデオデータに適切な電光変換を行うことが可能となる。
【0082】
また、
図1に示す送受信システム10において、ビデオストリームのレイヤにダイナミックレンジ・SEIメッセージ(Dynamic Range SEI message)が挿入されるものである。このSEIメッセージには、表示制御のためのメタ情報が含まれている。そのため、受信側において、この表示制御のためのメタ情報を用いて表示輝度制御を適切に行うことができる。この場合、表示制御のためのメタ情報には表示輝度調整を許容する領域を示す領域情報が含まれ、輝度変換を許容する領域でのみ、例えばCEモニタ207の表示輝度能力に応じた輝度変換が行われるため、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
【0083】
また、
図1に示す送受信システム10において、ハイダイナミックレンジ・デスクリプタやダイナミックレンジ・SEIメッセージに、サービスストリーム(ビデオストリーム)が表示マッピング(表示輝度調整)を禁止するかどうかを示す「mapping_protection flag」のフラグが含まれるものである。そのため、表示輝度に関して制作側の意図を超える調整を抑制でき、あるいは、視聴者の眼の疲労を抑制できる。
【0084】
<2.変形例>
なお、上述実施の形態において、受信装置200では、HDR電光変換部205で電光変換処理を行うと共に、HDR表示マッピング部206でCEモニタ207の最大輝度表示能力に応じた輝度変換処理を行う例を示した。しかし、電光変換特性(EOTF)に輝度変換特性を反映させておくことで、HDR電光変換部205のみで電光変換処理と輝度変換処理とを同時に行わせることが可能である。
【0085】
また、上述実施の形態においては、送信装置100および受信装置200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、
図14に示す送受信システム10Aのように、受信装置200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス(STB)200Aおよびモニタ200Bからなる構成であってもよい。なお、「HDMI」は、登録商標である。
【0086】
この場合、例えば、ビデオデコーダ204までがセットトップボックス200Aに含まれ、電光変換部205以降がモニタ200Bに含まれる。セットトップボックス200Aは、例えば、“Vender Specific InfoFrame”のパケットを用いて、HDR光電変換特性を示すメタ情報や表示制御のためのメタ情報などをモニタ200Bに送る。
【0087】
図15は、セットトップボックス200Aからモニタ200Bに送る“Vender Specific InfoFrame”のパケットの第7バイト以降の構造例を示している。また、
図16は、各構造例における主要な情報の内容を示している。
【0088】
第7バイトの第7ビットから第5ビットには、「Display_control_type」の3ビット情報が配置される。この3ビット情報は、表示タイプの種類を示す。“001”はSD表示制御を示し、“010”はHDR表示制御を示す。ここでは、“010”とされる。
【0089】
第7バイトの第4ビットには、「mapping_protection_flag」のフラグが配置される。このフラグは、デコード後の表示マッピング(表示輝度調整)を禁止するか否かを示す。“1”は、表示マッピングを禁止することを示す。“0”は、表示マッピングを禁止しないことを示す。第7バイトの第3ビットから第0ビットには、「Display_control_metadata_length」の4ビット情報が配置される。この4ビット情報は、続いて配置される「Display_control_metadata」のサイズをバイト数で示す。ここでは、“12”とされる。
【0090】
第8バイトには、「Transfer characteristics」の8ビット情報が配置される。この8ビット情報は、HDR電光変換特性を指定する。この情報により、表示のための電光変換特性が検知される。ここでは、“0x10”とされる。第8+1バイトには、「Number of bits」の8ビット情報が配置される。この8ビット情報は、符号化画素ビット数を示す。
【0091】
第8+2バイトから第8+3バイトには、「Minimum brightness value」の16ビット情報が配置される。この16ビット情報は、最小レベルの輝度(cd/m2)を示す。第8+4バイトから第8+5バイトには、「Peak Level」の16ビット情報が配置される。この16ビット情報は、最大レベルの相対値(%)を示す。
【0092】
第8+6バイトから第8+7バイトには、「Peak Level Brightness」の16ビット情報が配置される。この16ビット情報は、最大レベルの輝度(cd/m2)を示す。第8+8バイトから第8+9バイトには、「Compliant_threshold_level」の16ビット情報が配置される。この16ビット情報は、表示レベルマッピングの際の閾値(%)を示す。第8+10バイトから第8+11バイトには、「Compliant_threshold_level_value」の16ビット情報が配置される。この16ビット情報は、表示レベルマッピングの際の閾値となる輝度(cd/m2)を示す。なお、「Compliant_threshold_level」、「Compliant_threshold_level_value」の閾値情報は、リファレンスの輝度を示す100%とリファレンスの輝度として送られることも可能である。また、セットトップボックス200Aからモニタ200Bに送る上記の情報伝送は “Vender Specific InfoFrame”のパケットに限定されるものではなく、他のInfoFrameのパケットを定義することで同様の伝送を行うことが可能なことは勿論である。
【0093】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、ビデオのレイヤは同一の方法で実現できる。
【0094】
図17は、MMT構造を示している。MMTストリームには、ビデオ、オーディオ等の各アセットのMMTパケットが存在する。図示の例では、ID1で識別されるビデオのアセットのMMTパケットが存在する。アクセスユニットのSPSのVUIの領域に、HDR電光変換特性を指定するメタ情報「Transfer characteristics」が挿入される。また、アクセスユニットに、ピークレベル「Peak level」、閾値レベル「threshold level」、マッピング・プロテクション・フラグ「mapping_protection_flag」などが記述されたダイナミックレンジ・SEIメッセージが挿入される。
【0095】
また、MMTストリームには、PA(Packet Access)メッセージパケットなどのメッセージパケットが存在する。PAメッセージパケットには、MPテーブル(MMT Package Table)などのテーブルが含まれている。MPテーブルには、アセット毎の情報が含まれている。ここでは、ビデオのアセットに関連して、HDRフラグ「HDR_flag」、SDRコンパチブルフラグ「SDR_compatible_flag」、マッピング・プロテクション・フラグ「mapping_protection_flag」などが記述されたハイダイナミックレンジ・デスクリプタが挿入される。
【0096】
また、本技術は、以下のような構成を取ることもできる。
(1)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る光電変換部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する情報挿入部を備える
送信装置。
(2)上記パラメータセット領域は、SPS NALユニットの領域である
前記(1)に記載の送信装置。
(3)上記情報挿入部は、上記コンテナのレイヤに、上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報をさらに挿入する
前記(1)または(2)に記載の送信装置。
(4)上記識別情報には、上記ビデオストリームが通常ダイナミックレンジとの表示互換性があるか否を示す情報が付加される
前記(3)に記載の送信装置。
(5)上記識別情報には、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が付加される
前記(3)または(4)に記載の送信装置。
(6)上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、上記識別情報を、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する
前記(3)から(5)のいずれかに記載の送信装置。
(7)上記コンテナは、MMTストリームであり、
上記情報挿入部は、上記識別情報を、MMT・パッケージ・テーブルの配下に挿入する
前記(3)から(5)のいずれかに記載の送信装置。
(8)上記情報挿入部は、上記ビデオストリームの上記パラメータセット領域とは異なる領域に、表示制御のためのメタ情報をさらに挿入する
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記表示制御のためのメタ情報は、ピーク輝度情報を含む
前記(8)に記載の送信装置。
(10)上記表示制御のためのメタ情報は、表示輝度調整を許容する領域を示す領域情報を含む
前記(8)または(9)に記載の送信装置。
(11)上記表示制御のためのメタ情報は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報を含む
前記(8)から(10)のいずれかに記載の送信装置。
(12)上記異なる領域は、SEI NALユニットの領域である
前記(8)から(11)のいずれかに記載の送信装置。
(13)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行って伝送ビデオデータを得る光電変換ステップと、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコードステップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換特性に対応した電光変換特性を示すメタ情報を挿入する情報挿入ステップを有する
送信方法。
(14)伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記デコード部で得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換部を備え、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものであり、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換の特性に対応した電光変換特性を示すメタ情報が挿入されており、
上記ビデオストリームから上記メタ情報を抽出する情報抽出部をさらに備え、
上記電光変換部は、上記情報抽出部で抽出された上記メタ情報が示す電光変換特性を用いる
受信装置。
(15)上記パラメータセット領域は、SPS NALユニットの領域である
前記(14)に記載の受信装置。
(16)上記コンテナのレイヤに、上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報が挿入されており、
上記情報抽出部は、上記識別情報に基づいて上記ビデオストリームのパラメータセット領域から上記メタ情報を抽出する
前記(14)または(15)に記載の受信装置。
(17)上記ビデオストリームの上記パラメータセット領域とは異なる領域に表示制御のためのメタ情報が含まれており、
上記表示制御のためのメタ情報に基づいて上記表示用ビデオデータに表示輝度調整を行う輝度調整部をさらに備える
前記(14)から(16)のいずれかに記載の受信装置。
(18)上記表示制御のためのメタ情報は表示輝度調整を許容する領域を示す領域情報を含み、
上記輝度調整部は、上記表示輝度調整を許容する領域で上記表示輝度調整を行う
前記(17)に記載の受信装置。
(19)上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が挿入されており、
上記輝度調整部は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が禁止されることを示すとき、上記表示用ビデオデータに表示輝度調整を行わない
前記(17)または(18)に記載の受信装置。
(20)受信部により、伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコードステップと、
上記デコードステップで得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換ステップを有し、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換が施されて得られたものであり、
上記ビデオストリームのパラメータセット領域に上記ハイダイナミックレンジ光電変換の特性に対応した電光変換特性を示すメタ情報が挿入されており、
上記電光変換ステップでは上記メタ情報が示す電光変換特性を用いる
受信方法。
【0097】
本技術の主な特徴は、ビデオストリームのSPS NALユニットにハイダイナミックレンジ光電変換特性に対応した電光変換特性を指定するメタ情報を挿入することで、ハイダイナミックレンジ光電変換特性を用いて得られた伝送ビデオデータに対する受信側の電光変換処理を良好に行い得るようにしたことである(
図11参照)。
【符号の説明】
【0098】
10,10A・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・HDRカメラ
103・・・HDR光電変換部
103a・・・マスターモニタ
104・・・ビデオエンコーダ
105・・・システムエンコーダ
106・・・送信部
200・・・受信装置
200A・・・セットトップボックス
200B・・・モニタ
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・HDR電光変換部
206・・・HDR表示マッピング部
207・・・CEモニタ
【手続補正書】
【提出日】2022-05-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性を適用して伝送ビデオデータを得る光電変換部と、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームの第1の領域に上記ハイダイナミックレンジ光電変換特性に対応した変換特性を示す第1のメタ情報を挿入する情報挿入部を備え、
上記情報挿入部は、上記ビデオストリームの上記第1の領域とは異なる第2の領域に、第2のメタ情報をさらに挿入し、
上記第2のメタ情報は、ピーク輝度情報を含む
送信装置。
【請求項2】
上記第2のメタ情報は、表示輝度調整を許容する領域を示す領域情報を含む
請求項1に記載の送信装置。
【請求項3】
上記第2のメタ情報は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報を含む
請求項1に記載の送信装置。
【請求項4】
上記第2の領域は、SEI NALユニットの領域である
請求項1に記載の送信装置。
【請求項5】
上記第1の領域は、SPS NALユニットのVUIの領域である
請求項1に記載の送信装置。
【請求項6】
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換特性を適用して伝送ビデオデータを得る光電変換ステップと、
上記伝送ビデオデータにエンコード処理を施してビデオストリームを得るエンコードステップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームの第1の領域に上記ハイダイナミックレンジ光電変換特性に対応した変換特性を示す第1のメタ情報を挿入する情報挿入ステップを有し、
上記情報挿入ステップでは、上記ビデオストリームの上記第1の領域とは異なる第2の領域に、第2のメタ情報をさらに挿入し、
上記第2のメタ情報は、ピーク輝度情報を含む
送信方法。
【請求項7】
伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコード部と、
上記デコード部で得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換部を備え、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換特性が適用されて得られたものであり、
上記ビデオストリームの第1の領域に上記ハイダイナミックレンジ光電変換特性に対応した変換特性を示す第1のメタ情報が挿入されており、
上記ビデオストリームから上記第1のメタ情報を抽出する情報抽出部をさらに備え、
上記電光変換部は、上記情報抽出部で抽出された上記第1のメタ情報を用い、
上記ビデオストリームの上記第1の領域とは異なる第2の領域に第2のメタ情報が含まれており、
上記第2のメタ情報は、ピーク輝度情報を含み、
上記ピーク輝度情報に基づいて上記表示用ビデオデータの表示輝度調整を行う輝度調整部をさらに備える
受信装置。
【請求項8】
上記第2のメタ情報は表示輝度調整を許容する領域を示す領域情報を含み、
上記輝度調整部は、上記表示輝度調整を許容する領域で上記表示輝度調整を行う
請求項7に記載の受信装置。
【請求項9】
上記第2のメタ情報は上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報を含み、
上記輝度調整部は、上記ビデオストリームの表示輝度調整が禁止されるか否かを示す情報が禁止されることを示すとき、上記表示用ビデオデータに表示輝度調整を行わない
請求項7に記載の受信装置。
【請求項10】
上記第2の領域は、SEI NALユニットの領域である
請求項7に記載の送信装置。
【請求項11】
上記第1の領域は、SPS NALユニットのVUIの領域である
請求項7に記載の送信装置。
【請求項12】
受信部により、伝送ビデオデータが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施して上記伝送ビデオデータを得るデコードステップと、
上記デコードステップで得られた上記伝送ビデオデータに電光変換を行って表示用ビデオデータを得る電光変換ステップを有し、
上記伝送ビデオデータは、ハイダイナミックレンジデータにハイダイナミックレンジ光電変換特性が適用されて得られたものであり、
上記ビデオストリームの第1の領域に上記ハイダイナミックレンジ光電変換特性に対応した変換特性を示す第1のメタ情報が挿入されており、
上記ビデオストリームから上記第1のメタ情報を抽出する情報抽出ステップをさらに有し、
上記電光変換ステップでは、上記情報抽出ステップで抽出された上記第1のメタ情報を用い、
上記ビデオストリームの上記第1の領域とは異なる第2の領域に第2のメタ情報が含まれており、
上記第2のメタ情報は、ピーク輝度情報を含み、
上記ピーク輝度情報に基づいて上記表示用ビデオデータの表示輝度調整を行う輝度調整ステップをさらに有する
受信方法。