(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023041959
(43)【公開日】2023-03-24
(54)【発明の名称】データ生成装置及びデータ出力装置
(51)【国際特許分類】
H04N 21/2343 20110101AFI20230316BHJP
H04N 21/235 20110101ALI20230316BHJP
H04N 19/70 20140101ALI20230316BHJP
【FI】
H04N21/2343
H04N21/235
H04N19/70
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2023016147
(22)【出願日】2023-02-06
(62)【分割の表示】P 2022010616の分割
【原出願日】2015-11-09
(31)【優先権主張番号】62/087,035
(32)【優先日】2014-12-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】ヴィルジニア ドルジョン
(72)【発明者】
【氏名】西 孝啓
(72)【発明者】
【氏名】遠間 正真
(57)【要約】
【課題】後方互換性を実現する。
【解決手段】データ生成装置は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジのビデオエレメンタリストリームであって、第2輝度ダイナミックレンジの映像の再生に対応せず、かつ第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有するビデオエレメンタリストリームを生成するデータ生成装置であって、ビデオエレメンタリストリームは、第1機器がビデオエレメンタリストリームを復号する際に第1機器で参照される第1OETFを特定するための第1伝達関数情報を格納するVUIと、第2輝度ダイナミックレンジの映像の再生に対応している第2機器がビデオエレメンタリストリームを復号する際に第2機器で参照される第2OETFを特定するための第2伝達関数情報を格納するSEIとを含む。
【選択図】
図13
【特許請求の範囲】
【請求項1】
第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジのビデオエレメンタリストリームであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有するビデオエレメンタリストリームを生成するデータ生成装置であって、
映像符号化規格に準拠した符号化を行うことで前記ビデオエレメンタリストリームを生成する符号化部、を備え、
前記ビデオエレメンタリストリームは、
前記第1機器が前記ビデオエレメンタリストリームを復号する際に前記第1機器で参照される第1OETF(Opto-Electrical Transfer Function)を特定するための第1伝達関数情報を格納するVUI(Video Usability Information)と、
前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記ビデオエレメンタリストリームを復号する際に前記第2機器で参照される第2OETFを特定するための第2伝達関数情報を格納するSEI(Supplemental enhancement information)とを含む
データ生成装置。
【請求項2】
請求項1に記載の前記ビデオエレメンタリストリームを放送波又はネットワークを介して伝送するデータ出力装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ生成方法、データ再生方法、データ生成装置及びデータ再生装置に関する。
【背景技術】
【0002】
映像を生成、符号化及び多重化するための技術として、非特許文献1~3に記載の技術がある。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】ITU-T H.265 「High efficiency video coding」、2014年10月
【非特許文献2】Recommendation ITU-R BT.709-5(04/2002) 「Parameter values for the HDTV standards for production and international programme exchange」
【非特許文献3】Recommendation ITU-R BT.2020-1(06/2014) 「Parameter values for ultra-high definition television systems for production and international programme exchange」
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような、映像データの生成においては、常に新たな方式が考案されているが、従来機器との後方互換性を実現できることが望まれている。
【0005】
そこで、本発明は、後方互換性を実現できるデータ生成方法、データ再生方法、データ生成装置又はデータ再生装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一態様に係るデータ生成装置は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジのビデオエレメンタリストリームであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有するビデオエレメンタリストリームを生成するデータ生成装置であって、映像符号化規格に準拠した符号化を行うことで前記ビデオエレメンタリストリームを生成する符号化部、を備え、前記ビデオエレメンタリストリームは、前記第1機器が前記ビデオエレメンタリストリームを復号する際に前記第1機器で参照される第1OETFを特定するための第1伝達関数情報を格納するVUI(video usability information)と、前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記ビデオエレメンタリストリームを復号する際に前記第2機器で参照される第2OETFを特定するための第2伝達関数情報を格納するSEI(supplemental enhancement information)とを含む。
【0007】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0008】
本発明は、後方互換性を実現できるデータ生成方法、データ再生方法、データ生成装置又はデータ再生装置を提供できる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態に係るシステムの構成を示す図である。
【
図2】
図2は、実施の形態に係るOETFの一例を示す図である。
【
図3】
図3は、実施の形態に係るVUIの構成例を示す図である。
【
図4】
図4は、実施の形態に係るOETFの例を示す図である。
【
図5】
図5は、実施の形態に係るOETFの拡張例を示す図である。
【
図6】
図6は、実施の形態に係るSEIメッセージの構成例を示す図である。
【
図7】
図7は、実施の形態に係るSEIメッセージの構成例を示す図である。
【
図8】
図8は、実施の形態に係るSPSの構成例を示す図である。
【
図9】
図9は、実施の形態に係るハイブリッド記述子の構成例を示す図である。
【
図10】
図10は、実施の形態に係るハイブリッド記述子の構成例を示す図である。
【
図11】
図11は、実施の形態に係るHEVC記述子の構成例を示す図である。
【
図12】
図12は、実施の形態に係るストリーム及びデータ再生装置の動作を示す図である。
【
図13】
図13は、実施の形態に係るデータ生成装置の動作を示すフローチャートである。
【
図14】
図14は、実施の形態に係るデータ再生装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0010】
(本発明の基礎となった知見)
従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。
【0011】
一方で、このようなHDRに対応した映像データを、従来のSDRのみに対応した再生装置でも再生できることが望まれている。つまり、HDRに対応した再生装置ではHDRの映像が再生でき、かつ、SDRに対応した再生装置ではSDRの映像が再生できる映像データが望まれている。
【0012】
本発明の一態様に係るデータ生成方法は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジの映像データであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有する映像データを生成するデータ生成方法であって、前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記映像データを復号する際に前記第2機器で参照される第2OETF(Opto-Electrical Transfer Function)を用いて前記映像データに含まれる映像信号を生成するステップと、前記第1機器が前記映像データを復号する際に前記第1機器で参照される第1OETFを特定するための第1伝達関数情報を、前記映像データ内のVUI(Video Usability Information)に格納するステップと、前記第2OETFを特定するための第2伝達関数情報を、前記映像データ内のSEI(Supplemental enhancement information)に格納するステップとを含む。
【0013】
これによれば、第1輝度ダイナミックレンジの映像の再生にのみ対応している機器では、第1伝達関数情報を用いて映像データを再生でき、第2輝度ダイナミックレンジの映像の再生に対応している機器では、第2関数情報を用いて映像データを再生できる。このように、当該データ生成方法は、後方互換性を有する映像データを生成できる。
【0014】
例えば、前記データ生成方法は、さらに、前記映像データが、前記第2輝度ダイナミックレンジの映像データであるか否かを示すハイブリッド情報を多重化レイヤの記述子内に格納するステップを含んでもよい。
【0015】
これによれば、映像データを再生するデータ再生装置において、多重化レイヤ内のハイブリッド情報を用いて、再生方式の切り替えの準備を事前に行うことができる。これにより、データ再生装置における再生方式の切り替えを円滑に行うことができる。
【0016】
例えば、前記第1OETFは、前記映像データの輝度の第一の範囲では前記映像データの輝度の線形項で規定され、前記第一の範囲よりも大きい第二の範囲では前記映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0017】
例えば、前記第2OETFは、前記映像データの輝度の第三の範囲では前記映像データの輝度の線形項で規定され、前記第三の範囲よりも大きい第四の範囲では前記映像データの輝度のべき乗項で規定され、前記第四の範囲よりも大きい第五の範囲では前記映像データの輝度の対数項で規定されるOETFであってもよい。
【0018】
例えば、前記第1OETFは、前記映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0019】
例えば、前記第2OETFは、前記映像データの輝度の第六の範囲では前記映像データの輝度のべき乗項で規定され、前記第六の範囲よりも大きい第七の範囲では前記映像データの輝度の対数項で規定されるOETFであってもよい。
【0020】
例えば、前記第1OETFは、BT.709又はBT.2020で規定されているOETFであり、前記第2OETFは、ハイブリッドガンマOETFであってもよい。
【0021】
例えば、前記データ生成方法は、さらに、前記映像データの輝度ダイナミックレンジと前記第1輝度ダイナミックレンジとの差を示すダイナミックレンジ増加情報を前記SEIに格納するステップを含んでもよい。
【0022】
例えば、前記データ生成方法は、さらに、映像シーケンスに含まれる全てのピクチャの各々の平均輝度値のうち、最大の平均輝度値を示すピクチャ最大平均レベル情報を前記SEIに格納するステップを含んでもよい。
【0023】
また、本発明の一態様に係るデータ再生方法は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジの映像データであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有する映像データを再生するデータ再生方法であって、前記映像データは、前記第1機器が前記映像データを復号する際に前記第1機器で参照される第1OETF(Opto-Electrical Transfer Function)を特定するための第1伝達関数情報が格納されているVUI(Video Usability Information)と、前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記映像データを復号する際に前記第2機器で参照される第2OETFを特定するための第2伝達関数情報が格納されているSEI(Supplemental enhancement information)とを含み、前記データ再生方法は、前記SEIに含まれる前記第2伝達関数情報を取得するステップと、取得した前記第2伝達関数情報で特定される前記第2OETFを参照して前記映像データに含まれる映像信号を再生するステップとを含む。
【0024】
これによれば、当該データ再生方法は、後方互換性を有する映像データを再生できる。
【0025】
例えば、前記映像データは、さらに、前記映像データが、前記第2輝度ダイナミックレンジの映像データであるか否かを示す、多重化レイヤの記述子内に格納されているハイブリッド情報を含み、前記データ再生方法は、さらに、前記映像データから前記ハイブリッド情報を取得するステップと、取得した前記ハイブリッド情報に基づき、前記第1輝度ダイナミックレンジの再生と前記第2輝度ダイナミックレンジの再生とを切り替える準備を行うステップと、映像シーケンスが切り替わるタイミングで、前記第1輝度ダイナミックレンジの再生と前記第2輝度ダイナミックレンジの再生とを切り替えるステップとを含んでもよい。
【0026】
これによれば、多重化レイヤ内のハイブリッド情報を用いて、再生方式の切り替えの準備を事前に行うことができる。これにより、再生方式の切り替えを円滑に行うことができる。
【0027】
例えば、前記第1OETFは、前記映像データの輝度の第一の範囲では前記映像データの輝度の線形項で規定され、前記第一の範囲よりも大きい第二の範囲では前記映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0028】
例えば、前記第2OETFは、前記映像データの輝度の第三の範囲では前記映像データの輝度の線形項で規定され、前記第三の範囲よりも大きい第四の範囲では前記映像データの輝度のべき乗項で規定され、前記第四の範囲よりも大きい第五の範囲では前記映像データの輝度の対数項で規定されるOETFであってもよい。
【0029】
例えば、前記第1OETFは、前記映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0030】
例えば、前記第2OETFは、前記映像データの輝度の第六の範囲では前記映像データの輝度のべき乗項で規定され、前記第六の範囲よりも大きい第七の範囲では前記映像データの輝度の対数項で規定されるOETFであってもよい。
【0031】
例えば、前記第1OETFは、BT.709又はBT.2020で規定されているOETFであり、前記第2OETFは、ハイブリッドガンマOETFであってもよい。
【0032】
例えば、前記データ再生方法は、さらに、前記映像データの輝度ダイナミックレンジと前記第1輝度ダイナミックレンジとの差を示すダイナミックレンジ増加情報を前記SEIから取得するステップを含んでもよい。
【0033】
例えば、前記データ再生方法は、さらに、映像シーケンスに含まれる全てのピクチャの各々の平均輝度値のうち、最大の平均輝度値を示すピクチャ最大平均レベル情報を前記SEIから取得するステップを含んでもよい。
【0034】
また、本発明の一態様に係るデータ生成装置は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジの映像データであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有する映像データを生成するデータ生成装置であって、前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記映像データを復号する際に前記第2機器で参照される第2OETF(Opto-Electrical Transfer Function)を用いて前記映像データに含まれる映像信号を生成する生成部と、前記第1機器が前記映像データを復号する際に前記第1機器で参照される第1OETFを特定するための第1伝達関数情報を、前記映像データ内のVUI(Video Usability Information)に格納する第1格納部と、前記第2OETFを特定するための第2伝達関数情報を、前記映像データ内のSEI(Supplemental enhancement information)に格納する第2格納部とを含む。
【0035】
これによれば、第1輝度ダイナミックレンジの映像の再生にのみ対応している機器では、第1伝達関数情報を用いて映像データを再生でき、第2輝度ダイナミックレンジの映像の再生に対応している機器では、第2関数情報を用いて映像データを再生できる。このように、当該データ生成装置は、後方互換性を有する映像データを生成できる。
【0036】
また、本発明の一態様に係るデータ再生装置は、第1輝度ダイナミックレンジより広い第2輝度ダイナミックレンジの映像データであって、前記第2輝度ダイナミックレンジの映像の再生に対応せず、かつ前記第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有する映像データを再生するデータ再生装置であって、前記映像データは、前記第1機器が前記映像データを復号する際に前記第1機器で参照される第1OETF(Opto-Electrical Transfer Function)を特定するための第1伝達関数情報が格納されているVUI(Video Usability Information)と、前記第2輝度ダイナミックレンジの映像の再生に対応している第2機器が前記映像データを復号する際に前記第2機器で参照される第2OETFを特定するための第2伝達関数情報が格納されているSEI(Supplemental enhancement information)とを含み、前記データ再生装置は、前記SEIに含まれる前記第2伝達関数情報を取得する取得部と、取得した前記第2伝達関数情報で特定される前記第2OETFを参照して前記映像データに含まれる映像信号を再生する再生部とを含む。
【0037】
これによれば、当該データ再生装置は、後方互換性を有する映像データを再生できる。
【0038】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0039】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0040】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0041】
また、以下では用語、データ構成、及び処理内容等の詳細な説明を省略する場合があるが、これらの具体例の一例は、例えば、非特許文献1、非特許文献2及び非特許文献3に記載されている内容に準ずる。
【0042】
まず、本実施の形態に係るシステムの構成を説明する。
図1は、本実施の形態に係るシステムの構成を示すブロック図である。
図1に示すシステムは、データ生成装置110と、データ再生装置120とを含む。
【0043】
データ生成装置110は、第1輝度ダイナミックレンジ(例えばSDR)より広い第2輝度ダイナミックレンジ(例えばHDR)の映像データであって、第2輝度ダイナミックレンジの映像の再生に対応せず、かつ第1輝度ダイナミックレンジの映像の再生に対応している第1機器での再生に互換性を有する映像データを生成する。
【0044】
このデータ生成装置110は、映像信号生成部111と、符号化部112と、多重化部113とを備える。
【0045】
映像信号生成部111は、HDRに対応した原画像の輝度値を、OETF(Opto-Electrical Transfer Function)を用いて、コード値に変換する。ここで、OETFとは、
図2に示すように、原画像の輝度値をコード値に変換するための関数である。具体的は、映像信号生成部111は、SDR互換のHDRのOETFを用いる。この詳細は後述する。
【0046】
符号化部112は、得られたコード値に、HEVC等の映像符号化規格に準拠した符号化を行うことでビデオエレメンタリストリームを生成する。多重化部113は、ビデオエレメンタリストリームを多重化することでトランスポートストリーム(例えばDVBトランスポートストリーム)を生成する。
【0047】
生成されたトランスポートストリームは、例えば、放送波等により、データ再生装置120に伝送される。なお、ここでは、放送波が用いられる例を述べるが、ネットワーク等を介した伝送であってもよし、BDディスク等の記録媒体を介した伝送であってもよい。
【0048】
データ再生装置120は、データ生成装置110で生成された映像データを再生する。このデータ再生装置120は、逆多重化部121と、復号部122と、再生部123とを備える。
【0049】
逆多重化部121は、映像データ(トランスポートストリーム)を逆多重化することでビデオエレメンタリストリームを生成する。復号部122は、得られたビデオエレメンタリストリームに、HEVC等の映像符号化規格に準拠した復号を行うことでコード値を生成する。
【0050】
再生部123は、得られたコード値を、上記OETFに対応するEOTF(Electro-Optical Transfer Function)を用いて、輝度値に変換することで映像を復元する。ここで、EOTFとは、OETFの逆関数であり、コード値を輝度値に変換するための関数である。得られた映像は、データ再生装置120が備える、又はデータ再生装置120に接続されている表示部等に表示される。
【0051】
以下、本実施の形態の伝達関数(OETF)のシグナリングについて説明する。
【0052】
伝達関数は、HEVC及びAVC映像符号化規格におけるSPS(Sequence Parameter Set)に含まれるVUI(Video Usability Information)内のtransfer_characteristicsを用いてシグナリングされる。
【0053】
また、OETFのみがシグナリングされ、EOTFはシグナリングされない。
【0054】
図3は、VUIパラメータのシンタックスを示す図である。
図3に示すように、VUIは第1伝達関数情報(transfer_characteristics)を含む。
図4は、transfer_characteristicsの意味を示すテーブルである。値1及び14が、DVB(Digital Video Broadcasting) UHD(ウルトラHD)のフェーズ1受信器がサポートするSDRのOETFに割り当てられている。
【0055】
transfer_characteristicsは非特許文献1等に記載のように、原画像の光電気電圧特性(Opto-Electrical Transfer characteristic)を示す。
【0056】
なお、シグナリングとは、所望の情報を受信側が取得できるように、伝達信号内に当該所望の情報を特定するための信号、又は、当該情報そのものを示す信号を含めることを意味する。例えば、
図3及び
図4の例では、OETFを特定するためのtransfer_characteristicsが伝達信号内に含まれ、受信側は、受信したtransfer_characteristicsに基づき、OETFを特定する。
【0057】
以下、本実施の形態に係る新しいOETFのための拡張の例について説明する。
【0058】
HEVC及びAVC規格では、さらなる拡張のための予備値(リザーブド)が設けられている。よって、この予備値をSDR互換のHDRのOETF(以下、ハイブリッドOETFと呼ぶ)に割り当てることができる。例えば、
図5に示すように、予備値である値18~20にハイブリッドOETFが割り当てられる。
【0059】
しかしながら、この場合、HDRに対応してない古い仕様のデータ再生装置(受信器)では、この新たな値を認識できず、予備値と認識してしまう。これにより、ハイブリッドOETFに新たな値が用いられた場合には後方互換性を実現できないという問題がある。ここで、ハイブリッドOETFとは、例えばBBCハイブリッドガンマ(Hybrid Gamma)OETF等、輝度のべき乗で表現される部分と輝度の対数で表現される部分を含むOETFである。
【0060】
本実施の形態では、第1伝達関数情報(transfer_characteristics)の値は、従来のSDRと同様に1(BT.709)又は14(BT.2020)に設定される。
【0061】
また、ハイブリッドOETFを特定するため第2伝達関数情報(HDR_transfer_characteristic)が第1伝達関数情報とは別にシグナリングされる。これにより、HDRに対応していないデータ再生装置では、第1伝達関数情報(transfer_characteristics)を用いてSDR用のOETFを特定でき、HDRに対応しているデータ再生装置では、第2伝達関数情報を用いて、HDR用のOETFを特定できる。
【0062】
ここで、第2伝達関数情報(HDR_transfer_characteristic)は、HDR用のOETFのシグナリングに用いられる。具体的には、HDR用のOETFは、第1伝達関数情報(transfer_characteristics)で特定されるSDR用のOEFTと互換性を有する。
【0063】
例えば、第2伝達関数情報(HDR_transfer_characteristic)は、
図5に示す3つのハイブリッドOETFのいずれかを示す。なお、第2伝達関数情報は、ハイブリッドOETFが用いられるか否かを示す情報であってもよい。また、選択可能なハイブリッドOETFの数は任意でよく、1以上であればよい。
【0064】
また、ハイブリッドOETFは、
図2に示すようにSDRのOETFと輝度が低い範囲で特性が略一致する。つまり、ハイブリッドOETFを用いて生成された映像信号が、ハイブリッドOETF用いて再生された場合と、SDRのOETFを用いて再生された場合とで、輝度が低い範囲では再生される輝度がほぼ一致する。これにより、HDR機器で再生された場合とSDR機器で再生された場合との輝度値の差を低減できるので、SDRのOETFを用いて再生された場合でも違和感の少ない映像を再生できる。
【0065】
以下では、第2伝達関数情報を格納する複数の方法を説明する。大きく分けて、第2伝達関数情報を、映像符号化レイヤ(Video Coding Layer)に格納する方法と、多重化レイヤ(Multiplaxing Layer)に格納する方法とがある。
【0066】
まず、第2伝達関数情報を映像符号化レイヤに格納する方法を説明する。
【0067】
図6は、本実施の形態に係るHDRハイブリッドガンマ(hybrid gamma)SEIメッセージ(以下、ハイブリッドSEIメッセージと呼ぶ)のシンタックスを示す図である。
図6に示すように、ハイブリッドSEIメッセージに、第2伝達関数情報(HDR_transfer_characteristic)が含まれる。
【0068】
ハイブリッドSEIメッセージは、IRAP NALユニット又はIピクチャ内にのみ存在し、それ以降の符号化映像シーケンスに対して有効となる。
【0069】
なお、ハイブリッドSEIメッセージは、プレフィックス(prefix)又はサフィックス(suffix)SEIメッセージであってもよい。
【0070】
また、アプリケーション標準化文書内において、このSEIメッセージの存在が、HDR_transfer_characteristiが予め定められた固定値の場合に義務化されてもよい。
【0071】
また、
図7に示すように、ハイブリッドSEIメッセージは、上記第2伝達関数情報に加え、又は第2伝達関数情報の代わりに、ダイナミックレンジ増加情報(dynamic_range_increase)及びピクチャ最大平均レベル情報(maximum_average_picture_level)を含んでもよい。
【0072】
ダイナミックレンジ増加情報(dynamic_range_increase)は、係数kの演算に用いられ、0、1又は2の値のみをとる。係数kは、SDRのダイナミックレンジとの差を示し、下記(式1)で求められる。具体的には、係数kは、当該映像のダイナミックレンジのSDRのダイナミックレンジに対する倍率を示す。
【0073】
k=2×dynamic_range_increase+4 ・・・(式1)
【0074】
ピクチャ最大平均レベル情報(maximum_average_picture_level)は、映像シーケンスに含まれる全てのピクチャのうち、最大の平均ピクチャレベルを示す。ここで平均ピクチャレベルとは、最大輝度に対するパーセントで表わされる画素の輝度の平均値である。
【0075】
このように、ダイナミックレンジ増加情報及びピクチャ最大平均レベル情報を用いることで、SDRとの差を任意の範囲に設定できる。
【0076】
また、アプリケーション標準化文書内において、このSEIメッセージの存在が、kが予め定められた固定値の場合に義務化されてもよい。例えば、DVBではk=4であり、BDAではk=8である。
【0077】
図8は、拡張されたSPSの構成を示す図である。
図8に示すように、ダイナミックレンジ増加情報(dynamic_range_increase)及びピクチャ最大平均レベル情報(maximum_average_picture_level)は、SPSに含まれてもよい。
【0078】
次に、第2伝達関数情報を多重化レイヤに格納する方法を説明する。
【0079】
図9は、本実施の形態に係るMPEG2-TSレベルの新たな記述子であるハイブリッド記述子(HDR_hybrid_gamma_descriptor)の構成を示す図である。
【0080】
図9に示すように、ハイブリッド記述子は、ハイブリッドOETFフラグ(HDR_hybrid_gamma_OETF_flag)と、第2伝達関数情報(HDR_transfer_characteristic)とを含む。
【0081】
ハイブリッドOETFフラグ(HDR_hybrid_gamma_OETF_flag)は、コンテンツがハイブリッドOETFを用いてHDR符号化されているかを示す。例えば、ハイブリッドOETFフラグが1である場合、コンテンツはハイブリッドOETFを用いてHDR符号化されている。
【0082】
なお、ハイブリッドOETFフラグは必ずしも必要ではなく、第2伝達関数情報のみが用いられてもよい。
【0083】
また、ハイブリッド記述子は、MPEGで規定されているPMT(Program Map Table)、DVB-SI規格内のDVBで規定されているSDT(Service Description Table)、及び、DVB-SI規格内のDVBで規定されているEIT(Event Information Table)のうち少なくとも一つに格納される。
【0084】
PMTは、画像又は音声などを格納したTSパケットのPIDを示す。データ再生装置は、PMTから所望の画像又は音声などのPIDを得ることで、所望の画像又は音声のTSパケットを抽出できる。
【0085】
SDTは、チャンネル(サービス)の名称、各チャンネルで送出されるEITの種類、及びデジタルコピー制御情報等を示す。
【0086】
EITは、番組の名称、放送日時、及び放送内容など番組に関連する情報を示す。
【0087】
PMTにハイブリッド記述子が含まれる場合、ハイブリッド記述子は、ビデオエレメンタリストリームにのみ付与される。しかしながら、この場合には、放送局においてPMTの修正を制御する必要があり、この修正が困難な可能性がある。
【0088】
SDTにハイブリッド記述子が含まれる場合、ハイブリッド記述子の内容が頻繁には更新されない。よって、サービス全体にハイブリッド記述子の内容を適用する場合に好ましい。
【0089】
EITにハイブリッド記述子が含まれる場合、ハイブリッド記述子の内容をイベント単位で変更できるという利点がある。
【0090】
図10は、本実施の形態に係るハイブリッド記述子の別の構成を示す図である。
図10に示すように、ハイブリッド記述子は、上記第2伝達関数情報に加え、又は第2伝達関数情報の代わりに、ダイナミックレンジ増加情報(dynamic_range_increase)及びピクチャ最大平均レベル情報(maximum_average_picture_level)を含んでもよい。
【0091】
また、
図11は、本実施の形態に係るHEVC記述子(HEVC_descriptor)の構成を示す図である。HEVC記述子は、MPEG2-TSレベルの記述子である。
図11に示すように、HEVC記述子の予備値(リザーブド)が、ハイブリッド符号化フラグ(hdr_hybrid_gamma_coded_content_flag)とダイナミックレンジ増加情報(dynamic_range_increase)とに置き換えられる。なお、ハイブリッド符号化フラグは、上述したハイブリッドOETFフラグ(HDR_hybrid_gamma_OETF_flag)と同様のフラグである。また、上述した他の情報(第2伝達関数情報及びピクチャ最大平均レベル情報)がHEVC記述子に含まれてもよい。
【0092】
また、AVC記述子(AVC_video_descriptor)に同様の拡張を行ってもよい。
【0093】
また、上述したハイブリッド記述子(HDR_hybrid_gamma_descriptor)と、ビデオエレメンタリストリームへのOETFのシグナリング(ハイブリッドSEIメッセージ)とを組み合わせてもよい。これにより、データ再生装置におけるパラメータの切り替えを円滑に行うことができる。
【0094】
以下、この動作を詳細に説明する。
図12は、ストリームの構成及びデータ再生装置の動作を示す図である。
【0095】
ハイブリッドOETFフラグ(HDR_hybrid_gamma_OETF_flag)を含むハイブリッド記述子(HDR_hybrid_gamma_descriptor)は、実際の変更の少し前に送信が開始される。このハイブリッドOETFフラグを受信したデータ再生装置は、SDRとHDRとの間の変更の準備を行う。
【0096】
また、パラメータの変更を有効にするために、映像シーケンスの終了を示すEOS(End Of Sequence)がビデオエレメンタリストリームに挿入されている。また、EOSの後続のRAP(ランダムアクセスポイント)に、直前にシグナリングされていたハイブリッド記述子に適応したハイブリッドSEIメッセージが格納される場合と格納されない場合がある。
【0097】
データ再生装置は、EOS及びハイブリッドSEIメッセージが存在するか否かを検出し、検出結果に応じた変更を行う。
【0098】
図12に示す例では、データ再生装置は、HDR動作を行っている状態において、HDR_hybrid_gamma_OETF_flag=0を含むハイブリッド記述子を取得する。これにより、データ再生装置は、HDRからSDRへの動作の切り替えの準備を開始する。次に、データ再生装置はEOSを取得したタイミングでHDRからSDRへの切り替えを行う。また、SDRのビデオエレメンタリストリーム内にはハイブリッドSEIメッセージは存在せず、データ再生装置は、ハイブリッドSEIメッセージを取得しない。
【0099】
次に、データ再生装置は、SDR動作を行っている状態において、HDR_hybrid_gamma_OETF_flag=1を含むハイブリッド記述子を取得する。これにより、データ再生装置は、SDRからHDRへの動作の切り替えの準備を開始する。次に、データ再生装置はEOSを取得したタイミングでSDRからHDRへの切り替えを行う。
【0100】
以下、上記に基づく、データ生成装置110及びデータ再生装置120の動作を説明する。
【0101】
図13は、本実施の形態に係るデータ生成装置110の動作のフローチャートである。データ生成装置110は、HDRの映像データであって、HDRの映像の再生に対応せず、かつSDRの映像の再生に対応している第1機器での再生に互換性を有する映像データを生成する。
【0102】
まず、映像信号生成部111は、第2OETFを用いて原画像の輝度値をコード値に変換することで映像信号を生成する(S101)。次に、符号化部112は、映像信号を符号化することでビデオエレメンタリストリームを生成する。このとき符号化部112は、SDRにのみ対応している第1機器が映像データを再生する際に第1機器で参照される第1OETFを特定するための第1伝達関数情報を、映像データ(ビデオエレメンタリストリーム)内のVUIに格納する。また、HDRに対応している第2機器が映像データを復号する際に第2機器で参照される第2OETFを特定するための第2伝達関数情報を、映像データ内のSEIに格納する(S102)。
【0103】
ここでVUI及びSEIは映像符号化レイヤに属する。また、第1OETFは、例えば、BT.709又はBT.2020で規定されているOETFであり、第2OETFは、例えば、BBCハイブリッドガンマOETFである。
【0104】
また、符号化部112は、さらに、映像データの輝度ダイナミックレンジとSDRの輝度ダイナミックレンジとの差を示すダイナミックレンジ増加情報をSEIに格納してもよい。また、符号化部112は、さらに、映像シーケンスに含まれる全てのピクチャの各々の平均輝度値のうち、最大の平均輝度値を示すピクチャ最大平均レベル情報をSEIに格納してもよい。
【0105】
次に、多重化部113は、ビデオエレメンタリストリームデータを多重化することでトランスポートストリームを生成する。このとき多重化部113は、映像データが、HDRの映像データであるか否かを示すハイブリッド情報(ハイブリッドOETFフラグ)を多重化レイヤのハイブリッド記述子内に格納する(S103)。
【0106】
なお、
図12に示す例では、ハイブリッド記述子が少なくともハイブリッドOETFフラグを含む例を示しているが、ハイブリッド記述子は、さらに、第2伝達関数情報、ダイナミックレンジ増加情報、又はピクチャ最大平均レベル情報を含んでもよい。
【0107】
同様に、ハイブリッドSEIメッセージは、ハイブリッドOETFフラグ、第2伝達関数情報、ダイナミックレンジ増加情報、及びピクチャ最大平均レベル情報の少なくとも一つを含めばよい。
【0108】
また、上記説明では、ハイブリッドOETFフラグと第2伝達関数情報とを個別の情報として記載しているが、第2伝達関数情報を、ハイブリッドOETFフラグの代わりに用いてもよい。つまり、ハイブリッドOETFフラグは用いられなくてもよい。例えば、第2伝達関数情報が映像データに含まれるか否かにより、映像データが、HDRの映像データであるか否か(ハイブリッドOETFが用いられるか否か)をシグナリングできる。または、第2伝達関数情報によりハイブリッドOETFが示されるか、SDRのOETFが示されるかにより、映像データが、HDRの映像データであるか否かをシグナリングされてもよい。
【0109】
なお、上記説明では、第2伝達関数情報によりハイブリッドOETFが示される例を述べたが、
図12に示すように、映像データ内にHDRの映像とSDRの映像とが混在する場合には、SDRの映像に対しても第2伝達関数情報によりSDRのOETFが示されてもよい。これにより、HDRに対応しているデータ再生装置では、映像データがSDRかHDRかによらず、常に第2伝達関数情報を参照すればよい。つまり、当該データ再生装置は、第1伝達関数情報を参照しなくてもよい。これにより、データ再生装置の処理を簡略化できる。
【0110】
図14は、本実施の形態に係るデータ再生装置120の動作のフローチャートである。データ再生装置120は、HDRの映像データであって、HDRの映像の再生に対応せず、かつSDRの映像の再生に対応している第1機器での再生に互換性を有する映像データを再生する。ここで、この映像データは、例えば、データ生成装置110により生成された映像データである。
【0111】
まず、逆多重化部121は、映像データ(トランスポートストリーム)を逆多重化することでビデオエレメンタリストリームを生成する。このとき逆多重化部121は、映像データのハイブリッド記述子からハイブリッド情報(例えばハイブリッドOETFフラグ)を取得する(S121)。なお、逆多重化部121は、さらに、ダイナミックレンジ増加情報及びピクチャ最大平均レベル情報の少なくとも一方をハイブリッド記述子から取得してもよい。
【0112】
次に、データ再生装置120は、取得したハイブリッド情報に基づき、SDRの再生とHDRの再生とを切り替える準備を行う(S122)。
【0113】
次に、復号部122は、ビデオエレメンタリストリームを復号することで映像信号(コード値)を生成する。直前のハイブリッドOETFフラグによりハイブリッドOETFが用いられていることが示される場合には、復号部122は、ビデオエレメンタリストリーム内のハイブリッドSEIに含まれる第2伝達関数情報を取得する(S123)。なお、復号部122は、さらに、ダイナミックレンジ増加情報及びピクチャ最大平均レベル情報の少なくとも一方をハイブリッドSEIから取得してもよい。
【0114】
再生部123は、取得した第2伝達関数情報で特定される第2OETFを参照して映像データに含まれる映像信号を再生する(S124)。また、再生部123は、映像シーケンスが切り替わるタイミングで、SDRの再生とHDRの再生とを切り替える。具体的には、再生部123は、EOS以降のデータを変更後の方式で再生する。また、ダイナミックレンジ増加情報又はピクチャ最大平均レベル情報が取得された場合には、これらの情報を用いて再生が行われる。
【0115】
なお、直前のハイブリッドOETFフラグによりハイブリッドOETFが用いられていないことが示される場合には、ステップS123において、復号部122は、ビデオエレメンタリストリーム内のVUIに含まれる第1伝達関数情報を取得する。ステップS124において、再生部123は、取得した第1伝達関数情報で特定される第2OETFを参照して映像データに含まれる映像信号を再生する。なお、上述したように、第2伝達関数情報により第1OETF又は第2OEFTが選択的に示される場合には、復号部122は、常に第2伝達関数情報を取得し、再生部123は、第2伝達関数情報により示される第1OETF又は第2OETFを参照してもよい。
【0116】
以上のように、本実施の形態では、VUI内に格納される第1伝達関数情報に加え、SEIメッセージ内に第2伝達関数情報が格納される。これにより、BBCハイブリッドガンマ(Hybrid Gamma)OETF等のハイブリッドOETFを用いたHDR符号化を実現できる。
【0117】
具体的には、記述子を用いた多重化レイヤへのシグナリングによりコンテンツがハイブリッドOETFによりHDR符号化されているかを示すことができる。
【0118】
また、新たなSEIメッセージと新たな記述子との組み合わせにより、データ再生装置による円滑なHDRとSDRとの間の切り替えを実現できる。
【0119】
また、第1OETFは下記の(式2)で規定される関数であってもよい。
【0120】
【0121】
ここで、Lはイメージの輝度であり、参照ホワイトレベルで0≦L≦1に規格化されている。Vは電気信号に対応する数値である。また、α、β、γ、δ、ρはある定数であって、具体的な数値例としては、α=4.5、β=0.018、γ=1.099、δ=0.45、ρ=0.099である。
【0122】
つまり、(式2)に示すように、第1OETFは、映像データの輝度の第一の範囲では映像データの輝度の線形項で規定され、第一の範囲よりも大きい第二の範囲では映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0123】
さらに、第1OETFは下記の(式3)で表現される関数であってもよい。
【0124】
【0125】
ここで、Lはイメージの輝度であり、0≦L≦1で規格化されている。Eは参照ホワイトレベルで規格化された電圧に対応する数値であって、参照カメラ色チャネルRGBで検出された絶対光強度に比例する。結果として、E’は非線形シグナルになる。また、α、β、γ、δはある定数であって、具体的な数値例としては、α=4.5、β=0.018(for 10-bit system)または0.0181(for 12-bit system)、γ=1.099(for 10-bit system)または1.0993(for 12-bit system)、δ=0.45、ρ=0.099である。
【0126】
また、第2OETFは下記の(式4)で規定される関数であってもよく、当該OETFでは、高い輝度において、変換関数を対数項にて規定している。
【0127】
【0128】
ここで、Lはイメージの輝度であり、参照ホワイトレベルで規格化されている。ただし、Lは1を超えることがある。すなわち、この変換関数は参照ホワイトよりも大きな輝度もサポートしている。Vは電気信号に対応する数値である。μはガンマ曲線と対数曲線の変換点(breakpoint)であって、Vが1以下におけるLの最大値を決定する。また、α、β、γ、δ、ρはある定数であって、具体的な数値例としては、α=4.5、β=0.018、γ=1.099、δ=0.45、ρ=0.099である。
【0129】
つまり、(式4)に示すように、第2OETFは、映像データの輝度の第三の範囲では映像データの輝度の線形項で規定され、第三の範囲よりも大きい第四の範囲では映像データの輝度のべき乗項で規定され、第四の範囲よりも大きい第五の範囲では映像データの輝度の対数項で規定されるOETFであってもよい。
【0130】
また、第1OETFは下記の(式5)で規定される関数であってもよい。
【0131】
【0132】
ここで、Lはイメージの輝度であり、参照ホワイトレベルで0≦L≦1に規格化されている。Vは電気信号に対応する数値である。また、αはある定数であって、具体的な数値例としては、α=0.5である。
【0133】
つまり、(式5)に示すように、第1OETFは、映像データの輝度のべき乗項で規定されるOETFであってもよい。
【0134】
また、第2OETFは下記の(式6)で規定される関数であってもよい。当該OETFでは、高い輝度において、変換関数を対数項にて規定している。
【0135】
【0136】
また、αはある定数であって、具体的な数値例としては、α=0.5である。
【0137】
つまり、(式6)に示すように、第2OETFは、映像データの輝度の第六の範囲では映像データの輝度のべき乗項で規定され、第六の範囲よりも大きい第七の範囲では映像データの輝度の対数項で規定されるOETFであってもよい。
【0138】
以上、一つまたは複数の態様に係るデータ生成装置(データ生成方法)及びデータ再生装置(データ再生方法)について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【0139】
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【産業上の利用可能性】
【0140】
本発明は、データ送信装置又はBD機器等のデータ再生装置に適用できる。
【符号の説明】
【0141】
110 データ生成装置
111 映像信号生成部
112 符号化部
113 多重化部
120 データ再生装置
121 逆多重化部
122 復号部
123 再生部