知財求人 - 知財ポータルサイト「IP Force」
特表2022-508741複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-19
(54)【発明の名称】複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性
(51)【国際特許分類】
H04N 19/30 20140101AFI20220112BHJP
H04N 19/85 20140101ALI20220112BHJP
【ＦＩ】
H04N19/30
H04N19/85
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021545336
(86)(22)【出願日】2019-10-09
(85)【翻訳文提出日】2021-05-25
(86)【国際出願番号】 GB2019052869
(87)【国際公開番号】W WO2020089583
(87)【国際公開日】2020-05-07
(31)【優先権主張番号】1816469.9
(32)【優先日】2018-10-09
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】1820473.5
(32)【優先日】2018-12-14
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】1900511.5
(32)【優先日】2019-01-14
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】1902008.0
(32)【優先日】2019-02-13
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】521151072
【氏名又は名称】ヴイ－ノヴァ インターナショナル リミテッド
【氏名又は名称原語表記】Ｖ－ＮＯＶＡ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】１ Ｓｈｅｌｄｏｎ Ｓｑｕａｒｅ，Ｐａｄｄｉｎｇｔｏｎ，Ｌｏｎｄｏｎ Ｇｒｅａｔｅｒ Ｌｏｎｄｏｎ Ｗ２ ６ＴＴ，ＵＮＩＴＥＤ ＫＩＮＧＤＯＭ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】フェラーラ，シモーヌ
(72)【発明者】
【氏名】マーディ，グイド
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159MA34
(57)【要約】
信号を符号化および復号化するための方法が与えられる。当該方法は、第１信号（９００）および第２信号（９６０）を受信する工程を有し、第１および第２信号は共通コンテンツの異なるバージョンを含み、第１信号（９００）は第１信号エレメントコーディングフォーマットを使用し、第２信号（９６０）は第２信号エレメントコーディングフォーマットを使用する。第１信号（９００）は下位符号化信号（９１０）を生成するべく下位エンコーディングモジュール（１１０３）によって符号化される。下位符号化信号（９１０）は下位復号化信号を生成するべく復号化される。下位復号化信号は、処理済み信号を生成するべく、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ少なくとも変換しかつアップサンプリングすることによって処理される。処理済み信号および第２信号（９６０）は、上位符号化信号（９２０）を生成するべく上位エンコーディングモジュール（１１０７）によって処理される。
【特許請求の範囲】
【請求項1】
信号を復号化する方法であって、第１信号および第２信号を受信する工程であって、前記第１信号および前記第２信号は共通のコンテンツの異なるバージョンを有し、前記第１信号は第１信号エレメントコーディングフォーマットを使用し、前記第２信号は第２信号エレメントコーディングフォーマットを使用するところの工程と、
下位符号化信号を生成するべく、下位エンコーディングモジュールによって前記第１信号を符号化する工程と、
下位復号化信号を生成するべく、前記下位符号化信号を復号化する工程と、
処理済み信号を生成するべく、前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ少なくとも変換することにより、前記下位復号化信号を処理する工程と、
上位符号化信号を生成するべく、前記処理済み信号および前記第２信号を上位エンコーディングモジュールによって処理する工程と
を備える方法。
【請求項2】
前記第１信号エレメントコーディングフォーマットは第１色空間を表し、前記第２信号エレメントコーディングフォーマットは第２色空間を表す、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記信号エレメントコーディングフォーマットは標準ダイナミックレンジ（ＳＤＲ）を表し、前記第２信号エレメントコーディングフォーマットは高ダイナミックレンジ（ＨＤＲ）を表し、ＨＤＲフォーマットはＳＤＲフォーマットより高い輝度および／または広い色域を有する、ことを特徴とする請求項１または２に記載の方法。
【請求項4】
前記第１信号エレメントコーディングフォーマットは第１ビット深度を有し、前記第２信号エレメントコーディングフォーマットは第２ビット深度を有し、前記第１ビット深度は前記第２ビット深度より小さい、ことを特徴とする請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記第１信号エレメントコーディングフォーマットは第１レベルの品質であり、前記第２信号エレメントコーディングフォーマットは第２レベルの品質であり、前記第２レベルの品質は前記第１レベルの品質より高い、ことを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記上位符号化信号は、基準信号としての前記第２信号と前記基準信号の再構成済みバージョンとしての前記処理済み信号との間の差を表す残差データを有するエンハンスメント信号である、ことを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記下位復号化信号を処理する工程は、アップサンプリング済み信号を生成するべく前記下位復号化信号をアップサンプリングする工程、および中間符号化信号を生成するべく前記アップサンプリング済み信号および前記第１信号を中間エンコーダで処理する工程を有する、ことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記中間符号化信号は、基準信号としての前記第１信号と、前記基準信号の再構成済みバージョンとしての前記アップサンプリング済み信号との間の差を表す残差データを有するエンハンスメント信号を有する、ことを特徴とする請求項７に記載の方法。
【請求項9】
前記中間符号化信号は、中間再構成済み信号を出力するべく、前記下位復号化信号のアップサンプリング済みバージョンによって復号化および処理される、ことを特徴とする請求項か７または８に記載の方法。
【請求項10】
前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ少なくとも変換することによって、前記アップサンプリング済み信号を処理する工程は、前記第１色空間から前記第２色空間へ前記中間再構成済み信号を変換する工程を有する、ことを特徴とする請求項９または１０に記載の方法。
【請求項11】
前記下位復号化信号を処理する工程は、前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ前記下位復号化信号を変換する工程、および前記処理済み信号を生成するべく前記変換の出力をアップサンプリングする工程を有する、ことを特徴とする請求項１から１０のいずれか一項に記載の方法。
【請求項12】
当該方法は、下位符号化信号を生成するべく、前記第１信号を下位符号化モジュールによって符号化する前に、前記第１信号をダウンサンプリングする工程を備える、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記第１信号は連続する複数のフレームを有し、前記第２信号は対応する連続する複数のフレームを有し、各フレームは前記下位エンコーダによって符号化される、ことを特徴とする請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ変換する工程は非線形である、ことを特徴とする請求項１から１３のいずれか一項に記載の方法。
【請求項15】
前記第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換する工程は非予測的である、ことを特徴とする請求項１から１４のいずれか一項に記載の方法。
【請求項16】
信号を復号化する方法であって、第１信号エレメントコーディングフォーマットで下位復号化信号を生成するべく、下位復号化モジュールによって下位符号化信号を復号化する工程と、
上位再構成済み信号を生成するべく、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ少なくとも変換しかつアップサンプリングすることにより、前記下位復号化信号を処理する工程と、
上位復号化信号を生成するべく、上位符号化信号を上位復号化モジュールによって復号化する工程と、
前記第２信号エレメントコーディングフォーマットでオリジナル信号の再構成である上位合成済み復号化信号を生成するべく、前記上位デコーディングモジュールによって前記上位再構成済み信号および前記上位復号化信号を処理する工程と
を備える方法。
【請求項17】
前記第１信号エレメントコーディングフォーマットは第１色空間を表し、前記第２信号エレメントコーディングフォーマットは第２色空間を表す、ことを特徴とする請求項１６に記載の方法。
【請求項18】
前記下位復号化信号は標準ダイナミックレンジ（ＳＤＲ）を有し、前記上位合成済み復号化信号は高ダイナミックレンジ（ＨＤＲ）を有し、ＨＤＲフォーマットはＳＤＲフォーマットより高い輝度および／または広い色域を有する、ことを特徴とする請求項１６または１７に記載の方法。
【請求項19】
前記下位復号化信号は第１ビット深度を有し、前記上位再構成済み信号は第２ビット深度を有し、前記第１ビット深度は前記第２ビット深度より小さい、ことを特徴とする請求項１６から１８のいずれか一項に記載の方法。
【請求項20】
前記第１信号エレメントコーディングフォーマットは第１レベルの品質であり、前記第２信号エレメントコーディングフォーマットは第２レベルの品質であり、前記第２レベルの品質は前記第１レベルの品質より高い、ことを特徴とする請求項１６から１９のいずれか一項に記載の方法。
【請求項21】
前記上位復号化信号は、前記第２信号エレメントコーディングフォーマットでオリジナル信号を再構成するべく、前記上位再構成済み信号を調節するための残差データを有するエンハンスメント信号である、ことを特徴とする請求項１６から２０のいずれか一項に記載の方法。
【請求項22】
中間復号化信号を生成するべく、中間デコーディングモジュールによって中間符号化信号を復号化する工程を備え、前記下位復号化信号を処理する工程は、アップサンプリング済み信号を生成するべく前記下位復号化信号をアップサンプリングする工程、および中間再構成済み信号を生成するべく前記アップサンプリング済み信号および前記中間復号化信号を前記中間デコーダで処理する工程を有する、ことを特徴とする請求項１６に記載の方法。
【請求項23】
前記中間復号化信号は、前記第１信号エレメントコーディングフォーマットでオリジナル信号を再構成するべく、前記アップサンプリング済み信号を調節するための残差データを有するエンハンスメント信号である、ことを特徴とする請求項２２に記載の方法。
【請求項24】
前記下位復号化信号を処理する工程は、第１色空間から第２色空間へ前記中間再構成済み信号を変換する工程を有する、ことを特徴とする請求項２２または２３に記載の方法。
【請求項25】
接続されたディスプレイが前記第２信号エレメントコーディングフォーマットを表示することができないか否かを検知する工程と、もしそうであれば、前記中間再構成済み信号を出力する工程を備える、請求項１６に記載の方法。
【請求項26】
ディスプレイが前記第１信号エレメントコーディングフォーマットのみを表示することができる場合、前記上位合成済み復号化信号を前記第１信号エレメントコーディングフォーマットへ逆変換するよう選択する工程を備える、請求項１７に記載の方法。
【請求項27】
前記下位復号化信号は前記上位合成済み復号化信号のすべてのフレームを有し、前記下位符号化信号内の各フレームは前記下位符号化モジュールによって復号化され、前記上位合成済み復号化信号のベースバージョンを与え、前記上位符号化信号は前記ベースバージョンの各フレームに対するエンハンスメント情報を有する、ことを特徴とする請求項１６から２６のいずれか一項に記載の方法。
【請求項28】
前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ変換する工程は非線形である、ことを特徴とする請求項１６から２７のいずれか一項に記載の方法。
【請求項29】
前記第１信号エレメントコーディングフォーマットから前記第２信号エレメントコーディングフォーマットへ変換する工程は非予測的である、ことを特徴とする請求項１６から２８のいずれか一項に記載の方法。
【請求項30】
請求項１から２９のいずれか一項に記載の方法を実行するよう適応されたコンピュータプログラム。
【請求項31】
請求項３０に記載のコンピュータプログラムを有するコンピュータ読み取り可能記憶媒体またはデータキャリア。
【請求項32】
請求項１から２９のいずれか一項に記載の方法を実行するよう適応された、プロセッサおよびメモリを有するデータ処理装置。【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、信号、特に、ビデオ信号を処理するための方法に関する。信号処理は、これに限定しないが、ビデオ信号内のダイナミックカラーレンジを増加させるようなデータを取得し、導出し、出力し、受信し、かつ再構成することを含む。
【背景技術】
【0002】
技術の進歩は、特に圧縮、記憶および伝送用に信号を処理するための多くの異なる技術および方法が存在することを示している。例えば、長年にわたって、情報が圧縮されるように画像およびビデオ信号を符号化するための多くの方法が開発されてきた。これは、地上波無線放送、ケーブル放送、衛星放送、もしくはインターネット、または他のデータネットワークのいずれかを介する任意の伝送路のストレージ要求および帯域幅要求を減少させる利点を有する。技術が進歩するに従い、圧縮および伝送のより洗練された方法が開発された。高品質な信号が所望され、例えば、高解像度ビデオ（フレームあたりの増加画素数または一秒あたりの増加フレーム数として現れる）を有する信号が要求されている。結果として、既存の多くの信号フォーマットが存在し、これらのフォーマットを使用ことができるか、またはできない多くのタイプの信号エンコーダおよびデコーダが存在する。これは、最も広範囲の視聴者に利用可能なコンテンツを保証したいコンテンツのクリエータおよび配信者にとっては問題である。結果として、クリエータおよび配信者は、例えば、ＭＰＥＧ－２、ＭＰＥＧ－４Ｐａｒｔ１０、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ）などの標準符号化技術を使って符号化された多くの異なるエンコーディングフォーマットでコンテンツを提供しなければならない。また、符号化信号の配信もまた、標準化および非標準化放送およびストリーミング技術によって促進されている。全体として、これがコンテンツ配信者にとってコストを増加させる複雑な状況を作っており、かつ、普及ずみの古い技術（例えば、旧式デコーダおよびセットトップボックスなど）との互換性欠如のために、より新しくかつより良い技術の適用をより困難なものにしている。
【0003】
高ダイナミックレンジ（ＨＤＲ）ビデオは、品質改善のひとつの次元を付加することにより高品質ビデオを伝送する潜在性を示した。すなわち、解像度の増加（すなわち、フレームあたりのより多くの画素数）および動き忠実性の増加（すなわち、一秒あたりのより多くのフレーム数）とは別に、オペレータはダイナミックレンジを増加させることもできる（すなわち、より広範囲の輝度、トーン、ひいてはよりビビッドなコントラストおよびカラー）。ＨＤＲ対応ディスプレイの広い有用性はＨＤＲビデオとの関連性をより増加させている。
【0004】
高ダイナミックレンジ（ＨＤＲ）は、典型的に、標準ダイナミックレンジ（ＳＤＲ）より高い輝度および／または色域を指し、後者は従来のガンマ曲線を使って色域を表す。ＨＤＲは、典型的に、最も明るいおよび最も暗いカラーの値を変化させること、および、異なるカラープレーン（典型的に、標準カラープレーンからワイドカラー全域プレーンに拡張された）を使うことによって演算する。
【0005】
現在の市場には、十分に大きな範囲の利用価値を有するように、典型的に、１０ビット（またはそれ以上の高ビット深度）表示のカラー成分（例えば、輝度Ｙおよび彩度ＣｂおよびＣｒ）を要求するさまざまなＨＤＲ実装が存在する。このＨＤＲ実装のひとつは、ＨＤＲ １００であり、それは、ビデオストリーム内に表示された輝度および色域を調整するためにビデオ信号内の統計メタデータを使用する。こうして、単一のＨＲＤ設定がビデオシーケンスを通じて適用される。動的メタデータを使う異なる実装は、ＨＤＲ１０＋またはドルビー（商標）ビジョンなどのさまざまな商業的名称を有する。動的メタデータに関して、ＨＤＲ設定は、フレームバイフレーム方式で変更され、したがって、場面の変化に対してより高い粒度および順応を与えうる。
【0006】
しかし、現在、ＨＤＲビデオの伝送は、ＨＥＶＣなどのネイティブ１０ビットビデオフォーマットを復号化することができるデコーダを要求している。ほとんどのオペレータが、８ビットのＡＶＣ／Ｈ．２６４ビデオを復号化することができる古い装置のみを所有している大部分の顧客ベースにサービスを提供し続ける必要があるので、しばしばこれは、ビデオワークフローの複製を要求する。同様に、それはまた、オペレータが、ＶＰ９などの８ビットフォーマットを有するＨＤＲを使用することを妨げる。さらに、ＨＤＲによって要求されるトーンマッピングは、圧縮効率を最適化するために必ずしも最適にフィットしない。この視点での他の情報は、以下の論文を参照することで明らかである。A. Banitalebi-Dehkordi, M. Azimi, M. T. Pourazad and P. Nasiopoulos, "Compression of high dynamic range video using the HEVC and H.264/AVC standards," 10th International Conference on Heterogeneous Networking for Quality, Reliability, Security and Robustness, Rhodes, 2014, pp. 8-12.
【0007】
より新しいコーディング標準、特にＨＤＲ関連標準または技術と、容易に置換またはアップグレードできない古いデコーディング装置との非互換性に関する一般的問題が存在する。信号伝送用に利用可能な制限された帯域幅の一般的問題も存在する。異なる方法で符号化された同じコンテンツの多くのバージョンを作成しかつ維持する際に、コンテンツ配信者用の処理およびストレージオーバーヘッドの一般的問題も存在し、この問題は、ＨＤＲタイプの信号（すなわち、より広い輝度範囲およびコントラスト比に対するポテンシャルを有する信号および／またはより広いカラー全域を表す情報を含む信号）を符号化するいくつかの競合しかつ広範囲に非互換の技術の導入によって悪化する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は、上述した問題のひとつ以上を解決することを目的とする。
【課題を解決するための手段】
【0009】
本開示において、ＨＤＲタイプの情報が上述したひとつ以上の問題を解決するために、階層コーディングスキームでどのように組み合わされるかについて説明する。特に、ＨＤＲタイプの信号がＨＤＲ互換ディスプレイ装置を介してユーザに与えられることを可能にし、かつ、ひとつ以上のデコーダ技術または関連するディスプレイ装置がＨＤＲタイプの情報を処理することができない場合に、ＨＤＲ非同等信号がユーザに与えられることを可能にするような方法で、階層信号が符号化され、伝送され、復号化されることが可能となるエンコードおよびデコード方式を与えることを目的とする。特に、よりエレガントかつ効率的な方法を与えることを目的とする。また、可能な場合、ＨＤＲタイプの復号化およびＳＤＲタイプの符号化に必要なすべての情報からなる合成符号化ビデオストリームを与えること、および、ＨＤＲタイプの復号化に必要な情報がデコーダに入力されたか否かまたはＨＤＲタイプの復号化に必要な情報がデコーダで使用されたか否か（例えば、該情報は無視されたかまたは破棄されうる）のフレキシビリティを与えることである。
【0010】
添付する特許請求の範囲に従う、方法、コンピュータプログラム、コンピュータ読み取り可能記憶媒体またはデータキャリア、およびデータ処理装置が与えられる。
【0011】
本願発明の第１の態様は、第１信号および第２信号を受信することを有する、信号をエンコードするための方法を開示する。第１および第２の信号は、共通コンテンツの異なるバージョンを有する。第１信号は第１信号エレメントコーディングフォーマットを使用し、第２信号は第２信号エレメントコーディングフォーマットを使用する。第１信号は下位符号化信号を生成する下位符号化モジュールによって符号化される。下位符号化信号は下位復号化信号を生成するべく復号化される。下位復号化信号は、少なくとも、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換することによって処理されかつアップサンプリングされ、処理済み信号が生成される。こうして、信号改良、ポテンシャル帯域幅の減少、および後方互換性のひとつ以上が与えられる。
【0012】
第１信号エレメントコーディングフォーマットは、第１色空間を表してよく、第２信号エレメントコーディングフォーマットは第２色空間を表してよい。
【0013】
第１信号エレメントコーディングフォーマットは、標準ダイナミックレンジＳＤＲを表してよく、第２信号エレメントコーディングフォーマットは、高ダイナミックレンジＨＤＲを表してよく、ＨＤＲフォーマットはＳＤＲフォーマットよりも高い輝度および／または広い色域を有してよい。
【0014】
任意で、第１信号エレメントコーディングフォーマットは、第１ビット深度を有してよく、第２信号エレメントコーディングフォーマットは第２ビット深度を有してよく、ここで、第１ビット深度は第２ビット深度より小さくて良い。
【0015】
任意で、第１信号エレメントコーディングフォーマットは、第１レベルの品質であってよく、第２信号エレメントコーディングフォーマットは第２レベルの品質であってよく、ここで、第２レベルの品質は、第１レベルの品質より高くてよい。
【0016】
上位符号化信号は、基準信号としての第２信号と、基準信号の再構成バージョンとしての処理済み信号との間の差を表す残差データからなるエンハンスメント信号であってよい。
【0017】
下位復号化信号を処理する工程は、アップサンプリング済み信号を生成するべく下位復号化信号をアップサンプリングすること、および、中間符号化信号を生成するべく、中間エンコーダにおいて、アップサンプリング済み信号および第１信号を処理することを有してよい。
【0018】
任意で、中間符号化信号は、基準信号としての第１信号と、基準信号の再構成バージョンとしてのアップサンプリング済み信号との間の差を表す残差データを有するエンハンスメント信号を有してよい。
【0019】
任意で、中間符号化信号は、中間再構成済み信号を出力するべく、アップサンプリング済みバージョンの下位復号化信号によって復号化されかつ処理されてよい。
【0020】
少なくとも第１信号エレメントコーディングフォーマット信号を第２信号エレメントコーディングフォーマット信号に変換することによって、アップサンプリング済み信号を処理する工程は、第１色空間から第２色空間へ中間再構成済み信号を変換することを有してよい。
【0021】
下位復号化信号を処理する工程は、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ下位復号化信号を変換すること、および、処理済み信号を生成するべく変換の出力をアップサンプリングすることを有してよい。
【0022】
上述した方法は、下位符号化モジュールによって、下位符号化信号を生成するべく、第１信号を符号化する前に第１信号をダウンサンプリングすることを有する。こうして、符号化の処理は、より少数の画素に対して実行され、したがってより迅速に実行可能である。
【0023】
第１信号は、連続する複数のフレームを有してよく、第２信号は対応する連続する複数のフレームを有してよく、各フレームは下位エンコーダによって符号化されてよい。こうして、フレームカウントおよびシグナリングの必要性が減少し、付加的に、イントラ符号化基準フレームを管理する必要性が大きく減少する。
【0024】
第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換する工程は、非線形であってよい。
【0025】
第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換する工程は、非予測的であってよい。こうして、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへの変換は、付加的な予測情報の計算を必要としないスタンドアロン形式で実行されてよく、それにより、変換機能のモジュラー交換がより簡単に促進される。また、こうして、デコーダでの計算負荷が減少し、より多くの後方互換性が実現されうる。
【0026】
また、信号を復号化する方法が与えられる。当該方法は、第１信号エレメントコーディングフォーマットで下位復号化信号を生成するべく、下位デコーディングモジュールによって、下位符号化信号を復号化することを有する。下位復号化信号は、上位再構成済み信号を生成するべく、少なくとも、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換しかつアップサンプリングすることによって処理される。上位符号化信号は、上位復号化信号を生成するべく上位復号化モジュールによってデコードされる。上位再構成済み信号および上位復号化信号は、第２信号エレメントコーディングフォーマットでオリジナル信号を再構成した上位合成済み復号化信号を生成するべく上位復号化モジュールによって処理される。こうして、信号改良、ポテンシャル帯域幅の減少、および後方互換性のひとつ以上が与えられる。
【0027】
任意で、第１信号エレメントコーディングフォーマットは第１色空間を表してよく、第２信号エレメントコーディングフォーマットは第２色空間を表してよい。
【0028】
任意で、下位復号化信号は標準ダイナミックレンジ（ＳＤＲ）を有してよく、上位復号化信号は高ダイナミックレンジ（ＨＤＲ）を有してよく、ＨＤＲフォーマットは、ＳＤＲフォーマットより、高い輝度および広い色域を有してよい。
【0029】
任意で、下位復号化信号は第１ビット深度を有してよく、上位再構成済み信号は第２ビット深度を有してよく、ここで第１ビット深度は第２ビット深度より小さくてよい。
【0030】
任意で、第１信号エレメントコーディングフォーマットは、第１レベルの品質を有してよく、第２信号エレメントコーディングフォーマットは第２レベルの品質を有してよく、ここで第２レベルの品質は第１レベルの品質より高くてよい。
【0031】
任意で、上位復号化信号は、第２信号エレメントコーディングフォーマットでオリジナル信号を再構成するべく、上位再構成済み信号を調節するための残差データを有するエンハンスメント信号であってよい。
【0032】
中間符号化信号は、中間復号化信号を生成するべく中間デコーディングモジュールによって復号化されてよく、ここで、下位復号化信号を処理する工程は、アップサンプリング済み信号を生成するべく、下位復号化信号をアップサンプリングすること、および、中間再構成済み信号を生成するべく中間デコーダにおいてアップサンプリング済み信号および中間復号化信号を処理することを有する。
【0033】
任意で、中間復号化信号は、第１信号エレメントコーディングフォーマットでオリジナル信号を再構成するべく、アップサンプリング済み信号を調節するための残差データを有してよい。こうして、コーデックタイプの不正確さが補正されうる。
【0034】
任意で、下位復号化信号を処理する工程は、第１色空間から第２色空間へ中間再構成済み信号を変換することを有してよい。
【0035】
任意で、復号化の方法は、接続ディスプレイが第２信号エレメントコーディングフォーマットを表示することができないか否かを検知し、もしそうであれば、中間再構成済み信号を出力する工程を有してよい。こうして、後方互換性が与えられる。
【0036】
上位合成済み復号化信号は、ディスプレイが第１信号エレメントコーディングフォーマットのみを表示することができる場合、第１信号エレメントコーディングフォーマットに逆変換されてよい。こうして、後方互換性が与えられる。
【0037】
下位符号化信号は、上位合成済み復号化信号のすべてのフレームを有してよく、ここで、下位符号化信号の各フレームは下位復号化モジュールによって復号化されてよく、かつ、上位合成済み復号化信号のベースバージョンを与え、上位符号化信号はベースバージョンの各フレームに対するエンハンスメント情報を有してよい。
【0038】
任意で、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換する工程は、非線形であってよい。
【0039】
任意で、第１信号エレメントコーディングフォーマットから第２信号エレメントコーディングフォーマットへ変換する工程は、非予測的であってよい。こうして、コーディングフォーマット変換は付加的な予測情報の計算を必要とせず、スタンドアロン形式で実行されてよく、その結果、変換機能のモジュラー交換がより単純に促進される。また、こうして、デコーダでの計算負荷が減少し、かつ、より多くの後方互換性が実現されうる。
【0040】
上述した信号符号化および復号化方法を実行するのに適応されるコンピュータプログラムが与えられる。
【0041】
上述した信号符号化および復号化方法を実行するのに適応されるコンピュータプログラムを含むコンピュータ読み取り可能記憶媒体またはデータキャリアが与えられる。
【0042】
上述した信号符号化および復号化方法を実行するように適応された、プロセッサおよびメモリを有するデータ処理装置が与えられる。
【0043】
以下で本願発明は、添付する図面を参照して、例示として説明される。
【図面の簡単な説明】
【0044】
【発明を実施するための形態】
【0045】
使用する用語に関してこの明細書の読者を補助するため、いくつかの定義が以下に与えられる。
【0046】
非限定的例として、信号は、画像、オーディオ信号、マルチチャネルオーディオ信号、ビデオ信号、マルチビュービデオ信号（例えば、３Ｄビデオ）、体積信号（例えば、医療結像、科学結像、ホログラフィー結像など）、体積ビデオ信号、または、４次元以上を有する信号であってもよい。
【0047】
広く言えば、ビデオは動画の記録、再生または放送として定義される。ビデオ信号は個々のフレームのシーケンスからなり、その各々は符号化／復号化方法を通じて個別に圧縮されてよい。
【0048】
符号化は、ひとつのソースから他のソース、またはその情報のストレージへの効率的な伝送を可能にするべく、ひとつのフォーマットから他のフォーマットへ情報を変換することに関連する処理である。符号化されるべき情報は、生ビデオであってよく、それはしばしばオリジナル形式でうまく伝送できない大量のデータを含む。したがって生ビデオが符号化または復号化されると、生ビデオコンテンツの伝送に必要な量の空間は減少する。復号化は符号化の逆の処理であり、符号化情報をオリジナルの伝送前情報に逆変換（解凍）することに関連する。符号化および復号化は損失ありか損失なしであってよい。
【0049】
ビデオ信号、特にＨＤＲビデオに関する信号に対して、カラーボリュームを制限した（すなわち、関連するＨＤＲ標準によって要求されるピーク輝度／コントラストおよび色域を与えない）消費者ディスプレイである、ＳＭＰＴＥはマスタリングディスプレイ上に出現する際にシーンを記述するためのメタデータを定義する。SMPTE ST 2086 "Mastering Display Colour Volume Metadata Supporting High Luminance and Wide Colour Gamut Images" は、MaxFALL (Maximum Frame Average Light Level) および MaxCLL (Maximum Content Light Level)などの静的データを記述する。SMPTE ST 2094 "Content-Dependent Metadata for Color Volume Transformation of High Luminance and Wide Color Gamut Images"は、シーンからシーンへ変化する動的メタデータを有する。これは、ST 2094-10 (Dolby Vision format)、ST 2094-30 (Technicolor format)で定義されるColour Volume Reconstruction Information (CVRI) SMPTE ST 2094-20 (Philips format)およびColour Remapping Information (CRI)、およびHDR10+ ST 2094-40 (Samsung format)を含む。補助データは、ここに説明するメタデータを含んでよく、残差情報などの付加的エンハンスメント情報は任意の補助データの一部であってよい。
【0050】
ビデオコンテンツは、規定レベル（または複数レベル）の品質で伝送されてよく、それは例えば、特定の空間解像度またはフレームレートまたはピーク信号対ノイズ比（ＰＳＮＲ）によって定義されてもよい。品質のレベルは、ビデオコンテンツを運ぶ伝送チャネルの制約によって制限されてよい。一例として、既存のデコーディングハードウエアは、所与の解像度および／またはフレームレート（第１の品質レベル）まで信号を復号化してよい。ひとつ以上の付加的レベルの品質は、コンピュータデコーディング方法を使って再構成されてよい。第１レベルの品質より高いレベルの品質の復号化を実行するために、アップデートすることができない旧式のデコーディング装置は、第１レベルの品質で信号を単純に復号化し、かつ、付加的なエンハンスメントデータを無視する。
【0051】
信号のビット深度は、特定の値を通信するのに使用されるビット数に関連する。ビデオにおいて、ビット深度（しばしばカラー深度とも言う）は、画像内の画素を表すカラー成分（例えば、輝度Ｙおよび彩度ＣｂおよびＣｒ）に関連し、特に、画像内に記録される輝度レベルの数およびカラー数を定義する。ビット深度が８ビット以下である画像は、標準ダイナミックレンジの画像と考えられ、ビット信号が８ビットを超える画像は高ダイナミックレンジまたはエンハンスドダイナミックレンジを有する画像であると考えられる。
【0052】
画像解像度は、どのくらいの量の情報が利用可能であるかの尺度であると考えられてよい。本質的に、ビデオ解像度は、どのくらいの量の情報が特定画像で視認できるかの基本尺度である。典型的に空間ビデオ解像度は、ディスプレイ装置上で各次元に表示可能な画素数によって定義され、通常はディスプレイ装置の高さに対するディスプレイ装置の幅として与えられる。例えば、フルＨＤ信号は、１９２０×１０８０ピクセルとして表され、またはより単純に１０８０ｐと表される。典型的にＵＨＤ信号は、３８４０×２１６０ピクセルのフレーム解像度を有してよく、通常は単純に４Ｋ解像度として言及される。ＵＨＤ信号はまた８Ｋ解像度（例えば、７６８０×４３２０ピクセル）を有してもよい。同様に、ビデオ信号において付加的な一時的解像度が存在してよく、例えば、ビデオ信号は、毎秒２５、３０、５０、６０、１００、および１２０フレームなどのさまざまなフレームレートで使用可能であってよい。
【0053】
アップサンプリングの処理は、信号の品質を強化するべく、低解像度バージョンの信号または信号のシーケンスを、高解像度バージョンの信号へ変換することを含む。アップサンプリングは、より高いレートで信号をサンプリングすることにより得られたシーケンスの近似を生成し、典型的にデコーダによって符号化データに対して実行される。アップサンプリングは、空間的に（すなわち、画素解像度に対して）または時間的に（すなわち、フレームレートに対して）実行可能である。
【0054】
逆に、ダウンサンプリングは、より低いレートで信号をサンプリングすることにより得られたシーケンスの近似を生成し、信号の低解像度バージョンを生じさせる。
【0055】
色空間は、特定の色に対して再生されるのを可能にする色のセットの数学的表現として定義されてよい。デジタル画像およびビデオ表示に対して最も通常使用される２つの色空間は、ＲＧＢ（赤／緑／青）およびＹＣｒＣｂ（輝度／赤彩度／青彩度）である。色空間は、色定義の詳細を与えるITU-R Recommendations ＢＴ７０９、２０２０、２１００、２３９０のひとつ以上によって定義されるようにより広く定義されてよい。それは、画素のような画像エレメントがビデオ信号内でどのように表されるか、および、ある場合には信号の以下の性質のパラメータをカバーまたは定義するかの仕様を含む。信号の性質は、サンプリングパターン（例えば、４：４：４から４：２：２）、ビット深度、輝度成分のダイナミックレンジ、色域、使用される電気光学伝送関数モデル、最低輝度レベル（例えば、ブラックレベル）、および最高輝度レベル（例えば、ホワイトレベル）を含む。
【0056】
以下の例はフレームを含むビデオコンテンツを有する信号に対して、各ビデオセグメント内の各フレームに対して実行されている任意の処理によって、利用可能なように実行されることに注意すべきである。ある例において、いくつかのフレームは、異なるように処理されてよいが、すべてのフレームに対して同じように処理すれば、フレームカウンティングおよびシグナリングの必要性が減少し、かつ、イントラコーディング基準フレーム管理の必要性が著しく減少するので有利である。
【0057】
図１は、本出願で説明するような信号を符号化および復号化するための例示的システムを示す。特に、オリジナル信号１００は、エンコーダ１１００によって符号化される。データストリーム１１５０はエンコーダによって生成され、デコーダ１２００－０から１２００－Ｎへ伝送される。データストリームは分割されてよく、データストリーム１１５０の一部はデコーダに送られる。各デコーダは、データストリームの各部分を復号化し、レベル＃０で再構成された信号からレベル＃Ｎで再構成された信号を取得する。最終信号は、ひとつの信号を取得するべく、異なるレベルで再構成された異なる信号を処理しかつ組み合わせることによって得られる。異なるデコーダは、データストリームの異なる部分を受信し、異なるレベルの品質で信号を再構成することができる。デコーダは異なるレベルの品質を復号化しかつ出力してよい。
【0058】
図２は、本願で説明するようなデコーディングシステムの一例を示す。特に、データストリーム１１５０は、複数のデコーダ１２００－０および１２００－１によって受信される。データストリーム１１５０は、標準準拠データストリーム（例えば、ＡＶＣ、ＨＥＶＣ、ＶＶＣ他などの標準コーデックおよび非標準コーデックに準拠する）および補助データストリームから形成されてよい。第１サブストリームは、データストリームをデータストリーム２２０に分割する第１デコーダ１２００－１へ供給され、それは、低品質のビデオ２４０を生成するべく標準デコーダ２２３０へ供給される。低品質ビデオ２４０は、出力ビデオＳＤＲ２８０、すなわち、ＳＤＲを有するビデオ出力を生成するべく、エンハンスメントデコーダ２７０によってデータストリーム２１０とともに処理される。この場合、出力ビデオＳＤＲは、処理（例えば、アップサンプリング）後であるがデータストリーム２１０（例えば、デコーダ１２００－１がデータストリーム２１０を解読できない場合）によっていかなる付加的情報も追加されない低品質ビデオ２４０か、または、データストリーム２１０（合成済みストリーム）から導出された付加的情報によってそれを処理した後の低品質ビデオ２４０のいずれかに対応し、その後、合成済みストリームはＴＶまたはＳＤＲビデオのみを表示することができるディスプレイに適応するために、ＳＤＲ解像度にダウンサンプリングされる。第２サブストリームは、データストリームをデータストリーム２２０へ分割する第２デコーダ１２００－０へ供給され、それは、低品質ビデオ２４０を生成するべく標準デコーダ２３０へ供給される。低品質ビデオ２４０は出力ビデオＨＤＲ２６０を生成するべくエンハンスメントデコーダ２５０によってデータストリーム２１０と一緒に処理される。
【0059】
図１および２において、データストリームは、デコーディングモジュール１２００－０、１２００－Ｎで受信される。データストリームはプロトコル標準（例えば、ＤＡＳＨ、ＨＬＳ等）などの規格および／またはコーディング規格（ＡＶＣ、ＨＥＶＣ、ＶＶＣ等などのＭＰＥＧ規格、またはＶＰ９、ＡＶ１、ＶＣ－６等などの他のコーデックフォーマット）に準拠するデータからなるストリームであってよい。データストリームはその後デマクシングモジュールによって２つ（またはそれ以上）の別個のストリームに分割される。第１ストリームは、標準ベーススキーム（例えば、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＶＣ－６等）または非標準ベーススキーム（例えば、ＶＰ９，ＡＶ１等）などの第１デコーディングスキームに従って復号化するデコーディングモジュールに送られる。第１デコーディングモジュールの出力（例えば、第１復号化ビデオ信号）は第２デコーディングスキームにしたがって復号化する第２デコーディングモジュールに送られる。第２デコーディングモジュールはまた、第１デコーディングモジュールの出力によって処理される場合、エンハンスド復号化ビデオ信号を生成するある補助データストリームを受信してもよい。
【0060】
ひとつの例において、第１デコーディングスキームは、第２デコーディングスキームと同じである。
【0061】
他の例において、第１デコーディングスキームは、第２デコーディングスキームと異なる。第２デコーディングスキームはまた、アップサンプリング、残差逆量子化、残差変換、動き補償フレームバッファからの残差の付加、後処理などの演算を含んでよい。残差情報は例えば、以下の説明から明らかなように、基準信号を基準信号の再構成済みバージョンと比較することによって生成される差信号である。
【0062】
ある例において、補助データストリームもまた、ＨＤＲ信号を再構成するために必要なあるメタデータ（静的または動的）を含む。このメタデータは、エンハンスドＨＤＲ符号化ビデオ信号を生成するように、第１デコーディングモジュールの出力および補助データストリーム内の他のデータとともに第２デコーディングモジュールによって処理されうる。メタデータは、ＨＤＲ情報のレンジを特定するためのレンジ情報を含んでよく、ＨＤＲ信号が、タイトルバイタイトル方式で、または、シーンバイシーンもしくはフレームバイフレーム方式で、ディスプレイ上に適切に与えられることを保証するための情報を含んでもよい。補助データストリームはまた、残差情報を含んでよい。
【0063】
ある例において、第１デコーディングモジュールは、低ビット深度（例えば、８ビット）信号を再構成し、第２デコーディングモジュールはＨＤＲに従う高ビット深度（例えば、１０ビット）信号へ当該信号を変換する。ひとつの例において、第２デコーディングモジュールは、デコーディング装置が高ビット信号（例えば、１０ビット）ＨＤＲ画像を表示することができないか否かを検知することができる。その場合、それは低ビット深度（例えば、８ビット）信号を符号化しかつ表示する。
【0064】
いくつかの例において、第２デコーディングモジュールは、値の範囲を調節するのに必要な処理を、出力信号を第１（低）レベル品質から再構成するのに必要な他の処理と組み合わせる。ひとつの例において、メモリバッファに複数回触れることを避けるよう、アップサンプリング操作がレンジ調節と組み合わされ、その結果メモリアクセス回数および必要なメモリ帯域幅の両方が減少する。例えば、残りの処理は、アップサンプリングおよび／またはアップサンプリングした低レベルの品質を高レベルの品質へ変換するための残差データの付加を含む。
【0065】
いくつかの例において、第１デコーディングモジュールは、信号の低解像度描出を再構成する。ＨＤＲ調節はその後、第２デコーディングモジュールによって信号の低解像度再構成に対して適用される。その調節に続いて、第２エンコーディングモジュールは、高解像度および／または高品質信号を取得するよう、信号および残りの補助データをさらに処理する。
【0066】
いくつかの例において、エンコーダは、高ビット信号（例えば、１０ビット）ＨＤＲソース信号を受信する。エンコーダはソース信号をダウンサンプリングし、低ビット深度（例えば、８ビット）ＳＤＲ信号を取得するようダウンサンプリングした描出を調節する。ＳＤＲ信号は第１符号化データセットを得るべく第１コーデックによって処理される。第１コーデックの復号化出力は、高ビット深度ＨＤＲ信号へ変換され、それはその後、オリジナルソース信号のフル解像度再構成済み描出を再構成するために使用されるべき付加的補助データを含む第２符号化データセットを生成するよう第２エンコーダモジュールによって処理される。
【0067】
いくつかの例において、エンコーダは、ダウンサンプリング操作の前または後に高ビット深度ＨＤＲ信号を処理する。例えば、高ビット深度ＨＤＲ信号は、ここに参照として組み込むITU-R Recommendation BT.2020、ITU-R Recommendation BT.2100等で定義されるような色空間内で表現されてよい。背景技術として、Rec.2100は、ＨＤＲ信号用に使用されてよい２つの伝達関数定義、すなわち、SMPTE ST 2084（ここに参考として組み込む）として先に標準化されたPerceptual Quantizer (PQ)、およびARIB STD-B67（ここに参考として組み込む）として先に標準化されたHybrid Log-Gamma (HLG)を含む。１０ビットのカラービット深度を有するＰＱスキームはまたＨＤＲ１０と呼ばれてきた（https://en.wikipedia.org/wiki/Rec._2020 - cite_note-HDRCompatibleCEA2015-49）。同様に、１０ビットのカラービット深度を有するＨＬＧスキームはＨＬＧ１０と呼ばれてきた。
【0068】
ＨＤＲ信号は、それをITU-R Recommendation BT.709等（ここに参考として組み込む）に定義されるような異なる色空間へ変換するべく、ダウンサンプリングの前または後に処理されてよい。例えば、この変換は、生成信号が低ビット深度（例えば、８ビット）ＳＤＲ信号であるように実行されうる。この信号はその後、上述したように第１エンコーディングモジュールによって使用される。
【0069】
逆に、第１コーデックの復号化出力は、高ビット深度ＨＤＲ信号（例えば、１０ビット）を生成するべく、アップサンプリングの前または後に、第１色空間（例えば、BT.709）から第２色空間（例えば、BT.2020またはBT.2100）へ変換される。この信号はその後、上述したように第２エンコーダモジュールによって処理されうる。
【0070】
いくつかの例において、第１デコーディングモジュールは第１符号化信号を受信し、かつ、低解像度描出の信号を再構成し、それも例えば低ビット深度（例えば、８ビット）ＳＤＲ信号である。ＳＤＲ信号は第１色空間（例えば、BT.709）内で表されてよく、高解像度描出へのアップサンプリング操作の前または後に第２色空間（例えば、BT.2020またはBT.2100）へ変換され、したがって高解像度の例えば高ビット深度（例えば、１０ビット）でＨＤＲ信号が生成される。第２符号化信号は、調節信号または残差信号を生成するべく、第２デコーディングモジュールによって復号化される。ＨＤＲ信号はその後、調節信号を使って調節済みＨＤＲ信号を生成するべく、第２デコーディングモジュールによってさらに処理されてよい。この調節に続いて、第２エンコーディングモジュールは、より高解像度および／またはより高品質信号を得るよう、信号およびその他の補助データをさらに処理する。
【0071】
変換は、ITU-R Recommendation BT.2407およびITU-R Recommendation BT.2087に含まれるような周知技術の方法を使って実行可能であり、それらはここに参考として組み込む。色空間どうしの間の変換をサポートするのに使用されるルックアップテーブル（ＬＵＴｓ）および／または他の周知の方法（例えば、Report ITU-R BT.2408-0 or HLG Look-Up Table Licensing by the BBR R&D、いずれもここに参考として組み込む）も存在する。
【0072】
他の例において、例えば、ダウンサンプリング処理による手続き前にカラー変換を実行することにより、ソース信号は調節されかつ低ビット深度ＳＤＲ信号へ変換される。
【0073】
図３は、第１実施形態に従うデコーダの例を示す。データストリーム２１０はｄｅｍｕｘ３００によって３つの異なるストリーム、すなわちＨＤＲストリームまたはレンジデータ３１０、エンハンスメントデータの第１セット３３０、およびエンハンスメントデータの第２セット３６０に分割される。ＨＤＲレンジデータ３１０はＨＤＲ調節モジュール３２０へ供給され、かつ、低品質ビデオ２４０と組み合わされて第１出力ストリームを生成する。第１出力ストリームは第１エンハンサー３４０へ供給され、エンハンスメントデータの第１セット３３０とともに処理されて第２出力ストリームを生成する。第２出力ストリームは最後に、アップサンプラー３５０に供給され、アップサンプリング済みストリームは第２エンハンサー３７０によってエンハンスメントデータの第２セット３６０によって処理されてビデオＨＤＲ出力２６０を出力する。エンハンスメントデータの第１セット３３０が存在しなければ、第１出力ストリームは直接アップサンプラー３５０に供給され、それ以外の残りの工程は不変のままである点に注意すべきである。
【0074】
図４は、第２実施形態に従うデコーダの例を示す。第２実施形態は、第１実施形態の代替的実施形態として見てよい。データストリーム２１０は、ｄｅｍｕｘ３００によって、３つの異なるストリーム、すなわち、ＨＤＲストリーム３１０、エンハンスメントデータの第１セット３３０およびエンハンスメントデータの第２セット３６０に分割される。エンハンスメントデータの第１セット３３０は、第１エンハンサー４００に供給され、低品質ビデオ２４０と組み合わされて第１出力ストリームを生成する。この第１出力ストリームは、アップサンプリング済みバージョンを生成するべくアップサンプラー４１０へ供給され、それはその後ＨＤＲストリームデータ３１０とともにＨＤＲ調節モジュール４２０に供給されて第２出力ストリームを生成する。第２出力ストリームは第２エンハンサー３７０によってエンハンスメントデータ３６０の第２セットにより処理され、ビデオＨＤＲ出力２６０を出力する。エンハンスメントデータの第１セット３３０が存在しなければ、低品質ビデオ２４０は直接アップサンプラー４１０に供給され、それ以外の残りの工程は不変のままである点に注意すべきである。
【0075】
図５は、第３実施形態に従うデコーダの例を示す。第３実施形態は第１および第２実施形態のひとつ以上の代替例として実施されてよい。データストリーム２１０は、ｄｅｍｕｘ３００によって３つの異なるストリーム、すなわち、ＨＤＲストリーム３１０、エンハンスメントデータの第１セット３３０およびエンハンスメントデータの第２セット３６０に分割される。エンハンスメントデータ３３０の第１セットは第１エンハンサー５００へ供給され、低品質ビデオ２４０と組み合わされて第１出力ストリームを生成する。この第１出力ストリームはアップサンプラー５１０へ供給され、ＨＤＲレンジデータ３１０とともに処理されて第２出力ストリームを生成する。第２出力ストリームは、第２エンハンサー５２０によってエンハンスメントデータの第２セット３６０により処理され、ビデオ出力２８０を出力する。この場合、アップサンプリングおよびＨＤＲ調節がひとつの操作に組み合わされる。
【0076】
図３、４および５に示す実施形態において、ＨＤＲレンジデータ３１０、エンハンスメントデータの第１セット３３０、およびエンハンスメントデータの第２セット３６０のひとつ以上がデータストリーム２１０から欠如している場合、対応するエンハンスメントまたはこのデータを使用する調節操作もまた省略される。この場合、ｄｅｍｕｘ済みデータストリームの一部が存在しなければ、その後受信処理装置（例えば、エンハンサーまたはＨＤＲ調節モジュールのひとつ）は受信済みビデオストリームを通過させるように構成されてよい。ある場合において、例えば、ディスプレイ装置がＨＤＲビデオをレンダリングすることができないなら、エンハンスメントデコーダはＨＤＲ調節操作を省略することによってＳＤＲビデオを出力するように構成されてよい。異なるビデオ出力がエンハンスメントデコーダ２５０のコンポーネントの動作を選択的に制御することにより構成されてよい。
【0077】
図６は、本願で説明するようなコンピュータシステム６００の例を示す。コンピュータシステム６００は、上述したデコーダが実装されるところの多重プロセッサを含んで示されている。コンピュータシステムは、システムバス６１１、コンピュータ読み取り可能記憶媒体６１２、ひとつ以上のプロセッサ６１３、Ｉ／Ｏインターフェース６１４、および通信インターフェース６１５を有する。図６は、Ｉ／Ｏインターフェース６１４に通信可能に接続された入力装置６７０および記憶装置６８０、および通信インターフェース６１５を介してひとつ以上のネットワーク６９０に通信可能に接続されたコンピュータシステム６００を示す。コンピュータ読み取り可能記憶媒体６１２は、信号プロセッサアプリケーション６４０－１を格納し、それは上述した少なくともエンハンスメントデコーダを実行する。信号プロセッサアプリケーション６４０－１は、ひとつ以上の信号プロセッサが６４０－２を処理する際に、ひとつ以上のプロセッサ６１３によって実行されてよい。エレメントの並行処理を可能にするよう、多重プロセッサに対して復号化処理を配分することができるのが特に有利である。ここで説明するエンコーディングおよびデコーディングシステム、および方法は並行処理の有効利用を可能にする。
【0078】
図７は、本願で説明されるようなエンコーディングシステムおよび方法の一例を示す。入力信号７００、例えば高ビット深度（例えば１０ビットまたは１２ビット、あるいは１６ビット、またはそれ以上）のＨＤＲタイプの信号が、エンコーディングシステムで受信される。入力信号はその後、第１カラー変換モジュール７０１を介して、第１色空間（例えば、BT.2020またはBT.2100）から第２色空間（例えば、BT.709）へ変換される。第１色空間および第２色空間は異なる。変換中、信号のビット深度は、オリジナルの高ビット深度から低ビット深度（例えば、８ビット）ＳＤＲ信号へ減少されてよい。ＳＤＲ信号はその後、高解像度から低解像度へ渡すべくダウンサンプラー７０２によって処理される。出力信号はその後第１エンコーダ７０３によって処理される。ひとつの例において、第１エンコーダ７０３は、ＭＰＥＧ規格等に基づく標準ベースの周知のエンコーディングモジュールであり、かつ、ひとつの例において、有意な部分のエンドユーザが互換性を有する広く使用される符号化規格であり、この技術の広範な後方互換性を与える。
【0079】
他の例において、変換およびダウンサンプリングは、逆の順番で実行されてよい。すなわち、最初にダウンサンプリング、次に変換が実行される。他の例において、ダウンサンプリング操作は実行されず、したがって変換済み信号が第１エンコーダ７０３に直接渡される。この最も基本的な場合において、ダウンサンプリング操作が実行されない場合、解像度の変化は存在しない。
【0080】
第１エンコーダ７０３の出力は第１符号化ストリーム７１０である。これは、上述したように広く復号化可能であるベースレイヤー出力として考えてもよく、入力信号７００とは異なる色空間内（および任意で低解像度）でユーザに入力信号の描出を与えることができる。異なる色空間は、ひとつ以上の任意の数の異なるフォーマットであってよく、または信号に対するひとつ以上の任意の他の制約によって定義されてもよい。ひとつの例において、色空間はＲＧＢ色空間からＹＵＶ色空間へ、またはＨＤＲタイプの色空間からＳＤＲタイプの色空間へ変化してよい。
【0081】
第１エンコーダ７０３の出力は第１デコーダ７０４によってさらに処理され、出力符号化信号はその後第２カラー変換モジュール７０５へ渡され、符号化信号を第２色空間から第１色空間へ逆変換する。第２カラー変換モジュール７０５は、第１色空間変換モジュール７０１によって使用されたものへの逆処理を使用してよい。第１カラー変換モジュール７０１から第２カラー変換モジュール７０５へ流れるいかなる情報もなく、逆処理またはそれ以外を利用する際の利点は、メタデータが不要であるか、または色空間変換７０５をどのように実行するかの他の指示にある。明らかになるように、高レベルの符号化処理は、色空間変換の任意の不正確さを補正する方法を提供する。したがって、高レベル符号化のために、第１色空間内で信号を正確にまたは完全に予測しようとする必要がない。
【0082】
付加的に、第２カラー変換モジュール７０５によって実行される変換中、ＨＤＲタイプの信号を生成するべく、信号のビット深度は低ビット深度（例えば、８ビット）から高ビット深度（例えば、１０ビット、１２ビット、またはそれ以上）へ増加されてよい。ＨＤＲタイプの信号、または単純なカラー変換済み信号は、その後アップサンプラー７０６によってアップサンプリングされ、生成されたアップサンプリング済みＨＤＲタイプ信号は、第２エンコーダ７０７によってオリジナル入力信号とともに処理され、第２符号化ストリーム７２０を生成する。
【0083】
第２エンコーダ７０７によって実行される処理は、基準信号としての入力信号７００と、オリジナル信号７００の再構成としてのアップサンプリング済みＨＤＲタイプ信号との間の差を表す残差信号を生成してよい。残差信号は、オリジナル入力信号７００またはその近似をデコーダで再構成するべく、デコーダにおいて対応するアップサンプリング済みＨＤＲタイプ信号を調節するために使用されてよい。この場合、残差信号は、任意のアーティファクトまたは第１エンコーダ７０３および第１デコーダ７０４によって導入される他の信号不一致を構成する。換言すれば、残差信号はコーデックタイプの不正確さを補正する。付加的に、残差信号は、第１および第２色空間変換モジュール７０１および７０５の両方によって実行される、色空間変換によって導入される任意のアーティファクトまたは信号不一致を補正する。最後に、使用されるとき、残差信号はダウンサンプラー７０２およびアップサンプラー７０６によって導入される任意の不一致を補正する。これによって、為すべき設計上の決定は、上述したもののより単純または効率的なバージョンを使用することができる。残差信号は既知の技術を使って符号化されてよい。
【0084】
ひとつの例において、変換およびアップサンプリングは逆の順序で実行可能である。すなわち、最初にアップサンプリング、次に変換が実行される。他の例において、アップサンプリング操作は実行されず、したがって変換済み信号が第２エンコーダ７０７へ直接渡される。この場合第２エンコーダ７０７は以前と同様に残差信号を生成するが、今回は解像度の変更はない。
【0085】
図７から分かるように、エンコーダおよび関連する符号化方法は規格準拠または他の符号化手段を使って符号化されてよい第１符号化ストリーム７１０を生成し、それは第１またはベースレベルの品質の信号を表す。エンコーダおよび関連する符号化方法はまた、第２符号化ストリーム７２０またはエンハンスメントストリームを生成し、それは、デコーダにおいて第１符号化ストリーム７１０から導出された、ベースレベルの品質で信号のカラー変換済みバージョンを調節または補正するための残差情報を有してよい。カラー変化に加え解像度変化が存在してもよい。これらすべての特徴は、これに限定しないがＨＤＲからＳＤＲへの変換などの色空間変換が、符号化入力信号の広く符号化可能なバージョンに加えて符号化および復号化を許容する合成信号を個別および／または集合的に生じさせ、ひいては信号改良、ポテンシャル帯域幅の減少、および後方互換性のひとつ以上を与える。アーキテクチャーおよびストラクチャーは従来技術を超える効率を与えてよい。
【0086】
図８は、本願で説明するようなデコーディングシステムおよび方法の一例を示す。第１デコーダ８０１は第１符号化ストリーム７１０を受信し、それを符号化して第２色空間内で符号化信号８２０を生成する。それは、低ビット深度（例えば、８ビット）でＳＤＲタイプの信号であってよい。符号化信号８２０はその後第２色空間から第１色空間へ符号化信号を逆変換するべく、カラー変換モジュール８０２へ渡される。変換中、信号のビット深度は低ビット深度（例えば、８ビット）から高ビット深度（例えば、１０ビット、１２ビットまたはそれ以上）へ増加され、オリジナルＨＤＲタイプ信号の再構成であるＨＤＲタイプ信号を低解像度で生成する。変換済み信号（第１色空間および／またはＨＤＲタイプ）はその後、アップサンプラー８０３によってアップサンプリングされ、生成されたアップサンプリング済み信号は、第２符号化ストリーム７２０とともに第２デコーダ８０４によって処理され、第１符号化信号８１０（例えば、第１色空間内および／または補正されたＨＤＲタイプの信号）を生成する。ここで、第２符号化ストリーム７２０は、オリジナル入力信号７００（例えば、エンコーダで受信されたような）またはその近似を再構成するべく、アップサンプリング済みＨＤＲタイプ信号とともに組み合わされる（例えば、合算される）残差情報を含んでよい。代替的に、他の例において、色変換およびアップサンプリングは、逆の順序で実行可能である。すなわち、最初にアップサンプリングし、続いてカラー変換を実行する。他の例において、アップサンプリング操作８０３は実行されず、したがって変換済み信号は第２デコーダ８０４へ直接渡される。これは解像度変更が存在しない場合のベースケースで生じる。
【0087】
図８のデコーディングシステムは第２色空間内にある第１復号化信号８２０を生成し、それはＳＤＲタイプ信号であってよい。第１復号化信号８２０はディスプレイへ出力するのに使用可能であり、特に、第１復号化信号８２０が第２色空間へ変換された場合、使用可能な情報を利用することができないディスプレイに対して有利である。図８のデコーディングシステムはまた、ＨＤＲタイプ信号であってよい第１色空間内にある最終復号化信号８１０を生成し、それは、第２符号化ストリーム７２０内の残差信号によって補正される。最終復号化信号８１０は、第１色空間と互換性があるディスプレイに出力するのに使用可能である。最終復号化信号８１０は、第１復号化信号８２０（例えば、エンハンスドカラーおよび／または解像度）と比べた場合、付加的レベルの品質であってよい。デコーディングシステムは、接続された任意のディスプレイがどのような性能を有するかを決定してよく、したがって、最終復号化信号８１０を作成するか否か、最初の復号化信号８２０を使用するか否か、および／または最終復号化信号を互換フォーマットに逆変換するか否かを選択してよい。
【0088】
図９は、本願で説明するようなエンコーディングシステムの一例を示す。図９の例は図７の例の変形例と見てもよい。図７の開示と共通の特徴は簡潔さのため詳細に説明しない。特に、図９は３つのレイヤーの符号化、および２つの別個の入力信号が存在するところの例を示し、それは同じ解像度であってよいが色空間および／またはＳＤＲ／ＨＤＲ特性が異なってよい。
【0089】
本例において、例えば低ビット深度（例えば、８ビット）ＳＤＲ信号であるＳＤＲ入力信号９００は、エンコーディングシステムで受信される。これは、オリジナル信号（例えば、カメラまたはビデオフィードなどのビデオソースから直接得られる）かまたは、ＨＤＲ色空間（例えば、BT.2020またはBT.2100）からＳＤＲ色空間（例えば、BT.709）へ変換されたＨＤＲ信号（例えば、ＨＤＲ入力信号９６０）のいずれかであってよい。ＳＤＲ信号９００は、高解像度から低解像度へ渡すよう、ダウンサンプラー９０２によって処理される。出力信号はその後第１エンコーダ９０３によって処理される。第１エンコーダ９０３の出力は、第１符号化ストリーム９１０である。第１エンコーダ９０３の出力は第１デコーダ９０４によってさらに復号化され、出力復号化信号はその後アップサンプラー９０６によってアップサンプリングされ、生成されたアップサンプリング済みＳＤＲ信号は、第２エンコーダ９０７によってオリジナルＳＤＲ入力信号９００とともに処理されて第２符号化ストリーム９２０を生成する。図７を参照して説明したように、第２符号化ストリーム９２０はダウンサンプリング／アップサンプリング処理９０２および９０６並びに符号化／復号化処理９０３および９０４において、任意の不一致を補正するための残差ウィンドウを有してよい。
【0090】
第２符号化ストリーム９２０および第１符号化ストリーム９１０はその後ＳＤＲデコーダ９３０へ渡される。後者は図１０の矩形領域内で示すＳＤＲデコーダに類似してよい。ＳＤＲデコーダ９３０は、第１符号化ストリーム９１０を復号化し、それをアップサンプリングしてＳＤＲ入力信号９００の再構成バージョンを作成する。その中に残差情報がある場合に第２符号化ストリーム９２０はその後、ＳＤＲ入力信号９００の再構成済みバージョンをＳＤＲ入力信号またはそれに近似する信号に改良または調節するのに使用される。これまでの信号の色空間はＳＤＲ入力信号９００のものと同じである。
【0091】
ＳＤＲデコーダ９３０の出力はその後、ＳＤＲ色空間からＨＤＲ色空間へ復号化信号を変換するべくカラー変換モジュール９４０へ渡される。変換中、信号のビット深度は低ビット深度（例えば、８ビット）から高ビット深度（例えば１０ビットまたは１２ビット）へ増加されてよく、ＨＤＲ信号（例えば、より大きいダイナミックレンジの輝度および／またはより広い色域を有するもの）を生成する。生成されたＨＤＲ信号はその後、ＨＤＲ入力信号９６０とともに第３エンコーダ９５０へ供給され、第２符号化ストリーム９７０を生成する。この第３符号化ストリーム９７０は、デコーダでＨＤＲ信号を再構成するのに使用可能な付加的復号化情報を含んでよい。
【0092】
第３符号化ストリーム９７０は、カラー変換処理における任意の不一致を一次的に補正する残差信号を有してよい。残差信号は、基準信号としてのＨＤＲ入力信号９６０と、生成されたＨＤＲ信号との間の差を表す。第３符号化ストリーム９７０の残差信号はダウンサンプリング／アップサンプリング処理９０２および９０６、ならびに符号化／復号化処理９０３および９０４から生じる任意の問題を補正してよく、それらは第２符号化ストリーム９２０の残差によってまだ解決されていない。残差信号は、ＨＤＲ入力信号９６０またはその近似を再構成するべく、デコーダにおいて対応する色空間変換済みＨＤＲ信号を調節するのに使用されてよい。例えば、第３エンコーダ９５０によって生成された残差信号は、ＨＤＲフォーマットへの変換に続いてＳＤＲデコーダ９３０の出力とＨＤＲ入力信号９６０との間の差を補正してよい。
【0093】
図１０は、デコーディングシステムの例を示す。図１０のデコーディングシステムは図９のエンコーダによって出力された符号化ストリームを受け取るように設計されている。第１デコーダ１００１は第１符号化ストリーム９１０を受信し、それを復号化して第１復号化信号を生成する。第１復号化信号はその後アップサンプラー１００３によってアップサンプリングされ、生成されたアップサンプリング済み信号は、例えばその中の残差信号を使って、第２符号化ストリーム９２０とともに第２デコーダ１００４によって処理され、ＳＤＲ符号化信号１０１０を生成する。ＳＤＲ符号化信号１０１０はその後、復号化信号をＳＤＲ色空間からＨＤＲ色空間へ変換するべくカラー変換モジュール１００２へ渡される。変換中、信号のビット深度もまた低ビット深度から高ビット深度へ増加されてよく、ＨＤＲ再構成済み信号を生成する。ＨＤＲ再構成済み信号はその後、例えばその中の残差信号を使ってＨＤＲ符号化信号１０３０を生成するべく、第３符号化ストリーム９７０とともに第３デコーダ１０２０へ渡される。例えば、第２符号化ストリーム９７０内の残差信号はカラー変換モジュール１００２の出力と組み合わされて（例えば、加算されて）よい。
【0094】
図９および１０のエンコーディングおよびデコーディングシステムは、信号、特に非排他的に、２つの解像度および２つの色空間内で使用可能なビデオ信号を符号化および復号化するためのフレキシブルかつ効率的な技術を与える。２つの別個の信号がエンコーダに入力され、一方は、他方より高いかまたはより洗練された色空間を有する。例えば、一方の信号は、高ダイナミックレンジ色空間（例えば、高輝度およびコントラスト比および／または広い色域を有する）内にあってよく、他方の信号は非高ダイナミックレンジまたは標準ダイナミックレンジ内にあってよい。この２つの別個の入力信号に関連する多重符号化ストリームはデコーダで使用可能である。
【0095】
付加的に、エンコーディングおよびデコーディングシステムはまた、より低いかまたはより洗練されていない色空間で信号のダウンサンプリング済みバージョン、例えば、低ビット深度でＳＤＲ信号のダウンサンプリング済みバージョンを与える。この信号は、第１エンコーダ９０３によって符号化され、エンコーダシステムから出力された信号に対してベースレイヤーを形成する。ベースレイヤーは入力信号９００、９６０より低解像度である。したがって、より旧式のデコーダがより低解像度で第１符号化ストリーム９１０（例えば、ベースレイヤー）を復号化することができるように、後方互換性を保証するより有用なエンコーディングおよびデコーディングシステムが与えられる。例えば、第１符号化ストリーム９１０は標準解像度であってよいが、第２符号化ストリーム９２０および第３符号化ストリーム９７０はＨＤまたは１０８０ｐ解像度であってよい。代替的に、第１符号化ストリーム９１０はＨＤまたは１０８０ｐ解像度であってよく、第２符号化ストリーム９２０および第３符号化ストリーム９７０がＵＨＤまたは４Ｋ解像度であってよい。より高い解像度を扱うことができるデコーダは、例えば、ＵＨＤまたは４Ｋ解像度の高解像度でアップサンプル済み描出をアップサンプリングおよび補正し、かつ、それをＳＤＲ復号化信号１０１０として出力するべく、第２符号化ストリーム９２０、特に内部に含まれる残差情報を利用することができる。ある場合において、ＳＤＲ復号化信号１０１０は、高解像度を表示することができるが、第１またはＨＤＲ色空間内のビデオデータを表示するよう適応されないディスプレイ装置によって視認可能であってよい。第２デコーダ１００４でのアップサンプリング１０３０および補正は、ソフトウエアによって実行されてよく、それは、この技術を適用するよう既存の旧式デコーダに対してソフトウエアのアップデートを与えることが可能であってよい。もちろん、アップサンプリング済みおよび補正済み描画は、色空間変換１００２および第３符号化ストリーム９７０によって与えられるさらなる信号改良用のベーシスとして使用されてよい。デコーダがこの能力を有し、かつ、補正済みディスプレイがこの信号を表示する対応する能力を有していればであるが。わかるように、コンテンツプロバイダは、ひとつ以上の信号のコンテンツを供給し、エンコーディングおよびデコーディングシステムは、さまざまなデコーダ／ディスプレイの組み合わせで３つのフォーマットにおいて信号を再生するのに必要な第１、第２および第３符号化ストリームを適切に分配することができる。第２および第３符号化ストリーム９２０および９７０が残差信号であれば、これは効率的に符号化されてよい（それが第１エンコーダ９０３によって出力された高密度または構造化データに比べ低密度または非構造化データを表す場合）。例えば、残差はほぼゼロ平均であってよく、多くのゼロ値（比較される２つの信号が異ならないところの領域内で）を有してよい。信号のこの形式は有効に圧縮されてよい。
【0096】
図１１は、本願で説明するエンコーディングシステムの例を示す。例えば低ビット信号（例えば、８ビット）ＳＤＲ信号であるＳＤＲ入力信号９００は、エンコーディングシステムで受信される。これは、オリジナル信号（例えば、カメラまたはビデオフィードなどのビデオソースから直接得られる）かまたはＨＤＲ色空間（例えばBT.2020またはBT.2100）からＳＤＲ色空間（例えばBT.709）へ変換されたＨＤＲ入力信号（例えば、ＨＤＲ入力信号９６０）のいずれか一方であってよい。ＳＤＲ入力信号９００はその後、第１エンコーダ１１０３によって処理される。第１エンコーダ１１０３の出力は第１符号化ストリーム９１０である。第１エンコーダ１１０３の出力は第１デコーダ１１０４によってさらに復号化され、出力された復号化信号はその後、カラー変換モジュール１１０５に渡され、ＳＤＲ色空間からＨＤＲ色空間へ逆変換される。変換中、信号のビット深度は低ビット深度から高ビット深度へ増加されてよく、ＨＤＲ信号を生成する。ＨＤＲ信号はその後、アップサンプラー１１０６によってアップサンプリングされ、生成されたアップサンプリング済み信号は第２エンコーダ１１０７によってＨＤＲオリジナル入力信号９６０とともに処理され、第２符号化ストリーム９２０を生成する。
【0097】
ひとつの例において、変換およびアップサンプリングは逆の順序で実行されてよい。すなわち、最初にアップサンプリングし、その後変換を実行してよい。他の例において、アップサンプリング操作は実行されず、従って変換済み信号が第２エンコーダ１１０７へ直接渡される。ある場合、色変換が低解像度でより急速に実行されうるので、アップサンプリングの前に色変換を実行することが有益である。残差信号が第２エンコーダ１１０７によって生成されれば、これはＨＤＲ入力信号９６０とアップサンプラー１１０６の出力との任意の差を補正する。
【0098】
第１符号化ストリーム９１０および第２符号化ストリーム９２０はその後、図８に示したようなデコーダ（例えば、図１１に示す対応する第１符号化ストリーム７１０および第２符号化ストリーム７２０の代わりに）に送られ、復号化ＳＤＲ信号８２０および復号化ＨＤＲ信号８１０を生成するべく復号化される。
【0099】
図１２は、本願で説明するようなエンコーディングシステムの例を示す。入力信号１０００、例えば高ビット深度（例えば、１０ビットまたは１２ビット）ＨＤＲ信号は、エンコーディングシステムで受信される。入力信号はその後、高解像度から低解像度に渡すようダウンサンプラー１００２によって処理される。ダウンサンプリング済み信号はその後、トーンマッピングコンバータ１００３を使って、トーンマッピング済み変換ダウンサンプリング済み信号へ変換される。トーンマッピングコンバータ１００３は、従来および既知のトーンマッピング演算子およびアルゴリズム（背景技術としてのみ読者は米国特許出願第20150078661号、第20170070719号または米国特許第9437171号を参照でき、それらはここに参考文献として組み込む）を使って入力信号に対してトーンマップ１０１６を導出する。変換は、例えば非制限的例として輝度および彩度値、ブライトネス、コントラスト、およびカラー、ガンマロジック、彩度デシメーション、スケーリング、彩度ノイズリダクション等のダウンサンプリングに関連するさまざまなパラメータを調節することを含んでよい。変換処理において、トーンマッピングコンバータ１００３は、ダウンサンプリング済み信号を、高ビット深度（例えば１０ビットまたは１２ビット）ＨＤＲ信号を低ビット深度（例えば、８ビット）ＳＤＲ信号にさらに変換してよい。例えば、これは、第１エンコーダ１００４が１０ビットまたはそれ以上のビット深度の信号ではなく８ビット信号のみを処理することができる場合に最も有益である。トーンマップ１０１６は、例えば圧縮または非圧縮でデコーディングシステムへ（例えばメタデータとして）伝送されてよい。トーンマッピング済みダウンサンプリング信号はその後、第１エンコーダ１００４によって処理される、ひとつの例において、変換およびダウンサンプリングは逆の順序で実行されてよい。すなわち、最初にダウンサンプリングし、次に変換を実行してよい。他の例において、ダウンサンプリング演算は実行されず、したがって変換済み信号は第１エンコーダ１００４へ直接渡される。
【0100】
第１エンコーダ１００４の出力、すなわち第１符号化ストリーム１０１２は、第１デコーダ１００５によってさらに復号化され、第１復号化信号を生成する。任意で、第１復号化信号は、トーンマッピング済みダウンサンプリング信号とともに第２エンコーダ１００６によって処理され、第２符号化ストリーム１０１４を生成する。任意で、第２符号化ストリームは第２デコーダ１００７によって復号化され、第２符号化信号を生成するために、第１復号化信号に付加される（図示せず）。第２復号化信号（または、第２エンコーダおよび第２デコーダが使用されない場合、第１復号化信号）はその後、トーンマッピングコンバータ１００３によって生成されたトーンを使って、トーンマップ調節済み信号を生成するトーンマッピング逆コンバータ１００８によって処理される。トーンマッピング逆コンバータ１００８は、従来および／または既知の逆トーンマッピング演算子およびアルゴリズム（背景技術としてのみ読者は上述した公開特許文献を参照できる）を使って、トーンマップによって示されるように信号を再調節することにより、トーンマッピングコンバータと逆の方法で動作してよい。第２復号化信号が低ビット深度（例えば、８ビット）ＳＤＲ信号であれば、トーンマッピング逆コンバータは第２復号化信号を、低ビット深度（例えば、８ビット）ＳＤＲ信号から高ビット深度（例えば１０ビットまたは１２ビット）ＨＤＲ信号へさらに変換してよい。信号はその後、アップサンプラー１００９によってアップサンプリングされ、生成されたアップサンプリング済み信号は、第３符号化信号１０２０を生成するべく第３エンコーダ１０１０によってオリジナル入力信号とともに処理される。ひとつの例において、変換およびアップサンプリングは逆の順序で実行されてよい。すなわち、最初にアップサンプリング、次に変換が実行される。他の例において、アップサンプリング演算は実行されず、したがって、変換済み信号は第３エンコーダ１０１０に直接渡される。
【0101】
任意第２エンコーダ１００６は第１デコーダの出力とトーンマッピング済みダウンサンプリング信号との間の差を補正するよう動作してよい。これは第１デコーダの出力とトーンマッピング済みダウンサンプリング信号との間の差（例えば、残差）を導出しかつ効率的な方法でその残差を符号化するために実行されうる。符号化残差はその後、それを復号化するべく任意第２デコーダ１００７によって逆処理され、かつそれを第１復号化信号に付加し、第１復号化信号の有効な補正済みバージョンである第２復号化信号を生成する。
【0102】
同様に、第３エンコーダ１０１０は、オリジナル入力信号１０００とアップサンプリング済みＨＤＲ信号、例えばアップサンプラー１００９の出力との間の差を補正するように動作してよい。これは、例えば、オリジナル入力信号とアップサンプリング済みＨＤＲ信号との間の差（例えば、残差）を導出しかつその残差を効果的な方法で符号化するために、実行されてよい。符号化残差はその後、デコーディングシステムによって逆処理され、かつアップサンプリング済みＨＤＲ信号へ付加される。
【0103】
任意第２エンコーダ／デコーダ、および第３エンコーダ／デコーダは、例えば、ここに参考文献として組み込む特許文献WO2014/170819、WO2013/011466、WO2013/011492またはWO2017/089839に開示されるような方法で動作してよい。
【0104】
低解像度信号に対してトーンマップを導出することにより（例えば、ダウンサンプリングの後に）、トーンマップの処理は、より少数の画素に対して実行されるので有意に減少し、したがってより迅速に実行可能となる。また、トーンマップのサイズはフル解像度でのトーンマップと比べ減少され、その後それを圧縮すればより大きな効率を与えることができる。さらに、任意第２エンコーダ／デコーダが処理で使用されれば、第１エンコーダ／デコーダによって導入される任意のアーティファクト（例えば、カラーバンディング、ブロック等）が低解像度で補正され、したがって、高解像度で補正されるアーティファクトに比べアーティファクトの効率的な補正が可能になる。さらに、第２エンコーダはＨＤＲ入力信号にできるだけ近い符号化信号をもたらすために、さらに残差を付加することによって信号をさらに強化する。
【0105】
図１３は、本願で説明するようなエンコーディングシステムの例を示す。入力信号１０００、例えば高ビット深度（例えば、１０ビットまたは１２ビット）ＨＤＲ信号がエンコーディングシステムにおいて受信される。入力信号はその後、高解像度から低解像度へ渡すべく、ダウンサンプラー１００２によって処理される。ダウンサンプリング済み信号はその後、トーンマッピングコンバータ１００３を使って、トーンマッピング済み変換ダウンサンプリング信号へ変換されてよい。トーンマッピングコンバータ１００３は、従来および／または既知のトーンマッピング演算子およびアルゴリズム（例えば、上述したような）を使って入力信号のトーンマップ１０１６を導出する。変換は、例えば非制限的例として、輝度および彩度値、ブライトネス、コントラスト、カラー、ガンマロジック、彩度デシメーション、スケーリング、彩度ノイズリダクション等のダウンサンプリング済み信号に関連するさまざまなパラメータを調節することを含んでよい。変換の処理において、トーンマップコンバータ１００３はダウンサンプリング済み信号を、高ビット深度（例えば、１０ビットまたは１２ビット）ＨＤＲ信号から低ビット信号（例えば、８ビット）ＳＤＲ信号へさらに変換してよい。例えば、これは、第１エンコーダ１００４が１０ビットまたはそれ以上の高ビット深度信号ではなく８ビット信号のみを処理することができる場合に、最も有益であってよい。トーンマップ１０１６は、圧縮または非圧縮のいずれかによって、デコーディングシステムへ（例えばメタデータとして）伝送されてよい。トーンマッピング済みダウンサンプリング信号はその後、第１エンコーダ１００４によって処理される。ひとつの例において、変換およびダウンサンプリングは逆の順序で実行されてよい。すなわち、最初にダウンサンプリングし、次に変換が実行される。他の例において、ダウンサンプリング動作は実行されず、したがって、変換済み信号は第１エンコーダ１００４に直接渡される。第１エンコーダ１００４の出力、すなわち第１符号化ストリーム１０２０は、第１復号化信号を生成するべく第１デコーダ１００５によってさらに復号化される。第１復号化信号はその後、トーンマップコンバータ１００３によって生成されたトーンマップ１０１６を使って、トーンマッピング逆コンバータ１００８によって処理され、トーンマップ調節済み信号を生成する。トーンマッピング逆コンバータ１００８は、従来および／または既知の逆トーンマッピング演算子およびアルゴリズム（上述したような）を使って、トーンマップによって示されるように信号を再調節することによりトーンマッピングコンバータと逆の方法で動作してよい。第２復号化信号が低ビット深度（例えば、８ビット）ＳＤＲ信号であれば、トーンマッピング逆コンバータは第２復号化信号を、低ビット深度（例えば、８ビット）ＳＤＲ信号から高ビット深度（例えば、１０ビットまたは１２ビット）ＨＤＲ信号へさらに変換してよい。任意で、トーンマッピングされた補正済み信号はダウンサンプリング済み信号とともに第２エンコーダ１００６によって処理され、第２符号化信号１０１４を生成する。任意で、第２符号化ストリームは第２デコーダ１００７によって復号化され、第２復号化信号を生成するために第１復号化信号へ付加される（図示せず）。第２復号化信号（または、第２エンコーダおよび第２デコーダが使用されない場合には、第１復号化信号）がその後アップサンプラー１００９によってアップサンプリングされ、生成されたアップサンプリング済み信号が第３エンコーダ１０１０によってオリジナル入力信号とともに処理され第３符号化信号ストリーム１０２０を生成する。ひとつの例において、変換およびアップサンプリングは逆の順序で実行されてよい。すなわち、最初にアップサンプリングし、次に変換が実行される。他の例において、アップサンプリング動作は実行されず、したがって変換済み信号が第３エンコーダ１０１０へ直接渡される。
【0106】
任意第２エンコーダ１００６は第１デコーダの出力とダウンサンプリング済み信号との間の差を補正するよう動作してよい。これは、例えば第１デコーダの出力とダウンサンプリング済み信号との間の差（例えば、残差）を導出し、かつ、その残差を効率的な方法で符号化するために実行されてよい。符号化残差はその後、それを復号化するべく任意第２デコーダ１００７によって逆処理され、それを第１復号化信号に付加して、第１復号化信号の有効補正済みバージョンである第２復号化信号を生成する。
【0107】
同様に、第３エンコーダ１０１０はオリジナルの入力信号とアップサンプリング済みＨＤＲ信号との間の差を補正するよう動作してよい。これは、例えば、オリジナル信号とアップサンプリング済みＨＤＲ信号との間の差（例えば、残差）を導出し、かつ、その残差を効率的な方法で符号化するために実行されてよい。符号化残差はその後、デコーディングシステムによって逆処理され、アップサンプリング済みＨＤＲ信号へ付加されてよい。
【0108】
任意第２エンコーダ／デコーダおよび第３エンコーダ／デコーダは、例えば、上記した特許文献に説明されるのと類似の方法で動作してよい。
【0109】
低解像度信号に対してトーンマップを導出する（例えば、ダウンサンプリング後）ことにより、トーンマップの処理は、それがより少ない数の画素に対して実行されるので、大きく減少し、したがってそれはより迅速に実行可能となる。また、トーンマップのサイズはフル解像度でのトーンマップに比べて減少し、その後圧縮されればそれは大きな効率を与える。さらに、任意第２エンコーダ／デコーダが処理に使用されるならば、第１エンコーダ／デコーダおよび／またはトーンマッピング処理によって導入される任意のアーティファクト（例えば、カラーバンディング、ブロック等）は低解像度で補正可能となり、したがって、高解像度で補正されるアーティファクトに比べてアーティファクトの効率的な補正が可能になる。さらに、第３エンコーダは、ＨＤＲ入力信号にできるだけ近い符号化信号をもたらすために、さらなる残差を付加することによって、信号をさらに強化する。
【0110】
図１４は、本願で説明するようなデコーディングシステムの例を示す。第１デコーダ１１０１は、第１符号化ストリーム１０１０を受信し、それを復号化して第１復号化信号１１２０を生成する。第１復号化信号１１２０はその後、受信したトーンマップメタデータ１０１６を使ってトーンマップ調節済み信号を生成するトーンマッピング逆コンバータ１１０８によって処理される。トーンマッピング逆コンバータ１１０８は、従来および／または既知の逆トーンマッピング演算子およびアルゴリズム（例えば、上述したような）を使って、トーンマップによって示されるように信号を再調節することによって、トーンマッピングコンバータとは逆の方法で動作してよい。第１復号化信号が低ビット深度（例えば、８ビット）ＳＤＲ信号であれば、トーンマッピング逆コンバータは、第１復号化信号を、低ビット深度（例えば８ビット）ＳＤＲ信号から高ビット深度（例えば、１０ビットまたは１２ビット）ＨＤＲ信号へさらに変換してよい。任意で、第２デコーダ１２０１は復号化第１残差ストリームを生成するべく第２符号化ストリーム１０１４を復号化する。また、トーンマップ調節済み信号は、第２符号化信号を生成するべく、復号化第１残差ストリームとともに第２デコーダ１２０１によって任意に処理される。第２復号化信号（例えば、第２復号化ストリーム１０１４が受信されず、したがって第２デコーダ１２０１が使用されない場合、トーンマッピングされた調節済み信号）がその後、トーンマッピングされた補正済みアップサンプリング信号を生成するべくアップサンプラー１１０３によってアップサンプリングされる。ひとつの例において、トーンマッピング済み変換およびアップサンプリングは、逆の順序で実行可能である。すなわち、最初にアップサンプリングし、その後変換が実行される。他の例において、アップサンプリング動作は実行されず、したがってトーンマッピング済み信号がアップサンプラー１１０３へ直接渡される。第３デコーダ１１０４は、第３符号化ストリーム１０２０を復号化し、復号化第２残差ストリームを生成する。トーンマッピングされた補正済みアップサンプリング信号は、第３復号化信号を生成するべく、復号化第２残差ストリームとともに第３デコーダ１１０４によってさらに処理される。第３復号化信号はＨＤＲ信号であってよい。
【0111】
低解像度信号（例えば、アップサンプリング前）に対してトーンマップを処理することにより、トーンマップの処理は、それがより少数の画素に対して実行されるので大きく減少し、したがって、それはより迅速に実行可能となる。また、トーンマップのサイズはフル解像度でのトーンマップに比べ減少し、解凍はさらに効率よくなる。さらに、任意第２デコーダが処理に使用されれば、第１デコーダおよび／またはトーンマッピング処理によって導入される任意のアーティファクト（例えば、カラーバンディング、ブロック等）は低解像度で補正可能となり、したがって、高解像度で補正されるアーティファクトに比べ、アーティファクトの効率的な補正が可能となる。さらに、第３符号化ストリームは、ＨＤＲ入力信号にできるだけ近い符号化信号をもたらすために、さらなる残差を付加することにより信号をさらに強化する。
【0112】
図１２から１４の例は、例えば、トーンマッピングパラメータが処理中のフレームに基づいて変化する場合に、動的トーンマッピングが実行される際に適用されてよい。本例は例えば各フレームが個別に処理される連続フレームに容易に適用されてよく、それらはエンコーダおよびデコーダシステムにおいて効率的かつ容易に実行されてよい。
【0113】
ここで説明した例により、８ビットの低解像度ビデオ、１０ビットまたは１２ビットＨＤＲ情報の局所的再構成用のトーンマップ、および補正メタデータを含むデータセットへの１０ビットまたは１２ビットのＨＤＲビデオの効率的変換が、フル解像度完全品質画像の再構成を可能にする。階層ベースの符号化方法において低解像度でトーンマップ変換を実行することは、この演算に必要な処理電力を最小化することが可能となるようなユニークな利益のセットをもたらす（符号化および復号化の両方において、それはライブビデオおよび低電力デコーダ装置に対して特に重要である）。例えば、補正メタデータの有用性は、１０ビット－８ビット－１０ビット変換処理において導入されうる任意のバンディングを補正可能にする。最後に、１０ビットまたは１２ビットから８ビットへの変換は、視認可能な後方互換性８ビット標準ダイナミックレンジ（ＳＤＲ）低解像度ビデオを与えるか、または最大圧縮用の局所画像ヒストグラムをインテリジェントに分配することによって、圧縮効率を最大化するかのいずれかのためにキャリブレーションされうる。
【0114】
上述した例で議論した変換において、デコーダにおいていわゆるブラインド変換が使用されてもよく、または、エンコーダがデコーダの動作をシミュレートしてよい。これは、変換が、変換機能のモジュラー交換を容易にするスタンドアロンの方法で実行されてよいことを意味している。これは、アップサンプリング、ダウンサンプリング、色空間変換、ＨＤＲ－ＳＤＲ変換およびその逆変換、信号エレメントコーディングフォーマット変更等に適用される。例えば、異なる変換方法が、異なるフレームまたは異なるビデオストリームに対して適用されてよい。これは、符号化および復号化を連係させるようエンコーダとデコーダとの間で信号を送ってよい。しかし、これらの変更を盛り込むために、システムアーキテクチャーまたは処理フローに変更は必要ない。これは、非依存処理である残差信号の使用により可能となる、例えば、それらは２つの比較信号（基準信号と再構成済み信号）の間の差を補正するが、再構成済み信号はさまざまな方法で生成されてよい。本例はまた、ビデオデータの小さい部分、例えば、コーディングユニットまたは２×２もしくは４×４ピクセルのブロックにおいて、並列に実行することも可能である。これは、処理フローの実行はビデオデータのフレームの部分内の空間依存性を導入しないためである。これは、異なるフレーム部分の有効な並列処理を可能にし、例えば、実施形態は、異なるフレーム部分に対して並列に適応されてよく、その後ひとつ以上の品質レベルで出力信号を生成するべく最終出力を作成する。
【0115】
ここで説明された例は、異なる色表現を処理することができる容易に実行可能な単純スキームを与え、これらの色表現は異なるレベルの色品質を与えてよい。ある例において、個々の変換コンポーネントまたはモジュールは、信号を予測しようとせず、スタンドアロン形式で動作し、残差を使うエンハンスメント信号が適切な調節を与えることができる。このアプローチはまた、メタデータ用に伝送ストリームを変更することを考える必要がなく、これらの変換コンポーネントおよびモジュールに対して、必要に応じてそれらを変更しながら、より多くのモジュラーアプローチを取ることを可能にする。
【0116】
いくつかのタイプの色空間変換が実行可能である。特に、非線形色空間変換が使用可能である。
【0117】
付加的な効果は、比較的洗練度の低い信号を比較的洗練度の高い信号へ変化させる際に、色空間、ＨＤＲまたは信号エレメントコーディングフォーマット情報を符号化するべく、残差情報（例えば、信号に対する変化のみ）を使用することにより達成されてよい。
【0118】
上述したすべての例において、第１エンコーディングモジュール／エンコーダ（および対応する第１デコーディングモジュール／デコーダ）が、標準ＭＰＥＧコーデック（例えば、ＡＶＣ、ＨＥＶＣ等）、非標準コーデック（例えば、ＶＰ９、ＡＶ１等）、またはＰＥＲＳＥＵＳ（商標）などの階層的コーデックなどの任意のタイプのコーディングスキームに対応してよい。
【0119】
上述した詳細な説明は非限定的例として与えられ、任意の変更または組み合わせが本説明に含まれる。
【先行技術文献】
【特許文献】
【0120】
【特許文献1】米国特許出願第20150078661号明細書
【特許文献2】米国特許出願第20170070719号明細書
【特許文献3】米国特許第9437171号明細書
【特許文献4】国際公開WO2014/170819号公報
【特許文献5】国際公開WO2013/011466号公報
【特許文献6】国際公開WO2013/011492号公報
【特許文献7】国際公開WO2017/089839号公報
【非特許文献】
【0121】
【非特許文献1】A. Banitalebi-Dehkordi, M. Azimi, M. T. Pourazad and P. Nasiopoulos, "Compression of high dynamic range video using the HEVC and H.264/AVC standards," 10th International Conference on Heterogeneous Networking for Quality, Reliability, Security and Robustness, Rhodes, 2014, pp. 8-12.
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】