(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022140582
(43)【公開日】2022-09-26
(54)【発明の名称】高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
(51)【国際特許分類】
H04N 19/85 20140101AFI20220915BHJP
【FI】
H04N19/85
【審査請求】有
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022119153
(22)【出願日】2022-07-27
(62)【分割の表示】P 2020096546の分割
【原出願日】2016-07-22
(31)【優先権主張番号】62/195,342
(32)【優先日】2015-07-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/217,046
(32)【優先日】2016-07-22
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514188564
【氏名又は名称】アリス エンタープライジズ エルエルシー
【氏名又は名称原語表記】ARRIS ENTERPRISES LLC
【住所又は居所原語表記】3871 Lakefield Drive, Suwanee, GA 30024, U.S.A.
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】ミヌー、コーヤル
(72)【発明者】
【氏名】グ、ジョーイ
(72)【発明者】
【氏名】バイロン、デイビッド エム.
(72)【発明者】
【氏名】ルトラ、アジェイ
(57)【要約】
【課題】デジタル映像復号化システムを提供する。
【解決手段】デジタル映像復号化システムは、高ダイナミックレンジ(HDR)映像データおよび広色域(WCG)映像データを含むデジタル映像データセットに対応しないフォーマットでビットストリームを復号化することにより、HDR映像データおよびWCG映像データのうちの少なくとも一方を含む出力デジタル映像データセットを再構成し、ビットストリームを復号化して、ビットストリームからデジタル映像データセットを復元する復号化器と、逆知覚量子化伝達関数プロセスと、出力色変換プロセスと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
デジタル映像を符号化する方法であって、
高ダイナミックレンジ(HDR)映像データおよび広色域(WCG)映像データのうちの少なくとも一方を含むデジタル映像データセットを受信するステップと、
前記デジタル映像データセットの一部の特性を識別する、特性識別ステップと、
識別された前記特性に従って、知覚量子化伝達関数を修正するステップと、
修正された前記知覚量子化伝達関数を前記デジタル映像データセットの前記一部に適用して、前記デジタル映像データセットの知覚修正された部分を生成するステップと、
知覚修正された前記デジタル映像データセットに対する利得係数およびオフセットのうちの少なくとも一方を含む知覚正規化を適用して、前記デジタル映像データセットの知覚正規化された部分を生成するステップと、
前記デジタル映像データセットの知覚正規化された前記部分を符号化して、ビットストリームを生成するステップと、
前記ビットストリームと、修正された前記知覚量子化伝達関数を示し、人間の視覚によるバンディングの知覚に基づいて非線形伝達関数を識別し、前記デジタル映像データセットの知覚正規化された前記部分を識別するメタデータとを復号化器に送信するステップと、
を含み、
修正された前記知覚量子化伝達関数により処理された前記デジタル映像データセットにトーンマップを適用することにより、処理された前記デジタル映像データセットの符号化に先立って、修正された前記知覚量子化伝達関数により処理された前記デジタル映像データセットが修正される、方法。
【請求項2】
前記送信するステップは、前記ビットストリームにおいて、前記メタデータを補助強化情報(SEI)データとして送信することを含む、請求項1に記載の方法。
【請求項3】
前記デジタル映像データセットは一連の画像フレームを含み、前記特性識別ステップは、複数の映像フレーム、単一の映像フレーム、および単一の映像フレームの一部から成る群から選択される前記デジタル映像データセットの前記一部の前記特性を識別することを含む、請求項1に記載の方法。
【請求項4】
前記符号化するステップは、
1以上の基準フレームに基づいて、前記デジタル映像データセットの知覚正規化された前記部分を予測的に符号化することと、
前記デジタル映像データセットの知覚正規化された前記部分を再生成することと、
前記デジタル映像データセットの知覚正規化された前記部分に逆知覚正規化を適用して、HDR映像データおよびWCG映像データのうちの少なくとも一方を含む前記デジタル映像データセットを再生成することと、
前記デジタル映像データセットの前記一部に対して、修正された前記知覚量子化伝達関数を適用することにより、別のデジタル映像データセットの予測的符号化に用いられる別の基準フレームの一部として、前記デジタル映像データセットの知覚修正された前記部分を再生成することと、
を含む、請求項1に記載の方法。
【請求項5】
前記デジタル映像データセットの前記一部を入力色空間から中間色空間に変換して、中間色変換映像データを生成し、前記入力色空間、前記中間色空間、および前記デジタル映像データセットの前記一部を識別するメタデータを生成するステップと、
圧縮伝達関数を前記中間色変換映像データに適用して、圧縮映像データを生成し、前記圧縮伝達関数を特性化するとともに、前記デジタル映像データセットの前記一部を識別するメタデータを生成するステップと、
前記圧縮映像データを前記中間色空間から最終色空間に変換して、最終色変換映像データを生成し、前記中間色空間、前記最終色空間、および前記デジタル映像データセットの前記一部を識別するメタデータを生成するステップと、
前記知覚量子化伝達関数の修正を示す前記メタデータに対して、前記入力色空間および前記中間色空間を識別する前記メタデータ、前記圧縮伝達関数を特性化する前記メタデータ、ならびに前記最終色空間を識別する前記メタデータを組み合わせることにより、組み合わせメタデータを生成するステップと、
をさらに含み、
修正された前記知覚量子化伝達関数が適用される前記デジタル映像データセットの前記一部は、前記最終色変換映像データを含み、
前記送信するステップは、前記ビットストリームおよび前記組み合わせメタデータを前記復号化器に送信する、請求項1に記載の方法。
【請求項6】
修正された前記知覚量子化伝達関数を前記最終色変換映像データに適用する前に、前記最終色変換映像データに対して、色ダウンサンプリング動作を実行するステップをさらに含む、請求項5に記載の方法。
【請求項7】
前記デジタル映像データセットの処理された前記部分の符号化の前に、前記デジタル映像データセットの処理された前記部分に対して、色ダウンサンプリングを実行するステップをさらに含む、請求項5に記載の方法。
【請求項8】
前記デジタル映像データセットの前記部分を処理して、標準ダイナミックレンジ(SDR)映像データと整合する映像データへと前記デジタル映像データセットを変換するトーンマップを生成するステップと、
前記トーンマップを表すデータを前記メタデータと組み合わせて、組み合わせメタデータを生成するステップと、
をさらに含み、
前記送信するステップは、前記ビットストリームおよび前記組み合わせメタデータを前記復号化器に送信する、請求項1に記載の方法。
【請求項9】
高ダイナミックレンジ(HDR)映像データおよび広色域(WCG)映像データのうちの少なくとも一方を含むデジタル映像データセットを符号化するデジタル映像符号化システムであって、
前記デジタル映像データセットの一部の特性を識別し、
識別された前記特性に従って、知覚量子化伝達関数を修正し、
修正された前記知覚量子化伝達関数を前記デジタル映像データセットの前記一部に適用して、前記デジタル映像データセットの知覚修正された部分を生成し、
前記デジタル映像データセットの知覚修正された前記部分に対する利得係数およびオフセットのうちの少なくとも一方を含む知覚正規化を適用して、前記デジタル映像データセットの知覚正規化された部分を生成することと、
前記デジタル映像データセットの知覚正規化された前記部分を符号化して、ビットストリームを生成する符号化器と、
前記ビットストリームと、修正された前記知覚量子化伝達関数の前記修正を示し、人間の視覚によるバンディングの知覚に基づいて非線形伝達関数を識別し、前記デジタル映像データセットの知覚正規化された前記部分を識別するメタデータとを復号化器に送信する送信機と、
を含み、
修正された前記知覚量子化伝達関数により処理された前記デジタル映像データセットにトーンマップを適用することにより、処理された前記デジタル映像データセットの符号化に先立って、修正された前記知覚量子化伝達関数により処理された前記デジタル映像データセットが修正される、デジタル映像符号化システム。
【請求項10】
前記符号化器が、Main10高効率映像符号化(HEVC)符号化器であり、前記デジタル映像符号化システムは、前記ビットストリームにおいて、前記メタデータを補助強化情報(SEI)として書式設定する、請求項9に記載のデジタル映像符号化システム。
【請求項11】
複数の映像フレーム、単一の映像フレーム、および単一の映像フレームの一部から成る群のうちの1つとして、前記デジタル映像データセットの前記一部の特性を識別するように構成される知覚量子化伝達関数プロセスを含む、請求項9に記載のデジタル映像符号化システム。
【請求項12】
前記符号化器は、
1以上の基準フレームを用いて、前記デジタル映像データセットの知覚正規化された前記部分を予測的に符号化し、
前記デジタル映像データセットの知覚正規化された前記部分を再生成し、
前記デジタル映像データセットの知覚正規化された前記部分に逆知覚正規化を適用して、HDR映像データおよびWCG映像データのうちの少なくとも一方を含む前記デジタル映像データセットを再生成し、
前記デジタル映像データセットの前記一部に対して、修正された前記知覚量子化伝達関数を適用することにより、前記符号化器によって別のデジタル映像データセットの予測的符号化に用いられる別の基準フレームの一部として、前記デジタル映像データセットの知覚修正された前記部分を再生成する、
ように構成される、請求項9に記載のデジタル映像符号化システム。
【請求項13】
前記デジタル映像データセットの前記一部を入力色空間から中間色空間に変換して、中間色変換映像データを生成するとともに、前記入力色空間、前記中間色空間、および前記デジタル映像データセットの前記一部を識別するメタデータを生成するように構成された中間色変換プロセスと、
圧縮伝達関数を前記中間色変換映像データに適用して、圧縮映像データを生成するとともに、前記圧縮伝達関数を特性化して前記デジタル映像データセットの前記一部を識別するメタデータを生成するように構成された圧縮伝達関数プロセスと、
前記圧縮映像データを前記中間色空間から最終色空間に変換して、最終色変換映像データを生成するとともに、前記中間色空間、前記最終色空間、および前記デジタル映像データセットの前記一部を識別するメタデータを生成するように構成された最終色変換プロセスと、
をさらに含み、
前記符号化器は、前記知覚量子化伝達関数の前記修正を示す前記メタデータに対して、前記入力色空間および前記中間色空間を識別する前記メタデータ、前記圧縮伝達関数を特性化する前記メタデータ、ならびに前記最終色空間を識別する前記メタデータを組み合わせることにより、組み合わせメタデータを生成するように構成されており、
前記知覚量子化伝達関数が適用される前記デジタル映像データセットの前記一部は、前記最終色変換映像データを含み、
前記送信は、前記ビットストリームおよび前記組み合わせメタデータを前記復号化器に送信する、請求項9に記載のデジタル映像符号化システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、高ダイナミックレンジ(HDR:High Dynamic Range)および/または広色域(WCG:Wide Color Gamut)映像シーケンスの映像符号化および復号化の分野に関し、特に、入力映像シーケンスのコンテンツ特性に基づいて、線形入力値を符号化および復号化可能な非線形値に適応変換する方法に関する。
【背景技術】
【0002】
HDR映像およびWCG映像は、従来の標準ダイナミックレンジ(SDR:Standard Dynamic Range)映像よりも広範な輝度および色値を与える。たとえば、従来の映像は、輝度および色の範囲が制限され得るため、画像の取り込み、符号化、および/または表示に際して、暗部またはハイライトの詳細が失われてしまう可能性がある。これに対して、HDRおよび/またはWCG映像では、より広範な輝度および色情報を取り込めるため、映像がより自然かつ実際に近い形で人間の眼に映ることになる。
【0003】
しかし、MPEG-4高度映像符号化(AVC:Advanced Video Coding)および高効率映像符号化(HEVC:High Efficiency Video Coding)等の多くの一般的な映像符号化・復号化方式は、HDRまたはWCG映像を直接取り扱うようには設計されていない。このため、HDRおよびWCG映像情報は通常、他のフォーマットに変換した後にのみ、映像圧縮アルゴリズムを用いて符号化可能となる。
【0004】
たとえば、EXRファイルフォーマット等のHDR映像フォーマットでは、10個の有効ビット、5個の指数ビット、および1つの符号ビットを有する16ビット半精度浮動小数点数によって、赤、緑、青(RGB)色空間の色を記述する。これらの値は、幅広い潜在的な強度および色値を網羅する。SDR映像では、8または10ビット値を用いて、非HDRおよび非WCG映像の色を表現する。既存の多くの映像圧縮アルゴリズムは、SDR映像との併用を意図しているため、8または10ビット値を受信するものと予想される。実質的に映像の解像度を損なったり大きな歪みを招いたりすることなく、16ビットの半精度浮動小数点数を圧縮アルゴリズムと協働し得る10ビット値へと量子化するのは、困難である。
【0005】
一部の符号化器では、均一量子化の前に、符号化伝達関数を用いて、入力映像の線形値を非線形値に変換する。非限定的な一例として、符号化伝達関数には、符号化器に与えられた8または10ビット値によってより広い範囲が表され得るように量子化範囲の一端または両端で色値を圧縮するガンマ関数を含んでいてもよい。ただし、符号化器が符号化伝達関数を用いて線形入力値を非線形値に変換する場合であっても、符号化伝達関数は、入力映像のコンテンツによって変化することのないように、固定されるようになっていてもよい。たとえば、符号化器の符号化伝達関数は、8ビット値の場合の0~255または10ビット値の場合の0~1023の範囲の特定の非線形値に対して、0~10,000ニト(nit)(カンデラ毎平方メートルすなわちcd/m2)等、HDR範囲の考え得るすべての入力値を静的にマッピングするように規定可能である。ただし、入力映像が該範囲の一部のみの入力値を含む場合は、固定マッピングによって量子化レベルの割り当てが不十分となり、再生画像内に量子化歪みが生じる可能性がある。たとえば、主として青空を示す画像は、多くの類似する青色を有し得るが、これらの青色は、符号化伝達関数が規定される全体範囲の小さな部分を占有し得る。このため、類似する青色は、同じ値へと量子化される可能性がある。この量子化は、視聴者によって輪郭削りまたはバンディングと受け止められ得る場合が多く、色調間のより自然な遷移の代わりとして、量子化された青色が画面上に表示された空全体でバンド状に拡がる。
【0006】
また、人間の視覚系に関する精神物理学的研究から、特定の場所におけるコントラストレベルに対する視聴者の感度は、その場所自体の実際のレベルよりも周囲の場所の平均輝度に、より大きく依存し得る得ることが分かっている。しかし、多くの符号化伝達関数では、このことを考慮に入れておらず、代わりに、周囲の画素の特性を考慮に入れない固定変換関数または表を使用する。
【図面の簡単な説明】
【0007】
【
図1】符号化器および復号化器を備えた映像符号化システムの一実施形態を示した図。
【
図2A】最大2つの色ボリューム変換プロセスおよび2つの伝達関数を用いて、入力HDRおよび/またはWCG映像シーケンスを非HDR・非WCG映像符号化器と互換性のある符号化ビットストリームへと符号化するとともに、逆色ボリューム変換プロセスおよび伝達関数を用いた相補映像復号化器によって該符号化ビットストリームを復号化映像へと復号化するプロセスの第1の例を示した図。
【
図2B】最大2つの色ボリューム変換プロセスおよび2つの伝達関数を用いて、入力HDRおよび/またはWCG映像シーケンスを非HDR・非WCG映像符号化器と互換性のある符号化ビットストリームへと符号化するとともに、逆色ボリューム変換プロセスおよび伝達関数を用いた相補映像復号化器によって該符号化ビットストリームを復号化映像へと復号化するプロセスの第1の例を示した図。
【
図3A】非HDR・非WCG映像符号化器および復号化器を用いて入力HDRおよび/またはWCG映像シーケンスを符号化および復号化するプロセスであって、符号化器が使用する符号化伝達関数が知覚正規化動作と組み合わされ、復号化器が使用する逆符号化伝達関数が逆知覚正規化プロセスと組み合わされた、プロセスの第2の例を示した図。
【
図3B】非HDR・非WCG映像符号化器および復号化器を用いて入力HDRおよび/またはWCG映像シーケンスを符号化および復号化するプロセスであって、符号化器が使用する符号化伝達関数が知覚正規化動作と組み合わされ、復号化器が使用する逆符号化伝達関数が逆知覚正規化プロセスと組み合わされた、プロセスの第2の例を示した図。
【
図4A】入力HDRおよび/またはWCG映像シーケンスを符号化ビットストリームへと符号化および復号化するプロセスであって、再構成HDRおよび/またはWCGシーケンスから導出された基準フレームを符号化器および復号化器が使用する、プロセスの第3の例を示した図。
【
図4B】入力HDRおよび/またはWCG映像シーケンスを符号化ビットストリームへと符号化および復号化するプロセスであって、再構成HDRおよび/またはWCGシーケンスから導出された基準フレームを符号化器および復号化器が使用する、プロセスの第3の例を示した図。
【
図5A】符号化器においてSDR映像データを使用する符号化および復号化プロセスであって、線形SDR等級RGB画像から生成されたトーンマップを使用することにより、復号化器においてSDRおよびHDR画像データを同時に生成する、プロセスの第4の例を示した図。
【
図5B】符号化器においてSDR映像データを使用する符号化および復号化プロセスであって、線形SDR等級RGB画像から生成されたトーンマップを使用することにより、復号化器においてSDRおよびHDR画像データを同時に生成する、プロセスの第4の例を示した図。
【
図6A】符号化段階において符号化伝達関数の後かつ量子化の前にパラメトリックトーンマッピングプロセスを採用し、復号化段階において逆量子化の後かつ逆符号化伝達関数の前に相補逆パラメトリックトーンマッピングプロセスを採用する符号化および復号化プロセスの第5の例を示した図。
【
図6B】符号化段階において符号化伝達関数の後かつ量子化の前にパラメトリックトーンマッピングプロセスを採用し、復号化段階において逆量子化の後かつ逆符号化伝達関数の前に相補逆パラメトリックトーンマッピングプロセスを採用する符号化および復号化プロセスの第5の例を示した図。
【
図7A】
図6Aおよび
図6Bに示した符号化および復号化プロセスの変形例であって、三次元(3D)ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。
【
図7B】
図6Aおよび
図6Bに示した符号化および復号化プロセスの変形例であって、三次元(3D)ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。
【
図8A】
図6Aおよび
図6Bに示した符号化および復号化プロセスの変形例であって、3つの一次元(1D)ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。
【
図8B】
図6Aおよび
図6Bに示した符号化および復号化プロセスの変形例であって、3つの一次元(1D)ルックアップテーブルを用いることにより、トーンマッピングおよび逆トーンマッピングプロセスが実行される、変形例を示した図。
【
図9】ガンマ圧縮伝達関数の例示的なプロットを示した図。
【
図10】ガンマ展開伝達関数の例示的なプロットを示した図。
【
図11】知覚量子化伝達関数の例示的なプロットを示した図。
【
図12】入出力データの相対的量子化として表されたウェーバーの法則(Weber law)の伝達関数の例示的なプロットを示した図。
【
図13】入出力データの相対的量子化として表されたスティーブンスの法則(Stevens’ law)の伝達関数の例示的なプロットを示した図。
【発明を実施するための形態】
【0008】
本開示は、符号化に先立って、高ダイナミックレンジ(HDR)および/または広色域(WCG)画像データを表すデータに適応前処理を適用するとともに、復号化後のデータに相補後処理を適用して、HDRおよび/またはWCGデータの少なくとも部分的な再生を可能にするデジタル映像データの符号化方法を記載する。これらの例示的な方法では、量子化に先立って、1つまたは複数の色空間変換および知覚伝達関数をデータに適用する。また、これらの例示的な方法では、復号化後に、逆知覚伝達関数および逆色空間変換を適用して、HDRおよび/またはWCGデータを復元する。伝達関数は、異なるフレーム群、個別フレーム、または処理ウィンドウ等のフレームのサブコンポーネントを含む異なる映像データセットに対して異なる伝達関数が適用可能となるように適応的である。データセットに関する情報および適用伝達関数に関する情報は、メタデータとして符号化器から復号化器に受け渡される。
【0009】
本発明のさらなる詳細については、添付の図面を用いて説明する。
後述の例示的なシステムおよび方法では、HEVC(高効率映像符号化)、H.264/MPEG-4 AVC(高度映像符号化)、またはMPEG-2符号化器等の非HDR・非WCG符号化器によって量子化および符号化された後、再構成によって、受信機でHDRおよび/またはWCGデータの少なくとも一部が復元され得るように、符号化伝達関数の適応または他の形でのHDRおよび/またはWCG映像データの変換および/または再分配によって、HDRおよび/またはWCG映像を効果的に圧縮する。伝達関数は、画像群、画像、または入力映像の副画像ウィンドウのレベルの実際の映像コンテンツに基づいていてもよい。これらの映像プロセスは、潜在的なあらゆる値全体の代わりに、入力映像データ内に実際に存在する色および/または強度情報を表す非線形値の曲線またはトーンマップを生成することにより実現されるようになっていてもよい。このため、非線形値が均一に量子化される場合、均一量子化により導かれるノイズおよび/または歪みは、人間の視聴者に気付かれにくいように、最小限に抑えることができる。また、符号化用の入力映像データを作成するために実行される処理に関するメタデータ情報は、映像データの復号化に際して対応する逆動作を復号化器が実行できるように、復号化器に送信される。
【0010】
図1は、符号化システム100および復号化システム150を備えた映像符号化システムの一実施形態を示している。符号化システム100は、プロセッサ(デジタルシグナルプロセッサ(DSP)または特殊映像プロセッサを含む)、メモリ、回路、ならびに/または入力映像を符号化ビットストリーム109へと符号化、コード変換、および/もしくは圧縮するように構成された他のハードウェアおよびソフトウェア要素を備え得る。符号化システム100は、HEVC(高効率映像符号化)、H.264/MPEG-4 AVC(高度映像符号化)、またはMPEG-2等の映像符号化フォーマットおよび/または圧縮方式に従って、符号化ビットストリーム109を生成するように構成可能である。非限定的な一例として、いくつかの実施形態においては、符号化器100がMain10HEVC符号化器であってもよい。
【0011】
例示的な符号化システム100は、映像源102からHDRおよび/またはWCG映像データを受信する。システム100は、基準画像キャッシュ118の基準画像に基づいて、符号化器106(たとえば、Main10HEVC符号化器)により符号化され得るようにHDRおよび/またはWCGデータを適応的に処理するプリプロセッサ104を具備する。符号化データは、送信機108を用いることにより、ビットストリーム109として復号化システム150の受信機110に送信されるようになっていてもよい。送信機および受信機は、有線、無線、または光学接続等、任意の送信方法を使用するようにしてもよい。一実施形態において、送信機は、符号化映像データをインターネットプロトコル(IP)パケットとして書式設定するとともに、これらのIPパケットをネットワーク上で受信機110に送信するようにしてもよい。ネットワークは、直交振幅変調(QAM:Quadrature Amplitude Modulation)等のデジタル送信メカニズムを用いたデジタルケーブルテレビ接続であってもよい。また、ネットワークは、有線ケーブルネットワーク、光ファイバネットワーク、または無線ネットワークであってもよい。また、ネットワークは、プライベートネットワークまたはグローバル情報ネットワーク(たとえば、インターネット)であってもよい。符号化映像データの送信のほか、送信機100は、プリプロセッサ104により実行された処理を記述したメタデータ122を送信する。メタデータ122は、別個の信号として示されているものの、たとえば、ビットストリームまたは画像群(GOP:Groups of Picture)、画像、スライス、マクロブロックのヘッダ中の補助強化情報(SEI:supplemental enhancement information)または映像有用性情報(VUI:video usability information)として、ビットストリーム109に含まれていてもよい。SEIまたはVUIは、入力画像データおよび識別処理ウィンドウ上で符号化器により実行された処理を規定した特定のメタデータのxおよびy座標により規定された矩形処理ウィンドウを識別していてもよい。
【0012】
復号化システム150は、プロセッサ、メモリ、回路、ならびに/または受信機110でビットストリーム109を受信するとともに、符号化ビットストリーム109を復号化HDRおよび/もしくはWCG映像へと復号化、コード変換、および/もしくは展開してディスプレイ116上に提示するように構成された他のハードウェアおよびソフトウェア要素を備え得る。復号化システム150は、HEVC、H.264/MPEG-4 AVC、またはMPEG-2等の映像符号化フォーマットおよび/または圧縮方式に従って、符号化ビットストリーム109を復号化するように構成可能である。非限定的な一例として、いくつかの実施形態においては、復号化器112がMain10HEVC復号化器であってもよい。映像データは、復号化後、符号化器から受信したメタデータに応答して、プリプロセッサ104により実行された処理を逆にしてHDRおよび/またはWCG映像データを再生成するポストプロセッサ114により処理される。復号化HDRおよび/またはWCG映像データは、表示装置に出力して、テレビ、モニタ、または他のディスプレイ116上等で再生することができる。
【0013】
いくつかの実施形態において、符号化システム100および/または復号化システム150としては、専用ハードウェア装置が可能である。他の実施形態において、符号化システム100および/または復号化システム150としては、サーバ、コンピュータ、または映像処理装置等の他のハードウェア上で動作するソフトウェアプログラムが可能であり、または、そのようなソフトウェアプログラムを使用することが可能である。非限定的な一例として、符号化システム100としては、映像サービスプロバイダが運用する映像符号化器が可能である一方、復号化システム150としては、消費者テレビディスプレイに接続されたケーブルボックス等のセットトップボックスの一部が可能である。
【0014】
映像源102が提供する入力映像データには、フレーム、または画像エッセンス、または映像データセットとも称する一連の画像を含み得る。いくつかの実施形態において、画像内の色は、色空間または色モデルに応じた1つまたは複数の値を用いて、デジタル的に記述することができる。非限定的な一例として、画像内の色は、RGB色モデルを用いて示すことができ、赤色チャネル、緑色チャネル、および青色チャネルの値の組み合わせによって色が記述される。
【0015】
入力映像データとしては、高ダイナミックレンジ(HDR)および/または広色域(WCG)で記述された輝度および/または色値を伴う1つまたは複数のフレームシーケンスを有するHDR映像データセットが可能である。非限定的な一例として、高ダイナミックレンジの映像は、非HDR映像よりも広範な考え得る値を伴う規模で輝度値を示すことができ、広色域を有する映像は、少なくとも一部のチャネルにおいて、非WCG映像よりも広範な考え得る値を伴う色モデル上で色を表すことができる。このため、HDR入力映像は、標準または非HDR映像よりも広範な輝度および/または色値を有し得る。
【0016】
いくつかの実施形態において、HDR入力映像データは、色チャネル当たり8または10ビット等のより少ないビット深度で色値を表す非HDRフォーマットに対して、高ビット深度フォーマットのRGB値で色を示すことができる。非限定的な一例として、HDR入力映像データとしては、色チャネルごとに(10個の有効ビット、5つの指数ビット、および1つの符号ビットを有する)16ビットの浮動小数点数を用いた線形明色RGB領域で表されるRGB色値を伴うEXRファイルフォーマットが可能である。
【0017】
図2Aに示すように、符号化システム200は、Main10HEVC符号化器等の既存の符号化器216を用いて処理データを10ビット値に量子化し、色情報をダウンサンプリングし、結果データを符号化する前に、線形HDR RGBデータに対して、第1の(中間)色変換動作(色ボリューム変換)202、第1の伝達関数204、第2の(最終)色変換動作206、第2の(符号化)伝達関数208、および任意選択としての知覚正規化動作210を適用することができる。ブロック202、204、206、208、および210は、映像のコンテンツの1つまたは複数の特性に基づいて、映像源202からの線形HDR RGB値を非線形曲線上の値に変換する圧縮・知覚マッピング動作を実行する。
【0018】
非限定的な例として、知覚マッピング動作は、最小輝度、平均輝度、ピーク輝度、最大コントラスト比、累積分布関数、ならびに/または映像データセットもしくはその一部におけるその他任意の因子に基づいて、データセットの全部または一部のコンテンツに合わせることができる。いくつかの実施形態において、このような特性は、さまざまな処理段階における映像の色成分または輝度成分のヒストグラムまたは統計解析によって見出し得る。一例においては、知覚伝達関数または知覚トーンマッピング動作の適用に先立って、デジタル画像データが処理ウィンドウへとセグメント化されるようになっていてもよい。各処理ウィンドウの1つまたは複数の成分(たとえば、Y’CbCr)の解析によって、たとえば最小サンプル値、最大サンプル値、平均サンプル値、値、および最大コントラスト(たとえば、最小サンプル値と最大サンプル値との差)を決定するようにしてもよい。これらの値は、単一の成分または2つ以上の成分の組み合わせに対して計算されるようになっていてもよい。また、これらの値は、符号化伝達関数および知覚正規化器に、またはトーンマッピングプロセスに適用されて、処理ウィンドウに適用する知覚マッピングを決定する。
【0019】
例示的な知覚マッピングは、グローバルまたはローカルの範囲で入力映像データのコンテンツに合わせた非線形曲線上に線形色情報を再分配して、
図2Bに示す復号化システム220のHDR映像データとして復号化および再構成され得るように、符号化器216を用いてHDR映像データをより効率的に符号化できるようにする。後述の通り、線形色値を他の色空間に変換するとともに、入力映像のコンテンツに基づいて非線形曲線を適用することにより、均一量子化動作において歪みおよび/またはノイズが導かれるリスクを抑えつつ、再構成画像においてHDRおよび/またはWCGの詳細を与えることができる。いくつかの実施形態においては、映像フレームの一部に存在する強度および色相ならびに/または人間の視聴者が最も気付きやすい強度および色相の範囲に、より多くのビットおよび/または量子化レベルを割り当て可能である一方、色チャネルに存在しない強度および色相ならびに/または視聴者が気付きにくい強度および色相には、より少ないビットおよび/または量子化レベルを割り当て可能である。
【0020】
非限定的な一例として、入力映像データが夜間に起こるシーンを表している場合、その画像は、RGB領域において実質的に一塊となった暗い色を主として含み得る。このようなシーンにおいては、RGB領域におけるより明るい色が欠如または希薄となっている可能性がある。この状況においては、シーンに実際に存在する色および輝度値の範囲を含む1つまたは複数の非線形曲線上に色および輝度値が再分配される一方、シーンに存在しない値を省略するかまたは該値の強調を抑えるように、組み合わせ知覚マッピングを適応させることができる。このため、過去に一塊となっていた暗い色および輝度値を(より多くの均一量子化ステップが割り当てられた)非線形値の曲線上で実質的に一様に広げられる一方、あまり一般的ではない、より明るい値については、シーンに存在しない場合、一体的な圧縮(より少ない量子化ステップの割り当て)あるいは省略が可能である。暗い値を曲線上で広げ得る場合は、非線形曲線上の値が離散値または符号語へと均一に量子化される場合であっても、それぞれの間の細かな相違を区別することができる。
【0021】
上述の通り、知覚マッピング動作は、一連の画像、単一の画像、または副画像ウィンドウに対する入力映像のコンテンツに応じて異なる非線形伝達関数を適用する変化が可能となるように適応し得る。副画像処理によれば、それぞれのコンテンツに基づいて、処理ウィンドウ、スライス、AVCのマクロブロック、またはHEVCの符号化ツリーユニット(CTU:Coding Tree Unit)等、同じ画像の異なる副エリアの異なる処理が可能である。他の実施形態または状況において、知覚マッピング動作は、異なる画像に対して画像レベルで変更可能である。さらに他の実施形態または状況において、知覚マッピング動作は、異なる画像群(GOP)または画像エッセンス等の異なる一連の画像に対して超画像レベルで変更可能である。知覚マッピング動作は、RGB、Y’CbCr、X’Y’Z’、またはI’PT色空間等の任意所望の色空間において適用可能である。特定の一連の画像、単一の画像、または副画像要素を表す映像データのコンテンツは、映像データが表す画素値のヒストグラムを生成することにより決定されるようになっていてもよい。たとえば、相対的に暗いエリアおよび相対的に明るいエリアの両者を有する画像は、たとえば四分木アルゴリズムを用いて、暗いエリアのデータが一組の処理ウィンドウとなり、明るいエリアのデータが別の組のウィンドウとなるように、セグメント化されるようになっていてもよい。暗いエリアのウィンドウに適用される知覚マッピングは、明るいエリアにおいて適用されるものと異なり、両エリアの詳細が維持され、再生HDR画像において表示されるようになっていてもよい。
【0022】
一実施態様において、知覚正規化ブロック210および/または符号化伝達関数ブロック208は、色変換ブロック206が与えるY’CbCr値に対して知覚マッピング伝達関数を適用することにより、知覚マッピングY’CbCr値を生成することができる。いくつかの実施形態において、知覚マッピング動作では、関連する知覚マッピングY’CbCr値に対してY’CbCr値をマッピングする3Dルックアップテーブルを使用することができる。他の実施形態において、知覚マッピング動作では、各色成分を変換する1つまたは複数の式を使用することができる。非限定的な一例として、知覚マッピング動作では、Y’_PM=f(Y’,Cb,Cr)、Cb_PM=g(Y’,Cb,Cr)、Cr_PM=h(Y’,Cb,Cr)等の式を用いて値を変換することができる。この例において、これらの関数はそれぞれ、3つのY’CbCr値を入力として取得し、知覚マッピングY’CbCr値を出力することができる。
【0023】
図2Aに示すように、符号化器200は、HDRおよび/またはWCGデータを線形RGB値として受信することができる。また、符号化器200は、第1の色変換動作202を実行することができる。この動作では、たとえばLMS、XYZ、またはYCbCrといった中間線形色空間へと線形RGB値を変換する。この変換により、RGBデータ内の冗長性が抑えられ、より圧縮を促すフォーマットのデータとなる。ただし、入力データのフォーマットに応じて、ブロック202が色変換を一切行わなくてもよいし、単一のフレームの異なる部分を含む映像シーケンスの異なる部分に対して異なる色変換動作を実行するようにしてもよいと考えられる。また、色変換動作202により、実行された変換動作およびそれが実行されたシーケンス、フレーム、または画像の部分を示すメタデータが生成されるようになっていてもよい。変換を単に識別する代わりに、メタデータは、ブロック202により適用された色変換動作の逆を表す行列係数を含んでいてもよい。メタデータは、逆係数を含む代わりに、色ボリューム変換動作202に用いられた係数を含んでいてもよく、逆係数が復号化器220において生成されるようになっていてもよいと考えられる。色変換動作202は、第1の伝達関数204による処理が容易なデータを色空間において生成可能である。
【0024】
伝達関数204は、明るい画素値および/または暗い画素値をより小さな範囲の値へと圧縮するガンマ関数であってもよい。あるいは、知覚量子化(PQ:Perceptual Quantization)伝達関数等の知覚伝達関数であってもよい。別の選択肢としては、色変換映像データを一切変換しない恒等関数であってもよい。この関数は、輝度チャネルまたは各チャネルにのみ適用可能であり、映像シーケンスの異なる部分ならびに/またはシーケンス中の異なるフレームもしくはフレーム部分には、異なる関数が適用されるようになっていてもよい。たとえば、画像の相対的に暗いエリアにおいて輝度チャネルに適用されたガンマまたはPQ伝達関数によって、関連する動作が該画像エリアの色チャネルデータに適用されるようになっていてもよい。また、ブロック204は、適用された変換またはその逆変換、およびそれが適用された画像データの部分を記述したメタデータを生成する。このメタデータは、伝達関数またはその伝達関数の逆伝達関数を記述したパラメータを含んでいてもよい。これらの値から、たとえば線形補間、二次または三次スプライン曲線適合動作によって、完全な伝達関数または逆伝達関数のデータ値が補間され、逆伝達関数または伝達関数もしくは逆伝達関数をモデル化した線形セグメントの端点が再構成されるようになっていてもよい。
【0025】
そして、ブロック204からの色変換データは、ブロック206において、最終色変換動作が行われる。この色変換動作では、たとえば、(特にWCG画像データの)知覚圧縮により適したI’PTまたはY’CbCr等の色空間へと映像データが変換されるようになっていてもよい。ブロック206では、知覚正規化および量子化のための処理が容易な1つまたは複数の色空間へと、一連の画像、単一画像、または画像の部分を変換するようにしてもよい。ブロック202と同様に、ブロック206が実行する色変換は、恒等関数であって、変換が行われなくてもよい。あるいは、映像データの異なる部分に対して異なる色変換動作が実行されるようになっていてもよい。さらに、ブロック206は、実行された色変換およびそれが適用された映像データの部分(フレーム外、フレーム、またはサブフレーム)を記述したメタデータを生成することができる。このメタデータは、データの上記部分および適用された変換を単に識別するようにしてもよい。あるいは、メタデータは、変換を識別する代わりに、3×3変換行列の係数を含んでいてもよい。上述の通り、メタデータは、ブロック206により実行された色変換またはその逆変換を記述していてもよい。
【0026】
ブロック206の後、2回色変換映像データには、第2の伝達関数208が適用される。関数208は、人間の視覚系によって重要と受け止められる映像情報を強調するとともに重要と受け止められない映像情報の強調を抑えることによって、量子化および符号化用の映像データを作成する符号化伝達関数であってもよい。また、伝達関数208は、たとえば処理する映像データの部分における画像コンテンツ、対象最大サンプル値および最小サンプル値、最大輝度もしくは輝度コントラスト、ならびに/または量子化ステップサイズに基づいて選択可能なガンマ成分を伴うスティーブンスのべき法則またはウェーバーの法則の伝達関数といった、データを人間の知覚に適合させる関数であってもよい。また、伝達関数208は、画像を調整して、輝度画素のコントラスト感度を考慮するとともに、輝度サンプルに適用された変換に基づいて、対応する色サンプルを再マッピングするようにしてもよい。この関数は、一連のフレーム、単一のフレーム、または処理ウィンドウ等のフレームの一部に適用されるようになっていてもよい。前処理段階のその他のブロックと同様に、符号化伝達関数ブロック208では、適用された伝達関数またはその逆関数、それが適用されたフレームまたはフレーム部分を記述したメタデータを生成可能である。このメタデータは、伝達関数をパラメトリックに記述していてもよいし、一連の値で記述していてもよい。適用される伝達関数のパラメータは、該伝達関数に与えられた映像データを解析することにより決定されるようになっていてもよい。
【0027】
映像データは、たとえば特定の一組のトーンマッピングパラメータが指定されて四分木の各葉ノードに適用され得るように、四分木分解を画像データに適用することによって、複数の処理ウィンドウに分割されるようになっていてもよい。この例において、四分木分解の各葉ノードは、異なるトーンマッピング方式を有し得る。あるいは、トーンマッピングの適用により、色彩技術者による決定等の所望の主観的対象を実現する領域として、処理ウィンドウを指定することができる。領域の形状としては、矩形、円形等が可能であり、形状、位置、サイズ等のパラメータを指定可能である。処理ウィンドウの識別に際しては、処理ウィンドウにおける映像データの各映像成分の最大、平均、および最小値を決定するとともに、これらの値を伝達関数ブロック208に供給するのが望ましいと考えられる。たとえば、システムは、画像の画素をビンに分割する処理ウィンドウにヒストグラムを実行し、処理ウィンドウの画素の一部(たとえば、80~95%)に及ぶ一組の隣接ビンを選択することによって、最小、平均、および最大値を決定するようにしてもよい。最小データ値は、最小のデータ値を含むビンにより規定された最小値であってもよく、最大データ値は、最大のデータ値を含むビンにより規定された最大値であってもよく、平均値は、すべての選択ビンにおけるすべての値の平均であってもよい。そして、ブロック208では、符号化伝達関数および/または知覚正規化器210の適応によって、最小値未満または最大値超の値に割り当てられる量子化ステップの数を減らしつつ、最小値と最大値との間に割り当てられる量子化ステップの数を増やす。この適応は、処理ウィンドウを識別するデータも含むメタデータに記載されている。このメタデータは、ビットストリームから復号化されたデータに対して逆知覚正規化および逆符号化伝達関数が適用され得るように、ビットストリームで復号化器に送信される。また、メタデータは、適応伝達関数または補間により伝達関数を再構成可能なデータ値を記述したパラメータを含んでいてもよい。
【0028】
符号化伝達関数ブロック208により実行されるものとして処理ウィンドウの識別を説明したが、復号化器の他の要素により実行されるようになっていてもよいと考えられる。たとえば、(
図1に示す)映像源102または中間色変換ブロック202により実行されるようになっていてもよい。個々のフレームの処理ウィンドウへの分割のほか、同じアルゴリズムによって、それぞれ共通の特性によるデジタル映像データセット中のフレームのグループ化および/または個々のフレームの特性の識別を行うようにしてもよい。色変換プロセスおよび圧縮伝達関数プロセスの両者を同じ部分に合わせられるように、共通の特性を有するデジタル映像データセットの部分を符号化プロセスの早期に識別するのが好都合と考えられる。
【0029】
符号化伝達関数208の後は、ブロック210において、データが知覚正規化されるようになっていてもよい。このステップでは、映像データの利得(スケーリング)およびオフセットを調整して、フレーム群および/またはフレーム全体で映像データの知覚圧縮がより均一になるようにする。また、知覚正規化により、対応する輝度サンプルに実行される処理に対して色サンプルを補償することにより、量子化用色空間においてデータを作成するようにしてもよい。利得およびオフセット値またはその逆、ならびにそれらが適用された画像データの部分の識別情報がメタデータとして提供される。伝達関数204および208が均一知覚変換データを生成する場合または映像データの均一知覚変換が重要でない場合は、知覚正規化が用いられなくてもよい。
【0030】
Main10HEVC符号化器を使用するこの例において、伝達関数208および/または任意選択としての知覚正規化プロセス210により提供された正規化知覚圧縮データは、量子化器212において、10ビット値へと量子化される。伝達関数208および/または知覚正規化器210の出力サンプルが浮動小数点数である場合、量子化器212は、画素サンプルを浮動小数点数から10ビット固定小数点数に変換するようにしてもよい。出力サンプルがNビット固定小数点数(N>10)の場合、量子化器は、Nビットサンプルの10個の最上位ビット(MSB:Most Significant Bit)を選択するようにしてもよいし、または、11番目のビットに基づいて、これらの値を四捨五入するようにしてもよい。ブロック202、204、206、208、および210により実行される前処理のため、知覚的に重要性がより高い画像データは、知覚的に重要性がより低いデータよりも多くの数の量子化レベルを受け付ける。量子化器212は、色成分のスカラーまたはベクトル量子化を採用するようにしてもよいと考えられる。
【0031】
次に、ブロック214では、色情報のダウンサンプリングによって、4:4:4画素を4:2:0画素に変換する。色サンプルの解像度の低下は、輝度よりも低い空間解像度で色を受け止める人間の視覚系にとって、気付かれにくいものである。色情報のダウンサンプリングのために実行される処理を規定したメタデータは、符号化器のダウンサンプリングブロック214からのメタデータに追加される。このメタデータは、たとえばダウンサンプリングデータの生成に用いられた二次元空間フィルタまたはダウンサンプリングデータから空間アップサンプリングデータを生成する逆フィルタのカーネルを記述していてもよい。また、このメタデータは、サブサンプリング動作における任意の位相シフトオフセットを指定していてもよい。そして、符号化器216は、前処理、量子化、およびダウンサンプリングされたデータを符号化して、出力ビットストリームを生成する。一実施態様において、メタデータは、ビットストリームにより、補助強化情報(SEI)または映像有用性情報(VUI)データとして符号化される。ブロック214は、4:4:4画素の4:2:0画素への変換として示されているものの、たとえば4:4:4画素の4:2:2または4:1:1画素フォーマットへの変換といった、他の変換も実行可能であると考えられる。これら代替のダウンサンプリングフォーマットのいずれかがブロック214により生成された場合は、復号化システムの対応するブロックによって、対応するアップサンプリングが実行されることになる。
【0032】
図2Bに示す復号化システム220は、復号化器222でビットストリームを受信する。例示的なMain10HEVC復号化器222は、メタデータを抽出し、符号化器216により実行された符号化動作を逆にして、4:2:0画素フォーマットの10ビット映像データを生成する。色ダウンサンプラ214により生成されたメタデータは、たとえば4:2:0サンプルを空間補間フィルタに適用することによって、4:2:0サンプルから4:4:4画素フォーマットサンプルを再構成するアップサンプラ224に適用される。これらのサンプルは、4:4:4画素サンプルを浮動小数点数に変換する逆量子化器226またはゼロ値下位ビットを高精度固定小数点サンプルに追加し得る逆量子化器226に提供される。逆量子化器226により実行される動作は、量子化器212により実行される量子化動作を逆にする傾向にある。
【0033】
ブロック228は、知覚正規化ブロック210から受信したメタデータに基づいて、識別された映像データセット中のサンプルの減衰およびオフセットを行い、知覚正規化フィルタ210により実行された利得およびオフセット調整を逆にする。同様に、ブロック230は、符号化伝達関数208の逆である伝達関数を適用する。これは、メタデータ内のパラメータから生成された逆スティーブンスの法則または逆ウェーバーの法則の伝達関数であってもよいし、適用フィルタ特性のサンプルまたは線形化特性の線分のいずれかを表すメタデータ内の値から再生成された伝達関数であってもよい。
【0034】
同様に、復号化器220のブロック232、234、および236はそれぞれ、符号化器200のブロック206により実行された最終色変換動作、ブロック204により実行された第1の伝達関数、およびブロック202により実行された中間色変換動作を反転させる。これらの動作は、色変換動作およびメタデータ内の伝達関数と関連付けられた1つまたは複数のフレームの領域を表すデータセットに対してのみ実行される。逆色変換ブロック236により与えられる出力データは、再構成線形HDR RGB信号である。画像の暗い部分の詳細および特性ならびに画像の明暗両部分の色値等の知覚的に重要なデータが再構成データに保存される一方、知覚的にそれほど重要でないデータは、失われるようになっていてもよい。
図2Aおよび
図2Bに示すシステムのほか、以下のその他の図に示すシステムは、線形HDR RGBデータを受信して再構成するものとして示されているが、他のHDRおよび/またはWCGデータを受信して再構成するようにしてもよいと考えられる。
【0035】
図3Aおよび
図3Bは、
図2Aおよび
図2Bに示した符号化および復号化システムの変形例を示している。
図3Aおよび
図3Bに示すブロックの多くは、
図2Aおよび
図2Bのブロックと同じで、同じ番号を有する。本明細書においては、簡素化のため、これらのブロックの動作を別個に説明することはない。一方の
図2Aおよび
図2Bと他方の
図3Aおよび
図3Bとの相違として、
図3Bに示す知覚再成形ブロック304および対応する逆知覚再成形ブロック327が挙げられる。ブロック304は、符号化伝達関数306を知覚正規化動作308と組み合わせたものであり、同様に、ブロック327は、逆知覚正規化動作326と逆符号化伝達関数ブロック328とを組み合わせたものである。
【0036】
図3Aおよび
図3Bに示す各システム300および320に対して、
図2Aおよび
図2Bに示したシステム200および220の別の相違は、処理ストリームにおける色ダウンサンプリングプロセス302および色アップサンプリングプロセス330の位置である。
図3Aにおいて、ダウンサンプリングプロセス302は、最終色変換プロセス206により提供されたデータに対して動作する。同様に、
図3Bにおいて、アップサンプリングプロセス330により提供されたアップサンプリング出力値は、プロセス206の逆である逆色変換プロセス232に適用される。ダウンサンプリングおよびアップサンプリングプロセスの再配置によって、知覚再成形処理は、ダウンサンプリング色値を有する画素に対して実行される。この修正により、
図3Aに示すブロック306、308、310ならびに
図3Bに示すブロック324、326、および328によって、
図2Aに示した対応するブロック208、210、および212ならびに
図2Bに示したブロック226、228、および230による処理よりも少ない色サンプルが処理されるため、処理が少なくなる可能性がある。上述の通り、符号化伝達関数306を用いて知覚正規化プロセス308により実行されるオフセットおよび利得調整を含み、逆符号化伝達関数328を用いて逆知覚正規化プロセス326により実行される逆オフセットおよび利得調整を含むことによって、さらなる処理抑制が実現され得るためである。
【0037】
図4Aおよび
図4Bに示す符号化システム400および420は、
図2Aおよび
図2Bに示した各システム200および220の別の変形例を表す。
図4Aおよび
図4Bならびに
図2Aおよび
図2Bの同じ番号付き要素は、同じように動作するが、本明細書においては、簡素化のため、別個に説明することはない。
図4Aおよび
図4Bに示す処理は、符号化器402および復号化器422が使用する基準画像のコンテンツに関して、
図2Aおよび
図2Bの処理と異なっている。
図1を参照して上述した通り、Main10HEVC復号化器は、予測的符号化および復号化を実行するが、この場合は、基準フレームのうちの1つまたは複数から生成された対応する画素値から、現行フレームの画素値が減算される。これらの差分値は通常、完全な画素値よりも情報がはるかに少ないため、符号化器において、より効率的に周波数変換および量子化が行われる。
図1に示すように、基準画像キャッシュ118中の基準フレームは、生成した符号化データを復号化する符号化器106によって生成される。これは、符号化予測プロセスにより導かれる損失または歪みを差分値が補償できるように行われる。
【0038】
図2Aおよび
図2Bに示したプロセスで標準Main10HEVC復号化器が用いられている場合、基準画像は、
図2Bに示した復号化器による後処理ステップを含んでいないため、符号化画像の復号化版を正確に表さない場合がある。
図4Aおよび
図4Bに示すシステム400および420は、符号化器402および復号化器422を強化することによってこれに対処する。符号化器402は、プロセス224、226、228、230、232、234、および236と同様に内部復号化画像を後処理して再構成線形HDR RGB画像を再生成した後、現行画像についてプロセス202、204、206、208、210、212、および214と同様に再構成画像を処理することによって、基準画像を生成するように強化される。その結果は、Main10HEVC符号化器が使用して予測的符号化をより正確に実行し得る一組の基準フレームである。前処理および後処理プロセスが相補的であることから、一部の後処理プロセスは、対応する前処理プロセスも除去された場合に限り、除去されるようになっていてもよい。たとえば、強化符号化器は、LMSまたはXYZから線形HDR RGBへの色変換を実行しなくてもよく、また、線形HDR RGBデータをLMSまたはXYZ色空間に変換する相補前処理動作を実行しなくてもよい。
【0039】
強化復号化器422は、復号化器のブロック224、226、228、230、232、234、および236が後処理ステップを実行済みであることから、後処理も前処理も実行しない。このため、
図4Bに示すシステム420において、逆色変換器236により生成された再構成線形HDR RGBデータは、現行画像について前処理ブロック202、204、206、208、210、212、および214と同様に処理を行って基準画像を生成する復号化器422に適用される。上述の通り、これらの前処理動作の一部は、再構成画像用の画像データが復号化システム420の異なる点から取得された場合に、除去されるようになっていてもよい。たとえば、基準画像用のデータが逆伝達関数234の出力から取得された場合、線形HDR RGB色空間からXYZまたはLMS色空間へとデータを変換する前処理動作は、不要となる。
【0040】
上述の例示的な実施態様の焦点は、たとえば標準ダイナミックレンジ(SDR)映像データといった、より低いダイナミックレンジおよび/またはより狭い色域の映像信号を取り扱うように設計された符号化器および復号化器を用いて、HDRおよび/またはWCG信号の再生成を可能にする信号を符号化および復号化することである。ただし、
図2Bの復号化器222により生成されたデータは、量子化分解能を増大または低減させるように知覚的に処理されたデータを含み得ることから、復号化器と互換性のあるモニタ上で表示するのに適していない場合がある。
【0041】
図5A、
図5B、
図6A、
図6B、
図7A、
図7B、
図8A、および
図8Bに示す例示的なシステムは、再構成HDRおよび/またはWCG映像データと併せて、より低いダイナミックレンジおよび/またはより狭い色域の映像データ(たとえば、SDRデータ)を生成可能なプロセスを含む。これらのシステムでは、トーンマッピングを利用して、SDR画像を生成する。トーンマッピングによれば、局所的なコントラストを維持しつつ、画像全体または画像の一部のダイナミックレンジすなわちコントラスト比が低下する。また、SDR画像において表せない色をSDR画像の色空間にマッピングすることによって、色域も低下する。また、トーンマッピングの実行によって、SDR画像の美的感覚をHDR画像と主観的に一致させるようにしてもよい。
【0042】
図5Aは、HDR画像を処理してSDRと互換性のある画像を生成する符号化器500を示している。
図4Aに示したシステム400のブロックと同じ番号を有する
図5Aのブロックは、同じように動作するため、本明細書においては詳しく説明しない。ただし、
図2Aの符号化器216は、
図5Aの符号化器402に代替して、
図2Aに示した符号化器200の実施態様を修正することにより、トーンマップを使用するようにしてもよい。一実施態様において、映像データをY’CbCr色空間に変換する色変換プロセス206により生成された画像データは、トーンマップ502に適用される。本実施態様においては、ブロック204の伝達関数が入力画像シーケンスの画像全体に適用されて、非線形Y’データが生成されるものと仮定する。言い換えると、各画像のサブコンポーネントが等しく処理される。トーンマップの生成に用いられる画像データは、符号化伝達関数ブロック208および知覚正規化ブロック210により実行される知覚修正に先立って取得される。これらのブロックは、トーンマップを用いての処理がより困難となる方法で画像データを調整するためである。トーンマップ502は、映像データ内の高コントラスト要素を識別し、これらの要素のコントラストを抑えるトーンマップ値を生成して、適当なSDR画像を生成する。このSDRトーンマッピングデータは、メタデータの一部として、復号化器520に送信される。別の実施態様においては、(
図1に示した)映像源102から線形SDR等級RGB画像データを入手可能である。この例においては、線形HDR RGB画像データおよび線形SDR等級RGB画像データの両者がトーンマッププロセス502に適用される。トーンマッププロセスでは、2つのデータセット中の対応する画像データ間の差を解析することにより、トーンマップを生成するようにしてもよい。そして、SDRトーンマッピングデータは、Y’CbCr色空間に変換される。あるいは、トーンマッププロセス502では、画像データセットの比較に先立って、線形HDR RGBデータおよび線形SDR等級RGBデータをY’CbCr色空間に変換するようにしてもよい。生成されたトーンマップは、一組の伝達関数であってもよく、それぞれ、色変換ブロック206により生成されたY’CbCrデータの値を調整して、変換された線形SDR等級RGBデータからの対応する値を一致させるY’、Cb、およびCrチャネルに対応する。
【0043】
図5Bは、復号化器520でのSDR画像の復元の様子を示している。
図5Aと同様に、
図4Bに示したシステム420と同じ番号を有するブロックは、同じように動作するため、本明細書においては詳しく説明しない。ただし、
図2Bの復号化器222は、
図5Bに示す復号化器422に代替して、
図2Bに示した実施態様を修正することにより、逆トーンマップを使用するようにしてもよい。復号化器520のトーンマップは、逆符号化伝達関数230により生成されたデータに適用されて、再構成SDRデータが生成される。また、図示のように、トーンマップは、再構成線形HDR RGB信号を採用して、逆伝達関数230により提供されるY’CbCr信号の修正を決定するようにしてもよい。処理を簡単にするため、ブロック524は、トーンマッピング関数への適用前に、再構成線形HDR RGBデータをY’CbCr色空間に変換するのが望ましい場合もある。
【0044】
図6Aおよび
図6Bは、組み合わせ符号化システム600および復号化システム620が後方互換性のあるSDR信号を生成可能な別の実施態様を示している。先の実施態様と同様に、
図2Aに示したシステム200と同じ番号を有するブロックは、同じように動作するため、本明細書においては詳しく説明しない。
図6Aおよび
図6Bに示すシステムは、
図2Aおよび
図2Bに示したシステムのすべてのステップを実行する。ただし、任意選択としての知覚正規化ブロック210については、SDR画像データと互換性を持つようにY’CbCr色空間の画素データをマッピングするトーンマッピングを適用するパラメトリックトーンマッピングブロック602で置き換えられる。パラメトリックトーンマッピングブロック602により提供された出力データが量子化器212により量子化され、ダウンサンプリングブロック214によりダウンサンプリングされた場合、その結果は、SDRモニタに表示可能なSDR信号である。
【0045】
パラメトリックトーンマッピングブロック602では、たとえばHDR Y’CbCrからSDR Y’CbCrへの、静的なトーンマッピングを実行するようにしてもよい。あるいは、トーンマッピングブロック602は、SDRデータが表示される表示装置(または、たとえばOLED、LED、もしくはプラズマといった表示装置の種類)の特性を考慮に入れて、表示装置に特有の静的なトーンマップを適用するようにしてもよい。別の選択肢として、トーンマップは、(
図1に示した)映像源102が提供する線形HDR RGBデータおよびSDR等級RGB画像データならびに表示装置の特性を用いて、動的に生成されるようになっていてもよい。上述の通り、トーンマッピング関数の生成前に、ブロック204が実行するものと類似の圧縮伝達関数およびブロック206が実行するものと類似の色変換動作を適用することによって、HDRおよびSDR RGBデータをY’CbCrデータに変換するのが望ましい場合もある。
【0046】
Y’CbCrデータの各成分について、
図2Aを参照して上述したパラメトリック変換関数f()、g()、およびh()と類似の別個のトーンマッピング関数が存在していてもよい。これらの関数は、対応する特定の画素値がHDRからSDR色空間にマッピングされる様子をまずは識別して、関数の点を規定した後、これらの点に対する曲線の適合、または関数を近似する隣接点間の一組の線分の規定によって、規定されるようになっていてもよい。これらの点は、たとえばHDRおよびSDR色空間の輝度および色値に及ぶように選択されてもよい。方程式および/または線分を規定する係数は、トーンマップを規定するとともに、メタデータの一部として復号化器620に送られるパラメータである。
【0047】
システム620の復号化器222は、ビットストリームを復号化して、再構成SDRデータを生成する。そして、このデータは、ブロック224でアップサンプリングされ、ブロック226で逆量子化されて、逆パラメトリックトーンマッピングブロック622に適用されるデータが生成される。ブロック622は、パラメトリックトーンマッピングブロック602の逆を実行することにより、SDR色空間のY’CrCbデータをHDR色空間のY’CrCbデータ内の対応するデータへとマッピングする。復号化システム620のその他のブロックは、
図2Bの対応するブロックと同じように動作することから、簡素化のため、本明細書で別個に説明することはない。
【0048】
図7Aおよび
図7Bは、
図6Aおよび
図6Bに示したシステム600および620と同じ符号化システム700および復号化システム720を示している。ただし、
図6Aおよび
図6Bのパラメトリックトーンマッピングブロック602および622は、
図7Aおよび
図7Bの3Dルックアップテーブル(LUT)702および722で置き換えられている。
図7Aに示すシステム700で用いられる3D LUTは、
図2を参照して上述した通り、関数Y’_PM=f(Y’,Cb,Cr)、Cb_PM=g(Y’,Cb,Cr)、Cr_PM=h(Y’,Cb,Cr)を実行するようにしてもよい。このため、各出力値Y’_PM、Cb_PM、およびCr_PMは、入力画素の3つすべての値Y’、Cb、およびCrの関数である。同様に、
図8Aおよび
図8Bは、
図6Aおよび
図6Bに示したシステム600および620と同じ符号化システム800および復号化システム820を示している。ただし、
図6Aおよび
図6Bのパラメトリックトーンマッピングブロック602および622は、
図8Aおよび
図8Bの3×1Dルックアップテーブル(LUT)802および822で置き換えられている。また、
図8Aにおいては、色変換206の直後に色ダウンサンプリング214が行われ、
図8Bにおいては、逆色変換232の直前に色アップサンプリングが行われる。このため、これらのシステムにおいて、トーンマッピングおよび逆トーンマッピングは、4:2:0フォーマットの映像データに適用される。
図8Aおよび
図8Bに示す3つの1Dトーンマップにおいて、各変換出力値は、その未変換入力値のみの関数であり、Y’_PM=f(Y’)、Cb_PM=g(Cb)、Cr_PM=h(Cr)である。
【0049】
図2Aを参照して上述した通り、ブロック204が適用する伝達関数は、映像データを圧縮して、より符号化に適したものとする。この伝達関数は、
図9に示すグラフ等、XYZまたはLMS入力データを1000nitに及ぶX’Y’Z’またはL’M’S’データへと変換して100nitに及ぶデータを出力するガンマ圧縮関数であってもよい。ブロック234は、この圧縮を逆にするとともに、
図10に示すグラフのような伝達関数を有していてもよい。このような圧縮伝達関数としては、知覚量子化(PQ)伝達関数が挙げられる。
【0050】
非限定的な一例として、いくつかの実施形態においては、PQ伝達関数が輝度値Lに対して動作する関数であり、以下のように規定可能である。
【0051】
【数1】
この例において、各副画像レベル、画像レベル、または超画像レベルで符号化器200から復号化器220に送信可能なパラメータとしては、m
1、m
2、c
1、c
2、およびc
3のうちの1つまたは複数が挙げられる。たとえば、非限定的かつ例示的な一実施態様において、パラメータの値は、以下のようにすることができる。
m
1=0.159302
m
2=78.84375
c
1=0.835938
c
2=18.85156
c
3=18.68750
いくつかの実施形態または状況において、これらのパラメータのうちの1つまたは複数の値は、符号化器200および復号化器220の両者にとって既知となるように、予め決定することができる。このため、符号化器200は、すべてには満たないパラメータを復号化器220に送って、PQ曲線を調整することができる。非限定的な一例として、各符号化レベルで使用されるm
2の値のみを符号化器200が復号化器220に送信するように、m
2を除くすべてのパラメータを予め設定することができる。
【0052】
図11に示すように、m
2の値を調節することにより、異なる輝度値に対してPQ曲線を調整することができる。m
2が上掲の78.84375未満に設定された場合(たとえば、m
2が62に設定された場合)は、曲線の一部または全体にわたって、PQ値を大きくすることができる。これに対して、m
2が上掲の78.84375超に設定された場合(たとえば、m
2が160に設定された場合)は、曲線の一部または全体にわたって、PQ値を小さくすることができる。
【0053】
いくつかの実施形態において、ブロック208では、伝達関数およびそれが適用された画像または画像の領域を記述したメタデータを、関連する復号化システムに送ることができる。そして、復号化器は、復号化プロセスにおいて使用する関連する逆知覚マッピング動作230を決定することができる。あるいは、符号化器または符号化器内の伝達関数ブロック208では、この逆知覚マッピング動作を決定して、逆伝達関数を記述したメタデータを復号化器に送ることができる。
【0054】
この情報は、伝達関数または逆伝達関数を記述したパラメータであってもよいし、トーンマップ等、変換を記述した値のテーブルであってもよい。
上述の通り、伝達関数208は、画像シーケンス、画像、または画像の一部に望ましい処理に応じて、多くの形態を取り得る。伝達関数208の非限定的な種々の例と、それに関連する、復号化器に送って逆符号化伝達関数230を導出可能なパラメータとを以下に示す。これらの例において、ブロック208で用いられる符号化伝達関数は、ψ(I)=νと表され、色成分の輝度または強度値Iを入力として用いることにより、νと表される変換値を出力することができる。同様に、復号化器の逆符号化伝達関数230は、ψ-1(ν)=Iと表され、値νを取ることにより、値Iへと変換して戻すことができる。符号化器の均一量子化動作212は、知覚正規化ブロック210またはトーンマップ602、702、もしくは802のうちの1つによる修正として、符号化伝達関数208により生成された変換ν値に対して動作し得るため、Q(ν)と表すことができる。均一量子化動作212において用いられる量子化レベル間のステップサイズは、Δstepと表すことができる。
【0055】
カスケード適応符号化伝達関数208の有効量子化ステップサイズQ(I)は、以下に示す通り、逆伝達関数230の傾きに比例し得る。
【0056】
【数2】
したがって、有効量子化ステップサイズQ(I)は、逆符号化伝達関数230の傾きおよび均一量子化動作212のステップサイズΔ
stepによって決まり得る。たとえば、逆符号化伝達関数230の傾きが小さくなる場合は、有効量子化ステップサイズQ(I)も小さくなり得る。均一量子化動作212のステップサイズΔ
stepが十分に大きくて、均一量子化により導かれる歪みおよび/またはノイズに人間の視聴者が気付いてしまうような場合は、逆符号化伝達関数230の傾きが小さくなるように、映像データのコンテンツに対して伝達関数208を適応させることにより、相対的に大きなステップサイズΔ
stepの効果を変調させることができる。このため、逆符号化伝達関数230の傾きを小さくすると、相対的に大きなステップサイズΔ
stepの効果の妨げとなり、有効量子化ステップサイズQ(I)が変調されて、全体的な歪みおよび/またはノイズに人間の視聴者が気付きにくくなる可能性がある。
【0057】
有効量子化ステップサイズQ(I)は、関連する測定基準である相対量子化ステップサイズΛstepに含まれ得る。
【0058】
【数3】
符号化伝達関数208ひいては対応する逆符号化伝達関数230は、相対量子化ステップサイズΛ(I)が設定閾値レベルを下回ったままであるように、入力映像データのコンテンツに基づいて適応可能である。たとえば、この閾値レベルは、知覚的に透明かまたは知覚的に無損失の歪みとノイズとを伴う符号化となる逆符号化伝達関数230の最適な傾きを与える関数Λ
0(I)によって規定可能である。このため、符号化伝達関数208ひいては対応する逆符号化伝達関数230は、Λ(I)≦Λ
0(I)となるように適応可能である。
【0059】
同様に、知覚的に重要性が低いまたは「丁度可知」のコントラスト状態が許容範囲と考えられ、Λ0(I)により規定されている場合は、以下の微分方程式が当てはまる。
【0060】
【数4】
このため、ψ
-1(ν)に関して上記微分方程式を解くことにより、所望のΛ
0(I)に対する復号化器の逆符号化伝達関数230が得られる。同様に、任意所与の逆伝達関数230に関して、相対量子化ステップサイズΛ(I)を計算することができる。
【0061】
第1の非限定的な一例として、符号化伝達関数208および逆符号化伝達関数230は、ウェーバーの法則の第1の異形に基づいて、以下のように表される。
【0062】
【数5】
この例および以下の他の例において、I
Nは、副画像レベル、画像レベル、または超画像レベルでの入力映像データの一部の正規化輝度であってもよい。正規化輝度は、最大輝度で除算した輝度レベルとして、以下のように表される。
【0063】
【数6】
この例および以下の他の例において、Cは、副画像レベル、画像レベル、または超画像レベルでの入力映像データの一部における最大コントラストであってもよい。最大コントラストは、最小輝度で除算した最大輝度として、以下のように表される。
【0064】
【数7】
これらの例および以下の他の例において、ν
Nは、伝達関数208により生成され、Dで表される均一量子化動作212のダイナミックレンジにより正規化された値として、以下のように表される。
【0065】
【数8】
上記定義から、ウェーバーの法則の第1の異形の相対量子化ステップサイズは、以下により与えられる。
【0066】
【数9】
第2の非限定的な一例として、符号化伝達関数208および逆符号化伝達関数230は、ウェーバーの法則の第2の異形に基づいて、以下のように表される。
【0067】
【数10】
これにより、ウェーバーの法則の第2の異形の相対量子化ステップサイズは、以下によって与えられる。
【0068】
【数11】
図12に示すように、ウェーバーの法則の異形に基づく上記2例の相対量子化ステップサイズは、対数-対数スケールでプロットすることができる。ウェーバーの法則の第1の異形に基づく相対量子化ステップサイズの傾きは、対数-対数スケール上で線形となり、I
Nの値が小さい場合は負の傾きであるが、特定点よりも大きなI
Nの値では平坦(対数-対数スケール上で傾き0の線形)となり得る。同様に、ウェーバーの法則の第2の異形に基づく相対量子化ステップサイズの傾きは、I
Nの値が小さい場合は負であるが、I
Nの値が大きくなると、滑らかに遷移して平坦な傾きに近づく。このように、2つの異形は類似し得るが、第2の異形は、傾きが異なるI
Nの範囲間で、より滑らかに遷移する。
【0069】
第3の非限定的な一例として、符号化伝達関数208および逆符号化伝達関数230は、スティーブンスのべき法則の第1の異形に基づいて、以下のように表される。
【0070】
【数12】
これにより、スティーブンスのべき法則の第1の異形の相対量子化ステップサイズは、以下によって与えられる。
【0071】
【数13】
第4の非限定的な一例として、符号化伝達関数208および逆符号化伝達関数230は、スティーブンスのべき法則の第3の異形に基づいて、以下のように表される。
【0072】
【数14】
これにより、スティーブンスのべき法則の第3の異形の相対量子化ステップサイズは、以下によって与えられる。
【0073】
【数15】
図13に示すように、スティーブンスのべき法則の異形に基づく上記2例の相対量子化ステップサイズは、対数-対数スケールでプロットすることができる。これらの例のいずれにおいても、相対量子化ステップサイズの傾きは、I
Nの値が小さい場合に傾き-1を有するか、または傾き-1に近づき、I
Nの値が大きい場合に傾き-γを有するか、または傾き-γに近づくが、これら2つの例は、傾きが異なるI
Nの範囲間の遷移の滑らかさに応じて変化する。また、γが0になると、スティーブンスのべき法則の第1の異形がウェーバーの法則の第1の異形に収束する一方、スティーブンスのべき法則の第3の異形は、ウェーバーの法則の第2の異形に収束し得る。
【0074】
上述の例示的なシステムにおいて、色変換動作には、行列の乗算およびオフセット動作を含むことができ、伝達関数動作は、広範な値にわたる区分的関数動作として指定することができ、量子化としては、色成分上のスカラーまたはベクトルが可能である。例示的なトーンマッピングとしては、所望の芸術的効果を実現するための分割利得動作および知覚修正が挙げられる。また、知覚正規化には、トーンマッピング動作を含むとともに、局所的な強度およびテクスチャマスキングを利用可能である。
【0075】
図3Aおよび
図8Aに示すように、符号化システムにおいては、色空間変換ブロック206の直後に、色サブサンプリングを実行可能であるが、その後の動作は、4:2:0色空間において行われる。
図3Bおよび
図8Bの対応する復号器動作は、対応する推奨復号化システムを示している。その他の例示的なシステムに関して、同様の色サブサンプリングおよび色空間変換動作を行うことができる。
【0076】
上述の例では、3つの特徴を実現する。
第1に、
図2Aに示すシステムを参照して、伝達関数ブロック208および任意選択としての知覚正規化ブロック210は、Main10HEVC等、別の方法ではHDRおよび/またはWCGデータと互換性のないビット深度の符号化器および復号化器を用いてHDRおよび/またはWCGデータを送信するのに役立つ画像データの知覚変換を実行する。ブロック208により実装される伝達関数には、適応的伝達関数パラメータを伴う知覚量子化関数、スティーブンスのべき法則、またはウェーバーの法則の伝達関数を含んでいてもよい。これらの伝達関数は、IPTまたはYCbCr空間で動作するとともに、その後、オフセットおよびスケーリング調整が行われる。また、伝達関数208は、局所的な強度およびテクスチャマスキングまたは位置ベースのLUT等の所定のルールを利用することにより、たとえば副画像レベルで局所的に適用されるようになっていてもよい。上記例において実装される伝達関数208または他の伝達関数の局所パラメータ適応のための副画像区分は、たとえばSEIまたはVUIを用いたメタデータの送信によって明示的に伝えられるようになっていてもよいし、復号化器で利用可能なサンプル値等の情報から暗示的に演算されるようになっていてもよい。
【0077】
第2に、HDRおよび/またはWCGデータの符号化に対応するための任意の画像の適応変化は、符号化ループの基準画像に組み込まれて、時間的予測および符号化効率を向上させることができる。
【0078】
第3に、HDRおよび/またはWCG映像データの未圧縮SDR版が符号化器で利用可能な場合は、完全な基準トーンマッピングアルゴリズムの適用によって、未圧縮SDR版と段階的SDR版との間の歪みを最小限に抑えることができる。導出されたトーンマッピングパラメータは、メタデータとして送信することにより、復号化器が後方互換SDR出力データを合成できるようにし得る。未圧縮SDR版が符号化器で利用できない場合は、解析によるメタデータ情報を復号化器に使用して後方互換SDR映像データを合成し得るように、芸術的修正をトーンマッピングに組み込むことができる。
【0079】
以上、本発明を詳細に説明したが、これは、本発明の構成および使用方法を当業者に教示しようとしたものに過ぎない。別の多くの改良についても、以下の特許請求の範囲に規定される本発明の範囲に含まれることになる。