特表 2023-545130 コーディング効率制約を伴うＨＤＲビデオのための色変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-26

(54)【発明の名称】コーディング効率制約を伴うＨＤＲビデオのための色変換

(51)【国際特許分類】

   H04N 19/85 20140101AFI20231019BHJP

   G06T 1/00 20060101ALI20231019BHJP

   G06T 5/00 20060101ALI20231019BHJP

【ＦＩ】

H04N19/85

G06T1/00 510

G06T5/00 740

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023521836

(86)(22)【出願日】2021-10-14

(85)【翻訳文提出日】2023-04-11

(86)【国際出願番号】 US2021054994

(87)【国際公開番号】W WO2022081851

(87)【国際公開日】2022-04-21

(31)【優先権主張番号】20201683.8

(32)【優先日】2020-10-14

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/091,436

(32)【優先日】2020-10-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【テーマコード（参考）】

5B057

5C159

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE11

5B057CE18

5B057DA17

5B057DB02

5B057DB06

5B057DB09

5B057DC22

5B057DC25

5C159LA02

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

標準ベースのRGBからYCbCrへの色変換を使用して、新しいRGBからYCCへの3x3変換行列と3x1オフセット・ベクトルが、一組のコーディング効率制約の下で導出される。新しいRGBからYCCへの3x3変換は、ルミナンス・スケーリング因子及び2x2クロマ・サブ・マトリックスであって、コーディング効率を維持又は改善しながら標準ベースのRGBからYCbCrへの変換のエネルギーを保存するものを含む。また、これはストリーミング・ビデオ・アプリケーションにおける承認又はウォーターマーキング・メカニズムにも対応している。画像リシェイピングを用いる新たな色変換の使用例も提供されている。

【特許請求の範囲】

【請求項1】

コーディング効率制約の下で色変換データを生成する方法であって、前記方法は：
第1のダイナミック・レンジ及び第1の色空間における入力画像を受信するステップ；
前記第1の色空間から標準ベースの色空間への色変換に基づいて、第1の3x3色変換行列及び第1の3x1オフセット・ベクトルにアクセスするステップ；
前記入力画像に前記第1の3x3色変換行列を適用して、ルミナンス成分及びクロマ成分を有する第1の画像を生成するステップ；
前記ルミナンス成分に関し、前記第1の画像についての最小及び最大のピクセル値を生成するステップ；
前記第1の画像における前記最小及び最大のルミナンス・ピクセル値に基づいて、ルミナンス・スケーラを計算するステップ；
コーディング効率制約及び前記第1の3x3色変換行列に基づいて、2x2クロマ変換行列の要素を計算するステップ；
前記ルミナンス・スケーラ及び前記2x2クロマ変換行列に基づいて、3x3中間変換行列を形成するステップ；
前記3x3中間変換行列を前記第1の画像に適用して第2の画像を生成するステップ；
前記ルミナンス成分及びクロマ成分に関し、前記第2の画像についての最小及び最大のピクセル値を生成するステップ；
前記第2の画像の前記ルミナンス成分及びクロマ成分における前記最小及び最大のピクセル値と前記第1のオフセット・ベクトルに基づいて、中間の3x1オフセット・ベクトルを生成するステップ；及び
前記第1の3x3色変換行列を前記3x3中間変換行列に乗算することにより出力の3x3色変換行列を生成し、前記第1の3x1オフセット・ベクトルを前記中間の3x1オフセット・ベクトルに加算することにより出力の3x1オフセット・ベクトルを生成し、前記第2の画像のピクセル値を前記出力の3x1オフセット・ベクトルに加算することにより、第2の色空間における出力画像を生成するステップ；
を含む方法。

【請求項2】

請求項1に記載の方法において、更に：
リバース3x3色変換行列及びリバース3x1オフセット・ベクトルを生成して画像データを前記第2の色空間から前記第1の色空間へ変換するステップを含み、前記リバース3x1オフセット・ベクトルは前記出力の3x1オフセット・ベクトルに等しく、前記リバース3x3色変換行列は前記出力の3x3色変換行列のインバースを含む、方法。

【請求項3】

請求項1又は2に記載の方法において、前記第1の色空間はRGB色空間を含み、前記標準ベースの色空間はYCbCr色空間を含み、前記第1の3x3色変換行列及び前記第1の3x1オフセット・ベクトルは、Rec.709又はRec.2020標準の何れかに基づいている、方法。

【請求項4】

請求項1ないし3のうちの何れか1項に記載の方法において、前記ルミナンス・スケーラは1に設定されるか、又は

【数64】

により境界を定められており、ここでs’_i,0は[0,1]に正規化された前記第1の画像のi番目のピクセルに対するルミナンス値であり、max{s’_i,0}は前記第1の画像における最大のルミナンス値を示し、min{s’_i,0}は前記第1の画像における最小のルミナンス値を示す、方法。

【請求項5】

請求項1ないし4のうちの何れか1項に記載の方法において、2x2クロマ変換行列の要素を計算する場合の前記コーディング効率制約は、前記2x2クロマ変換行列によるクロマ変換前後の前記第1の画像におけるピクセルのクロマ値についてのエネルギー保存基準を含む、方法。

【請求項6】

請求項5に記載の方法において、前記エネルギー保存基準は、

【数65】

を含み、i番目のピクセルに関し、s’_i,1及びs’_i,2は前記2x2クロマ変換行列を適用する前のクロマ値を示し、s”_i,1及びs”_i,2は前記2x2クロマ変換行列を適用した後のクロマ値を示す、方法。

【請求項7】

請求項6に記載の方法において、2x2変換行列

【数66】

に関し、前記エネルギー保存基準の下で、

【数67】

であり、ここで、αは1に近い定数である、方法。

【請求項8】

請求項7に記載の方法において、前記2x2変換行列は、

【数68】

を含み、ここで、θは[0,2π]における任意のパラメータに対応している、方法。

【請求項9】

請求項1ないし8のうちの何れか1項に記載の方法において、前記3x3中間変換行列W_sを形成するステップは、

【数69】

を形成するステップを含み、ここで、βは前記ルミナンス・スケーラを示し、α及びθはパラメータである、方法。

【請求項10】

請求項6又は請求項9に記載の方法において、α=1であるか、又は

【数70】

であり、ここで、δは0.5より小さなパラメータである、方法。

【請求項11】

請求項1ないし10のうちの何れか1項に記載の方法において、前記中間の3x1オフセット・ベクトル[p₀ p₁ p₂]^Tを生成するステップは、オフセット・ベクトル制約

【数71】

を満たすようにオフセット・ベクトルの要素を計算するステップを含み、ここで、S”_i,jは前記第2の画像におけるi番目のピクセルのj番目の色成分に対するピクセル値を示し、[n_s,0 n_s,1 n_s,2]^Tは第1のオフセット・ベクトルを示す、方法。

【請求項12】

請求項11に記載の方法において、少なくとも1つのオフセット・ベクトルの要素がそのオフセット・ベクトル制約を満たしていないと判定した場合：
更新されたルミナンス・スケーラ及び／又は更新された2x2クロマ変換行列に基づいて、更新された3x3中間変換行列を形成すること；
前記更新された3x3中間変換行列を前記第1の画像に適用して前記第2の画像を生成すること；及び
前記オフセット・ベクトル制約を満たすように前記中間の3x1オフセット・ベクトルを生成すること；
による反復を行うステップを更に含む方法。

【請求項13】

請求項1ないし12のうちの何れか1項に記載の方法において、更に：
前記第1の画像と同じシーンを表現する前記第1の色空間において前記第1のダイナミック・レンジより高い第2のダイナミック・レンジにおいて第1のハイ・ダイナミック・レンジ（HDR）画像を受信するステップ；
標準ベースの色変換を前記第1のHDR画像に適用して、前記第2のダイナミック・レンジにおける第2のHDR画像を生成するステップ；
フォワード・リシェイピング機能を前記第2のHDR画像に適用して、前記第1のダイナミック・レンジにおけるベース画像を生成するステップであって、前記フォワード・リシェイピング機能は、前記第2のダイナミック・レンジ及び前記標準ベースの色空間からのピクセル値を、前記第1のダイナミック・レンジ及び前記第2の色空間におけるピクセル値へマッピングするものである、ステップ；及び
ベース画像を圧縮して、前記第2の色空間における圧縮された画像を生成するステップ；及び
前記圧縮された画像、前記出力の3x3色変換行列、前記出力の3x1オフセット・ベクトル、及び、前記圧縮された画像に基づいて出力HDR画像を再構成するバックワード・リシェイピング機能のためのパラメータを記憶するステップ；
を含む方法。

【請求項14】

請求項13に記載の方法であって、前記出力の信号を受信するデコーダにおいて、更に：
前記圧縮された画像の圧縮を解除して、前記第1のダイナミック・レンジ及び前記第2の色空間における中間ベース信号を生成するステップ；及び
前記中間ベース信号と、前記出力の3x3色変換行列と、前記出力の3x1オフセット・ベクトルとに基づいて、前記第1の色空間及び前記第1のダイナミック・レンジにおける第1の出力信号を生成するか、又は、前記中間ベース信号と前記バックワード・リシェイピング機能のための前記パラメータとに基づいて前記標準の色空間におけるHDR出力信号を生成するステップであって、前記バックワード・リシェイピング機能は、ピクセル値を、前記第2の色空間及び前記第1のダイナミック・レンジから、前記標準ベースの色空間及び前記第2のダイナミック・レンジへマッピングするものである、ステップ；
を含む方法。

【請求項15】

請求項1ないし14のうちの何れか1項に記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 関連出願の相互参照
本件は、2020年10月14日付で出願された米国仮特許出願第63/091,436号、及び2020年10月14日付で出願された欧州特許出願第20201683.8号の優先権を主張しており、これらは何れも参照によりその全体が本件に援用されている。

【0002】

[0002] 技術分野
本開示は一般に画像に関連している。より具体的には、本発明の実施形態は、コーディング効率制約を伴うハイ・ダイナミック・レンジ（high dynamic range，HDR）ビデオの色変換及び処理に関連している。

【背景技術】

【0003】

[0003] 本件で使用されているように、用語「ダイナミック・レンジ」（dynamic range，DR）は、例えば、最も暗いグレー（ブラック）から最も明るいホワイト（ハイライト）までのような、画像内の強度のレンジ（例えば、輝度、ルマ）を知覚する人間の視覚系（human visual system，HVS）の能力に関連している可能性がある。この意味で、DRは「シーン参照」（scene-referred）強度に関連している。また、DRは、特定の幅の強度レンジを適切に又は近似的にレンダリングするディスプレイ・デバイスの能力に関連する可能性もある。この意味で、DRは「ディスプレイ参照」（display-referred）強度に関連している。本件における記載の何らかの箇所で、特定の意義を有するように特定の意味が明示的に指定されていない限り、この用語は、何れの意味にも、例えば可換に使用されてもよいことが推察されるべきである。

【0004】

[0004] 本件で使用されるように、用語「高ダイナミック・レンジ（HDR）」は、人間の視覚系（HVS）の約14～15倍の大きさに及ぶDR幅に関連する。実際には、人間が強度レンジにおいて幅広い範囲を同時に知覚できるDRは、HDRとの関係で幾らか打ち切られる可能性がある。本件で使用されるように、視覚ダイナミック・レンジ（visual dynamic range，VDR）又は拡張ダイナミック・レンジ（enhanced dynamic range，EDR）という用語は、目の動きを含む人間の視覚系（HVS）によってシーン又は画像内で知覚可能なDRに個別に又は互換的に関連する可能性があり、シーン又は画像にわたって幾らかの光適応変化を可能にする。本件で使用される場合、VDRは、5ないし6倍の大きさに及ぶDRに関連する場合がある。従って、おそらくはHDR，VDR又はEDRと言及される真のシーンとの関連では幾らか狭いが、それでも広いDR幅を表し、HDRと呼ばれる場合がある。

【0005】

[0005] 実際には、画像は1つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、ここで、各々の色成分はピクセル当たりnビットの精度で表される（e.g.，n=8）。例えば、ガンマ輝度コーディングを使用する場合、n≦8（例えば、カラー24ビットJPEG画像）の画像は標準ダイナミック・レンジの画像と考えられる一方、n≧10の画像は拡張ダイナミック・レンジの画像と考えられる可能性がある。HDR画像は、インダストリアル・ライト＆マジック（Industrial Light and Magic）によって開発されたOpenEXRファイル・フォーマットのような高精度（e.g.，16ビット）浮動小数点フォーマットを使用して保存及び配布される可能性もある。

【0006】

[0006] 現在、ほとんどの消費者向けデスクトップ・ディスプレイは、200ないし300 cd/m²又はニト（nit）の輝度をサポートしている。ほとんどの消費者向け一般消費者向けHDTVは300ないし500ニトに及び、新しいモデルは1,000ニト（cd/m²）に達している。このような従来のディスプレイは、HDRとの関連では、標準ダイナミック・レンジ（SDR）とも呼ばれる低ダイナミック・レンジ（LDR）を代表するものである。キャプチャ装置（例えば、カメラ）及びHDRディスプレイ（例えば、ドルビー・ラボラトリーズのPRM-4200プロフェッショナル・リファレンス・モニター）の両方の進歩に起因して、HDRコンテンツの利用可能性が高まると、HDRコンテンツがカラー・グレーディングされ、より高いダイナミック・レンジ（例えば、1,000ニトないし5,000ニト以上）をサポートするHDRディスプレイで表示される可能性がある。

【0007】

[0007] ここで使用されるように、「フォワード・リシェイピング（forward reshaping）」という用語は、デジタル画像のオリジナル・ビット深度及びオリジナル・コードワード分布又は表現（例えば、ガンマ、PQ、HLGなど）から、同じ又は異なるビット深度及び異なるコードワード分布又は表現の画像への、サンプル・ツー・サンプル又はコードワード・ツー・コードワードのマッピング・プロセスを意味する。リシェイピングは、固定ビットレートでの改善された圧縮性又は改善された画質を可能にする。例えば、限定ではないが、リシェイピングは、10ビット又は12ビットのPQコーディングされたHDRビデオに適用されて、10ビット・ビデオ・コーディング・アーキテクチャでのコーディング効率を改善することができる。受信機では、受信信号を圧縮解除した後（リシェイピングしてもしなくてもよい）、受信機は、「インバース（又はバックワード）リシェイピング機能」を適用して、信号を元のコードワード分布に復元したり、及び／又はより高いダイナミック・レンジを実現したりすることができる。

【0008】

[0008] ビット深度の限界と後方互換性の潜在的な必要性に起因して、典型的なシングル・レイヤHDR配信シナリオでは、HDRコンテンツはSDRベース・レイヤとメタデータの組み合わせとして伝送される。レガシー・デコーダはSDRベース・レイヤからの視認可能な（viewable）SDRストリームを取り出すことが可能であるが、新しいHDRデコーダは、メタデータをSDRベース・レイヤに適用して、オリジナル・HDRソースに近接したHDRバージョンを再構築することが可能である。本件の発明者によって認識されているように、このようなHDRコンテンツの配信におけるコーディング効率を改善すること及びコンテンツ保護を組み合わせることのための改善された技術が望まれている。

【0009】

[0009] このセクションで説明されているアプローチは、追求することが可能なアプローチではあるが、必ずしも以前に案出されたり又は追求されたりしたアプローチではあるとは限らない。従って、特に示されていない限り、このセクションで説明されている如何なるアプローチも、単にこのセクションに含まれているということだけで先行技術として適格であると仮定されるべきではない。同様に、1つ以上のアプローチに関して特定された問題は、特に示されていない限り、このセクションにおける何らかの先行技術で認識されていると仮定されるべきではない。

【図面の簡単な説明】

【0010】

[0010] 本発明の実施形態は、添付図面の図において、限定的ではなく例示的に示されており、図中、同様な参照番号は同様な要素を指している。

【図1A】[0011] 図1Aは、実施形態による色変換及びリシェイピング機能を使用するHDRデータ用の例示的なシングル・レイヤ・エンコーダを示す。

【図1B】[0012] 図1Bは、図1Aのエンコーダに対応する、実施形態による例示的なHDRデコーダを示す。

【図2】[0013] 図2は、実施形態による色変換パラメータを生成する例示的なプロセスを示す。

【発明を実施するための形態】

【0011】

[0014] 本件では、HDRビデオのコーディングに関するコーディング効率制約の下での色変換方法が説明される。以下の説明では、説明の目的で多くの具体的な詳細が述べられ、本発明を十分な理解をもたらす。しかしながら、本発明はこれらの具体的な詳細なしに実施されてもよいことは明らかであろう。他の例では、本発明を不必要に分かりづらくしたり、不明瞭にしたり、曖昧にしたりすることを避けるために、よく知られた構造及びデバイスは徹底的に詳細には説明されていない。

【0012】

[0015] 概要
本件で説明される例示的な実施形態は、HDR画像のコーディングに関するコーディング効率制約の下での色変換に関連している。実施形態において、プロセッサは：
第1のダイナミック・レンジ及び第1の色空間における入力画像を受信し；
第1の色空間から標準ベースの色空間への色変換に基づいて、第1の3x3色変換行列及び第1の3x1オフセット・ベクトルにアクセスし；
入力画像に第1の3x3色変換行列を適用して、ルミナンス成分及びクロマ成分を有する第1の画像を生成し（210）；
ルミナンス成分及びクロマ成分に関し、第1の画像についての最小及び最大のピクセル値を生成し；
第1の画像における最小及び最大のルミナンス・ピクセル値に基づいて、ルミナンス・スケーラを計算し（215）；
コーディング効率制約及び第1の3x3色変換行列に基づいて、2x2クロマ変換行列の要素を計算し；
ルミナンス・スケーラ及び2x2クロマ変換行列に基づいて、3x3中間変換行列を形成し；
3x3中間変換行列を第1の画像に適用して第2の画像を生成し（225）；
第2の画像のルミナンス成分及びクロマ成分における最小及び最大のピクセル値と第1のオフセット・ベクトルに基づいて、中間の3x1オフセット・ベクトルを生成し；及び
第1の3x3色変換行列に3x3中間変換行列を乗算することにより出力の3x3色変換行列を生成し、第1の3x1オフセット・ベクトルを中間の3x1オフセット・ベクトルに加算することにより出力の3x1オフセット・ベクトルを生成し、第2の画像のピクセル値を出力の3x1オフセット・ベクトルに加算することにより、第2の色空間における出力画像を生成する（230）。

【0013】

[0016] 例示的なHDRコーディング・システム
図1A及び図1Bは、実施形態に従って、色変換と画像リシェイピングの両方を使用する例示的なシングル・レイヤ後方互換性コーデック・フレームワークを示している。より具体的には、図1Aは、上流のビデオ・エンコーダにおける1つ以上の演算プロセッサとともに実施される可能性のある例示的なエンコーダ・アーキテクチャを示す。図1Bは、例示的なデコーダ・アーキテクチャを示しており、これもまた1つ以上の下流のビデオ・デコーダにおける1つ以上の演算プロセッサとともに実施される可能性がある。

【0014】

[0017] このフレームワークの下では、リファレンスHDRコンテンツ（105）と対応するリファレンスSDRコンテンツ（108）（即ち、HDRコンテンツと同じ画像を表現しているが、標準ダイナミック・レンジ内でカラー・グレーディングされて表現されているコンテンツ）が与えられると、リシェイプされたSDRコンテンツ（134）が符号化され、エンコーダ・アーキテクチャを実装する上流の符号化デバイスによって、コーディングされたビデオ信号（144）のシングル・レイヤのSDRコンテンツとして伝送される。受信されたSDRコンテンツは、デコーダ・アーキテクチャを実装する下流の復号化デバイスによって、ビデオ信号のシングル・レイヤで受信及び復号化される。バックワード・リシェイピング・メタデータ（152）も符号化され、リシェイプされたコンテンツとともにビデオ信号で伝送され、その結果、HDRディスプレイ・デバイスは、（リシェイプされた）SDRコンテンツとバックワード・リシェイピング・メタデータに基づいて、HDRコンテンツを再構築することができる。一般性を失うことなく、一部の実施形態では、後方互換性のないシステムでのように、リシェイプされたSDRコンテンツはそれ自体では視聴可能でない可能性があり、バックワード・リシェイピング機能と組み合わせて視聴される必要があり、これにより視聴可能なSDR又はHDRコンテンツを生成する。後方互換性をサポートする他の実施形態では、レガシーSDRデコーダは、バックワード・リシェイピング機能を使用せずに、受信したSDRコンテンツをそれでも再生することが可能である。

【0015】

[0018] 図1Aに示されるように、HDRイメージ（120）、その対応するSDR画像（125）、及びターゲット・ダイナミック・レンジが与えられると、ステップ130においてフォワード・リシェイピング機能を生じさせ、フォワード・リシェイピング機能の下で、フォワード・リシェイピング・マッピング・ステップ（132）がHDR画像（120）に適用されて、リシェイプされたSDRベース・レイヤ（134）を生成する。圧縮ブロック（142）（例えば、AVC，HEVC，AV1，VVCなどの何らかの既知のビデオ・コーディング・アルゴリズムに従って実装されたエンコーダ）は、ビデオ信号のシングル・レイヤ（144）でSDR画像（134）を圧縮/符号化する。更に、バックワード・リシェイピング機能生成器（150）は、メタデータ（152）としてデコーダへ伝送されることが可能なバックワード・リシェイピング機能を生成することが可能である。幾つかの実施形態では、メタデータ（152）はフォワード・リシェイピング機能（130）を表現することが可能であり、従って、バックワード・リシェイピング機能を生成することはデコーダ次第である（図示せず）。

【0016】

[0019] 最適なバックワード・リシェイピング機能を表現/指定するバックワード・リシェイピング・メタデータの例は：インバース・トーン・マッピング機能、インバース・ルマ・マッピング機能、インバース・クロマ・マッピング機能、ルックアップ・テーブル（LUT）、多項式、インバース表示管理係数/パラメータなどの任意のものを含む可能性があるが、必ずしもこれらに限定されない。様々な実施形態において、ルマ・バックワード・リシェイピング機能とクロマ・バックワード・リシェイピング機能は、本開示で後述されるように例えば限定することなく、一緒に又は個別に導出/最適化されてもよく、様々な技術を使用して導出される可能性がある。

【0017】

[0020] リシェイプされたSDR画像（134）とターゲットHDR画像（120）に基づくバックワード・リシェイピング機能生成器（150）によって生成されるようなバックワード・リシェイピング・メタデータ（152）は、ビデオ信号144の一部として、例えば、補足エンハンスメント情報（supplemental enhancement information，SEI）メッセージングとして、多重化されてもよい。

【0018】

[0021] 幾つかの実施形態では、バックワード・リシェイピング・メタデータ（152）は、シングル・レイヤとは別個にビデオ信号において搬送される全体的な画像メタデータの一部としてビデオ信号で搬送され、SDR画像はそのシングル・レイヤにおいてビデオ信号に符号化されている。例えば、バックワード・リシェイピング・メタデータ（152）は、コーディングされたビットストリーム内のコンポーネント・ストリームに符号化される可能性があり、このコンポーネント・ストリームは、SDR画像（134）が符号化されている（コーディングされたビットストリームの）シングル・レイヤとは別個であってもなくてもよい。

【0019】

[0022] 従って、バックワード・リシェイピング・メタデータ（152）は、エンコーダ側で生成される又は事前に生成され、エンコーダ側で利用可能な強力な演算リソース及びオフライン符号化フロー（コンテンツ適応型マルチ・パス、ルック・アヘッド処理、インバース・ルマ・マッピング、インバース・クロマ・マッピング、CDFベースのヒストグラム近似、及び/又は転送などを含むが、これらに限定されない）を利用することができる。

【0020】

[0023] 図1Aのエンコーダ・アーキテクチャは、ターゲットHDR画像（120）を、ビデオ信号内のコーディングされた/圧縮されたHDR画像に直接的に符号化することを回避することが可能であり；その代わりに、ビデオ信号内のバックワード・リシェイピング・メタデータ（152）を使用して、下流の復号化デバイスが、（ビデオ信号内で符号化されている）SDR画像（134）を、リファレンスHDR画像（120）と同一の又は近接した/最適に近似した再構築された画像に、バックワード・リシェイピングできるようにすることが可能である。

【0021】

[0024] 実施形態では、リファレンスSDR及びHDR信号は、直接的なコーディングに適していないカラー・フォーマット（例えば、RGBカラー・フォーマットにおけるもの）で利用可能である可能性がある。従来、このような信号は、YCbCr，YUVなどのようなコーデックに適したフォーマットに変換される。色変換ブロック110及び115は、3x3のRGB行列と3x1のオフセット・ベクトルを使用して、RGBからYCCへの変換を表現する。本件で使用されるように、「YCC」という用語は、YUVやYCbCrに類似しているが、独自の色変換を使用してRGB入力データから生成される、一般的なルマ・クロマ・ライク色表現（generic luma-chroma-like color representation）を意味する。これらのブロックは、従来の色変換（例えば、Rec.709（[4]参照）又はRec.2020（[5]参照）によるもの）、又は、後述のセクションで示される例示的な実施形態によるコーディング効率制約下での色変換を実行するために使用することが可能である。

【0022】

[0025] 幾つかの実施形態では、図1Bに示されるように、シングル・レイヤにおけるリシェイプされたSDR画像（144）とともに符号化されたビデオ信号、及び、全体的な画像メタデータの一部としてのバックワード・リシェイピング・メタデータ（152）は、コーデック・フレームワークのデコーダ側での入力として受信される。圧縮解除ブロック（154）は、ビデオ信号のシングル・レイヤ（144）における圧縮されたビデオ・データを、復号化されたSDR画像（156）に圧縮解除/復号化する。圧縮解除154は、典型的には、圧縮142のインバース（又は逆）に対応する。復号化されたSDR画像（156）は、SDRディスプレイ・デバイス用に最適化されている可能性のある圧縮ブロック（142）及び圧縮解除ブロック（154）における量子化誤差の影響を受けた、SDR画像（134）と同じであるとすることが可能である。後方互換システムでは、復号化されたSDR画像（156）は、SDRカラー変換（110）のインバースを表す適切なインバースSDRカラー変換（175）の後に、出力SDRビデオ信号（177）において（例えば、HDMI（登録商標）インターフェースを介して、ビデオ・リンク等を介して）出力されて、SDRディスプレイ・デバイスでレンダリングされることが可能である。

【0023】

[0026] オプションとして、代替的又は追加的に、同一の又は別の実施形態において、バックワード・リシェイピング・ブロック158は、入力ビデオ信号からバックワード（又はフォワード）リシェイピング・メタデータ（152）を取り出し、リシェイピング・メタデータ（152）に基づいてバックワード・リシェイピング機能を構築し、最適なバックワード・リシェイピング機能に基づいて、復号化されたSDR画像（156）に対してバックワード・リシェイピング処理を実行して、バックワード・リシェイプされた画像（160）（又は再構築されたHDR画像）を生成する。幾つかの実施形態では、適切なインバースHDR色変換（170）（HDR色変換115のインバースを表す）の後に、バックワード・リシェイプされた画像（172）は、リファレンスHDR画像（105）と同一である又は密接に/最適に近似している制作品質又は制作品質に近いHDR画像を表現する。バックワード・リシェイプされた画像（172）は、HDRディスプレイ・デバイスにレンダリングされることになる出力HDRビデオ信号において（例えば、HDMI（登録商標）インターフェースを介して、ビデオ・リンク等を介して）出力される可能性がある。

【0024】

[0027] 幾つかの実施形態において、色変換（170）は、HDRディスプレイ・デバイスに固有の表示管理処理の一部である可能性があり、バックワード・リシェイプされた画像（160）をHDRディスプレイ・デバイスでレンダリングするHDR画像レンダリング処理の一部として、バックワード・リシェイプされた画像（160）に対して実行される可能性がある。

【0025】

[0028] カラー変換によるコンテンツ保護
図1Aに関し、実施形態において、リファレンスHDR RGB信号（105）は、3x3のRGBからYCbCrへの行列（R^F _v）と3x1のオフセット・ベクトル（t^F _v）によって、YCbCrに変換されるものとする。対応する3x3のYCbCrからRGBへの行列（R^B _v）と3x1のオフセット・ベクトル（t^B _v）が、デコーダ側（170）で使用されことになる。可逆性（revertability）を保証するために、実施形態では、バックワード色変換行列は、フォワード行列のインバース、即ち、R^B _v=(R^F _v)^-1 である。実施形態では、R^B _vとt^B _vの値はメタデータ（152）の一部であるとすることが可能である。典型的には、限定ではないが、R^B _vとt^B _v はRec.709又はRec.2020仕様の何れかを使用して決定される。

【0026】

[0029] ブロック110では、リファレンスSDR RGB信号（108）は、エンコーダ側において、3x3のRGBからYCCへのカラー・マトリックス（R^F _s）と3x1のオフセット・ベクトル（t^F _s） を使用して色変換されることになる。インバースSDR色変換（175）では、対応する3x3のYCCからRGBへの行列（R^B _s）及び3x1のオフセット・ベクトル（t^B _s)がデコーダ側で使用されることになる。可逆性を保証するために、バックワード色変換行列は、フォワード行列のインバース、即ち、R^B _s=(R^F _s)^-1 である。実施形態では、R^B _sとt^B _sのデータはメタデータ（152）の一部として伝達されることが可能である。R^B _sとt^B _sは、Rec.709仕様（又は何らかの他の標準ベースの変換）で定義されている必要はない：即ち、これらは例示的な実施形態に従って調整される設計パラメータである。フォワード・リシェイピング（132）の後に、リシェイプされた信号（134）は、SDR色変換（110）の出力（125）と同じ色空間にあるであろう、ということに留意されたい。デコーダでは、図1Bにより示されるように、以下の例示的な動作シナリオが可能である：
[0030] 認可されたデバイスのためのコンテンツ保護
前述したように、エンコーダ側では、ベース・レイヤは、R^F _s及びt^F _s によりYCCにマッピングされる。これらのパラメータは、後述されるアルゴリズムによって設計されており、それらは標準的なもの（例えば、Rec.709，Rec.2020等）ではない。正しい色を復元するためには、対応するものR^B _s及びt^B _sを必要とする。R^B _s及びt^B _sの値は、Rec.709のような標準に基づいていることを必要としないので、レガシー・デバイスがR^B _s及びt^B _sに関する情報を有しない場合、デバイスはデフォルトのRec.709行列を使用してYCCをRGBに変換することになり、これは、色と明るさの点で見るに堪えないピクチャ（unwatchable picture）を生成することになる。これに対して、受信機が正しいR^B _s及びt^B _sの値にアクセスできる場合、再構築されたSDR RGB画像の色は正しいであろう。従って、このようなシナリオでは、独自の色変換が「承認（authorization）」メカニズムとして使用され、HDRコンテンツのSDRバージョンでさえ眺めを制御することができる。

【0027】

[0031] 別の実施形態では、独自の色情報が「フィンガープリント（fingerprint）」又は「ウォーターマーキング（watermarking）」方式として使用されてもよい。例えば、コンテンツ・プロバイダーは、異なる配信地域（例えば、ヨーロッパ、アジア、アメリカなど）のために又は特定のストリーミング・プロバイダー（例えば、Amazon，Huluなど）のために、異なる色変換行列を使用することを決定することができる。

【0028】

[0032] HDRコンテンツの回復
HDR再生モードの下では、受信したメタデータを使用して、HDR RGB画像を、ベースラインYCC SDR画像から、唯1つの色変換のみを使用して再構築することが可能である。実施形態では、これは多色チャネル、重回帰（MMR）予測子（[1]参照）のようなクロス・カラー予測子を使用することで実現可能である。MMR予測子のプロパティは、SDRソースの色が正しくない場合でさえ、デコーダが、HDRデータを正しいYCbCr色で回復できるようにする。YCbCr HDR出力（160）が与えられると、R^B _v及びt^B _v関連のメタデータを使用して、それをYCbCrからRGBへ変換することが可能である。

【0029】

[0033] 要約するに、実施形態において、R^B _s及びt^B _sの色変換パラメータは、コンテンツを保護するために重要な役割を果たす可能性がある。デバイスが正しいR^B _s及びt^B _sを有していない限り、デフォルトのYCC2RGB行列を使用すると、正しくない出力を生成することになる。改善されたコーディング効率を維持し又は向上さえさせるために、R^B _s及びt^B _sを慎重に設計することにより、見るに堪えないベース・レイヤを作成せず、圧縮効率を高めることさえ可能である。以下のセクションでは、これらのゴールを達成するためにR^B _s及びt^B _sを構築する方法を示す。

【0030】

[0034] 前述のように、SDR RGB-to-YCC色変換{R^F _s，t^F _s}と、対応するSDR YCC-to-RGBインバース色変換{R^B _s，t^B _s}とを、ある制約の下で設計し、コーディング効率を維持又は向上させたいと考えている。R^F _sとt^F _sの12個の係数を次のように記載する：

【0031】

【数1】

フォワード変換パラメータが与えられている場合に、バックワード又はインバース変換部分はフォワード変換から次のように導出されることが可能である：

【0032】

【数2】

[0035] RGBからYCCへの行列における任意の係数が、標準ベースの行列（例えば、Rec.709の行列）から逸脱している限り、正規のRec.709行列を使用してRGBに変換すると、誤った色と明るさを示すことになる。R^F _sとt^F _sのパラメータを導出する際に大きな柔軟性があるように見えるが、これらのパラメータはランダムには選択することができず、なぜなら、全てのコーディング規格はYCbCr色空間での動作の下で設計されることを前提として、これらのパラメータはコーディング効率に影響を及ぼす可能性があるからである。従って、2つの主要な懸念：（1）全体的なビデオ・コーディング効率が維持されるべきであること、及び（2）ルマ/クロマ情報の漏洩が禁止されるべきであること、に対処する必要がある。

【0033】

[0036] 実施形態では、Rec.709やRec.2020のような、既存の色空間変換行列に基づいて新しい行列を導出することができる。標準ベースの色変換セット（例えば、Rec.709やRec.2020で定義されているようなもの）を次のように表す：

【0034】

【数3】

例えば、Rec.709の下で、SMPTEレンジ（8ビット・コードワードの場合に[16，235]）については次のようになる：

【0035】

【数4】

フル・レンジ（[0,1)）の場合は次のようになる：

【0036】

【数5】

[0037] ここで、

【0037】

【数6】

であるとする。

【0038】

実施形態では、R^F _sの新しい係数は、別の3x3行列W_sと乗算することによって得られる：

【0039】

【数7】

従って：

【0040】

【数8】

である。

【0041】

恒等行列Iに等しいW_sにの場合、次のようになる：

【0042】

【数9】

[0038] RGB SDR信号のi番目のピクセルの3つの入力成分を、3x1ベクトルとして表す：

【0043】

【数10】

M^F _s変換を適用した後に、中間的な結果は、s^’ _i=M^F _ss_iとなる。i番目のピクセルの場合、次のようになる：

【0044】

【数11】

W_sと乗算した後、結果ｓ”=W_ss^’は次式により与えられる：

【0045】

【数12】

3x1ベクトルに対して、新しいベクトルp^F _sを定義する：

【0046】

【数13】

最終的な3x1ベクトルは、次のようになる：

【0047】

【数14】

S”とt^F _sの値の組み合わせは、ビデオ圧縮モジュールに渡されることになるベース・レイヤを表現する：

【0048】

【数15】

[0039] 先ず、ルミナンス成分を不変のままにするケースを考える。従って、設計の自由度は12個パラメータから8パラメータに減少する。

【0049】

【数16】

[0040] 次のようにして、ルミナンスのクロマへ漏れを許容しないように行列を更に制約することができる（即ち、ルマ及びクロマのクロス・トーク無し）：

【0050】

【数17】

ルミナンス成分は変更されないので、ビデオ圧縮効率は、両方のクロマ成分のエネルギーに依存すると考えることが可能である。従って、実施形態において、コーディング効率は別の制約：Wsによる変換後のクロマ・エネルギーは、変換前のクロマ・エネルギーに比例するべきである、というものを課すことによって制御されることが可能である。換言すれば、スケーラα²が与えられた場合、次のようになる：

【0051】

【数18】

α=1である場合、調整前後のクロマ・エネルギーは同じであり、ビデオ圧縮コーデックへの影響は最小限になるはずである。一方、カラー暗号化のマージンを増やし、パラメータを推測しにくくすることが望まれる場合、

【0052】

【数19】

のように、小さなδ≧0差分（e.g.，δ=0.1）を許容する一方、エネルギーの制約を満たすことが可能である。

【0053】

[0041] このクロマ・スケーリング因子を増やすことは、より多くのコードワードをベース・レイヤのクロマに割り当てることに相当し、従って、ベースバンド信号の量子化損失は少なくなり、より良いビデオ・コーディング利得をもたらすことが期待され、このことは数値シミュレーションでも検証済みであることに留意されたい。次いで、3x3行列W_sの設計ガイドラインを次のように導出することができる。W_s行列からのs^” ₁及びs^” ₂ を代入すると、次式が得られる：

【0054】

【数20】

数式を整理することにより、次式が得られる：

【0055】

【数21】

全てのs^’ _i,1及びs^’ _i,2 の値を満たすために、行列の係数は、以下の一組の方程式を満たす必要がある：

【0056】

【数22】

方程式（17）は、提案された設計のコアとなる制約を表す。限定することなく、方程式（17）を満たす例は、以下を含む：
[0042] 第1の例
θを、例えば次のような制御パラメータとする：

【0057】

【数23】

数式（18）は、cos（θ）とsin（θ）の位置を単純に転置し、数式（17）を満たすようにそれらの対応する符号を変更することによって、他の複数のバリエーションに書き換えることが可能であることに留意されたい。例えば、次のようなものである：

【0058】

【数24】

パラメータθは角度又はラジアンで表現されることが可能であり、例えば、
θ∈[0，2π]又はθ∈[0，360]度である。

[0043] 第2の例
CbとCrの単純な入れ替えも方程式（17）を充足し、次式が得られる：

【0059】

【数25】

ここでも、符号を適切に変えることによって、次のような別の変形例を生み出すことができる：

【0060】

【数26】

[0044] 3x1のp^F _sベクトルを生成するために、組み合わせられる3x3行列とベクトルp^F _sは、正規化されたデータの最終的な出力がレンジ[0,1]内にあるように、即ちデータがクリップされることがないように、次の制約を満たす必要がある：

【0061】

【数27】

或いは、より正確には、3x1のp^F _sベクトルは次のようにして導出される：

【0062】

【数28】

p^F _sが存在しない場合、Wsを設計し直すことに戻る必要がある。例えば、式（18）の下では、αとθについて新しい値を選択する必要がある。

【0063】

[0045] オフセットを調整することは、クロマのDC値を調整することに相当することに留意されたい。この種の調整は、非可逆ビデオ圧縮を使用する場合に、コーディング効率に影響を及ぼさない。

【0064】

[0046] 実施形態では、シンプルな線形スケーリングとオフセットをルマ成分に適用して、追加のベース・レイヤ・コードワードを利用し、それによってベースバンド量子化誤差を削減し、コーディング効率を向上させることも可能である。この場合、式（5）は12パラメータから10パラメータに減少する。

【0065】

【数29】

[0047] 更に、式（17）及び（22）を満たすためには、β及びp₀の値は、リシェイプされたルマSDR，s^~ _i,0，がクリップされないように、制約を受けることも必要である。従って、

【0066】

【数30】

という制約が与えられた場合、

【0067】

【数31】

である。

【0068】

[0048] 式（24）から、βの値が与えられると、オフセットp₀は次のようにして決定される：

【0069】

【数32】

ルマをベース・レイヤの全範囲（e.g.,[0,1）)にマッピングする場合、これらのパラメータは次のように選択することが可能である：

【0070】

【数33】

[0049] 図2は、実施形態による色変換行列R^F _sを決定するための例示的なフロー（200）を示している。ステップ205において、符号化効率を維持するための制約である式（17）を満たす中間の3x3行列W_sの単純化された3x3形式から始める。例えば、一般性を失うことなく、式（18）と（23）の組み合わせを使用して、次の形式から始めることが可能である：

【0071】

【数34】

この例では、パラメータβ，α，θ，及びベクトルp^F _sを決定しなければならない。

【0072】

[0050] 実施形態では、設計フローは次のように進行することが可能である：
・ステップ210：標準ベースの色変換行列，M_s ^F，（例えば、Rec.709などからのもの）とリファレンス入力SDRデータ（s_i）が与えられた場合に、s’_i=M^F _ss_iを計算し、変換データの各カラー・チャネルの最小値と最大値、即ち、min{s^’ _i,ch}及びmax{s^’ _i,ch}を決定し、ここで、chは3つのカラー・チャネルのうちの1つ（e.g.，Y，Cb，or Cr）を示す。

【0073】

・ステップ215：このステップでは、ルマ・スケーラーが選択されてもよい。例えば、β≠1である場合、βを決定する必要がある。その上限は、ステップ210で計算された最大及び最小ルマ値によって境界を定められる。β＞1を選択すると、ルマにおけるコーディング効率を向上させるが、出力色変換行列を生成するために、このプロセスで、より多くの反復を強いる可能性がある。式（26）から次式が得られる：

【0074】

【数35】

・ステップ220：このステップでは、W_sのクロマ関連のパラメータ、例えば、α及びθを選択することができる。α＞1を選択すると、クロマのコーディング効率を高めることができる。θ≠0を選択すると、色を変更することができ、従って（オプションとして）シンプルなコンテンツ保護メカニズムを提供することができる。このステップの最後に、行列W_sが完全に定められる。

【0075】

・ステップ225：W_sをステップ210の出力に適用して、各ピクセルについて、s^” _i=W_ss^’ _iを計算する。これらの値は、オフセット3x1ベクトルを選択する際に役立つ。例えば、式（25）と（27）から、標準ベースのオフセット・ベクトルn^F _s=[n_s,0，n_s,01，n_s,02]が与えられた場合、次のようになる：

【0076】

【数36】

ステップ225からの解が実現可能でない場合、ルマ・スケーラーをオプション的に調整した後（227）、ステップ220に戻り、α及び/又はθについて代替てきな値を選択する必要があるかもしれない。そうでない場合、ベクトルp^F _sのパラメータを定めた後に、ステップ230において、最終的な行列R^F _s=W_sM^F _sとオフセットt^F _s=p^F _s+n^F _sを生成することができる。

【0077】

[0051] デコーダでは、R^B _s=(R^F _s)^-1とt^B _s=t^F _sが与えられると、YCC-to-RGB色変換演算は、以下を含む：

【0078】

【数37】

[0052] 既存のリシェイピング技法は、フレーム・ベースであってもよく、即ち、新しいリシェイピング・メタデータが、各々の新しいフレームとともに伝送され、或いは、シーン・ベースであってもよく、即ち、新しいリシェイピング・メタデータが、各々の新しいシーンとともに伝送される。本件で使用される場合、ビデオ・シーケンス（フレーム/画像のシーケンス）に関する用語「シーン（scene）」は、類似する輝度、色、及びダイナミック・レンジ特性を共有するビデオ・シーケンス内の一連の連続するフレームに関連している可能性がある。シーン・ベースの方法は、シーン全体にアクセスできるビデオ・ワークフロー・パイプラインで良く機能する；しかしながら、（例えば、フェード・イン/フェード・アウトように）幾つかのシーンに関し、1つのフレームだけを含むことは通常的ではない。

【0079】

[0053] プロセス200は、必要に応じてフレーム又はシーン・レベルで更新されることが可能である：しかしながら、コーディング効率を維持するために、シーケンス全体やシーン内で、又はピクチャのグループ（GOP）内で、同じ色変換を維持することが推奨される。プロセス200をシーン又はピクチャのグループに適応させるために、フレーム・ベースの最小及び最大ピクセル値を、シーン・ベースの最小及び最大ピクセル値に置き換えることが可能である。例えば、式（26）は次のように書き換えることが可能である：

【0080】

【数38】

ここで、L個の連続的なフレームに関し、max{s^’,j _i,0}及びmin{s^’,j _i,0}は、0番目のカラー成分（例えば、ルマ）のs^’についてのj番目のフレームにおける最大及び最小ピクセル値を示す。シーケンス・レベルでは、s^’,L _max,0とs^’,L _min,0は、計算された値又はSMPTE制約範囲値であるとすることが可能である。s^”の各色成分のシーン・ベースの最小及び最大ピクセル値も同様な方法で計算することができる。

【0081】

[0054] リシェイピング機能の構築
前述したように、非標準色変換R^F _s（110）はシステムの一部として使用されることも可能であり、そのシステムは、受信したリシェイプされたSDRデータから、リファレンスHDR入力（105）の近い近似値を再構築することを可能にする。受信したベース・レイヤ（156）に関して、適切なインバースSDR変換を適用した後に、バックワード・リシェイピングを適用することが可能であり（158）；しかしながら、適切なフォワード・リシェイピングを使用すると、余分なインバース色変換ステップを排除し、適切な（例えば、標準で定義された）YCbCr色空間内で再構築されたHDRコンテンツを直接的に抽出することができる。このプロセスを次に説明する。限定することなく、幾つかのステップは、3次元マッピング・テーブル（3DMT又はd3 DMT）表現と呼ばれるものの文脈で説明され、ここで、演算をシンプルにするために、各フレームは3次元マッピング・テーブルとして表現され、ここで、各色成分（e.g.，Y，Cb，or Cr）は「ビン（bins）」に細分され、且つ、明示的なピクセル値を使用して画像を表現する代わりに、各ビン内のピクセル平均を使用する。3DMTの定式化の詳細についてはRef.[2]に見ることが可能である。

【0082】

[0055] 実施形態では、フォワード・リシェイピング機能を生じさせるステップ （130）は、リファレンス入力の2つのセット：（1）リファレンスHDR YCbCrピクセル値（120）、及び（2）リファレンスSDR YCCピクセル値（125）を必要とする。HDR信号については、参照RGB HDRデータの入力のi番目のピクセルの3つの色成分を、3x1ベクトルとして示す：

【0083】

【数39】

HDR色変換（115）の際に使用されるRGBからYCbCrへの行列及びオフセット・ベクトルを次のように表す：

【0084】

【数40】

YCbCr HDR値，v^~，は、行列M^F _vを乗算し、オフセットを加えることによって得られ、即ち、v^~=M^F _vv+n^F _v である。従って、i番目のピクセルについては、次のようになる：

【0085】

【数41】

[0056] SDR入力では、既存の標準ベースのRGBからYCbCrへの変換からの出力を使用する代わりに、次式（13）から与えられるような修正された変換の出力を使用する：

【0086】

【数42】

[0057] これら2つのリファレンス信号が与えられると、既知の方法を適用して、フォワード及びバックワード・リシェイピング機能を生じさせることが可能である。例として、限定することなく、ルマ・フォワード・リシェイピング機能は、累積密度関数（cumulative-density function，CDF）マッチング・プロセス（Ref.[2-3]参照）により構築されることが可能であり、ここで、a){h_v(b)}として示されるHDRルマ信号{v^~ _i,0}のヒストグラムと、{h_s(b)}として示される色変換されたSDRルマ信号{v^~ _i,0}のヒストグラムとを計算し，b)2つのヒストグラムに基づいてSDRとHDRの累積密度関数を構築し、及びc)CDFマッチングを使用してルック・アップ・テーブル（FLUT）を取得し、HDR YCbCr入力データを、SDR YCCデータにマッピングする。これは、次のように表現することが可能である：

【0087】

【数43】

ここで、T^F _Yは、ブロック132で使用されるフォワード・マッピングを示す。

【0088】

[0058] クロマについては、d3DMT表現（Ref.[2]）が、HDR信号{v^~ _i,0}とSDR信号{s^~ _i,0}の間のパラメトリック（e.g.，MMR）表現を使用して構築される。D3DMTペア・エントリを

【0089】

【数44】

として表記する。P個のそのようなビン/ペアが存在すると仮定する。例えば：

【0090】

【数45】

のように記述されるMMR展開モデルが与えられた場合、全てのHDRの3チャネル入力について、P個のビンを共に全て収集することができる：

【0091】

【数46】

次いで、SDRにおけるchチャネルを次のように表す：

【0092】

【数47】

“a/B”表現を使用し、ここで、Tは転置行列を示す：

【0093】

【数48】

平均二乗誤差（mean-square error，MSE）最小化基準の下で、ターゲットのリファレンスSDR信号，s_ch，に対する予測誤差を最小化するための最適なMMR係数は、次のようにして与えることが可能である：

【0094】

【数49】

また、フォワード・リシェイピングされたSDR d3DMTエントリは、次のように表現することが可能である：

【0095】

【数50】

[0059] バックワード・ルマ・リシェイピング機能は、先ず、フォワードLUTを逆向きに追跡してバックワード・リシェイピング1D-LUT（BLUT）（T^B _Yとして表される）を生成し、次いで、T^B _Yのマッピングを区分多項式関数として（例えば、2次多項式を使用した8区分近似を用いて）近似することにより生成されることが可能である。

【0096】

[0060] クロマ・バックワード・リシェイピング・マッピングを生じさせるために、（a）d3DMTの3チャネル・フォワード・リシェイプされたSDRビンと（2）d3DMTの元のHDRクロマ・ビンとの間のパラメトリック・モデルを考慮することによって、多項式近似（e.g.，MMR）を使用することも可能である。

【0097】

[0061] i番目のフォワード・リシェイプされたSDRビンに対するMMR展開形式を次のように表す：

【0098】

【数51】

3つのSDRチャネル入力に対するP個のビン全てを一緒に収集した後、次のようになる：

【0099】

【数52】

chチャネルのベクトルHDR表現と別の“a/B”表現が次のように与えられた場合：

【0100】

【数53】

リファレンスHDR信号と再構成されたHDR信号との間の予測誤差を最小化するための最適MMR係数は、次式によって与えられる：

【0101】

【数54】

また、再構成されたHDR信号（160）は、次のようにして生成することが可能である：

【0102】

【数55】

メタデータ152は、T^B _Y及び{m^B _ch}の値を含む。

参考文献（Ref）
これらの参考文献の各々は全体的に参照によって組み込まれている。

【0103】

1. G-M. Su et al., “Multiple color channel multiple regression predictor,” U.S. Patent 8,811,490.
2. Q. Song et al., PCT Patent Application Ser. No. PCT/US2019/031620, “High-fidelity full reference and high-efficiency reduced reference encoding in end-to-end single-layer backward compatible encoding pipeline,” filed on May 9, 2019, published as WO 2019/217751.
3. B. Wen et al., “ Inverse luma/chroma mappings with histogram transfer and approximation,” U.S. Patent 10,264,287.
4. Rec. ITU-R BT. 709, “Parameter values for the HDTV standards for production and international programme exchange,” ITU, 06/2015.
5. Rec. ITU-R BT. 2020, “Parameter values for ultra-high definition television systems for production and international programme exchange,” ITU, 06/2014.

[0062] コンピュータ・システム実装例
本発明の実施形態は、コンピュータ・システム、電子回路及び素子で構成されたシステム、マイクロコントローラのような集積回路（IC）デバイス、フィールド・プログラマブル・ゲート・アレイ（FPGA）、別の構築可能な又はプログラマブル論理デバイス（PLD）、離散時間又はデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、及び/又は、そのようなシステム、デバイス又は素子の1つ以上を含む装置、を用いて実現することが可能である。コンピュータ及び/又はICは、本件で説明されるもののような、HDRビデオのコーディングに関するコーディング効率制約の下での色変換に関する命令を実行、制御、又は処理することが可能である。コンピュータ及び/又はICは、本件で説明されるようなHDRビデオのコーディングに関するコーディング効率制約の下での色変換に関する任意の様々なパラメータ又は値を計算することが可能である。画像及びビデオのダイナミック・レンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実現されることが可能である。

【0104】

[0063] 本発明の特定の実装は、本発明の方法をプロセッサに実行させるソフトウェア命令を実行するコンピュータ・プロセッサを含む。例えば、ディスプレイ、エンコーダ、セット・トップ・ボックス、トランスコーダ等における1つ以上のプロセッサは、プロセッサにとってアクセス可能なプログラム・メモリ内のソフトウェア命令を実行することによって、上記のようなHDRビデオのコーディングに関するコーディング効率制約の下での色変換の方法を実現することが可能である。本発明はまたプログラム製品の形態で提供される場合もある。プログラム製品は、データ・プロセッサによって実行されると、データ・プロセッサに本発明の方法を実行させる命令を含む一組のコンピュータ読み取り可能な信号を運ぶ任意の非一時的な有形の媒体を含むことが可能である。本発明によるプログラム製品は、任意の多種多様な非一時的で有形の形態におけるものであってもよい。プログラム製品は、例えば、フロッピー・ディスクを含む磁気データ記憶媒体、ハード・ディスク・ドライブ、CD ROMを含む光学データ記憶媒体、DVD、ROMを含む電子データ記憶媒体、フラッシュRAM等のような物理媒体を含むことが可能である。プログラム製品におけるコンピュータ読み取り可能な信号は、オプションとして、圧縮されたり暗号化されたりしてもよい。

【0105】

[0064] 素子（例えば、ソフトウェア・モジュール、プロセッサ、アセンブリ、デバイス、回路など）が上記で言及されている場合、別意に指定されていない限り、その素子（「手段」に対する言及を含む）は、説明された素子の機能を実行する任意の素子（例えば、それは機能的に等価であるもの）を、その素子の均等物として含むように解釈されるべきであり、その任意の素子は、本発明の説明された例示的な実施形態における機能を実行する開示された構造と構造的に同等でない素子を含む。

【0106】

[0065] 均等、拡張、代替及びその他
従ってHDRビデオのコーディングに関するコーディング効率制約の下での色変換に関する例示的な実施形態が説明されている。このような明細書では、本発明の実施形態は、実装ごとに異なる可能性のある多数の具体的な詳細を参照しながら説明されている。従って、何が発明であり、何が出願人によって発明であることが意図されているかについての唯一かつ排他的な指標は、特定の形式で本件から発行されるクレームのセットであり、そのようなクレームは、以後の任意の変更を含むその特定の形式で発行される。そのようなクレームに含まれる用語について本件で明示的に述べられている如何なる定義も、そのクレームで使用されるそのような用語の意味を支配するものとする。従って、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性が、何らかの方法でそのようなクレームの範囲を限定することはない。従って、明細書及び図面は、限定的な意味ではなく例示的に解釈されるべきである。

【0107】

[0066] 本発明の様々な態様は、以下の列挙された例示的な実施形態（enumerated example embodiments，EEE）から認識することが可能である。

【0108】

EEE 1. コーディング効率制約の下で色変換データを生成する方法であって、前記方法は：
第1のダイナミック・レンジ及び第1の色空間における入力画像を受信するステップ；
前記第1の色空間から標準ベースの色空間への色変換に基づいて、第1の3x3色変換行列及び第1の3x1オフセット・ベクトルにアクセスするステップ；
前記入力画像に前記第1の3x3色変換行列を適用して、ルミナンス成分及びクロマ成分を有する第1の画像を生成するステップ（210）；
前記ルミナンス成分及び前記クロマ成分に関し、前記第1の画像についての最小及び最大のピクセル値を生成するステップ；
前記第1の画像における前記最小及び最大のルミナンス・ピクセル値に基づいて、ルミナンス・スケーラを計算するステップ（215）；
コーディング効率制約及び前記第1の3x3色変換行列に基づいて、2x2クロマ変換行列の要素を計算するステップ；
前記ルミナンス・スケーラ及び前記2x2クロマ変換行列に基づいて、3x3中間変換行列を形成するステップ；
前記3x3中間変換行列を前記第1の画像に適用して第2の画像を生成するステップ（225）；
前記第2の画像の前記ルミナンス成分及びクロマ成分における前記最小及び最大のピクセル値と前記第1のオフセット・ベクトルに基づいて、中間の3x1オフセット・ベクトルを生成するステップ；及び
前記第1の3x3色変換行列を前記3x3中間変換行列に乗算することにより出力の3x3色変換行列を生成し、前記第1の3x1オフセット・ベクトルを前記中間の3x1オフセット・ベクトルに加算することにより出力の3x1オフセット・ベクトルを生成し、前記第2の画像のピクセル値を前記出力の3x1オフセット・ベクトルに加算することにより、第2の色空間における出力画像を生成するステップ（230）を含む。

【0109】

EEE 2. EEE 1の方法において、更に：
リバース3x3色変換行列及びリバース3x1オフセット・ベクトルを生成して画像データを前記第2の色空間から前記第1の色空間へ変換するステップを含み、前記リバース3x1オフセット・ベクトルは前記出力の3x1オフセット・ベクトルに等しく、前記リバース3x3色変換行列は前記出力の3x3色変換行列のインバースを含む。

【0110】

EEE 3. EEE 1又は2の方法において、前記第1の色空間はRGB色空間を含み、前記標準ベースの色空間はYCbCr色空間を含み、前記第1の3x3色変換行列及び前記第1の3x1オフセット・ベクトルは、Rec.709又はRec.2020標準の何れかに基づいている。

【0111】

EEE 4. 前述のEEEのうちの何れか1項に記載の方法において、前記ルミナンス・スケーラは1に設定されるか、又は

【0112】

【数56】

により境界を定められており、ここでs’_i,0は[0,1]に正規化された前記第1の画像のi番目のピクセルに対するルミナンス値であり、max{s’_i,0}は前記第1の画像における最大のルミナンス値を示し、min{s’_i,0}は前記第1の画像における最小のルミナンス値を示す。

【0113】

EEE 5. 前述のEEEのうちの何れか1項に記載の方法において、2x2クロマ変換行列の要素を計算する場合の前記コーディング効率制約は、前記2x2クロマ変換行列によるクロマ変換前後の前記第1の画像におけるピクセルのクロマ値についてのエネルギー保存基準を含む。

【0114】

EEE 6. EEE 5の方法において、前記エネルギー保存基準は、

【0115】

【数57】

を含み、i番目のピクセルに関し、s’_i,1及びs’_i,2は前記2x2クロマ変換行列を適用する前のクロマ値を示し、s”_i,1及びs”_i,2は前記2x2クロマ変換行列を適用した後のクロマ値を示す。

【0116】

EEE 7. EEE 6の方法において、2x2変換行列

【0117】

【数58】

に関し、前記エネルギー保存基準の下で、

【0118】

【数59】

であり、ここで、αは1に近い定数である。

【0119】

EEE 8. EEE 7の方法において、前記2x2変換行列は、

【0120】

【数60】

を含み、ここで、θは[0,2π]における任意のパラメータに対応している。

【0121】

EEE 9. 前述のEEEのうちの何れか1項に記載の方法において、前記3x3中間変換行列W_sを形成するステップは、

【0122】

【数61】

を形成するステップを含み、ここで、βは前記ルミナンス・スケーラを示し、α及びθはパラメータである。

【0123】

EEE 10. EEE 6又はEEE 9の方法において、α=1であるか、又は

【0124】

【数62】

であり、ここで、δは0.5より小さなパラメータである。

【0125】

EEE 11. 前述のEEEのうちの何れか1項に記載の方法において、前記中間の3x1オフセット・ベクトル[p₀ p₁ p₂]^Tを生成するステップは、オフセット・ベクトル制約

【0126】

【数63】

を満たすようにオフセット・ベクトルの要素を計算するステップを含み、ここで、S”_i,jは前記第2の画像におけるi番目のピクセルのj番目の色成分に対するピクセル値を示し、[n_s,0 n_s,1 n_s,2]^Tは第1のオフセット・ベクトルを示す。

【0127】

EEE 12. EEE 11の方法において、少なくとも1つのオフセット・ベクトルの要素がそのオフセット・ベクトル制約を満たしていないと判定した場合：
更新されたルミナンス・スケーラ及び／又は更新された2x2クロマ変換行列に基づいて、更新された3x3中間変換行列を形成すること；
前記更新された3x3中間変換行列を前記第1の画像に適用して前記第2の画像を生成すること（225）；及び
前記オフセット・ベクトル制約を満たすように前記中間の3x1オフセット・ベクトルを生成すること；
による反復を行うステップを更に含む。

【0128】

EEE 13. 前述のEEEのうちの何れか1項に記載の方法において、更に：
前記第1の画像と同じシーンを表現する前記第1の色空間において前記第1のダイナミック・レンジより高い第2のダイナミック・レンジにおいて第1のハイ・ダイナミック・レンジ（HDR）画像を受信するステップ；
標準ベースの色変換を前記第1のHDR画像に適用して、前記第2のダイナミック・レンジにおける第2のHDR画像を生成するステップ；
フォワード・リシェイピング機能を前記第2のHDR画像に適用して、前記第1のダイナミック・レンジにおけるベース画像を生成するステップであって、前記フォワード・リシェイピング機能は、前記第2のダイナミック・レンジ及び前記標準ベースの色空間からのピクセル値を、前記第1のダイナミック・レンジ及び前記第2の色空間におけるピクセル値へマッピングするものである、ステップ；及び
ベース画像を圧縮して、前記第2の色空間における圧縮された画像を生成するステップ；及び
前記圧縮された画像、前記出力の3x3色変換行列、前記出力の3x1オフセット・ベクトル、及び、前記圧縮された画像に基づいて出力HDR画像を再構成するバックワード・リシェイピング機能のためのパラメータを記憶するステップを含む。

【0129】

EEE 14. EEE 13の方法であって、前記出力信号を受信するデコーダにおいて、更に：
前記圧縮された画像の圧縮を解除して、前記第1のダイナミック・レンジ及び前記第2の色空間における中間ベース信号を生成するステップ；及び
前記中間ベース信号と、前記出力の3x3色変換行列と、前記出力の3x1オフセット・ベクトルとに基づいて、前記第1の色空間及び前記第1のダイナミック・レンジにおける第1の出力信号を生成するか、又は、前記中間ベース信号と前記バックワード・リシェイピング機能のための前記パラメータとに基づいて前記標準の色空間におけるHDR出力信号を生成するステップであって、前記バックワード・リシェイピング機能は、ピクセル値を、前記第2の色空間及び前記第1のダイナミック・レンジから、前記標準ベースの色空間及び前記第2のダイナミック・レンジへマッピングするものである、ステップを含む。

【0130】

EEE 15. EEE1ないし14のうちの何れか1項に記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。

【図1A】

【図1B】

【図2】

【国際調査報告】