特許 7391214 ＨＤＲ画像化におけるレート制御認識リシェーピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-24

(45)【発行日】2023-12-04

(54)【発明の名称】ＨＤＲ画像化におけるレート制御認識リシェーピング

(51)【国際特許分類】

   H04N 19/85 20140101AFI20231127BHJP

【ＦＩ】

H04N19/85

【請求項の数】 13

(21)【出願番号】P 2022529484

(86)(22)【出願日】2020-11-25

(65)【公表番号】

(43)【公表日】2023-01-24

(86)【国際出願番号】 US2020062430

(87)【国際公開番号】W WO2021108719

(87)【国際公開日】2021-06-03

【審査請求日】2022-05-20

(31)【優先権主張番号】19211730.7

(32)【優先日】2019-11-27

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/940,942

(32)【優先日】2019-11-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】カドゥ，ハルシャッド

(72)【発明者】

【氏名】チイ，ジー

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０１９－５３０３０９（ＪＰ，Ａ）

【文献】特表２０１６－５２９７４１（ＪＰ，Ａ）

【文献】MINOO, K. et al.，Description of the reshaper parameters derivation process in ETM reference software，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 23rd Meeting: San Diego, USA, 19-26 February 2016, [JCTVC-W0031]，JCTVC-W0031 (version 1)，ITU-T，2016年01月11日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/23_San%20Diego/wg11/JCTVC-W0031-v1.zip＞: JCTVC-W0031-ETM_ReshaperDescription.docx: pp.1-17

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

リシェーピング関数を生成する方法であって、前記方法は、
第１ダイナミックレンジの１つ以上の入力画像を受信するステップと、
前記１つ以上の入力画像の中の第１最小ルマ値及び第１最大ルマ値を計算するステップと、
前記第１最小ルマ値及び前記第１最大ルマ値に基づき、前記１つ以上の入力画像のルマチャネルの第１コードワード範囲を計算するステップと、
前記１つ以上の入力画像の前記ルマチャネルのノイズメトリックを計算するステップであって、前記ノイズメトリックは、前記ルマチャネルのノイズのメトリックを含む、ステップと、
前記第１最小ルマ値、前記第１最大ルマ値、及び前記ノイズメトリックに基づき、スカラを計算するステップと、
前記スカラに依存して、前記１つ以上の入力画像の中のルマ値を、ソースルマコードワード範囲から目標ルマコードワード範囲にマッピングする順方向ルマリシェーピング関数を生成するステップであって、前記順方向ルマリシェーピング関数は、前記ソースルマコードワード範囲の最小コードワード値を前記目標ルマコードワード範囲の最小コードワード値に、及び前記ソースルマコードワード範囲の最大コードワード値を前記目標ルマコードワード範囲の最大コードワード値にマッピングするよう構成され、
前記スカラが１より大きい場合に、
前記第１最小ルマ値、前記第１最大ルマ値、及び前記スカラに基づき、第２最小ルマ値及び第２最大ルマ値を計算し、
前記第２最小ルマ値及び前記第２最大ルマ値に基づき、前記１つ以上の入力画像の前記ルマチャネルの第２コードワード範囲を生成し、前記第２コードワード範囲は前記第１コードワード範囲より大きく、
前記第２コードワード範囲を前記ソースルマコードワード範囲として使用して、前記順方向ルマリシェーピング関数を生成し、
その他の場合に、
前記第１コードワード範囲を前記ソースルマコードワード範囲として使用して、前記順方向ルマリシェーピング関数を生成する、ステップと、
を含む方法。

【請求項2】

前記スカラに依存して、最小ルマ値、最大ルマ値、及び前記順方向ルマリシェーピング関数に基づき、順方向クロマリシェーピング関数を生成するステップであって、前記順方向クロマリシェーピング関数は、前記１つ以上の入力画像の中のクロマ値を、ソースクロマコードワード範囲から目標クロマコードワード範囲にマッピングし、
前記スカラが１より大きい場合に、
前記第２最小ルマ値を前記最小ルマ値として、及び前記第２最大ルマ値を前記最大ルマ値として使用して、前記順方向クロマリシェーピング関数を生成し、
その他の場合に、
前記第１最小ルマ値を前記最小ルマ値として、及び前記第１最大ルマ値を前記最大ルマ値として使用して、前記順方向クロマリシェーピング関数を生成する、ステップ、
を更に含む請求項１に記載の方法。

【請求項3】

前記スカラを計算するステップは、前記１つ以上の入力画像のビット深さ解像度、前記第１最小ルマ値、前記第１最大ルマ値、及び前記ノイズメトリックに基づき、指数マッピングを計算するステップを含む、請求項２に記載の方法。

【請求項4】

前記スカラ（M）を計算するステップは、
M=max（βe^-αδ,１.０）を計算するステップを含み、
δは、前記１つ以上の入力画像の前記ビット深さ解像度、前記第１最小ルマ値、及び前記第１最大ルマ値の関数を示し、βは前記ノイズメトリックの関数を示し、αは、前記ノイズメトリック及びカットオフパラメータCの関数であり、δ≧CならばM=１である、請求項３に記載の方法。

【請求項5】

【数63】

であり、B_vは前記１つ以上の入力画像の前記ビット深さ解像度を示し、Δⁱ _Lは、前記第１最小ルマ値の前記第１最大ルマ値からの差を示し、

【数64】

であり、Pⁱは、前記ノイズメトリックを示し、

【数65】

である、請求項４に記載の方法。

【請求項6】

前記第２最小ルマ値：

【数66】

及び前記第２最大ルマ値：

【数67】

は、次式のように計算され：

【数68】

B_vは、前記１つ以上の入力画像の前記ビット深さ解像度を示し、Mは前記スカラを示し、

【数69】

であり、vⁱ _L,min、vⁱ _L,max、及びvⁱ _L,avgは、前記第１最小ルマ値、前記第１最大ルマ値、及び前記１つ以上の入力画像の中の平均ルマ値を示す、請求項３～５のいずれかに記載の方法。

【請求項7】

前記ノイズメトリックを計算するステップは、
前記１つ以上の入力画像の中のルマ値を[０,１）に正規化して、１つ以上の正規化画像を生成するステップと、
エッジ検出演算子及び１つ以上の閾値に基づき、前記１つ以上の正規化画像の中のエッジポイントを決定するステップと、
前記１つ以上の正規化画像の中のピクセルの合計数に対する、前記決定したエッジポイントのパーセンテージを決定するステップと、
を含む、請求項３～６のいずれかに記載の方法。

【請求項8】

前記エッジ検出演算子は、Sobel演算子を含む、請求項７に記載の方法。

【請求項9】

前記１つ以上の正規化画像の中のj番目の画像について前記閾値を計算するステップは、

【数70】

を計算するステップを含み、B_vは前記j番目の画像の前記ビット深さ解像度を示し、

【数71】

であり、vⁱ _j,L,min、vⁱ _j,L,max、及びvⁱ _j,L,avgは、前記j番目の画像の中の最小ルマ値、前記j番目の画像の中の最大ルマ値、及び前記j番目の画像の平均ルマ値を示す、請求項７又は８に記載の方法。

【請求項10】

前記ノイズメトリックPⁱを決定するステップは、
Pⁱ=max（Pⁱ _j）を計算するステップを更に含み、Pⁱ _jは、前記１つ以上の正規化画像の中の前記j番目の正規化画像の中のエッジポイントのパーセンテージを示す、請求項９に記載の方法。

【請求項11】

前記順方向ルマリシェーピング関数及び前記順方向クロマリシェーピング関数を適用して、前記第１ダイナミックレンジの前記１つ以上の入力画像を、第２ダイナミックレンジの１つ以上のリシェーピング画像にマッピングするステップと、
前記１つ以上のリシェーピング画像を符号化して、コーディングビットストリームを生成するステップと、
を更に含む請求項２～１０のいずれかに記載の方法。

【請求項12】

１つ以上のプロセッサにより請求項１～１１のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。

【請求項13】

プロセッサを含み、請求項１～１１のいずれかに記載の方法のうちのいずれか１つを実行するよう構成される機器。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、米国仮特許出願番号第６２/９４０,９４２号、２０１９年１１月２７日出願、及び欧州特許出願番号第１９２１１７３０.７号、２０１９年１１月２７日出願、の優先権の利益を請求する。これらの出願の各々は参照によりここに組み込まれる。

【0002】

［技術分野］
本開示は、概して画像に関連する。特に、本発明の実施形態は、高ダイナミックレンジ（high-dynamic range （HDR））画像がリシェーピング関数を用いて標準ダイナミックレンジ（standard-dynamic range （SDR））画像から再構成されるコーディング効率を向上することに関する。

【背景技術】

【0003】

本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range （DR））」は、例えば最も暗い灰色（黒）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

【0004】

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、人間の視覚システム（HVS）の大きさの１４～１５倍又はそれより大きな程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「視覚ダイナミックレンジ（visual dynamic range （VDR））」又は「拡張ダイナミックレンジ（enhanced dynamic range （EDR））」は、個々に又は同義的に、目の動きを含む人間の視覚システム（HVS）によりシーン又は画像内で知覚可能なDRに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。本願明細書で使用されるとき、EDRは、５～６桁の大きさに広がるDRに関連してよい。従って、HDRと呼ばれる実際のシーンに比べておそらくやや狭いが、それにも関わらず、VDR又はEDRは、広いDR幅を表し、HDRと呼ばれ得る。

【0005】

実際には、画像は１つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表される。例えば、ガンマ輝度コーディングを使用すると、n≦８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジの画像であると考えられる。一方で、n≧１０である画像は、拡張ダイナミックレンジの画像であると考えられてよい。HDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。

【0006】

大部分の消費者デスクトップディスプレイは、現在、２００～３００cd/m^２又はニトの輝度をサポートする。大部分の消費者HDTVは、３００～５００ニトの範囲であり、新しいモデルは１０００ニト（cd/m^２）にまで達している。そのような従来のディスプレイは、HDRに対して標準ダイナミックレンジ（SDR）とも呼ばれる、低ダイナミックレンジ（lower dynamic range （LDR））の特徴を示す。HDRコンテンツの利用可能性が、キャプチャ機器（例えばカメラ）及びHDRディスプレイ（例えば、Dolby LaboratoriesのPRM-４２００プロフェッショナルリファレンスモニタ）の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト、又はそれより高い）をサポートするHDRディスプレイ上で表示されるようになり得る。

【0007】

伝統的な画像パイプラインでは、キャプチャした画像は、非線形光電子機能（opto-electronic function （OETF））を用いて量子化される。OETFは、線形のシーンの光を非線形のビデオ信号（例えば、ガンマコーディングRGB又はYCbCr）へと変換する。次に、受信機では、ディスプレイ上で表示される前に、信号は、電子光伝達関数（electro-optical transfer function （EOTF））により処理される。EOTFは、ビデオ信号値を出力スクリーンカラー値へと変換する。そのような非線形関数は、ITU-R Rec. BT.７０９及びBT.２０２０において記述された伝統的な「ガンマ（gamma）」曲線、 SMPTE ST ２０８４において記述された“PQ” （perceptual quantization）曲線、及びRec.ITU-RBT.２１００において記述された“HybridLog-gamma”又は“HLG”曲線、を含む。

【0008】

本願明細書で使用されるとき、「順方向リシェーピング（forward reshaping）」は、デジタル画像の元のビット深さ及び元のコードワード分布又は表現（例えば、ガンマ、PQ、HLG、等）から同じ又は異なるビット深さの画像及び異なるコードワード分布又は表現への、デジタル画像のサンプル－サンプル又はコードワード－コードワードマッピングの処理を示す。リシェーピングは、固定ビットレートにおいて、圧縮率の向上又は画質の向上を可能にする。例えば、限定ではなく、リシェーピングは、１０ビット又は１２ビットのPQコーディングHDRビデオに適用されて、１０ビットビデオコーディングアーキテクチャにおけるコーディング効率を向上し得る。受信機では、受信信号（リシェーピングされてもよく、されてなくてもよい）を伸長した後に、受信機は、「逆（又は逆方向）リシェーピング関数」を適用して、信号を、該信号の元のコードワード分布に復元し、及び／又はより高いダイナミックレンジを達成してよい。

【0009】

本願明細書で使用されるとき、用語「レート制御」は、画像及びビデオ圧縮の間に量子化を調整して、全体のビットレート及び／又はコーディングビットストリームの画質に関連する特定の目標を達成することを表す。伝統的なリシェーピング技術は、ビデオコーデック内のレート制御メカニズムと独立している。ここで発明者らにより理解されたように、HDRコーディングにおけるコーディングアーチファクトを低減する、レート制御認識リシェーピングのための改良された技術が望まれる。

【0010】

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。

【図面の簡単な説明】

【0011】

本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。

【0012】

【図1A】従来技術による、リシェーピング関数を使用するHDRデータのための例示的な単一レイヤエンコーダを示す。

【0013】

【図1B】従来技術による、図１Aのエンコーダに対応する例示的なHDRデコーダを示す。

【0014】

【図2A】シーンの中の実際のHDRルマコードワード範囲に関連するパラメータの例を示す。

【0015】

【図2B】本発明の実施形態により調整される、視覚HDRルマコードワード範囲に関連するパラメータの例を示す。

【0016】

【図3】本発明の実施形態により調整される、順方向リシェーピングマッピングの例を示す。

【0017】

【図4A】本発明の実施形態による、適応パラメータ（M）の例示的な曲線を示す;

【図4B】本発明の実施形態による、適応パラメータ（M）の例示的な曲線を示す;

【0018】

【図5】本発明の実施形態により調整される、順方向リシェーピングマッピングの第２の例を示す。

【0019】

【図6】本発明の実施形態によるレート制御認識リシェーピングのための例示的な処理を示す。

【発明を実施するための形態】

【0020】

HDR画像及びビデオコンテンツをコーディングするためにレート制御認識リシェーピング関数を設計することが、本願明細書に記載される。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し（occluding）、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。

【0021】

＜要約＞
本願明細書に記載される例示的な実施形態は、HDR画像の効率的コーディングのためのレート制御認識リシェーピング関数を設計することに関する。実施形態では、１つ以上のプロセッサを含む機器において、プロセッサは、第１ダイナミックレンジ（例えば、高ダイナミックレンジ）の１つ以上の入力画像を受信し、１つ以上の入力画像の中のルマピクセルについて第１コードワード範囲を計算し、１つ以上の入力画像の中のルマピクセルについてノイズメトリックを計算し、第１コードワード範囲及びノイズメトリックに基づき第１コードワード範囲を調整するためのスカラを計算し、スカラが１より大きい場合に、ａ）スカラ及び第１コードワード範囲に基づき、１つ以上の入力画像の中のルマピクセルについて第２コードワード範囲を生成し、第２コードワード範囲は第１コードワード範囲より大きく、ｂ）順方向ルマリシェーピング関数を生成し、順方向ルマリシェーピング関数は、第２コードワード範囲に基づき、ルマピクセル値を第１ダイナミックレンジから第２ダイナミックレンジ（例えば、標準ダイナミックレンジ）にマッピングし、その他の場合に、第１コードワード範囲に基づき、順方向ルマリシェーピング関数を生成する。

【0022】

＜例示的なHDRコーディングシステム＞
A. Kheradmand他による米国特許番号第１０,０３２,２６２号、「Block-based content-adaptive reshaping for high dynamic range images」、’２６２特許と呼び、参照によりその全体がここに組み込まれる、に記載されているように、図１A及び図１Bは、画像リシェーピングを用いる例示的な単一レイヤ後方互換コーデックフレームワークを示す。より具体的に、図１Aは、例示的なエンコーダ側のコーデックアーキテクチャを示し、これは、上流のビデオエンコーダ内に１つ以上のコンピューティングプロセッサにより実装されてよい。図１Bは、例示的なデコーダ側コーデックアーキテクチャを示し、これは、１つ以上の下流のビデオデコーダ内に１つ以上のコンピューティングプロセッサによって実装されてもよい。

【0023】

このフレームワークの下で、参照HDRコンテンツ（１２０）が与えられると、対応するSDRコンテンツ（１３４）（基本レイヤ（base-layer （BL））又はリシェーピングコンテンツとも呼ばれる）は、符号化され、エンコーダ側のコーデックアーキテクチャを実装する上流の符号化装置により、単一レイヤのコーディングビデオ信号（１４４）で送信される。SDRコンテンツは、単一レイヤのビデオ信号で、デコーダ側コーデックアーキテクチャを実装する下流の復号装置により、受信され復号される。逆方向（backward）リシェーピングメタデータ（１５２）も、SDRコンテンツと共にビデオ信号内に符号化され送信される。その結果、HDRディスプレイ装置は、SDRコンテンツ及び逆方向リシェーピングメタデータに基づき、HDRコンテンツを再構成できる。一般性を失うことなく、幾つかの実施形態では、非後方互換システムにおけるように、SDRコンテンツは、それ自体は試聴できない可能性があるが、試聴可能なSDR又はHDRコンテンツを生成する逆方向リシェーピング関数と組み合わせて試聴されなければならない。後方互換性をサポートする他の実施形態では、レガシSDRデコーダは、依然として、逆方向リシェーピング関数を利用することなく、受信したSDRコンテンツを再生できる。

【0024】

図１Aに示されるように、HDR画像（１２０）及び目標ダイナミックレンジが与えられると、ステップ１３０で順方向（forward）リシェーピング関数（１３２）を生成した後に、順方向リシェーピング関数が与えられると、順方向リシェーピングマッピングステップ（１３２）がHDR画像に適用されて、リシェーピングSDR基本レイヤ（１３４）を生成する。圧縮ブロック（１４２）（例えば、AVC、HEV、AV１、等のような任意の知られているビデオコーディングアルゴリズムに従い実装されるエンコーダ）は、SDR画像（１３４）を単一レイヤ（１４４）のビデオ信号に圧縮／符号化する。更に、逆方向リシェーピング関数生成器（１５０）は、逆方向リシェーピング関数を生成してよい。逆方向リシェーピング関数は、デコーダへメタデータ（１５２）として送信されてよい。幾つかの実施形態では、メタデータ（１５２）は、順方向ルマリシェーピング関数（１３０）を表してよい。従って、逆方向リシェーピング関数（図示しない）を生成することは、デコーダ次第である。

【0025】

下の逆方向リシェーピング関数を表す／指定する逆方向リシェーピングメタデータの例は、逆トーンマッピング関数、逆ルママッピング関数、逆クロママッピング関数、ルックアップテーブル（LUT）、多項式、逆ディスプレイ管理係数／パラメータ等を含んでよいが、必ずしもそれらのみに限定されない。種々の実施形態では、ルマ逆方向リシェーピング関数及びクロマ逆方向リシェーピング関数は、一緒に又は別個に導出され／最適化されてよく、例えば限定ではなく’２６２特許に記載されたような種々の技術を用いて導出されてよい。

【0026】

逆方向リシェーピングメタデータ（１５２）は、逆方向リシェーピング関数生成器（１５０）によりSDR画像（１３４）及び目標HDR画像（１２０）に基づき生成され、ビデオ信号１４４の部分として、例えば補足拡張情報（supplemental enhancement information （SEI））メッセージとして多重化されてよい。

【0027】

幾つかの実施形態では、逆方向リシェーピングメタデータ（１５２）は、ビデオ信号の中で、全体の画像メタデータの部分として運ばれ、これは、ビデオ信号の中で、SDR画像がビデオ信号の中に符号化される単一レイヤとは別個である。例えば、逆方向リシェーピングメタデータ（１５２）は、コーディングビットストリームの中の成分ストリーム内に符号化されてよい。この成分ストリームは、SDR画像（１３４）が符号化される（コーディングビットストリームの）単一レイヤと別個であってよく又はそうでなくてよい。

【0028】

従って、逆方向リシェーピングメタデータ（１５２）は、エンコーダ側で生成でき又は予め生成でき、エンコーダ側で利用可能な強力な計算リソース及びオフライン符号化フロー（限定ではないが、コンテンツ適応型マルチパス、先読み操作、逆ルママッピング、逆クロママッピング、CDFに基づくヒストグラム近似及び／又は転送、等）を活用できる。

【0029】

図１Aのエンコーダ側のアーキテクチャは、HDR画像（１２０）をビデオ信号の中のコーディング／圧縮HDR画像へと直接符号化するのを回避するために使用できる。代わりに、ビデオ信号の中の逆方向リシェーピングメタデータ（１５２）は、下流の復号装置が、（ビデオ信号内に符号化されている）SDR画像（１３４）を逆方向リシェーピングして、参照HDR画像（１２０）と同一又は厳密に／最適に近似している再構成画像にできるようにするために使用できる。

【0030】

幾つかの実施形態では、図１Bに示すように、単一レイヤ（１４４）内のSDR画像及び全体の画像メタデータの部分として逆方向リシェーピングメタデータ（１５２）と共に符号化されたビデオ信号は、コーデックフレームワークのデコーダ側で入力として受信される。伸長ブロック１５４は、単一レイヤ（１４４）のビデオ信号内の圧縮ビデオデータを、伸長／復号して、復号SDR画像（１５６）にする。伸長１５４は、標準的に圧縮１４２の逆に対応する。復号SDR画像（１５６）は、SDR画像（１３４）と同じであってよく、圧縮ブロック（１４２）及び伸長ブロック（１５４）における量子化誤差の影響を受けており、SDRディスプレイ装置のために最適化されていてよい。後方互換システムでは、復号SDR画像（１５６）は、出力SDRビデオ信号の中で（例えば、HDMI（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、SDRディスプレイ装置上でレンダリングされてよい。

【0031】

任意で、代替として、又は追加で、同じ又は別の実施形態では、逆方向リシェーピングブロック１５８は、逆方向（又は順方向）リシェーピングメタデータ（１５２）を入力ビデオ信号から抽出し、逆方向リシェーピング関数をリシェーピングメタデータ（１５２）に基づき構成し、逆方向リシェーピング演算を復号SDR画像（１５６）に対して、最適な逆方向リシェーピング関数に基づき実行して、逆方向リシェーピング画像（１６０）（又は再構成HDR画像）を生成する。幾つかの実施形態では、逆方向リシェーピング画像は、参照HDR画像（１２０）と同一の又は厳密に／最適に近似する製作品質の又は製作品質に近いHDR画像を表す。逆方向リシェーピング画像１６０は、出力HDRビデオ信号の中で（例えば、HDMI（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、HDRディスプレイ装置上でレンダリングされてよい。

【0032】

幾つかの実施形態では、HDRディスプレイ装置に固有のディスプレイ管理操作が、逆方向リシェーピング画像（１６０）に対して、逆方向リシェーピング関画像（１６０）をHDRディスプレイ装置上でレンダリングするHDR画像レンダリング操作の部分として実行されてよい。

【0033】

＜レート制御認識リシェーピング＞
レート制御は、任意のビデオ圧縮パイプラインの統合部分である。レート制御の背後にある原理は、目標ビットレートを達成するために、ピクチャがどれだけ量子化されるかを調整することである。一般に、フレーム当たりのビットが多いほど、良好な視覚品質に対応するが、フレーム当たり多くのビットを割り当てることには、帯域幅の増大が伴う。レート制御は、目標ビットレートと許容可能な品質との間のバランスを見付けようとする。

【0034】

例えば、多くのレート制御方式の下では、複雑なテクスチャを有するピクチャは、視覚的に重要であると見なされ、量子化中により多くのビットを割り当てられる。しかしながら、知覚的に無意味なコンテンツを有するノイズの多い画像は、複雑なテクスチャを示す可能性があり、結果として必要以上に多くのビットを割り当てられる可能性がある。知覚的に無意味なコンテンツのためにより多くのビットを割り当てることは、実際のコンテンツに少ないビットを割り当てることに対応する。これは、非常に非効率であり、全体の視覚品質を低下させ得る。

【0035】

図１Aに示すように、幾つかの実施形態では、リシェーピング関数を生成するステップ（例えば、ブロック１３０）は、完全に独立しており、基礎にあるエンコーダ（１４２）のレート制御最適化を認識しなくてよい。結果として、肉眼では殆ど見えないが、高周波数ノイズを含む幾つかの暗いシーンは、多くのビットを消費する可能性があり、より小さなHDRコードワード範囲を有するシーンは、基本レイヤの中でより広いコードワード範囲にマッピングされ、結果として有意な数のビットを使用する。ビット割り当てを改善するために、新しいリシェーピング技術が提案される。これは、元のリシェーピングを、期待されるレート制御メカニズムに基づき調整し、従ってより高品質の画像を提供する。

【0036】

＜画像リシェーピング＞
リシェーピングの間、HDRフレームの各チャネル又は色成分は、別個に、基本レイヤ（１３４）にマッピングされる。HDRチャネルの基本レイヤへのマッピングは、一般に順方向リシェーピングと呼ばれる。例えば、HDRの中のルマチャネルは、基本レイヤルマチャネルに、ルマ順方向リシェーピング曲線を用いてマッピングされる。HDRのクロマチャネルは、それら各々の順方向クロマリシェーピング曲線を用いて、別個に基本レイヤクロマチャネルにマッピングしてよい。最高視覚品質を達成するために、基本レイヤは基本レイヤコードワード範囲の大部分を占有するよう設計されるが、特定の条件下では（例えば、小さなコードワード範囲を有するノイズの多いHDRコンテンツでは）、視覚品質が殆ど向上しないので、基本レイヤコードワード範囲全体に広がる必要はない。代わりに、ビットレートは、小さなコードワード範囲のHDRコンテンツを、基本レイヤ内でより小さなコードワード範囲に制限することにより、低下させることができる。

【0037】

ルマチャネル順方向リシェーピング関数をf_Lで示すとすると、それは、HDRルマ値v_Lを基本レイヤルマ値s_Lにマッピングし、つまりs_L=f_L（v_L）である。実施形態では、限定ではなく、関数は、単調に減少しなくてよい。

【0038】

本願明細書で使用されるとき、用語「シーン」又は「ピクチャグループ」は、同様の色又はダイナミックレンジ特性を有する、ビデオシーケンスの中の連続フレームのセットを表す。例示的な実施形態はシーンを表すことがあるが、本願明細書に記載される順方向リシェーピング関数及び／又は対応する逆方向リシェーピング関数は、単一画像、単一のピクチャグループ、シーン、単一のシーン又は単一のメディアプログラムの中の時間ウィンドウ、等のうちの１つのための同様の方法により構成されてよい。

【0039】

i番目のシーンの中の最小及び最大HDRルマ値が、各々vⁱ _L,min及びvⁱ _L,maxにより与えられるとする。基本レイヤのビット深さB_sを生成するために、関数f_Lは、標準的に、最小HDRルマ値vⁱ _L,minをゼロ（又は他の法定最小値）に、最大HDRルマ値vⁱ _L,maxを最大基本レイヤコードワード２^Bs-１（又は他の法定最大コードワード値）にマッピングしようとする。従って、次式である：

【数1】

範囲[vⁱ _L,min,vⁱ _L,max]のHDRコードワードは、範囲[０,２^Bs-１]の基本レイヤルマコードワードにマッピングされる。これは、基本レイヤルマコードワードrⁱ _Lのコードワード範囲を次式のように与える：

【数2】

【0040】

HDRコードワードのコードワード範囲と関係なく、標準的に、基本レイヤは、許可されたコードワード範囲全体に広がる。

【0041】

クロマチャネルについては、マッピングは僅かに異なる。f_C０及びがf_C１を、各々C０及びC１チャネル（例えば、YCbCr表現におけるCb及びCr）の順方向マッピングであるとする。これらの関数も、単調に減少しなくてよい。実施形態では、基本レイヤクロマコードワードrⁱ _Cxの範囲は、以下のロジックを用いて計算される。手順はC０及びC１について同じなので、クロマに関するサブスクリプトはCxにより置き換えられる。

【数3】

ここで、K_C０及びK_C１は、１．０以下の定数であり、色空間に依存する（例えば、ICtCp色空間の変形であるIPTPQc２色空間では０．５の規定値に設定される）。クロマ順方向リシェーピング関数f_C０及びf_C１は、ルマと独立であるが、クロマコードワードの範囲は、依然として最小及び最大ルマ値により支配される。コードワード範囲が計算された後に、基本レイヤCxチャネルコードワードの最小及び最大は、次の通りである：

【数4】

範囲[vⁱ _Cx,min,vⁱ _Cx,max]のHDR Cxチャネルコードワードは、基本レイヤCxチャネルコードワード範囲[sⁱ _Cx,min,sⁱ _Cx,max]にマッピングされる。実施形態では、HDR Cxチャネルコードワードを基本レイヤコードワードにマッピングする関数は、以下のように与えられてよい：

【数5】

ここで、記号vⁱ _Cx及びsⁱ _Cxは、各々、任意のHDR又は基本レイヤコードワード値を表す。

【0042】

＜レート制御の向上のためのコードワード範囲調整＞
リシェーピング関数は、HDRコードワードを基本レイヤコードワードの範囲にマッピングしようとする。基本レイヤにおける広範なコードワードは、高い視覚品質を維持するために良好である。しかしながら、特定のケースでは（例えば、狭いコードワード範囲を有するノイズの多いHDR信号では）、そのような基本レイヤを圧縮するために必要なビットの数は、視覚品質の向上よりも遙かに重要である。レート制御認識リシェーピング方式は、エンコーダが、そのようなHDRコンテンツにより少数のビットを知的に割り当てることを助け、一方で、通常のHDRコンテンツは不変のまま通過するべきである。

【0043】

そのような方式を設計するために、先ず、そのような特徴を有するHDRフレームを検出し、次に基本レイヤコードワード範囲を調整し（例えば、縮小し）なければならない。基本レイヤコードワード範囲を縮小することは、動き推定中の残差を減少させる。より小さい残差は、DCT係数の大きさを減少させ、エントロピコーディングの後に符号化するために、より少ないビットしか必要ない。

【0044】

実施形態では、基本レイヤコードワード範囲を縮小するための１つの方法は、知覚されるHDRコードワード範囲を調整することによる、例えば、ルマチャネルについて人工的に最小HDR値を減少させ及び／又は最大HDR値を増大させることによる。実際のHDR画像には変更がないことに留意する。計算された最小及び最大ルマHDR値を調整するだけでよく、その結果、順方向ルマリシェーピング曲線が変更される。これらの更新された（調整された、又は仮想の（virtual））値は、各々次式のように表され：

【数6】

以下の通りである：

【数7】

【0045】

ルマチャネルについて、更新された順方向リシェーピング関数：

【数8】

は、仮想最小及び最大値：

【数9】

を基本レイヤに以下のようにマッピングする：

【数10】

【0046】

以下が単調に減少しない関数なので：

【数11】

際の最小及び最大値、つまりvⁱ _L,min及びvⁱ _L,maxは、以下の異なる基本レイヤコードワードにマッピングする：

【数12】

この更新されたルマ順方向リシェーピング曲線により、マッピングされた基本レイヤルマコードワード範囲は小さくなり、

【数13】

以下の通りである：

【数14】

纏めると、最小HDRルマ値を減少させる、及び／又は最大HDRルマ値を増大させることは、基本レイヤルマコードワード範囲を縮小し、後続の圧縮ステップ中に、より効率的なレート制御を可能にする。

【0047】

クロマチャネルについて、基本レイヤコードワードの範囲は、ルマHDR最小及び最大値に依存する。更新された（仮想の）値により、クロマ基本レイヤコードワード範囲も、以下のように変化する：

【数15】

更新された分母：

【数16】

は大きくなり、コードワード範囲は縮小し、つまり次式である：

【数17】

式（１０）の分子は前と同じであり、以下の通りである：

【数18】

ことに留意する。これは、クロマ基本レイヤ範囲：

【数19】

を以下のように変更する：

【数20】

【0048】

仮想最小及び最大HDRルマ値を生成することにより、ルマ及びクロマ基本レイヤコードワードの範囲は、前よりも小さくなることができる。この変更は、ビットレートを低減することを助けることができる。これらの値が変更されるべき量は、Mとして示される基本レイヤコードワード範囲縮小パラメータの強度により制御される。Mを導出する方法の詳細は、以下に提供される。

【0049】

議論されるように、最小ルマHDR値vⁱ _L,min及び最大ルマHDR値vⁱ _L,maxを調整することにより、基本レイヤのコードワード範囲を縮小することができ、従って、ビットレートを効果的に低減する。図２Aに示すように、Δⁱ _L,１及びΔⁱ _L,２は、次式の通りである：

【数21】

ここで、vⁱ _L,min、vⁱ _L,avg、及びvⁱ _L,maxは、シーンiについて、最小、平均、及び最大HDRルマ値を示す。最小HDRルマ値と最大HDRルマ値との間の差は、シーンiについてΔⁱ _Lとして示され、以下のように導出できる：

【数22】

【0050】

例として、表１は、Δⁱ _Lを計算する例示的なアルゴリズムを擬似コードで示す。シーンiの中のルマチャネルフレームjは、Fⁱ _j,Lにより示され、幅W_L及び高さH_Lを有する。このフレームの中の特定のピクセルは、Fⁱ _j,L（m,n）により示され、ここで、（m,n）はピクセルの位置である。Tを、シーン内のフレームの合計数であるとする。更に、vⁱ _j,L,min、vⁱ _j,L,avg、及びvⁱ _j,L,maxを、フレームjルマチャネルの最小、平均、及び最大HDRルマ値であるとする。

【表1】

【0051】

＜スカラMの計算＞
実施形態では、基本レイヤコードワード範囲適応Mの値は、１以上である。M=１のとき、レート制御認識リシェーピングは、実行されない。M>１では、最小及び最大HDRルマ値vⁱ _L,min及びvⁱ _L,maxは、仮想の値：

【数23】

に変換され、次式の通りである：

【数24】

一般に、M>１ならば、図２Bに示されるように、次の通りである：

【数25】

これは、更新された基本レイヤコードワード範囲：

【数26】

を縮小し、次式：

【数27】

は、単調に減少しない関数である。前述のように、クロマ基本レイヤコードワード範囲：

【数28】

も、説明したように、以下の分母が増大するので、より小さくなる：

【数29】

従って、Mを増大することは、この特定のフレーム又はシーンを符号化するために必要なビットを減少させ、より多くのビットが、本当に高いビットレートを必要としているフレーム又はシーンの中で割り当てられることを可能にする。

【0052】

式（１４）に示すように、標準的な実施形態では、Mは、vⁱ _L,min及びvⁱ _L,maxの両方を調整するために使用されてよい。別の実施形態では、（例えば、ハイライト又は暗がりを良好に保存するために）２つの境界値のうちの１つのみを調整することが望ましい場合がある。従って、vⁱ _L,minを不変のままにして、式（１４）を用いてvⁱ _L,maxのみを調整してよい。或いは、vⁱ _L,maxを不変のままにして、式（１４ａ）を用いてvⁱ _L,minを調整してよい。

【0053】

図３は、最小及び最大HDR値を調整することが、基本レイヤのコードワード範囲にどのように影響するかの例を示す。図は、核となる概念を説明することを助けるために、順方向リシェーピング関数の非常に粗い表現を提供する。図中のグラフは、縮尺通りに描かれない。元のルマ順方向リシェーピングマッピング（３１０）は調整されたマッピング（３２０）へと更新されるので、基本レイヤコードワードの範囲は、rⁱ _Lから次式にまで縮小する：

【数30】

変更は、基本レイヤ縮小係数の強度、つまりMにより支配される。クロママッピングについても同様の調整が生じる。

【0054】

式（１４）では、vⁱ _L,minandvⁱ _L,maxは、Δⁱ _L,１及びΔⁱ _L,２をMで乗算することにより、調整される。これらの変更は、SDRコードワード範囲に自動的に影響を与える。元のSDRコードワード範囲を直接的に狭くすることにより、正確に同じ影響が達成されてよいことに留意する。例えば、次式とする。

【数31】

次に、元のSDR範囲[０,２^Bs）について、M>１では、更新されたSDRコードワード範囲は、以下のように計算できる：

【数32】

【0055】

＜HDRコードワード範囲を調整するための基準＞
仮想HDRルマ値を生成することは、ルマ及びクロマチャネルのための基本レイヤコードワード範囲が縮小されることを保証する。この縮小は、結果として、そのような基本レイヤを符号化するためのビットレートを低下させる。しかしながら、そのような調整は選択されたシーンにのみ行われる必要がある。実施形態では、限定ではなく、小さなHDRコードワード範囲及び高周波数のノイズのようなコンテンツを有するシーンが、より小さなSDRコードワード範囲にマッピングされるべきであると提案される。そのような場合には、３段階のアルゴリズムが提案される：
１）比較的小さなコードワード範囲を有するノイズの多いHDRコンテンツを識別する特徴を計算する。
２）基本レイヤコードワード範囲縮小の強度を特徴値から評価する。
３）変更された順方向リシェーピング曲線を構成し、基本レイヤを生成する。

【0056】

前と同様に、シーンを参照して議論する。しかしながら、シーンは、連続フレームのグループ、又は単一フレームであることもできる。シーンの中の最小、平均、及び最大輝度値が与えられると、実施形態では、Δⁱ _L（式（１３）を参照）は、入力HDRコンテンツが小さなコードワード範囲を有するか否かを識別するために使用されてよい。例えば、Δⁱ _Lが特定の閾値（例えば、Th_HDR）より小さい場合、シーンは、小さなHDRコードワード範囲を有するシーンとして分類できる。

【0057】

当業者により知られているように、ピクチャ又はフレームの領域を「ノイズが多い」と分類するための種々のアルゴリズムが存在する。例えば、ブロックに基づく統計、例えばそれらの平均、偏差、及び／又は標準偏差を計算し、分類のためにこれらの統計データを使用してよい。実施形態では、限定ではなく、ピクチャ内のノノイズのメトリックは、「エッジ」として分類されたフレーム内のピクセルの数に基づき導出される。詳細は、次に提供される。

【0058】

ノイズの多いコンテンツを検出するために、フレームの各ルマ及び色チャネルの中のエッジポイントの合計数を計算することにより開始してよい。Iⁱ _j,L、Iⁱ _j,C０、及びIⁱ _j,C１は、シーンiの中のフレームjの正規化ルマ及びクロマチャネル、つまりFⁱ _j,Lを示す。正規化画像の中の全てのピクセル値は、範囲[０,１）内にある。B_vがソースHDRのビット深さであるとする。

【数33】

【0059】

ルマチャネル画像の高さ及び幅を、各々H_L、W_Lとする。H_Cx、W_Cxが、クロマチャネルの高さ及び幅を示すとする。実施形態では、任意の従来知られているエッジ検出技術（例えば、Sobel演算子、等）を適用して、ルマチャネル内のエッジを識別してよい。例えば、実施形態では、Sobel演算子は、次式により与えられる：

【数34】

カーネルΨ_１及びΨ_２は、各々、ルマチャネルについて、水平及び垂直勾配画像Gⁱ _１,j,L及びGⁱ _２,j,Lを評価するために使用される。

【数35】

ここで、記号：

【数36】

は２D畳み込み演算子を示し、Gⁱ _j,Lはルマ勾配の大きさの画像である。クロマチャネルの勾配画像も評価される。

【数37】

【0060】

勾配画像が計算された後に、閾値Th_jより高い勾配の大きさを有するピクセルは、エッジポイントとして指定される。固定閾値を選択することは、あまり信頼性が高くない可能性がある。従って、実施形態では、適応型閾値が望ましく、以下のように計算されてよい：

【数38】

ここで、閾値の値は、範囲[０.００１,１]内にある。定数０．００１は、閾値に下側境界を設ける。従って、それはゼロにまで減少されない。量Δⁱ _j,L,１及びΔⁱ _j,L,２は、強度差であり、勾配にほぼ類似している。次式：

【数39】

の最小値を取ることは、画像内の正規化されたピクセル毎の差の範囲の推定を与え、適切な閾値を提供する。閾値の値は、ルマ値によってのみ決定されるが、同じ閾値がルマ及びクロマチャネル勾配画像の両方に適用されることに留意する。閾値がフレーム毎に変化しても、アルゴリズム全体の時間的一貫性に直接影響を与えない。

【0061】

小さなコードワード範囲を有するノイズの多い画像では、Δⁱ _j,L,１又はΔⁱ _j,L,２が小さく、従って、閾値Th_jは低く、より多くのポイントがエッジポイントとして検出される。反対に、Δⁱ _j,L,１又はΔⁱ _j,L,２のより高い値を有する通常の画像は、閾値を増大させ、検出されるエッジポイントの数を減少させる。

【0062】

ルマ又はクロマチャネルの中のエッジピクセルのパーセンテージを、各々Pⁱ _j,L、Pⁱ _j,C０、及びPⁱ _j,C１により示す。勾配画像の中のピクセル毎に、値が閾値Th_j以上である場合、それはエッジピクセルと考えられる。恒等関数（identity function）を

【数40】

とすると、以下の通りである：

【数41】

Pⁱ _jを、そのフレームの３つの全部のチャネルの中の最大値とし、Pⁱを、シーンの中の全部のフレームのうちの最大値とする。

【数42】

【0063】

表２は、式（１９）～（２３）を用いてフレーム内のエッジポイントのパーセンテージを計算する例示的なアルゴリズムを提供する。一般的に、エッジピクセルのパーセンテージは、高周波数ノイズを検出するための関連する特徴である。ノイズの多い画像は、大幅に異なる強度のピクセルが並置されたテクスチャがある。勾配は、一般に、それらの領域内において高く、エッジピクセルの密度が高い。これとは反対に、円滑な画像は、より少ないエッジポイント、及びエッジピクセルのより低いパーセンテージを有する。従って、HDRルマ強度コードワード範囲とエッジポイントのパーセンテージ特徴とを結合して、基本レイヤコードワード範囲縮小強度Mを計算してよい。

【表2-1】

【表2-2】

【0064】

＜M適応型方式の例＞
上述のように、ハード閾値（例えば、Th_HDR）を特徴値に対して使用して、特定のHDRシーンがノイズが多いか、又は小さいコードワード範囲を有するかどうかを決定してよい。ハード閾値に伴う１つの潜在的な問題は、時間的不一致である。例えば、シーン特性がレート制御認識リシェーピングをトリガするが、直ぐ次のシーンは通常のリシェーピングにより処理されるシナリオが可能である。このシナリオは、特に各シーンが１つのフレームのみを有するとき、時間的不一致、及び潜在的な視覚品質問題を生じる。これらの問題を回避するために、そのようなハード閾値を有しない新規な技術が提案される。

【0065】

実施形態では、ノイズが多く小さいコードワード範囲を有するとしてのシーンの２値（例えば、Yes/No）分類の代わりに、特徴値を用いて、基本レイヤ範囲縮小の強度Mを変調してよい。特徴値が、レート制御認識リシェーピングが必要であることを強く示す場合には、より大きなMの値が適用される。反対に、特徴値が、レート制御認識リシェーピングが必要であることの弱い指示である場合には、より小さいMの値が利用される。特徴値を適用してMを計算することにより、各シーンをノイズが多く小さいコードワード範囲を有するとして明示的に分類する必要がない。提案されるアプローチの詳細は、次に説明される。

【0066】

δ及びβが、基本レイヤ範囲縮小の強度Mを制御するパラメータを示すとする。これらのパラメータは、特徴値に依存する。正規化HDRルマ範囲δは、範囲[０,１）にある分数であり、実施形態では、その値は、シーンの中のHDRルマコードワードの範囲、つまりΔⁱ _Lに依存してよく、以下の通りである：

【数43】

【0067】

実施形態では、有理数βは、そのシーンのエッジポイントのパーセンテージ、つまりPⁱに基づき、以下のように計算される：

【数44】

Pⁱ=０では、β=１である。βの値は、[１.０,１００.０]の範囲で変化し、Pi∈（０,１００.０]である。βを計算するために、max（１/Pⁱ,Pⁱ）を選択する理由は、以下の通りである。特徴値Pⁱは、ノイズの多いシーンで大きくなり、１/Pⁱは、殆ど平坦な（特別な変動のない）シーンで大きくなる。両方の場合に、より高いβ、及びより強い基本レイヤコードワード範囲縮小を有することが望ましい。

【0068】

これら２つのパラメータが与えられると、実施形態では、基本レイヤコードワード範囲縮小の強度Mが、指数マッピングを用いて計算でき、以下の通りである：

【数45】

【0069】

曲線βe^-αδは、単調に減少する。C（例えば、C=０.１５）が、正規化カットオフHDRルマコードワード範囲の関数として定数を示すとする。例えば、δ≧Cが、レート制御認識リシェーピングがトリガされるべきではない範囲を示すとする。言い換えると、δ=C以降は、M=１である。値δ=C及びM=１を式（２６）に代入すると、αの値を以下のように計算できる：
M=１=βe^-αC,
これは、次式を意味する：

【数46】

【0070】

図４Aは、δ∈[０,１）に対するMのグラフを示し、β=１０である。グラフから分かるように、δ=０でM=βであり、δ=C=０.１５ではM=１に急速に減少する。定数C=０.１５はカットオフとして動作する。従って、δ≧Cである任意のシーンは、レート制御認識リシェーピングを行われない。アルゴリズムは、δ<Cであるシーンについてのみトリガされる。

【0071】

図４Bは、C=０.１５、０.４５、及び０.７０の値について、δに対するMのグラフの更なる例を示す。カットオフポイントは、Cと共に変化する。実施形態では、定数Cの値は、０．１５に設定されたデフォルトにより、カスタマイズ可能な構成ファイルを通じて調整されてよい。シーンHDR輝度コードワード範囲Δⁱ _Lが縮小するにつれ（小さい範囲）、δが減少し、Mが増大し、コードワード範囲縮小が強くなる。特徴値からMを計算した後に、最小及び最大ルマHDR値は、前述のように更新される（式（１４）を参照）。表３は、仮想HDR最小及び最大コードワード境界を生成するために、式（２１）、（２２）、（２４）、及び（１４）の例示的な実装を擬似コードで提供する。

【0072】

表３では、前述のように（式（１５）～（１７）を参照）、「if M>１」に続いて、HDRコードワード範囲を増大する代わりに、代替の実施形態では、SDRコードワード範囲も直接減少できる。

【表3】

【0073】

＜順方向リシェーピングマッピングの変更＞
調整された最小及び最大HDRルマ値：

【数47】

が与えられると、ルマ及びクロマ順方向リシェーピング曲線は、以下：

【数48】

を最小及び最大HDRルマ値として使用して、（例えば、’２６２特許におけるような）従来知られている技術を用いて計算される。実施形態では、インデックス範囲[vⁱ _L,min,vⁱ _L,max]の外側の値は、最も近い有効なエントリからコピーすることにより外挿される。言い換えると、インデックス範囲：

【数49】

の中の全部のエントリは、インデックスvⁱ _L,min.における値と同じ値を得る。同様に、インデックス範囲：

【数50】

の中のコードワードは、インデックスvⁱ _L,maxにおける値と同じ値を得る。未使用コードワードは、同じコードワード範囲：

【数51】

に渡る累乗曲線を用いて割り当てられる。結果として、順方向LUTは、また、以下：

【数52】

のHDRルマコードワード範囲を、SDRコードワード範囲[０,２^Bs-１]にマッピングする。クロマ順方向リシェーピング曲線も、以下：

【数53】

により変更される。例えば、式（４）及び（５）を参照する。

【0074】

図５は、実施形態による、調整されたルマ順方向リシェーピングマッピング（５１０）を生成するために変更された、元のルマ順方向リシェーピングマッピング（５０５）の例を示す。元のマッピングでは、ノイズの多いHDR入力で、０～２Kの間の１６ビットHDR値は、１０ビットのBLコードワード範囲[０,１０２３]全体にマッピングされる。これは、むしろ非効率なコーディングをもたらす。調整されたリシェーピングマッピング（５１０）を用いると、入力HDR値は、BLコードワード範囲[０,２３]内にのみマッピングされ、エンコーダ（１４２）によるより効率的な圧縮を可能にする。

【0075】

図６は、実施形態によるレート制御認識順方向リシェーピング関数を生成する例示的な処理を示す。図６に示されるように、HDR入力（１２０）が与えられると、ステップ６０５及び６１０で、入力データがレート制御認識リシェーピングのために調整される価値があると分類できるか（例えば、小さいコードワード範囲Δⁱ _Lを有するノイズの多いHDRデータか）どうかを検出するために、適切な特徴を計算する。例えば、ステプ６０５で、表１のアルゴリズムを適用して、HDRルマコードワード範囲Δⁱ _Lを計算し、次に式（２４）を適用してパラメータδを計算してよい。ステップ６１０で、表２のアルゴリズムを適用して、エッジ演算子を用いてエッジポイントのパーセンテージメトリックPⁱ及び対応するメトリックβ（式（２５）を参照）を計算してよい。これらのパラメータが与えられると、ステップ６１５で、ルマコードワード範囲適応メトリックMを計算する（例えば、表３のアルゴリズムを参照）。M-１ならば、調整を行う必要がなく、ステップ６２５（例えば、ブロック１３０内の処理ブロック）は、前のような順方向ルマリシェーピング関数を、ステップ６０１で計算したHDRコードワード範囲を用いて生成する。M>１ならば、表３に示すように、ステップ６２０で、調整された又は仮想HDRルマコードワード範囲を計算し、それをステップ６３０で使用して、順方向ルマ及びクロマリシェーピング関数を計算する必要がある。

【0076】

本願明細書における議論は、ループ外（out-of-loop）リシェーピングを想定した。ここでは、順方向及び逆方向リシェーピングは、圧縮及び伸長の外部で実行される。しかしながら、HDRコードワード範囲適応の同様の技術は、参照により本願明細書に組み込まれるPCT出願番号第PCT/US２０１９/０１７８９１号、「Image reshaping in video coding using rate distortion optimization」、P. Yin他、２０１９年２月１３日出願において提示されたようなインループリシェーピング方式においても適用可能である。

【0077】

＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はICは、本願明細書に記載したようなレート制御認識リシェーピング関数に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び／又はＩＣは、本願明細書に記載したレート制御認識リシェーピング関数に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。

【0078】

本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のレート制御認識リシェーピング関数のための方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的有形媒体を含んでよい。本発明によるプログラムプロダクトは、種々の非一時的有形形式うちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。

【0079】

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。

【0080】

＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
HDR画像のためのレート制御認識リシェーピング関数に関する例示的な実施形態が従って記載される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

【0081】

本発明の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。
（EEE１）１つ以上のプロセッサを含むリシェーピング関数を生成する方法であって、前記方法は、
第１ダイナミックレンジの１つ以上の入力画像（１２０）を受信するステップと、
前記１つ以上の入力画像の中のルマピクセルについて第１コードワード範囲を計算するステップ（６０５）と、
前記１つ以上の入力画像の中の前記ルマピクセルについてノイズメトリックを計算するステップ（６１０）と、
前記第１コードワード範囲及び前記ノイズメトリックに基づき前記第１コードワード範囲を調整するためのスカラを計算するステップ（６１５）と、
前記スカラが１より大きい場合に、
前記スカラ及び前記第１コードワード範囲に基づき、前記１つ以上の入力画像の中の前記ルマピクセルについて第２コードワード範囲を生成するステップであって、前記第２コードワード範囲は前記第１コードワード範囲より大きい、ステップと、
順方向ルマリシェーピング関数を生成するステップ（６３０）であって、前記順方向ルマリシェーピング関数は、前記第２コードワード範囲に基づき、輝度ピクセル値を前記第１ダイナミックレンジから第２ダイナミックレンジにマッピングする、ステップと、
その他の場合に、
前記第１コードワード範囲に基づき、前記順方向ルマリシェーピング関数を生成するステップ（６２５）と、
を含む方法。
（EEE２）前記スカラが１より大きい場合に、
順方向クロマリシェーピング関数を生成するステップであって、前記順方向クロマリシェーピング関数は、前記第２コードワード範囲に基づき、クロマピクセル値を前記第１ダイナミックレンジから前記第２ダイナミックレンジにマッピングする、ステップと、
その他の場合に、
前記第１コードワード範囲に基づき、前記順方向クロマリシェーピング関数を生成するステップと、
を更に含むEEE１に記載の方法。
（EEE３）前記順方向ルマリシェーピング関数及び前記順方向クロマリシェーピング関数を適用して、前記第１ダイナミックレンジの前記１つ以上の入力画像を、前記第２ダイナミックレンジの１つ以上のリシェーピング画像にマッピングするステップと、
前記１つ以上のリシェーピング画像を符号化して、コーディングビットストリームを生成するステップと、
を更に含むEEE２に記載の方法。
（EEE４）前記第１コードワード範囲を計算するステップは、前記第１ダイナミックレンジの前記１つ以上の入力画像の中の第１最小ルマピクセル値及び第１最大ルマピクセル値を計算するステップを含む、EEE１～３のいずれかに記載の方法。
（EEE５）前記スカラを計算するステップは、前記第１コードワード範囲及び前記ノイズメトリックに基づき、指数マッピングを計算するステップを含む、EEE４に記載の方法。
（EEE６）前記スカラ（M）を計算するステップは、
M=max（βe^-αδ,１.０）を計算するステップを含み、
δは、前記第１コードワード範囲の関数を示し、βは前記ノイズメトリックの関数を示し、αは、前記ノイズメトリック及びカットオフパラメータCの関数であり、δ≧CならばM=１である、EEE５に記載の方法。
（EEE７）

【数54】

であり、B_vは前記１つ以上の入力画像の前記ビット深さ解像度を示し、Δⁱ _Lは、前記第１最小ルマ値の前記第１最大ルマピクセル値からの差を示し、

【数55】

であり、Pⁱは、前記ノイズメトリックを示し、

【数56】

である、EEE６に記載の方法。
（EEE８）前記第２コードワード範囲を生成するステップは、第２最小ルマピクセル値：

【数57】

及び前記第２最大ルマピクセル値：

【数58】

を次式のように計算するステップであって：

【数59】

B_vは、前記１つ以上の入力画像の前記ビット深さ解像度を示し、Mは前記スカラを示し、

【数60】

であり、vⁱ _L,min、vⁱ _L,max、及びvⁱ _L,avgは、前記１つ以上の入力画像の中の前記第１最小ルマピクセル値、前記第１最大ルマピクセル値、及び第１平均ルマピクセル値を示す、請求項４～７のいずれかに記載の方法。
（EEE９）前記ノイズメトリックを計算するステップは、
前記１つ以上の入力画像の中のピクセル値を[０,１）に正規化して、１つ以上の正規化画像を生成するステップと、
エッジ検出演算子及び１つ以上の閾値に基づき、前記１つ以上の正規化画像の中のエッジポイントを決定するステップと、
前記１つ以上の正規化画像の中のピクセルの合計数に対する、前記決定したエッジポイントのパーセンテージに基づき、前記ノイズメトリックを決定するステップと、
を含む、EEE１～８のいずれかに記載の方法。
（EEE１０）前記エッジ検出演算子は、Sobel演算子を含む、EEE９に記載の方法。
（EEE１１）前記１つ以上の正規化画像の中のj番目の画像について前記閾値を計算するステップは、

【数61】

を計算するステップを含み、B_vは前記j番目の画像のビット深さ解像度を示し、

【数62】

であり、vⁱ _j,L,min、vⁱ _j,L,max、及びvⁱ _j,L,avgは、前記j番目の画像の中の最小ルマピクセル値、前記j番目の画像の中の最大ルマピクセル値、及び前記j番目の画像の平均ルマピクセル値を示す、EEE９又は１０に記載の方法。
（EEE１２）前記ノイズメトリックPⁱを決定するステップは、
Pⁱ=max（Pⁱ _j）を計算するステップを更に含み、Pⁱ _jは、前記１つ以上の正規化画像の中の前記j番目の正規化画像の中のエッジポイントのパーセンテージを示す、EEE９～１１のいずれかに記載の方法。
（EEE１３）１つ以上のプロセッサによりEEE１～１２のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
（EEE１４）プロセッサを含み、EEE１～１２に記載の方法のうちのいずれか１つを実行するよう構成される機器。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】