特表 2023-515264 連続性及び可逆性を備えたＨＤＲ画像化のためのリシェーピング関数

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-12

(54)【発明の名称】連続性及び可逆性を備えたＨＤＲ画像化のためのリシェーピング関数

(51)【国際特許分類】

   H04N 19/85 20140101AFI20230405BHJP

   H04N 19/102 20140101ALI20230405BHJP

   H04N 19/176 20140101ALI20230405BHJP

【ＦＩ】

H04N19/85

H04N19/102

H04N19/176

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022563968

(86)(22)【出願日】2021-04-20

(85)【翻訳文提出日】2022-11-15

(86)【国際出願番号】 US2021028237

(87)【国際公開番号】W WO2021216607

(87)【国際公開日】2021-10-28

(31)【優先権主張番号】20170567.0

(32)【優先日】2020-04-21

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/013,063

(32)【優先日】2020-04-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159PP04

5C159RC12

5C159TA05

5C159TB08

5C159TC02

5C159TC35

5C159TD10

5C159TD15

5C159TD16

5C159UA02

5C159UA05

(57)【要約】

高ダイナミックレンジ（HDR）画像の効率的コーディングのための順方向及び逆方向リシェーピング関数を生成する方法及びシステムが提供される。順方向リシェーピング関数の初期セットが与えられると、出力順方向リシェーピング関数は、a）順方向リシェーピング関数を使用して、対応する逆方向リシェーピング関数の第１セットを生成し、b）ピボットポイントの共通セットを持つマルチセグメント多項式表現を使用して、逆方向リシェーピング関数の第２セットを生成し、c）連続するセグメントの間のギャップ値を最小化するために、逆方向リシェーピング関数の第２セットの多項式表現を最適化することにより、逆方向リシェーピング関数の出力集合を生成し、及び、d）順方向リシェーピング関数の出力セットを使用して、元の入力HDRコードワードと再構成されたHDRコードワードとの間の距離を最小化することによって、順方向リシェーピング関数の出力セットを生成することによって、構築される。

【特許請求の範囲】

【請求項1】

プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
第１ダイナミックレンジの第１入力画像セット及び第２ダイナミックレンジの第２入力画像セットにアクセスするステップであって、前記第１入力画像セットと前記第２入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第１入力画像セット及び前記第２入力画像セットに基づき生成された逆方向リシェーピング関数の第１セットにアクセスするステップであって、前記逆方向リシェーピング関数の第１セットの中の各逆方向リシェーピング関数は、前記第１ダイナミックレンジの第１コードワード表現から前記第２ダイナミックレンジの第２コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる、ステップと、
前記逆方向リシェーピング関数の第１セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第１セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第１ピボットと第２ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは３つの元の多項式係数による元の多項式表現で表され：
ｉ）前記セグメントの前記３つの元の多項式係数にアクセスし、
ｉｉ）歪みパラメータを第１歪み値に初期化し、
ｉｉｉ）前記セグメントの第１更新済み多項式係数の１つ以上の新しい値について、
（ａ）前記第１ピボット及び前記第２ピボット、前記第１更新済み多項式係数の新しい値、及び前記第１ピボット及び前記第２ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第２更新済み多項式係数及び第３更新済み多項式係数を求め、
（ｂ）歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法。

【請求項2】

前記セグメントの前記第２更新済み多項式係数及び前記第３更新済み多項式係数を求めることは、前記セグメントの前記第２更新済み多項式係数及び前記第３更新済み多項式係数について、前記第１ピボット及び前記第２ピボット、前記第１更新済み多項式係数の新しい値、及び前記第１ピボット及び前記第２ピボットの対応する出力に基づき、前記セグメントの元の多項式表現に従い、連立方程式を解くことを含む、請求項１に記載の方法。

【請求項3】

前記歪み基準を満たすことは、
前記更新済み多項式係数を求めた後に、
前記更新済み多項式係数及び前記元の多項式係数に基づき、新しい歪みパラメータ値を計算し、
前記第１歪み値を前記新しい歪みパラメータ値と比較し、
前記新しい歪みパラメータ値が前記第１歪み値より小さい場合、前記歪み基準を満たし、前記第１歪み値を前記新しい歪みパラメータ値により更新する、
ことを含む、請求項１又は２に記載の方法。

【請求項4】

前記新しい歪みパラメータ値を計算することは、前記セグメント内の全部のコードワードについて、前記元の多項式表現及び前記更新済み多項式表現を用いて生成された出力の間の累積誤りを計算することを含む、請求項３に記載の方法。

【請求項5】

出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第２ダイナミックレンジの前記第２コードワード表現から前記第１ダイナミックレンジの前記第１コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含む請求項１～４のいずれかに記載の方法。

【請求項6】

出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
第２ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含む、請求項５に記載の方法。

【請求項7】

前記リシェーピングインデックスパラメータが、前記第２ダイナミックレンジにおける入力画像の平均輝度の測定値を含む、請求項１～６のいずれかに記載の方法。

【請求項8】

前記第１ダイナミックレンジが標準ダイナミックレンジを含み、前記第２ダイナミックレンジが高ダイナミックレンジを含む、請求項１～７のいずれかに記載の方法。

【請求項9】

２つ以上のセグメントを含む逆方向リシェーピング関数のセグメントに基づく表現における第１セグメントm=０について、元の多項式表現が

【数42】

を含み、a_０,０ ^（l）,a_０,０ ^（l）,及びa_０,２ ^（l）は、元の多項式係数を表し、lは、逆方向リシェーピング関数の第１セットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、s_b ^Yは、第１ピボット（λ_０）と第２ピボット（λ_１）との間の第１ダイナミックレンジにおける入力コードワードを示し、第１更新済み多項式係数a'_０,１ ^（l）が与えられたとき、第２及び第３更新済み多項式係数を求めることが、

【数43】

を計算することを含み、a_０,０ ^（l）,*はa_０,０ ^（l）の最適更新済み係数を表し、a'_０,２ ^（l）はa_０,２ ^（l）の更新済み係数を表し、

【数44】

は前記第２ピボットの逆方向リシェーピング関数における第２セグメントの元の多項式表現の出力を表す、請求項１～８のいずれかに記載の方法。

【請求項10】

前記第１更新済み多項式係数は、値の範囲[-a_０,１ ^（l）,n・a_０,１ ^（l）]で反復し、nは５より小さい整数値である、請求項９に記載の方法。

【請求項11】

前記新しい歪み値（D'）を計算することが、

【数45】

を計算することを含む、請求項３に従属する請求項９又は１０に記載の方法。

【請求項12】

セグメントm、m>０について、逆方向リシェーピング関数のセグメントに基づく表現において、前記元の多項式表現は、

【数46】

を含み、ここで、a_m,０ ^（l）、a_m,０ ^（l）、及びa_m,２ ^（l）は、前記元の多項式係数を表し、lは、前記逆方向リシェーピング関数のセットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、s_b ^Yは、前記第１ピボット（λ_m）と前記第２ピボット（λ_m+１）との間の前記第１ダイナミックレンジにおける入力コードワードを表し、前記第１更新済み多項式係数（a'_m,０ ^（l））が与えられたとき、前記第２更新済み多項式係数（a'_m,１ ^（l））及び前記第３更新済み多項式係数（a'_m,２ ^（l））を求めることは、

【数47】

を計算することを含み、前記第２ピボットの逆方向リシェーピング関数におけるセグメントm+１の元の多項式表現の出力を表す、請求項１～１１のいずれかに記載の方法。

【請求項13】

前記第１更新済み多項式係数は、値の範囲[-a_m,０ ^（l）,n・a_m,０ ^（l）]で反復し、nは５より小さい整数値である、請求項１２に記載の方法。

【請求項14】

前記新しい歪み値（D'）を計算することが、

【数48】

を計算することを含む、請求項３に従属する請求項１２又は１３に記載の方法。

【請求項15】

前記逆方向リシェーピング関数の出力セットの中の２つの逆方向リシェーピング関数の間を補間することにより、新たな逆方向リシェーピング関数を生成するステップをさらに含み、前記２つの逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項１～１４のいずれかに記載の方法。

【請求項16】

出力順方向リシェーピング関数のセットの中の２つの順方向リシェーピング関数の間を補間することにより、新たな順方向リシェーピング関数を生成するステップをさらに含み、前記２つの順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項５若しくは６又は請求項５若しくは６に従属する請求項７～１５のいずれかに記載の方法。

【請求項17】

２つの逆方向又は順方向リシェーピング関数の間の補間は、前記２つの逆方向又は順方向リシェーピング関数の多項式係数のセットに基づいて、前記新しい逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含む、請求項１５又は１６に記載の方法。

【請求項18】

符号化されるべき入力HDR画像の平均輝度の測定に基づいて、前記２つの逆方向又は順方向リシェーピング関数を選択するステップ、をさらに含む請求項１５～１７のいずれか一項に記載の方法。

【請求項19】

１つ以上のプロセッサにより請求項１～１８のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。

【請求項20】

プロセッサを含み、請求項１～１８に記載の方法のうちのいずれかを実行するよう構成される機器。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、参照により全体がここに組み込まれる、共に２０２０年４月２１日に出願した米国仮出願番号第６３/０１３,０６３号及び欧州特許出願番号第２０１７０５６７.０号の優先権を主張する。

【0002】

［技術分野］
本発明は、概して画像に関連する。より具体的には、本発明の実施形態は、連続性と可逆性の両方の制約を満たすHDRイメージングのためのリシェーピング関数のファミリを生成することに関する。

【背景技術】

【0003】

本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range （DR））」は、例えば最も暗い灰色（黒）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

【0004】

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、人間の視覚システム（HVS）の大きさの１４～１５倍又はそれより大きい程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。

【0005】

実際には、画像は１つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表される。非線形又はガンマ輝度コーディングを使用すると、n≦８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジの画像であると考えられる。一方で、n＞８である画像は、高ダイナミックレンジの画像であると考えられてよい。HDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。

【0006】

大部分の消費者デスクトップディスプレイは、現在、２００～３００cd/m^２又はニトの輝度をサポートする。大部分の消費者HDTVは、３００～５００ニトの範囲であり、新しいモデルは１０００ニト（cd/m^２）にまで達している。そのような従来のディスプレイは、HDRに対して標準ダイナミックレンジ（SDR）とも呼ばれる、低ダイナミックレンジ（lower dynamic range （LDR））の特徴を示す。HDRコンテンツの利用可能性が、キャプチャ機器（例えばカメラ）及びHDRディスプレイ（例えば、Dolby LaboratoriesのPRM-４２００プロフェッショナルリファレンスモニタ）の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト、又はそれより高い）をサポートするHDRディスプレイ上で表示されるようになり得る。

【0007】

伝統的な画像パイプラインでは、キャプチャした画像は、非線形光電子機能（opto-electronic function （OETF））を用いて量子化される。OETFは、線形のシーンの光を非線形のビデオ信号（例えば、ガンマコーディングRGB又はYCbCr）へと変換する。次に、受信機では、ディスプレイ上で表示される前に、信号は、電子光伝達関数（electro-optical transfer function （EOTF））により処理される。EOTFは、ビデオ信号値を出力スクリーンカラー値へと変換する。そのような非線形関数は、ITU-R Rec. BT.７０９及びBT.２０２０において記述された伝統的な「ガンマ（gamma）」曲線、 SMPTE ST ２０８４において記述された“PQ” （perceptual quantization）曲線、及びRec.ITU-RBT.２１００において記述された“HybridLog-gamma”又は“HLG”曲線、を含む。

【0008】

本願明細書で使用されるとき、「リシェーピング」又は「リマッピング」は、デジタル画像の元のビット深さ及び元のコードワード分布又は表現（例えば、ガンマ、PQ、HLG、等）から同じ又は異なるビット深さの画像及び異なるコードワード分布又は表現への、デジタル画像のサンプル－サンプル又はコードワード－コードワードマッピングの処理を示す。リシェーピングは、固定ビットレートにおいて、圧縮率の向上又は画質の向上を可能にする。例えば、限定ではなく、順方向リシェーピングは、１０ビット又は１２ビットのPQコーディングHDRビデオに適用されて、１０ビットビデオコーディングアーキテクチャにおけるコーディング効率を向上し得る。受信機では、受信信号（リシェーピングされてもよく、されてなくてもよい）を伸長した後に、受信機は、「逆（又は逆方向）リシェーピング関数」を適用して、信号を、該信号の元のコードワード分布に復元し、及び／又はより高いダイナミックレンジを達成してよい。

【0009】

リシェーピングは静的又は動的であり得る。静的リシェーピングでは、単一のリシェーピング関数が生成され、単一ストリームについて又は複数ストリームに渡り使用されている。動的リシェーピングでは、リシェーピング関数を入力ビデオストリームの特性に基づいてカスタマイズすることができ、ストリームレベル、シーンレベル、又はフレームレベルで変更することができる。動的リシェーピングが望ましいが、特定の装置は、それをサポートする十分な計算能力がない場合がある。ここで発明者らが認めたように、ビデオコンテンツ、特にHDRコンテンツを表示するときの効率的な画像リシェーピングのための改良された技術が望まれる。

【0010】

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。

【図面の簡単な説明】

【0011】

本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。

【0012】

【図1A】従来技術による、リシェーピング関数を使用するHDRデータのための例示的な単一レイヤエンコーダを示す。

【0013】

【図1B】従来技術による、図１Aのエンコーダに対応する例示的なHDRデコーダを示す。

【0014】

【図2】本発明の実施形態によるリシェーピング関数を設計するための例示的な処理を示す。

【0015】

【図3】本発明の実施形態による逆方向リシェーピング関数のマルチセグメント表現での２つの２次多項式セグメントの間のギャップを縮小する例示的な処理を示す。

【0016】

【図4】実施形態による、リシェーピング関数を用いる例示的なエンコーダを示す。

【発明を実施するための形態】

【0017】

本願明細書は、画像の効率的なコーディングのための画像リシェーピング技術を記載する。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し（occluding）、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。

【0018】

＜要約＞
本願明細書に記載される例示的な実施形態は、画像リシェーピングに関連する。実施形態では、１つ以上のプロセッサを含む機器において、プロセッサは、HDR及びSDRの参照画像の入力ペアを受信する。参照HDR及びSDR画像を用いて生成された順方向リシェーピング関数の初期セットが与えられると、出力順方向及び逆方向リシェーピング関数のセットは、a）順方向リシェーピング関数の初期セットを使用して、対応する逆方向リシェーピング関数の第１セットを生成し、b）逆方向リシェーピング関数の第２セットを生成し、ここで、各逆方向リシェーピング関数は、ピボットポイントの共通セットを持つマルチセグメント多項式表現を使用して表され、c）連続するセグメントの間のギャップ値を最小化するために、逆方向リシェーピング関数の第２セットの多項式表現を最適化することにより、逆方向リシェーピング関数の出力セットを生成し、及び、d）逆方向リシェーピング関数の出力セットを使用して、参照HDR値と再構成済みHDR値との間の距離を最小化することによって、順方向リシェーピング関数の出力セットを生成する、ことによって構築される。

【0019】

セグメント間のギャップ値が最小化される出力逆方向リシェーピング関数を生成する実施形態では、プロセッサは、第１ダイナミックレンジ（例えば、SDR）の第１入力画像セットと、第２ダイナミックレンジ（例えば、HDR）の第２入力画像セットを受信し、第１入力画像セットと第２入力画像セットの間の対応するペアは、同一のシーンを表す。プロセッサは、
前記第１入力画像セット及び前記第２入力画像セットに基づき生成された逆方向リシェーピング関数の第１セットにアクセスし、逆方向リシェーピング関数は、前記第１ダイナミックレンジの第１コードワード表現から前記第２ダイナミックレンジの第２コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられ、
前記逆方向リシェーピング関数の第１セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第１セットと共通のピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力ットを生成し、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第１ピボットと第２ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは３つの元の多項式係数による元の多項式表現で表され：
前記セグメントの前記３つの元の多項式係数にアクセスし、
前記セグメントの第１更新済み多項式係数の１つ以上の新しい値について、
前記第１ピボット及び前記第２ピボット、前記第１更新済み多項式係数の新しい値、及び前記第１ピボット及び前記第２ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第２更新済み多項式係数及び第３更新済み多項式係数を求め、
歪み基準を満たすと、前記更新済み多項式係数により前記セグメントの多項式係数の最適セットを更新する。

【0020】

幾つかの実施形態によると、プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
第１ダイナミックレンジの第１入力画像セット及び第２ダイナミックレンジの第２入力画像セットにアクセスするステップであって、前記第１入力画像セットと前記第２入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第１入力画像セット及び前記第２入力画像セットに基づき生成された逆方向リシェーピング関数の第１セットにアクセスするステップであって、逆方向リシェーピング関数は、前記第１ダイナミックレンジの第１コードワード表現から前記第２ダイナミックレンジの第２コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる（例えば、共通ピボットのセットは、逆方向リシェーピング関数の第１セットの逆方向リシェーピング関数の間で共通であってよい）、ステップと、
前記逆方向リシェーピング関数の第１セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第１セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第１ピボットと第２ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは３つの元の多項式係数による元の多項式表現で表され：
前記セグメントの前記３つの元の多項式係数にアクセスし、
歪みパラメータを第１歪み値に初期化し、
前記セグメントの第１更新済み多項式係数の１つ以上の新しい値について、
前記第１ピボット及び前記第２ピボット、前記第１更新済み多項式係数の新しい値、及び前記第１ピボット及び前記第２ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第２更新済み多項式係数及び第３更新済み多項式係数を解き、
歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法が提供される。

【0021】

逆方向リシェーピング関数の第１セットは、第１入力画像セットと第２入力画像セットを使用して生成された順方向リシェーピング関数の初期セットから生成されてよい。

【0022】

（例えば、逆方向リシェーピング関数の第１セットの）各逆方向リシェーピング関数は、リシェーピングインデックスパラメータとセグメントパラメータによって定義されるという意味で、リシェーピングインデックスパラメータとセグメントパラメータによって特徴づけられることがある。

【0023】

各逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる場合がある。

【0024】

各逆方向リシェーピング関数及び/又は順方向リシェーピング関数は、第２入力画像セットの入力画像間で異なる特性について計算することができる。特性は、第２ダイナミックレンジにおける入力画像の平均輝度の指標又はメトリックを含むことができる。例えば、各逆方向リシェーピング関数（及び順方向リシェーピング関数）は、第２ダイナミックレンジの入力画像の異なる平均輝度に対して計算される場合がある。

【0025】

幾つかの実施形態によると、前記方法は、前記出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第２ダイナミックレンジの前記第２コードワード表現から前記第１ダイナミックレンジの前記第１コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含んでよい。出力順方向リシェーピング関数のセットの各出力順方向リシェーピング関数は、リシェーピングインデックスパラメータ（例えば、異なるリシェーピングインデックスパラメータ）と、共通ピボットのセットを持つ出力順方向リシェーピング関数のセグメントに基づく表現のセグメントパラメータによって特徴づけられる場合がある。出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
第２ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含んでよい。

【0026】

幾つかの実施形態によれば、前記方法は、出力順方向リシェーピング関数のセットの２つの順方向リシェーピング関数の間を補間することによって、新しい順方向リシェーピング関数を生成することをさらに含んでよい。これにより、新しい順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる２つの順方向リシェーピング関数に基づいて生成されてよい。

【0027】

幾つかの実施形態によれば、前記方法は、逆方向リシェーピング関数の出力セットの２つの逆方向リシェーピング関数の間を補間することによって、新しい逆方向リシェーピング関数を生成することをさらに（又は代替として）含んでよい。これにより、新しい逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる２つの逆方向リシェーピング関数に基づいて生成されてよい。

【0028】

２つの逆方向リシェーピング関数又は２つの順方向リシェーピング関数の間の補間は、前記２つの逆方向又は順方向リシェーピング関数の多項式係数の各々のセットに基づいて、前記新しい逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含んでよい。多項式係数の補間されたセットは、（例えば、２つの逆方向又は順方向リシェーピング関数の多項式係数のセットの対応する多項式係数の間で）線形補間を使用して生成することができる。

【0029】

前記方法は、符号化されるべき入力HDR画像（例えば第２ダイナミックレンジで）の平均輝度の測定に基づいて、２つの逆方向リシェーピング関数又は順方向リシェーピング関数を選択することをさらに含んでよい。各逆方向リシェーピング関数及び／又は順方向リシェーピング関数は、第２ダイナミックレンジの入力画像の異なる平均輝度に対して計算されてよい。２つの逆方向リシェーピング関数又は順方向リシェーピング関数は、符号化されるべき入力HDR画像の平均輝度が、選択された２つの逆方向又は順方向リシェーピング関数が計算される各々の平均輝度の測定値の間にあるように、選択することができる。前記方法は、新しい順方向リシェーピング関数を使用して入力HDR画像を符号化するステップをさらに含んでよい。

【0030】

例示的なHDRコーディングシステム
文献Ref．［１］及びRef．［２］に記載されているように、図１A及び図１Bは、画像リシェーピングを使用する例示的な単一レイヤ下位互換コーデックフレームワークを示す。より具体的に、図１Aは、例示的なエンコーダ側のコーデックアーキテクチャを示し、これは、上流のビデオエンコーダ内に１つ以上のコンピューティングプロセッサにより実装されてよい。図１Bは、例示的なデコーダ側コーデックアーキテクチャを示し、これは、１つ以上の下流のビデオデコーダ内に１つ以上のコンピューティングプロセッサによって実装されてもよい。

【0031】

このフレームワークの下で、参照HDRコンテンツ（１２０）が与えられると、対応するSDRコンテンツ（１３４）（リシェーピングコンテンツとも呼ばれる）は、符号化され、エンコーダ側のコーデックアーキテクチャを実装する上流の符号化装置により、単一レイヤのコーディングビデオ信号（１４４）で送信される。SDRコンテンツは、単一レイヤのビデオ信号で、デコーダ側コーデックアーキテクチャを実装する下流の復号装置により、受信され復号される。逆方向リシェーピングメタデータ（１５２）も、SDRコンテンツと共にビデオ信号内に符号化され送信される。その結果、HDRディスプレイ装置は、SDRコンテンツ及び逆方向リシェーピングメタデータに基づき、HDRコンテンツを再構成できる。

【0032】

図１Aに示すように、SDR画像（１３４）などの下位互換SDR画像は、順方向リシェーピングマッピング（１３２）を使用して生成される。ここで、「下位互換SDR画像」は、SDRディスプレイ用に特別に最適化されたSDR画像又は色等級付けされたSDR画像を表してよい。圧縮ブロック（１４２）（例えば、AVC、HEV、AV１、等のような任意の知られているビデオコーディングアルゴリズムに従い実装されるエンコーダ）は、SDR画像（１３４）を単一レイヤ（１４４）のビデオ信号に圧縮／符号化する。

【0033】

１３２の順方向リシェーピング関数は、参照HDR画像（１２０）に基づいて順方向リシェーピング関数生成器１３０を使用して生成される。順方向リシェーピング関数が与えられると、順方向リシェーピングマッピング（１３２）がHDR画像（１２０）に適用され、リシェーピング済みSDR基本層１３４が生成される。更に、逆方向リシェーピング関数生成器（１５０）は、逆方向リシェーピング関数を生成してよい。逆方向リシェーピング関数は、デコーダへメタデータ（１５２）として送信されてよい。

【0034】

最適な逆方向リシェーピング関数を表す/指定する逆方向リシェーピングメタデータの例としては、逆トーンマッピング関数、逆ルママッピング関数、逆クロママッピング関数、ルックアップテーブル（LUT）、多項式、逆表示管理係数又はパラメータなどのいずれかが含まれるが、必ずしもこれらに限定されるわけではない。種々の実施形態では、ルマ逆方向リシェーピング関数及びクロマ逆方向リシェーピング関数は、一緒に又は別個に導出され／最適化されてよく、文献Ref．[２]に記載されたような種々の技術を用いて導出されてよい。

【0035】

逆方向リシェーピングメタデータ（１５２）は、逆方向リシェーピング関数生成器（１５０）によりSDR画像（１３４）及び目標HDR画像（１２０）に基づき生成され、ビデオ信号１４４の部分として、例えば補足拡張情報（supplemental enhancement information （SEI））メッセージとして多重化されてよい。

【0036】

幾つかの実施形態では、逆方向リシェーピングメタデータ（１５２）は、ビデオ信号の中で、全体の画像メタデータの部分として運ばれ、これは、ビデオ信号の中で、SDR画像がビデオ信号の中に符号化される単一レイヤとは別個である。例えば、逆方向リシェーピングメタデータ（１５２）は、コーディングビットストリームの中の成分ストリーム内に符号化されてよい。この成分ストリームは、SDR画像（１３４）が符号化される（コーディングビットストリームの）単一レイヤと別個であってよく又はそうでなくてよい。

【0037】

従って、逆方向リシェーピングメタデータ（１５２）は、エンコーダ側で生成でき又は予め生成でき、エンコーダ側で利用可能な強力な計算リソース及びオフライン符号化フロー（限定ではないが、コンテンツ適応型マルチパス、先読み操作、逆ルママッピング、逆クロママッピング、CDFに基づくヒストグラム近似及び／又は転送、等）を活用できる。

【0038】

図１Aのエンコーダ側のアーキテクチャは、HDR画像（１２０）をビデオ信号の中のコーディング／圧縮HDR画像へと直接符号化するのを回避するために使用できる。代わりに、ビデオ信号の中の逆方向リシェーピングメタデータ（１５２）は、下流の複合装置が、（ビデオ信号内に符号化されている）SDR画像（１３４）を逆方向リシェーピングして、参照HDR画像（１２０）と同一又は厳密に／最適に近似している再構成画像にできるようにするために使用できる。

【0039】

幾つかの実施形態では、図１Bに示すように、単一レイヤ（１４４）内のSDR画像及び全体の画像メタデータの部分として逆方向リシェーピングメタデータ（１５２）と共に符号化されたビデオ信号は、コーデックフレームワークのデコーダ側で入力として受信される。伸長ブロック１５４は、単一レイヤ（１４４）のビデオ信号内の圧縮ビデオデータを、伸長／復号して、復号SDR画像（１５６）にする。伸長１５４は、標準的に圧縮１４２の逆に対応する。復号SDR画像（１５６）は、SDR画像（１３４）と同じであってよく、圧縮ブロック（１４２）及び伸長ブロック（１５４）における量子化誤差の影響を受けており、SDRディスプレイ装置のために最適化されていてよい。復号SDR画像１５６は、出力ビデオ信号の中でSDRディスプレイ装置へと（例えば、HDMI（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、SDRディスプレイ装置上でレンダリングされてよい。

【0040】

更に、同じ又は別の実施形態では、逆方向リシェーピングブロック１５８は、逆方向リシェーピングメタデータ（１５２）を入力ビデオ信号から抽出し、最適な逆方向リシェーピング関数を逆方向リシェーピングメタデータ（１５２）に基づき構成し、逆方向リシェーピング演算を復号SDR画像（１５６）に対して、最適な逆方向リシェーピング関数に基づき実行して、逆方向リシェーピング画像（１６０）（又は再構成HDR画像）を生成する。幾つかの実施形態では、逆方向リシェーピング画像は、参照HDR画像（１２０）と同一の又はそれを厳密に／最適に近似する製作品質の又は製作品質に近いHDR画像を表す。逆方向リシェーピング画像１６０は、出力HDRビデオ信号の中で（例えば、HDMI（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、HDRディスプレイ装置上でレンダリングされてよい。

【0041】

幾つかの実施形態では、HDRディスプレイ装置に固有のディスプレイ管理操作が、逆方向リシェーピング画像（１６０）に対して、逆方向リシェーピング画像（１６０）をHDRディスプレイ装置上でレンダリングするHDR画像レンダリング操作の部分として実行されてよい。

【0042】

適応型リシェーピングのための例示的なシステム
＜序論＞
リシェーピングは静的又は動的であり得る。静的リシェーピングでは、単一のリシェーピング関数が生成され、単一ストリームについて又は複数ストリームに渡り使用されている。動的リシェーピングでは、リシェーピング関数を入力ビデオストリームの特性に基づいてカスタマイズすることができ、ストリームレベル、シーンレベル、又はフレームレベルで変更することができる。例えば、実施形態では、限定ではなく、L１-midと呼ばれる、フレームやシーン内の平均輝度値のメトリックに従って、リシェーピング関数を生成してよい。例えば、限定ではなく、PQコーディングされたRGBデータを有する実施形態では、L１-midは、フレーム内の関心領域内のすべてのRGBピクセル間のmax（R,G,B）値の平均を表すことができる。別の実施形態では、YCbCr又はICtCpコーディングデータの場合、L１-midは、フレーム内の関心領域内のすべてのY又はI値の平均を表すことができる（例えば、平均値を計算すると、フレーム内のレターボックス又はサイドバー領域が除外される場合がある）。

【0043】

したがって、１２ビットシステムでは、４,０９６通りの可能な関数すべてを事前に構築することができる。しかし、このようなアプローチは時間がかかり、実際のシステムでは膨大なメモリを必要とするため、むしろ実用的ではない。実施形態では、基本リシェーピング関数としてよりL（L<２^bitdepth）本の曲線の小さなセットを構築し、それらをメモリに格納してから、実行時に利用可能なL個の関数の間を補間することによって、不足している中輝度値の追加関数を生成することを選択できる。これは、静的に生成されたリシェーピング曲線の小さなセットを組み合わせて完全なセットを生成するため、「スケーラブルな静的モード」と呼ばれることがある。例えば、実施形態では、１０ビット信号に対して、{７６８ １０２４ １２８０ １５３６ １７９２ ２０４８ ２３０４ ２５６０ ２８１６ ３０７２ ３３２８ ３５８４ ３８４０}からなるセット内の平均輝度値に対して１３個の基本順方向関数を生成することができる。

【0044】

実施形態では、帯域幅を節約するために、逆方向リシェーピング関数は区分線形又は非線形多項式を使用して近似することができ、そのような表現では、多項式セグメントはピボットポイントによって分離される。多項式係数の補間を容易にするために（及び余分な計算を避けるために）、実施形態では、すべての事前計算されたリシェーピング関数のピボットポイントを整列する必要がある（例えば、共通にする）。これにより、ピボットポイントを気にすることなく、多項式間の補間がはるかに簡単になる。

【0045】

命名法
参照（又は「マスタ」）HDRセットと、異なるL１-mid値に対して生成された画像又はビデオクリップの複数のSDRセットを含むデータベースを考える。つまり、各HDR画像には、Yc０c１カラーデータ（例えば、y=Y、c０=Cb、c１=CrのYCbCrデータ）を使用した対応するSDR画像のセットがある。SDR画像は、カラーグレーダの助けを借りて手動で、自動カラーマッピングアルゴリズムを使用して自動で、又はコンピュータツールと人間の操作を組み合わせて使用して、HDRイメージから生成できる。

【0046】

以下が、l番目のL１-midマッピングから生成されたSDRデータベースセットの中のj番目のフレーム又はピクチャのi番目のピクセルのデータ値を表すとする：

【数1】

各フレーム内のピクセルの数をPとする。HDR画像のビット深さをHDR_bitdepthと表し、SDR画像のビット深さをSDR_bitdepthと表すと、HDR及びSDR信号の中の可能なコードワード値の数は、各々次式で与えられる：

【数2】

【0047】

ここで使用される用語「非正規化ピクセル値」は[０,２^B-１]の値を表し、Bはピクセル値のビット深さを表す（例えば、B=８、１０、又は１２ビット）。ここで使用される用語「正規化ピクセル値」は、[０,１）のピクセル値を表す。

【0048】

幾つかの実施形態では、ピクセルレベルで演算する代わりに、平均ピクセル値により演算できる。例えば、入力信号コードワードを、等間隔w_bのM個の重なり合わないビンに分割して、正規化ダイナミックレンジ全体（例えば、（０,１]）をカバーできる（例えば、M=１６、３２、又は６４）（例えば、１６ビット入力データでは、w_b=６５,５３６/M）。次に、ピクセル値により演算する代わりに、そのようなビンの中の平均ピクセル値により演算できる。SDR及びHDR信号の中のビンの数を各々M^SandM^Vと表し、それらの対応する間隔をw_bS及びw_bVと表す。ピクセルレベルで演算すると、M^S=N^S、及び／又はM^V=N^Vである。

【0049】

HDRデータベースの中のj番目のフレーム又はピクチャ内の最小及び最大ルマ値をv_j ^y,L及びv_j ^y,Hとして表す。SDRデータベースの中のj番目のフレーム内の最小及び最大ルマ値をs_j ^y,（l）,L及びs_j ^y,（l）,Hとして表す。

【0050】

個々の順方向リシェーピング関数の構築
例えば、共通のピボットポイントを持つ基本リシェーピング関数のファミリを構築する前に、個々のリシェーピング関数を構築する必要がある。一実施形態では、このような関数は、Ref．［１－３］で使用されているヒストグラム又は累積密度関数（cumulative density function （CDF））マッチングアプローチを使用して構築されているが、これに限定されない。完全性のために、ここではアルゴリズムについても説明する。主なステップには、a）データベース内の画像の統計情報（ヒストグラム）の収集、b）各セットの累積密度関数（CDF）の生成、c）CDFマッチング（Ref．[３]）を適用してリシェーピング関数を生成する、d）リシェーピング関数をクリッピング及びスムージングする、が含まれる。これらのステップは表１と表２の擬似コードで示されている。

【0051】

【数3】

【数4-1】

【数4-2】

【数4-3】

【0052】

表２では、関数y=clip３（x,Min,Max）は次のように定義されている：

【数5】

【0053】

表２では、CDFマッチングステップ（STEP４）を以下のように簡単に説明できる。SDRコードワードx_sがCDF内の特定のCDF値cであるc^s,（l）に対応し、HDRコードワードx_vもCDF内の同じ特定のCDF値cであるc^v,（l）に対応することを考えると、SDR値s=x_sはHDR値x_vにマッピングされるべきであると判断される。あるいは、STEP４では、各SDR値（x_s）について、対応するSDR CDF値（例えば、c）を計算し、既存のHDR CDF値から単純な線形補間によってc^v,（l）=cとなるとなるHDR値（x_v）を特定しようとする。

【0054】

対象のL１-mid値ごとに表１と表２のステップを繰り返すことで、順方向リシェーピング関数の第１セットT_b ^F,（l）を生成し、L１-mid値又はL番目のSDRデータベースの生成に使用されたその他の特性に従って、HDR入力画像（又はフレーム）を対応するSDR出力にマッピングできる。

【0055】

個々の逆方向リシェーピング関数の構築
個々の順方向リシェーピング関数の元のセットがT_b ^F,（l）与えられると、SDRコードワードが再構成されたHDRコードワードにマッッピングされる場合、対応する個々の逆方向リシェーピング関数T_b ^B,（l）を生成することができる。例示的な処理が表３に示される。

【数6】

【0056】

共通のピボットポイントを持つ逆方向リシェーピング関数のファミリの構築
この段階で、逆方向リシェーピング関数のセット{T_b ^B,（l）}、及び順方向リシェーピング関数のセット{T_b ^F,（l）}が存在する。実施形態では、ルマ逆方向リシェーピング関数は、多項式セグメントがピボットポイントによって分離されるマルチピース多項式近似（例えば、８つの２次多項式を使って）によって表される/近似される場合がある。既存のL１-mid関数間の補間を有効にするには、すべての{T_b ^B,（l）}関数に共通のピボットポイントを持つことが望ましい。実施形態では、共通ピボットのセットは、以下に要約されるRef．［６］に記載された技術に基づき生成される。

【0057】

各SDRコードワードbについて、その正規化値を計算する：

【数7】

ピボットポイントを{λ_m}、m=０,１,...,Kと表し、Kはセグメントの総数を表す。例えば、[λ_m,λ_m+１）は、m番目の多項式セグメントを表す。m番目の多項式は、入力値bがλ_mとλ_m+１の範囲内にあるときに選択される。実施形態では、bとの値は両方とも[０,２^B）の整数であり、BはSDRビット深さを示す。l番目のL１-midリシェーピング関数のm番目の２次多項式は、先に生成された入力逆方向リシェーピング関数を次のように近似するために使用される：

【数8】

【0058】

近くの２つの多項式の間のギャップを減らすために、ピボットポイントの周りの遷移を滑らかにするために重なり合った制約（overlapped constraint）を適用することができる。重なり合ったウィンドウサイズはW_mと表される。最小のギャップを実現するために、設計最適化目標は次のように定式化できる：

【数9】

式（３）では、ピボットポイントは特定の通信制約（例えば、SMPTE２７４Mコードワード値の有効範囲）によって制限される場合があり、これは下限λ_m ^s、上限λ_m ^eとして表すことができ、ここでλ_m ^s未満とλ_m ^eを超える値はクリッピングされる。例えば、８ビット信号の場合、ブロードキャストセーフ領域は、[０,２５５]ではなく、[１６,２３５]になる。

【0059】

重なり合ったウィンドウを使用して、拡張点を次のように表す：

【数10】

次に、行列表現では、

【数11】

式（３）は以下のように表すことができる：

【数12】

【0060】

最小二乗最適化の下で、解は次式で与えられる：

【数13】

次に、解くべき全体的な問題は、最適化基準の組み合わせの下、次の式で与えられる：

【数14】

重なり合うウィンドウサイズのセット{W_m}は、最適な結果を検索するのを支援するよう変更できる。共通のピボットのセットを持つマルチセグメント多項式のセットを求めるプロセスの例を表４に示す。ここで、U回の反復（例えば、U=１００００）に対してピボットポイントと重なり合うウィンドウをランダム化することによってモンテカルロシミュレーションを適用することができる。

【数15-1】

【数15-2】

【0061】

ステップ２では、実装上の制約のチェックに関して、多項式係数（例えば、符号付き７ビット又は８ビット整数値など）の精度を制限する場合がある。

【0062】

前述のように、上記の共同最適化では、ピボットポイント付近でのジャンプがないと、スムーズな逆方向リシェーピング関数が出力されない場合がある。実施形態では、ギャップを最小化するための別のラウンドを次のように実行する必要がある場合がある。

【0063】

２つの多項式（m番目とm+１番目の多項式）の終点が互いに接続すると仮定される、基点λ_m+１を考える。受信したSDRコードワードを使用してHDR値を予測する場合、λ_mの位置で２次多項式を使用すると、m次多項式を適用する式は次のようになる：

【数16】

m番目のセグメントの残りのコードワードについては、予測HDR値は次のように計算される：

【数17】

ピボット間のギャップを減らすために、実施形態では、修正されたm番目の多項式が元の多項式について

【数18】

の両方において出力値を満たすように、m番目のセグメントの多項式係数を調整することが目的である。つまり式（７）及び次式である：

【数19】

【0064】

２次多項式は３つの係数で完全に定義されるため、２つの式（７）と（９）のみが与えられた場合、３つの未知数を求めることは劣決定問題（under-determined problem）である。修正された多項式係数{a'_m,０ ^（l）,a'_m,１ ^（l）,a'_m,２ ^（l）}の１つ（例えば、a'_m,０ ^（l））が既知であると仮定すると、残りの係数（例えば、a'_m,１ ^（l）及びa'_m,２ ^（l））は、２つの式と２つの未知数を持つシステムの閉形式解（closed-form solution）として、式（７）と（９）から得ることができる。例えば、a'_m,０ ^（l）が既知ならば、他の２つの解は次式で与えられる：

【数20】

【0065】

a'_m,０ ^（l）は実際には未知であるため、この問題を最適化問題として定式化して、新しい多項式係数を使用した元のHDR値と新しいHDR値の差の合計が最小になるような最適係数{a_m,０ ^（l）,*,a_m,２ ^（l）,*,a_m,２ ^（l）,*}を見つけることができる。つまり、

【数21】

式はすでにこの点を通過しているので、最適化に点λ_mを含める必要はない。実施形態では、限定ではなく、a'_m,０ ^（l）の値の範囲内で最適解を探索することができる。

【0066】

最後のセグメントの場合、（m+１）番目のセグメントは最後のピボットポイントの外側にある。実施形態では、最後の点の後の曲線は、前の多項式からの最後の出力値から伸びる定数であってもよい。したがって、m=Kに対して、以下を設定できる：

【数22】

【0067】

第１セグメント（例えば、m=０）では、ビデオ信号範囲が全範囲（すなわち、[０,１]）にある場合、ピボットポイントλ_０は０になる。この場合、a_０,０ ^（l）,*は元の係数と等しくなければならない。つまり、m=０の場合、

【数23】

a'_０,１ ^（l）が既知であると仮定すると、a'_０.２ ^（l）は式（９）から次のように得られる：

【数24】

ギャップ縮小アルゴリズムの実装例を表５（m=０の場合）と表６（m>０の場合）に示す。m=Kのとき、式（１２）の制約も適用される。

【数25】

【数26-1】

【数26-2】

【0068】

可逆性のための順方向リシェーピング関数の調整
すべての連続セグメント間のギャップを減らした後、最終的な逆方向リシェーピング関数のセットが決定される。ギャップ縮小アルゴリズムは逆方向リシェーピング関数を変更するので、適切な可逆性を保証しながら順方向リシェーピング関数を再構築する必要がある。これは、逆方向リシェーピング関数の逆トレースによって実現できる。

【0069】

l番目の多項式については、すべてのmについて、計算された多項式係数{a_m,０ ^（l）,*,a_m,２ ^（l）,*,a_m,２ ^（l）,*}を使用して、出力逆方向リシェーピング関数をに対して再構成できる：

【数27】

【0070】

対応する更新済み順方向リシェーピング関数T_b ^F,（l）,*は、逆方向リシェーピング関数によって生成されたコードワードと元のHDRコードワードとの差を最小にするコードワードインデックスを検索することによって構築することができる。各入力HDRコードワードbについて、最適な再構成を得るには、理想的な逆方向リシェーピング出力を可能な限りbに近づける必要がある。b値が与えられた場合、順方向リシェーピングからのマッピングされた値はkであると仮定され、kは有効なSDRコードワード範囲全体の中にあり得る。逆方向リシェーピングT_k* ^B,（l）,*を通して各々の有効なSDRコードワードを取り入れることによって、対応する逆方向マッピング済みHDR値bを見つけることができる。逆方向にマッピングされたすべてのHDR値T_k ^B,（l）,*の中から、元の入力HDRコードワードbとの差が最小であるT_k* ^B,（l）,*を見つけることができる。つまり、入力bの場合、順方向リシェーピングマッピングは、bをT_b ^F,（l）,*=k*にマッピングする必要がある。例示的な処理が表７に示される。

【数28】

【0071】

図２は、ピボット間の連続性と可逆性の制約に従って順方向及び逆方向のリシェーピング関数を生成する、前述の処理を要約した処理パイプラインの例を示している。参照HDR及びSDR画像が与えられた場合、ステップ２０５で、順方向リシェーピング関数の第１セットが構築され、各セットは入力HDR画像の特定の特性、例えば各フレームの平均輝度のメトリックに対して最適化される。例えば、一実施形態では、制限なく、表１及び表２に記載されているようなCDFマッチング基準を使用して、このようなリシェーピング関数を生成することができる。

【0072】

ステップ２１０では、順方向リシェーピング関数の第１セットを使用して、例えば表３に示す処理を使用して、逆方向リシェーピング関数の第１セットを構築する。次に、ステップ２１５で、a）このセット内のすべての関数がピボットの共通セットを共有するという制約の下で、逆方向リシェーピング関数の第１セットに区分近似を適用することによって、逆方向リシェーピング関数の第２セットを構築する。例示的な処理が表４に提供される。

【0073】

画像の品質を向上させ、視覚的なアーティファクトを減らすために、ステップ２２０で、順方向リシェーピング関数の第２セットの多項式表現が、近隣のピボットポイント値の間の距離を減らすようにさらに最適化されるため、逆方向リシェーピング関数の出力セットが生成される。例示的な処理が表５及び６に提供される。

【0074】

この出力順方向リシェーピング関数のセット（最適化されたギャップを持つ）が与えられると、ステップ２２５は、参照HDR入力と再構築HDR入力（出力逆方向リシェーピング関数を使用）のコードワード間の距離が最小化されるという制約の下で、順方向リシェーピング関数の出力セットを生成する。例示的な処理が表７に提供される。

【0075】

処理ブロック２２０に戻ると、図３は、実施形態による逆方向リシェーピング関数のマルチセグメント表現での２つの２次多項式セグメントの間のギャップを縮小する例示的な処理を示す。表６に示すように、セグメントm>０の場合、２つのセグメント間のギャップを減らすことは、次のステップを含む：
ステップ３０５：初期化このステップは、歪み（D）を大きな数値に初期化し、l番目のリシェーピング関数でm番目とm+１番目のセグメントの元の多項式係数が与えられると、m番目のセグメント内のコードワードとピボットポイントに対してHDR予測値をどのように計算するかを設定する。例えば、

【数29】

【0076】

ステップ３１０は反復処理を開始し、a'_m,０ ^（l）in[A,B]の値範囲、インクリメントC（例えば、限定ではなく、A=-a_m,０ ^（l）,B=３・a_m,０ ^（l）,及びC=０.００１a_m,０ ^（l））について：
ステップ３１５で、他の２つの係数a'_m,１ ^（l）及びa'_m,２ ^（l）を計算する（式（１０）参照）。
ステップ３２０で、総歪みを計算する（表６参照）：

【数30】

ステップ３２５で、D’<Dの場合、更新済み多項式係数の計算されたセットが、新しい最適多項式係数のセットとして、以前のものを置き換える。
反復処理は、[A,B]内のa'_m,０ ^（l）のすべての値が処理されるまで繰り返される。
ステップ３４０で、反復処理の最後に、最適多項式係数の最終セット（a_m,j ^（l）,*,j=０,１,及び２）が出力される。

【0077】

図３のプロセスは、すべてのセグメント及び逆方向リシェーピング関数のセット内のすべてのL関数に対して繰り返される。

【0078】

第１セグメント（例えば、m=０）については、同じ反復処理を適用してもよいが、変動は小さい。初期化（式（１５）を参照、ただしm=０の場合）の後、a_０,０ ^（l）,*は元の係数と等しい必要があるため、ステップ３１０の反復処理は、ステップC０でa'_０,１ ^（l）を範囲[A０,B０]で変化させる。ここで、実施形態では（表５を参照）、A０=-a_０,１ ^（l）,B０=３・a_０,１ ^（l）,及びC０=０.００１a_０,１ ^（l）である。a_０,０ ^（l）,*及びa'_０,１ ^（l）が与えられると、式（１１）及び（１６）を適用して、ステップ３１５及び３２０でa'_０,２ ^（l）及び歪みD'を計算できる。

【0079】

最後のセグメント（m=K）について、j=０,１,２のa_K+１,j ^（l）値（式（１５）参照）は、式（１２）を使用して計算される。

【0080】

リシェーピング関数補間
L個の事前に計算された順方向リシェーピング関数のセットが与えられ、異なる適応制御信号{r^（０）,r^（１）,…r^（L-１）}のセットの値に対して各々計算されたもの、例えばrは平均輝度値を表す場合、３つの色平面（例えば、YCbCr）に対する対応する順方向リシェーピング関数は次のように表すことができる：

【数31】

【0081】

２つの事前に計算された値の間の新しい制御信号値（r）、すなわちr^（l）≦r＜r^（l+１）が与えられたとき、既存の事前に計算された関数から新しい順方向リシェーピング関数を導出することが望まれる。新しい再構成されたHDRサンプルが２つの近接サンプルから補間できると仮定し、次式：

【数32】

とすると、線形補間を使用して、HDR補間値は次のように表すことができる：

【数33】

次にルマ及びクロマリシェーピング関数の補間について検討する。

【0082】

ルマ補間関数の補間
式（１５）と（１６）より、

【数34】

あるいは、関数形式を次のように表すこともできる：

【0083】

【数35】

すべてのピボットポイントが整列している場合、実施形態では、各セグメントの多項式係数の補間セットを直接生成することによって、補間関数を生成することができる。例えば、限定ではなく、２次多項式を持つマルチセグメント多項式形式を考える。検討されるHDR範囲がm番目のピース/セグメント内にあると仮定すると、l番目とl+１番目の順方向リシェーピング関数を使用した対応するSDRリシェーピング値は次のように表すことができる：

【数36】

多項式補間の後、新しい多項式係数は次の通りである：

【数37】

次に、補間されリシェーピングされたSDR値は次のように表すことができる：

【数38】

逆方向リシェーピング関数BR_j ^r,y（）も同様に構築できる。

【0084】

クロマリシェーピング関数の補間
実施形態では、一般性を失うことなく、（例えば、上述のようにルマコンポーネントについて）リシェーピング関数をマルチセグメント多項式として表現する代わりに、クロマ値がルマ及びクロマ値の両方の組み合わせに基づき予測される、マルチカラーチャネル、Ref．［４］及びRef．［６］で議論されている多重回帰予測などの代替スキームを使用してリシェーピングを表現することができる。

【0085】

Ref．[６]では、r^（l）≦r＜r^（l+１）が与えられると、MMR係数が２つの近傍MMR係数の線形結合にもなり得ることが示された。或いは、

【数39】

ここで、

【数40】

はl次リシェーピング関数のMMR係数のセットを示す。代替として、

【数41】

ここで、Cは色成分c０又はc１（例えば、Cb又はCr）である。

【0086】

図４は、基本順方向及び逆方向リシェーピング関数の補間に基づく実施形態によるエンコーダのリシェーピングの例を示す。図４に示すように、順方向リシェーピング段は、基本順方向リシェーピング関数のセット（４０５）、２つの基本順方向リシェーピング関数から補間することによって新しい順方向リシェーピング関数（４１２）を生成できる関数補間ユニット（４１０）、生成された順方向関数（４１２）を適用してリシェーピング信号（４１７）、例えばSDR信号を生成する順方向リシェーピングユニット（４１５）を含んでよい。

【0087】

順方向リシェーピング関数（４１２）が与えられると、エンコーダは逆方向又は逆方向リシェーピング関数（例えば、１５０）のパラメータを生成することができる（例えば、Ref．［５］を参照）。これは、図１に示したようにデコーダへ送信され得る。あるいは、図４に示すように、エンコーダは、別の逆方向リシェーピング段を含むことができ、これは、基本逆方向リシェーピング関数のセット（４２０）と、２つの基本逆方向リシェーピング関数から補間することによって新しい逆方向リシェーピング関数（４２７）を生成することができる第２関数補間ユニット（４２５）を含むことができる。逆方向リシェーピング関数のパラメータはメタデータとして通信することができる。前述のように、リシェーピング関数は、入力HDR信号の平均輝度のメトリックに基づいて選択されてよい。

【0088】

復号のために、デコーダは図１Bのシステム機能を利用してもよい。別の実施形態では、通信されるメタデータの量を減らすために、エンコーダによって使用されているL１-mid値が与えられると、デコーダ側で関数補間を実行することもできる（例えば、Ref．[６]を参照）。
参考文献
これらの参考文献の各々は、参照によりその全体がここに組み込まれる。
［１］G-M, Su et al., “Encoding and decoding reversible, production-quality single-layer video signals,” PCT Application, Ser.No.PCT/US２０１７/０２３５４３, filed on March ２２, ２０１７, WIPO Publication WO２０１７/１６５４９４
［２］Q. Song et al., “High-fidelity full-reference and high-efficiency reduced reference encoding in end-to-endsingle-layer backward compatible encoding pipeline,” PCT Application, Ser. No. PCT/US２０１９/０３１６２０, filed on May ９, ２０１９, WIPO Publications, WO２０１９/２１７７５１
［３］B. Wen et al., “Inversel uma/chroma mappings withhistogram transfer and approximation,”U.S. Patent １０,２６４,２８７, issued on April １６, ２０１９
［４］G-M. Su et al., “Multiple color channel multiple regression predictor,” U.S. Patent ８,８１１,４９０
［５］A. Kheradmand et al., “Block-based content-adaptive reshapingf or high-dynamic range,”U.S. Patent １０,０３２,２６２
［６］H.Kaduetal.,“Interpolation of reshapingfunctions,“ PCT Application, Ser. No. PCT/US２０１９/０６３７９６, filed on Nov. ２７, ２０１９

【0089】

＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はICは、本願明細書に記載したようなリシェーピング関数の生成に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び／又はＩＣは、本願明細書に記載したリシェーピング関数の生成に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。

【0090】

本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のリシェーピング関数の生成のための方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的有形媒体を含んでよい。本発明によるプログラムプロダクトは、種々の非一時的有形形式うちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。

【0091】

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。

【0092】

＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
HDR画像のためのリシェーピング関数の生成に関する例示的な実施形態が従って記載される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2022-11-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
第１ダイナミックレンジの第１入力画像セット及び第２ダイナミックレンジの第２入力画像セットにアクセスするステップであって、前記第１入力画像セットと前記第２入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第１入力画像セット及び前記第２入力画像セットに基づき生成された逆方向リシェーピング関数の第１セットにアクセスするステップであって、前記逆方向リシェーピング関数の第１セットの中の各逆方向リシェーピング関数は、前記第１ダイナミックレンジの第１コードワード表現から前記第２ダイナミックレンジの第２コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる、ステップと、
前記逆方向リシェーピング関数の第１セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第１セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第１ピボットと第２ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは３つの元の多項式係数による元の多項式表現で表され：
ｉ）前記セグメントの前記３つの元の多項式係数にアクセスし、
ｉｉ）歪みパラメータを第１歪み値に初期化し、
ｉｉｉ）前記セグメントの第１更新済み多項式係数の１つ以上の新しい値について、
（ａ）前記第１ピボット及び前記第２ピボット、前記第１更新済み多項式係数の新しい値、及び前記第１ピボット及び前記第２ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第２更新済み多項式係数及び第３更新済み多項式係数を求め、
（ｂ）歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法。

【請求項2】

前記歪み基準を満たすことは、
前記更新済み多項式係数を求めた後に、
前記更新済み多項式係数及び前記元の多項式係数に基づき、新しい歪みパラメータ値を計算し、
前記第１歪み値を前記新しい歪みパラメータ値と比較し、
前記新しい歪みパラメータ値が前記第１歪み値より小さい場合、前記歪み基準を満たし、前記第１歪み値を前記新しい歪みパラメータ値により更新する、
ことを含む、請求項１に記載の方法。

【請求項3】

前記新しい歪みパラメータ値を計算することは、前記セグメント内の全部のコードワードについて、前記元の多項式表現及び前記更新済み多項式表現を用いて生成された出力の間の累積誤りを計算することを含む、請求項２に記載の方法。

【請求項4】

出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第２ダイナミックレンジの前記第２コードワード表現から前記第１ダイナミックレンジの前記第１コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含む請求項１～３のいずれかに記載の方法。

【請求項5】

出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
第２ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含む、請求項４に記載の方法。

【請求項6】

前記リシェーピングインデックスパラメータが、前記第２ダイナミックレンジにおける入力画像の平均輝度の測定値を含む、請求項１～５のいずれかに記載の方法。

【請求項7】

前記第１ダイナミックレンジが標準ダイナミックレンジを含み、前記第２ダイナミックレンジが高ダイナミックレンジを含む、請求項１～６のいずれかに記載の方法。

【請求項8】

２つ以上のセグメントを含む逆方向リシェーピング関数のセグメントに基づく表現における第１セグメントm=０について、元の多項式表現が

【数42】

を含み、a_０,０ ^（l）,a_０,０ ^（l）,及びa_０,２ ^（l）は、元の多項式係数を表し、lは、逆方向リシェーピング関数の第１セットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、s_b ^Yは、第１ピボット（λ_０）と第２ピボット（λ_１）との間の第１ダイナミックレンジにおける入力コードワードを示し、第１更新済み多項式係数a'_０,１ ^（l）が与えられたとき、第２及び第３更新済み多項式係数を求めることが、

【数43】

を計算することを含み、a_０,０ ^（l）,*はa_０,０ ^（l）の最適更新済み係数を表し、a'_０,２ ^（l）はa_０,２ ^（l）の更新済み係数を表し、

【数44】

は前記第２ピボットの逆方向リシェーピング関数における第２セグメントの元の多項式表現の出力を表す、請求項１～７のいずれかに記載の方法。

【請求項9】

前記第１更新済み多項式係数は、値の範囲[-a_０,１ ^（l）,n・a_０,１ ^（l）]で反復し、nは５より小さい整数値である、請求項８に記載の方法。

【請求項10】

前記新しい歪みパラメータ値（D'）を計算することが、

【数45】

を計算することを含む、請求項２に従属する請求項８又は９に記載の方法。

【請求項11】

セグメントm、m>０について、逆方向リシェーピング関数のセグメントに基づく表現において、前記元の多項式表現は、

【数46】

を含み、ここで、a_m,０ ^（l）、a_m,０ ^（l）、及びa_m,２ ^（l）は、前記元の多項式係数を表し、lは、前記逆方向リシェーピング関数のセットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、s_b ^Yは、前記第１ピボット（λ_m）と前記第２ピボット（λ_m+１）との間の前記第１ダイナミックレンジにおける入力コードワードを表し、前記第１更新済み多項式係数（a'_m,０ ^（l））が与えられたとき、前記第２更新済み多項式係数（a'_m,１ ^（l））及び前記第３更新済み多項式係数（a'_m,２ ^（l））を求めることは、

【数47】

を計算することを含み、前記第２ピボットの逆方向リシェーピング関数におけるセグメントm+１の元の多項式表現の出力を表す、請求項１～１０のいずれかに記載の方法。

【請求項12】

前記第１更新済み多項式係数は、値の範囲[-a_m,０ ^（l）,n・a_m,０ ^（l）]で反復し、nは５より小さい整数値である、請求項１１に記載の方法。

【請求項13】

前記新しい歪みパラメータ値（D'）を計算することが、

【数48】

を計算することを含む、請求項２に従属する請求項１１又は１２に記載の方法。

【請求項14】

前記逆方向リシェーピング関数の出力セットの中の２つの逆方向リシェーピング関数の間を補間することにより、新たな逆方向リシェーピング関数を生成するステップをさらに含み、前記２つの逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項１～１３のいずれかに記載の方法。

【請求項15】

出力順方向リシェーピング関数のセットの中の２つの順方向リシェーピング関数の間を補間することにより、新たな順方向リシェーピング関数を生成するステップをさらに含み、前記２つの順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項４若しくは５又は請求項４若しくは５に従属する請求項６～１４のいずれかに記載の方法。

【請求項16】

２つの逆方向又は順方向リシェーピング関数の間の補間は、前記２つの逆方向又は順方向リシェーピング関数の多項式係数のセットに基づいて、前記新しい逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含む、請求項１４又は１５に記載の方法。

【請求項17】

符号化されるべき入力HDR画像の平均輝度の測定に基づいて、前記２つの逆方向又は順方向リシェーピング関数を選択するステップ、をさらに含む請求項１４～１６のいずれか一項に記載の方法。

【請求項18】

１つ以上のプロセッサにより請求項１～１７のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。

【請求項19】

プロセッサを含み、請求項１～１７に記載の方法のうちのいずれかを実行するよう構成される機器。

【国際調査報告】