▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
特表2024-533753ＨＤＲビデオのためのマルチステップディスプレイマッピング及びメタデータ再構成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】ＨＤＲビデオのためのマルチステップディスプレイマッピング及びメタデータ再構成
(51)【国際特許分類】
H04N 19/85 20140101AFI20240905BHJP
H04N 19/46 20140101ALI20240905BHJP
【ＦＩ】
H04N19/85
H04N19/46
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519016
(86)(22)【出願日】2022-09-28
(85)【翻訳文提出日】2024-05-24
(86)【国際出願番号】 US2022077127
(87)【国際公開番号】W WO2023056267
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/249,183
(32)【優先日】2021-09-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】21210178.6
(32)【優先日】2021-11-24
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/316,099
(32)【優先日】2022-03-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ロッティ，シュルティ スレシュ
(72)【発明者】
【氏名】ピトラーズ，ジャクリン アン
(72)【発明者】
【氏名】アトキンズ，ロビン
(72)【発明者】
【氏名】ゴパラクリシュナン，スバドラー
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159PP16
5C159TA01
5C159TB10
5C159TC02
5C159TD16
(57)【要約】
高ダイナミックレンジ（HDR）画像のためのマルチステップディスプレイマッピング及びメタデータ再構成のための方法及びシステムが記載される。エンコーダにおいて、第１ダイナミックレンジの入力HDRメタデータを有するHDR入力画像が与えられると、第２ダイナミックレンジの中間基本レイヤ画像が入力画像に基づいて構成される。デコーダにおいて、基本レイヤメタデータ、入力HDRメタデータ、及び目標ディスプレイのダイナミックレンジ特性を使用して、プロセッサが再構成メタデータを生成する。これは、基本レイヤ画像と組み合わせて使用される場合、HDR画像を目標ディスプレイに直接マッピングしたかのように、ディスプレイマッピング処理が基本レイヤ画像を目標ディスプレイにマッピングすることを可能にする。
【特許請求の範囲】
【請求項1】
マルチステップディスプレイマッピングのための方法であって、第１ダイナミックレンジの入力画像のための入力メタデータにアクセスするステップと、
第２ダイナミックレンジの基本レイヤ画像にアクセスするステップであって、前記基本レイヤ画像は前記入力画像に基づいて生成されたものである、ステップと、
前記第２ダイナミックレンジを決定する基本レイヤパラメータにアクセスするステップと、
目標ダイナミックレンジを有する目標ディスプレイのためのディスプレイパラメータにアクセスするステップと、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成するステップと、
前記再構成メタデータ及び前記ディスプレイパラメータに基づいて出力マッピング曲線を生成し、前記基本レイヤ画像を前記目標ディスプレイにマッピングするステップと、
前記出力マッピング曲線を使用して、前記基本レイヤ画像を前記目標ダイナミックレンジの前記目標ディスプレイにマッピングするステップと、
を含む方法。
【請求項2】
マルチステップディスプレイマッピングの方法であって、第１ダイナミックレンジの入力画像にアクセスするステップと、
前記入力画像の入力メタデータにアクセスするステップと、
第２ダイナミックレンジを決定する基本レイヤパラメータにアクセスするステップと、
前記入力画像、前記基本レイヤパラメータ、及び前記入力メタデータに基づいて前記第２ダイナミックレンジの基本レイヤ画像を生成するステップと、
目標ダイナミックレンジを有する目標ディスプレイのためのディスプレイパラメータにアクセスするステップと、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成するステップと、
前記基本レイヤ画像及び前記再構成メタデータを含む出力ビットストリームを生成するステップと、
を含む方法。
【請求項3】
デコーダにおいて、前記基本レイヤ画像及び前記再構成メタデータを受信するステップと、前記基本レイヤ画像を前記目標ディスプレイにマッピングするために、前記再構成メタデータ及び前記ディスプレイパラメータに基づいて出力マッピング曲線を生成するステップと、
前記出力マッピング曲線を使用して前記基本レイヤ画像を前記目標ダイナミックレンジの前記目標ディスプレイにマッピングするステップと、
を更に含む請求項１に記載の方法。
【請求項4】
前記基本レイヤ画像は、１０００ニトの最大ダイナミックレンジを有する、請求項１に記載の方法。
【請求項5】
前記ディスプレイパラメータは、前記目標ディスプレイの最小輝度値（Tmin）及び最大輝度値（Tmax）を含む、請求項１に記載の方法。
【請求項6】
前記基本レイヤパラメータは、前記基本レイヤ画像における最小輝度値（Bmin）及び最大輝度値（Bmax）を含む、請求項１に記載の方法。
【請求項7】
前記再構成メタデータは、再構成L１メタデータを含み、前記再構成L１メタデータは、再構成最小値（BLMin）、再構成平均値（BLMid）、及び再構成最大値（BLMax）を含む、請求項１に記載の方法。
【請求項8】
前記再構成メタデータは、Slope、Power、及びOffset値を更に含む、請求項７に記載の方法。
【請求項9】
前記再構成メタデータを生成するステップは、前記入力メタデータ及び前記ディスプレイパラメータに基づいて、前記入力画像を前記目標ダイナミックレンジにマッピングする直接マッピング曲線を生成するステップと、
前記直接マッピング曲線を前記入力メタデータ内の輝度値に適用して、マッピングされた輝度メタデータを生成するステップと、
前記入力メタデータと前記基本レイヤパラメータに基づいて、前記入力画像を前記基本レイヤ画像にマッピングする第１マッピング曲線を生成するステップと、
前記第１マッピング曲線を使用して、前記入力メタデータ内の輝度値を再構成メタデータの第１セットにマッピングするステップと、
再構成メタデータの前記第１セットと前記ディスプレイパラメータに基づいて、前記基本レイヤ画像を前記目標ダイナミックレンジにマッピングする第２マッピング曲線を生成するステップと、
前記第２マッピング曲線を使用して、再構成メタデータの前記第１セットをマッピングされた再構成メタデータにマッピングするステップと、
前記第２マッピング曲線を調整するために、前記マッピングされた輝度メタデータと前記マッピングされた再構成メタデータに基づいて、Slope、Power、及びOffset値を含む再構成メタデータの第２セットを生成するステップと、
を含む、請求項１に記載の方法。
【請求項10】
前記直接マッピング曲線、前記第２マッピング曲線、及び前記Slope、Power、及びOffset値に基づいて、前記第２マッピング曲線を調整するための傾き調整値を生成するステップ、を更に含む請求項９に記載の方法。
【請求項11】
前記Slope、Power、及びOffset値は、以下：【数1】
【請求項12】
前記TM（i）値は、前記入力画像における最小、平均、及び最大輝度値の前記直接マッピング曲線を使用してマッピングされた値に対応する最小（TMin）、平均（TMid）、及び最大（TMax）輝度値を含む、請求項１１に記載の方法。
【請求項13】
TmaxがSmaxより大きい場合に前記直接マッピング曲線を生成するステップであって、前記Tmaxは前記目標ディスプレイの最大輝度値を表し、前記Smaxは参照ディスプレイの最大輝度値を表す、ステップは、前記入力メタデータにトリムメタデータがない場合、
参照ディスプレイの最小輝度であるSminを、前記目標ディスプレイの最小輝度であるTminにマッピングするステップと、
前記参照ディスプレイの平均輝度であるSmidを、Tmid=Smid+c*Smidにマッピングするステップであって、cは０から０．２の間であり、Tmidは前記目標ディスプレイの平均輝度を表す、ステップと、
SmaxをTmaxにマッピングするステップと、
を含み、
その他の場合、
Xref[x１、x２]輝度ポイント及び対応するトリムメタデータYref[y１,y２]値が与えられると、次式：
【数2】
を含む、請求項９に記載の方法。
【請求項14】
前記入力メタデータはグローバル調光メタデータを含み、入力グローバル調光メタデータ値xが与えられると、再構成調光メタデータ値zを生成するステップは、次式：【数3】
【請求項15】
【数4】
【請求項16】
プロセッサを含み、請求項１～１５のいずれか一項に記載の方法を実行するよう構成される機器。
【請求項17】
請求項１～１５のいずれか一項に記載の方法に従い１つ以上のプロセッサにより方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本願は、２０２１年９月２８出願の米国仮特許出願番号第６２／２４９,１８３号、２０２１年１１月２４出願の欧州特許出願番号第２１２１０１７８．６号、及び２０２２年３月３日出願の米国仮特許出願番号第６３/３１６,０９９号の優先権の利益を主張し、各出願は参照によりその全体がここに組み込まれる。
本願は、２０２１年９月２８出願の米国仮特許出願番号第６２／２４９,１８３号、２０２１年１１月２４出願の欧州特許出願番号第２１２１０１７８．６号、及び２０２２年３月３日出願の米国仮特許出願番号第６３/３１６,０９９号の優先権の利益を主張し、各出願は参照によりその全体がここに組み込まれる。
【0002】
［技術分野］
本発明は、概して画像に関連する。より詳細には、本発明の実施形態は、高ダイナミックレンジ（high dynamic range （HDR））画像のダイナミックレンジ変換及びディスプレイマッピングに関する。
本発明は、概して画像に関連する。より詳細には、本発明の実施形態は、高ダイナミックレンジ（high dynamic range （HDR））画像のダイナミックレンジ変換及びディスプレイマッピングに関する。
【背景技術】
【0003】
本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range （DR））」は、例えば最も暗い灰色（黒）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば、同義的に使用されてよいことが推定されるべきである。
【0004】
本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、人間の視覚システム（HVS）の大きさの約１４～１５倍又はそれより大きな程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「拡張ダイナミックレンジ（enhanced dynamic range （EDR））」又は「視覚ダイナミックレンジ（visual dynamic range （VDR））」は、個々に又は同義的に、目の動きを含む人間の視覚システム（HVS）によりシーン又は画像内で知覚可能なＤＲに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。
【0005】
実際には、画像は１つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表される。例えば、ガンマ輝度コーディングを使用すると、n≦８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジの画像であると考えられる。一方で、n≧１０である画像は、拡張ダイナミックレンジの画像であると考えられてよい。EDR及びHDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。
【0006】
ここで使用されるように、用語「メタデータ」は、本願明細書では、コーディングされたビットストリームの部分として送信される任意の補助情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書に記載されるような、画像内の最小、平均、及び最大輝度、色空間又は全色域（gamut）情報、参照ディスプレイパラメータ、及び補助信号パラメータ、を含んでよい。
【0007】
大部分の消費者デスクトップディスプレイは、現在、２００～３００cd/m２又はニト（nit）の輝度をサポートする。大部分の消費者HDTVは、３００～５００ニトの範囲であり、新しいモデルは１０００ニト（cd/m２）にまで達している。そのような従来のディスプレイは、HDR又はEDRに対して標準ダイナミックレンジ（SDR）とも呼ばれる、低ダイナミックレンジ（lower dynamic range （LDR））の特徴を示す。HDRコンテンツの利用可能性が、キャプチャ機器（例えばカメラ）及びHDRディスプレイ（例えば、Dolby LaboratoriesのPRM-４２００プロフェッショナルリファレンスモニタ）の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト、又はそれより高い）をサポートするHDRディスプレイ上で表示されるようになり得る。一般に、限定ではなく、本開示の方法はSDRより高いダイナミックレンジに関する。
【0008】
本明細書で使用されるように、用語「ディスプレイ管理」は、ターゲットディスプレイ用に画像をレンダリングするために受信機で実行される処理を表す。例えば、このような処理には、トーンマッピング、色域マッピング、カラーマネジメント、フレームレート変換などが含まれるが、これらに限定されるものではない。
【0009】
高ダイナミックレンジ（High Dynamic Range （HDR））技術が以前のフォーマットよりも写実的で真に迫った画像を提供するので、HDRコンテンツの生成及び再生は、現在広く普及している。しかし、HDR再生は、下位互換性の要件又は計算能力の制限によって制約される可能性がある。本発明者らが認めるように、既存のディスプレイ方式を改善するために、HDRディスプレイ上の画像及びビデオのディスプレイ管理のための改善された技術が開発されている。
【0010】
本章に記載されるアプローチは、追求される可能性のあるアプローチであるが、必ずしも以前に考案された又は追求されアプローチであるとは限らない。従って、特に断りの無い限り、本章に記載されるアプローチのいずれも、それらが本章に含まれるというだけで従来技術と認められるものと考えられるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。
【図面の簡単な説明】
【0011】
本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。
【0012】
【図1】ビデオ配信パイプラインの例示的な処理を示す。
【0013】
【図2A】本発明の実施形態による多段ディスプレイマッピングの例示的な処理を示す。
【0014】
【図2B】本発明の実施形態による多段ディスプレイマッピングをサポートするビットストリームを生成する例示的な処理を示す。
【0015】
【図3A】本発明の実施形態による多段ディスプレイマッピングにおいて再構成メタデータを生成するためのトーンマッピング曲線の例を示す。
【図3B】本発明の実施形態による多段ディスプレイマッピングにおいて再構成メタデータを生成するためのトーンマッピング曲線の例を示す。
【図3C】本発明の実施形態による多段ディスプレイマッピングにおいて再構成メタデータを生成するためのトーンマッピング曲線の例を示す。
【図3D】本発明の実施形態による多段ディスプレイマッピングにおいて再構成メタデータを生成するためのトーンマッピング曲線の例を示す。
【0016】
【図4】本発明の例示的な実施形態によるメタデータ再構成のための例示的な処理を示す。
【0017】
【発明を実施するための形態】
【0018】
本明細書には、HDR画像及びビデオのためのマルチステップダイナミックレンジ変換及びディスプレイ管理の方法が記載される。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し（occluding）、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。
【0019】
＜要約＞
本明細書に記載される例示的な実施形態は、HDRディスプレイ上の画像のマルチステップダイナミックレンジ変換及びディスプレイ管理のための方法に関する。一実施形態では、プロセッサは、
第１ダイナミックレンジの入力画像のための入力メタデータ（２０４）を受信し、
第２ダイナミックレンジの基本レイヤ画像（２１２）にアクセスし、前記基本レイヤ画像は前記入力画像に基づいて生成されたものであり、
前記第２ダイナミックレンジを決定する基本レイヤパラメータ（２０８）にアクセスし、
目標ダイナミックレンジを有する目標ディスプレイ用のディスプレイパラメータ（２３０）にアクセスし、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成し、
前記再構成メタデータ及び前記ディスプレイパラメータに基づいて出力マッピング曲線を生成し、前記基本レイヤ画像を前記目標ディスプレイにマッピングし、
前記出力マッピング曲線を使用して、前記基本レイヤ画像を前記目標ダイナミックレンジの前記目標ディスプレイにマッピングする。
本明細書に記載される例示的な実施形態は、HDRディスプレイ上の画像のマルチステップダイナミックレンジ変換及びディスプレイ管理のための方法に関する。一実施形態では、プロセッサは、
第１ダイナミックレンジの入力画像のための入力メタデータ（２０４）を受信し、
第２ダイナミックレンジの基本レイヤ画像（２１２）にアクセスし、前記基本レイヤ画像は前記入力画像に基づいて生成されたものであり、
前記第２ダイナミックレンジを決定する基本レイヤパラメータ（２０８）にアクセスし、
目標ダイナミックレンジを有する目標ディスプレイ用のディスプレイパラメータ（２３０）にアクセスし、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成し、
前記再構成メタデータ及び前記ディスプレイパラメータに基づいて出力マッピング曲線を生成し、前記基本レイヤ画像を前記目標ディスプレイにマッピングし、
前記出力マッピング曲線を使用して、前記基本レイヤ画像を前記目標ダイナミックレンジの前記目標ディスプレイにマッピングする。
【0020】
第２実施形態では、プロセッサは、
第１ダイナミックレンジの入力画像（２０２）を受信し、
前記入力画像の入力メタデータ（２０４）にアクセスし、
第２ダイナミックレンジを決定する基本レイヤパラメータ（２０８）にアクセスし、
前記入力画像、前記基本レイヤパラメータ、及び前記入力メタデータに基づいて前記第２ダイナミックレンジの基本レイヤ画像を生成し、
目標ダイナミックレンジを有する目標ディスプレイのためのディスプレイパラメータ（２４０）にアクセスし、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成するステップし、
前記基本レイヤ画像及び前記再構成メタデータを含む出力ビットストリームを生成する。
第１ダイナミックレンジの入力画像（２０２）を受信し、
前記入力画像の入力メタデータ（２０４）にアクセスし、
第２ダイナミックレンジを決定する基本レイヤパラメータ（２０８）にアクセスし、
前記入力画像、前記基本レイヤパラメータ、及び前記入力メタデータに基づいて前記第２ダイナミックレンジの基本レイヤ画像を生成し、
目標ダイナミックレンジを有する目標ディスプレイのためのディスプレイパラメータ（２４０）にアクセスし、
前記入力メタデータ、前記基本レイヤパラメータ、及び前記ディスプレイパラメータに基づいて再構成メタデータを生成するステップし、
前記基本レイヤ画像及び前記再構成メタデータを含む出力ビットストリームを生成する。
【0021】
マルチステップ画像マッピング及びディスプレイ管理
ビデオコーディングパイプライン
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示す従来のビデオ配信パイプライン１００の例示的な処理を示す。ビデオフレーム（１０２）のシーケンスは、画像生成ブロック（１０５）を用いてキャプチャ又は生成される。ビデオフレーム（１０２）は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを、用いて）生成されてよく、ビデオデータ（１０７）を提供する。代替として、ビデオフレーム１０２は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。プロダクション（production）段階１１０において、ビデオデータ１０７は、ビデオプロダクションストリーム１１２を提供するために編集される。
ビデオコーディングパイプライン
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示す従来のビデオ配信パイプライン１００の例示的な処理を示す。ビデオフレーム（１０２）のシーケンスは、画像生成ブロック（１０５）を用いてキャプチャ又は生成される。ビデオフレーム（１０２）は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを、用いて）生成されてよく、ビデオデータ（１０７）を提供する。代替として、ビデオフレーム１０２は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。プロダクション（production）段階１１０において、ビデオデータ１０７は、ビデオプロダクションストリーム１１２を提供するために編集される。
【0022】
プロダクショントリーム（１１２）のビデオデータは、次に、ブロック１１５で、ポストプロダクション編集のためにプロセッサに提供される。ブロック（１１５）のポストプロダクション編集は、ビデオ制作者のプロダクション意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。他の編集（例えば、シーン選択及び順序付け、画像クロッピング、コンピュータが生成した視覚的特殊効果の追加、激しい振動、等）が、配信のためのプロダクションの最終バージョン（１１７）を生成するために、ブロック（１１５）で実行されてよい。ポストプロダクション編集（１１５）の間、ビデオ画像は、基準ディスプレイ（１２５）上で表示される。
【0023】
ポストプロダクション（１１５）に続いて、最終プロダクションのビデオデータ（１１７）は、テレビセット、セットトップボックス、映画劇場、等のような復号及び再生装置へと下流に配信するために、コーディングブロック（１２０）に配信されてよい。幾つかの実施形態では、コーディングブロック（１２０）は、コーディングされたビットストリーム（１２２）を生成するために、ATSC、DVB、DVD、Blu-Ray（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。受信機では、コーディングされたビットストリーム（１２２）は、信号（１１７）と同一のもの又はその非常に近い近似を表す復号信号（１３２）を生成するために、復号ユニット（１３０）により復号される。受信機は、基準ディスプレイ（１２５）と全く異なる特性を有してよい目標ディスプレイ（１４０）に取り付けられてよい。その場合、ディスプレイ管理ブロック（１３５）は、ディスプレイマッピング済み信号（１３７）を生成することにより、復号信号（１３２）のダイナミックレンジを目標ディスプレイ（１４０）の特性にマッピングするために使用されてよい。限定ではなく、ディスプレイ管理処理の例は、参考文献[１]及び[２]に記載されている。
【0024】
シングルステップ及びマルチステップディスプレイマッピング
従来のディスプレイマッピング（display mapping （DM））では、マッピングアルゴリズムは、シグモイド様関数（例えば、参考文献[３]及び[４]を参照）を適用して、入力ダイナミックレンジを目標ディスプレイのダイナミックレンジにマッピングする。このようなマッピング関数は、アンカーポイント、ピボット、及び入力ソースと目標ディスプレイの特性を使用して生成されるその他の多項式パラメータによって特徴付けられる区分線形又は非線形多項式として表すことができる。例えば、参考文献[３-４]では、マッピング関数は、入力画像とディスプレイの輝度特性（例えば、最小、中間（平均）、及び最大輝度）に基づくアンカーポイントを使用する。しかし、他のマッピング関数は、ブロックレベル又は画像全体の輝度分散又は輝度標準偏差など、異なる統計データを使用することができる。SDR画像の場合、この処理は、送信されたビデオの一部として送信されるか、デコーダ又はディスプレイによって計算される追加のメタデータによって支援されることもある。例えば、コンテンツプロバイダがソースコンテンツのSDRバージョンとHDRバージョンの両方を持っている場合、ソースは両方のバージョンを使用してメタデータ（順方向又は逆方向のリシェイプ関数の区分的線形近似など）を生成し、デコーダが受信SDR画像をHDR画像に変換するのを支援することができる。
従来のディスプレイマッピング（display mapping （DM））では、マッピングアルゴリズムは、シグモイド様関数（例えば、参考文献[３]及び[４]を参照）を適用して、入力ダイナミックレンジを目標ディスプレイのダイナミックレンジにマッピングする。このようなマッピング関数は、アンカーポイント、ピボット、及び入力ソースと目標ディスプレイの特性を使用して生成されるその他の多項式パラメータによって特徴付けられる区分線形又は非線形多項式として表すことができる。例えば、参考文献[３-４]では、マッピング関数は、入力画像とディスプレイの輝度特性（例えば、最小、中間（平均）、及び最大輝度）に基づくアンカーポイントを使用する。しかし、他のマッピング関数は、ブロックレベル又は画像全体の輝度分散又は輝度標準偏差など、異なる統計データを使用することができる。SDR画像の場合、この処理は、送信されたビデオの一部として送信されるか、デコーダ又はディスプレイによって計算される追加のメタデータによって支援されることもある。例えば、コンテンツプロバイダがソースコンテンツのSDRバージョンとHDRバージョンの両方を持っている場合、ソースは両方のバージョンを使用してメタデータ（順方向又は逆方向のリシェイプ関数の区分的線形近似など）を生成し、デコーダが受信SDR画像をHDR画像に変換するのを支援することができる。
【0025】
DolbyVision（登録商標）のようなHDRデータ送信の典型的なワークフローでは、ディスプレイマッピング（１３５）は、画像が目標ディスプレイ（１４０）で表示される前に、処理パイプラインの最後に実行される単一ステップの処理と見なすことができる。ただし、このマッピングを２つの（又はそれ以上の）処理ステップで行うことが必要である又は有益な場合がある。例えば、DolbyVision（又はその他のHDRフォーマット）送信プロファイルは、DolbyVisionをサポートしないがHDR１０フォーマットをサポートするテレビ受像機をサポートするために、１０００ニト（nit）でHDR１０でコーディングされたビデオの基本レイヤを使用することができる。その場合、典型的なワークフロー処理には以下のステップが含まれる。
１）DolbyVision又はその他のフォーマットを使用して、元のHDRマスタからの入力画像又はビデオを基本レイヤ（例えば、１０００ニト、ITU-R Rec．２０２０）にマップする。
２）マップされた基本レイヤから元のHDRマスタ画像を再構成する静的又は動的コンポーザメタデータを計算する。
３）マップされた基本レイヤをエンコードし、元のHDRメタデータ（例えば、最小、中間及び最大輝度値）を埋め込み、コンポーザメタデータと共にダウンストリームを復号装置に送信する。
４）再生時に、コーディングされたビットストリームを復号し、a）コンポーザメタデータを基本レイヤに適用して、基本レイヤから元のHDR画像を再構成し、b）元のHDRメタデータを使用して、再構成された画像を目標ディスプレイにマップする（シングルステップマッピングと同じ）。
１）DolbyVision又はその他のフォーマットを使用して、元のHDRマスタからの入力画像又はビデオを基本レイヤ（例えば、１０００ニト、ITU-R Rec．２０２０）にマップする。
２）マップされた基本レイヤから元のHDRマスタ画像を再構成する静的又は動的コンポーザメタデータを計算する。
３）マップされた基本レイヤをエンコードし、元のHDRメタデータ（例えば、最小、中間及び最大輝度値）を埋め込み、コンポーザメタデータと共にダウンストリームを復号装置に送信する。
４）再生時に、コーディングされたビットストリームを復号し、a）コンポーザメタデータを基本レイヤに適用して、基本レイヤから元のHDR画像を再構成し、b）元のHDRメタデータを使用して、再構成された画像を目標ディスプレイにマップする（シングルステップマッピングと同じ）。
【0026】
このワークフローには、再生時に２つの画像処理操作が必要であるという欠点がある。つまり、a）HDR入力を再構成するための合成（又は予測）と、b）HDR入力を目標ディスプレイにマップするためのディスプレイマッピング、である。一部の装置では、コンポーザをバイパスすることによって、単一のマッピング操作のみを実行することが望ましい場合がある。これにより、必要な電力消費が少なくなり、及び／又は実装及び処理の複雑さが簡素化される。例示的な実施形態では、コンポーザをバイパスすることによって、基本レイヤへの第１マッピング、続いて基本レイヤから目標ディスプレイへの直接の第２マッピングを可能にする代替の多段ワークフローが説明される。このアプローチは、追加のディスプレイ又はビットストリームへのマッピングの後続ステップを含むように更に拡張することができる。
【0027】
図２Aは、多段ディスプレイマッピングの例示的な処理を示している。点線及びディスプレイマッピング（DM）ユニット２０５は、従来の単段マッピングを示している。この例では、限定ではなく、入力画像（２０２）及びそのメタデータ（２０４）は、３００ニト及びP３色域で目標ディスプレイ（２２５）にマッピングされる必要がある。目標ディスプレイの特性（２３０）（例えば、最小及び最大輝度及び色域）は、入力（２０２）及びそのメタデータ（例えば、最小輝度、中間輝度、最大輝度）（２０４）と共にディスプレイマッピング（DM）処理（２０５）に供給され、ディスプレイマッピング（DM）処理は、入力を目標ディスプレイ（２２５）のダイナミックレンジにマッピングする。
【0028】
実線及び影付きブロックは、多段マッピングを示す。入力画像（２０２）、入力メタデータ（２０４）、及び基本レイヤ（２０８）に関連するパラメータは、ディスプレイマッピングユニット（２１０）に供給され、（例えば、入力ダイナミックレンジからRec．２０２０における１０００ニトに）マッピングされた基本レイヤ（２１２）を生成する。このステップは、エンコーダ（図示せず）で実行することができる。再生中、新しい処理ブロックであるメタデータ再構成ユニット（２１５）は、目標ディスプレイパラメータ（２３０）、基本レイヤパラメータ（２０８）、及び入力画像メタデータ（２０４）を使用して、マッピングされた基本レイヤ（２１２）の目標ディスプレイ（２２５）への後続のマッピング（２２０）が、同じディスプレイへの単段マッピング（２０５）の結果と視覚的に同一になるように、入力画像メタデータを調整して再構成メタデータ（２１７）を生成する。
【0029】
基本レイヤ及び元のHDRメタデータを含む既存の（レガシー）コンテンツに対して、メタデータ再構成ブロック（２１５）が再生中に適用される。場合によっては、基本レイヤ目標情報（２０８）が利用できず、他の情報に基づいて（例えば、DolbyVisionでは、プロファイル情報（Profile８．４、８．１など）を使用して）推定されることがある。マッピングされた基本レイヤ（２１２）が元のHDRマスタ（例えば、２０２）と同一であることも可能であり、その場合、メタデータ再構成をスキップすることができる。
【0030】
幾つかの実施形態では、メタデータ再構成（２１５）をエンコーダ側で適用することができる。例えば、モバイル装置（例えば、電話、タブレット等）における電力又は計算リソースが限られているため、デコーダ装置における電力を節約するために、再構成されたメタデータを事前に計算することが望ましい場合がある。この新しいメタデータは、元のHDRメタデータに加えて送信することができ、その場合、デコーダは、単に再構成されたメタデータを使用し、再構成ブロックをスキップすることができる。代替として、再構成されたメタデータは、元のHDRメタデータの一部を置き換えることができる。
【0031】
図２Bは、マルチステップディスプレイマッピングに適したビットストリームを準備するために、エンコーダ内でメタデータを再構成する処理の例を示す。エンコーダが目標ディスプレイの特性を知る可能性が低いならば、メタデータ再構成は、複数の潜在的なディスプレイの特性、例えば１００ニト、Rec．７０９（２４０-１）、４００ニト、P３（２４０-２）、６００ニト、P３（２４０-３）などに基づいて適用することができる。基本レイヤ（２１２）は前述のように構成されるが、ここでは、メタデータ再構成処理は、多種多様なディスプレイに対して正確な一致を得るために、複数の目標ディスプレイを考慮する。最終出力（２５０）は、基本レイヤ（２１２）、再構成メタデータ（２１７）、及びメタデータ再構成処理の影響を受けない元のメタデータ（２０４）の部分を組み合わせる。
【0032】
メタデータの再構成
メタデータの再構成中に、（入力ダイナミックレンジの入力画像に対する）元の入力メタデータの一部が、（中間ダイナミックレンジで利用可能な）基本レイヤ及び（目標ダイナミックレンジの画像を表示するための）目標ディスプレイの特性に関する情報と組み合わされて、２段階（又は多段）ディスプレイマッピングのための再構成メタデータを生成する。一実施形態では、メタデータの再構成は４つのステップで行われる。
メタデータの再構成中に、（入力ダイナミックレンジの入力画像に対する）元の入力メタデータの一部が、（中間ダイナミックレンジで利用可能な）基本レイヤ及び（目標ダイナミックレンジの画像を表示するための）目標ディスプレイの特性に関する情報と組み合わされて、２段階（又は多段）ディスプレイマッピングのための再構成メタデータを生成する。一実施形態では、メタデータの再構成は４つのステップで行われる。
【0033】
ステップ１：シングルステップマッピング
本明細書で使用されるように、用語「L１メタデータ」は、入力フレーム又は画像に関連する最小、中間、及び最大輝度値を示す。L１メタデータは、RGBデータをルマクロマフォーマット（例えば、YCbCr）に変換し、Y平面内の最小、中間（平均）、及び最大値を計算することによって計算することができ、又はRGB空間内で直接計算することができる。例えば、一実施形態では、L１Minは、アクティブ領域を考慮しながら（例えば、灰色又は黒色のバー、レターボックスバー等を除外することによって）、画像のPQ符号化min（RGB）値の最小値を示す。min（RGB）は、ピクセルのカラー成分値{R、G、B}の最小値を示す。L１Mid及びL１Maxの値は、min（）関数をaverage（）及びmax（）関数に置き換えるのと同じ方法で計算することもできる。例えば、L１Midは、画像のPQ符号化max（RGB）値の平均を示し、L１Maxは、画像のPQ符号化max（RGB）値の最大値を示す。一部の実施形態では、L１メタデータを[０、１]に正規化することができる。
本明細書で使用されるように、用語「L１メタデータ」は、入力フレーム又は画像に関連する最小、中間、及び最大輝度値を示す。L１メタデータは、RGBデータをルマクロマフォーマット（例えば、YCbCr）に変換し、Y平面内の最小、中間（平均）、及び最大値を計算することによって計算することができ、又はRGB空間内で直接計算することができる。例えば、一実施形態では、L１Minは、アクティブ領域を考慮しながら（例えば、灰色又は黒色のバー、レターボックスバー等を除外することによって）、画像のPQ符号化min（RGB）値の最小値を示す。min（RGB）は、ピクセルのカラー成分値{R、G、B}の最小値を示す。L１Mid及びL１Maxの値は、min（）関数をaverage（）及びmax（）関数に置き換えるのと同じ方法で計算することもできる。例えば、L１Midは、画像のPQ符号化max（RGB）値の平均を示し、L１Maxは、画像のPQ符号化max（RGB）値の最大値を示す。一部の実施形態では、L１メタデータを[０、１]に正規化することができる。
【0034】
元のHDRメタデータのL１Min、L１Mid及びL１Max値、ならびにTmax及びTminとして示される目標ディスプレイの最大（ピーク）及び最小（黒）輝度を考慮する。次に、参考文献［３－４］に記載されているように、入力画像の強度を目標ディスプレイのダイナミックレンジにマッピングする強度トーンマッピングのマッピング曲線を生成することができる。このような曲線（３０５）の例を図３Aに示す。これは、再構成メタデータを使用してマッチングされる理想的な単段のトーンマッピング曲線であると考えることができる。この直接的なトーンマッピング曲線を使用して、L１Min、L１Mid、及びL１Max値を対応するTMin、TMid、及びTMax値にマッピングする。図３A～図３Dにおいて、すべての入力値及び出力値は、SMPTE ST２０８４を使用してPQドメインに示される。他のすべての計算されたメタデータ値（例えば、BLMin、BLMid、BLMax、TMin、TMid、TMax、TMin’、TMid’、TMax’）もPQドメインに含まれる。
【0035】
ステップ２：基本レイヤへのマッピング
元のHDRメタデータのL１Min、L１Mid、L１Maxの値と、基本レイヤストリームの黒レベル（最小輝度）とピーク輝度を示す基本レイヤパラメータ（２０８）のBminとBmaxの値を入力として考慮する。ここでも、入力データをBminとBmaxの範囲の値にマップするために、第１強度マッピング曲線を導出することができる。このような曲線（３１０）の例を図３Bに示す。この曲線を使用して、元のL１値をBLMin、BLMid、及びBLMax値にマップして、３番目のステップの再構成されたL１メタデータとして使用できる。
元のHDRメタデータのL１Min、L１Mid、L１Maxの値と、基本レイヤストリームの黒レベル（最小輝度）とピーク輝度を示す基本レイヤパラメータ（２０８）のBminとBmaxの値を入力として考慮する。ここでも、入力データをBminとBmaxの範囲の値にマップするために、第１強度マッピング曲線を導出することができる。このような曲線（３１０）の例を図３Bに示す。この曲線を使用して、元のL１値をBLMin、BLMid、及びBLMax値にマップして、３番目のステップの再構成されたL１メタデータとして使用できる。
【0036】
ステップ３：基本レイヤから目標へのマッピング
ステップ２のBLMin、BLMid、及びBLMaxを更新されたL１メタデータとして取得し、第２ディスプレイ管理曲線を使用して目標ディスプレイ（例えば、Tmin及びTmax）にマップする。第２曲線を使用して、BLMin、BLMid、及びBLMaxの対応するマップ値をTMin’、TMid’、及びTMax’として示す。図３Cでは、曲線（３１５）がこのマッピングの例を示している。曲線（３０５）は、単段マッピングを表す。目標は、２つの曲線を一致させることである。
ステップ２のBLMin、BLMid、及びBLMaxを更新されたL１メタデータとして取得し、第２ディスプレイ管理曲線を使用して目標ディスプレイ（例えば、Tmin及びTmax）にマップする。第２曲線を使用して、BLMin、BLMid、及びBLMaxの対応するマップ値をTMin’、TMid’、及びTMax’として示す。図３Cでは、曲線（３１５）がこのマッピングの例を示している。曲線（３０５）は、単段マッピングを表す。目標は、２つの曲線を一致させることである。
【0037】
ステップ４：シングルステップ及びマルチステップマッピングのマッチング
本明細書で使用されているように、用語「トリム」は、トーンマッピング操作を改善するためにカラリストによって実行されるトーンカーブ調整を示す。トリムは、通常、SDR範囲（例えば、最大輝度１００nit、最小輝度０．００５nit）に適用される。これらの値は、最大輝度のみに応じてターゲット輝度範囲に線形に補間される。これらの値は、デフォルトのトーン曲線を変更し、すべてのトリムに存在する。
本明細書で使用されているように、用語「トリム」は、トーンマッピング操作を改善するためにカラリストによって実行されるトーンカーブ調整を示す。トリムは、通常、SDR範囲（例えば、最大輝度１００nit、最小輝度０．００５nit）に適用される。これらの値は、最大輝度のみに応じてターゲット輝度範囲に線形に補間される。これらの値は、デフォルトのトーン曲線を変更し、すべてのトリムに存在する。
【0038】
トリムに関する情報は、HDRメタデータの一部であってもよく、ステップ１～２で生成されたトーンマッピング曲線を調整するために使用されてもよい（参考文献[１-４]及び下記の式（４-８）を参照）。例えば、DolbyVisionでは、ピクセル値を調整するためのゲイン値及びガンマ値を表すスロープ（Slope）、オフセット（Offset）、及びパワー（Power）変数（総称してSOPパラメータと呼ばれる）を含むレベル２（L２）又はレベル８（L８）メタデータとしてトリムを渡すことができる。例えば、スロープ（Slope）、オフセット（Offset）、及びパワー（Power）が[－０．５、０．５]の場合、ゲイン及びガンマが与えられると、
【数1】
【0039】
一実施形態では、２つのマッピング曲線を一致させるために、トリムに関連する再構成メタデータを使用する必要がある場合もある。ステップ３の[TMin’、TMid’及びTMax’]とステップ１の[TMin、TMid、TMax]を一致させるために、スロープ（Slope）、オフセット（Offset）、パワー（Power）、及びTMidContrastの値を生成する。これは、再構成メタデータの新しい（再構成された）トリムメタデータ（例えば、L８及び／又はL２）として使用される。
【0040】
スロープ（Slope）、オフセット（Offset）、及びパワー（Power）の計算：
パワー、及びTMidContrastの計算の目的は、ステップ２の[TMin’、TMid’及びTMax’]とステップ１の[TMin、TMid、TMax]を一致させることである。これらは、次式によって相互に関連している。
これは、３つの未知数を持つ３式の連立方程式であり、次のように解くことができる。
１．まず、テイラー級数展開近似を使用してパワー（Power）を解く。
２．Power値を使用して、次のようにスロープ（Slope）とオフセット（Offset）を計算する。
３．TMidContrastを計算するために、
ここで、DirectMap（）はステップ１のトーンマッピング曲線を表し、MultiStepMap（）はステップ３で生成された第２トーンマッピング曲線を表す。
パワー、及びTMidContrastの計算の目的は、ステップ２の[TMin’、TMid’及びTMax’]とステップ１の[TMin、TMid、TMax]を一致させることである。これらは、次式によって相互に関連している。
【数2】
１．まず、テイラー級数展開近似を使用してパワー（Power）を解く。
【数3】
【数4】
【数5】
【0041】
入力メタデータとTmin及びTmax値（例えば、参考文献[４]）に従って生成されたトーンカーブy（x）を考慮して、次に、TMidContrastは、次のように中央（例えば、図３Aの（L１Mid、TMid）点（３０７）を参照）の傾き（slopeMid）を更新する。
次に、スロープ（Slope）、オフセット（Offset）、及びパワー（Power）を次のように適用できる。
【数6】
【数7】
【0042】
幾つかの実施形態では、スロープ（Slope）、オフセット（Offset）、及びパワー（Power）を正規化空間に適用できる。これには、パワー（Power）項を適用するときにクリッピングの可能性を減らすという利点がある。この場合、スロープ（Slope）、オフセット（Offset）、及びパワー（Power）を適用する前に、正規化が次のように行われる。
次に、式（５）でスロープ（Slope）、オフセット（Offset）、及びパワー（Power）項を適用した後、非正規化は次のように行われる。
【数8】
【数9】
【0043】
TmaxPQ及びTminPQは、SMPTE ST２０８４を使用してPQ輝度に変換された線形輝度値Tmax及びTminに対応するPQコーディングされた輝度値を示す。一実施形態によると、TmaxPQ及びTminPQは、[０～４０９５]／４０９５で表される[０，１]の範囲にある。この場合、[TMin、TMid、TMax]と[TMin’、TMid’、TMax’]の正規化は、スロープ（Slope）、オフセット（Offset）、及びパワー（Power）を計算するステップ１の前に行われる。次に、ステップ３のTMidContrast（式（３）参照）は、以下のように、（TmaxPQ－TminPQ）によってスケーリングされる。
一例として、図３Dにおいて、曲線３１５bは、トリムパラメータSlope、Offset、Power、及びTMidContrastを適用した後、曲線３０５に一致するように曲線３１５がどのように調整されるかを示す。
【数10】
【0044】
図４は、一実施形態によるメタデータ再構成処理（２１５）を要約する処理例及び前述のステップを示す。図４に示すように、処理への入力は、入力メタデータ（２０４）、基本レイヤ特性（２０８）、及び目標ディスプレイ特性（２３０）である。
ステップ４０５は、入力メタデータ及び目標ディスプレイ特性（例えば、Tmin、Tmax）を使用して、直接又はシングルステップマッピングトーン曲線（例えば、３０５）を生成する。この直接マッピング曲線を使用して、入力輝度メタデータ（例えば、L１Min、L１Mid、L１Max）が直接マッピングされたメタデータ（例えば、TMin、TMid、TMax）に変換される。
ステップ４１０は、入力メタデータ及び基本レイヤ特性（例えば、Bmin及びBmax）を使用して、第１中間マッピング曲線（例えば、３１０）を生成する。この曲線を使用して、入力メタデータ（例えば、L１Min、L１Mid、L１Max）内の輝度値に対応する再構成輝度メタデータ（例えば、BLMin、BLMid、BLMax）の第１セットを生成する。
ステップ４１５は、BLMin、BLMid、及びBLMax値を持つ入力を（例えば、Tmin及びTmaxを使用する）目標ディスプレイにマッピングする第２マッピング曲線を生成する。第２トーンマッピング曲線（例えば、３１５）を使用して、ステップ４１０で生成された再構成メタデータ値（例えば、BLMin、BLMid、BLMax）の第１セットを、マッピングされた再構成メタデータ値（例えば、TMin’、TMid’、TMax’）にマッピングすることができる。
ステップ４２０は、第２トーンマッピング曲線を調整するために使用される幾つかの追加の再構成メタデータ（例えば、SOPパラメータSlope、Offset、及びPower）を生成する。このステップは、直接マッピングされたメタデータ値（TMin、TMid、TMax）及び対応するマッピングされた再構成メタデータ値（TMin’、TMid’、及びTMax’）を使用して、Slope、Offset、及びPowerという３つの未知数を有する少なくとも３式の連立方程式を解く必要がある。
ステップ４２５は、SOPパラメータ、直接マッピング曲線、及び第２マッピング曲線を使用して、第２マッピング曲線を更に調整するための傾き調整パラメータ（TMidContrast）を生成する。
出力再構成メタデータ（２１２）は、再構成輝度メタデータ（例えば、BLMin、BLMid、BLMax）及び再構成又は新しいトリムパスメタデータ（例えば、TMidContrast、Slope、Power、Offset）を含む。これらの再構成メタデータをデコーダで使用して、第２マッピング曲線を調整し、基本レイヤ画像を目標ディスプレイにマッピングするための出力マッピング曲線を生成することができる。
ステップ４０５は、入力メタデータ及び目標ディスプレイ特性（例えば、Tmin、Tmax）を使用して、直接又はシングルステップマッピングトーン曲線（例えば、３０５）を生成する。この直接マッピング曲線を使用して、入力輝度メタデータ（例えば、L１Min、L１Mid、L１Max）が直接マッピングされたメタデータ（例えば、TMin、TMid、TMax）に変換される。
ステップ４１０は、入力メタデータ及び基本レイヤ特性（例えば、Bmin及びBmax）を使用して、第１中間マッピング曲線（例えば、３１０）を生成する。この曲線を使用して、入力メタデータ（例えば、L１Min、L１Mid、L１Max）内の輝度値に対応する再構成輝度メタデータ（例えば、BLMin、BLMid、BLMax）の第１セットを生成する。
ステップ４１５は、BLMin、BLMid、及びBLMax値を持つ入力を（例えば、Tmin及びTmaxを使用する）目標ディスプレイにマッピングする第２マッピング曲線を生成する。第２トーンマッピング曲線（例えば、３１５）を使用して、ステップ４１０で生成された再構成メタデータ値（例えば、BLMin、BLMid、BLMax）の第１セットを、マッピングされた再構成メタデータ値（例えば、TMin’、TMid’、TMax’）にマッピングすることができる。
ステップ４２０は、第２トーンマッピング曲線を調整するために使用される幾つかの追加の再構成メタデータ（例えば、SOPパラメータSlope、Offset、及びPower）を生成する。このステップは、直接マッピングされたメタデータ値（TMin、TMid、TMax）及び対応するマッピングされた再構成メタデータ値（TMin’、TMid’、及びTMax’）を使用して、Slope、Offset、及びPowerという３つの未知数を有する少なくとも３式の連立方程式を解く必要がある。
ステップ４２５は、SOPパラメータ、直接マッピング曲線、及び第２マッピング曲線を使用して、第２マッピング曲線を更に調整するための傾き調整パラメータ（TMidContrast）を生成する。
出力再構成メタデータ（２１２）は、再構成輝度メタデータ（例えば、BLMin、BLMid、BLMax）及び再構成又は新しいトリムパスメタデータ（例えば、TMidContrast、Slope、Power、Offset）を含む。これらの再構成メタデータをデコーダで使用して、第２マッピング曲線を調整し、基本レイヤ画像を目標ディスプレイにマッピングするための出力マッピング曲線を生成することができる。
【0045】
図２Aに戻ると、ディスプレイマッピング処理２２０は、
a）再構成メタデータ値BLMin、BLMid、及びBLMaxを有する基本レイヤの強度を目標ディスプレイ（２２５）のTmin及びTmax値にマッピングするトーンマッピング曲線（y（x））を生成し、
b）前述したように、トリムパスメタデータ（例えば、TMidContrast、Slope、Power、Offset）を使用して、このトーンマッピング曲線を更新する（例えば、式（４－８）を参照）。
a）再構成メタデータ値BLMin、BLMid、及びBLMaxを有する基本レイヤの強度を目標ディスプレイ（２２５）のTmin及びTmax値にマッピングするトーンマッピング曲線（y（x））を生成し、
b）前述したように、トリムパスメタデータ（例えば、TMidContrast、Slope、Power、Offset）を使用して、このトーンマッピング曲線を更新する（例えば、式（４－８）を参照）。
【0046】
一実施形態では、L１Min、L１Mid、及びL１Maxとは異なるサンプリングポイントを使用してトーン曲線を生成することができる。例えば、少数の輝度範囲ポイントのみをサンプリングするので、中央に近い曲線ポイントを選択すると、全体的な曲線の一致が改善される可能性がある。別の実施形態では、３つのポイントだけでなく、最適化中に曲線全体を考慮することができる。更に、TMidとTMid’の差が非常に小さい場合は、精度の許容差が小さいソリューションを許可することによって、改善を行うことができる。例えば、ポイントを正確に解決するのではなく、ポイント間の小さな許容差（例えば１/７２０）を許可すると、トリミングが小さくなり、全体的に曲線の一致が改善される可能性がある。
【0047】
ステップ１で説明したように、トーンマップ強度曲線は、ディスプレイ管理のトーン曲線である。この曲線は、基本レイヤの生成と目標ディスプレイの両方で使用される曲線にできる限り近いことが推奨される。従って、曲線のバージョン又は設計は、コンテンツ又は再生装置の種類によって異なる場合がある。例えば、参考文献[４]に従って生成された曲線は、参考文献[３]に従う曲線を構築することしか認識しない古いレガシー装置ではサポートされない場合がある。すべてのDM曲線がすべての再生装置でサポートされるわけではないので、トーンマップ強度を計算するときに使用される曲線は、特定の再生装置のコンテンツタイプ及び特性に基づいて選択されるべきである。正確な再生装置が不明な場合（符号化でメタデータの再構成が適用されている場合など）は、最も近い曲線が選択されるが、結果として得られる画像はシングルステップマッピング（Single Step Mapping）とはかなり離れたものになる。
【0048】
グローバル調光メタデータに対するメタデータ調整
本明細書で使用されるように、用語「L４メタデータ」又は「レベル４メタデータ」は、グローバル調光パラメータを調整するために使用され得る信号メタデータを指す。DolbyVision処理の一実施形態では、限定ではないが、L４メタデータは、次に定義されるFilteredFrameMean及びFilteredFramePowerという２つのパラメータを含む。
本明細書で使用されるように、用語「L４メタデータ」又は「レベル４メタデータ」は、グローバル調光パラメータを調整するために使用され得る信号メタデータを指す。DolbyVision処理の一実施形態では、限定ではないが、L４メタデータは、次に定義されるFilteredFrameMean及びFilteredFramePowerという２つのパラメータを含む。
【0049】
FilteredFrameMean（又は略してmean_max）は、フレーム最大輝度値（例えば、各フレームのPQ符号化最大RGB値）の一時的にフィルタリングされた平均出力として計算される。一実施形態では、このような情報が利用可能であれば、この一時的なフィルタリングはシーンカットでリセットされる。FilteredFramePower（又は略してstd_max）は、フレーム最大輝度値（例えば、各フレームのPQ符号化最大RGB値）の一時的にフィルタリングされた標準偏差出力として計算される。両方の値は、[０ １]に正規化することができる。これらの値は、経時的な画像シーケンスの最大輝度の平均及び標準偏差を表し、表示のときにグローバルな調光を調整するために使用される。ディスプレイ出力を改善するために、L４メタデータについてもマッピング再構成を識別することが望ましい。
【0050】
一実施形態では、std_max値のマッピングは、以下によって特徴付けられるモデルに従う。
ここで、a、b、c、及びdは定数であり、zはマッピングされたstd_max値を示し、xは元のstd_max値を示し、及びy=Smax/Dmaxであり、Smaxはソース画像（例えば、前述のSmax=L１Max）のPQ符号化RGB値の最大値を示し、Dmaxは表示画像のPQ符号化RGB値の最大値を示す。一実施形態では、Dmax=Tmaxは先に定義されたとおりであり（例えば、目標ディスプレイの最大輝度）、Smaxは参照ディスプレイの最大輝度を示すこともできる。
【数11】
【0051】
一実施形態では、Smax=Dmax（例えば、y=１）のとき、標準偏差値は同じままであるべきであり、従ってz=xである。これらの値を式（９）に代入することにより、d=１－b及びa=－cが導出され、式（９）は次のように書き換えることができる。
【数12】
【0052】
一実施形態では、式（１０）のパラメータa及びbは、最大輝度４０００ニトから１０００、２４５、及び１００ニトまでの２６０個の画像にディスプレイマッピングを適用することによって導出された。このマッピングにより、曲線に適合する７８０個の（Smax、Dmax、std_maxの）データポイントが提供され、出力モデルパラメータが得られた。
【数13】
【0053】
a及びbに単一小数点近似を使用すると、式（１０）は次のように書き換えることができる。
【数14】
【0054】
式（１１）は、L４メタデータ、特にstd_max値をマッピングする方法に関する単純な関係を表す。式（１０）及び（１１）によって記述されたマッピングを超えて、式（１１）の特性は次のように一般化できる。
・L４メタデータの再マッピングは線形に比例する。例えば、元のstd_max値が高い画像は、再マップされたmap_std_max値が高い画像に再マップされる。
・Smax/Dmaxの比はmap_std_max値を減少させるが、非常に遅いペースである。従って、元のstd_max値が高い画像は、依然として、再マップされたmap_std_max値が相対的に高い画像に再マップされる。例えば、Smax/Dmax=１．６の場合、map_std_max=０．７std_maxになる。
・Smax/Dmax=１の場合、再マップは行われない。
・L４メタデータの再マッピングは線形に比例する。例えば、元のstd_max値が高い画像は、再マップされたmap_std_max値が高い画像に再マップされる。
・Smax/Dmaxの比はmap_std_max値を減少させるが、非常に遅いペースである。従って、元のstd_max値が高い画像は、依然として、再マップされたmap_std_max値が相対的に高い画像に再マップされる。例えば、Smax/Dmax=１．６の場合、map_std_max=０．７std_maxになる。
・Smax/Dmax=１の場合、再マップは行われない。
【0055】
Tmax>Smaxの場合の再マッピング
参照ディスプレイの最大輝度をSmaxで表す。ステップ１の直接マッピング中に、Tmax>Smaxのケースが許可され、つまり、目標ディスプレイは参照ディスプレイよりも高い輝度を持つことができ、通常、直接の１対１のマッピングを適用し、メタデータの調整は行われない。このような１対１のマッピングは、図５Aに示されている。一実施形態では、特別な「アップマッピング」ステップを使用して、Tmax値までの画像データのマッピングを可能にすることによって、表示された画像の外観を向上させることができる。このアップマッピングステップは、入力トリム（L８）メタデータによってもガイドされ得る。
参照ディスプレイの最大輝度をSmaxで表す。ステップ１の直接マッピング中に、Tmax>Smaxのケースが許可され、つまり、目標ディスプレイは参照ディスプレイよりも高い輝度を持つことができ、通常、直接の１対１のマッピングを適用し、メタデータの調整は行われない。このような１対１のマッピングは、図５Aに示されている。一実施形態では、特別な「アップマッピング」ステップを使用して、Tmax値までの画像データのマッピングを可能にすることによって、表示された画像の外観を向上させることができる。このアップマッピングステップは、入力トリム（L８）メタデータによってもガイドされ得る。
【0056】
一実施形態では、アップマッピングは、前述のステップ１の一部として行われる。
例えば、Smax=２０００ニト及びTmax=９０００ニトの場合を考える。６００ニトの基本レイヤ（Bmax）を考える。アップマッピングをガイドするトリムがないと仮定すると、図５Bは、入力（X）PQ値[０．０１５１、０．３３４５、０．８２７４]が出力（Y）PQ値[０．０１５１、０．３５０７、０．９８８９]にマッピングされ、X=Y=１が１００００ニトに対応するアップマッピングの例を示す。入力X=０．８２７４はSmax=２０００ニトに対応し、９０００ニトに対応するY=０．９８８９にマッピングされる。同様に、X=Smid=０．３３４５はTmid=０．３５０７にマッピングされ、これは元のSmid値の約５%の増加を表し、X=０．０１５１は直接１対１マッピングを使用してY=０．０１５１にマッピングされる。従って、追加のメタデータ又はガイド情報がない場合、Tmax>Smaxのとき、以下のアンカーポイントを使用してトーンマッピング曲線を構成することができる。
Smin（ソースディスプレイの最小輝度）をTminにマッピングする。
Smid（ソースディスプレイの推定平均輝度）をTmid=Smid+c*Smidにマッピングし、cは[０、０．１]の範囲である。
SmaxをTmaxにマッピングする。
例えば、Smax=２０００ニト及びTmax=９０００ニトの場合を考える。６００ニトの基本レイヤ（Bmax）を考える。アップマッピングをガイドするトリムがないと仮定すると、図５Bは、入力（X）PQ値[０．０１５１、０．３３４５、０．８２７４]が出力（Y）PQ値[０．０１５１、０．３５０７、０．９８８９]にマッピングされ、X=Y=１が１００００ニトに対応するアップマッピングの例を示す。入力X=０．８２７４はSmax=２０００ニトに対応し、９０００ニトに対応するY=０．９８８９にマッピングされる。同様に、X=Smid=０．３３４５はTmid=０．３５０７にマッピングされ、これは元のSmid値の約５%の増加を表し、X=０．０１５１は直接１対１マッピングを使用してY=０．０１５１にマッピングされる。従って、追加のメタデータ又はガイド情報がない場合、Tmax>Smaxのとき、以下のアンカーポイントを使用してトーンマッピング曲線を構成することができる。
Smin（ソースディスプレイの最小輝度）をTminにマッピングする。
Smid（ソースディスプレイの推定平均輝度）をTmid=Smid+c*Smidにマッピングし、cは[０、０．１]の範囲である。
SmaxをTmaxにマッピングする。
【0057】
別の実施形態では、元のメタデータが、Smax値より大きい最大輝度を有する目標ディスプレイ用に指定されたトリム（例えば、L８メタデータ）を含む場合、アップマッピングは、これらのトリムメタデータによってガイドされる。例えば、Yref[i]トリムが定義されているXref[i]輝度ポイントを考える。例えば、
次に、線形補間又は補外を仮定すると、Xin>x２の輝度値のトリムは、以下のように補外される：
【数15】
【数16】
【0058】
例えば、トリム目標が３０００ニトの場合、次のL８トリムを持つ受信ビデオソースを考える。
Slope=０．１、Offset=－０．０７、Power=０．０３
Smax=２．０００ニトの場合、目標９０００ニトでトリムを取得するために、上記のトリムを線形に補外することができる。トリムの外挿は、L８のすべてのトリムに対して行われる。補外されたトリムは、ステップ１の直接マッピングステップの一部として使用できる。例えば、Slopeトリム値の場合、
ここで、L２PQ（x）は、線形輝度x値を対応するPQ値にマップする関数を表す。同様のステップを適用して、Offset及びPowerの補外された値を計算することができる。これにより、次の補外されたトリムが得られる：
参考文献
ここに列挙された参考文献の各々は、参照によりその全体がここに組み込まれる。
［１］U.S. Patent 9,961,237, “Display management for high dynamic range video,” by R. Atkins.
［２］PCT Application PCT/US2020/028552, filed on 16 Apr 2020, WIPO Publication WO/2020/219341, “Display management for high dynamic range images,” by R. Atkins et al.
［３］U.S. Patent 8,593,480, “Method and apparatus for image data transformation,” by A. Ballestad and A. Kostin,
［４］U.S. Patent 10,600,166, “Tone curve mapping for high dynamic range images,” by J.A. Pytlarz and R. Atkins.
Slope=０．１、Offset=－０．０７、Power=０．０３
Smax=２．０００ニトの場合、目標９０００ニトでトリムを取得するために、上記のトリムを線形に補外することができる。トリムの外挿は、L８のすべてのトリムに対して行われる。補外されたトリムは、ステップ１の直接マッピングステップの一部として使用できる。例えば、Slopeトリム値の場合、
【数17】
【数18】
ここに列挙された参考文献の各々は、参照によりその全体がここに組み込まれる。
［１］U.S. Patent 9,961,237, “Display management for high dynamic range video,” by R. Atkins.
［２］PCT Application PCT/US2020/028552, filed on 16 Apr 2020, WIPO Publication WO/2020/219341, “Display management for high dynamic range images,” by R. Atkins et al.
［３］U.S. Patent 8,593,480, “Method and apparatus for image data transformation,” by A. Ballestad and A. Kostin,
［４］U.S. Patent 10,600,166, “Tone curve mapping for high dynamic range images,” by J.A. Pytlarz and R. Atkins.
【0059】
＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はICは、本願明細書に記載したような画像変換に関連する命令を実行し、制御し、又は実施してよい。コンピュータ及び／又はICは、本願明細書に記載したマルチステップディスプレイマッピング処理に関連する種々のパラメータ又は値のうちのいずれかを計算することができる。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はICは、本願明細書に記載したような画像変換に関連する命令を実行し、制御し、又は実施してよい。コンピュータ及び／又はICは、本願明細書に記載したマルチステップディスプレイマッピング処理に関連する種々のパラメータ又は値のうちのいずれかを計算することができる。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
【0060】
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のマルチステップディスプレイマッピングに関連する方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の有形非一時的媒体を含んでよい。本発明によるプログラムプロダクトは、種々の有形形式のうちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。
【0061】
コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。
【0062】
＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
多段ディスプレイマッピングに関連する例示的な実施形態が説明される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味ではなく、説明であると考えられるべきである。
多段ディスプレイマッピングに関連する例示的な実施形態が説明される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味ではなく、説明であると考えられるべきである。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【国際調査報告】