特許 7483747 ハイダイナミックレンジ画像のディスプレイ管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】ハイダイナミックレンジ画像のディスプレイ管理

(51)【国際特許分類】

   H04N 9/68 20230101AFI20240508BHJP

   G06T 1/00 20060101ALI20240508BHJP

   G06T 5/92 20240101ALI20240508BHJP

【ＦＩ】

H04N9/68 101Z

G06T1/00 510

G06T5/92

【請求項の数】 16

(21)【出願番号】P 2021561004

(86)(22)【出願日】2020-04-16

(65)【公表番号】

(43)【公表日】2022-06-29

(86)【国際出願番号】 US2020028552

(87)【国際公開番号】W WO2020219341

(87)【国際公開日】2020-10-29

【審査請求日】2023-03-31

(31)【優先権主張番号】62/837,288

(32)【優先日】2019-04-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/938,027

(32)【優先日】2019-11-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】アトキンス ロビン

(72)【発明者】

【氏名】パイトラーズ ジャクリン アン

(72)【発明者】

【氏名】ピエリ エリザベス ジー．

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特表２０１８－５１０５７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／６８－ ９／６９

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／９２－ ５／９２８

(57)【特許請求の範囲】

【請求項1】

ディスプレイ管理のための方法であって、
第１のダイナミックレンジと第１の空間解像度とにおける第１の画像（５０７）にアクセスするステップであって、前記第１の画像は強度ピクセル（５０７－Ｉ）とクロマピクセル（５０７－Ｃ）とを含む、ステップと、
ターゲットダイナミックレンジにおけるトーンマッピングされた画像の対応する強度ピクセル（Ｉ’）を生成するため、前記第１の画像の強度ピクセルにトーンマッピング関数（６１５）を適用するステップであって、前記ターゲットダイナミックレンジは前記第１のダイナミックレンジと異なる、ステップと、
前記第１の画像における前記クロマピクセルの値に基づいて、前記第１の画像のピクセルの飽和メトリックを計算するステップと、
飽和マッピング強度（ＳＭＩ）スケーラを計算するステップ（６６０）であって、前記ＳＭＩスケーラは、前記第１の画像と前記トーンマッピングされた画像とにおける強度の対応するピクセルの関数に従って、前記第１の画像におけるクロマピクセルのピクセル値を調整する、ステップと、
前記第１の画像におけるクロマピクセルの飽和メトリックの第１の関数に基づいて、前記トーンマッピングされた画像における強度ピクセルのトーンマッピング飽和（ＴＭＳ）スケーラを計算するステップ（６４０）と、
前記第１の画像におけるクロマピクセルの飽和メトリックの第２の関数に基づいて、前記第１の画像におけるクロマピクセルの飽和マッピング飽和（ＳＭＳ）スケーラを計算する（６４５）と、
出力強度ピクセル（Ｉ”）を生成するため、前記トーンマッピングされた画像の強度ピクセルに前記ＴＭＳスケーラを適用するステップと、
中間クロマピクセルを生成するため、前記ＳＭＳ及びＳＭＩスケーラと前記第１の画像のクロマピクセルとを乗算するステップと、
前記出力強度ピクセルと出力クロマピクセルとを含む出力画像（６５２）を生成するステップであって、前記出力クロマピクセルは前記中間クロマピクセルの関数として生成されるクロマピクセルまたは前記中間クロマピクセルの何れかを含む、ステップと、
を有する方法。

【請求項2】

前記ＴＭＳスケーラＴｏｎｅＭａｐＳを生成するステップは、

【数1】

を計算することを含み、Ｓはクロマピクセル値Ｔ及びＰの飽和メトリックを示し、ｃ_１は前記第１のダイナミックレンジと前記ターゲットダイナミックレンジとの間の差分に基づいて計算される変数であり、ｃ_２はメタデータに基づいて計算される、請求項１に記載の方法。

【請求項3】

前記ＳＭＩスケーラを計算するステップは、ＳａｔｕｒａｔｉｏｎＳｃａｌｅ

【数2】

を計算することを含み、Ｉは前記第１の画像における強度ピクセル値を示し、Ｉ’は前記トーンマッピングされた画像における対応する強度値を示し、ｆ_Ｓ（Ｉ）関数は強度の単調増加関数を含む、請求項１又は２に記載の方法。

【請求項4】

【数3】

である、請求項３に記載の方法。

【請求項5】

前記ＳＭＳスケーラＳａｔｕｒａｔｉｏｎＭａｐＳを生成するステップは、

【数4】

を計算することを含み、Ｓはクロマピクセル値Ｔ及びＰの飽和メトリックを示し、ｃ_１は前記第１のダイナミックレンジと前記ターゲットダイナミックレンジとの間の差分に基づいて計算される変数であり、ｃ_２はメタデータに基づいて計算される、請求項１から４の何れか一項に記載の方法。

【請求項6】

前記中間クロマピクセルを生成するステップは、

【数5】

を含み、Ｔ及びＰは前記第１の画像のクロマピクセルの値を示し、ｃｔ及びｃｐは前記中間クロマピクセルを示す、請求項１から５の何れか一項に記載の方法。

【請求項7】

前記中間クロマピクセルの関数として前記出力クロマピクセルを生成するステップは、
前記第１の画像の一部としてトリムメタデータを受信するステップと、
前記第１の画像における関心領域を受信するステップと、
前記関心領域に属する前記第１の画像におけるピクセルに対して、
前記中間クロマピクセルの色調値を計算するステップと、
前記色調値と前記トリムメタデータとに基づいて飽和マップ色調（ＳＭＨ）スケーラを計算するステップと、
前記色調値と前記トリムメタデータとに基づいて色調マップ値（ｒ１）を計算するステップと、
前記色調マップ値、前記ＳＭＨスケーラ及び前記中間クロマピクセルに基づいて、前記出力クロマピクセルを生成するステップと、
を含む、請求項６に記載の方法。

【請求項8】

前記出力クロマピクセルを生成するステップは、

【数6】

を計算することを含み、ｒ１は前記色調マップ値を示し、Ｃｔ’及びＣｐ’は前記出力クロマピクセルを示す、請求項７に記載の方法。

【請求項9】

前記第１の画像の強度ピクセルは、

【数7】

として生成され、αは０と１の間の値を含み、Ｉは入力画像の強度ピクセル値を示し、Ｉ_Ｆは前記入力画像、ピラミッドダウンサンプリング及びピラミッドアップサンプリングを用いて生成されるフィルタリングされたベースレイヤ画像の対応する強度ピクセル値を示す、請求項１から８の何れか一項に記載の方法。

【請求項10】

０から１の間のスケーラβが与えられると、前記出力画像の強度ピクセル値を生成するステップは、

【数8】

を含み、Ｉ’_ＢはＩ_Ｂのトーンマッピングされたバージョンのピクセル強度を示す、請求項９に記載の方法。

【請求項11】

ピラミッドダウンサンプリングは、Ｎ個のピラミッドレイヤ画像を用いて前記入力画像のピラミッド表現を生成し、Ｎは少なくとも２であり、第１のピラミッドレイヤ画像は前記入力画像の空間解像度より低い空間解像度を有し、ｋ番目のピラミッド画像（ｋ＝２，・・・，Ｎ）は（ｋ－１）番目のピラミッド画像より低い空間解像度を有する、請求項９又は１０に記載の方法。

【請求項12】

前記フィルタリングされたベースレイヤ画像の強度ピクセル値を生成するステップは、
前記Ｎ個のピラミッドレイヤ画像に基づいて、エッジフィルタ係数画像Ｉｍａ（１）及びＩｍｂ（１）のセット（７１０）を生成するステップと、
前記入力画像の空間解像度に一致し、アップサンプリングされたエッジフィルタ係数画像ＩｍａＵ（１）及びＩｍｂＵ（１）のセット（７１２）を生成するように、前記エッジフィルタ係数画像Ｉｍａ（１）及びＩｍｂ（１）のセットをアップサンプリングするステップと、

【数9】

として前記フィルタリングされたベースレイヤの強度ピクセル値を生成するステップと、
を含む、請求項１１に記載の方法。

【請求項13】

Ｉｍａ（１）及びＩｍｂ（１）を生成するステップは、
エッジフィルタとＰ（Ｎ）とを用いてＩｍａ（Ｎ）及びＩｍｂ（Ｎ）を生成するステップであって、Ｐ（Ｎ）は最小の空間解像度を有するＮレイヤピラミッド画像を示す、ステップと、
（Ｎ－１）番目のピラミッドレイヤ画像の空間解像度に一致するようにＩｍａ（Ｎ）及びＩｍｂ（Ｎ）をアップスケーリングすることによって、ＩｍａＵ（Ｎ）及びＩｍｂＵ（Ｎ）を生成するステップと、
ｉ＝Ｎ－１から２に対して、

【数10】

を生成し、Ｐ（ｉ）はｉ番目のレイヤピラミッド画像を示し、エッジフィルタＳ（ｉ）及びＰ（ｉ）を用いてＩｍａ（ｉ）及びＩｍｂ（ｉ）を生成するステップと、

【数11】

を計算するステップと、
前記エッジフィルタＳ（１）及びＰ（１）を用いてＩｍａ（１）及びＩｍｂ（１）を生成するステップと、
を含む、請求項１２に記載の方法。

【請求項14】

前記エッジフィルタＳ（ｉ）及びＰ（ｉ）を用いてＩｍａ（ｉ）及びＩｍｂ（ｉ）を生成するステップは、
画像Ｐ２（ｉ）＝Ｐ^２（ｉ）及びＰＳ（ｉ）＝Ｐ（ｉ）＊Ｓ（ｉ）を生成するステップと、
Ｐ２ｏｕｔを生成するため、フィルタＨによってＰ２（ｉ）を畳み込むステップと、
Ｐｏｕｔを生成するため、前記フィルタＨによってＰ（ｉ）を畳み込むステップと、
Ｓｏｕｔを生成するため、前記フィルタＨによってＳ（ｉ）を畳み込むステップと、
ＰＳｏｕｔを生成するため、フィルタＨによってＰＳ（ｉ）を畳み込むステップと、

【数12】

を計算するステップであって、ＰＷ（ｉ）はメタデータを介し受信するウェイトのセットを示す、ステップと、
を有する、請求項１３に記載の方法。

【請求項15】

プロセッサを有し、請求項１から１４の何れか一項に記載の方法を実行するよう構成される装置。

【請求項16】

請求項１から１４の何れか一項に記載の方法を１つ以上のプロセッサによって実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本特許出願は、それぞれが参照によりその全体が援用される、２０１９年４月２３日に出願された米国仮特許出願第６２／８３７，２８８号及び２０１９年１１月２０日に出願された米国仮特許出願第６２／９３８，０２７号からの優先権の利益を主張する。
［技術分野］
本発明は、一般に画像に関する。より詳細には、本発明の実施例は、ハイダイナミックレンジ（ＨＤＲ）画像及びビデオ信号のディスプレイ管理に関する。

【背景技術】

【0002】

ここで利用されるように、“ダイナミックレンジ”（ＤＲ）という用語は、最も暗いグレイ（ブラック）から最も明るいホワイト（ハイライト）などの画像における強度範囲（例えば、ルミナンス、ルマ）を知覚する人間視覚系（ＨＶＳ）の能力に関するものであってもよい。この意味において、ＤＲは“シーン参照”強度に関する。ＤＲはまた、特定の幅の強度範囲を適切に又はほぼレンダリングする表示デバイスの能力に関するものであってもよい。特定の意味がここでの説明における何れかのポイントにおいて特定の意義を有するよう明示的に指定されていない場合、当該用語は、例えば、互換的に何れかの意味で利用されてもよいことが推測されるべきである。

【0003】

ここで利用されるように、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間視覚系（ＨＶＳ）の大きさの１４～１５のオーダにわたるＤＲ幅に関する。実際上、人間が強度範囲における広範な幅を同時に知覚しうるＤＲは、ＨＤＲに関してやや切り捨てられてもよい。ここで利用されるように、エンハンストダイナミックレンジ（ＥＤＲ）又はビジュアルダイナミックレンジ（ＶＤＲ）という用語は、目の動きを含む人間視覚系（ＨＶＳ）によってシーン又は画像内で知覚可能なＤＲに個別に又は互換的に関するものであってもよく、シーン又は画像にわたるある明順応変更を可能にする。

【0004】

実際上、画像は１つ以上のカラーコンポーネント（例えば、ルマＹ及びクロマＣｂ，Ｃｒ）を有し、各カラーコンポーネントは、ピクセル毎にｎビット（例えば、ｎ＝８）の精度によって表現される。例えば、ガンマルミナンス符号化を利用して、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、標準的なダイナミックレンジの画像とみなされる一方、ｎ≧１０の画像は、エンハンストダイナミックレンジの画像とみなされる。ＥＤＲ及びＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃによって開発されたＯｐｅｎＥＸＲファイルフォーマットなどの高精度（例えば、１６ビット）浮動小数点フォーマットを利用して格納及び配布されてもよい。

【0005】

ここで利用されるように、“メタデータ”という用語は、符号化されたビットストリームの一部として送信され、デコーダが復号化された画像をレンダリングすることを支援する何れか任意の情報に関する。そのようなメタデータは、限定することなく、ここに説明されるものとして、カラー空間又はガマット情報、リファレンス表示パラメータ及び任意の信号パラメータ含んでもよい。

【0006】

大部分の民生用デスクトップディスプレイは、２００～３００ｃｄ／ｍ^２又はｎｉｔｓ（ｃｄ／ｍ^２）のルミナンスを現在サポートする。大部分の民生用ＨＤＴＶは、１０００ｎｉｔｓ（ｃｄ／ｍ^２）に達する新たなモデルにより３００～５００ｎｉｔｓの範囲となる。従って、そのような従来のディスプレイは、ＨＤＲ又はＥＤＲに関して標準ダイナミックレンジ（ＳＤＲ）とまた呼ばれる下位ダイナミックレンジ（ＬＤＲ）を代表する。ＨＤＲコンテンツの可用性がキャプチャ機器（例えば、カメラ）とＨＤＲディスプレイ（例えば、Ｄｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓからのＰＲＭ－４２００プロフェッショナルリファレンスモニタ）との双方の進歩によって拡大しているため、ＨＤＲコンテンツは、より高いダイナミックレンジ（例えば、１，０００ｎｉｔｓから５，０００ｎｔｓ以上など）をサポートするＨＤＲディスプレイ上でカラーグレード及び表示されてもよい。一般に、限定することなく、本開示の方法はＳＤＲより高い何れかのダイナミックレンジに関する。

【0007】

ここで利用されるように、“ディスプレイ管理”という用語は、ターゲットディスプレイに対してピクチャをレンダリングするための受信機に対して実行されるプロセスを指す。例えば、限定することなく、そのようなプロセスは、トーンマッピング、ガマットマッピング、カラー管理、フレームレート変換などを含んでもよい。

【0008】

ハイダイナミックレンジ（ＨＤＲ）コンテンツオーサリングは、この技術は従来のフォーマットより現実的で自然な画像を提供するため、現在広く広がりつつある。しかしながら、ターゲットディスプレイの特性は、オリジナルコンテンツをカラーグレードするのに利用されたリファレンスディスプレイの特性に一致しないかもしれない。本発明者によって理解されるように、既存の表示方式を改善するため、ＨＤＲ画像のディスプレイ管理のための改良された技術が開発される。

【0009】

このセクションにおいて説明されるアプローチは、追及可能であるが、以前に想到又は追及されていないアプローチである。従って、特段の断りがない場合、このセクションにおいて説明されるアプローチの何れも単にこのセクションに含めることによって従来技術として認められることは想定されるべきでない。同様に、１つ以上のアプローチに関して特定される問題は、特段の断りがない場合、このセクションに基づいて何れかの従来技術において認識されていると想定すべきでない。

【図面の簡単な説明】

【0010】

本発明の実施例は、同様の参照番号が同様の要素を指す添付した図面において限定的でなく例示的に示される。

【図1】ビデオ配信パイプラインのための一例となるプロセスを示す。

【図2A】本発明の実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。

【図2B】本発明の実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。

【図3】本発明の実施例によるフレーム解析部の一例となる処理パイプラインを示す。

【図4】本発明の実施例による図３のフレーム解析部のカラー変換処理パイプラインをより詳細に示す。

【図5】本発明の実施例によるディスプレイマッピングの一例となる処理パイプラインを示す。

【図6A】本発明の実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。

【図6B】本発明の実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。

【図6C】本発明の実施例によるカラートリムを調整する一例となる処理パイプラインを示す。

【図7A】実施例によるアップサンプリングされたピラミッド画像を生成する一例となるプロセスを示す。

【図7B】実施例によるベースレイヤ画像を生成する具体例を示す。

【図7C】実施例によるエッジフィルタリングの具体例を示す。

【発明を実施するための形態】

【0011】

ＨＤＲ画像のディスプレイ管理の方法がここに説明される。以下の説明では、本発明の完全な理解を提供するため、説明の目的のために多数の具体的な詳細が提供される。しかしながら、本発明はこれらの具体的な詳細なく実施されてもよいことは明らかであろう。他の具体例では、周知の構成及びデバイスは、本発明を不要に閉塞、不明化又は不明瞭化することを回避するため、網羅的な詳細について説明しない。

【0012】

［概要］
ここに説明される実施例は、ＨＤＲ画像のディスプレイ管理の方法に関する。一実施例では、プロセッサは、第１のダイナミックレンジと第１の空間解像度とにおける第１の画像（５０７）を受信し、第１の画像は、強度ピクセル（５０７－Ｉ）とクロマピクセル（５０７－Ｃ）とを含む。それは、第１の画像の強度ピクセルにトーンマッピング機能（６１５）を適用し、ターゲットダイナミックレンジにおけるトーンマッピングされた画像の対応する強度ピクセル（Ｉ’）を生成し、ターゲットダイナミックレンジは、第１のダイナミックレンジと異なる。それは、第１の画像におけるクロマピクセルの値に基づいて第１の画像のピクセルの飽和メトリックを計算する。それは、飽和マッピング強度（ｓａｔｕｒａｔｉｏｎ－ｍａｐｐｉｎｇ－ｉｎｔｅｎｓｉｔｙ：ＳＭＩ）スケーラを計算し（６６０）、ＳＭＩスケーラは、第１の画像とトーンマッピングされた画像とにおける強度の対応するピクセルの関数に従って第１の画像におけるクロマピクセルのピクセル値を調整する。それは、第１の画像におけるクロマピクセルの飽和メトリックの第１の関数に基づいてトーンマッピングされた画像における強度ピクセルのトーンマッピング飽和（ＴＭＳ）スケーラを計算する（６４０）。それは、第１の画像におけるクロマピクセルの飽和メトリックの第２の関数に基づいて第１の画像におけるクロマピクセルの飽和マッピング飽和スケーラ（ＳＭＳ）を計算する（６４５）。それは、ＴＭＳスケーラをトーンマッピングされた画像の強度ピクセルに適用し、出力強度ピクセル（Ｉ”）を生成する。それは、ＳＭＳ及びＳＭＩスケーラと第１の画像のクロマピクセルとを乗算し、中間クロマピクセルを生成し、出力強度ピクセルと出力クロマピクセルとを含む出力画像（６５２）を生成し、出力クロマピクセルは、中間クロマピクセルの関数として生成される中間クロマピクセル又はクロマピクセルの何れかを含む。

【0013】

［ディスプレイ管理］
ＨＤＲ信号のビデオ符号化
図１は、ビデオキャプチャからビデオコンテンツディスプレイへの各種段階を示す従来のビデオ配信パイプライン（１００）の一例となるプロセスを示す。ビデオフレームシーケンス（１０２）は、画像生成ブロック（１０５）を利用してキャプチャ又は生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するため、コンピュータ（例えば、コンピュータアニメーションを利用して）によってデジタルにキャプチャ（例えば、デジタルカメラによって）又は生成されてもよい。あるいは、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、ビデオデータ（１０７）を提供するため、デジタルフォーマットに変換される。制作段階（１１０）では、ビデオデータ（１０７）は、ビデオ制作ストリーム（１１２）を提供するため編集される。

【0014】

制作ストリーム（１１２）のビデオデータは、その後、後制作編集のためのブロック（１１５）においてプロセッサに提供される。後制作編集ブロック（１１５）は、画像の特定のエリアにおけるカラー又は輝度を調整又は修正し、ビデオ作成者の創作意図に従って画質を向上させるか、又は画像の特定の外観を実現することを含んでもよい。これは、“カラータイミング”又は“カラーグレーディング”と呼ばれることがある。他の編集（例えば、シーン選択及びシーケンシング、画像クロッピング、コンピュータにより生成される視覚的特殊効果の付加など）がブロック（１１５）において実行され、配信用の制作の最終バージョン（１１７）を生成してもよい。後制作編集（１１５）の間、ビデオ画像はリファレンスディスプレイ（１２５）上で閲覧される。

【0015】

後制作（１１５）に続いて、最終制作（１１７）のビデオデータは、テレビセット、セットトップボックス、映画館などの復号化及び再生デバイスへのダウンストリームを配信するため符号化ブロック（１２０）に配信されてもよい。いくつかの実施例では、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成する、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ及び他の配信フォーマットによって規定されるようなものなどのオーディオ及びビデオエンコーダを含んでもよい。受信機では、符号化されたビットストリーム（１２２）は、信号（１１７）の同一又は近い近似を表す復号化された信号（１３２）を生成するため、復号化ユニット（１３０）によって復号化される。受信機は、リファレンスディスプレイ（１２５）と全く異なる特性を有しうるターゲットディスプレイ（１４０）に付属されてもよい。この場合、ディスプレイ管理ブロック（１３５）は、ディスプレイにマッピングされた信号（１３７）を生成することによって、復号化された信号（１３２）のダイナミックレンジをターゲットディスプレイ（１４０）の特性にマッピングするのに利用されてもよい。

【0016】

ディスプレイ管理パイプライン
図２Ａ及び２Ｂは、実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。図２Ａに示されるように、入力ビデオ（１３２）は、ビデオデコーダ（１３０）から受信されるビデオ、及び／又はＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（すなわち、セットトップボックスから）及び／又は他のビデオ入力（すなわち、ＴＶのＨＤＭＩ（登録商標）ポートからセットトップボックス、ＧＰＵなどから）から受信されるビデオを含んでもよい。入力ビデオ（１３２）は、解析器（２０５）によって処理され、それの出力は、フレームバッファ（２２０）に格納されてもよい。以降のセクションにおいてより詳細に説明されるように、解析器は、フレームに関する入力をフレームベースで解析し、アーキテクチャの以降の段階において利用されるメタデータ、統計データ又は他のビデオ関連データを生成してもよい。解析器の出力はまた、画像ピラミッド（２２４）を生成するピラミッドダウンサンプリングユニット（２３０）（以降においてより詳細に説明される）によって処理されてもよい。解析器はまた、フレームバッファに提供される強度専用信号（２０７）を生成してもよい。

【0017】

図２Ｂに示されるように、フレームバッファからの入力ビデオ及びグラフィックス（２２６）は、３つのビデオパイプライン、すなわち、メインビデオパイプライン、任意的なＰＩＰ（Ｐｉｃｔｕｒｅ－Ｉｎ－Ｐｉｃｔｕｒｅ）パイプライン及び任意的なグラフィックスパイプラインによって処理されてもよい。メインビデオパイプラインは、ピラミッドアップサンプラ部（２３５）を含み、ディスプレイマッピング部（２１０）、スケーリング回路、ノイズ除去部及びカラー管理部などの処理ブロックを含んでもよい。同様に、ＰＩＰパイプラインは、それ自体のディスプレイマッピング（２１２）（典型的には、ディスプレイマッピング２１０のサブセット）、スケーリング及びフレームレート変換を含んでもよい。最終的に、グラフィックスパイプラインは、ディスプレイマッピング（２１２）及びスケーリングを含んでもよい。３つ全てのパイプラインの出力は、合成ビデオ信号２５０を生成するため、合成部（２４５）によって一緒に合成され、付加的なカラー管理及び後処理（図示せず）の後、ターゲットディスプレイ（図示せず）のパネルにわたされる。全体的なアーキテクチャは、ディスプレイ管理制御レイヤ（２１５）によって制御されてもよい。追加的な詳細が次に提供される。

【0018】

解析部
図３に示されるように、解析部（２０５）は、フレーム毎に入力ソースフレームを解析し、
・フレームの最小、中間、最大メタデータ値（３１０）（Ｌ１メタデータとしても参照されうる）
・時間フィルタリングされるＬ１メタデータなどのグローバル調光に関するメタデータ（３１０）（Ｌ４メタデータとしても参照されうる）
・強度データ（２０７）及び強度ヒストグラム（３２０）
を含む各種出力を生成する。

【0019】

解析器はまた、ピラミッドダウンサンプリング部（２３０）と共に、精度マッピング又はピラミッドフィルタリングメタデータ（２２４）としても参照される入力フレーム（１３２）のピラミッド表現に関するメタデータを生成してもよい。

【0020】

実施例では、解析器は、計算複雑さを低減するため、入力フレームの低減された解像度により動作してもよい。例えば、実施例では、解析器は、２Ｄスケーラ（２６０）によって生成される１０２４×５７６以下の解像度でサブサンプリングされたデータに対してのみ動作してもよい。

【0021】

図４は、解析部に関する付加的な詳細を示す。図４に示されるように、ビデオ入力（４０２－ａ，４０２－ｂ又は４０２－ｃ）は、全ての入力フォーマットをより低い解像度の４：４：４表現（例えば、１０２４×５７６以下）に変換するダウンサンプリング部４０５（例えば、２Ｄスケーラ２６０を利用することによって）によってダウンサンプリングされる。実施例では、ダウンサンプリング部（４０５）は、デコーダにおいて利用可能であってもよい何れかのダウンスケーリングハードウェアを利用してもよい。ダウンサンプリング（４０５）に続いて、いくつかのカラー変換ステージが、入力カラーフォーマットをＩＣｔＣｐカラーフォーマットに変換する。そのようなステージは、
・入力フォーマット（例えば、ＩＣｔＣｐ、ＹＣｂＣｒ、ＹＵＶなど）から非リニアＲＧＢへの変換（４１０）
・非リニアＲＧＢからリニアＲＧＢへの変換（４１５）
・リニアＲＧＢからリニアＬＭＳへの変換（４２０）
・リニアＬＭＳから非リニアＬＭＳへの変換（４２５）
・非リニアＬＭＳからＩＣｔＣｐのＩコンポーネント（４３０）
・第１のリニアＲＧＢ表現から第２のリニアＲＧＢ表現（４３５）
・リニアＲＧＢから非リニアＲＧＢへの変換（４４０）
を含む。

【0022】

入力カラーフォーマットに応じて、これらのステージの１つ以上がスキップされてもよい。ＰＱ符号化データとＨＬＧ符号化データとの双方のカラー空間の間のカラー変換の具体例は、参照によりその全体がここに援用される、ＩＴＵによるＲｅｃ．ＢＴ．２１００，“Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ”に見つけられてもよい。

【0023】

リニアＲＧＢ値（４３７）及び非リニアＲＧＢ値４４２が与えられると、メタデータ計算ブロック４４５は、フレームのピクセル最小ピクセル値（ＭｉｎＰｉｘｅｌ）、最大ピクセル値（ＭａｘＰｉｘｅｌ）、平均ピクセル値（ＭｅａｎＰｉｘｅｌ）及び標準偏差（ＳｔｄＰｉｘｅｌ）などの各種メタデータ値と共に、ディスプレイ管理における以降のステージに必要とされる付加的なメタデータ値を生成する。例えば、擬似コードを利用して、以下のコードが、これらのメタデータ値を生成するのに利用されてもよい。

【数1】

【0024】

これらメタデータが与えられると、時間フィルタ（４５０）は、ＭｉｎＰｉｘｅｌ、ＭｅａｎＰｉｘｅｌ、ＭａｘＰｉｘｅｌ及びＳｔｄＰｉｘｅｌをフィルタリングして、フィルタリングされたメタデータ値（４５２）を生成する。このような時間フィルタリングは、Ｆａｒｒｅｌｌらによる米国特許第１０，２４２，６２７号“Ｂａｃｋｌｉｇｈｔ ｃｏｎｔｒｏｌ ａｎｄ ｄｉｓｐｌａｙ ｍａｐｐｉｎｇ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅｓ”に記載されるように、シーン変更を考慮し、メタデータ値の突然の変化を限定し、これにより、特にディスプレイ管理が周囲の環境光を考慮する際、不良なディスプレイ出力を生じさせうる。一例として、実施例では、平均及び標準偏差メタデータに対する時間フィルタリングは、以下のように表現されうる。

【数2】

ただし、ＦＰＳは入力信号のフレームレート（例えば、３０ｆｐｓ）を示し、Ｌ４Ａｌｐｈａはフィルタリングパラメータを示し、ＣＬＡＭＰ（ｘ，ｍｉｎ，ｍａｘ）関数は、

【数3】

などのｍｉｎとｍａｘとの間のｘの値を制限する。

【0025】

強度（Ｉ）データ（２０７）が与えられると、ヒストグラム計算部４５５は、それらのヒストグラム４５７を計算する。

【0026】

ピラミッドダウンサンプリング
図２Ａに示されるように、実施例は、改良されたトーンマッピングのため以降において利用される入力フレームのピラミッド表現（２２４）を生成するピラミッドダウンサンプリング部２３０を含む。いくつかの実施例では、ピラミッドのレイヤは、メモリ帯域幅を低減するため、スキップされてもよい。例えば、４Ｋ入力画像によると、第１のレイヤ（すなわち、２Ｋ解像度における）はスキップされてもよい。その後、アップサンプリングの間、１／４解像度画像が単に２回２倍されてもよい。例えば、４Ｋ入力が与えられると、実施例では、ピラミッドは、以下のレイヤ、１０２４×５７６、５１２×２８８、２５６×１４４、１２８×７２、６４×３６、３２×１８及び１６×９を生成してもよい。同様に、８Ｋ入力画像については、１／２解像度レイヤと１／４解像度レイヤとの双方がスキップされてもよい。これは、入力画像サイズにかかわらず、ピラミッドの以降のレイヤは同じサイズを有することを保証する。

【0027】

ピラミッドがサブサンプリングファクタ２，４，８などを用いてサブサンプリングに関して説明されるが、他のサブサンプリングファクタが、一般性を失うことなく利用されてもよい。

【0028】

一例として、ピラミッドを生成する際、第ｎピラミッドレイヤ（例えば、ｎ＝２～７）における第ｋラインが、前のレイヤにおけるライン２＊ｋ及び２＊ｋ－１の適切なフィルタリングによって生成される。実施例では、そのようなフィルタリングは、分離可能なローパス２×２フィルタ（例えば、フィルタ係数［１ １］／２による）又は分離可能な４×４ローパスフィルタ（例えば、フィルタ係数［１ ３ ３ １］／８による）の何れかを利用して実行される。４×４フィルタは、ピラミッドレベル間のより良好なアライメントを生じさせるが、追加的なラインバッファを必要とする。他の実施例では、例えば、４タップ水平フィルタ及び２タップ垂直フィルタ、又はその逆などの水平方向と垂直方向とにおいて異なるフィルタを適用してもよい。

【0029】

ピラミッドの第１のレベル（例えば、１０２４×５７６における）を計算する前に、入力ＩＣｔＣｐ画像（５０７）が、
・最小から最大のピラミッドレベルまでの全ての空間次元が２によって分割可能であることを保証する
・指定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を考慮してボーダピクセルを複製する
・各種サイズ又はアスペクト比の入力画像を考慮してボーダピクセルを複製する
ためにパディングされてもよい。

【0030】

ピラミッドアップサンプリング
ピラミッドアップサンプラ（２３５）は、ダウンサンプリングされたピラミッドデータ（２２４－１，２２４－２，・・・，２２４－７）を受信し、各レイヤにおいてエッジアウェア（ｅｄｇｅ－ａｗａｒｅ）アップサンプリングフィルタを利用して、それの元の解像度における元の画像を再構成する。ピラミッドの最小レベルは、まずアップサンプリングされ、その後、更なるレベルが最高のピラミッドレベルの解像度までアップサンプリングされる。７つのレイヤを備えるピラミッドに対するプロセス全体が、図７Ａに示される。

【0031】

レイヤｉにおけるピラミッド画像をＰ（ｉ）として示す。最も低い解像度レベルからスタートして（例えば、ｉ＝７）、最も低い解像度ピラミッド画像（例えば、Ｐ（７））が、Ｉｍａ（７）及びＩｍｂ（７）として示される２つの係数“画像”を生成するエッジ保存フィルタ（７１５）に提供される。次に、ＩｍａとＩｍｂとの双方が２の係数によってアップサンプリングされ、アップサンプリングされた係数画像ＩｍａＵ（７）及びＩｍｂ（７）を生成する（７２０－７）。

【0032】

次のレイヤｉ＝６において、ピラミッドのＰ（６）レイヤが、アップサンプリングされた係数画像ＩｍａＵ（７）及びＩｍｂ（７）と合成され、

【数4】

の画像を生成し、画像Ｐ（６）と一緒にエッジアップサンプリングフィルタに提供され、係数“画像”Ｉｍａ（６）及びＩｍｂ（６）を生成する。次に、Ｉｍａ（６）及びＩｍｂ（６）は、２の係数によってアップサンプリングされ、アップサンプリングされた係数画像ＩｍａＵ（６）及びＩｍｂＵ（６）を生成する（７２０－６）。同じプロセスがその他のピラミッドレイヤに対して続けられる。一般に、ｉ＝７，６，５，・・・，２に対して、

【数5】

であり、ただし、係数画像と画像との乗算演算は、ピクセル毎の対応するピクセルの乗算に対応する。例えば、ピクセル位置（ｍ，ｎ）において、Ｗ（ｉ）×Ｈ（ｉ）のサイズのピラミッドレベルｉについて、ｍ＝１，２，・・・，Ｗ（ｉ－１）及びｎ＝１，２，・・・，Ｈ（ｉ－１）に対して、

【数6】

である。

【0033】

ピラミッドの第２レベル（ｉ＝２）の処理後、Ｓ（１）及びＰ（１）が与えられると、エッジフィルタは、２つのパラメータ画像Ｉｍａ（１）及びＩｍｂ（１）を生成する（７１０）。４Ｋ画像を生成するため、Ｉｍａ（１）及びＩｍｂ（１）は、２によってアップスケーリング可能である。８Ｋ画像を生成するため、Ｉｍａ（１）及びＩｍｂ（１）は、４によってアップスケーリング可能である。図７Ｂに示されるように、入力ビデオの強度画像（Ｉ）と合成される２つのアップスケーリングされた係数画像（ＩｍａＵ（１）及びＩｍｂＵ（１））（７１２）は、

【数7】

としてフィルタリングされたベースレイヤ画像を生成するのに利用されてもよい（７３０）。後述されるように、このフィルタリングされたベースレイヤ画像は、最終的な出力画像を生成するため、カラーボリュームマッピングに対して利用されてもよい。

【0034】

一般化すると、Ｎレイヤピクチャ（例えば、Ｐ（１）からＰ（Ｎ））によるピラミッドが与えられると、係数画像Ｉｍａ（１）及びＩｍｂ（１）を生成することは、
エッジフィルタと、最小の空間解像度によるＮレイヤピラミッド画像Ｐ（Ｎ）とを利用してＩｍａ（Ｎ）及びＩｍｂ（Ｎ）を生成することと、
（Ｎ－１）レイヤの空間解像度に一致するように、Ｉｍａ（Ｎ）及びＩｍｂ（Ｎ）をアップスケーリングすることによってＩｍａＵ（Ｎ）及びＩｍｂＵ（Ｎ）を生成することと、

【数8】

【数9】

を計算することと、
エッジフィルタと、Ｓ（１）及びＰ（１）を利用してＩｍａ（１）及びＩｍｂ（１）を生成することと、
を含む。

【0035】

図７Ｃは、フィルタリングされたデータＳ（ｉ）、ピラミッドレイヤ画像Ｐ（ｉ）及びピラミッドウェイトＰＷ（ｉ）（メタデータを介し提供される）が与えられると、上位のピラミッドレイヤにおいてエッジを保持するのに利用される２つの係数マトリックスＩｍａ（ｉ）及びＩｍｂ（ｉ）を生成するエッジフィルタ（７１５）内の処理をより詳細に示す。最小の空間解像度におけるピラミッドレイヤＮに対して、例えば、Ｎ＝７，Ｓ（Ｎ）＝Ｐ（Ｎ）であることに留意されたい。

【0036】

図７Ｃに示されるように、Ｓ（ｉ），Ｐ（ｉ），Ｐ^２（ｉ）及びＰ（ｉ）＊Ｓ（ｉ）の各入力がまず、Ｈ＝［１ ２ １］／４などの３×３の分離可能なローパスフィルタを利用して、水平方向及び垂直方向に畳み込まれる。それらの対応する出力は、Ｓｏｕｔ，Ｐｏｕｔ，Ｐ２ｏｕｔ及びＰＳｏｕｔとして示すことができる。これらの信号は各レイヤに対して固有である一方、簡単化のため、インデックスｉは使用されない。そして、図７Ｃに示されるように、

【数10】

【0037】

ディスプレイマッピング部
リファレンスディスプレイ（例えば、１２５）とターゲットディスプレイ（例えば、１４０）とにレンダリングされる入力画像が与えられると、ディスプレイマッピング部の役割は、ターゲットディスプレイの特徴をフル活用するが、また元の画像の芸術的意図を保存するターゲット画像のための出力画像を生成することである。

【0038】

図５は、実施例によるディスプレイマッピング部の主要なコンポーネントの一例となるブロック図を示す。ディスプレイマッピング部への入力は、ビデオ画像データ及びメタデータ（５０２）、ターゲットディスプレイの特性及び任意的なユーザ嗜好に関する情報（５０４）、ピラミッドのレイヤ１からのエッジフィルタ係数及び入力画像（例えば、２２４）のピラミッド表現に関する任意的な精度マッピングデータ（７１０）を含み、これらは、ベースレイヤ生成部（７５０）において、上述され、また図７Ｂに示されるようなベースレイヤ画像（７３０）を生成することによってトーンマッピング及びカラーボリュームマッピング処理を改善するのに利用可能である。これらの入力が与えられると、ディスプレイマッピング部（５００）は、適切なトーンマッピング及び／又はカラーマッピング（５１０）によってマッピングされた画像（５２２）を生成する。

【0039】

実施例では、限定することなく、トーンマッピング及びカラーマッピング（５１０）に関する処理は、ＩＣｔＣｐカラー空間又はＩＴＰカラー空間において実行されてもよい。入力（５０２）及び所望される出力（５２２）のカラーフォーマットに依存して、ＩＣｔＣｐカラー空間における処理は、任意的な入力空間変換（５０５）及び出力カラー変換（５２０）を必要としてもよい。

【0040】

例えば、入力カラー変換（５０５）に対して、図４に示されるものと同じカラー変換ステップに従ってもよい。例えば、ＹＣｂＣｒからＩＣｔＣｐカラー変換は、以下のステップを適用してもよい。
・ＹＵＶから非リニアＲＧＢ’（４１０）
・非リニアＲＧＢ’からリニアＲＧＢ（４１５）
・リニアＲＧＢからリニアＬＭＳ（４２０）
・リニアＬＭＳから非リニアＬＭＳ’（４２５）
・非リニアＬＭＳ’からＩＣｔＣｐ（５０７）

【0041】

出力カラー変換に対して、一例として、以下の処理ステップが続く。
・ＩＣｔＣｐから非リニアＬＭＳ’
・非リニアＬＭＳ’からリニアＬＭＳ
・リニアＬＭＳからリニアＲＧＢ（５２２）
・リニアＲＧＢから非リニアＲＧＢ’（非リニアＲＧＢ’は、非リニアＲＧＢ’入力を必要とするデバイスに利用可能である）
・ＹＣｂＣｒ入力を必要とするデバイスに対する非リニアＲＧＢ’からＹＵＶ（又はＹＣｂＣｒ）
一例として、Ｒｅｃ．ＢＴ．２１００は、ＰＱ符号化データとＨＬＧ符号化データとの双方のカラーフォーマット間の推奨されるカラー変換の具体例を提供する。

【0042】

いくつかの実施例では、ＩＣｔＣｐにおけるＩコンポーネントが［０，１］の範囲内にあって、Ｃｔ及びＣｐが［－０．５，０．５］の範囲内にあることが好ましい。入力されるＩＣｔＣｐ値がこれらの範囲外にある場合、それらは、シンプルなシフト及びスケーリング処理を利用してこれらの範囲に変換できる。例えば、実施例では、処理は“ＩＴＰ”カラー空間において実行されてもよい。ＩＴＰ空間は、オフセット及びスケーリング処理を除き、ＩＣｔＣｐカラー空間に大変類似しており、例えば、Ｃｔコンポーネントはより効率的な内部表現に対して２だけスケーリングされる。

【0043】

ピラミッドフィルタリング
いくつかの実施例では、以降においてより詳細に説明されるように、カラーボリュームマッピングブロック（例えば、５１０）内のディスプレイトーンマッピングは更に、入力画像のローカルコントラスト及び詳細情報を考慮することによって改良されうる。例えば、フィルタリングされた強度画像は、画像を２つのレイヤ、すなわち、フィルタリングされたベースレイヤと詳細レイヤとに分割するのに利用される。トーンマッピング曲線をフィルタリングされたベースレイヤに適用し、その後、詳細レイヤを結果に加えることによって、画像の元のコントラストはグローバルと共にローカルにも保存可能である。

【0044】

実施例では、これは２段階の処理として実行可能である。
ａ）マッピングをガイドするためベースレイヤ（ＢＬ）を生成すること
ｂ）トーンマッピングを実行すること

【0045】

実施例では、生成されるベースレイヤは、元の画像の空間的にぼかされエッジ保存されたバージョンを表す。すなわち、それは重要なエッジを維持するが、より精細な詳細をぼやかす。より詳細には、ＢＬ画像は、
・より低い解像度のレイヤを有する画像ピラミッドを生成し、各レイヤを保存すること
・最も低い解像度のレイヤからスタートして、上位レイヤをアップサンプリングしてベースレイヤを生成すること
を含んでもよい。画像ピラミッド及びベースレイヤ画像を生成するための一例となる実施例は、ピラミッドダウンサンプリング（２３０）及びピラミッドアップサンプリング（２３５）の一部としてすでに説明された。

【0046】

カラーボリュームマッピング
図６Ａ及び６Ｂは、実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。カラーボリュームマッピングブロックの目的は、指定されたターゲットディスプレイ上に提示するための強度とカラーとの双方の範囲と視聴環境とを調整することである。本発明の実施例は、従来のディスプレイ管理技術に対して任意的なピラミッドフィルタリング処理の追加によって構成し、上述される新たな“ピラミッドフィルタリング”処理を生じさせる。

【0047】

カラーボリュームマッピングは、主として色調を維持しながら強度及び飽和を調整する４つの処理の機能である。ＴｏｎｅＭａｐＩ（６１５）及びＳａｔｕｒａｔｉｏｎＭａｐＩ（６６０）は、強度に基づいて調整を行い、ＴｏｎｅＭａｐＳ（６４２）及びＳａｔｕｒａｔｉｏｎＭａｐＳ（６４５）は、飽和に基づいて調整を行う。Ｐ（Ｃｐ）とＴ（Ｃｔ）との間の角度として規定される色調は、コントラストを維持する。しかしながら、ローカルマッピングを可能にするため、ＴｏｎｅＭａｐＩは、ここでは入力強度Ｉとピラミッドフィルタリングされた強度Ｉ_Ｆとの双方の関数である。さらに、ローカルマッピングによるカラー精度を保証するため、ＳａｔｕｒａｔｉｏｎＭａｐＩは、ここでは元の強度Ｉとトーンマッピングされた強度Ｉ’との双方の関数である。

【数11】

【0048】

実施例は、以降においてより詳細に説明される新規な６ベクトルトリムモジュール（６５５）を含む。

【0049】

図６Ａに示されるように、入力されたメタデータによると、それはターゲットディスプレイの特性がリファレンスディスプレイの特性又は入力に一致しているよう見える場合（例えば、バイパス６０５がＹｅｓに設定される）、カラーボリュームマッピング全体はバイパスされてもよく、入力（５０７）は出力（６５２）に直接わたされる。そうでない場合、入力の強度（５０７－Ｉ）及びクロマコンポーネント（５０７－Ｃ）は、それらの透視マッピングパイプラインにわたされる。いくつかの実施例では、特別な処理が、表示される各フレーム内の特定のＲＯＩに対して実行されてもよい。例えば、“ＲＯＩ決定”部（６２０）は、入力画像のピクセル（ｘ，ｙ）がＲＯＩ内にあるか、また、処理がＲＯＩ外である場合、パラメータ６０７がデフォルト設定に設定され、ＲＯＩ内にある場合、これらの制御パラメータ（６０７）が入力メタデータによって調整されているかを決定してもよい。同様に、ＲＯＩ外にある場合、図６Ｂに示されるように、特定の処理ステップがＲＯＩの外部のピクセル領域に対して完全にバイパスされてもよい。例えば、ＲＯＩ部は、入力フレームを包囲するレターボックスエリア又はアクティブピクチャの上部の重複ウィンドウ内のピクチャエリアを検出してもよい。実施例では、限定することなく、ＲＯＩ部は、
・マッピング対象のトリムを備えた主要エリア
・マッピング対象のトリムを備えない主要エリア
・マッピング対象、黒への設定対象またはバイパス対象の補助エリア（すなわち、レターボックスの上の“レターボックス”又はオーバレイ）
としてピクセル領域をマーキングしてもよい。

【0050】

ＴｏｎｅＭａｐＩ
ＴｏｎｅＭａｐＩブロック（６１５）は、ピラミッドフィルタリングされたピクセルＩ_Ｆの関数と共にピクセルの強度Ｉに基づいて、強度チャネルにトーンマッピングを適用する。ＴｏｎｅＭａｐＩ関数は、ダイナミックレンジの低減及び環境光の調整を含む、各種処理段階を含んでもよい。

【0051】

ダイナミックレンジの低減は、トーンマッピング処理の過半数を実行する。図６に示されるように、トーンマッパへの入力Ｉ_Ｂがまず、ローカルマッピングの強度に対する制御を可能にするため、元の画像Ｉ（７０５）とピラミッドフィルタリングされた画像Ｉ_Ｆ（７３０）との間を補間することによって計算される。

【数12】

α＝０であるとき、トーンマッピングは、従来のグローバルなトーンマッピングと等しい。実施例では、画像Ｉ_Ｂはその後、ソースメタデータとターゲットコンフィギュレーションとに基づいて動的に計算されるトーンマッピング曲線を介し出力強度（Ｉ_Ｂ’）にマッピングされる。そのようなトーンマッピング関数の具体例は、参照によりそれぞれが援用される、Ａ．Ｂａｌｌｅｓｔａｄ及びＡ．Ｋｏｓｔｉｎによる米国特許第８，５９３，４８０号“Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｉｍａｇｅ ｄａｔａ ｔｒａｎｓｆｏｒｍａｔｉｏｎ”、及びＪ．Ａ．Ｐｙｔｌａｒｚ及びＲ．ＡｔｋｉｎｓによるＷＩＰＯ公報ＷＯ２０１８／１５２０６３号“Ｔｏｎｅ ｃｕｒｖｅ ｍａｐｐｉｎｇ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅｓ”に記載される。

【0052】

差分画像Ｄ（６２５）が与えられると（ただし、Ｄ＝（Ｉ―Ｉ_Ｂ））、画像Ｄ上の任意的なスケーラβは、トーンマッピングされた出力のシャープニング（ｓｈａｒｐｅｎｉｎｇ）を調整するのに利用されてもよく、

【数13】

ただし、Ｉ_Ｂ’はＩ_Ｂのトーンマッピングされたバージョンを示す。

【0053】

概念的には、このアルゴリズムは、小さな空間領域を変更しないまま、画像の大きな空間領域のみにトーンマッピング処理を適用する。その結果は、画像の元のローカルコントラストの一部がハイライト及び影領域において保存可能である。トーンマッピングがない場合、コントラストを復元する理由がないため、処理は効果を有しない。大きくフラットな領域については、処理はまた効果を有しない。それは、処理がコントラストを保存することを目的とする画像の小さなトーンマッピングされた領域のみである。所望しないハローを防ぐため、ローカルマッピングアルゴリズムは、ルミナンスの大きな変化が視覚可能なハローを生じさせることなく可能である大きな程度のエッジの近くで最小の効果を有する。コンテンツ作成者には、無しからフル強度まで変化する、ローカルマッピングアルゴリズムのどの程度が適用されるかに対する制御度が与えられる。

【0054】

トーン曲線はまた、ローカルマッピングの強度に基づいて修正されてもよい。マッピング曲線の上部及び下部の傾きは、αの値に基づいてローカルマッピング及びブレンディングにより傾き＝１により近くなるよう調整されてもよい。これは、クリッピング又はクラッシングなく追加される詳細のための十分な余地があることを保証する。

【0055】

環境光訂正は、暗い領域における詳細の可視性を維持するため、視聴環境に基づいて出力ルミナンスを調整する。これは、典型的には、必要に応じて画像における他の場所のコントラストの対応する提言によって、暗い境域におけるコントラストを増加させることを伴う。環境光補償モジュールの背後のアルゴリズムは、周辺環境に基づいて異なるＰＱ曲線を計算することに基づく。より高いレベルの適応化では、丁度可知差異（ｊｕｓｔ－Ｎｏｔｉｃｅａｂｌｅ－Ｄｉｆｆｅｒｅｎｃｅ：ＪＮＤ）は暗い領域においてより大きくなる。これらより大きなＪＮＤをモデル化する新たなＰＱ曲線を計算することによって、環境光アルゴリズムは、周辺環境に対する可変的な適応度の間の可視的なステップの数を保存できる。周辺の照明を補償することに加えて、このモジュールはまた、推定された画面反射を補償する。環境光は、ディスプレイ上に設置された１つ以上の環境光センサから決定されてもよい。

【0056】

このようなマッピングの具体例は、Ｊ．Ａ．ＰｙｔｌａｒｚらによるＷＩＰＯ公報ＷＯ２０１８／１１９１６１“Ａｍｂｉｅｎｔ ｌｉｇｈｔ－ａｄａｐｔｉｖｅ ｄｉｓｐｌａｙ ｍａｎａｇｅｍｅｎｔ”及びＡｔｋｉｎｓらによる２０１９年１月９日に出願された米国仮特許出願第６２／７９０，０５８号“Ｄｉｓｐｌａｙ ｍａｎａｇｅｍｅｎｔ ｗｉｔｈ ａｍｂｉｅｎｔ ｌｉｇｈｔ ｃｏｍｐｅｎｓａｔｉｏｎ”に記載される。この段階はまた、コントラスト調整、輝度調整などのユーザ嗜好に対して調整するのに利用可能である。

【0057】

図２Ｂに戻って、ディスプレイマッピング（２１０）は、グローバルなトーンマッピングと精度マッピングとの双方を含んでもよい一方、ディスプレイマッピング（２１２）は、グローバルなトーンマッピングのみを含んでもよい。

【0058】

これら処理ステップの全ては、ディスプレイ管理制御レイヤ（２１５）又はビットストリームに含まれるメタデータの何れかによって与えられると、フラグ及びパラメータ（６０７）によって制御される。

【0059】

飽和マップＩ
飽和マップＩブロック（６６０）は、ＴｏｎｅＭａｐＩの出力及びピクセルの強度に基づいて、クロマチャネル（例えば、Ｔ及びＰ）に飽和マッピングを適用する（６１５）。マッピングは、３つのステージにおいて適用される。

【数14】

【0060】

ステージ１：飽和保存スケールは、強度に対する変更を説明するため飽和を調整する。カラーの強度が低減するに従って、飽和はまたカラーの外観又はバランスを維持するよう減少する。飽和の調整量は、トーンマッピング前後の強度に依存する。追加的なクランピング及び制限は簡単化のため省略されることに留意されたい。

【数15】

【0061】

一般に、式（９）は、

【数16】

ただし、ｆ_S（Ｉ）関数は、好ましくは、中間トーンのリニアマッピングであるが、従来のシグモイド関数と同様のダーク及びハイライトの非リニアマッピングによる強度の単調増加関数である。

【0062】

ステージ２：薄明視保存及びソフトクラッシュスケールは更に、より高いブラックレベルへのマッピングの際に飽和を調整する。薄明視保存（ｃ_４）は、ソースコンテンツの低ルミナンスピクセルにおけるカラー飽和の知覚損失をモデル化し、それをより高いルミナンスレベルで再生する。この修正がない場合、ダーク詳細は、より高いブラックレベルを備えるディスプレイにマッピングされる際、より飽和されるように見えうる。ソフトクラッシュ（ｃ_２）は、ガマットマッピング飽和調整である。それは、ガマットに戻すため、ターゲットディスプレイの最小値に近いピクセルの飽和を低減する。この修正がない場合、ダークピクセルは、ガマット外のものであってもよく、高く飽和された好ましくないカラーにクリッピングしてもよい。追加的なクランピング及び制限は簡単化のため省略されることに留意されたい。

【数17】

【0063】

ステージ３：飽和トリムスケールは、コンテンツ作成者が創作的な意図をより良好に実現するため、自動的なマッピングから飽和を更に修正することを可能にする。これは、実施例では［－０．５，０．５］の範囲と、約０．０５の典型的な値とを有するメタデータに提供されたＳａｔｕｒａｔｉｏｎＧａｉｎ値から単に計算される。

【数18】

【0064】

ＴｏｎｅＭａｐＳ
ＴｏｎｅＭａｐＳブロック（６４０）は、クロマチャネルの飽和に基づいてトーンマッピングされた入力の強度チャネル（Ｉ’）を調整する。調整量は、２つの係数ｃ_１及びｃ_２によって決定される２つのステージによって制御される。更なるクランピングは簡単化のため省略されていることに留意されたい。

【数19】

他の実施例では、ＴｏｎｅＭａｐＳは、Ｓ＞０に対してＳの何れかの単調増加関数を示すものであってもよい。実施例では、ｃ_１及びｃ_２の係数は以下のように計算される。

【0065】

ステージ１：プライマリ飽和は、ソースディスプレイとターゲットディスプレイとのプライマリ間の差分に従って飽和したカラーの輝度を修正する。これは、高く飽和したカラーを若干暗くし、カラー飽和及びテクスチャを明るく飽和したカラー領域において保存することを支援する。ソースディスプレイの赤色の原色の飽和がまず、ＩＴＰカラー空間を利用して計算される。その後、係数ｃ_１は、ＴｏｎｅＭａｐＩによって実行される更なるトーンマッピングを説明するターゲット及びソースの赤色の原色の強度の比率として計算される。係数ｃ_１はまた、赤色の原色の３乗された飽和によって更にスケーリングされ、これにより、各ピクセルは赤色の原色の飽和に対するピクセルの飽和の正規化された比率として表される。実際の実現形態は各値の範囲を限定し、ゼロによる除算を回避するための更なるクランピングを含み、以下の式は簡単化のためクランピングを省略する。

【数20】

【0066】

ステージ２：クロマウェイトトリムは、コンテンツ制作者が自らの創作的意図をより良好に実現するため、自動的なマッピングから飽和したカラーの輝度を更に修正することを可能にする。これは、メタデータに与えられるＣｈｒｏｍａＷｅｉｇｈｔ値をスケーリングすることによって単に計算される。

【数21】

ＣｈｒｏｍａＷｅｉｇｈｔは、［－０．５，０．５］の範囲内にあり、－０．０５の典型的な値を有する。

【0067】

ＳａｔｕｒａｔｉｏｎＭａｐＳ
ＳａｔｕｒａｔｉｏｎＭａｐＳブロック（６４５）は、クロマチャネルの飽和に基づいてＰ及びＴのチャネルに飽和マッピングを適用する。飽和の調整量は、２つの係数ｃ_１及びｃ_２によって決定される２つのステージによって制御される。更なるクランピングは簡単化のため省略されたことに留意されたい。

【数22】

実施例では、ｃ_１及びｃ_２の係数は以下のように計算される。

【0068】

ステージ１：プライマリ飽和は、ソースディスプレイとターゲットディスプレイとのプライマリ間の差分に従って飽和を修正する。これは、高く飽和したカラーを若干不飽和化させ、色調及びテクスチャを明るく飽和したカラー領域において保存することを支援する。ソースディスプレイとターゲットディスプレイとの赤色の原色の飽和はまず、ＩＴＰカラー空間を利用して計算される。その後、係数ｃ_１がまた赤色の原色のキューブ化された飽和によって更にスケーリングされ、これにより、各ピクセルは赤色の原色の飽和に対するピクセルの飽和の正規化された比率として表現される。実際の実装は、各値の範囲を限定し、ゼロにより除算を回避するよう追加的なクランピングを含むことに留意されたい。以下の式は簡単化のためクランピングを省略している。

【数23】

【0069】

ステージ２：クロマウェイトトリムは、コンテンツ作成者が自らの創作意図をより良く実現するため、自動的なマッピングから飽和したカラーのマッピングを修正することを可能にする。これは、メタデータに与えられるＣｈｒｏｍａＷｅｉｇｈｔ値をスケーリングすることによって単に計算される（例えば、式（１４）を参照されたい）。

【数24】

【0070】

６ベクトルトリム
６ベクトルトリムブロック（６５５）は、コンテンツ作成者がより低いダイナミックレンジによるディスプレイへのマッピングの際に自らの創作意図をより良く実現するため、特定のカラーの色調と飽和との双方を修正することを可能にする。ここで用いられるように、“トリム”という用語は、所望の創作意図を取得するため、コンテンツ作成者がトーン曲線に対する追加的な手動による修正を実行するための制御を示す。トリム関連メタデータは、ターゲットディスプレイの最大輝度値、トーン曲線操作のためのスロープオフセット電力及び飽和ゲインとクロマ関連パラメータの効果を調整するウェイトなどのパラメータを含んでもよい。

【0071】

図６Ｂにまた示されるステップは、以下である。
１．ブロック６８０において、各ピクセルの色調角度（ｈｕｅ ａｎｇｌｅ）を計算する。

【数25】

ただし、ｃｔ及びｃｐは、図６Ａに示される処理からの修正されたクロマ値を示す。
２．ブロック６８５及び６９０において、インデックスとして色調角度を利用し、２つの小さなＬＵＴ（３ビット）に補間する。

【数26】

Ｈが０～３６０度であると仮定すると、実施例では、色調調整（ｒ１）及び飽和調整（ＳＭＨ）は、以下のように計算されてもよい。

【数27】

ただし、ＳＭＨＬＵＴ［ｊ］及びＨＭＨＬＵＴ［ｊ］（ｊ＝０，１，・・・，７）は、入力されたメタデータの一部としてカラリストによって提供されるトリム値によるルックアップテーブルである。
３．最後に、トーンマッピングされた出力（６５２）の出力されるクロマコンポーネントＣｔ’及びＣｐ’（６５７）は、

【数28】

のように計算される。

【0072】

２つのＬＵＴが、メタデータによって提供され、６つの色調のそれぞれの所望の修正から構成される。クロマチャネルの４象限アークタンジェントによって計算される各ピクセルの色調が、適用すべき色調及び飽和修正量を検出するため、このテーブルに補間するのに利用される。ＬＵＴは、１つ以上の特定のルミナンスレベルに対して意図される。補間前、ＬＵＴは、その他のトリムと同様に、意図されたターゲットディスプレイの実際のルミナンスレベルに基づいて修正される。

【0073】

一例となるコンピュータシステムの実装
本発明の実施例は、コンピュータシステム、電子回路及びコンポーネントに構成されるシステム、マイクロコントローラ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のコンフィギュラブル若しくはプログラマブルロジックデバイス（ＰＬＤ）などの集積回路（ＩＣ）デバイス、離散時間若しくはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はそのようなシステム、デバイス若しくはコンポーネントの１つ以上を含む装置によって実現されてもよい。コンピュータ及び／又はＩＣは、ここに説明されたものなどハイダイナミックレンジによる画像のための画像変換に関連する命令を実行又は制御しうる。コンピュータ及び／又はＩＣは、ここに説明されるＨＤＲビデオプロセスのディスプレイ管理に関連する各種パラメータ又は値の何れかを計算してもよい。画像及びビデオの実施例は、ハードウェア、ソフトウェア、ファームウェア及びこれらの各種組み合わせにより実現されてもよい。

【0074】

本発明の特定の実現形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む、例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける１つ以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリにおけるソフトウェア命令を実行することによって、上述したようなＨＤＲビデオのディスプレイ管理に関連する方法を実現してもよい。本発明は又、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する何れか有形で非一時的な媒体を含んでもよい。本発明によるプログラムプロダクトは、広範な各種の有形な形態の何れであってもよい。プログラムプロダクトは、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体などを含んでもよい。プログラムプロダクト上のコンピュータ可読信号は、任意的には、圧縮または暗号化されてもよい。

【0075】

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が参照される場合、特段の断りがない場合、当該コンポーネント（“手段”の参照を含む）の参照は、本発明の図示された一例となる実施例における機能を実行する開示された構成に構成上等価でないコンポーネントを含む所望のコンポーネントの機能（例えば、機能的に等価である）を実行する何れかのコンポーネントを当該コンポーネントの均等として含むといて解釈されるべきである。

【0076】

均等、拡張、代替及びその他
従って、ＨＤＲビデオのディスプレイ管理に関連する一例となる実施例が開示される。上記の明細書において、本発明の実施例が、実現形態に応じて変更されうる多数の具体的な詳細を参照して説明された。従って、本発明であるもの及び出願人によって本発明であると意図されるものの唯一及び排他的なインジケータは、何れかの以降の訂正を含む、請求項が発行する特定の形態における本出願から発行される請求項のセットである。そのような請求項に含まれる用語に対してここに明示的に与えられる何れかの定義は、請求項に用いられるような当該用語の意味を支配する。従って、請求項において明示的に記載されない何れの限定、要素、性質、特徴、効果又は貢献も当該請求項の範囲を何れの方法でも限定すべきでない。従って、明細書及び図面は、限定的でなく例示的としてみなされるべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】