(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-12
(54)【発明の名称】HDR表示のための画像依存のコントラスト及び輝度制御
(51)【国際特許分類】
H04N 5/202 20230101AFI20230605BHJP
H04N 5/57 20060101ALI20230605BHJP
G09G 5/00 20060101ALI20230605BHJP
G09G 5/10 20060101ALI20230605BHJP
G09G 3/34 20060101ALI20230605BHJP
G09G 3/20 20060101ALI20230605BHJP
【FI】
H04N5/202
H04N5/57
G09G5/00 520A
G09G5/10 B
G09G3/34 J
G09G3/20 612U
G09G3/20 642F
G09G5/00 550C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022565796
(86)(22)【出願日】2021-04-27
(85)【翻訳文提出日】2022-10-27
(86)【国際出願番号】 US2021029476
(87)【国際公開番号】W WO2021222310
(87)【国際公開日】2021-11-04
(32)【優先日】2020-04-28
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2020-04-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ピトラーズ,ジャクリン アン
【テーマコード(参考)】
5C080
5C182
【Fターム(参考)】
5C080AA10
5C080CC03
5C080EE29
5C080JJ01
5C080JJ02
5C080JJ05
5C080JJ07
5C080KK02
5C182AA03
5C182AB01
5C182BA25
5C182BA45
5C182CA01
5C182CA02
5C182CA13
5C182DA53
(57)【要約】
ディスプレイ上の暗い画像と明るい画像の明るさとコントラストとを別々に調整する方法とシステムが提供される。最小及び最大表示輝度値を含む表示に入力ダイナミックレンジをマッピングするトーンマッピング曲線が与えられると、最大表示輝度値は、ユーザ定義パラメータにしたがって調整された輝度値に低減される。入力ダイナミックレンジは、調整された輝度値を用いる表示ダイナミックレンジにトーンマッピングされる。明るさを制御では、トーンマッピングされた画像は、最大表示輝度値まで線形的に引き伸ばされる。コントラスト制御では、調整された輝度にしたがって表示のガンマ又はパワーEOTFが調整される。グローバルバックライト制御を伴うディスプレイの場合、グローバルバックライトはコントラストが調整された場合にのみ調整される。
【特許請求の範囲】
【請求項1】
暗い画像部分よりも明るい画像部分において比較的強く輝度を低減させるために、ピーク輝度調整パラメータのユーザ定義値に基づいて画像依存の輝度制御を提供する、コンピュータで実装される方法であって、前記方法は:
画像ダイナミックレンジ内の入力画像を受信するステップと;
対象ディスプレイの表示ダイナミックレンジを定義する最小表示輝度値及び最大表示輝度値を受信するステップと;
前記ピーク輝度調整パラメータ及び前記最大表示輝度値に基づいて、前記対象ディスプレイのための第1調整輝度値を生成するステップであって、前記第1調整輝度値は前記最大表示輝度値より低い、ステップと;
トーンマッピング関数及び前記入力画像によってトーンマッピング画像を生成するステップであって、前記トーンマッピング関数は、前記画像ダイナミックレンジを前記最小表示輝度値及び前記第1調整輝度値にマッピングする、ステップと;
前記トーンマッピング画像に基づいて前記対象ディスプレイのための出力画像を生成するステップと;を含み、
前記第1調整輝度値を生成するステップは、
【数12】
を計算するステップを含み、
Tmax
Adj1は前記第1調整輝度値を示し、Tmaxは前記最大表示輝度値を示し、βは前記ピーク輝度調整パラメータを示す、
方法。
【請求項2】
前記ピーク輝度調整パラメータが0と1との間である、
請求項1記載の方法。
【請求項3】
前記第1調整輝度値に基づいて前記対象ディスプレイのためのグローバルバックライト調光を調整するステップをさらに含み、
前記トーンマッピング関数は、前記画像ダイナミックレンジを調整最小表示輝度値及び前記第1調整輝度値にマッピングする、
請求項1又は2記載の方法。
【請求項4】
ガンマ又はパワー電気光学伝達関数(EOTF)を有する対象ディスプレイのために、EOTFを適用する前に、バックライト調光調整が無い場合、又はバックライト調光調整が有る場合であって調整最小輝度値と前記第1調整輝度値との差異が有る場合に、EOTFへの入力は、前記最大表示輝度値と前記最小表示輝度値との差を含むデルタファクタによって正規化される、
請求項1乃至3いずれか1項記載の方法。
【請求項5】
EOTF画像への入力の色成分(RGB)が与えられると、EOTF出力の色成分(RGB’)を生成するステップは、
前記対象ディスプレイにグローバルバックライト調光調整が無い場合に、
【数13】
を計算するステップと、
前記対象ディスプレイにグローバルバックライト調光調整が有る場合に、
【数14】
を計算するステップと、を含み、
γはガンマ又はパワーファクタを示し、Tminは前記最小表示輝度値を示し、Tmaxは前記最大表示輝度値を示し、Tmax
Adj1は前記第1調整輝度値を示し、Tmin
Adjは前記グローバルバックライト調光調整による前記調整最小輝度値を示す、
請求項4記載の方法。
【請求項6】
前記方法はさらに、平均画像レベルブースト調整パラメータのユーザ定義値に基づいて、明るい画像部分よりも暗い画像部分において比較的強く輝度を増加させ、
前記方法はさらに、
平均画像レベルブースト調整パラメータ及び前記第1調整輝度値に基づいて、前記対象ディスプレイのための第2調整輝度値を生成するステップであって、前記第2調整輝度値は前記最大表示輝度値より低い、ステップと;
トーンマッピング関数及び前記入力画像によってトーンマッピング画像を生成するステップであって、前記トーンマッピング関数は、前記画像ダイナミックレンジを前記最小表示輝度値及び前記第2調整輝度値にマッピングする、ステップと;
前記トーンマッピング画像に線形マッピングを適用することにより、対象ディスプレイのための第1出力画像を生成するステップであって、前記線形マッピングのパラメータは、前記最小表示輝度値、前記第1調整輝度値、及び前記第2調整輝度値に基づいている、ステップと;を含み、
前記第2調整輝度値を生成するステップは、
【数15】
を計算するステップを含み、
Tmax
Adj2は前記第2調整輝度値を示し、Tmax
Adj1は前記第1調整輝度値を示し、αは前記平均画像レベルブースト調整パラメータを示す、
請求項1乃至5いずれか1項記載の方法。
【請求項7】
前記線形マッピングを適用する前記トーンマッピング画像のRGB色成分のために前記出力画像の色成分(RGB
o)を生成するステップは、
RGB
o=RGB*m-bを計算するステップを含み、
【数16】
及び
【数17】
は前記線形マッピングの前記パラメータを示し、
Tminは前記最小表示輝度値を示し、Tmax
Adj1は前記第1調整輝度値を示し、Tmax
Adj2は前記第2調整輝度値を示す、
請求項6記載の方法。
【請求項8】
明るい画像部分よりも暗い画像部分において比較的強く輝度を増加させるために、平均画像レベルブースト調整パラメータのユーザ定義値に基づいて画像依存の輝度制御を提供する、コンピュータで実装される方法であって、前記方法は:
画像ダイナミックレンジの入力画像を受信するステップと;
対象ディスプレイの表示ダイナミックレンジを定義する最小表示輝度値及び最大表示輝度値を受信するステップと;
前記平均画像レベルブースト調整パラメータに基づいて前記対象ディスプレイのための調整最大輝度値を生成するステップであって、前記調整最大輝度値は前記最大表示輝度値より低い、ステップと;
トーンマッピング関数及び前記入力画像によってトーンマッピング画像を生成するステップであって、前記トーンマッピング関数は、前記画像ダイナミックレンジを前記最小表示輝度値及び前記調整最大輝度値にマッピングする、ステップと;
前記トーンマッピング画像に線形マッピングを適用することによって前記対象ディスプレイのための出力画像を生成するステップであって、前記線形マッピングのパラメータは、前記最小表示輝度値、前記最大表示輝度値、及び前記調整最大輝度値に基づいている、ステップと;を含み、
前記調整最大輝度値を生成するステップは、
【数18】
を計算するステップを含み、
Tmax
Adjは前記調整最大輝度値を示し、Tmaxは前記最大表示輝度値を示し、αは前記平均画像レベルブースト調整パラメータを示し、
前記トーンマッピング画像におけるRGB色成分に前記線形マッピングを適用し、前記出力画像における色成分(RGB
o)を生成するステップは、
RGB
o=RGB*m-bを計算するステップを含み、
【数19】
及び
【数20】
は線形マッピングのパラメータを示し、Tminは前記最小表示輝度値を示し、Tmaxは前記最大表示輝度値を示し、Tmax
Adjは、前記調整最大輝度値を示す、
方法。
【請求項9】
前記平均画像レベルブースト調整パラメータは0から1の間である、
請求項8記載の方法。
【請求項10】
請求項1乃至9いずれか1項記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した非一時的コンピュータ可読記憶媒体。
【請求項11】
プロセッサを備え、請求項1乃至9いずれか1項記載の方法を実行するように構成された装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年4月28日に出願された米国仮出願第63/016,363号及び2020年4月28日に出願された欧州特許出願第20171788.1号による優先権の利益を主張しており、これらは参照によりここに組み込まれる。
【0002】
技術
本文書は概して画像と表示管理に関するものである。より具体的には、本発明の一実施形態は、高ダイナミックレンジ画像(HDR)をカラーディスプレイに表示するための画像依存コントラスト及び輝度制御に関する。
【背景技術】
【0003】
ほぼ全てのテレビセットとディスプレイモニターには、「明るさ」及び「コントラスト」を調整するためのユーザインターフェイスが設けられている。コントラスト調整により、ユーザは白の詳細(details)を管理できる。コントラストの設定が高いほど、画像の白い部分が最も明るくなる。コントラストが高すぎると、実際には画像の白い部分の詳細が失われることがある。
【0004】
明るさの調整により、ユーザは黒の詳細を管理できる。明るさの設定が低いほど、画像の黒い部分は暗くなる。明るさが低すぎると、画像の黒い部分の詳細が失われることがある。
【0005】
これらの設定は、画像の輝度特性に関係なく、すべての画像に等しく適用される。これは標準ダイナミックレンジを有する画像とディスプレイ(displays)で適切に機能し得る。しかしながら、発明者によって評価されているように、かかる固定設定は高ダイナミックレンジ(HDR)画像及びディスプレイには適切でない場合がある。したがって、ディスプレイのために、調整可能な(例:ユーザ定義)、画像依存の(image-dependent)明るさ及びコントラストの制御が所望される。
【発明の概要】
【0006】
このセクションで説明するアプローチは、追求できるアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。したがって、特に示されない限り、このセクションに記載されているいずれのアプローチも、単にこのセクションに含まれているという理由だけで先行技術として適格であるとみなすべきではない。同様に、1つ以上のアプローチに関して特定された問題は、特に示されない限り、このセクションに基づいて先行技術において認識されていると想定すべきではない。
【図面の簡単な説明】
【0007】
本発明の実施形態は、限定ではなく例として添付の図面に図示されており、同様の参照番号は同様の要素を指す。
【
図1】
図1は、ビデオ配信パイプラインの例示的なプロセスを示す図である。
【
図2A】
図2Aは、本発明の一実施形態による平均画像レベル(APL)ブーストの適用例を示す図である。
【
図2B】
図2Bは、本発明の一実施形態によるピーク輝度調整の適用例を示す図である。
【
図2C】
図2Cは、APLブースト又はピーク輝度調整なしの画像の例を示す図である。
【
図2D】
図2Dは、本発明の一実施形態によるAPLブースト及びピーク輝度調整の両方で処理された後の
図2Cの例示画像を示す図である。
【
図3】
図3は、先行技術による表示管理のためのトーンマッピング曲線の例を示す図である。
【
図4A】
図4Aは、本発明の一実施形態によるAPLブーストを適用するプロセスの例を示す図である。
【
図4B】
図4Bは、本発明の一実施形態によるピーク輝度調整を適用するプロセスの例を示す図である。
【
図4C】
図4Cは、本発明の一実施形態によるAPLブーストとピーク輝度調整の両方を適用するプロセスの例を示す図である。
【発明を実施するための形態】
【0008】
HDRディスプレイのための画像に依存する明るさ及びコントラスト制御の実施例をここで説明する。以下の記載では、説明のために、本発明の様々な実施形態を十分に理解するために、様々な具体的な詳細を記載する。しかしながら、本発明の様々な実施形態は、これらの具体的な詳細なしに実行できることは明らかであろう。他の例では、周知の構造及びデバイスは、本発明の実施形態を不必要に遮ったり、曖昧にしたり、難読化したりすることを避けるために、網羅的な詳細には記載されていない。
【0009】
まとめ
ここで説明する実施例は、HDRディスプレイのための画像に依存する明るさ及びコントラスト制御に関するものである。一実施形態では、プロセッサを備えたシステムは、画像ダイナミックレンジの入力画像を受信し;
対象ディスプレイ(target display)の表示ダイナミックレンジ(display dynamic range)を定義する最小表示輝度値(minimum display luminance value)及び最大表示輝度値(maximum display luminance value)を受信し;
平均画像レベルブースト調整パラメータに基づいて対象ディスプレイのために調整された最大輝度値(adjusted maximum luminance value)を生成し(405)、調整された最大輝度値は最大表示輝度値より低く;
トーンマッピング関数及び入力画像によってトーンマッピング画像を生成し(410)、トーンマッピング関数は、画像ダイナミックレンジを最小表示輝度値及び調整された最大輝度値にマッピングし;
トーンマッピング画像に線形マッピングを適用することによって対象ディスプレイのための出力画像を生成し(415)、線形マッピングのパラメータは、最小表示輝度値、最大表示輝度値、及び調整された最大輝度値に基づく。
【0010】
第2実施形態においては、プロセッサを有するシステムは、画像ダイナミックレンジの入力画像を受信し;
対象ディスプレイの表示ダイナミックレンジを定義する最小表示輝度値及び最大表示輝度値を受信し;
ピーク輝度調整パラメータに基づいて、対象ディスプレイのための第1調整輝度値を生成し(420)、第1調整輝度値は最大表示輝度値より低く;
トーンマッピング関数及び前記入力画像によってトーンマッピング画像を生成し(430)、トーンマッピング関数は、画像ダイナミックレンジを最小表示輝度値及び第1調整輝度値にマッピングし;
トーンマッピング画像に基づいて対象ディスプレイのための出力画像を生成する(435)。
【0011】
第3実施形態では、プロセッサを有するシステムは、画像ダイナミックレンジの入力画像を受信し;
対象ディスプレイの表示ダイナミックレンジを定義する最小表示輝度値及び最大表示輝度値を受信し;
ピーク輝度調整パラメータ及び最大表示輝度値に基づいて、対象ディスプレイのための第1調整輝度値を生成し、第1調整輝度値は最大表示輝度値より低く;
平均画像レベルブースト調整パラメータ及び第1調整輝度値に基づいて、対象ディスプレイのための第2調整輝度値を生成し、トーンマッピング関数及び入力画像によってトーンマッピング画像を生成し(455)、トーンマッピング関数は、画像ダイナミックレンジを最小表示輝度値及び第2調整輝度値にマッピングし;
トーンマッピング画像に線形マッピングを適用することによって対象ディスプレイのための出力画像を生成し(460)、線形マッピングのパラメータは、最小表示輝度値、第1調整輝度値、及び第2調整輝度値に基づいており、出力画像に基づいて対象ディスプレイのための出力画像を生成する(465)。
【0012】
動画配信処理パイプラインの例(EXAMPLE VIDEO DELIVERY PROCESSING PIPELINE)
図1は、ビデオキャプチャからビデオコンテンツディスプレイまでの様々なステージを示す従来のビデオ配信パイプライン(100)のプロセス例を示している。一連のビデオフレーム(102)は、画像生成ブロック(105)を用いてキャプチャ又は生成される。ビデオフレーム(102)は、ビデオデータ(107)を提供するために、デジタルでキャプチャされたり(例えばデジタルカメラによって)、コンピュータによって生成されたり(例えば、コンピュータアニメーションを使用することによって)することができる。あるいは、ビデオフレーム(102)をフィルムカメラによってフィルムに撮影することもできる。フィルムはデジタル形式に変換されてビデオデータを提供する(107)。プロダクションフェーズ(110)では、ビデオデータ(107)を編集してビデオプロダクションストリーム(112)を提供する。
【0013】
その後、プロダクションストリームのビデオデータ(112)は、ポストプロダクション編集のためにブロック(115)のプロセッサに提供される。ブロック(115)ポストプロダクション編集は、画像の特定の領域の色又は明るさを調整又は変更して、画像の品質を向上させたり、ビデオ作成者の創造的な意図に従って画像の特定の外観を実現したりすることを含み得る。これを「カラータイミング」又は「カラーグレーディング」と称することがある。他の編集(例えば、シーンの選択と順序付け、画像のクロッピング、コンピュータ生成の視覚的特殊効果の追加、ジャダー又はブラーの制御、フレームレートの制御など。)をブロック(115)で実行して、配信用のプロダクションの最終バージョン(117)を生成することもできます。ポストプロダクション編集中(115)、ビデオ画像は参照ディスプレイ(125)で表示される。
【0014】
ポストプロダクション(115)の後に、最終プロダクションのビデオデータ(117)は、テレビセット、セットトップボックス、ムービーシアターなどのデコード及び再生デバイスにダウンストリーム配信するために、コーディングブロック(120)に配信され得る。いくつかの実施形態では、コーディングブロック(120)は、ATSC、DVB、DVD、Blu-Ray、及びその他の配信形式によって定義されたものなどのオーディオ及びビデオエンコーダを含むことができ、コーディングされたビットストリーム(122)を生成することができる。受信器では、コーディングされたビットストリーム(122)はデコードユニット(130)によってデコードされ、信号(117)の同一又は近接近似を表すデコード信号(132)を生成する。受信器は、基準ディスプレイ(125)とは全く異なる特性を有し得る対象ディスプレイ(target display)(140)に取り付けられ得る。その場合、ディスプレイ管理ブロック又は表示管理ブロック(display management block)(135)を使用して、表示マッピング信号(137)を生成することによって、デコードされた信号(132)のダイナミックレンジを対象ディスプレイ(140)の特性にマッピングすることができる。
【0015】
画像依存のディスプレイ制御(IMAGE-DEPENDENT DISPLAY CONTROLS)
従来のテレビの明るさ及びコントラストの制御では、画像の輝度の内容は考慮されない。例えば、大きなハイライトを有する画像に適応するためにコントラストを下げると、暗い画像は詳細が失われることがある。発明者によって評価されるように、ユーザが画像特性に基づいてディスプレイの明るさとコントラストを調整できるようにすることが望ましい。例えば、明るい画像をさらに明るくしたり暗い画像をさらに暗くしたりするべきではない。あるいは、好みの調整に依存して、明るい画像及び暗い画像が与えられた場合、ユーザの好みにしたがっていずれか一方だけが変更されるべきである。この問題に対処するために、一実施形態では、2つの新しい画像依存のディスプレイ制御が提案される:ハイライトに影響を与えずに暗い部分(darks)を強調する動的平均画像レベル(average picture level:APL)ブーストと、暗い部分に影響を与えずにハイライトを調整する動的ピーク輝度低減と、である。2つの制御を組み合わせることもできる。
【0016】
APLブースト(APL Boost)
動的平均画像レベル(APL)ブーストの目的は、重要な詳細を失うことなく、画像の見かけの明るさを増加させることである。従来の明るさ調整では、すべてのコンテンツに明るさブーストが適用される。実施形態は、暗い画像により多くのブーストを与え(暗い部分の詳細を改善)、明るい画像により少ないブーストを与える(ハイライト部分の詳細を維持)適応ソリューションを提供する。この効果の例を
図2Aに示す画像に示す。
図2Aでは、一番左の2枚がオリジナルである。上の方が明るく、下の方が暗い。
図2Aの右側に示されているように、一実施形態に従ってAPLブーストを適用すると、暗い詳細又は上の画像のハイライトを損なうことなく、下の暗い画像のより詳細な描写が可能になる。一実施形態では、動的APLブーストは、表示管理プロセス中のパラメータの適切な管理によって実行される。ここで使用されるように、「表示管理又はディスプレイ管理(display management)」又は「表示マッピング(display mapping)」という用語は、第1ダイナミックレンジ(例:0.01から1,000ニト)の入力ビデオ信号の映像又は画像を、第2ダイナミックレンジ(例:0.05から800ニト)の表示にマッピングするために必要な処理(例:トーン及び色域のマッピング)を示す。第2ダイナミックレンジは、第1ダイナミックレンジよりも低いことも高いこともできる。表示管理プロセスの例は、R.Atkinsらによる米国特許第9,613,407号「Display management for high dynamic range images(高ダイナミックレンジ画像のための表示管理)」 に見出すことができ、参照によりその全体がここに組み込まれている。
【0017】
参照によりここに組み込まれているJ.A.PytlarzとR.Atkinsによる米国特許10,600,166(’166特許と称される)「Tone curve mapping for high dynamic range images(高ダイナミックレンジ画像のトーン曲線マッピング)」に記載されているように、多くの表示アプリケーションでは、トーンマッピング曲線を使用して、第1ダイナミックレンジのソースデータを異なるダイナミックレンジのディスプレイにマッピングすることができる。たとえば、[Smin,Smax]範囲内の輝度値を有する画像データは、ダイナミックレンジ[Tmin,Tmax]を有するディスプレイにトーンマッピングされることができ、TminとTmaxは、表示可能な最小の黒と最大の白の値を(例えばニトで)示す。3つのアンカーポイントによって制御されるこのようなトーンマッピング曲線の例を
図3に示す。
【0018】
トーンマッピング曲線(320)は、ブラックポイント(x1,y1)、中間トーン値ポイント(x2,y2)、ホワイトポイント(x3,y3)、の3つのアンカーポイント(305,310,315)によって制御される。さらに、各スプラインセグメント(S1とS2)は、各端点において、2つの線形セグメント(L1とL2)によってさらに拘束されることができ、したがって、全曲線は、(x1,y1)におけるセグメントL1のテール勾配、(x2,y2)における中間トーン勾配、(x3,y3)のセグメントL2のヘッド勾配、の3つのアンカーポイントと3つの勾配によって制御される。
【0019】
’166特許に記載されているように、完全なトーンマッピング曲線は以下のパラメータに基づいて定義することができる:
Smin=x1は、ソースコンテンツの最小輝度を示す。与えられていない場合、Sminは典型的な黒を表す値に設定され得る(例:Smin=0.0151)。
Smax=x3は、ソースコンテンツの最大輝度を示す。与えられていない場合、Smaxは「ハイライト」を表す大きな値に設定され得る(例:Smax=0.9026)。
Smid=x2は、ソースコンテンツの平均(例えば、算術、中央値、幾何)平均輝度を表す。いくつかの実施例では、単に入力画像の「重要な」輝度特徴を示すことができる。他のいくつかの実施形態では、選択された領域(例えば顔)の平均又は中央値を示すこともできる。Smidは手動又は自動で定義され、ハイライト又はシャドウで特定の外観を保持するために設定に基づいて値がオフセットされることができる。与えられていない場合、Smidは一般的な平均値(例:肌の色を表すSmid=0.36)に設定されることができる。
【0020】
これらのデータは、画像又はソースメタデータを使用して受信されることもできれば、表示管理ユニット(例:135)によって計算されることもでき、マスタリング又は参照表示環境に関する既知の仮定に基づくこともできる。また、対象ディスプレイ(例えば、ディスプレイの拡張ディスプレイ識別データ(Extended Display Identification Data :EDID) を読み取ることによって受信される。)については、以下のデータが既知であるとする。
Tmin=対象ディスプレイの最小輝度
Tmax=対象ディスプレイの最大輝度
【0021】
マッピング曲線を完全に決定するには、以下の点とパラメータを計算する必要がある:
TminAdj=y1;
TmaxAdj=y3;
TmidAdj=y2;
slopeMin=(x1,y1)における勾配;
slopeMid=(x2,y2)における勾配;
slopeMax=(x3,y3)における勾配。
【0022】
これらのパラメータを定義するプロセスの例は、’166特許に記載されているが、これらに限定されない。
【0023】
ここで、上で定義されたTmax及びTminが与えられた場合、αが平均画像レベル(APL)ブースト調整パラメータ(例えば、αε[0,1]、ここで、0=調整なし、1=完全APLブースト)を表すとする実施形態を考える。
図4Aは、一実施形態による動的APLブーストを適用するプロセスの例を示している。
図4Aに示すように、ステップ405で、入力画像、ユーザ定義の平均画像レベル(APL)ブースト調整パラメータα、及び入力信号と対象ディスプレイのその他の特性(例:Tmax)が与えられると、入力Tmax値を調整して、調整されたTmax値を導出する。
【数1】
次に、ステップ410で、表示管理プロセスは、Tmax
Adj値を用いて入力画像をトーンマッピングする。
【0024】
動的トーンマッピングアルゴリズムで使用されるTmax値を調整すると、画像に次のような影響がある。明るい画像は概して非常に暗くなるが、暗い画像はほぼ同じままである。したがって、暗い画像の相対的な明るさは、明るい画像に比べて効果的に増加させることができる。
【0025】
一実施形態では、ディスプレイ(140)は、グローバル又はローカル調光によるバックライト制御をサポートすることができる。バックライト調光制御(Backlight dimming control)により、テレビは、画像特性や視聴環境の周辺光に応じて、バックライトの強度を調整し、画像コンテンツを強調することができる。バックライト調光を決定する例は、J.A.Pytlarzらによる米国特許出願公開第2019/0304379号「Ambient light-adaptive display management(周辺光適応表示管理)」に記載されており、参照によりここに組み込まれている。動的APLブーストの下では、調整されたTmax値の計算がグローバル調光の設定方法に影響を与えないことが望ましい。例えば、グローバル調光計算中に計算された所望のTmaxが600cd/m2になるよう選択され、平均画像レベル(APL)ブースト調整パラメータα値が1の場合、バックライトは600cd/m2に設定されたままだが、マッピングに使用されるTmaxAdjはTmax/2=300cd/m2に設定する必要がある。
【0026】
トーンマッピング(410)の後、ステップ415で、入力画像が対象色空間(例:RGB)に変換された後、次に説明するように線形マッピングによってダイナミックAPLブーストが完了する。調整されたTmax値は元の値よりも低いため、このステップでは、線形空間のコンテンツがディスプレイの元のTmaxに引き戻される。つまり、より暗くされた明るい画像はAPLブーストが適用されなかった場合とほぼ同じ輝度で残り、変化していない暗い画像はより明るくなる。これにより、調整されたTmax値は元のTmaxに戻るが、Tminは同じままである。したがって、傾きm及びオフセットbが与えられると、
【数2】
であり、したがって
【数3】
である。
ここで、RGBはトーンマッピングされた画像の色成分を示す(例えば、R、G、Bなど)。これらの線形RGB値は、APLブーストで表示される最終的な画像を生成するために、対象ディスプレイの電気光学伝達関数(electro-optical transfer function:EOTF)(例:ガンマ、PQなど)によってさらに処理されることができる。
【0027】
別の実施形態では、この線形マッピングはトーンマッピング処理中に直接適用することもできるが、強度カラー(例えばICtCp画像のI成分)に対してのみ適用することもできる。ただし、最終的な結果は若干異なる場合がある。
【0028】
動的ピーク輝度調整(Dynamic Peak Luminance Adjustment)
ピーク輝度調整の目的は、特にハイライトを対象にして、画像の輝度を下げることである。従来の明るさ低減アルゴリズムでは、すべての画像を均等に暗くするため、明るい画像を補正しようとすると暗い画像の詳細が失われる。一実施形態では、トーンマッピングステップ中のピーク輝度を低減して、トーンマッピングプロセスを動的に調整する方法が提案される。
図2Bに示すように、
図2A(例えば、一番左の2枚の画像)と同じ元画像を与えると、この方法では暗い画像よりも明るい画像(例:左上の画像)を調整することができる(例:左下の画像)。この方法の利点の1つは、明るすぎる画像を補正するときに暗い画像の詳細が視認可能なままになることである。ピーク輝度調整(PLA)プロセスの例を
図4Bに示す。
【0029】
図4 Bに示すように、ステップ420で、入力画像及び対象ディスプレイの特性(例:Tmax)と、β:ピーク輝度調整パラメータ(例えばβε[0,1])と、が与えられると、入力Tmax値を調整して調整Tmax値を導出する。
【数4】
【0030】
APLブーストプロセスとは異なり、ピーク輝度の調整後に、トーンマッピングされた画像が引き伸ばされることはないため、バックライトを低減すると画質を向上させ、消費電力を低下させることができる。この場合、Tmax
Adj値に合わせてバックライトを低減することができる。マッピング中のTmin値も、グローバル調光表示の特性によっては、バックライトの低減に基づいて調整する必要があり得る。この手順はステップ425で完了する。次に、
図4Aのように、ステップ430で、表示管理プロセスは、Tmin及びTmax
Adjの値を用いて入力画像をトーンマッピングする。備考:グローバル調光調整によりTmin値が調整されている場合は、Tmin値をTmin
Adjに置き換えることができる。
【0031】
一実施形態では、トーンマッピングの出力のEOTF変換も(ガンマ又はパワーEOTFを使用する場合)調整する必要がある。ディスプレイがグローバル調光を使用し、パワー又はガンマ出力を有する場合、正規化ステップ435で、EOTF関数(例:トーンマッピングされた出力のRGB値)への入力値が、調整されたダイナミックレンジ(例:Tmax-Tmin又はTmax
Adj-Tmin
Adj)に基づいて正規化される。ディスプレイがグローバル調光ディスプレイでない場合は、元のTmaxとTminを正規化に使用すべきである。例として、非グローバル調光ディスプレイの場合:
【数5】
ただし、バックライトを調整したグローバル調光ディスプレイの場合:
【数6】
RGB’はEOTF関数へのRGB入力値が与えられた出力表示画像の色成分を示し、γは対象ディスプレイのガンマ又はパワーEOTFファクタ(gamma or power EOTF factor)を示し、Tmin
Adjはグローバル調光によって用いられる調整されたTmin値を示す。同様の正規化は、他のガンマ又はパワー類似のEOTF関数に適用できる。
【0032】
ディスプレイがPQ EOTFを使用している場合、EOTFの正規化手順は必要ない。これは、絶対色表現だからである(範囲[0,10000]cd/m2は常に送信される)。
【0033】
例えば、Tminはディスプレイのコントラスト比(ContrastRatio)に基づいて調整することができる。例えば、調整後のTminは、Tmax、Tmax
Adj、及びTminから次のように計算できる。
【数7】
【0034】
一実施形態では、APLブーストとピーク輝度調整(PLA)の両方を適用することが可能である。これは、夜間の視聴などの状況での目の快適さの向上や、安定した輝度表現に対するユーザの好みのために所望され得る。例を
図2C(オリジナル)及び
図2D(APLブーストとピーク輝度調整の両方で処理)に示す画像に示す。例えば、
図2Dに示されているように、左下の画像は黒部分の詳細をより示し、左上の画像は全体的に暗くなっている。右上の画像では、この調整は主に太陽の明るさに影響し(現在は暗く見える)、右下の画像では、暗い車は明るく見えるが、その後ろの明るく白いパネルは暗く見える。
【0035】
図4Cは、表示がAPLブーストとピーク輝度調整の両方を実施するプロセスフローの例を示している。このシナリオでは、ステップ440で、調整されたTmax値が次のように計算される。
【数8】
グローバル調光調整(450)とトーンマッピングステップ(455)は、ステップ455のトーンマッピングで、グローバル調光又はPLAプロセスによる調整を考慮する必要があること以外は、上述と同じままである。つまり、入力画像のダイナミックレンジのトーンマッピングは、Tminがグローバル調光によって調整されない場合には[Tmin,Tmax
Adj]にマッピングされ、調整される場合には[Tmin
PLA,Tmax
Adj]にマッピングされる。同様に、APLブーストの場合、ステップ460で、線形マッピングは、Tmax
PLA、Tmax
Adj、及びオプションのグローバル調光調整中のTminの任意の調整(例えば、いくつかの実施形態では、Tmin
PLA=Tmin)に基づく。
【数9】
【0036】
ステップ465では、任意のEOTF調整は
[外1]
のみに基づく。かくして、例として、ガンマEOTFを伴い、グローバル調光を伴わないディスプレイの場合:
【数10】
であり、バックライトが調整された類似のディスプレイの場合:
【数11】
である。
【0037】
上記の式は、次の例で、よりよく説明できる。対象ディスプレイがTmax=300ニトであるとする。β=1とし、次にTmaxPLA=150ニトとする。ディスプレイ全体は150ニト表示として扱われるようになり、トーンマッピングは150ニトを超えないように制約する必要がある。グローバル調光を伴うディスプレイでは、(ピークが150ニトになるまでバックライトを低減することによって)TminをTminAdjに低減する機会も有する。APLブーストを適用すると、すべての画像処理でディスプレイの物理的なTminとTmaxが一定に保たれるが、目下のところ、PLA調整を与えられると、式(2)と(3)のTmaxとTminは(調整された場合には)実際にはTmaxPLA(150ニト)になる。αの値は、典型的には[0,1]の範囲であるが、いくつかの実施形態は、さらに高い値(例えば、3まで)を許容することができる。βの値は[0,1]から変動する場合もあるが、非常に暗い環境を除いて、βはより低い値に近い値に保たれることがよくある。
【0038】
コンピュータシステムの実装例
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されたシステム、マイクロコントローラなどの集積回路(IC)デバイス、フィールドプログラマブルゲートアレイ(FPGA)、又は別の構成可能又はプログラマブルロジックデバイス(PLD)、離散時間又はデジタルシグナルプロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又は、かかるシステム、デバイス又はコンポーネントの1つ以上を含む装置で実装することができる。コンピュータ及び/又はICは、ここに記載されているような、画像に依存する明るさ及びコントラストの調整に関する命令を実行、制御、又は実施することができる。コンピュータ及び/又はICは、ここに記載されている画像に依存する明るさ及びコントラストの調整に関連する様々なパラメータ又は値のいずれかを計算することができる。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実装することができる。
【0039】
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの1つ以上のプロセッサは、プロセッサがアクセス可能なプログラムメモリ内でソフトウェア命令を実行することによって、上記のような画像に依存する明るさ及びコントラストの調整に関する方法を実装することができる。本発明の実施形態は、プログラム製品の形で提供することもできる。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含む一連のコンピュータ可読信号を伝送する、任意の非一時的かつ有形の媒体を含むことができる。本発明によるプログラム製品は、多種多様な非一時的かつ有形の形態のいずれであってもよい。プログラム製品は、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体、等の物理媒体から構成される。プログラム製品上のコンピュータ読み取り可能な信号は、オプションで圧縮又は暗号化される場合がある。上記で構成要素(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)が言及されている場合、別段の指示がない限り、その構成要素への言及(「手段」への言及を含む)は、その構成要素の同等物として、記載された構成要素の機能を実行する任意の構成要素(例えば、機能的に同等である)を含むと解釈されるべきであり、本発明の例示的な実施形態における機能を実行する開示された構造と構造的に等価でない構成要素を含む。
【0040】
均等、拡張、代替及びその他
画像に依存する明るさ及びコントラストの調整に関連する実施例はこのようにして説明されている。前述の仕様書では、本発明の実施例を、実装によって異なる可能性のある多数の具体的な詳細を参照して説明している。したがって、何が発明であり、出願人が発明を意図しているのかを示す唯一かつ排他的な指標は、一連の請求項が発行される特定の形式における、この出願により発行される一連の請求項であり、その後の補正を含む。かかる請求項に含まれる用語について本明細書に明示的に記載された定義は、請求項で使用される用語の意味を支配するものとする。したがって、クレームにおいて明示的に言及されていない制限、要素、特性、特徴、利点又は属性は、いかなる方法においてもかかる請求項の範囲を制限すべきではない。したがって、明細書と図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。
【国際調査報告】