▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
特表2024-518827周囲光および／または非ディスプレイ由来の表面光に対する位置変化する適応性のあるディスプレイ管理
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-07
(54)【発明の名称】周囲光および／または非ディスプレイ由来の表面光に対する位置変化する適応性のあるディスプレイ管理
(51)【国際特許分類】
H04N 5/202 20230101AFI20240425BHJP
H04N 5/58 20060101ALI20240425BHJP
H04N 5/64 20060101ALI20240425BHJP
【ＦＩ】
H04N5/202
H04N5/58
H04N5/64 511A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023570383
(86)(22)【出願日】2022-05-12
(85)【翻訳文提出日】2023-11-14
(86)【国際出願番号】 US2022028928
(87)【国際公開番号】W WO2022245624
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】21174594.8
(32)【優先日】2021-05-19
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/190,400
(32)【優先日】2021-05-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワナト，ロベルト
(57)【要約】
一つまたは複数の観察環境パラメータを使用する適応ディスプレイ管理のための方法が開示される。一つまたは複数の観察環境パラメータ、ターゲット・ディスプレイの有効ルミナンス範囲、および入力画像が与えられると、トーンマッピング曲線、もとのPQルミナンス・マッピング関数、およびディスプレイの有効ルミナンス範囲に基づいて、トーンマッピングされた画像が生成される。補正されたPQ（PQ'）ルミナンス・マッピング関数は、観察環境パラメータに従って、また任意的にはターゲット・ディスプレイの透過率特性および反射率特性に従って、生成される。PQからPQ'へのマッピングが生成され、それにより、各補正された（PQ'）ルミナンス・マッピング関数は、観察環境パラメータの異なるセットに関連付けられ、ディスプレイの異なる領域に関連付けられ、もとのPQルミナンス・マッピング関数における符号語は、補正された（PQ'）ルミナンス・マッピング関数における符号語にマッピングされ、PQからPQ'へのマッピングに基づいて、調整されたトーンマッピング画像が生成される。
【特許請求の範囲】
【請求項1】
一つまたは複数のプロセッサを使用する、周囲光および／または非ディスプレイ由来表面光に対する位置変化する適応性をもつ適応ディスプレイ管理のための方法であって、当該方法は：ターゲット・ディスプレイについての有効ルミナンス範囲を受領するステップと；
観察環境パラメータの第1および第2のセットを受領するステップであって、観察環境パラメータの前記第1のセットは、前記ターゲット・ディスプレイの第1の領域に関連付けられた第1の周囲光ルミナンス値を含み、観察環境パラメータの前記第2のセットは、前記ターゲット・ディスプレイの第2の領域に関連付けられた第2の周囲光ルミナンス値を含む、ステップと；
ピクセル値を含む入力画像を受領するステップと；
前記一つまたは複数のプロセッサを用いて、前記入力画像ピクセル値の強度値をトーンマッピングされた画像における強度値にマッピングすることによって、トーンマッピングされた画像を生成するステップであって、前記トーンマッピングされた画像を生成することは、前記ターゲット・ディスプレイの前記有効ルミナンス範囲を使用してもとの知覚的量子化（PQ）ルミナンス・マッピング関数を適用することを含む、ステップと；
観察環境パラメータの前記第1および第2のセットにそれぞれ依存して、第1および第2の補正されたPQ（PQ'）ルミナンス・マッピング関数にアクセスするステップと；
第1および第2のPQからPQ'へのマッピングにアクセスするステップであって、前記ターゲット・ディスプレイの前記有効ルミナンス範囲に従って、前記第1のPQからPQ'へのマッピングでは、もとのPQルミナンス・マッピング関数における第1の符号語は前記第1の補正された（PQ'）ルミナンス・マッピング関数における第2の符号語にマッピングされ、前記第2のPQからPQ'へのマッピングでは、もとのPQルミナンス・マッピング関数における前記第1の符号語は前記第2の補正された（PQ'）ルミナンス・マッピング関数における第3の符号語にマッピングされる、ステップと；
前記トーンマッピングされた画像における強度値を調整されたトーンマッピングされた画像における強度値にマッピングすることによって、調整されたトーンマッピングされた画像を生成するステップであって、前記調整されたトーンマッピングされた画像を生成することは、前記ターゲット・ディスプレイの前記第1の領域に対応する前記トーンマッピングされた画像の第1の領域については前記第1のPQからPQ'へのマッピングを利用し、前記ターゲット・ディスプレイの前記第2の領域に対応する前記トーンマッピングされた画像の第2の領域については前記第2のPQからPQ'へのマッピングを利用することに依存し、前記トーンマッピングされた画像の前記第1の領域と前記第2の領域とは重複しない、ステップとを含む、
方法。
【請求項2】
観察環境パラメータの前記第1および第2のセットにそれぞれ依存して、前記第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは：前記第1の補正された（PQ'）ルミナンス・マッピング関数が、複数の補正された（PQ'）ルミナンス・マッピング関数における他の補正された（PQ'）ルミナンス・マッピング関数と比較して、観察環境パラメータの前記第1のセットに最も近く一致する第1のレベルの周囲光および／または第1のレベルの非ディスプレイ由来表面光に関連付けられていることを判別することによって、前記第1の補正された（PQ'）ルミナンス・マッピングを前記複数の補正された（PQ'）ルミナンス・マッピング関数から選択し；
前記第2の補正された（PQ'）ルミナンス・マッピング関数が、前記複数の補正された（PQ'）ルミナンス・マッピング関数における他の補正された（PQ'）ルミナンス・マッピング関数と比較して、観察環境パラメータの前記第2のセットに最も近く一致する第2のレベルの周囲光および／または第2のレベルの非ディスプレイ由来表面光に関連付けられていることを判別することによって、前記第2の補正された（PQ'）ルミナンス・マッピングを前記複数の補正された（PQ'）ルミナンス・マッピング関数から選択することを含む、
請求項１に記載の方法。
【請求項3】
カメラを用いて少なくとも1つの画像を捕捉するステップと；前記一つまたは複数のプロセッサを用いて、前記少なくとも1つの画像から観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
請求項１または２に記載の方法。
【請求項4】
第1のカメラを用いて、前記ターゲット・ディスプレイの前方の前記周囲環境の少なくとも第1の画像を捕捉するステップと；第2のカメラを用いて、前記ターゲット・ディスプレイの背後の前記周囲環境の少なくとも第2の画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記第1の画像および前記第2の画像から観察環境パラメータの前記第1のセットおよび前記第2のセットを生成するステップとをさらに含む、
請求項１ないし３のうちいずれか一項に記載の方法。
【請求項5】
前記少なくとも第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは、前記ターゲット・ディスプレイの画面反射率特性および／または画面透過率特性にさらに依存する、請求項１ないし４のうちいずれか一項に記載の方法。
【請求項6】
もとのPQルミナンス・マッピング関数は、SMPTE ST2084仕様に従って計算される関数を含む、請求項１ないし５のうちいずれか一項に記載の方法。
【請求項7】
前記第1および第2のPQからPQ'へのマッピングは、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、請求項１ないし６のうちいずれか一項に記載の方法。
【請求項8】
前記第1および第2のPQからPQ'へのマッピングは、前記第1のPQからPQ'へのマッピングにおいて、線形補間を使用して前記第1の符号語を前記第2の符号語にマッピングし、前記第2のPQからPQ'へのマッピングにおいて、線形補間を使用して前記第1の符号語を前記第3の符号語にマッピングすることによって、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、請求項７に記載の方法。
【請求項9】
前記ターゲット・ディスプレイは透明ディスプレイであり、観察環境パラメータの前記第1のセットは、前記透明ディスプレイの背後の周囲環境の第1の領域に関連付けられ、前記透明ディスプレイを通してユーザーによって観察可能であり、観察環境パラメータの前記第2のセットは、前記透明ディスプレイの背後の前記周囲環境の第2の領域に関連付けられ、前記透明ディスプレイを通してユーザーによって観察可能である、請求項１ないし８のうちいずれか一項に記載の方法。
【請求項10】
前記透明ディスプレイは、ユーザーによって装着されるように構成され、当該方法は、外向きセンサーを用いて、観察環境パラメータの前記第1および第2のセットを取得するステップをさらに含む、請求項９に記載の方法。
【請求項11】
前記透明ディスプレイは、周囲光に対する第1の量の透過を有する第1のディスプレイ部分と、周囲光に対する第2の量の透過を有する第2のディスプレイ部分とを含み、前記第1および第2の量の透過は異なり、前記第1のPQからPQ'へのマッピングにアクセスすることは、少なくとも前記第1の量の透過にさらに依存し、前記第2のPQからPQ'へのマッピングにアクセスすることは、少なくとも前記第2の量の透過にさらに依存する、請求項９または１０に記載の方法。
【請求項12】
前記透明ディスプレイの前記透過は、表示されるコンテンツに依存して空間的および時間的に変化し、当該方法は、前記入力画像に依存して、前記透明ディスプレイの現在の空間的に分布した透過率を決定するステップをさらに含む、請求項９ないし１１のうちいずれか一項に記載の方法。
【請求項13】
プロセッサを備え、請求項１ないし１２のうちいずれか一項に記載の方法を実行するように構成された装置。
【請求項14】
請求項１ないし１３のうちいずれか一項に記載の方法を一つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2021年5月19日に出願された米国仮出願第63/190,400号および2021年5月19日に出願された欧州特許出願第21174594.8号の優先権を主張するものであり、これらのそれぞれは、参照によりその全体が本明細書に組み込まれる。
本願は、2021年5月19日に出願された米国仮出願第63/190,400号および2021年5月19日に出願された欧州特許出願第21174594.8号の優先権を主張するものであり、これらのそれぞれは、参照によりその全体が本明細書に組み込まれる。
【0002】
技術
本開示は、概括的には画像に関する。より詳細には、本発明のある実施形態は、パネルにわたって空間的に変化する、ディスプレイによって生成されるものではない周囲照明および表面光（反射または透過される周囲光など）のある観察環境においてディスプレイ上に画像を表示するための適応的なディスプレイ管理に関する。
本開示は、概括的には画像に関する。より詳細には、本発明のある実施形態は、パネルにわたって空間的に変化する、ディスプレイによって生成されるものではない周囲照明および表面光（反射または透過される周囲光など）のある観察環境においてディスプレイ上に画像を表示するための適応的なディスプレイ管理に関する。
【背景技術】
【0003】
本明細書で使用されるところでは、「ディスプレイ管理」または「ディスプレイ・マッピング」という用語は、第1のダイナミックレンジ（たとえば、1000ニト）の入力ビデオ信号の画像またはピクチャーを第2のダイナミックレンジ（たとえば、500ニト）のディスプレイにマッピングするために必要とされる処理（たとえば、トーンおよび色域マッピング）を示す。ディスプレイ管理プロセスの例は、2016年1月14日に出願された「Display management for high dynamic range images」と題するPCT特許出願第PCT/US2016/013352号（'352出願と呼ばれる）、「Display Management for High Dynamic Range Video」と題するWIPO公開第WO2014/130343号（'343公開と呼ばれる）、および2015年1月19日に出願された米国仮出願第62/105,139号（'139出願と呼ばれる）に見出すことができ、これらのそれぞれは、その全体が参照により本明細書に組み込まれる。
【0004】
本明細書で使用されるところでは、「ダイナミックレンジ」（DR）という用語は、たとえば最も暗いグレー（ダークまたはブラック）から最も明るいホワイト（ハイライト）までの、画像中の強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する人間の視覚系（HVS）の能力に関しうる。この意味で、DRは「シーン基準の」強度に関連する。DRはまた、特定の幅の強度範囲を十分にまたは近似的にレンダリングするディスプレイ・デバイスの能力に関連しうる。この意味では、DRは「ディスプレイ基準の」強度に関連する。特定の意味が、本明細書の説明のいずれかの点で格別な意義を有すると明示的に指定されない限り、この用語は、いずれの意味でも、たとえば互換的に使用されうると推定されるべきである。
【0005】
典型的なコンテンツ作成パイプラインでは、ビデオは5ニトの周囲環境でカラーグレーディングされる。実際には、視聴者がコンテンツを見るのは、さまざまな周囲環境で、たとえば、5ニトで（たとえば、暗いホームシアターで映画を見る）、100～150ニトで（たとえば、比較的明るいリビングルームで映画を見る）、またはそれ以上で（たとえば、日中に、非常に明るい部屋または屋外で、タブレットで映画を見る）ありうる。加えて、周囲環境は、ディスプレイにわたって空間的に変動する照明を含みうる（たとえば、透明ディスプレイの背後の不均一な周囲照明条件、相対的な観察者、ディスプレイ、および光源の位置に依存して位置が変動する鏡面反射など）。
【0006】
所与のディスプレイについての基準電気光学伝達関数（electro-optical transfer function、EOTF）は、入力ビデオ信号の色値（たとえば、ルミナンス）と、ディスプレイによって生成される出力画面色値（たとえば、画面ルミナンス）との間の関係を特徴付ける。たとえば、参照によってその全体が本明細書に組み込まれるITU Rec.ITU-R BT.1886,"Reference electro-optical transfer function for flat panel displays used in HDTV studio production"（03/2011）は、陰極線管（CRT）の測定された特性に基づく、フラットパネルディスプレイのための基準EOTFを定義する。ビデオ・ストリームが与えられると、任意の補助情報は、典型的には、メタデータとしてビットストリームに埋め込まれる。本明細書で使用されるところでは、「メタデータ」という用語は、符号化ビットストリームの一部として伝送され、デコーダがデコードされた画像をレンダリングするのを支援する任意の補助情報に関する。そのようなメタデータは、限定はしないが、本明細書で説明するように、色空間または色域情報、参照ディスプレイ・パラメータ、および補助信号パラメータを含みうる。
【0007】
ほとんどの消費者向けHDTVは、ピーク・ルミナンスが300～500ニトの範囲であり、新しいモデルは1000ニト（cd/m2）に達する。捕捉機器（たとえば、カメラ）およびディスプレイ（たとえば、Dolby LaboratoriesからのPRM-4200業務用リファレンスモニター）の両方における進歩によりHDRコンテンツの利用可能性が高まるにつれて、HDRコンテンツは、より高いダイナミックレンジ（たとえば、1000ニトから5000ニト以上）をサポートするディスプレイ上で、カラーグレーディングされ、表示されうる。そのようなディスプレイは、高ルミナンス能力（たとえば、0～10000ニト）をサポートする代替的なEOTFを使用して定義されうる。そのようなEOTFの例は、SMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」において定義されており、その全体が参照により本明細書に組み込まれる。
【0008】
本発明者によって理解されるところでは、画像のディスプレイのための改善された技術が、特にそれらが変化する観察環境に関連する場合に、望まれる。
【0009】
このセクションに記載されるアプローチは、追求されることがありえたアプローチであるが、必ずしも以前に考えられたまたは追求されたアプローチではない。したがって、別段の指示がない限り、このセクションで説明されるアプローチのいずれも、単にこのセクションに含まれるという理由で従来技術の資格をもつと想定されるべきではない。同様に、一つまたは複数のアプローチに関して特定された問題は、別段の指示がない限り、このセクションに基づいて何らかの従来技術において認識されていると想定されるべきではない。
【図面の簡単な説明】
【0010】
本発明の実施形態が、限定ではなく例として添付の図面の図において示されており、図面において、同様の参照番号は同様の要素を指す。
【0011】
【図1】本発明のある実施形態によるバックライト制御およびディスプレイ管理のための例示的なプロセスを示す図である。
【0012】
【図2】本発明のある実施形態によるディスプレイ管理のための例示的プロセスを描いている。
【0013】
【図3】本発明のある実施形態に従って計算された周囲光補正された知覚的量子化曲線の例を示す。
【0014】
【図4】本発明のある実施形態による、所与の周辺光およびディスプレイ特性についてのPQからPQ'へのマッピングの例を示す。
【0015】
【図5】AおよびBは、本発明の実施形態による、ディスプレイにわたって空間的に変動する観察条件のために最適化されたディスプレイ管理プロセスのための例示的プロセスを描いている。
【0016】
【図6】本発明のある実施形態による周囲光適応ディスプレイ管理のための粒度の例示的レベルを描いている。
【0017】
【図7】本発明のある実施形態による、外向き周囲光センサーを有する例示的なヘッドマウントディスプレイを描いている。
【0018】
【図8】本発明のある実施形態による、前方および後方に面する周囲光センサーを有する例示的な透明ディスプレイを描いている。
【発明を実施するための形態】
【0019】
位置変化する周囲光適応性のある、画像のディスプレイ管理またはディスプレイ・マッピングのための技法が、本明細書で説明される。以下の説明では、説明の目的で、本開示の十全な理解を提供するために、多数の個別的な詳細が記載される。しかしながら、本発明の実施形態は、これらの具体的な詳細なしに実施されうることが明らかであろう。他方では、本開示を不必要に覆い隠す、不明瞭にする、または埋没させることを避けるために、周知の構造およびデバイスは、網羅的な詳細さでは説明されない。
【0020】
概観
本明細書で説明する例示的な実施形態は、変化する観察環境下でのHDR画像および非HDR画像のディスプレイ管理に関する。例として、光源の位置およびルミナンス特性などの周囲照明条件の変化、表示されるコンテンツの変化、ならびにディスプレイ・デバイスおよび観察者の相対位置の変化は、時間とともに変化する、および／またはディスプレイ・デバイスにわたって空間的に変化する観察環境をもたらしうる。一つまたは複数の観察環境パラメータ、ターゲット・ディスプレイについての有効ルミナンス・ダイナミックレンジ、および入力画像が与えられて、トーンマッピング曲線、もとのPQルミナンス・マッピング関数、およびディスプレイの有効ルミナンス・ダイナミックレンジに基づいて、トーンマッピングされた画像が生成される。一つまたは複数の補正されたPQ（PQ'）ルミナンス・マッピング関数が、観察環境パラメータならびに任意的には、ターゲット・ディスプレイの透過率特性および反射率特性に従って生成される。PQからPQ'へのマッピングが生成され、各補正された（PQ'）ルミナンス・マッピング関数は、観察環境パラメータの異なるセットに関連付けられ、ディスプレイの異なる領域に関連付けられ、もとのPQルミナンス・マッピング関数における符号語は、補正された（PQ'）ルミナンス・マッピング関数における符号語にマッピングされ、それらのPQからPQ'へのマッピングに基づいて、調整されたトーンマッピング画像が生成される。PQからPQ'へのマッピングは、例として、ディスプレイ・デバイスにわたって空間的に変化する反射について調整し、透明ディスプレイ・デバイスを通して見える空間的に変化する周囲照明条件について調整することによって、ディスプレイ・デバイスを変化する観察環境に適応させるように構成されうる。本開示では、ディスプレイ・デバイスからの反射、および透明ディスプレイ・デバイスを通して透過される周囲光は、個別におよび／またはまとめて、非ディスプレイ由来の表面光と称されうる。一例として、非ディスプレイ由来の表面光は、透明ディスプレイ・デバイスに関わる構成では、透明ディスプレイ・デバイスからの反射および透明ディスプレイ・デバイスを通して透過される周囲光の両方を指しうる。代替的に、非ディスプレイ由来の表面光は、ニアアイ透明デバイスに関わるいくつかの構成では、ニアアイ・ディスプレイ・デバイスを通して透過される光のみを指しうる。対照的に、非ディスプレイ由来の表面光は、不透明ディスプレイ・デバイスに関わる構成では、不透明ディスプレイ・デバイスからの反射だけを指しうる。
本明細書で説明する例示的な実施形態は、変化する観察環境下でのHDR画像および非HDR画像のディスプレイ管理に関する。例として、光源の位置およびルミナンス特性などの周囲照明条件の変化、表示されるコンテンツの変化、ならびにディスプレイ・デバイスおよび観察者の相対位置の変化は、時間とともに変化する、および／またはディスプレイ・デバイスにわたって空間的に変化する観察環境をもたらしうる。一つまたは複数の観察環境パラメータ、ターゲット・ディスプレイについての有効ルミナンス・ダイナミックレンジ、および入力画像が与えられて、トーンマッピング曲線、もとのPQルミナンス・マッピング関数、およびディスプレイの有効ルミナンス・ダイナミックレンジに基づいて、トーンマッピングされた画像が生成される。一つまたは複数の補正されたPQ（PQ'）ルミナンス・マッピング関数が、観察環境パラメータならびに任意的には、ターゲット・ディスプレイの透過率特性および反射率特性に従って生成される。PQからPQ'へのマッピングが生成され、各補正された（PQ'）ルミナンス・マッピング関数は、観察環境パラメータの異なるセットに関連付けられ、ディスプレイの異なる領域に関連付けられ、もとのPQルミナンス・マッピング関数における符号語は、補正された（PQ'）ルミナンス・マッピング関数における符号語にマッピングされ、それらのPQからPQ'へのマッピングに基づいて、調整されたトーンマッピング画像が生成される。PQからPQ'へのマッピングは、例として、ディスプレイ・デバイスにわたって空間的に変化する反射について調整し、透明ディスプレイ・デバイスを通して見える空間的に変化する周囲照明条件について調整することによって、ディスプレイ・デバイスを変化する観察環境に適応させるように構成されうる。本開示では、ディスプレイ・デバイスからの反射、および透明ディスプレイ・デバイスを通して透過される周囲光は、個別におよび／またはまとめて、非ディスプレイ由来の表面光と称されうる。一例として、非ディスプレイ由来の表面光は、透明ディスプレイ・デバイスに関わる構成では、透明ディスプレイ・デバイスからの反射および透明ディスプレイ・デバイスを通して透過される周囲光の両方を指しうる。代替的に、非ディスプレイ由来の表面光は、ニアアイ透明デバイスに関わるいくつかの構成では、ニアアイ・ディスプレイ・デバイスを通して透過される光のみを指しうる。対照的に、非ディスプレイ由来の表面光は、不透明ディスプレイ・デバイスに関わる構成では、不透明ディスプレイ・デバイスからの反射だけを指しうる。
【0021】
例示的なディスプレイ制御およびディスプレイ管理
図1は、ある実施形態によるディスプレイ制御およびディスプレイ管理のための例示的なプロセス（100）を示す。入力信号（102）がディスプレイ（120）上に表示される。入力信号は、単一の画像フレーム、画像の集まり、またはビデオ信号を表すことができる。画像信号（102）は、典型的にはITU-R BT.1886またはSMPTE ST 2084などの信号EOTFによって定義される何らかのソース・ディスプレイ上の所望される画像を表す。信号EOTFは、入力ビデオ信号の色値（たとえば、ルミナンス）と、ターゲット・ディスプレイ（120）によって生成される出力画面色値（たとえば、画面ルミナンス）との間の関係を記述する。ディスプレイは、ムービープロジェクター、テレビジョンセット、モニターなどであってもよく、またはタブレットまたはスマートフォンなどの別のデバイスの一部であってもよい。
図1は、ある実施形態によるディスプレイ制御およびディスプレイ管理のための例示的なプロセス（100）を示す。入力信号（102）がディスプレイ（120）上に表示される。入力信号は、単一の画像フレーム、画像の集まり、またはビデオ信号を表すことができる。画像信号（102）は、典型的にはITU-R BT.1886またはSMPTE ST 2084などの信号EOTFによって定義される何らかのソース・ディスプレイ上の所望される画像を表す。信号EOTFは、入力ビデオ信号の色値（たとえば、ルミナンス）と、ターゲット・ディスプレイ（120）によって生成される出力画面色値（たとえば、画面ルミナンス）との間の関係を記述する。ディスプレイは、ムービープロジェクター、テレビジョンセット、モニターなどであってもよく、またはタブレットまたはスマートフォンなどの別のデバイスの一部であってもよい。
【0022】
プロセス（100）は、コンテンツが消費されるディスプレイ（たとえば、シネマプロジェクター、テレビジョンセット、セットトップボックス、タブレット、スマートフォン、ゲームコンソール、透明ディスプレイ、ヘッドマウントディスプレイ、ヘッドマウント透明ディスプレイなど）に接続された受信機またはメディアプレーヤーの機能の一部であってもよく、またはディスプレイに組み込まれてもよく、またはコンテンツ作成システムの一部であってもよく、たとえば、入力（102）は、1つのカラーグレードおよびダイナミックレンジから、ターゲット・ファミリーのディスプレイ（たとえば、標準または高ダイナミックレンジを有するテレビ、映画館プロジェクターなど）に適したターゲット・ダイナミックレンジにマッピングされる。
【0023】
いくつかの実施形態では、入力信号（102）はまた、メタデータ（104）を含んでいてもよい。これらは、信号自体の特性を特徴付ける信号メタデータ、および／または入力信号をカラーグレーディングおよび処理するために使用される環境の特性を特徴付けるソース・メタデータ（たとえば、ソース・ディスプレイ特性、周囲光、符号化メタデータなど）でありうる。
【0024】
いくつかの実施形態では（たとえば、コンテンツ作成中に）、プロセス（100）はまた、生成されるトーンマッピングされた出力信号に埋め込まれるメタデータを生成してもよい。ターゲット・ディスプレイ（120）は、ソース・ディスプレイとは異なるEOTFを有していてもよい。受信機は、ソース・ディスプレイ上に表示されるソース画像に対する可能な限り最良の一致として知覚されるよう、入力画像を正確に表示するために、ソース・ディスプレイとターゲット・ディスプレイとの間のEOTFの差を考慮する必要がある。ある実施形態では、画像解析（105）ブロックは、処理パイプラインの残りの部分で使用される入力信号（102）の特性、たとえばその最小（min）、平均（mid）、およびピーク（max）ルミナンス値を決定することができる。特性は、たとえば、メタデータ104に含まれる信号メタデータなどのメタデータから抽出されてもよいし、または画像信号102から計算されてもよい。たとえば、min、mid、およびmaxルミナンス・ソース・データ（107または104）が与えられて、画像処理ブロック（110）は、入力ビデオを表示するための最良の可能な環境を許容するディスプレイ・パラメータ（たとえば、ディスプレイ（120）のための好ましいバックライト・レベル）を計算することができる。ディスプレイ管理（115）は、2つのEOTF、ならびにソース・ディスプレイおよびターゲット・ディスプレイが異なる能力（たとえば、ダイナミックレンジ、グローバルおよび／またはローカル・バックライト調光などに関して）を有しうるという事実を考慮することによって、入力画像をターゲット・ディスプレイ（120）にマッピングするプロセスである。
【0025】
いくつかの実施形態では、入力（102）のダイナミックレンジは、ディスプレイ（120）のダイナミックレンジよりも低くてもよい。たとえば、ある人が、Rec.709フォーマットにおいて100ニトの最大ルミナンスを有する入力をカラーグレーディングすることの一部として、1000ニトの最大ルミナンスを有するディスプレイを使用することを望む場合がある。他の実施形態では、入力（102）のダイナミックレンジは、ディスプレイのダイナミックレンジと同じか、またはそれより高くてもよい。たとえば、入力（102）は、5000ニトの最大ルミナンスでカラーグレーディングされてもよく、一方、ターゲットディスプレイ（120）は、1500ニトの最大ルミナンスを有してもよい。
【0026】
ある実施形態では、ディスプレイ（120）は、ディスプレイ・コントローラ（130）によって制御される。ディスプレイ・コントローラ（130）は、ディスプレイ関連データ（134）（ディスプレイの最小および最大ルミナンス、色域情報など）をディスプレイ・マッピング・プロセス（115）に提供し、グローバルまたはローカル調光のいずれかのためにディスプレイのバックライトまたは他のパラメータを変調するための制御信号など、ディスプレイのための制御データ（132）を提供する。
【0027】
ある実施形態では、ディスプレイ・コントローラ（130）は、周囲光の強度などの観察環境に関する情報（106）を受信することができる。この情報は、デバイスに取り付けられた一つまたは複数のセンサー（122）からの測定値、および／またはユーザー入力、位置データ、デフォルト値、もしくは他のデータなどの他のソースから導出できる。いくつかの実施形態では、センサー（122）は、情報（106）を作成するために処理回路（123）によって処理される情報（103）を生成してもよい。たとえば、処理回路（123）は、一つまたは複数のカメラ（122）からの画像および／または一つまたは複数の周囲光センサー（122）からの周囲光測定値の形で、観察環境に関する情報（103）を受信してもよい。具体例として、情報（103）は、一つまたは複数のカラー画像、一つまたは複数のルミナンス画像（たとえば、グレースケール画像）、一つまたは複数の減色画像（たとえば、縮小された色空間を有する画像）、および／または一つまたは複数の深度マップを含みうる。同様に、センサー（122）は、一つまたは複数のフルカラーカメラ、一つまたは複数のモノクロカメラ（カラーフィルタを欠くカメラセンサーから形成されうる）、および／または一つまたは複数の限定色カメラ（少なくとも1つのカラーフィルタを有するカメラセンサーから形成されうる）を含んでいてもよい。望むなら、モノクロ画像および減色画像が、フルカラーカメラまたは減色カメラによって、処理回路123または別のコンポーネントによる好適な処理によって（たとえば、フルカラー画像をグレースケール画像に変換することによって）生成されてもよい。追加的な具体例として、情報（103）は、追加的にまたは代替的に、一つまたは複数の周囲光センサー（122）からの周囲光レベルの一つまたは複数の測定値を含んでいてもよい。そのような例では、複数の周囲光センサー（122）があってもよく、それらのそれぞれは、ディスプレイ120に対してそれぞれの方向の周囲光を測定するように構成される（たとえば、第1の周囲光センサーは、ディスプレイ120の背後の第1の方向から来る周囲光の量を測定してもよく、第2の周囲光センサーは、ディスプレイ120の背後の第2の方向から来る周囲光の量を測定してもよく、第3の周囲光センサーは、ディスプレイ120の前の方向から来る周囲光の量を測定してもよく、ここで、さまざまな方向は少なくとも部分的には重複しない）。
【0028】
別の例として、センサー122からの情報に加えて、またはその代わりに、ユーザーが、「暗い」、「通常」、「明るい」、および「非常に明るい」などのメニューから観察環境を選択することができ、メニュー内の各エントリーは、デバイス製造業者によって選択された事前定義されたルミナンス値に関連付けられる。
【0029】
センサー122は、ディスプレイ（120）に対する1人以上の観察者の位置を追跡するように構成された一つまたは複数のセンサーを含みうる。いくつかの実施形態では、一つまたは複数のカメラが、ディスプレイ120に対する1人以上の観察者の位置を追跡する際に使用されてもよく、処理回路（123）は、1人以上の観察者の顔、頭部等を識別および／または追跡するように構成されてもよい。いくつかの実施形態では、観察者位置追跡において使用されるカメラはまた、周辺照明条件を測定する際に使用されてもよい。いくつかの他の実施形態では、観察者位置追跡において使用されるカメラは、周辺照明条件を測定する際に使用されるカメラおよび／または他のセンサーとは別個であってもよい。いくつかの実施形態では、一つまたは複数の非カメラセンサーが、ディスプレイ（120）に対する1人以上の観察者の位置を追跡する際に使用されてもよい。一般に、ディスプレイ（120）に対する1人以上の観察者の位置を追跡する際に、カメラ、深度センサー、超音波センサー、レンジフィンガー、レーダーセンサー、光センサー、音響センサー、タッチセンサー、容量センサーなどを含むがこれらに限定されない任意の所望のタイプのセンサーを個別にまたは組み合わせて使用することができる。
【0030】
処理回路（123）は、一つまたは複数のセンサー（122）からの情報（103）を処理して、観察環境に関する情報（106）を生成してもよく、これは、本明細書でさらに詳細に説明されるように、次いで、ディスプレイ・コントロール（130）によって使用可能である。例として、処理回路（123）は、カメラ（122）からの一つまたは複数の画像および／またはビデオを解析して、平均周囲光強度、領域毎の周囲光強度（たとえば、所望の解像度でのグレースケール・ルミナンス画像の作成）、1人以上の観察者の位置、一つまたは複数の光源の位置、および／またはディスプレイ（120）等の一つまたは複数のディスプレイの位置等であるがこれらに限定されない観察環境の特性を測定してもよい。いくつかの実施形態では、処理回路（123）は、観察環境における画面反射の推定値を生成してもよい。そのような推定値は、ディスプレイ（120）の画面反射率のモデル、観察環境における周囲光の測定値（たとえば、観察環境における一つまたは複数の光源の分布、位置、強度、および／または色を含む）、およびディスプレイ（120）に対する1人以上の観察者の位置の測定値から導出されうる。追加的または代替的に、処理回路（123）は、ディスプレイ通過周囲光の推定値（たとえば、観察者に到達する前に透明ディスプレイを通過する周囲光の量の推定値であって、領域ごとにまたはピクセルごとに行われてもよい）を生成してもよい。
【0031】
センサー（122）は、ディスプレイ（120）の前方、後方、および／または一つまたは複数の側方の周囲環境を測定するように構成されてもよい。ディスプレイ（120）の前の周囲環境を測定することによって、センサー（122）および処理回路（123）は、反射率の関数として黒レベルを上昇させる周囲成分である、ディスプレイ画面の前面上の照明（たとえば、ディスプレイ画面の前面に当たる照明）を測定することができる。同様に、ディスプレイ（120）の背後の周囲環境を測定することによって、センサー（122）および処理回路（123）は、ディスプレイ画面の背後の照明（たとえば、ディスプレイ画面の背面に当たる照明）を測定することができる。特にディスプレイ（120）が透明ディスプレイである場合、ディスプレイ画面の背後の照明も黒レベルを上昇させ、また他の仕方で観察者による画像の知覚に影響を与える可能性がある。本開示の目的のために、ディスプレイ（120）の「前方」は、ディスプレイの、観察者と同じ側の周囲環境を記述するものとして理解されるべきであり、一方、ディスプレイ（120）の「後方」〔背後〕は、ディスプレイの、観察者とは反対側の周囲環境を記述するものとして理解されるべきである。観察環境情報（106）はまた、ディスプレイ管理ユニット（115）に通信されうる。
【0032】
いくつかの実施形態では、処理回路（123）は、ピクセル毎または領域毎に周囲光レベルを判定するように構成される。一例として、処理回路（123）は、ディスプレイ（120）、観察者、およびディスプレイ（120）を照明する少なくとも1つの光源の相対位置、並びにディスプレイ（120）に当たる周囲光の空間（たとえば、2Dまたは3D）分布を決定するように構成されてもよい。処理回路（123）は、収集された情報を利用して、観察者によって見られる、ピクセル毎または領域毎の周囲照明を決定してもよい。ディスプレイ（120）からの鏡面反射を生成する点光源の例では、処理回路（123）は、ディスプレイ上のどこで（特定のピクセルおよび／または領域に関してどこで）鏡面反射が観察者に見えるかを決定することが可能でありうる。同様に、透明ディスプレイの背後にさまざまな照明条件を伴う周囲背景の例では、処理回路（123）は、ピクセル毎または領域毎に背景周囲照明条件を決定することが可能でありうる（たとえば、観察者の視点を考慮して、各ピクセルの背後の特定の周囲照明条件を決定する）。領域ごとの決定は、単一ピクセルの領域とディスプレイ全体をカバーする領域との間の任意の所望のサイズの領域を記述することを意図している。たとえば、複数のピクセルを含み、表示領域の一部のみをカバーする領域である。領域のサイズは、リアルタイムを含めて、再構成可能でありうる。
【0033】
いくつかの実施形態では、ディスプレイ（120）の透過率および／または反射率は、空間的および／または時間的に変化しうる。透過率および／または反射率の変動は、例として、表示されるコンテンツの変動および／またはディスプレイの設計および／または構造の空間的変動に起因しうる。言い換えれば、ディスプレイ（120）は、異なる領域（たとえば、ピクセル、ピクセルのグループなど）が異なるレベルの透過率および／または反射率を有する透明ディスプレイであってもよい。同様に、ディスプレイ（120）は、異なる領域が異なるレベルの反射率を有する不透明ディスプレイであってもよい。第1の具体例として、ディスプレイ（120）は、半透明または透明であってもよく、80%の透過率を有する第1の領域と、85%の透過率を有する第2の領域とを含んでいてもよい。上述したように、ディスプレイ（120）の透過率および／または反射率は、表示されたコンテンツに基づいて変化してもよく、よって、透過率および／または反射率は、表示されたコンテンツが変化するにつれて時間的に（および表示されたコンテンツが空間的に変化しうるにつれて空間的に）変化してもよい。ピクセルごとまたは領域ごとに周囲光レベルを決定および調整するための本明細書で開示される技法は、ディスプレイ（120）の空間的に変動するおよび／または時間的に変動する透過率および／または反射率を考慮しうる。一例として、（ディスプレイ（120）を通して見ないセンサーによって測定された）周囲光の測定値は、ディスプレイ（120）の領域ごとの透過率特性に基づいて減少されうる。別の例として、ディスプレイ（120）からの反射の測定および予測は、ディスプレイ（120）の領域ごとの反射率特性に基づいて調整されてもよい。より低いレベルの周囲光に関連付けられたPQからPQ'のマッピングが、ディスプレイ（120）の透過率および／または反射率が（空間的および／または時間的変動に起因して）より低い領域について利用されうる。逆に、より高いレベルの周囲光に関連付けられたPQからPQ'のマッピングが、ディスプレイ（120）の透過率および／または反射率がより高い領域について利用されうる。ディスプレイ（120）の透過率および／または反射率が表示コンテンツに基づいて変化する実施形態では、表示画像（たとえば、表示コンテンツ）は、ディスプレイ（120）の現在の透過率および／または反射率（たとえば、前記画像を表示している間の透過率および／または反射率）の空間分布を決定するための入力として使用されてもよい。
【0034】
グローバルまたはローカル・バックライト変調技法を使用するディスプレイは、画像コンテンツの入力フレームからの情報および／またはローカル周囲光センサーによって受信された情報に基づいてバックライトを調整する。たとえば、比較的暗い画像については、ディスプレイ・コントローラ（130）は、黒を強調するためにディスプレイのバックライトを暗くすることができる。同様に、比較的明るい画像については、ディスプレイコントローラは、ディスプレイのバックライトを増加させて、画像のハイライトを強調するとともに、暗い領域のルミナンスを上昇させてもよい。高い周囲光環境についての閾値コントラストを下回るからである。ローカル・バックライト変調技法は、ピクセルごとまたは領域ごとなど、任意の所望のレベルの粒度でバックライトを調整することに関わってもよく、領域はサイズおよび／または形状が均一である必要はない。一例として、ヘッドマウントディスプレイは、等しくないサイズの局所バックライト領域に分割されてもよく、観察者の視点の中心に対応するエリアは、独立したバックライト制御をもつ比較的小さい領域を有し、観察者の視点の周辺に対応するエリアは、独立したバックライト制御をもつ比較的大きい領域を有する（観察者は、典型的には、周辺コンテンツにあまり注意を集中しないため）。
【0035】
国際公開第2014/130343号に記載され、図2に示されているように、入力（112）、ターゲット・ディスプレイ（120）のディスプレイ特性、およびメタデータ（104）が与えられると、ディスプレイ管理プロセス（115）は、以下の主なステップに細分されうる。
a）ステップ（200）‐たとえば、RGBまたはYCbCrからIPT-PQへの任意的な入力色変換。
b）ステップ（205）‐トーンマッピングおよび彩度調整を含む、ターゲット・ディスプレイのためのカラーボリュームの決定。
c）ステップ（210）‐ターゲット・ディスプレイのための色域マッピング（color gamut mapping、CGM）の実行。
d）ステップ（215）‐（たとえば、IPT-PQから、ターゲット・ディスプレイまたは他の後処理のために必要とされる何らかの色フォーマットへの）色変換を出力。
a）ステップ（200）‐たとえば、RGBまたはYCbCrからIPT-PQへの任意的な入力色変換。
b）ステップ（205）‐トーンマッピングおよび彩度調整を含む、ターゲット・ディスプレイのためのカラーボリュームの決定。
c）ステップ（210）‐ターゲット・ディスプレイのための色域マッピング（color gamut mapping、CGM）の実行。
d）ステップ（215）‐（たとえば、IPT-PQから、ターゲット・ディスプレイまたは他の後処理のために必要とされる何らかの色フォーマットへの）色変換を出力。
【0036】
本明細書で使用される場合、「カラーボリューム空間」という用語は、ビデオ信号において表現できる、および／またはディスプレイにおいて表現できる色の3Dボリュームを示す。よって、カラーボリューム空間は、ルミナンスおよび色／クロマ特性の両方を特徴付ける。たとえば、第1のカラーボリューム「A」は、400ニトのピーク・ルミナンス、0.4ニトの最小ルミナンス、およびRec.709原色によって特徴付けられうる。同様に、第2のカラーボリューム「B」は、4000ニトのピーク・ルミナンス、0.1ニトの最小ルミナンス、およびRec.709原色によって特徴付けられうる。
【0037】
ある実施形態では、先に述べたように、カラーボリューム決定（205）は以下のステップを含むことができる。
a）前記ターゲット・ディスプレイの前記ディスプレイ特性に従って前記入力ビデオの前記強度チャネル（I）を再マッピングするためにトーンマッピング曲線を適用するステップと、
b）前記強度チャネルにおける前記調整を考慮するために、前記トーン曲線マッピング・ステップに彩度調整を適用するステップ。彩度調整は、ピクセルまたはその周辺領域のルミナンス・レベルに依存してもよい。
a）前記ターゲット・ディスプレイの前記ディスプレイ特性に従って前記入力ビデオの前記強度チャネル（I）を再マッピングするためにトーンマッピング曲線を適用するステップと、
b）前記強度チャネルにおける前記調整を考慮するために、前記トーン曲線マッピング・ステップに彩度調整を適用するステップ。彩度調整は、ピクセルまたはその周辺領域のルミナンス・レベルに依存してもよい。
【0038】
初期カラーボリューム決定（205）は、ターゲット・ディスプレイ色域外の色をもたらしうる。色域マッピング（210）の際に、3D色域ルックアップテーブル（LUT）が計算され、適用されて色域を調整することができ、それにより、色域外ピクセルがターゲット・ディスプレイのカラーボリュームの内側に、またはより近くにもたらされる。いくつかの実施形態では、任意的な色変換ステップ（215）が使用されて、CGMの出力（212）（たとえば、RGB）を、ディスプレイのEOTFに従って、表示または追加的処理に好適な色表現（たとえば、YCbCr）に変換するために使用されてもよい。
【0039】
前述したように、ある実施形態では、カラーボリューム決定は、IPT-PQ色空間において実行されうる。本明細書で使用される「PQ」という用語は、知覚量子化（perceptual quantization）を指す。人間の視覚系は、非常に非線形な仕方で光レベルの増加に応答する。刺激を見る人間の能力は、その刺激のルミナンス、刺激の大きさ、刺激を構成する空間周波数、および刺激を見ている特定の瞬間に目が順応しているルミナンス・レベルによって影響を受ける。ある実施形態では、知覚的量子化器関数は、線形入力グレーレベルを、伝統的なガンマ関数よりも人間の視覚系におけるコントラスト感度閾値により良く一致する出力グレーレベルにマッピングする。PQマッピング関数の例は、SMPTE ST2084仕様に記載されており、それによれば、固定した刺激サイズが与えられると、すべてのルミナンス・レベル（すなわち、刺激レベル）について、そのルミナンス・レベルにおける最小可視コントラスト・ステップが、最も敏感な適応レベルおよび最も敏感な空間周波数に従って（空間MTFに類似しているHVSコントラスト感度関数（Contrast Sensitivity Function、CSF）モデルに従って）選択される。物理的な陰極線管（CRT）装置の応答曲線を表し、たまたま、2log10単位未満の限られたダイナミックレンジについては人間の視覚系が応答する仕方に非常に大まかに類似しうる伝統的なガンマ曲線と比較して、PQ曲線は、比較的単純な関数モデルを使用して人間の視覚系の真の視覚応答を模倣する。さらに、はるかに広いダイナミックレンジにわたってより正確である。
【0040】
'343公開にも記載されているように、IPT-PQ色空間は、PQマッピングを、参照によってその全体が本明細書に組み込まれる非特許文献１に記載されているIPT色空間と組み合わせる。IPTは、YCbCrまたはCIE-Lab色空間に似ているが、いくつかの科学的研究において、Iはこれらの他のモデルで使用されるYまたはL*よりも良好な空間視覚のモデルであるので、これらの他の色空間よりも人間の視覚処理をより良く模倣することが示されている。そのような研究の例は非特許文献２の研究である。
【非特許文献1】F. Ebner and M.D. Fairchild、“Development and testing of a color space (ipt) with improved hue uniformity”、Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13
【非特許文献2】J. Froehlich et al.、“Encoding color difference signals for high dynamic range and wide gamut imagery”、Color and Imaging Conference, Vol. 2015, No. 1, October 2015, pp. 240-247(8), Society for Image Science and Technology
【0041】
典型的には信号106を使用しないディスプレイ管理プロセス（115）は、基準となる薄暗い観察環境の仮定の下で良好に機能する。多くの観察者が非基準観察環境においてコンテンツを観察するので、本発明者らによって理解されるように、観察条件の変化に従ってディスプレイ管理プロセスを調整することが望ましい。
【0042】
ある実施形態では、前述のステップに2つの追加的なステップが組み込まれてもよい。
a）カラーボリューム決定（205）中に、一つまたは複数のトーンマッピング曲線を適用して、基準となる暗い観察環境と実際の観察環境との間の差を考慮するために強度チャネルを再マッピングするステップであって、各適用されるトーンマッピング曲線は、異なる観察条件に関連付けられ、それぞれの画面位置または領域に適用される、ステップと
b）出力色変換（215）の前に、ディスプレイからの推定された反射光と、透明ディスプレイについては、ディスプレイを透過する推定された周囲光とを考慮に入れて減算するステップ。
これらのステップのそれぞれについて、次に、より詳細に説明する。
a）カラーボリューム決定（205）中に、一つまたは複数のトーンマッピング曲線を適用して、基準となる暗い観察環境と実際の観察環境との間の差を考慮するために強度チャネルを再マッピングするステップであって、各適用されるトーンマッピング曲線は、異なる観察条件に関連付けられ、それぞれの画面位置または領域に適用される、ステップと
b）出力色変換（215）の前に、ディスプレイからの推定された反射光と、透明ディスプレイについては、ディスプレイを透過する推定された周囲光とを考慮に入れて減算するステップ。
これらのステップのそれぞれについて、次に、より詳細に説明する。
【0043】
位置に依存する周囲光補正された知覚量子化
SMPTE ST2084仕様において採用されるPQマッピング関数は、その全体が参照により本明細書に組み込まれる米国特許第9,077,994号「Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities」において提示されているJ.S.Millerらによって行われた研究に基づいている。そのマッピング関数は、完全に暗い部屋のような、最小の周囲周辺光を有する観察環境について導出された。よって、観察条件、特に、画面上のある位置から別の位置へ、および／またはディスプレイに対する観察者の相対位置が変化するにつれて変化しうる周囲光およびディスプレイからの反射の強度を考慮に入れることによって、PQ'と呼ばれる代替的なPQマッピング関数を計算することが望ましい。たとえば、周囲光を考慮することは、シーンがより明るい環境で見られるときに、画像の暗い領域における細部が均一に黒く知覚されてしまわないことを確実にする。Millerらと同じ手法に従って、PQ'マッピングのステップを逐次反復的に導出することができる。ある実施形態では約10-6ニトのLoについて、
ここで、Lkはk番目のステップを示し、mtは検出閾値を示す。検出閾値は、平均的な人間がルミナンスLkで検出することができるルミナンスの最小の増加である。mtを0.9倍することによって、増分が見えなくなることを保証する。ある実施形態では、mtは、ルミナンスLについて感度が最も高い空間周波数におけるコントラスト感度関数（S(L)）と、周囲（周辺）光ルミナンスLaにおける周囲光因子（A(La)）の関数として決定される。
SMPTE ST2084仕様において採用されるPQマッピング関数は、その全体が参照により本明細書に組み込まれる米国特許第9,077,994号「Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities」において提示されているJ.S.Millerらによって行われた研究に基づいている。そのマッピング関数は、完全に暗い部屋のような、最小の周囲周辺光を有する観察環境について導出された。よって、観察条件、特に、画面上のある位置から別の位置へ、および／またはディスプレイに対する観察者の相対位置が変化するにつれて変化しうる周囲光およびディスプレイからの反射の強度を考慮に入れることによって、PQ'と呼ばれる代替的なPQマッピング関数を計算することが望ましい。たとえば、周囲光を考慮することは、シーンがより明るい環境で見られるときに、画像の暗い領域における細部が均一に黒く知覚されてしまわないことを確実にする。Millerらと同じ手法に従って、PQ'マッピングのステップを逐次反復的に導出することができる。ある実施形態では約10-6ニトのLoについて、
【数1】
【数2】
【0044】
限定するものではないがS(L)およびA(La)関数の例は、その全体が参照によって本明細書に組み込まれる非特許文献３に提示されている。
【非特許文献3】P.G.J.Barten、“Formula for the contrast sensitivity of the human eye”、Image quality and system performance, edited by Y. Miyake and D.R. Rasmussen, Proc. Of SPIE-IS&T Electronic Imaging, SPIE Vol. 5294, 2004, pp. 231-238（たとえば式11および13を参照）
【0045】
12ビット入力について、0.1ないし600ニトの範囲のさまざまなレベルの周囲光で計算されたPQ'曲線の例（310、315、320、325）が図3に示されている。もとのPQ曲線（305）も示されている。周囲光補正された曲線は一般に、もとのPQ曲線と同数の別個の符号語を提供するために、より高いダイナミックレンジを必要とする。
【0046】
PQからPQ'へのマッピングの調整
前述したように、ある実施形態では、ディスプレイ管理プロセス（115）は、IPT-PQドメインにおいて実行される。他のドメイン（たとえば、BT1866におけるRGB）におけるはいってくる信号は、何らかの処理の前に、非線形化され、IPT-PQに変換される（たとえば、200において）。次いで、（たとえば、205における）カラーボリューム決定の一部として、入力の強度成分（たとえば、Iin）が、最小ルミナンスおよび最大ルミナンス（405および410）などのターゲット・ディスプレイの特性に従って新しい強度値（たとえば、Iout）に再マッピングされる。入力色変換（たとえば、RGBからIPTへ）は、暗い環境の想定の下で計算されたもとのPQ曲線（305）を想定する。一例として、図4は、12ビットについてのもとのPQ曲線を示す。図4はまた、TMin（405）およびTMax（410）として示される、ターゲット・ディスプレイの最小および最大ルミナンス・レベルを示す。
前述したように、ある実施形態では、ディスプレイ管理プロセス（115）は、IPT-PQドメインにおいて実行される。他のドメイン（たとえば、BT1866におけるRGB）におけるはいってくる信号は、何らかの処理の前に、非線形化され、IPT-PQに変換される（たとえば、200において）。次いで、（たとえば、205における）カラーボリューム決定の一部として、入力の強度成分（たとえば、Iin）が、最小ルミナンスおよび最大ルミナンス（405および410）などのターゲット・ディスプレイの特性に従って新しい強度値（たとえば、Iout）に再マッピングされる。入力色変換（たとえば、RGBからIPTへ）は、暗い環境の想定の下で計算されたもとのPQ曲線（305）を想定する。一例として、図4は、12ビットについてのもとのPQ曲線を示す。図4はまた、TMin（405）およびTMax（410）として示される、ターゲット・ディスプレイの最小および最大ルミナンス・レベルを示す。
【0047】
図4に見られるように、TMinおよびTMaxが与えられると、CMin（425）からCMax（415）までの、利用可能な符号語の一部のみが使用されることになる。ここで、PQ(CMin)＝TMinおよびPQ(CMax)＝TMaxである。PQからPQ'へのマッピング調整の目標は、ターゲット・ディスプレイのルミナンス特性と局所化された周囲光条件（たとえば、ディスプレイの特定の領域またはピクセルに関連付けられた周囲光条件、および反射についてなど適切な場合には、ディスプレイと一または複数の観察者との相対位置を考慮する）の両方を考慮に入れることによって、はいってくる強度（I）値を新しい強度値（I'）にマッピングすることである。
【0048】
ここで、一例として、限定はしないが、Laニト（たとえば、La＝600）で測定された所与のピクセル、ピクセルのセット、領域などについてのルミナンスを上げる環境光を考える。所与のピクセル、ピクセルのセット、領域などについてのルミナンスを上昇させる周囲光は、ディスプレイに当たる拡散周囲光、所与のピクセル、ピクセルのセット、領域などの位置で観察者に見える鏡面反射、および／または透明ディスプレイを透過し、所与のピクセル、ピクセルのセット、領域などの位置で観察者に見える周囲光の組み合わせを含むことができる。図4に示されるように、周囲光調整されたPQマッピングを表す、La＝600ニトについてのPQ'Laマッピング関数（325）は、典型的には、たとえばCMin'（明確のため図示せず）からCMax'（420）までの異なる数の符号語が使用されることを許容し、ここで、PQ'La(CMin')＝TMinおよびPQ'La(CMax')＝TMaxである。一般に、選択され利用される特定のPQ'マッピング関数は、拡散周囲光および非ディスプレイ由来の表面光のルミナンスの組み合わせに基づいて選択される（たとえば、該ルミナンスの組み合わせに最も近いPQ'マッピング関数が選択され利用されてもよい）。一例として、La＝600ニトについてのPQ'Laマッピング関数（325）は、拡散周囲光、所与のピクセルの位置における鏡面反射、および所与のピクセルの位置において透明ディスプレイを透過した周囲光のルミナンスの組み合わせが600ニトに等しいときに、所与のピクセル（またはピクセルのセット、領域など）に適用されうる。いくつかの実施形態では、鏡面反射は、ルミナンス組み合わせにおいて考慮されなくてもよく、ディスプレイは、不透明であってもよく、よって、透明ディスプレイを通して透過する周囲光は、ルミナンス組み合わせにおいて考慮されなくてもよく、および／または拡散周囲光は、ルミナンス組み合わせにおいて考慮されなくてもよい。
【0049】
ある実施形態では、異なる周囲光で見られるもとの画像の見え方を保存するために、PQからPQ'へのマッピングにおける第1のステップは、もとの曲線の値（たとえば、Ci＝CMin～CMaxについてのPQ(Ci)）を、調整された曲線の対応する値（たとえば、Cj＝CMin'～CMax'についてのPQ'La(Cj)）にマッピングすることである。一例として、図4に示されるように、約Ci＝2000において、PQ(Ci)＝AはPQ'La(Cj)＝Bにマッピングされる。ある実施形態では、このマッピングは、ディスプレイによって提供されるPQステップの総数に対するもとの強度値の位置に関して、丁度可知差異（just-noticeable-differences、JND）の単位で測定される画像コントラストを保存することによって実行される。すなわち、符号語（Ci）がたとえば全PQ範囲（CMinからCMax）の1/nにある場合、PQ'内の対応する符号語（Cj）も全PQ'範囲（CMin'からCMax'）の1/nにあるはずである。制限なしに線形補間マッピングを想定すると、これは次のように表すことができる。
これは、異なる周囲条件から生じる範囲のそれぞれにおける符号値の同様の比例配置を提供する。他の実施形態では、他の線形または非線形マッピングを使用することもできる。
【数3】
【0050】
たとえば、図4から抽出された近似値、たとえばCMax＝2850、CMin＝62、CMax'＝1800、およびCMin'＝40が与えられると、Ci＝2000については、式（3）から、Cj＝1263となる。要約すると、PQ(Ci)に従ってマッピングされた入力符号語I＝Ciが与えられると、そのルミナンスは、PQ'La(Cj)についてマッピングされたものと同じルミナンスに対応するように調整されるべきである。
【0051】
ここでPQ'La(Cj)値が与えられると、もとのPQ曲線を使用して、PQ(Ck)＝PQ'La(Cj)となる入力ストリーム内の符号語Ckを識別することができる。換言すれば：
PQ(Ci)がPQ'La(Cj)にマッピングされるならば、
符号語Ciは、PQ(Ck)＝PQ'La(Cj)となるような符号語Ckにマッピングされる （4）
PQ(Ci)がPQ'La(Cj)にマッピングされるならば、
符号語Ciは、PQ(Ck)＝PQ'La(Cj)となるような符号語Ckにマッピングされる （4）
【0052】
よって、CMinからCMaxにおけるCiについて、それぞれのもとPQ符号語Ciは、その対応するPQ符号語Ckにマッピングされうる。換言すれば、入力ピクセルInが与えられたとき、周囲光調整によるその再マッピングされた出力In'は、次のようになる：
(In==Ci)であれば、In'＝Ck （5）
いくつかの実施形態では、入力は、（0,1）における正規化された値として表されうる。次に、PQおよびPQ'曲線がBビットの精度について計算される場合、式（5）は以下のように表すことができる。
提案されたマッピングは、再マッピングされた強度データ（たとえばIn'）が、ターゲット・ディスプレイの特定の領域（複数可）および／またはピクセル（複数可）で、該特定の領域および／またはピクセルに局所化された観察環境のために最も好適な調整されたルミナンスで表示されるように調整される。ことを許容する。言い換えれば、異なるマッピング（たとえば、図3の例示的な曲線310、315、320、および325のうちの異なるものなどの、それぞれ異なるPQ'曲線に関わる異なるPQからPQ'へのマッピング）を使用して、ターゲット・ディスプレイの異なる領域および／またはピクセルについての強度データを、それらの領域および／またはピクセルに局所化された観察環境条件に依存して再マッピングすることができる。
(In==Ci)であれば、In'＝Ck （5）
いくつかの実施形態では、入力は、（0,1）における正規化された値として表されうる。次に、PQおよびPQ'曲線がBビットの精度について計算される場合、式（5）は以下のように表すことができる。
【数4】
【0053】
図5のAは、ある実施形態による周囲光補正されたディスプレイ管理を実行するための例示的なプロセスを示す。図5のAに示されるように、ステップ515、520、および535は、たとえば'343号公開および／または'139号出願で論じられるような、伝統的なディスプレイ管理プロセスを表す。残りのステップは、ディスプレイにわたって変化しうる特定の観察環境に適合されうるディスプレイ管理プロセスのための追加の代表的なステップを表す。
【0054】
いくつかの実施形態では、周囲モデルがルミナンス領域のみにおける知覚変化を予測するので、トーンマッピング曲線は、ルミナンス強度チャネル（I）のみに適用される。これらの変化の正確な予測は、表示される画像の絶対ルミナンス・レベルに関する情報を必要とし、よって、処理は、好ましくは、線形ルミナンスへの容易な変換を容易にする色空間で行われるべきであり、RGB空間はそうではない。この方法は、クロミナンスを明示的に処理せず、代わりに、彩度マッピング・ステップ（たとえば、トーンマッピング後に実行される）が、PQからPQ'へのマッピング中にルミナンス変化によって引き起こされる彩度の変化を正確に予測し、それを補償することができると想定される。
【0055】
ステップ505において、プロセスは観察環境パラメータを推定する。いくつかの実施形態では、観察環境パラメータは、ユーザー入力に従って推定されるか、またはさもなくば受領もしくは決定される。いくつかの他の実施形態では、観察環境パラメータは、実際の観察環境を反映するセンサー入力に従って推定されるか、またはさもなくば受領もしくは決定される。たとえば、当該技術分野において既知の方法のいずれかを使用して、ルミナンス、色相、色度等を含む周辺の周囲光の推定値を提供することができる。いくつかの実施形態では、周辺の周囲光の推定値は、周囲光における空間的変動を含むことができる。一例として、周辺の周囲光の推定値は、複数の推定値を含むことができ、各推定値は、実際の観察環境の異なる空間領域に関連付けられる。任意的に、ステップ510において、プロセスは、画面反射および／または透明ディスプレイを透過した周囲光も考慮に入れることができる。たとえば、画面反射の指標が、ディスプレイの画面反射率のモデルおよびステップ505の観察パラメータに基づいて推定されてもよい。同様に、透明ディスプレイを透過した周囲光の指標が、ディスプレイの画面透過率のモデルおよびステップ505の観察パラメータに基づいて推定されうる。いくつかの実施形態では、ステップ505は、ディスプレイにわたる複数の位置において透明ディスプレイを通して透過される画面反射および／または周囲光を推定することを含みうる。
【0056】
ディスプレイ管理の重要な構成要素は、ターゲット・ディスプレイのルミナンス特性（たとえば、最小、中間または平均、および最大ルミナンス）を決定することである。いくつかの実施形態では、これらのパラメータは固定されるが、いくつかの他の実施形態（たとえば、動的バックライトをサポートするディスプレイに関する）では、それらは、入力ビデオおよび／または観察環境のルミナンス特性に従って調節されてもよい。ある実施形態では、ターゲット・ディスプレイの有効レンジは、ステップ510で計算された画面反射指標に従って調整されうる。たとえば、ターゲット・ディスプレイ・レンジが暗い環境において0.005ニト～600ニトであり、画面反射が0.1ニトであると推定される場合、有効ディスプレイ・レンジは0.105～600.1ニトであると定義されうる。より一般的には、ターゲット・ディスプレイについての有効ダイナミックレンジ（たとえば、TMinおよびTMax）が与えられ、画面反射率の指標Lrが与えられると、有効ディスプレイ・レンジを次のように調整することができる。
TMin'＝TMin+Lr
TMax'＝TMax+Lr （7）
次いで、TMin'＝PQ'(CMin')かつTMax'＝PQ'(CMax')となるように、CMin'およびCMax'が決定されうる。
TMin'＝TMin+Lr
TMax'＝TMax+Lr （7）
次いで、TMin'＝PQ'(CMin')かつTMax'＝PQ'(CMax')となるように、CMin'およびCMax'が決定されうる。
【0057】
ステップ520において、'343公開および／または'139出願に記載されているように、入力画像（507）のダイナミックレンジは、トーンマッピング曲線を使用してターゲット・ディスプレイ・レンジにマッピングされる。このステップは、ほぼ暗い環境について計算されたデフォルトのPQ曲線（たとえば、ST2084において定義されるもの）を想定する。その出力は、トーンマッピングされた画像（522）における強度サンプル（In）である。
【0058】
ステップ505において決定される周囲光の指標（La）が与えられると、ステップ525において、たとえば式（1）～（2）を使用して、一つまたは複数の新しい周囲光補正されたPQ曲線（一つまたは複数のPQ'La）が計算され、各PQ'曲線は、観察条件の異なるセットに関連付けられる（よって、観察条件は、ディスプレイにわたって空間的に変動しうる）。PQ、一つまたは複数のPQ'La、およびトーンマッピング・ステップ（520）の出力が与えられると、ステップ530は、式（3）～（6）に記載されるように新しい強度値In'を計算する。先述し、図5Bにも示されるこれらのステップは、下記を含む。
・ディスプレイの各領域またはピクセルについて、（TMin,TMax）または（TMin',TMax'）ならびにPQ関数PQ()およびPQ'La()に基づいて、CMin、CMax、CMin'、およびCMax'を決定する（ステップ530-a）。ここで、PQ関数PQ'La()は、それぞれの領域またはピクセルについての観察条件（たとえば、それぞれの領域またはピクセルにおける拡散周囲光および／または非由来表面光の組み合わせ）に従って選択される。
・ディスプレイの各領域またはピクセルについて、PQ()における各入力符号語Ciを、マッピング基準に従って適切なPQ'La()における符号語Cjにマッピングして、たとえば、式（3）に従って画像コントラストを保存するようにする（ステップ530-b）。
・ディスプレイの各領域またはピクセルについて、PQ'La(Cj)＝Bを決定する（ステップ530-c）。
・ディスプレイの各領域またはピクセルについて、PQ(Ck)＝PQ'La(Cj)＝Bとなるように新しい符号語Ckを決定する（ステップ530-d）。
・ディスプレイの各領域またはピクセルについて、（In==Ci)であれば、In'＝Ck（工程530-e）
・ディスプレイの各領域またはピクセルについて、（TMin,TMax）または（TMin',TMax'）ならびにPQ関数PQ()およびPQ'La()に基づいて、CMin、CMax、CMin'、およびCMax'を決定する（ステップ530-a）。ここで、PQ関数PQ'La()は、それぞれの領域またはピクセルについての観察条件（たとえば、それぞれの領域またはピクセルにおける拡散周囲光および／または非由来表面光の組み合わせ）に従って選択される。
・ディスプレイの各領域またはピクセルについて、PQ()における各入力符号語Ciを、マッピング基準に従って適切なPQ'La()における符号語Cjにマッピングして、たとえば、式（3）に従って画像コントラストを保存するようにする（ステップ530-b）。
・ディスプレイの各領域またはピクセルについて、PQ'La(Cj)＝Bを決定する（ステップ530-c）。
・ディスプレイの各領域またはピクセルについて、PQ(Ck)＝PQ'La(Cj)＝Bとなるように新しい符号語Ckを決定する（ステップ530-d）。
・ディスプレイの各領域またはピクセルについて、（In==Ci)であれば、In'＝Ck（工程530-e）
【0059】
いくつかの実施形態では、ステップ525における所与の領域またはピクセルについての環境光補正されたPQ曲線の選択または計算は、複数の環境光補正されたPQ曲線のうち、複数の環境光補正されたPQ曲線のどれが、所与の領域またはピクセルについての観察条件に（その複数における他の環境光補正されたPQ曲線と比較して）最も密接に一致する環境光および／または非ディスプレイ由来表面光のレベルに関連するかを決定することを含んでいてもよい。
【0060】
補正されたトーンマッピング画像（532）についての新しい強度値が与えられると、ディスプレイ管理プロセス（500）は、'343公開および／または'139出願に記載されているように、彩度調整（入力信号のPおよびT成分が適切に調整される）、色域マッピング（210）、および色変換（215）などのステップに進むことができる。
【0061】
画面反射率（Lr）がCiからCkへの符号語マッピングについて考慮された場合、ある実施形態では、ターゲット・ディスプレイ上に画像を表示する前に、関連する領域および／またはピクセルについて推定された画面反射率を減算すべきであり、そうでなければ、実際の画面反射率が2回加算される（第1に式（7）によって、第2にディスプレイ上の実際の光によって）。これは次のように表すことができる。
・（たとえば、色域マッピング（210）の後に）反射光調整Lrの下で、符号語CmがPQ(Cm)にマッピングされるとする。
PQ(Cn)＝PQ(Cm)－Lrとなるような符号語Cnを見つける。
・(Io==Cm)であれば、Io'＝Cn。ここで、Ioは、色域マッピングの出力(212)を示しIo'は周囲光Laの下での画面反射率Lrについての調整された出力である。
・（たとえば、色域マッピング（210）の後に）反射光調整Lrの下で、符号語CmがPQ(Cm)にマッピングされるとする。
PQ(Cn)＝PQ(Cm)－Lrとなるような符号語Cnを見つける。
・(Io==Cm)であれば、Io'＝Cn。ここで、Ioは、色域マッピングの出力(212)を示しIo'は周囲光Laの下での画面反射率Lrについての調整された出力である。
【0062】
周囲光補正された曲線は、前述のステップを使用して計算されることができ、あるいは、それぞれ周囲光（505）およびもとのトーンマッピング曲線（522）を入力とする一つまたは複数の2D LUTとして計算されることができる。あるいはまた、周囲補正曲線の関数近似、たとえば、三次エルミートスプラインまたは多項式近似を使用してもよい。あるいはまた、もとのトーンマッピング（507）および周囲補正トーンマッピング（525）を単一のステップで同時に実行するために、もとの曲線を制御するパラメータが修正されてもよい。いくつかの実施形態では、ソース画像を生成するための周囲環境も知られていてもよく、その場合、ソース画像およびソース観察環境についてPQからPQ'へのマッピングの第1のセットを実行し、次いで、ターゲット画像およびターゲット観察環境についてPQからPQ'へのマッピングの第2のセットを実行してもよく、PQからPQ'へのマッピングの第1および第2のセットのうちの少なくとも1つは、空間的に変化する観察環境条件に依存して、異なるPQからPQ'へのマッピングを、ディスプレイの異なる領域および／またはピクセルに適用することに関わる。
【0063】
先に論じたように、観察環境条件は、ディスプレイにわたって変化しうる。例として、鏡面反射は、ディスプレイの第1の領域にわたってのみ存在することがあり、透明ディスプレイの背後の背景は、変動する照明条件を有することがある。したがって、ディスプレイの異なる領域またはピクセルに異なる周囲補正曲線（図4に示される例示的な周囲補正曲線など）を適用することが望ましい場合がある。図6に示されるように、ディスプレイ600は、下は個々のピクセル・レベルまでの任意の所望のサイズの領域に分割することができる。例として、ディスプレイ600は、四分象限602に、または領域604、606、608a、608b、および610などのより小さい領域に分割されうる。本開示によれば、観察環境条件に合わせてディスプレイを適合させることは、第1のレベルの周囲ルミナンスに関連付けられた第1の周囲補正曲線を、第1のレベルの周囲ルミナンスに関連付けられた一つまたは複数の第1の領域に適用すること、第2のレベルの周囲ルミナンスに関連付けられた第2の周囲補正曲線を、第2のレベルの周囲ルミナンスに関連付けられた一つまたは複数の第2の領域に適用することなどを含みうる。極端な場合、ディスプレイの各ピクセルに対して、固有の周囲補正曲線を適用することができる。
【0064】
少なくともいくつかの実施形態では、ディスプレイにわたって、適用される周囲補正曲線の空間変化率を制約することが望ましい場合がある。具体例として、領域608aについての周囲ルミナンス・レベルがわずか1ニトであり、すぐ隣の領域608bについては600ニトである例を考える。ディスプレイ全体にわたって、適用される周囲補正曲線の空間変化率を制約しない実施形態では、PQ'曲線315に関わるPQからPQ'へのマッピングを領域608aに適用することができ、PQ'曲線325に関わるPQからPQ'へのマッピングを領域608bに適用することができる。しかしながら、隣接する領域においてPQ'曲線315および325を使用することは、ユーザーの観察経験を劣化させうる。よって、ディスプレイにわたって、適用される周囲補正曲線の空間変化率を制約することが望ましい場合がある。
【0065】
適用される周囲補正曲線の空間変化率を制約する1つの技法は、異なる周囲補正曲線を有する隣接領域間のなめらかなまたは階段状の遷移に関わる。一例として、PQ'曲線315および325は、それぞれ領域608aおよび608bに適用されうるが、領域608aの右部分および／または608bの左部分のある割合（たとえば、5%、10%、15%、20%など）は、全体的になめらかなまたは階段状の遷移が存在するように、PQ'曲線315と325との間のどこかの周囲補正曲線で調整されうる。
【0066】
適用される周囲補正曲線の空間変化率を制限する別の技法は、適用されるPQ'曲線の急激な変化を禁止することに関わる。一例として、ディスプレイ管理システムは、領域608aへのPQ'曲線315の適用および領域608bへのPQ'曲線325の適用をブロックするように構成されうる。なぜなら、曲線315および325は、領域608aおよび608bの近接性と組み合わせると、類似しすぎるからである。そのような例では、ディスプレイ管理システムは、代わりに、PQ'曲線320を領域608aおよび608bのうちの一つまたは複数に適用して、直接隣接する領域が、同一のPQ'曲線または比較的類似しているPQ'曲線のいずれかに関連付けられるようにすることができる。PQ'曲線間の類似性は、ステップ（次の利用可能なPQ'曲線）、関連付けられた周囲ルミナンス・レベル、所与の符号語についてのルミナンスの変化割合、または任意の他の好適な尺度に関して測定されうる。
【0067】
例示的なディスプレイ・システム実装
本発明の実施形態は、任意の所望のディスプレイ・システムを用いて実装されうる。一例として、本発明の実施形態は、図7のシステム700などのヘッドマウントディスプレイシステムにおいて実施することができる。ヘッドマウントディスプレイシステム700は、一つまたは複数のディスプレイ702aおよび702b（たとえば、右眼および左眼ディスプレイ）と、周辺照明環境に関する情報を取得するための一つまたは複数のセンサー704とを含んでいてもよい。ディスプレイ702aおよび702bは、透明または半透明であってもよく、一つまたは複数のセンサー704は、一つまたは複数の周囲光センサー、一つまたは複数のカメラ、および／または一つまたは複数の他のセンサーを含んでいてもよい。
本発明の実施形態は、任意の所望のディスプレイ・システムを用いて実装されうる。一例として、本発明の実施形態は、図7のシステム700などのヘッドマウントディスプレイシステムにおいて実施することができる。ヘッドマウントディスプレイシステム700は、一つまたは複数のディスプレイ702aおよび702b（たとえば、右眼および左眼ディスプレイ）と、周辺照明環境に関する情報を取得するための一つまたは複数のセンサー704とを含んでいてもよい。ディスプレイ702aおよび702bは、透明または半透明であってもよく、一つまたは複数のセンサー704は、一つまたは複数の周囲光センサー、一つまたは複数のカメラ、および／または一つまたは複数の他のセンサーを含んでいてもよい。
【0068】
別の例として、本発明の実施形態は、図8のシステム800などのディスプレイ・システムにおいて実装されてもよい。図8のディスプレイ・システム800は、ディスプレイ802、一つまたは複数の前向きセンサー804a、および／または一つまたは複数の後向きセンサー804bを含みうる。いくつかの実施形態では、ディスプレイ802は不透明ディスプレイであってもよく、後向きセンサー804bは省略されてもよい。他の実施形態では、ディスプレイ802は、透明または半透明ディスプレイであってもよい。一般に、前向きセンサー804a（含まれる場合）は、領域806a（たとえば、ディスプレイ802の前方の空間）における周囲照明条件、およびそれらが空間的にどのように変化するかについての情報を捕捉する際に使用されてもよく、後向きセンサー804b（含まれる場合）は、領域806b（たとえば、ディスプレイ802の背後の空間）における周囲照明条件についての情報を捕捉する際に使用されてもよい。ある種の実施形態では、センサー804aおよび／または804bは、ディスプレイ802の1人または複数の観察者の位置を追跡するようにさらに構成されてもよい（周囲光適応性のための開示される技法において観察者の視点が考慮されうるので）。センサー804aおよび804bのそれぞれは、一つまたは複数の周囲光センサー、一つまたは複数のカメラ、一つまたは複数の距離計（たとえば、観察者までの距離を測定するための）、および／または一つまたは複数の他のセンサーを含みうる。
【0069】
例示的なコンピュータ・システム実装
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されるシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他の構成可能またはプログラマブルなロジック・デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、ここに記載されるような周囲光適応的なディスプレイ管理プロセスに関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、ここに記載される周囲光適応的なディスプレイ管理プロセスに関する多様なパラメータまたは値の任意のものを計算することができる。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装されうる。
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されるシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他の構成可能またはプログラマブルなロジック・デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、ここに記載されるような周囲光適応的なディスプレイ管理プロセスに関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、ここに記載される周囲光適応的なディスプレイ管理プロセスに関する多様なパラメータまたは値の任意のものを計算することができる。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装されうる。
【0070】
本発明のある種の実装は、プロセッサに本発明の実施形態の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを含む。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における一つまたは複数のプロセッサは、該プロセッサにとってアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述したような周囲光適応的なディスプレイ管理プロセスのための方法を実装することができる。本発明の実施形態は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されると、該データ・プロセッサに本発明の実施形態の方法を実行させる命令を含む一組のコンピュータ読み取り可能な信号を担持する任意の非一時的媒体を含んでいてもよい。本発明の実施形態によるプログラム・プロダクトは、幅広い多様な形のいずれであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等の物理的な媒体を含むことができる。プログラム・プロダクト上のコンピュータ読み取り可能信号は、任意的に、圧縮または暗号化されてもよい。
【0071】
構成要素（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、該構成要素への言及（「手段」への言及を含む）は、本発明の示されている例示的実施形態において機能を実行する開示された構造と構造的に等価でない構成要素を含む、記載された構成要素の機能を実行する（たとえば、機能的に同等である）任意の構成要素を、当該構成要素の等価物として含むものとして解釈されるべきである。
【0072】
等価物、拡張、代替物およびその他
このようにして、周囲光適応的なディスプレイ管理プロセスに関連する例示的実施形態が記述されている。前述の明細において、本発明の実施形態は、実装によって変わりうる多数の個別的詳細を参照して記述されている。よって、何が本発明であり、何が出願人によって本発明であると意図されているかの唯一かつ排他的な指標は、その後の訂正があればそれも含めて請求が認められる特定の形での、この出願に対して発行される一組のクレームである。そのようなクレームに含まれる用語について本稿に明示的に記載されている定義があれば、それは、そのクレームで使用されるそのような用語の意味を支配する。よって、クレームにおいて明示的に記載されていない限定、要素、特性、特徴、利点または属性は、いかなる仕方でもそのようなクレームの範囲を制限するべきではない。よって、明細書および図面は、制約する意味ではなく例解する意味で捉えられるべきである。
このようにして、周囲光適応的なディスプレイ管理プロセスに関連する例示的実施形態が記述されている。前述の明細において、本発明の実施形態は、実装によって変わりうる多数の個別的詳細を参照して記述されている。よって、何が本発明であり、何が出願人によって本発明であると意図されているかの唯一かつ排他的な指標は、その後の訂正があればそれも含めて請求が認められる特定の形での、この出願に対して発行される一組のクレームである。そのようなクレームに含まれる用語について本稿に明示的に記載されている定義があれば、それは、そのクレームで使用されるそのような用語の意味を支配する。よって、クレームにおいて明示的に記載されていない限定、要素、特性、特徴、利点または属性は、いかなる仕方でもそのようなクレームの範囲を制限するべきではない。よって、明細書および図面は、制約する意味ではなく例解する意味で捉えられるべきである。
【0073】
本発明のさまざまな側面は、以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）から理解されうる。
〔EEE１〕
一つまたは複数のプロセッサを使用する、周囲光および／または非ディスプレイ由来表面光に対する位置変化する適応性をもつ適応ディスプレイ管理のための方法であって、当該方法は：
観察環境パラメータの少なくとも第1および第2のセットを受領するステップと；
ターゲット・ディスプレイについての有効ルミナンス範囲を受領するステップと；
ピクセル値を含む入力画像を受領するステップと；
前記一つまたは複数のプロセッサを用いて、前記入力画像ピクセル値の強度値をトーンマッピングされた画像における強度値にマッピングすることによって、トーンマッピングされた画像を生成するステップであって、前記トーンマッピングされた画像を生成することは、もとの知覚的量子化（PQ）ルミナンス・マッピング関数を適用し、前記ターゲット・ディスプレイの前記有効ルミナンス範囲を使用することを含む、ステップと；
観察環境パラメータの前記第1および第2のセットのうちの少なくとも1つに依存して、少なくとも第1および第2の補正されたPQ（PQ'）ルミナンス・マッピング関数にアクセスするステップと；
少なくとも第1および第2のPQからPQ'へのマッピングにアクセスするステップであって、前記ターゲット・ディスプレイの前記有効ルミナンス範囲に従って、前記もとのPQルミナンス・マッピング関数における第1の符号語が、前記第1の補正された（PQ'）ルミナンス・マッピング関数における第2の符号語にマッピングされ、前記第2の補正された（PQ'）ルミナンス・マッピング関数における第3の符号語にマッピングされる、ステップと；
前記トーンマッピングされた画像における強度値を調整されたトーンマッピングされた画像における強度値にマッピングすることによって、調整されたトーンマッピングされた画像を生成するステップであって、前記調整されたトーンマッピングされた画像を生成することは、前記トーンマッピングされた画像の少なくとも第1の領域について前記第1のPQからPQ'へのマッピングを利用し、前記トーンマッピングされた画像の少なくとも第2の領域について前記第2のPQのPQ'へのマッピングを利用することに依存し、前記トーンマッピングされた画像の前記第1および第2の領域は重複しない、ステップとを含む、
方法。
〔EEE２〕
観察環境パラメータの前記第1のセットは、前記ターゲット・ディスプレイの第1の領域に関連付けられた第1の周囲光ルミナンス値を含み、観察環境パラメータの前記第2のセットは、前記ターゲット・ディスプレイの第2の領域に関連付けられた第2の周囲光ルミナンス値を含み、
前記トーンマッピングされた画像の前記第1の領域は、前記ターゲット・ディスプレイの前記第1の領域に対応し、前記トーンマッピングされた画像の前記第2の領域は、前記ターゲット・ディスプレイの前記第2の領域に対応する、
EEE１に記載の方法。
〔EEE３〕
カメラを用いて少なくとも1つの画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記少なくとも1つの画像から、観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
EEE１またはEEE２に記載の方法。
〔EEE４〕
第1のカメラを用いて、前記ターゲット・ディスプレイの前方の前記周囲環境の少なくとも第1の画像を捕捉するステップと；
第2のカメラを用いて、前記ターゲット・ディスプレイの背後の前記周囲環境の少なくとも第2の画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記第1の画像および前記第2の画像から観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
EEE１または２に記載の方法。
〔EEE５〕
前記少なくとも第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは、さらに、前記ターゲット・ディスプレイの画面反射率特性および／または画面透過率特性に依存する、
EEE１ないし４のうちいずれか一項に記載の方法。
〔EEE６〕
もとのPQルミナンス・マッピング関数は、SMPTE ST2084仕様に従って計算された関数を含む、EEE１ないし５のうちいずれか一項に記載の方法。
〔EEE７〕
前記ターゲット・ディスプレイについての前記有効ルミナンス範囲は、最小ディスプレイ・ルミナンス値（TMin）および最大ディスプレイ・ルミナンス値（TMax）を含む、EEE１ないし６のうちいずれか一項に記載の方法。
〔EEE８〕
前記第1および第2のPQからPQ'へのマッピングは、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、EEE１ないし７のうちいずれか一項に記載の方法。
〔EEE９〕
前記第1および第2のPQからPQ'へのマッピングは、前記第1のPQからPQ'へのマッピングにおいて線形補間を用いて前記第1の符号語を前記第2の符号語にマッピングし、前記第2のPQからPQ'へのマッピングにおいて線形補間を用いて前記第1の符号語を前記第3の符号語にマッピングすることによって、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内における前記第1の符号語の前記相対位置を保存する、EEE８に記載の方法。
〔EEE１０〕
一つまたは複数のプロセッサを用いた透明ディスプレイの適応ディスプレイ管理のための方法であって、当該方法は：
周囲環境の第1の領域に関連付けられた少なくとも第1の周囲光ルミナンス値を受領するステップであって、前記第1の領域は、前記透明ディスプレイの背後にあり、前記透明ディスプレイを通してユーザーによって観察可能である、ステップと；
前記周囲環境の第2の領域に関連付けられた少なくとも第2の周囲光ルミナンス値を受領するステップであって、前記第2の領域は、前記透明ディスプレイの背後にあり、前記透明ディスプレイを通して前記ユーザーによって観察可能であり、前記周囲環境の前記第1および第2の領域は重複しない、ステップと；
ピクセル値を含む入力画像を受領するステップと；
少なくとも前記第1の周囲光ルミナンス値に基づいて第1のルミナンス・マッピング関数にアクセスすることと；
少なくとも前記第2の周囲光ルミナンス値に基づいて第2のルミナンス・マッピング関数にアクセスすることと；
前記入力画像ならびに前記第1および第2のルミナンス・マッピング関数に基づいて、調整済み画像を生成するステップであって、前記調整済み画像を生成することは、前記調整済み画像の少なくとも第1のエリアについて前記第1のルミナンス・マッピング関数を利用し、前記調整済み画像の少なくとも第2のエリアについて前記第2のルミナンス・マッピング関数を利用することに基づき、前記調整済み画像の前記第1および第2のエリアは重複しない、ステップとを含む、
方法。
〔EEE１１〕
前記透明ディスプレイが前記ユーザーによって装着されるように構成され、当該方法は：外向きセンサーを用いて、前記第1および第2の周囲光ルミナンス値を取得するステップをさらに含む、EEE１０に記載の方法。
〔EEE１２〕
前記透明ディスプレイが前記ユーザーによって装着されるように構成され、当該方法は：
外向きカメラを用いて、前記透明ディスプレイを装着しているときに前記ユーザーによって観察可能な前記周囲環境の画像を取得するステップと；
前記取得された画像から前記第1および第2の環境光ルミナンス値を生成するステップとをさらに含む、
EEE１０または１１に記載の方法。
〔EEE１３〕
前記透明ディスプレイが、前向きセンサーおよび後向きセンサーを含むシステムの一部であり、当該方法は：
前記後向きセンサーを用いて、前記第1および第2の環境光ルミナンス値を取得するステップと；
前記前向きセンサーを用いて、前記周囲環境の第3の領域に関連付けられた第3の周囲光ルミナンス値を取得するステップであって、前記第3の領域は前記透明ディスプレイの前方にある、ステップと；
前記前向きセンサーを用いて、前記周囲環境の第4の領域に関連付けられた第4の周囲光ルミナンス値を取得するステップであって、前記第4の領域は前記透明ディスプレイの前方にある、ステップとをさらに含む、
EEE１０ないし１２のうちいずれか一項に記載の方法。
〔EEE１４〕
前記第1のルミナンス・マッピング関数にアクセスすることは、少なくとも前記第1および第3の周囲光ルミナンス値に基づき、前記第2のルミナンス・マッピング関数にアクセスすることは、少なくとも前記第2および第4の周囲光ルミナンス値に基づく、EEE１３に記載の方法。
〔EEE１５〕
前記透明ディスプレイは、周囲光に対する第1の量の透過を有する第1のディスプレイ部分と、前記第1の量の透過率とは異なる第2の量の透過を有する第2のディスプレイ部分とを含み、前記第1のマッピング関数にアクセスすることが、少なくとも前記第1の量の透過にさらに基づき、前記第2のマッピング関数にアクセスすることが、少なくとも前記第2の量の透過にさらに基づく、EEE１０ないし１４のうちいずれか一項に記載の方法。
〔EEE１６〕
前記透明ディスプレイの前記透過率が、表示されるコンテンツに基づいて空間的および時間的に変化し、当該方法が、前記受領された入力画像に基づいて、前記透明ディスプレイの現在の空間的に分布した透過率を決定することをさらに含む、EEE１５に記載の方法。
〔EEE１７〕
前記調整された画像の前記第1の領域を前記透明ディスプレイの前記第1のディスプレイ部分に表示し、前記調整された画像の前記第2の領域を前記透明ディスプレイの前記第2のディスプレイ部分に表示することをさらに含む、EEE１５または１６に記載の方法。
〔EEE１８〕
プロセッサを備え、EEE１ないし１７のうちいずれか一項に記載の方法を実行するように構成された装置。
〔EEE１９〕
EEE１ないし１７のうちいずれか一項に記載の一つまたは複数のプロセッサを用いた方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。
〔EEE１〕
一つまたは複数のプロセッサを使用する、周囲光および／または非ディスプレイ由来表面光に対する位置変化する適応性をもつ適応ディスプレイ管理のための方法であって、当該方法は：
観察環境パラメータの少なくとも第1および第2のセットを受領するステップと；
ターゲット・ディスプレイについての有効ルミナンス範囲を受領するステップと；
ピクセル値を含む入力画像を受領するステップと；
前記一つまたは複数のプロセッサを用いて、前記入力画像ピクセル値の強度値をトーンマッピングされた画像における強度値にマッピングすることによって、トーンマッピングされた画像を生成するステップであって、前記トーンマッピングされた画像を生成することは、もとの知覚的量子化（PQ）ルミナンス・マッピング関数を適用し、前記ターゲット・ディスプレイの前記有効ルミナンス範囲を使用することを含む、ステップと；
観察環境パラメータの前記第1および第2のセットのうちの少なくとも1つに依存して、少なくとも第1および第2の補正されたPQ（PQ'）ルミナンス・マッピング関数にアクセスするステップと；
少なくとも第1および第2のPQからPQ'へのマッピングにアクセスするステップであって、前記ターゲット・ディスプレイの前記有効ルミナンス範囲に従って、前記もとのPQルミナンス・マッピング関数における第1の符号語が、前記第1の補正された（PQ'）ルミナンス・マッピング関数における第2の符号語にマッピングされ、前記第2の補正された（PQ'）ルミナンス・マッピング関数における第3の符号語にマッピングされる、ステップと；
前記トーンマッピングされた画像における強度値を調整されたトーンマッピングされた画像における強度値にマッピングすることによって、調整されたトーンマッピングされた画像を生成するステップであって、前記調整されたトーンマッピングされた画像を生成することは、前記トーンマッピングされた画像の少なくとも第1の領域について前記第1のPQからPQ'へのマッピングを利用し、前記トーンマッピングされた画像の少なくとも第2の領域について前記第2のPQのPQ'へのマッピングを利用することに依存し、前記トーンマッピングされた画像の前記第1および第2の領域は重複しない、ステップとを含む、
方法。
〔EEE２〕
観察環境パラメータの前記第1のセットは、前記ターゲット・ディスプレイの第1の領域に関連付けられた第1の周囲光ルミナンス値を含み、観察環境パラメータの前記第2のセットは、前記ターゲット・ディスプレイの第2の領域に関連付けられた第2の周囲光ルミナンス値を含み、
前記トーンマッピングされた画像の前記第1の領域は、前記ターゲット・ディスプレイの前記第1の領域に対応し、前記トーンマッピングされた画像の前記第2の領域は、前記ターゲット・ディスプレイの前記第2の領域に対応する、
EEE１に記載の方法。
〔EEE３〕
カメラを用いて少なくとも1つの画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記少なくとも1つの画像から、観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
EEE１またはEEE２に記載の方法。
〔EEE４〕
第1のカメラを用いて、前記ターゲット・ディスプレイの前方の前記周囲環境の少なくとも第1の画像を捕捉するステップと；
第2のカメラを用いて、前記ターゲット・ディスプレイの背後の前記周囲環境の少なくとも第2の画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記第1の画像および前記第2の画像から観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
EEE１または２に記載の方法。
〔EEE５〕
前記少なくとも第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは、さらに、前記ターゲット・ディスプレイの画面反射率特性および／または画面透過率特性に依存する、
EEE１ないし４のうちいずれか一項に記載の方法。
〔EEE６〕
もとのPQルミナンス・マッピング関数は、SMPTE ST2084仕様に従って計算された関数を含む、EEE１ないし５のうちいずれか一項に記載の方法。
〔EEE７〕
前記ターゲット・ディスプレイについての前記有効ルミナンス範囲は、最小ディスプレイ・ルミナンス値（TMin）および最大ディスプレイ・ルミナンス値（TMax）を含む、EEE１ないし６のうちいずれか一項に記載の方法。
〔EEE８〕
前記第1および第2のPQからPQ'へのマッピングは、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、EEE１ないし７のうちいずれか一項に記載の方法。
〔EEE９〕
前記第1および第2のPQからPQ'へのマッピングは、前記第1のPQからPQ'へのマッピングにおいて線形補間を用いて前記第1の符号語を前記第2の符号語にマッピングし、前記第2のPQからPQ'へのマッピングにおいて線形補間を用いて前記第1の符号語を前記第3の符号語にマッピングすることによって、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内における前記第1の符号語の前記相対位置を保存する、EEE８に記載の方法。
〔EEE１０〕
一つまたは複数のプロセッサを用いた透明ディスプレイの適応ディスプレイ管理のための方法であって、当該方法は：
周囲環境の第1の領域に関連付けられた少なくとも第1の周囲光ルミナンス値を受領するステップであって、前記第1の領域は、前記透明ディスプレイの背後にあり、前記透明ディスプレイを通してユーザーによって観察可能である、ステップと；
前記周囲環境の第2の領域に関連付けられた少なくとも第2の周囲光ルミナンス値を受領するステップであって、前記第2の領域は、前記透明ディスプレイの背後にあり、前記透明ディスプレイを通して前記ユーザーによって観察可能であり、前記周囲環境の前記第1および第2の領域は重複しない、ステップと；
ピクセル値を含む入力画像を受領するステップと；
少なくとも前記第1の周囲光ルミナンス値に基づいて第1のルミナンス・マッピング関数にアクセスすることと；
少なくとも前記第2の周囲光ルミナンス値に基づいて第2のルミナンス・マッピング関数にアクセスすることと；
前記入力画像ならびに前記第1および第2のルミナンス・マッピング関数に基づいて、調整済み画像を生成するステップであって、前記調整済み画像を生成することは、前記調整済み画像の少なくとも第1のエリアについて前記第1のルミナンス・マッピング関数を利用し、前記調整済み画像の少なくとも第2のエリアについて前記第2のルミナンス・マッピング関数を利用することに基づき、前記調整済み画像の前記第1および第2のエリアは重複しない、ステップとを含む、
方法。
〔EEE１１〕
前記透明ディスプレイが前記ユーザーによって装着されるように構成され、当該方法は：外向きセンサーを用いて、前記第1および第2の周囲光ルミナンス値を取得するステップをさらに含む、EEE１０に記載の方法。
〔EEE１２〕
前記透明ディスプレイが前記ユーザーによって装着されるように構成され、当該方法は：
外向きカメラを用いて、前記透明ディスプレイを装着しているときに前記ユーザーによって観察可能な前記周囲環境の画像を取得するステップと；
前記取得された画像から前記第1および第2の環境光ルミナンス値を生成するステップとをさらに含む、
EEE１０または１１に記載の方法。
〔EEE１３〕
前記透明ディスプレイが、前向きセンサーおよび後向きセンサーを含むシステムの一部であり、当該方法は：
前記後向きセンサーを用いて、前記第1および第2の環境光ルミナンス値を取得するステップと；
前記前向きセンサーを用いて、前記周囲環境の第3の領域に関連付けられた第3の周囲光ルミナンス値を取得するステップであって、前記第3の領域は前記透明ディスプレイの前方にある、ステップと；
前記前向きセンサーを用いて、前記周囲環境の第4の領域に関連付けられた第4の周囲光ルミナンス値を取得するステップであって、前記第4の領域は前記透明ディスプレイの前方にある、ステップとをさらに含む、
EEE１０ないし１２のうちいずれか一項に記載の方法。
〔EEE１４〕
前記第1のルミナンス・マッピング関数にアクセスすることは、少なくとも前記第1および第3の周囲光ルミナンス値に基づき、前記第2のルミナンス・マッピング関数にアクセスすることは、少なくとも前記第2および第4の周囲光ルミナンス値に基づく、EEE１３に記載の方法。
〔EEE１５〕
前記透明ディスプレイは、周囲光に対する第1の量の透過を有する第1のディスプレイ部分と、前記第1の量の透過率とは異なる第2の量の透過を有する第2のディスプレイ部分とを含み、前記第1のマッピング関数にアクセスすることが、少なくとも前記第1の量の透過にさらに基づき、前記第2のマッピング関数にアクセスすることが、少なくとも前記第2の量の透過にさらに基づく、EEE１０ないし１４のうちいずれか一項に記載の方法。
〔EEE１６〕
前記透明ディスプレイの前記透過率が、表示されるコンテンツに基づいて空間的および時間的に変化し、当該方法が、前記受領された入力画像に基づいて、前記透明ディスプレイの現在の空間的に分布した透過率を決定することをさらに含む、EEE１５に記載の方法。
〔EEE１７〕
前記調整された画像の前記第1の領域を前記透明ディスプレイの前記第1のディスプレイ部分に表示し、前記調整された画像の前記第2の領域を前記透明ディスプレイの前記第2のディスプレイ部分に表示することをさらに含む、EEE１５または１６に記載の方法。
〔EEE１８〕
プロセッサを備え、EEE１ないし１７のうちいずれか一項に記載の方法を実行するように構成された装置。
〔EEE１９〕
EEE１ないし１７のうちいずれか一項に記載の一つまたは複数のプロセッサを用いた方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-11-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
一つまたは複数のプロセッサを使用する、周囲光および／または非ディスプレイ由来表面光に対する位置変化する適応性をもつ適応ディスプレイ管理のための方法であって、当該方法は：ターゲット・ディスプレイについての有効ルミナンス範囲を受領するステップと；
観察環境パラメータの第1および第2のセットを受領するステップであって、観察環境パラメータの前記第1のセットは、前記ターゲット・ディスプレイの第1の領域に関連付けられた第1の周囲光ルミナンス値を含み、観察環境パラメータの前記第2のセットは、前記ターゲット・ディスプレイの第2の領域に関連付けられた第2の周囲光ルミナンス値を含む、ステップと；
ピクセル値を含む入力画像を受領するステップと；
前記一つまたは複数のプロセッサを用いて、前記入力画像ピクセル値の強度値をトーンマッピングされた画像における強度値にマッピングすることによって、トーンマッピングされた画像を生成するステップであって、前記トーンマッピングされた画像を生成することは、前記ターゲット・ディスプレイの前記有効ルミナンス範囲を使用してもとの知覚的量子化（PQ）ルミナンス・マッピング関数を適用することを含む、ステップと；
観察環境パラメータの前記第1および第2のセットにそれぞれ依存して、第1および第2の補正されたPQ（PQ'）ルミナンス・マッピング関数にアクセスするステップと；
第1および第2のPQからPQ'へのマッピングにアクセスするステップであって、前記ターゲット・ディスプレイの前記有効ルミナンス範囲に従って、前記第1のPQからPQ'へのマッピングでは、もとのPQルミナンス・マッピング関数における第1の符号語は前記第1の補正された（PQ'）ルミナンス・マッピング関数における第2の符号語にマッピングされ、前記第2のPQからPQ'へのマッピングでは、もとのPQルミナンス・マッピング関数における前記第1の符号語は前記第2の補正された（PQ'）ルミナンス・マッピング関数における第3の符号語にマッピングされる、ステップと；
前記トーンマッピングされた画像における強度値を調整されたトーンマッピングされた画像における強度値にマッピングすることによって、調整されたトーンマッピングされた画像を生成するステップであって、前記調整されたトーンマッピングされた画像を生成することは、前記ターゲット・ディスプレイの前記第1の領域に対応する前記トーンマッピングされた画像の第1の領域については前記第1のPQからPQ'へのマッピングを利用し、前記ターゲット・ディスプレイの前記第2の領域に対応する前記トーンマッピングされた画像の第2の領域については前記第2のPQからPQ'へのマッピングを利用することに依存し、前記トーンマッピングされた画像の前記第1の領域と前記第2の領域とは重複しない、ステップとを含む、
方法。
【請求項2】
観察環境パラメータの前記第1および第2のセットにそれぞれ依存して、前記第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは：前記第1の補正された（PQ'）ルミナンス・マッピング関数が、複数の補正された（PQ'）ルミナンス・マッピング関数における他の補正された（PQ'）ルミナンス・マッピング関数と比較して、観察環境パラメータの前記第1のセットに最も近く一致する第1のレベルの周囲光および／または第1のレベルの非ディスプレイ由来表面光に関連付けられていることを判別することによって、前記第1の補正された（PQ'）ルミナンス・マッピングを前記複数の補正された（PQ'）ルミナンス・マッピング関数から選択し；
前記第2の補正された（PQ'）ルミナンス・マッピング関数が、前記複数の補正された（PQ'）ルミナンス・マッピング関数における他の補正された（PQ'）ルミナンス・マッピング関数と比較して、観察環境パラメータの前記第2のセットに最も近く一致する第2のレベルの周囲光および／または第2のレベルの非ディスプレイ由来表面光に関連付けられていることを判別することによって、前記第2の補正された（PQ'）ルミナンス・マッピングを前記複数の補正された（PQ'）ルミナンス・マッピング関数から選択することを含む、
請求項１に記載の方法。
【請求項3】
カメラを用いて少なくとも1つの画像を捕捉するステップと；前記一つまたは複数のプロセッサを用いて、前記少なくとも1つの画像から観察環境パラメータの前記第1および第2のセットを生成するステップとをさらに含む、
請求項１に記載の方法。
【請求項4】
第1のカメラを用いて、前記ターゲット・ディスプレイの前方の前記周囲環境の少なくとも第1の画像を捕捉するステップと；第2のカメラを用いて、前記ターゲット・ディスプレイの背後の前記周囲環境の少なくとも第2の画像を捕捉するステップと；
前記一つまたは複数のプロセッサを用いて、前記第1の画像および前記第2の画像から観察環境パラメータの前記第1のセットおよび前記第2のセットを生成するステップとをさらに含む、
請求項１に記載の方法。
【請求項5】
前記少なくとも第1および第2の補正された（PQ'）ルミナンス・マッピング関数にアクセスすることは、前記ターゲット・ディスプレイの画面反射率特性および／または画面透過率特性にさらに依存する、請求項１に記載の方法。
【請求項6】
もとのPQルミナンス・マッピング関数は、SMPTE ST2084仕様に従って計算される関数を含む、請求項１に記載の方法。
【請求項7】
前記第1および第2のPQからPQ'へのマッピングは、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、請求項１に記載の方法。
【請求項8】
前記第1および第2のPQからPQ'へのマッピングは、前記第1のPQからPQ'へのマッピングにおいて、線形補間を使用して前記第1の符号語を前記第2の符号語にマッピングし、前記第2のPQからPQ'へのマッピングにおいて、線形補間を使用して前記第1の符号語を前記第3の符号語にマッピングすることによって、前記ターゲット・ディスプレイについての前記有効ルミナンス範囲内の前記第1の符号語の相対位置を保存する、請求項７に記載の方法。
【請求項9】
前記ターゲット・ディスプレイは透明ディスプレイであり、観察環境パラメータの前記第1のセットは、前記透明ディスプレイの背後の周囲環境の第1の領域に関連付けられ、前記透明ディスプレイを通してユーザーによって観察可能であり、観察環境パラメータの前記第2のセットは、前記透明ディスプレイの背後の前記周囲環境の第2の領域に関連付けられ、前記透明ディスプレイを通してユーザーによって観察可能である、請求項１に記載の方法。
【請求項10】
前記透明ディスプレイは、ユーザーによって装着されるように構成され、当該方法は、外向きセンサーを用いて、観察環境パラメータの前記第1および第2のセットを取得するステップをさらに含む、請求項９に記載の方法。
【請求項11】
前記透明ディスプレイは、周囲光に対する第1の量の透過を有する第1のディスプレイ部分と、周囲光に対する第2の量の透過を有する第2のディスプレイ部分とを含み、前記第1および第2の量の透過は異なり、前記第1のPQからPQ'へのマッピングにアクセスすることは、少なくとも前記第1の量の透過にさらに依存し、前記第2のPQからPQ'へのマッピングにアクセスすることは、少なくとも前記第2の量の透過にさらに依存する、請求項９に記載の方法。
【請求項12】
前記透明ディスプレイの前記透過は、表示されるコンテンツに依存して空間的および時間的に変化し、当該方法は、前記入力画像に依存して、前記透明ディスプレイの現在の空間的に分布した透過率を決定するステップをさらに含む、請求項９に記載の方法。
【請求項13】
プロセッサを備え、請求項１ないし１２のうちいずれか一項に記載の方法を実行するように構成された装置。
【請求項14】
請求項１ないし１２のうちいずれか一項に記載の方法を一つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。
【国際調査報告】