特表 2023-532083 ＰＱシフトを用いた周囲光補償のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-26

(54)【発明の名称】ＰＱシフトを用いた周囲光補償のためのシステムおよび方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20230719BHJP

   G09G 5/37 20060101ALI20230719BHJP

   G09G 5/10 20060101ALI20230719BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 550H

G09G5/37 100

G09G5/10 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022580799

(86)(22)【出願日】2021-06-30

(85)【翻訳文提出日】2022-12-27

(86)【国際出願番号】 US2021039907

(87)【国際公開番号】W WO2022006281

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】20183195.5

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/046,015

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ピエリ，エリザベス，ジー．

(72)【発明者】

【氏名】ピトラルツ，ジャックリン，アン

(72)【発明者】

【氏名】ズエナ，ジェイク，ウィリアム

【テーマコード（参考）】

5C182

【Ｆターム（参考）】

5C182AA02

5C182BA25

5C182BA45

5C182CA01

5C182CA02

5C182CA12

5C182CA13

5C182CA36

(57)【要約】

ディスプレイまわりの周囲光について補償するための新規な方法およびシステムが開示される。画像に適用されるPQ曲線のシフトが、表示のための最適でない周囲光条件について補償することができ、PQシフトは、PQ空間での補償値への加算と、それに続く線形空間での補償値の減算、または線形空間での補償値への加算と、PQ空間での補償値の減算のいずれかである。画像輝度に関して改善された画像品質を提供するよう、PQ曲線に対するさらなる調整がなされてもよい。

【特許請求の範囲】

【請求項1】

表示装置のまわりの周囲光条件について補償するために画像を修正する方法であって、当該方法は：
前記画像の知覚的輝度振幅量子化（PQ）データを決定するステップと；
前記周囲光条件および前記画像から決定された補償値に基づいて、前記PQデータについてのPQシフトを決定するステップであって、前記PQシフトは：PQ空間での前記補償値への加算と、それに続く線形空間での前記補償値の減算、または線形空間での前記補償値への加算と、それに続くPQ空間での前記補償値の減算からなる、ステップと；
前記画像に前記PQシフトを適用し、前記画像の前記PQデータを修正するステップとを含む、
方法。

【請求項2】

表示装置のまわりの周囲光条件について補償するために画像を修正する方法であって、当該方法は：
前記画像の知覚的輝度振幅量子化（PQ）データを決定するステップと；
前記周囲光条件および前記画像から決定された補償値に基づいて、前記PQデータについてのPQシフトを決定するステップであって、
前記補償値は、C＝M(√X)＋Bから計算され、Cは前記補償値であり、Mは周辺輝度値Sの関数であり、Xは前記画像の平均輝度を表す前記画像の中央PQ値であり、Bは周辺輝度値の関数であり、ここで、M＝a*S＋bおよびB＝c*S²＋d*S＋eであり、ここで、a,b,c,dおよびeは定数であり；
前記PQシフトは：周囲周辺輝度環境が基準値より明るい場合についての、PQout＝L2PQ(PQ2L(PQin＋C))－PQ2L(C)によって計算される、PQ空間での前記補償値への加算と、それに続く線形空間での前記補償値の減算、または周囲周辺輝度環境が前記基準値より暗い場合についての、PQout＝L2PQ(PQ2L(PQin)＋PQ2L(C))－Cによって計算される、線形空間での前記補償値への加算と、それに続くPQ空間での前記補償値の減算からなり、PQoutは前記シフトの後の結果として得られるPQであり、PQinはもとのPQ値であり、L2PQ()は線形空間からPQ空間に変換する関数であり、PQ2L()はPQ空間から線形空間に変換する関数である、ステップと；
前記画像に前記PQシフトを適用し、前記画像の前記PQデータを修正するステップとを含む、
方法。

【請求項3】

前記PQシフトを適用する前に前記画像にトーンマップを適用するステップをさらに含む、
請求項１または２に記載の方法。

【請求項4】

前記補償値は、C＝M(√X)＋Bから計算され、ここで、Cは前記補償値であり、Mは、周辺輝度値の関数であり、Xは、前記画像の中央PQ値であり、Bは、周辺輝度値の関数である、請求項１または３に記載の方法。

【請求項5】

関数MおよびBが、異なる周囲光条件下での画像PQ補償値の主観的な知覚的評価から導出された実験データから導出される、請求項４に記載の方法。

【請求項6】

Mは、前記周辺輝度値の線形関数であり、Bは、前記周辺輝度値の二次関数である、請求項４または５に記載の方法。

【請求項7】

追加的なPQシフトを前記画像に適用することをさらに含み、前記追加的なPQシフトは、最小ピクセル値がゼロの補償値を有するように前記画像を調整する、請求項１ないし６のうちいずれか一項に記載の方法。

【請求項8】

前記PQシフトに緩和を適用することをさらに含む、請求項１ないし７のうちいずれか一項に記載の方法。

【請求項9】

閾値より下では適用されないように、前記PQシフトをクランプすることをさらに含む、請求項１ないし８のうちいずれか一項に記載の方法。

【請求項10】

前記PQシフトは、所定のPQを上回る線形関数として計算される、請求項１ないし９のうちいずれか一項に記載の方法。

【請求項11】

前記画像にロールオフ曲線を適用することをさらに含む、請求項１ないし１０のうちいずれか一項に記載の方法。

【請求項12】

前記表示装置上の期待されるスクリーン反射についての補償を提供するトーンカーブ計算の終了時に、線形空間で前記PQデータから反射補償値を減算することをさらに含む、請求項１ないし１１のうちいずれか一項に記載の方法。

【請求項13】

前記反射補償値が、前記装置の周辺輝度値の関数である、請求項１２に記載の方法。

【請求項14】

前記PQシフトを適用することがハードウェアまたはファームウェアで実行される、請求項１ないし１３のうちいずれか一項に記載の方法。

【請求項15】

前記PQシフトを適用することがソフトウェアで実行される、請求項１ないし１３のうちいずれか一項に記載の方法。

【請求項16】

前記周囲光条件は、前記表示装置内、前記表示装置上、または前記表示装置の近くのセンサーによって決定される、請求項１ないし１５のうちいずれか一項に記載の方法。

【請求項17】

請求項１ないし１３のうちいずれか一項に記載の方法を実行するように構成された、ハードウェアもしくはソフトウェアまたはその両方を有するビデオ・デコーダ。

【請求項18】

プロセッサによって実行されると、請求項１ないし１３のうちいずれか一項に記載の方法を実行させる記憶されたソフトウェア命令を有する非一時的なコンピュータ読み取り可能媒体。

【請求項19】

請求項１ないし１３のうちいずれか一項に記載の方法を実行するように構成された少なくとも1つのプロセッサを有するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、2020年6月30日に出願された米国仮特許出願第63/046,015号、および2020年6月30日に出願された欧州特許出願第20183195.5号の優先権を主張するものであり、いずれもその全体が参照により本明細書に組み込まれる。

【0002】

技術分野
本開示は、ビデオ信号の処理のための改良に関する。特に、本開示は、異なる周囲光状況における表示を改善するためにビデオ信号を処理することに関する。

【背景技術】

【0003】

所与のディスプレイのための基準電気光伝達関数（EOTF）は、入力ビデオ信号の色値（たとえば、輝度）とディスプレイによって生成される出力スクリーン色値（たとえば、スクリーン輝度）との間の関係を特徴付ける。たとえば、参照によってその全体においてここに組み込まれる非特許文献１は、陰極線管（CRT）の測定された特性に基づく、フラットパネルディスプレイのための基準EOTFを定義する。ビデオ・ストリームが与えられると、そのEOTFに関する情報は、典型的には、メタデータとしてビットストリームに埋め込まれる。本明細書で使用されるところでは、用語「メタデータ」は、符号化ビットストリームの一部として伝送され、デコードされた画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、本明細書に記載されるような、色空間または色域情報、基準ディスプレイ・パラメータ、および補助信号パラメータを含みうるが、これらに限定されない。

【非特許文献1】ITU勧告ITU-R BT. 1886、"Reference electro-optical transfer function for flat panel displays used in HDTV studio production"、03/2011

【発明の概要】

【発明が解決しようとする課題】

【0004】

現在、ほとんどの消費者向けデスクトップ・ディスプレイは、200～300cd/m²またはニトの輝度をサポートしている。ほとんどの消費者向けHDTVは300～500ニトの範囲であり、新しいモデルは1000ニトに届いている。市販のスマートフォンは、典型的には200～600ニトの範囲である。これらの異なる表示輝度レベルは、図1に示されるように、異なる周囲照明シナリオの下で画像を表示しようとするときに課題を提起する。閲覧者110は、スクリーン120上の画像（たとえば、ビデオ）を見ている。画像輝度130は、周囲光140によって「消し去られる」ことがある。周囲光140の輝度レベルは、ディスプレイ内、ディスプレイ上、またはディスプレイ付近のセンサー150によって測定できる。周囲光の輝度は、たとえば、暗い部屋での5ニトから、日光のない、よく照明された部屋での200ニトまで、あるいは間接的な日光のある部屋での400ニト、屋外での600ニト超まで変化しうる。一つの解決策は、ディスプレイの明るさ制御に線形調整を加えることであったが、これはディスプレイの明るさの不均衡をもたらす可能性がある。

【課題を解決するための手段】

【0005】

さまざまなビデオ処理システムおよび方法が、本明細書に開示される。いくつかのそのようなシステムおよび方法は、周囲の環境輝度レベルの変化とともに、画像の見え方を維持するために、画像を補償することを含んでいてもよい。方法は、いくつかの実施形態では、コンピュータで実装されてもよい。たとえば、本方法は、少なくとも部分的に、一つまたは複数のプロセッサおよび一つまたは複数の非一時的な記憶媒体を有する制御システムを介して実装されてもよい。

【0006】

いくつかの例では、表示装置のまわりの周囲光条件について補償するために画像を修正するシステムおよび方法が記述され、画像のPQ曲線を決定するステップと；周囲光条件および画像から決定された補償値に基づいて、PQ曲線についてのPQシフトを決定するステップであって、前記PQシフトは：PQ空間における補償値への加算と、それに続く線形空間における補償値の減算、または線形空間における補償値への加算と、それに続くPQ空間における補償値の減算とからなる、ステップと；PQ曲線にPQシフトを適用し、シフトされたPQ曲線を生成するステップと；シフトされたPQ曲線を用いて画像を修正するステップと、を含む。

【0007】

いくつかのそのような例では、この方法は、画像を修正する前に、画像にトーンマップを適用することを含んでいてもよい。いくつかのそのような例では、この方法は、ソフトウェア、ファームウェアまたはハードウェアによって実行されてもよく、ビデオ・デコーダの一部であってもよい。

【0008】

本明細書に記載された方法の一部または全部は、一つまたは複数の非一時的媒体に記憶された命令（たとえば、ソフトウェア）に従って一つまたは複数の装置によって実行されてもよい。そのような非一時的な媒体は、ランダムアクセスメモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むが、これらに限定されない、本明細書に記載されたもののようなメモリデバイスを含んでいてもよい。よって、本開示に記載された主題のさあざまな革新的な側面は、ソフトウェアが記憶されている非一時的媒体において実装されてもよい。ソフトウェアは、たとえば、本明細書に開示されているような制御システムの一つまたは複数の構成要素によって実行可能であってもよい。ソフトウェアは、たとえば、本明細書に開示された方法の一つまたは複数を実行するための命令を含むことができる。

【0009】

本開示の少なくともいくつかの側面は、装置（単数または複数）を介して実装されてもよい。たとえば、一つまたは複数のデバイスが、少なくとも部分的に、本明細書に開示される方法を実行するように構成されてもよい。いくつかの実装では、装置は、インターフェースシステムおよび制御システムを含んでいてもよい。インターフェースシステムは、一つまたは複数のネットワークインターフェース、制御システムとメモリシステムとの間の一つまたは複数のインターフェース、制御システムと別のデバイスとの間の一つまたは複数のインターフェース、および／または一つまたは複数の外部デバイスインターフェースを含んでいてもよい。制御システムは、汎用のシングルチップまたはマルチチップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、または離散的なハードウェアコンポーネントのうちの少なくとも1つを含んでいてもよい。よって、いくつかの実装では、制御システムは、一つまたは複数のプロセッサと、一つまたは複数のプロセッサに動作上結合された一つまたは複数の非一時的な記憶媒体とを含んでいてもよい。

【0010】

本明細書に記載される主題の一つまたは複数の実施の詳細は、添付の図面および以下の説明に記載される。他の特徴、側面、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。以下の図の相対的な寸法は、縮尺通りに描かれない場合があることに留意されたい。種々の図面における同様の参照番号および記号は、一般に、同様の要素を示すが、種々の参照番号は、異なる参照番号は必ずしも異なる図面の間での異なる要素を示すものではない。

【図面の簡単な説明】

【0011】

【図1】ディスプレイについての周囲光の例を示す。

【0012】

【図2】ディスプレイまわりの周囲光について補償する方法のための例示的なフローチャートを示す。

【0013】

【図3】異なる周囲光条件での画像中央PQの平方根対補償値についての実験データの例示的なグラフを示す。

【0014】

【図4】周辺輝度PQ対実験データの傾きとについての当てはめされた直線の例示的なグラフである。

【0015】

【図5】周辺輝度PQ対実験データのy切片についての当てはめされた直線の例示的なグラフを示す。

【0016】

【図6】例示的なPQシフト補償曲線を示す。

【0017】

【図7】明光化を減少させるように調整された例示的なPQシフト補償曲線を示す。

【0018】

【図8】アーチファクトを避けるために付加された緩和をもつ例示的なPQシフト補償曲線を示す。

【0019】

【図9】図9のAおよびBは、視覚閾値の下に設定されたクランプを用いた例示的なPQシフト補償曲線を示す。

【0020】

【図10】再正規化をもつ例示的なPQシフト補償曲線を示す。

【0021】

【図11】反射について調整された例示的なPQシフト補償曲線を示す。

【発明を実施するための形態】

【0022】

本明細書で使用されるところの用語「PQ」は、知覚的な輝度振幅量子化を指す。人間の視覚系は、光レベルの増加に対して非常に非線形的に応答する。用語「PQ空間」は、本明細書において使用されるところでは、Rec.BT.2100に記載されるような、線形輝度振幅の、非線形PQ輝度振幅への非線形マッピングを指す。刺激を見る人間の能力は、その刺激の輝度、刺激のサイズ、刺激を構成する空間周波数、および刺激を見る特定の時点において眼が順応した輝度レベルによって影響される。一例では、知覚的量子化関数は、線形の入力グレーレベルを、人間の視覚系におけるコントラスト感度閾値により良好にマッチする出力グレーレベルにマッピングする。PQマッピング関数（またはEOTF）の例は、SMPTE ST2084:2014「マスタリング基準ディスプレイの高ダイナミックレンジEOTF」に記載されており、ここでは、固定した刺激サイズが与えられて、各輝度レベル（すなわち、刺激レベル）について、その輝度レベルでの最小可視コントラストきざみが、最も敏感な順応レベルおよび最も敏感な空間周波数に従って（HVSモデルに従って）選択される。物理的な陰極線管（CRT）装置の応答曲線を表し、たまたま人間の視覚系が応答する仕方と非常におおまかな類似性を有しうる伝統的なガンマ曲線と比較して、PQ曲線は比較的単純な関数モデルを用いて人間の視覚系の真の視覚応答を模倣する。

【0023】

本稿では、PQにおけるシフトとして画像に補償を適用することにより、周囲照明条件に適合するようにディスプレイの輝度を調整する問題の解決策が記載される。図2は、ディスプレイ上の画像に該補償を適用するための例示的な方法を示す。

【0024】

周囲光の輝度測定値のデータを生成するために、ディスプレイを取り囲む領域からセンサー・データ210が取られる。センサー・データは、一つまたは複数の輝度センサーから取ることができ、センサーは、フォトレジスタ、フォトダイオード、およびフォトトランジスタのような光感応性要素を含む。次いで、このセンサー・データを使用して、Sと記すことができる周辺輝度PQ 220を計算する。この計算は、本明細書に記載のすべての計算と同様に、ディスプレイ内のまたはディスプレイに接続されたプロセッサまたはコンピュータ上などで、ディスプレイにローカルに実行することができ、または、リモート装置もしくは画像を該装置に送達するサーバー上で実行することができる。

【0025】

周辺輝度PQ Sが与えられた場合、2つの中間的な値（ここではMおよびB）がSの関数として計算できる。一例では、MおよびBは次式から計算される：
M＝a*S＋b 式1
B＝c*S²＋d*S＋e 式2
ここで、a、b、c、d、およびeは定数である。この例では、MはSの線形関数であり、BはSの二次関数である。定数は、本稿で示されるように実験的に決定できる。画像240は、それが含む輝度（たとえば、ルーマ値）の範囲について解析されることができる。

【0026】

画像はビデオのフレームであることができる。画像はビデオ・ストリームのキー・フレームであることができる。これらの輝度データから、中央PQ（mid PQ）が完全な画像から決定250できる。中央PQは画像の平均輝度を表しうる。中央PQを計算することの例は、ダウンサンプリングされた画像の各成分（たとえば、R、G、およびB）の最大値の平均をとることである。中央PQを計算することの別の例は、YC_BC_R色空間における画像のY値を平均することである。この中央PQ値はXと記すことができる。中間PQ値、最小値、および最大値は、エンコーダ側で計算され、メタデータにおいて提供されることができ、またはデコーダ側で計算されることができる。

【0027】

計算されたM値およびB値230ならびに計算されたX値250から、補償値が計算260できる。この補償値はCと記されることができ、次式から計算できる：
C＝M(√X)＋B 式3
この例でXの平方根が使われるのは、実験データについての線形関係を許容するからである。XからCを計算することはできるが、もっと複雑な関数を生じる。関数を線形に保つことは、特にソフトウェアではなくハードウェアで実装される場合には、より容易な計算を許容する。

【0028】

次いで、補償値Cがステップ270で使用されて、PQシフトされたPQ曲線によって画像を修正することができる。PQシフトは次式で表すことができる：
PQ_out＝L2PQ(PQ2L(PQ_in＋C)－PQ2L(C)) 式4
ここで、PQ_outはシフト後の結果として得られるPQであり、PQ_inはもとのPQ値であり、L2PQ()は線形空間からPQ空間へ変換する関数であり、PQ2L()はPQ空間から線形空間へ変換する関数であり、Cは（問題の画像のXと測定された周囲光についてのMおよびBの与えられた値についての）補償値である。線形空間とPQ空間との間の変換は、たとえば非特許文献１に記載されるように、当該技術分野で既知である。よって、式4は、PQ空間における加算および線形空間における減算を表す。次いで、補償された（修正された）画像280がディスプレイ上に提示される。補償は、IC_TC_P、YC_BC_Rなどのクロマ分離空間においてトーンマッピング後に行うことができる。処理はルーマ（たとえば、I）成分で行うことができるが、コンテンツの意図を維持するためには色調整（chromatic adjustment）も有用であることがありうる。補償は、RGBのような他の色空間におけるトーンマッピング後にも行うことができ、補償は各チャネルに個別に適用される。

【非特許文献1】ITU-R BT.2100、"Image parameter values for high dynamic range television for use in production and international programme exchange"

【0029】

この方法は、高周辺周囲輝度環境（high ambient surround luminance environment）（たとえば、太陽光のある戸外）において、理想的な周辺環境（たとえば、非常に暗い部屋）においての見え方と一致するように、画像に補償を提供する。理想的な周辺環境目標の例は、5ニト（cd/m²）である。詳細が可視であり続けることを保証するように、暗い詳細コントラストが増加させられる。この方法は、周囲周辺輝度環境が基準値より明るい場合などについて、画像に対して補償を提供する。基準値は、特定の値であってもよいし、または値の範囲であってもよい。

【0030】

別の実施形態では、理想よりも暗い周囲照明条件についての補償を許容するために、補償が逆にされる。そのような補償は、周囲周辺輝度環境が基準値より暗い場合についてである。たとえば、画像がもともと、明るく照らされた部屋で閲覧されることを意図されている場合、補償は、それが暗い部屋で正しい見え方を有するように設定されることができる。この実施形態については、次式に示されるように、線形空間での加算およびPQ空間での減算を有するよう、演算が逆にされる：
PQ_out＝L2PQ(PQ2L(PQ_in)＋PQ2L(C))－C 式5

【0031】

ある実施形態では、補償値Cは、異なる周囲光条件の下でさまざまな画像照明値についての補償値を主観的に決定することによって実験的に決定される。一例は、観察者が、異なる周辺輝度レベルにおけるさまざまな画像について、適切な補償量を主観的に選択する心理視覚的実験を通してデータを得ることであろう。このタイプのデータの例を図3に示す。グラフは、5つの異なる周囲光条件（この場合、22、42、77、139、および245ニト；暗い部屋からよく照明された条件まで）についての主観的に選択された補償値に対してプロットされた画像中央PQ値の平方根のデータ点310を示す。これらの点310から、各周囲光条件についてのデータ点について、傾向直線320が当てはめ〔フィッティング〕されることができる。画像中央値の平方根が使用されるので、これらの点を線形回帰で当てはめすることがより容易である。暗い周囲条件で明るいPQ中央点を有する画像は、ゼロ補償で底を打つデータ点330を有する。これらの点は、傾向直線を誤って歪ませるため、当てはめのためには考慮されない。

【0032】

これらの線320から、2つの有用な値を決定することができる。すなわち、直線の傾きΔCompensation/Δsqrt(ImageMid)、およびy切片、すなわち、sqrt(ImageMid)＝0におけるCompensationの値である。ここで、sqrt(x)は、xの平方根、たとえば√xを表す。次いで、これらの勾配およびy切片は、図4および図5に示されるように、さらなる関数に当てはめされることもできる。

【0033】

図4は、Compensation対sqrt(ImageMid)の直線（たとえば、図3に示されるもの）の傾き対周辺（周囲）輝度PQに直線410を当てはめること（線形回帰）の例を示す。いくつかの実施形態では、当てはめのために余分なデータ点420が追加される。これは、傾きおよび周辺輝度PQが基準（理想）周辺輝度について0補償を与えるようにするためである。この当てはめから、式1で使用するために、周辺輝度Sに関するMの関数が見出せる（図2参照）。これは、式1についての補償値aおよびbの計算を許容する（aはこの当てはめ直線の傾きであり、bはこの当てはめ直線のy切片である）。次いで、これらの値は、測定されたS周辺輝度とともに式1に入れられ、その周辺輝度（たとえば5ニト）についてのM値を決定することができる。

【0034】

図5は、Compensation対sqrt(ImageMid)の直線（たとえば、図3に示されるもの）のy切片対周辺（周囲）輝度PQに曲線510（二次多項式）を当てはめする例を示す。いくつかの実施形態では、余分なデータ点520が追加される。これは、y切片および周囲輝度PQがある基準（理想）周辺輝度についてゼロ補償を与えるようにするためである。

【0035】

図6は、式4によって生成される例示的なPQシフト（PQ周辺調整［PQ Surround Adjustment］）を示す。3つの黒丸は、トーンマッピングが行われた後の画像の最小610、中央点620、および最大630を表す。実線640は、0.3の補償値を用いたPQシフト方法を使用する調整である（式4から計算される）。破線650は、補償なしの値を表す。画像の最小610は、約[0.01,0.21]に位置する。画像にはこのレベルより下の内容は含まないため、この例では、画像が過剰に明るくされる（over-brightened）ことがありうる。

【0036】

いくつかの実施形態では、この過剰に明るくする問題は、PQ曲線における追加的なシフトを実行することによって克服できる。この補償は、トーンマッピング後の画像の最小ピクセル値に基づいてPQ値をシフトすることによって達成でき、それにより、コントラスト向上は、ピクセルが位置するところでのみ維持され、過剰に明るくするアーチファクトが最小化される。この一例が図7に示されており、ここで、図6からの曲線640がシフトされて新しい曲線740を生成し、ここで、最小点710がゼロ補償650（PQ_in＝PQ_out）に調整され、中央点720および最大730を含む他の値がそのシフトからしかるべく調整される。

【0037】

いくつかの実施形態では、最小値での鋭いカットオフによって生じるバンディング・アーチファクト（banding artifacts）を防止するために、PQ補償曲線への追加的な調整ができる。画像の最小PQ（TminPQ）から何らかの小さな値（たとえば、36/4096）以内の入力点の三次ロール（cubic roll）によって緩和（ease）が実装できる。この値は、バンディング・アーチファクトを低減する最小値を実験的に決定することによって見出せる。また、値は、たとえば緩和を可視化し、どんな値がゼロ補償点へのなめらかな遷移を提供するかを決定することによって、任意に選択することもできる。

【0038】

図8は、バンディングを防止するための緩和の使用の例を示す。もとの補償曲線840は、ゼロ補償線650との交点において鋭い遷移845を有する。画像の最小PQ（これは、この例については、たとえば図7に示されるように、交差点845にある）から最小PQよりも上に何らかの小さな値だけインクリメントされた点（たとえば、TminPQ＋36/4096）まで、出入り緩和が実行される。
緩和は、0と1の間の値を返す三次のロールオフ関数であることができ、最小PQの近くでは0が返され、インクリメントされた値では1が返される。（MATLAB（登録商標））での例示的なアルゴリズムは、以下の通りである。ここで、ある実施形態では、限定なしに、cubicEase()は、TminPQとTminPQ＋36/4096の間の入力PQ値と、[0,1]内の出力alphaについての、単調増加するシグモイド様関数である：

【表1】

【0039】

本明細書で使用するところでは、用語「緩和」（ease）とは、ベジェまたはスプライン変換／補間が適用される（グラフ化されたデータの曲率が変化する）ように、非線形関数をデータに適用する関数を指す。「入口緩和」（ease-in）とは、データの開始付近（ゼロ付近）の変換をいい、「出口緩和」（ease-out）とは、データの終了付近（最大値付近）の変換をいう。「出入り」（in-and-out）とは、データの開始と終了の両方に近い変換を意味する。該変換のための具体的なアルゴリズムは、緩和のタイプに依存する。当技術分野で知られているいくつかの緩和関数がある。たとえば、三次出入り、正弦出入り、四次出入り、二次出入りなどである。緩和は、鋭い遷移を防ぐために、曲線の内外で適用される。

【0040】

いくつかの実施形態では、理想的な周辺照明状況（たとえば、5ニトの周囲光）では見えなかったであろう暗い詳細の不必要な伸長を防止するために、補償は、閾値PQ値より下では適用されないようにクランプされることができる。閾値PQ値は、理想的な条件（たとえば、5ニトの周囲光、ピクチャー高さ3つ分の距離での閲覧）の下で人間の閲覧者が詳細を決定できなくなる点を決定することによって、実験的に決定できる。これらの実施形態については、（PQ_inについては）この閾値PQより下ではPQシフト（式4）は適用されない。この一例が図9のAおよびBに示されている。図9Aは、PQ補償910（図6に示されるような）と、過剰な明るさの調整（図7に示されるような）のあるPQ補償920とのグラフを、理想的な条件のもとでそれより下では詳細が判別できないであろうPQ閾値を示す線930とともに示している。図9Bは、原点付近で拡大された図9Aのグラフを示す。この手順は、トーンマッピング後に行われ、OLEDディスプレイのような低黒レベルのディスプレイについて重要でありうる。

【0041】

いくつかの実施形態では、補償は、最大値、たとえば0.55を有するようにクランプされることができる。これは、上述の閾値PQクランプの有無にかかわらず行うことができる。最大値クランプは、ハードウェア実装のために有用でありうる。下記は、0.55での最大値クランプのための例示的なアルゴリズムを示すための例示的なMATLAB（登録商標）コードである。ここで、周囲補償は、PQ(Surr)における目標周囲周辺輝度と、画像のソース中央値（L1Mid）とに基づいて適用される。A、B、C、D、Eは、上記の式1、2に示されるa、b、c、d、eについて実験的に導出された値である：

【表2】

【0042】

いくつかの実施形態では、PQ補償曲線は、あるPQ_in点上で線形であるように単純化できる。たとえば、補償は（全範囲[0 1]のうち）0.5のPQ上で線形であるように計算でき、次の例示的なアルゴリズムを提供する：
PQ_in＜0.5の場合
PQ_out＝L2PQ(PQ2L(PQ_in＋C)－PQ2L(C)) 式6
PQ_in≧0.5の場合
PQ_out＝PQ_in＋C 式7
その特定のPQ点上でのこの単純化は、この方法のハードウェア実装のために有用でありうる。

【0043】

場合によっては、周囲光補償は、いくつかのピクセルを、目標ディスプレイの範囲外に押し出することがある。いくつかの実施形態では、これについて補償し、画像を正しい範囲に再正規化するよう、ロールオフ曲線がさらに適用されることができる。これは、ソース・メタデータ（たとえば、最小、平均（または中央点）、および最大輝度を記述するメタデータ）とともにトーンマッピング曲線を使用することによって行うことができる。限定なしに、例示的なトーンマッピング曲線は、米国特許第10,600,166号および第8,593,480号に記載されており、いずれも、その全体が参照により本明細書に組み込まれる。トーンマッピングされた画像の、結果として得られる最小値、中央点値、最大値をとり（周囲光補償、たとえば式4を適用する前に）、それらの値に周囲光補償を適用し、次いで、結果として得られた画像を、トーンマッピング技法を用いて目標ディスプレイにマッピングする。たとえば、参照によりその全体が本明細書に組み込まれる米国特許出願公開第2019/0304379号を参照されたい。ロールオフ曲線の一例が図10に示されている。このロールオフの主な特徴は、最小1010点および最大1020点が目標ディスプレイの範囲内にとどまることである。その結果は、我々のトーンカーブの動的なトーンマッピング特性のために、より明るい画像1030は、ハイライト・ロールオフが少なくなり（暗／中央コントラスト向上を損なう）、より暗い画像1040は、より多くの暗い詳細向上を有する（ハイライト詳細を損なう）ことになる。

【0044】

いくつかの実施形態では、ディスプレイ・スクリーンからの反射を補償するために、さらなる補償を行うことができる。いくつかの実施形態では、スクリーンから反射される光の量は、次の式8のようにして、スクリーンの反射特性を用いてセンサー値から推定されうる。
反射光（ReflectedLight）＝センサー輝度*スクリーン反射 式8
スクリーンから反射された光は、画像への光の線形加算として扱うことができ、基本的には、ディスプレイの黒レベルを上昇させる。これらの実施形態では、トーンマッピングは、より高い黒レベルに対して（たとえば、反射光のレベルに対して）行われ、トーンカーブ計算の終わりに、反射による追加の光度について補償するために、線形空間で減算が行われる。たとえば、式9を参照。
PQ_out＝L2PQ(PQ2L(PQ_in)－ReflectedLight) 式9
反射補償付きトーンカーブの一例を図11に示す。最小1110レベルおよび最大1120レベルは、反射補償が適用される前と同じままであるが、下端1130でのコントラストは、ピクセルに適用される曲線1140上で実質的に増加している。期待される反射光を加えることは、所望の画質により近い知覚されるトーンカーブ1150を生じる。

【0045】

本開示のいくつかの実施形態が記述されてきた。それにもかかわらず、本開示の精神および範囲から逸脱することなく、さまざまな修正を行うことができると理解されるであろう。よって、他の実施形態が以下の特許請求の範囲内にある。

【0046】

よって、本明細書に記載されるように、本発明の実施形態は、以下に列挙される例示的実施形態の一つまたは複数に関連しうる。よって、本発明は、本発明のいくつかの部分の構造、特徴、および機能性を記載した以下の箇条書き例示的実施形態（Enumerated Example Embodiment、EEE）を含むがそれらに限定されない、本明細書に記載される形の任意のもので具現されることができる。

【0047】

〔EEE１〕表示装置のまわりの周囲光条件について補償するために画像を修正する方法であって、当該方法は：前記画像の知覚的輝度振幅量子化（PQ）データを決定するステップと；前記周囲光条件および前記画像から決定された補償値に基づいて、前記PQデータについてのPQシフトを決定するステップであって、前記PQシフトは：PQ空間での前記補償値への加算と、それに続く線形空間での前記補償値の減算、または線形空間での前記補償値への加算と、それに続くPQ空間での前記補償値の減算とからなる、ステップと；前記画像に前記PQシフトを適用し、前記画像の前記PQデータを修正するステップとを含む、方法。

【0048】

〔EEE２〕前記PQシフトを適用する前に前記画像にトーンマップを適用するステップをさらに含む、箇条書き例示的実施形態１に記載の方法。

【0049】

〔EEE３〕前記補償値は、C＝M√X＋Bから計算され、ここで、Cは前記補償値であり、Mは、周辺輝度値の関数であり、Xは、前記画像の中央PQ値であり、Bは、周辺輝度値の関数である、箇条書き例示的実施形態１または２に記載の方法。

【0050】

〔EEE４〕関数MおよびBが、異なる周囲光条件下での画像PQ補償値の主観的な知覚的評価から導出された実験データから導出される、箇条書き例示的実施形態３に記載の方法。

【0051】

〔EEE５〕Mは、周辺輝度値の線形関数であり、Bは、周辺輝度値の二次関数である、箇条書き例示的実施形態３または４に記載の方法。

【0052】

〔EEE６〕追加的なPQシフトを前記画像に適用することをさらに含み、前記追加的なPQシフトは、最小ピクセル値がゼロの補償値を有するように前記画像を調整する、箇条書き例示的実施形態１ないし５のうちいずれか一項に記載の方法。

【0053】

〔EEE７〕前記PQシフトに緩和を適用することをさらに含む、箇条書き例示的実施形態１ないし６のうちいずれか一項に記載の方法。

【0054】

〔EEE８〕閾値より下では適用されないように、前記PQシフトをクランプすることをさらに含む、箇条書き例示的実施形態１ないし７のうちいずれか一項に記載の方法。

【0055】

〔EEE９〕前記PQシフトは、所定のPQを上回る線形関数として計算される、箇条書き例示的実施形態１ないし８のうちいずれか一項に記載の方法。

【0056】

〔EEE１０〕前記画像にロールオフ曲線を適用することをさらに含む、箇条書き例示的実施形態１ないし９のうちいずれか一項に記載の方法。

【0057】

〔EEE１１〕表示装置上の期待されるスクリーン反射についての補償を提供するトーンカーブ計算の終了時に、線形空間で前記PQデータから反射補償値を減算することをさらに含む、箇条書き例示的実施形態１ないし１０のうちいずれか一項に記載の方法。

【0058】

〔EEE１２〕前記反射補償値が、前記装置の周辺輝度値の関数である、箇条書き例示的実施形態１１に記載の方法。

【0059】

〔EEE１３〕前記PQシフトを適用することがハードウェアまたはファームウェアで実行される、箇条書き例示的実施形態１ないし１２のうちいずれか一項に記載の方法。

【0060】

〔EEE１４〕前記PQシフトを適用することがソフトウェアで実行される、箇条書き例示的実施形態１ないし１２のうちいずれか一項に記載の方法。

【0061】

〔EEE１５〕前記周囲光条件は、前記表示装置内、前記表示装置上、または前記表示装置の近くのセンサーによって決定される、箇条書き例示的実施形態１ないし１４のうちいずれか一項に記載の方法。

【0062】

〔EEE１６〕箇条書き例示的実施形態１ないし１２のうちいずれか一項に記載の方法を実行するように構成された、ハードウェアもしくはソフトウェアまたはその両方を有するビデオ・デコーダ。

【0063】

〔EEE１７〕プロセッサによって実行されると、箇条書き例示的実施形態１ないし１２のうちいずれか一項に記載の方法を実行させる記憶されたソフトウェア命令を有する非一時的なコンピュータ読み取り可能媒体。

【0064】

〔EEE１８〕箇条書き例示的実施形態１ないし１２のうちいずれか一項に記載の方法を実行するように構成された少なくとも1つのプロセッサを有するシステム。

【0065】

本開示は、本明細書に記載されたいくつかの革新的な側面、およびこれらの革新的な側面が実装されうるコンテキストの例を記述する目的のためにある種の実装に向けられている。しかしながら、本明細書の教示は、さまざまな異なる仕方で適用できる。さらに、記載された実施形態は、多様なハードウェア、ソフトウェア、ファームウェアなどで実装することができる。たとえば、本願の諸側面は、少なくとも部分的に、装置、複数のデバイスを含むシステム、方法、コンピュータ・プログラム・プロダクトにおいて具現することができる。よって、本願の諸側面は、ハードウェアの実施形態、ソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）および／またはソフトウェアとハードウェアの両側面を組み合わせた実施形態の形をとることができる。そのような実施形態は、本明細書では、「回路」、「モジュール」、「デバイス」、「装置」または「エンジン」と称されることがある。本願のいくつかの側面は、その上に具現されたコンピュータ読み取り可能なプログラムコードを有する一つまたは複数の非一時的な媒体において具現されたコンピュータ・プログラム・プロダクトの形をとることができる。そのような非一時的な媒体は、たとえば、ハードディスク、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、消去可能なプログラマブルリードオンリーメモリ（EPROMまたはフラッシュメモリ）、ポータブルなコンパクトディスクリードオンリーメモリ（CD-ROM）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むことができる。よって、本開示の教示は、図面に示されるおよび／または本明細書に記載される実装に限定されることは意図されておらず、その代わりに、広範な適用可能性を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】