特許第6362793号(P6362793)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特許6362793ハイダイナミックレンジ映像のためのディスプレイマネジメント
<>
  • 特許6362793-ハイダイナミックレンジ映像のためのディスプレイマネジメント 図000026
  • 特許6362793-ハイダイナミックレンジ映像のためのディスプレイマネジメント 図000027
  • 特許6362793-ハイダイナミックレンジ映像のためのディスプレイマネジメント 図000028
  • 特許6362793-ハイダイナミックレンジ映像のためのディスプレイマネジメント 図000029
  • 特許6362793-ハイダイナミックレンジ映像のためのディスプレイマネジメント 図000030
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6362793
(24)【登録日】2018年7月6日
(45)【発行日】2018年7月25日
(54)【発明の名称】ハイダイナミックレンジ映像のためのディスプレイマネジメント
(51)【国際特許分類】
   H04N 9/64 20060101AFI20180712BHJP
   G06T 1/00 20060101ALI20180712BHJP
   H04N 1/46 20060101ALI20180712BHJP
   H04N 1/407 20060101ALI20180712BHJP
【FI】
   H04N9/64 Z
   G06T1/00 510
   H04N1/46
   H04N1/407
【請求項の数】17
【全頁数】20
(21)【出願番号】特願2017-549366(P2017-549366)
(86)(22)【出願日】2016年1月14日
(65)【公表番号】特表2018-510574(P2018-510574A)
(43)【公表日】2018年4月12日
(86)【国際出願番号】US2016013352
(87)【国際公開番号】WO2016118395
(87)【国際公開日】20160728
【審査請求日】2017年9月19日
(31)【優先権主張番号】62/105,139
(32)【優先日】2015年1月19日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】アトキンス,ロビン
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特表2016−514395(JP,A)
【文献】 米国特許出願公開第2013/0050245(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40
G06T 3/00−5/50
G06T 9/00−9/40
G09G 5/00−5/36
G09G 5/377−5/42
H04N 1/40−1/409
H04N 1/46−1/62
H04N 9/44−9/78
(57)【特許請求の範囲】
【請求項1】
以下の工程を包含する方法:
第1のダイナミックレンジを備えた第1の色空間における入力画像にアクセスする工程と、
前記入力画像に色変換ステップを適用して、知覚的量子化IPT(IPT−PQ)色空間における第1の出力画像を決定する工程であって、前記第1の出力画像は、明度画素値およびクロマ成分画素値を有しており、前記色変換ステップは、前記入力画像の関数に非線形な知覚的量子化器関数を適用する工程を含む、工程と、
前記第1の出力画像にカラーボリュームマッピング関数を適用して、トーンマッピングされた出力画像を生成する工程であって、前記トーンマッピングされた出力画像は、明度画素値およびクロマ成分画素値を有しており、
前記カラーボリュームマッピング関数は、トーンマッピング関数、彩度マッピング関数、および画素彩度推測関数を含み、
前記トーンマッピング関数は、前記第1の出力画像の前記明度画素値に非線形マッピングを適用することにより、前記トーンマッピングされた出力画像の前記明度画素値を生成し、
前記彩度マッピング関数は、明度の変化に基づいて前記第1の出力画像の前記クロマ成分画素値を調整することにより、前記トーンマッピングされた出力画像の前記クロマ成分画素値を生成し、
前記画素彩度推測関数は、前記第1の出力画像の前記クロマ成分画素値の2乗和として彩度メトリック(S)を算出し、前記彩度メトリックは、前記トーンマッピングされた出力画像に適用されて、明るい飽和色を暗くし、かつ、飽和度が高い色の飽和度を下げ、これにより、前記明度画素値および前記クロマ成分画素値を変更する、工程と
前記トーンマッピングされた出力画像の前記変更された明度画素値にディテール保存関数を適用して、トーンマッピングされフィルタリングされた出力画像の明度画素値を生成する工程であって、前記トーンマッピングされフィルタリングされた出力画像は、前記トーンマッピングされた出力画像の前記変更されたクロマ成分画素値を有する、工程。
【請求項2】
前記色変換ステップを適用する工程はさらに、
前記入力画像から非線形符号化を除去して、線形画像を生成する工程と、
前記線形画像をLMS色画像に変換する工程と、
前記LMS色画像に前記非線形な知覚的量子化器(PQ)関数を適用して、前記第1の出力画像を生成する工程と、
を含む、請求項1に記載の方法。
【請求項3】
前記非線形な知覚的量子化器関数は、SMPTE ST 2084のマッピング関数を含む、請求項2に記載の方法。
【請求項4】
前記トーンマッピング関数は、パラメータ化されたS字形トーン曲線関数として表現され、前記関数のパラメータは、ソースディスプレイおよびターゲットディスプレイの特性に基づいて決定される、請求項1〜3のいずれかに記載の方法。
【請求項5】
前記ソースディスプレイの前記特性は、前記ソースディスプレイの最小輝度値および最大輝度値を含む、請求項4に記載の方法。
【請求項6】
前記ターゲットディスプレイの前記特性は、前記ターゲットディスプレイの最小輝度値および最大輝度値を含む、請求項4または請求項5に記載の方法。
【請求項7】
前記ソースディスプレイの前記特性は、受信されたソースディスプレイメタデータを介してアクセスされる、請求項4〜6のいずれかに記載の方法。
【請求項8】
前記S字形トーン曲線関数は、
【数1】
と表され、ここで、C,C,C,Slope,およびRolloffは、前記トーンマッピング関数の前記パラメータを規定する定数であり、前記第1の出力画像の明度画素値によって表される入力Iに対し、Iは、前記トーンマッピングされた出力画像の対応明度画素値によって表される対応出力値である、請求項4〜7のいずれかに記載の方法。
【請求項9】
前記トーンマッピング関数のパラメータはさらに、前記トーンマッピングされた出力画像の全体的な輝度とコントラストとを調整するように、Brightness値とContrast値とに基づいて決定される、請求項4〜8のいずれかに記載の方法。
【請求項10】
前記彩度マッピング関数は、
【数2】
と表され、ここで、Iは前記トーンマッピング関数の出力を表しており、Iは前記第1の出力画像の前記明度画素値を表し、
前記カラーボリュームマッピング関数を適用する工程は、
【数3】
を算出する工程を含み、ここで、Sは、前記画素彩度推測関数により生成された前記彩度メトリックを表しており、αおよびβは入力の重みを表し、f(I)は前記トーンマッピング関数を表し、fSM(I)は前記彩度マッピング関数を表し、Iは、前記第1の出力画像の前記明度画素値を表し、PおよびTは、前記第1の出力画像の前記クロマ成分画素値を表し、Iは、前記トーンマッピングされた出力画像の前記明度画素値を表し、PおよびTは、前記トーンマッピングされた出力画像の前記クロマ成分画素値を表す、請求項1〜9のいずれかに記載の方法。
【請求項11】
前記(1−S*α)および(1−S*β)の値は、ゼロより常に大きくなるようにクランプされる、請求項10に記載の方法。
【請求項12】
前記ディテール保存関数を適用する工程は、
【数4】
を算出する工程をさらに含み、ここで、F(D,H)は、カーネルHを有するフィルタを画像Dに適用することを表しており、Iは、前記第1の出力画像の明度画素値を表し、
は、前記トーンマッピングされた出力画像の前記明度画素値を表し、Imfは、前記トーンマッピングされフィルタリングされた出力画像の前記明度画素値を表し、Bはブラーフィルタの出力を表し、Exは水平エッジ検出フィルタの出力を表し、Eyは鉛直エッジ検出フィルタの出力を表し、WMSEおよびWMSは重みである、請求項1〜11のいずれかに記載の方法。
【請求項13】
前記出力Ex、前記出力Ey、前記重みWMSEおよび前記重みWMSで表される前記E出力値はさらに、0と1の間に納まるようにクランプされる、請求項12に記載の方法。
【請求項14】
前記カーネルHは、2に等しい標準偏差による5×11ガウシアンフィルタを含む、請求項12または請求項13に記載の方法。
【請求項15】
前記カーネルHはローパスフィルタを含む、請求項12〜14のいずれかに記載の方法。
【請求項16】
プロセッサを含んでおり、かつ請求項1〜15に記載の方法のいずれかを実行するように構成された装置。
【請求項17】
請求項1〜15のいずれかによる方法を実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2015年1月19日付け出願の米国仮特許出願第62/105,139号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。
【0002】
技術
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、ハイダイナミックレンジまたはエンハンストダイナミックレンジを備える画像のディスプレイマネジメント処理に関する。
【背景技術】
【0003】
背景
本明細書で用いるとき、「ダイナミックレンジ」(DR)という用語は、画像においてある範囲(例えば最暗部(黒)から最明部(白)まで)の強度(例えば、輝度、ルマ)を知覚する人間の視覚システム(HVS)の能力に関し得る。この意味で、DRは、「シーン−リファード」(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスがある特定の幅の強度範囲を妥当にまたは近似的に描画する能力にも関し得る。この意味で、DRは、「ディスプレイ−リファード」(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に重要であると明示的に指定しない限り、この用語をどちらの意味でも(例えば区別なく)用い得ると理解されたい。
【0004】
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)において14〜15桁ほどにわたるDR幅に関する。実際には、人間が、広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)あるいは視覚的ダイナミックレンジ(VDR)という用語は、個々にまたは区別なく、人間の視覚システム(HVS)によって同時に感知可能なDRに関し得る。本明細書において、EDRは、5〜6桁にわたるDRに関し得る。従って、真のシーンリファードのHDRに対して幾分狭いものの、EDRは、広いDR幅を示しており、HDRと呼ばれることもある。
【0005】
実際において、画像は1つ以上の色成分(例えば、輝度Y、ならびに色差CbおよびCr)を含み、各色成分は、nビット/ピクセル(例えばn=8)の精度で表現される。線形輝度符号化を用いると、n≦8であるような画像(例えばカラー24ビットJPEG画像)はスタンダードダイナミックレンジの画像と考えられる一方で、n>8であるような画像はエンハンストダイナミックレンジの画像と考えてよい。EDRおよびHDR画像はまた、Industrial Light and Magic社が開発したOpenEXRファイルフォーマットのような高精度(例えば16ビット)浮動小数点フォーマットを用いても、格納および配信することが可能である。
【発明の概要】
【0006】
殆どの民生用デスクトップディスプレイは、200から300cd/m2すなわちニトまでの輝度をサポートする。殆どの民生用HDTVは、300から1000cd/m2までの範囲に亘る。このような従来のディスプレイは、ゆえに、ローダイナミックレンジ(LDR)(HDRまたはEDRに対してスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型である。撮影機器(例えばカメラ)とEDRディスプレイ(例えばDolby Laboratories製のPRM−4200プロフェッショナルリファレンスモニタ)の両方における進歩によるEDRコンテンツの利用可能性の増大にともない、より高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上まで)をサポートするEDRディスプレイ上において、EDRコンテンツをカラーグレーディングし、表示し得る。一般に、本開示の方法は、SDRよりも高い任意のダイナミックレンジに関する。本発明者らの理解によれば、後方互換性と、より優れた没入体験との両方のために、ハイダイナミックレンジ画像のHDRおよびSDRディスプレイ上へのディスプレイマネジメントを行なうための、改良技術が望まれる。
【0007】
本明細書で用いるとき、「ディスプレイマネジメント」という用語は、第1のダイナミックレンジ(例えば1000ニト)の入力映像信号を第2のダイナミックレンジ(例えば500ニト)のディスプレイにマッピングするために必要とされる処理(例えば、トーンおよび色域のマッピング)を指す。
【0008】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【0009】
図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【0010】
図1図1は、本発明のある実施形態による、EDR画像のディスプレイマネジメント処理の一例を表す。
図2図2は、本発明のある実施形態による、入力EDRデータを入力色空間から知覚的量子化空間へと変換する処理の一例を表す。
図3図3は、本発明のある実施形態による、EDR画像をカラーボリューム(color volume)マッピングする処理の一例を表す。
図4図4は、本発明のある実施形態による、ディテール保存処理の一例を表す。
図5図5は、本発明のある実施形態による、出力色変換処理の一例を表す。
【発明を実施するための形態】
【0011】
実施形態例の説明
エンハンストダイナミックレンジ(EDR)画像の効率的なディスプレイマネジメント(例えばトーンおよび色域のマッピング)を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項抜きでも本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0012】
概要
本明細書に記載の実施形態例は、EDR画像の効率的なディスプレイマネジメントに関する。ディスプレイマネジメントプロセッサが、ソースリファレンスディスプレイとは異なるダイナミックレンジを有したターゲットディスプレイに表示されることになる、エンハンストダイナミックレンジを備えた入力画像を受信する。この入力画像を、まず、入力色空間(例えば、RGBまたはYCbCr)から知覚的量子化(PQ)色空間、好ましくはIPT−PQ色空間へと変換する。適応的トーンマッピング関数と適応的色域マッピング関数とを含むカラーボリュームマッピング関数により、第1のマッピング画像を生成する。ディテール保存ステップを、第1のマッピング画像の明度(intensity)成分に適用して、トーンマッピングされフィルタリングされた明度(filtered tone−mapped intensity)の画像を有する最終的なマッピング画像を生成する。最終的なマッピング画像を、その後、ディスプレイの好適な色空間へと変換し戻す。適応的なトーンマッピング関数および色域マッピング関数の例を提供する。
【0013】
ディスプレイマネジメント処理パイプラインの例
図1は、本発明のある実施形態による、EDR画像(また、HDR画像と呼ぶこともある)のディスプレイマネジメント処理の一例を表す。本処理は、2014年2月13日付け出願のPCT出願シリアル番号第PCT/US2014/016304号(以下、「‘304出願」と呼ぶ)に記載されたディスプレイマネジメント処理と多くの類似点を共有しており、この出願の開示内容を全て本願に援用する。但し、提案される実施形態は複数の改良点を含み、これにより、演算的な複雑さを低減しつつも、全体的な画質を向上させることが可能となる。
【0014】
図1に表わすように、ビデオプロセッサ(例えば、メディアサーバー、セットトップボックス、画像ディスプレイ、またはその他の適切な画像プロセッサ)は、EDR入力VI(102)ならびにオプションとして、付随するソースとコンテンツとのメタデータ(104)、およびターゲットメタデータ(106)を受信する。EDR入力(102)は、画像シーケンスが有するあるフレームの一部またはあるフレーム全体を含むことができ、例えばEDR映像信号などである。本明細書で用いるとき、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画するのに役立つ、任意の補助的情報に関する。このようなメタデータは、本明細書に記載の、色空間または色域の情報、リファレンスディスプレイパラメータ、および補助的信号パラメータを含み得るが、これらのみに限定はされない。
【0015】
受信されたEDR入力(102)は、RGB色形式で表現されていてもよいし、あるいはYCbCrやXYZなどの、その他任意の色空間にあってもよい。受信画像は、ターゲットディスプレイモニタとは異なったダイナミックレンジおよび色域上の特性を有し得るリファレンスEDRモニタにおいて、カラーグレーディングを施されていてもよい。本明細書で用いるとき、「カラーグレーディング」という用語は、「色のアーチファクトを補正するように、かつ/または制作意図に調和するように、画像または映像の色を調整する処理」を指す。
【0016】
EDR入力(102)はまた、プログラム制作中に画像をカラーグレーディングするために使用されたディスプレイに関する、ソースディスプレイメタデータ(104)をも含み得る。例えば、このようなメタデータは、リファレンス電気−光学伝達関数(EOTF)(例えば、Rec.ITU−R BT.1866(03/2011)またはSMPTE ST 2084:2014)を含むことができる。EDR入力はまた、ソースディスプレイまたはリファレンスディスプレイの最大および最小輝度、データの最大、最小、および平均的ミッドトーン、ならびにカラーグレーディング時の周囲光強度などの、追加的なソースディスプレイとコンテンツとのメタデータ(104)を含んでいてもよい。例えば、リファレンスモニタについてのメタデータは、制作に使用された以下のようなパラメータ例を含み得る。すなわち、
ソースモニタ最小輝度、Smin=0.005ニト
ソースモニタ最大輝度、Smax=4000ニト
周囲光、Samb=10ニト
ガンマ、Sgamma=2.4
色空間=DCI P3、白色点=D65
である。
【0017】
リファレンスモニタについてのメタデータは、典型的には一度のみ送信すればよい。しかし、映像データについてのメタデータは、フレーム毎に、シーン毎に、あるいは変化がある度に、送信することができる。もしもソースコンテンツに関するメタデータが無いならば、いくつかの実施形態において、このようなデータは、ソース映像コンテンツを解析することによって抽出できる。ターゲットメタデータ(106)は、ターゲットディスプレイによって供給され、ターゲットディスプレイ特性(例えば、最大輝度、色域など)を表現し得る。
【0018】
IPT−PQ色空間
ある好適な実施形態において、処理パイプライン(100)は、知覚的量子化IPTまたはIPT−PQ色空間と呼ぶことにする色空間において実行する。但し、同様な処理ステップを、線形RGB、ガンマRGB、YCbCr、XYZ、CIE−Labなどの、他の色空間において実行してもよい。本発明者の理解によると、IPT−PQ色空間において演算処理を行なえば、ディスプレイマネジメントパイプラインを固定小数点で、かつより低いビット深度において実行することや、トーンマッピングおよび色域マッピングの演算による色のアーチファクトを低減することなどの、数々の利点が提供される。本願にその全文が援用される、F.EbnerおよびM.D.Fairchildによる「Development and testing of a color space (ipt) with improved hue uniformity」、Proc.6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona、1998年11月、8〜13ページ(以下、「Ebner論文」と呼ぶ)に記載のIPTは、人間の視覚システムにおける錐体間の色差のモデルである。その意味ではYCbCrまたはCIE−Lab色空間のようであるが、いくつかの科学的研究において、これらの空間よりも人間の視覚処理をより良く模擬することが分かっている。CIE−Labと同様に、IPTは、何らかの参照輝度に対する正規化された空間である。ある実施形態において、正規化は、ターゲットディスプレイの最大輝度に基づく。
【0019】
本明細書において、用語「PQ」は知覚的量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を視る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。PQマッピング関数の一例は、J.S.Millerらによる2012年12月06日出願の「Perceptual luminance nonlinearity−based image data exchange across different display capabilities」という表題のPCT出願シリアル番号第PCT/US2012/068212号(以下、「‘212出願」と呼ぶ)に記載されており、この出願の開示内容を全て本願に援用する。ある固定刺激サイズに対し、それぞれの輝度レベル(即ち、刺激レベル)について、最高感度の適応レベルおよび最高感度の空間周波数(HVSモデルによる)に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管(CRT)装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな意味での類似性を偶然有し得る従来のガンマ曲線と比較すると、‘212出願において決定されているPQ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの真の視覚応答を模擬している。
【0020】
PQ曲線に基づくEOTFの一例が、SMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」において規定されており、この文献の開示内容を全て本願に援用する。知覚的量子化EOTFのもう一つの例が、J.Stessen他による「Chromaticity based color signals for wide color gamut and high dynamic range」、2014年10月、ISO/IEC JTC1/SC29/WG11 MPEG2014/M35065において提示されており、この文献の開示内容を全て本願に援用する。
【0021】
表1は、表示時点においてデジタルビデオ符号値を絶対線形輝度レベルに変換するための知覚的曲線EOTFの計算を示している。絶対線形輝度をデジタル符号値に変換するための逆EOTF(OETF)の計算も含まれている。
(表1)
例示的な等式定義:
D=知覚的曲線デジタル符号値、SDI−legal符号無し整数、10または12ビット
b=デジタル信号表現における成分毎のビット数、10または12
V=正規化された知覚的曲線信号値、0≦V≦1
Y=正規化された輝度値、0≦Y≦1
L=絶対輝度値、0≦L≦10,000cd/m2

例示的なEOTF復号化等式:
例示的な逆EOTF符号化等式:
例示的な定数:

備考:
1.演算子INTは、0〜0.4999...の範囲の小数部に対しては値0を返し、0.5〜0.9999...の範囲の小数部に対しては+1を返す(即ち、0.5以上の小数部は切り上げ)。
2.丸めの問題を回避するために、定数は全て12ビット有理数の正確な倍数として定義する。
3.R、GまたはB信号成分は、上記のY信号成分と同じ方法で算出する。
【0022】
図2は、ある実施形態による色変換ステップ(110)の処理例を、より詳細に表わしている。図2に示すように、第1の色形式(例えば、YCbCr4:2:0またはRGBガンマ4:4:4)で表現された入力EDR信号VI(102)が与えられると、これを、色空間変換ステップ(110)において、知覚的に補正されたIPT色空間(IPT−PQ)における信号VIL(112)へと変換する。この色変換は、以下のステップを含み得る。すなわち、
a)ステップ(215)において、必要ならば、クロマ(色度)アップサンプリングその他の前処理演算(例えば、範囲(0,1)に納まるように入力をスケーリングする)を実行して、出力(217)を生成し得る。
b)入力EDR信号(102)は、ガンマ符号化またはPQ符号化されている可能性があり、そのいずれであるかは、典型的にはソースメタデータ(104)を使用して示される(signaled)。ステップ(220)において、EOTF(メタデータ(104)によって提供される)を使用して、ソースディスプレイによる符号化値から輝度への変換を、逆転あるいは元に戻すことができる。例えば、もしも入力信号がガンマ符号化されているならば、本ステップは、逆ガンマ関数を適用する。もしも入力信号がPQ符号化(例えば、SMPTE ST 2084に従って)されているのならば、本ステップは、逆PQ関数を適用する。実際には、3つの予め算出された1−Dルックアップテーブル(LUT)を用いて、この線形化ステップ(220)を実行し得る。
c)ステップ(225)において、線形化信号(222)をLMS色空間における信号(227)へと変換する。典型的には、本ステップは、a)標準的な変換を用いて、入力をXYZ色空間へと変換し、その後に3×3行列を適用してXYZからLMSへと信号を変換することによって、実行される。
d)(ステップ230)。Ebner論文によると、従来のLMSからIPTへの色空間変換は、LMSデータに対し先ず非線形べき関数を適用することと、その後に線形変換行列を適用することとを含む。データをLMSからIPTへと変換し、その後にPQ関数を適用してIPT−PQ領域に置いてもよいのだが、ある好適な実施形態では、ステップ(230)において、LMSからIPTへの非線形符号化用の従来のべき関数を、PQ非線形符号化で代替する。例えば、非線形のL、M、およびS値は、等式(t2)におけるV信号と同様に算出される。但し、Y信号は、線形のL、M、またはS成分値で置き換える。いくつかの実施形態において、PQ符号化の正規化バージョンを用いてもよく、このとき等式(t3)のステップを省略でき、出力PQ値の範囲は0と1の間である。いくつかの実施形態において、別のPQ符号化(例えば、Stessenによって提案されたものなど)を適用することも、また可能である。
e)標準的なLMSからIPTへの3×3線形変換を用いて、ステップ(235)が、信号(102)に対するIPT−PQ色空間への変換を完成する。
【0023】
いくつかの実施形態において、完全な色変換パイプライン(例えば、110)を、3DのLUTを使用して算出し得る。さらに、入力信号が既にIPT−PQ空間にある実施形態において、入力色空間変換(110)は、スキップされ得る。
【0024】
カラーボリュームマッピング
色変換ステップ(110)の後で、信号VIL(112)の明度(IO)およびクロマ(P/T)をマッピングして、ターゲットディスプレイの制約内に納める必要がある。図3は、ある実施形態による、カラーボリュームマッピング処理(115)の実装例を表している。カラーボリュームマッピング処理(115)の最初の部分において、色を暗くする量を、その彩度(saturation)と明度の両方に基づいて決定する。ある実施形態において、限定することなく、彩度のメトリックSは、クロマ成分の2乗和すなわち、
【数1】
として算出できる。
【0025】
トーンマッピング関数(310)は、入力データVIL(112)の明度IO(302)に非線形マッピングを適用して、トーンマッピングされた明度データIm(314)(例えば、Im=fT(IO))を生成する。非線形マッピング変換の一例が、A.Ballestad他による「Method and apparatus for image data transformation」という表題の米国特許第8,593,480号(以下、「‘480特許」と呼ぶ)に記載されており、この特許の開示内容を全て本願に援用する。
【0026】
‘480特許によると、非線形マッピングのための伝達関数の一例は、
【数2】
と表し得る。但し、C1、C2およびC3は定数であり、Yinは、あるカラーチャネルへの入力値(例えばIO)であり、Youtは、このカラーチャネルへの出力値であり、SlopeおよびRolloffはパラメータである。この伝達関数は、パラメータ化されたS字形トーン曲線関数の一例である。指数Slopeは、ミッドポイント(midpoint)における所望のコントラストを規定する。これをソースおよびターゲットディスプレイ間の比率から導出することによって、より暗い画像について、わずかにより高いコントラストを可能とし得る。指数Rolloffは、曲線の最高部および最低部において、曲線がどの程度急峻なロールオフであるかを決定する。値が小さいほど、シャープロールオフとなる。パラメータC1、C2、およびC3は、3つのアンカーポイントを何処に定めるかに基づいて決定され、これらのアンカーポイントはさらに、リファレンス(またはソース)ディスプレイの輝度特性(典型的には、入力メタデータ(104)から抽出される)と、ターゲットディスプレイの輝度特性(典型的には、ターゲットメタデータ(106)を介し、ディスプレイマネジメント処理を行なうプロセッサに既知である)と、に基づいて規定される。
【0027】
トーンマッピングにおけるキー概念は、ミッドポイントの明度およびコントラストに対して可能な限りほとんど変化を加えないことにより、全体的な画像の外観を保存することである。シャドーおよびハイライトは、このとき、ターゲットディスプレイの輝度範囲へと滑らかにマッピングされる。ある実施形態例において、ステップ(310)により、等式(2)のトーン曲線パラメータを以下のように算出し得る。すなわち、TminおよびTmaxは、PQ符号化で表現された、ターゲットディスプレイの最小および最大輝度を表すものとする。また、SminおよびSmaxは、やはりPQ符号化された、ソースディスプレイの最小および最大輝度を表すものとする。このとき、ある実施形態において、S2Tratioは、
【数3】
と規定できる。
【0028】
S2Tratioが与えられると、ある実施形態において、
【数4】
である。Shiftの値は、マッピング曲線のミッドポイントを、あるいはターゲットディスプレイの性能に適合させるために入力画像を暗くする量を、表している。一般にそうだというわけではないが、ある実施形態において、この値をソースディスプレイのミッドポイントとターゲットディスプレイのミッドポイントとの中間となるように選択することにより、当該画像についての制作意図のうちいくらかを失わないようにする。
【0029】
ある実施形態において、Rolloff=1/3という値が主観的に決定されており、広範な画像について良好な画質を提供できる。
【0030】
等式(2〜4)が与えられると、パラメータC1、C2、およびC3は、特定の最小、最大、および中間の制御点を通るようなトーンマッピング曲線を決定する連立方程式を解くことにより、導出できる。
【数5】
【0031】
いくつかの実施形態において、例えばより明るい、またはより暗い視聴環境へとマッピングするときに、上記のトーン曲線に対する変更が望まれることがある。これについては、主観的に調整することが可能な2つの追加的なパラメータを介して対処し得る。すなわち、ContrastとBrightnessである。ContrastおよびBrightnessが与えられると、等式(4)における当初のShiftおよびSlopeパラメータは、
【数6】
と調整できる。
【0032】
Brightness制御は、ターゲットディスプレイのダイナミックレンジ次第ではミッドポイントのみにしか影響を与えないこともあるが、当該画像全体の輝度をグローバルに上げたり下げたりする効果を有する。Contrast制御は、ターゲットディスプレイのダイナミックレンジ次第ではシャドーまたはハイライトにおけるコントラストを減少させることもあるが、ミッドポイントの周囲のコントラストを上げたり下げたりする効果を有する。
【0033】
BrightnessおよびContrast制御を変更することにより、2つの目的を達成することが可能である。第1に、これらをエンドディスプレイにおいて調整することにより、異なる視聴環境に対する補償を行なえる。このことは、PLUGEタイプの演算を介して行なわれ、ユーザーは、黒と白とのディテールが画像において主観的に可視となるまで、輝度および/またはコントラストを調整する。これらのパラメータの第2の用途は、ある特定の場面(shot)につき、デフォルトのマッピングを微調整するメタデータの一部としてであり、これにより、ある特定の主観的印象が達成される。
【0034】
上記のC1、C2、およびC3パラメータが与えられると、ある実施形態において、マッピングされた明度は、
【数7】
として、算出し得る。
【0035】
実際において、トーンマッピングされた画像(314)を算出することは、典型的には、ルックアップテーブルを用いて実施する。
【0036】
図3に表わすように、カラーボリュームマッピング(115)は彩度マッピング関数(320)を含み、これを使用することにより、明度の変化に基づいてクロマ値(P/T)(304)を調整する。色の明度を低減させるとき、その彩度をもまた、外観やバランスを維持するように減少させる。ある実施形態において、彩度マッピング(320)は、
【数8】
と表し得る。
【0037】
トーンマッピング曲線および彩度曲線は、特定のソースディスプレイ性能およびターゲットディスプレイ性能につき、ならびにオプションとして任意のユーザー調整につき、算出される。ひとたび算出し終えると、これらを各画素に個別に適用することにより、ソースカラーボリュームからターゲットカラーボリュームへとマッピングを行なうことが可能である。手順の中核となるのは、まず、トーン曲線を入力明度に適用し、次に、彩度曲線によって各クロマチャネルをスケーリングすることである。同一のスケーリング係数を両クロマチャネルに適用することにより、色相を保存する(色相はIPTにおいてPとTとの間の角度として規定される)。従って、ある実施形態において、
【数9】
となる。
【0038】
このことは一般に、ターゲットディスプレイのカラーボリュームに最終的に納まる色については、良好な結果を生む。しかし、ターゲットディスプレイは明るい飽和色を生成し得ないこともあるという事実には対処していない。この場合、本発明者の理解によると、何らかのさらなるクロマ調整が必要となり得る。
【0039】
カラーボリュームマッピングの後で、ターゲットディスプレイのカラーボリュームの外側に取り残される任意の色は、RGB空間においてクリッピングされることになり、これによってアーチファクトが発生し得る。外側に取り残される色を低減するために、ある実施形態において、色をターゲットディスプレイのカラーボリューム中へとさらにマッピングする2つの手段が提供される。第1の手段は、明るい飽和色を暗くすることであり、第2の手段は、飽和度が高い色の飽和度を下げることである。このとき、等式(9)のカラーボリュームマッピング手順は、以下に示すように変更できる。すなわち、
【数10】
であって、但し、αおよびβは重みであり、典型的にはメタデータを介して受信される。
【0040】
等式(10)において、まず、画素彩度Sを算出し、適応的色域マッピングのためのマスクとして使用する。これにより、飽和度の高い色は最も大きく影響を受けつつも無彩に近い色は影響を受けないことになる。色の明度は、その彩度と明度の両方に従って、ある量αによって調整される。同様に、彩度は、彩度および別の量βに従って調整される。これらの2方向間の重みを指定することにより、カラーボリュームマッピング方針を制御して、出力画像において色の精度を改善し、かつ色のアーチファクトを低減することが可能である。最大の調整は、明るい飽和色に対して適用される。ある実施形態において、これらの重みの典型的な値は、5から15までの範囲に亘る。ある実施形態において、等式(10)はまた、(1−S*α)および(1−S*b)の値がマイナスにもゼロにも決してならないように、クリッピング演算を含んでもよい。
【0041】
もう一つの実施形態において、等式(10)は、
【数11】
と一般化できる。但し、fTS(S)およびfSS(S)は、非常に一般的な、Sの線形または非線形関数を表す。例えば、fTS(S)=(1−S*α)かつfSS(S)=(1−S*β)のとき、等式(10a)は等式(10)になる。等式(10a)もまた、今度は、ジョイントマッピング(joint−mapping)関数の観点から、
【数12】
として、さらに一般化し得る。(10b)の一般化アプローチに対する等式(10)および(10a)の利点は、分離可能な等式としてマッピングが表現されていることであって、これにより、処理要件が単純になる。
【0042】
ディテールの保存
等式(4)のトーンマッピング作用素(operator)は、画像またはフレームの全体に同一の等式を適用するので、典型的には、グローバルトーンマッピング作用素と呼ばれる。ある実施形態において、グローバルトーンマッピングの後には、ディテール保存作用素(125)が続くことができ、ローカルなコントラストを改善する。このステップはまた、トーンマッピング演算のせいで失われた、明度チャネルにおける高周波数のディテールを復元する。このようなローカルトーンマッピング作用素の例が、‘480特許および‘304出願に記載されている。図4は、ある実施形態による、ディテール保存のもう一つの例を表す。入力Io(302)およびIm(314)、ならびにソースメタデータ(104)が与えられると、処理(125)において、フィルタリングされた明度の画像Imf(127)を、以下のステップに従って生成する。
【0043】
MSEおよびWMSは、調整可能な重み(例えば、WMS=1,WMSE=4)を表すものとする。これらはソースメタデータから抽出し得る。これらの重みによって、適用されるべきディテール保存の量を制御する。図4に表わすように、
【数13】
【数14】
と定める。但し、F(D,H)は、画像Dに、カーネルHを有するフィルタを適用することを表す。ある実施形態例において、Hは、分離可能なσ=2の5×11ガウシアンフィルタを含む。しかし、別のフィルタを適用してもよい。
【0044】
フィルタHxおよびHyは、1−Dのエッジ検出フィルタである。ある実施形態において、HxおよびHyのフィルタカーネルは、それぞれ、[−1 0 1]および[−1 0 1]Tに対応する。ゆえに、
【数15】
となる。いくつかの実施形態において、また、クランプ関数(420)をEに適用して、その値が必ず0と1の間の範囲に納まることを保証してもよい。例えば、
【数16】
となる。すると、
【数17】
となる。
【0045】
出力色変換
図5は、マッピングされたEDR信号VM(Im,Pm,TmまたはImf,Pm,Tm成分を含む)を、知覚的量子化色空間(例えば、IPT−PQ)から所望の色空間(例えば、RGBまたはYCbCr)へと変換し戻す色変換処理(135)の一例を表している。本処理は、入力色変換器(110)における処理ステップを反映しており、今度は逆順で実行される。図5に表わすように、色変換は、以下のステップを含み得る。すなわち、
a)ステップ(505):3×3のIPTからLMSへの変換を使用して、マッピング信号VMを、IPT−PQ空間からLMS−PQ空間へと変換する。
b)ステップ(510):LMS−PQ信号(507)を、LMS−PQ空間からLMS空間へと変換する。本ステップは、表1の等式を使用して算出される。ある実施形態において、本ステップは、3つの1−DのLUTを使用して実行できる。
c)ステップ(515):LMS信号(512)を、ターゲットディスプレイ色(例えば、RGB)(517)へと変換する。典型的には、ターゲットディスプレイの特性(profile)に基づき、3×3行列を使用して実行される。
d)ステップ(520):信号(517)にディスプレイのEOTF(例えば、ガンマまたはPQ符号化)を適用して、出力信号(522)を生成する。
e)ステップ(525):必要ならば、追加的な後処理(例えば、色変換および色サブサンプリング)を適用する。
【0046】
本ステップは、純粋に測色学的(colorimetric)である。すなわち、諸パラメータは、測定または既知のディスプレイ仕様から導出され、チューニングも主観的補正も、典型的には全く不要である。段(520)の後で、ターゲットディスプレイ性能の外側に、値がいくつか残っていることがある。この場合、推奨される習慣としては、ディスプレイ性能に合わせてクリッピングを行なう。但し、カラーボリュームマッピングの重み(例えば、αおよびβ)を調整することにより、所望の出力を達成しようと試みることもまた可能である。
【0047】
発明者の理解によると、提案されたディスプレイマネジメントパイプライン(100)において、先行するソリューションに勝る、以下を含む数々の別個の利点が提供される。
・適応的なトーンマッピング
・適応的な色域マッピング
・調整可能なクロマ関連の重みによる、より優れた出力色精度
・演算的により単純な、しかし改良された、ディテール保存
・ターゲットディスプレイの視聴環境(周囲光特性や視聴者の嗜好など)に基づいた、適応的調整(例えば、輝度およびコントラストについての)
【0048】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のエンハンストダイナミックレンジを備える画像のディスプレイマネジメントおよび表示に関する命令を実施し、制御し、または実行し得る。コンピュータおよび/またはICは、本明細書に記載のディスプレイマネジメントプロセスに関係する様々なパラメータや値の内のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【0049】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなEDR画像のディスプレイマネジメントに関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットのコンピュータ可読信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【0050】
上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、別途示唆のない限り、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【0051】
均等物、拡張物、代替物、その他
EDR画像の効率的なディスプレイマネジメントに関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲(今後出されるあらゆる訂正を含む、特許となった特定請求項)である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。
図1
図2
図3
図4
図5