特許 6367839 高ダイナミックレンジ・ビデオのための表示管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6367839

(24)【登録日】2018年7月13日

(45)【発行日】2018年8月1日

(54)【発明の名称】高ダイナミックレンジ・ビデオのための表示管理

(51)【国際特許分類】

   H04N 9/64 20060101AFI20180723BHJP

   G06T 5/00 20060101ALI20180723BHJP

   G06T 1/00 20060101ALI20180723BHJP

   H04N 1/46 20060101ALI20180723BHJP

   G09G 5/02 20060101ALI20180723BHJP

   G09G 5/36 20060101ALI20180723BHJP

【ＦＩ】

   H04N9/64 Z

   G06T5/00 730

   G06T1/00 510

   H04N1/46

   G09G5/02 B

   G09G5/36 520A

   G09G5/36 520C

【請求項の数】25

【全頁数】24

(21)【出願番号】特願2015-558882(P2015-558882)

(86)(22)【出願日】2014年2月13日

(65)【公表番号】特表2016-514395(P2016-514395A)

(43)【公表日】2016年5月19日

(86)【国際出願番号】US2014016304

(87)【国際公開番号】WO2014130343

(87)【国際公開日】20140828

【審査請求日】2017年2月2日

(31)【優先権主張番号】61/767,380

(32)【優先日】2013年2月21日

(33)【優先権主張国】US

(31)【優先権主張番号】61/810,104

(32)【優先日】2013年4月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】アトキンス，ロビン

(72)【発明者】

【氏名】クンケル，ティーモ

(72)【発明者】

【氏名】ベイアー，タデウス

(72)【発明者】

【氏名】チェン，タオ

【審査官】 大室 秀明

(56)【参考文献】

【文献】 国際公開第２０１２／０１２４８９（ＷＯ，Ａ２）

【文献】 特開２０１０−２６３５９８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２５８０２（ＷＯ，Ａ１）

【文献】 LIU Z，COMPUTERS AND MATHEMATICS WITH APPLICATIONS，英国，PERGAMON PRESS，２００９年 ６月 １日，V57 N11-12，P1829-1834

【文献】 PETER ZOLLIKER，IEEE TRANSACTIONS ON IMAGE PROCESSING，米国，IEEE SERVICE CENTER，２００７年 ３月 １日，V16 N3，P664-672

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｇ０９Ｇ ５／００−５／３６

Ｇ０９Ｇ ５／３７７−５／４２

Ｈ０４Ｎ １／４６−１／６２

Ｈ０４Ｎ ９／４４−９／７８

(57)【特許請求の範囲】

【請求項1】

プロセッサによる画像の表示管理の方法であって：
第一の向上ダイナミックレンジ（EDR）をもつ第一の色空間における入力画像（１０２）にアクセスする段階と；
前記入力画像に色変換ステップ（１１０）を適用して、知覚的に補正されたIPT色空間（IPT-PQ）における第一の出力画像（１１２）を決定する段階であって、前記第一の色空間からIPT-PQ空間への色変換は少なくとも部分的には、前記入力画像の関数に非線形知覚的量子化器（PQ）関数を適用することに基づく、段階と；
前記第一の出力画像の強度（I）成分に非線形トーンマッピング関数（１１５）を適用して、前記第一の向上ダイナミックレンジとは異なる第二のダイナミックレンジをもつ第一のトーンマッピングされた画像（１１７）の強度成分を決定する段階と；
前記第一の出力画像および前記第一のトーンマッピングされた画像の強度成分に応答して第二の出力画像（１２７）の強度成分を生成するよう詳細保存関数（１２５）を適用する段階と；
前記第二の出力画像の色（P,T）成分に飽和調整関数（１３０）を適用して、第二のトーンマッピングされた画像（１３２）の色成分を生成する段階であって、前記飽和調整関数は前記第一の出力画像（１１２）の強度成分と、前記第二の出力画像（１２７）または前記第一のトーンマッピングされた画像（１１７）のいずれかの強度成分とによって決定される、段階と；
前記第二のトーンマッピングされた画像に色域マッピング関数（１３５）を適用して第三の出力画像（１４５）を生成する段階とを含む、
方法。

【請求項2】

前記第一の色空間がRGB色空間を含み、前記色変換ステップ（１１０）がさらに：
前記入力画像（１０２）から非線形エンコードがあればそれを除去して線形RGB信号（２１７）を生成する段階と；
前記線形RGB信号をLMS色信号（２２２）に変換する段階と；
前記LMS色信号に前記非線形知覚的量子化器（PQ）関数および変換行列を適用してIPT-PQ色空間信号（２３２）を生成する段階とをさらに含む、
請求項１記載の方法。

【請求項3】

前記IPT-PQ色空間信号（２３２）の強度（I）を調整して調整されたIPT-PQ信号（１１２）を生成する段階をさらに含み、該調整することは少なくとも部分的には関数
Iw_i＝I_i＋d*Ch_i
を適用することによって実行され、ここで、dは定数であり、前記IPT-PQ色空間信号（２３２）のピクセルのI_i、P_iおよびI_tを与えられたときにCh_i＝√(P_i²＋T_i²)であり、Iw_iは調整されたIPT-PQ信号（１１２）の強度値を表わす、
請求項２記載の方法。

【請求項4】

前記非線形トーンマッピング関数（１１５）がパラメータ表現されたシグモイド・トーン曲線関数として表わされ、前記シグモイド・トーン曲線関数のパラメータは源ディスプレイおよび目標ディスプレイの特性に基づいて決定される、請求項１記載の方法。

【請求項5】

前記源ディスプレイの前記特性が、前記源ディスプレイについての最小輝度値および最大輝度値を含む、請求項４記載の方法。

【請求項6】

前記目標ディスプレイの前記特性が、前記目標ディスプレイについての最小輝度値および最大輝度値を含む、請求項４記載の方法。

【請求項7】

前記源ディスプレイの前記特性が、受領される源ディスプレイ・メタデータ（１０４）を通じてアクセスされる、請求項４記載の方法。

【請求項8】

前記シグモイド・トーン曲線関数が

【数17】

として表わされ、C₁、C₂、C₃およびRolloffは前記非線形トーンマッピング関数のパラメータを定義する定数であり、入力I_oについて、I_mは対応する出力値である、請求項４記載の方法。

【請求項9】

前記C₁、C₂およびC₃が少なくとも部分的には前記入力画像（１０２）の一つまたは複数のグレー値特性に基づいて決定される、請求項８記載の方法。

【請求項10】

前記入力画像（１０２）の前記グレー値特性がコンテンツ・メタデータ（１０６）を通じてアクセスされ、最小ルミナンス値（Crush）、最大ルミナンス値（Clip）および平均中間トーン・ルミナンス値（Mid）を含む、請求項９記載の方法。

【請求項11】

前記C₁、C₂、C₃の定数が少なくとも部分的には、一つまたは複数の中間的なトーン曲線調整パラメータに基づいて決定される、請求項８記載の方法。

【請求項12】

前記詳細保存関数を適用することがさらに
I_S＝I_o−F((I_o−I_m),H)
を計算することを含み、ここで、F(I,H)は画像IにカーネルHをもつフィルタを適用することを表わし、I_oは前記第一の出力画像（１１２）の強度ピクセル値を表わし、I_mは前記第一のトーンマッピングされた出力画像（１１７）の強度ピクセル値を表わし、I_Sは前記第二の出力画像（１２７）の強度ピクセル値を表わす、請求項１記載の方法。

【請求項13】

前記カーネルHが2に等しい標準偏差をもつ11×11のガウシアン・フィルタを含む、請求項１２記載の方法。

【請求項14】

前記カーネルHが低域通過フィルタを含む、請求項１２記載の方法。

【請求項15】

前記のI_o−I_m信号にエッジ検出フィルタを適用してエッジ出力画像を導出する段階と；
前記低域通過フィルタの出力および前記エッジ出力画像の両方に応答して前記のI_S信号を生成する段階とをさらに含む、
請求項１４記載の方法。

【請求項16】

前記飽和調整関数を適用することが、前記第一の出力画像（１１２）の強度ピクセル値と、前記第二の出力画像（１２７）または前記第一のトーンマッピングされた画像（１１７）のいずれかの強度ピクセル値とに応答して決定されるスケーリング定数によって、前記第一の出力画像（１１２）の色成分をスケーリングすることを含む、請求項１記載の方法。

【請求項17】

前記スケーリング定数（S）を計算することが、
S＝（I_S*CEDR）/（I_o*CMapped）
を計算することを含み、CEDRは前記第一の出力画像（１１２）の強度（I_o）の線形関数として決定される変数であり、CMappedは前記第二の出力画像（１２７）の強度（I_S）の線形関数として決定される変数である、請求項１６記載の方法。

【請求項18】

前記非線形トーンマッピング関数の前記シグモイド・トーン曲線関数のパラメータが、前記第一のトーンマッピングされた画像のルミナンスの強度をブーストするよう調整される、請求項４記載の方法。

【請求項19】

前記ルミナンスの強度をブーストすることが、さらに：
ルミナンス・ブーストなしでのトーンマッピング関数のマッピング範囲を決定するよう０中間的調整トーン曲線パラメータの第一の集合を計算し；
所望される中間的調整トーン曲線パラメータの集合に応答して中間的調整トーン曲線パラメータの前記第一の集合をスケーリングして中間的調整トーン曲線パラメータの第二の集合を得て；
中間的調整トーン曲線パラメータの前記第二の集合に基づいて前記トーンマッピング関数の前記パラメータを決定し；
前記第一の出力画像の強度に前記トーンマッピング関数を適用して、中間的なトーンマッピングされた信号を決定し；
前記中間的なトーンマッピングされた信号の強度を調整して、前記第一のトーンマッピングされた信号を決定することを含む、
請求項１８記載の方法。

【請求項20】

前記第二のトーンマッピングされた画像の色成分を調整する段階をさらに含み、該調整する段階が：
前記第二のトーンマッピングされた画像の色ピクセル値（P_S,T_S）を、ユークリッド座標から極座標への変換を使って(chroma,hue)ピクセル値に変換し；
マッピング関数を使って前記(chroma,hue)ピクセル値を調整された(chroma,hue)値にマッピングし；
調整された(chroma,hue)値を、極座標からユークリッド座標への変換を使って調整された(P_S,T_S)色値に変換することを含む、
請求項１記載の方法。

【請求項21】

プロセッサによる画像の表示管理の方法であって：
第一の向上ダイナミックレンジ（EDR）をもつ第一の色空間（YCbCr）における入力画像（１０２）にアクセスする段階であって、前記入力画像はルーマ空間解像度でのルーマ成分およびクロマ空間解像度での一つまたは複数のクロマ成分を含み、前記クロマ空間解像度は前記ルーマ空間解像度より低い、段階と；
前記入力画像に一つまたは複数の色変換ステップ（１０７、１１０Ａ）を適用して、知覚的に補正されたIPT色空間（IPT-PQ）における、前記入力画像の前記クロマ空間解像度に等しい空間解像度をもつ第一の出力画像（１１２Ａ）を決定する段階であって、前記第一の色空間からIPT-PQ空間への色変換は少なくとも部分的には、前記入力画像の関数に非線形知覚的量子化器（PQ）関数を適用することに基づく、段階と；
前記第一の出力画像の強度（I）成分に非線形トーンマッピング関数（１１５）を適用して、前記第一の向上ダイナミックレンジとは異なる第二のダイナミックレンジをもつ第一のトーンマッピングされた画像（１１７）の強度成分を決定する段階と；
前記第一のトーンマッピングされた画像（１１７）の色（P,T）成分に飽和調整関数（１３０）を適用して、第二のトーンマッピングされた画像（１３２）の色成分を生成する段階であって、前記飽和調整関数は前記第一の出力画像（１１２Ａ）の強度成分と、前記第一のトーンマッピングされた画像（１１７）の強度成分とによって決定される、段階と；
前記第二のトーンマッピングされた画像（１３２）に色域マッピング関数（１３５）を適用して第三の出力画像を生成する段階と；
前記入力画像（１０２）のルミナンス成分（１０２Y）に非線形知覚的量子化器（PQ）関数を適用して、前記入力画像の前記ルーマ空間解像度に等しい空間解像度をもつ第二の出力画像を生成する段階と；
前記第三の出力画像（１３７−YPQ）および前記第二の出力画像（１１２Ｂ）の強度成分に応答して第四の出力画像（１２７）の強度成分を生成するよう詳細保存関数（１２５）を適用する段階と；
前記第四の出力画像と、前記第三の出力画像のクロマ成分とに応答して最終的な出力画像を生成する段階とを含む、
方法。

【請求項22】

前記第三の出力画像の強度成分を、前記第二の出力画像（１１２Ｂ）の空間解像度に合うようアップスケーリングする段階をさらに含む、請求項２１記載の方法。

【請求項23】

前記第二の出力画像（１１２Ｂ）または前記入力画像のルーマ成分（１０２Y）のいずれかに第二の非線形トーンマッピング関数（１１５Ｂ）を適用して、前記第二のダイナミックレンジをもつ第三のトーンマッピングされた画像（１１７Ｂ）の強度成分を決定する段階と；
前記第三のトーンマッピングされた画像（１１７Ｂ）および前記第二の出力画像（１１２Ｂ）の強度成分に応答して、前記第四の出力画像（１２７）の強度成分を生成するよう前記詳細保存関数（１２５）を適用する段階をさらに含む、
請求項２１記載の方法。

【請求項24】

請求項１ないし２３のうちいずれか一項記載の方法を実行するよう構成された、プロセッサを有する装置。

【請求項25】

請求項１ないし２３のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、2013年2月21日に出願された米国仮特許出願第61/767,380号および2013年4月9日に出願された米国仮特許出願第61/810,104号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、高ダイナミックレンジまたは向上ダイナミックレンジをもつ画像の表示管理プロセスに関する。

【背景技術】

【0003】

本稿での用法では、用語「ダイナミックレンジ」（DR）は、画像における、たとえば最も暗い暗部（黒）から最も明るい明部（白）までの、強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する人間の視覚心理学系（HVS）の能力に関係しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係しうる。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

【0004】

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語は人間の視覚系（HVS: human visual system）の14〜15桁ほどにまたがるDR幅に関係する。たとえば、本質的に正常な（たとえば統計的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人間のHVSは、リセットし調整するためのある時間期間をもつ。

【0005】

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「向上ダイナミックレンジ」（EDR: enhanced dynamic range）または「視覚的ダイナミックレンジ」（VDR: visual dynamic range）の用語は、個々にまたは交換可能に、HVSによって同時に知覚可能なDRに関係する。本稿での用法では、EDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもEDRは幅広いDR幅を表す。

【0006】

実際上、画像は一つまたは複数の色成分（たとえばルーマYおよびクロマCbおよびCr）を有する。ここで、各色成分はNビット毎ピクセルの精度で表現される（たとえばN＝8）。N≦8である画像（たとえばカラー24ビットJPEG画像）は標準ダイナミックレンジの画像と考えられ、N＞8である画像は向上ダイナミックレンジの画像と考えられてもよい。EDRおよびHDR画像は、インダストリアル・ライト・アンド・マジックによって開発されたOpenEXRファイル・フォーマットのような、高精度（たとえば16ビット）の浮動小数点フォーマットを使って記憶および頒布されてもよい。

【0007】

かなり最近まで、ディスプレイはHDRより著しく狭いDRを有していた。典型的な陰極線管（CRT）、一定の蛍光白黒照明をもつ液晶ディスプレイ（LCD）またはプラズマ・スクリーン技術を使うテレビジョン（TV）およびコンピュータ・モニタ装置は、そのDRレンダリング機能において、約3桁に制約されることがある。よって、そのような通常のディスプレイは、HDRまたはEDRとの関係で、標準ダイナミックレンジ（SDR）とも称される低ダイナミックレンジ（LDR）の典型である。

【0008】

たいていの消費者デスクトップ・ディスプレイは、200ないし300cd/m²またはニトのルミナンスをサポートする。たいていの消費者HDTVは300ないし1000cd/m²の範囲である。撮影設備（たとえばカメラ）およびEDRディスプレイ（たとえばドルビーからのPRM-4200業務用参照モニタ）の両方における進歩のためEDRコンテンツの入手可能性が高まるにつれ、EDRコンテンツは、多様なダイナミックレンジをサポートするEDRディスプレイ上でカラーグレーディングされることがある（たとえば1000ニトから5000ニト以上に）。同様に、EDRコンテンツは、もとのコンテンツをカラーグレーディングするために使われたディスプレイとは異なるダイナミックレンジをもつSDRディスプレイおよびEDRディスプレイの両方で表示されることがある。本発明者がここで認識したところによると、EDR画像のHDRディスプレイへの表示管理（display management）のための改善された技法が、後方互換性およびより優れた没入体験の両方のために望ましい。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】F. Ebner and M.D. Fairchild, "Development and testing of a color space (ipt) with improved hue uniformity", Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp.8-13

【非特許文献2】P.Zolliker and K.Simon, "Retaining local image information in gamut mapping algorithms", IEEE Trans. on Image Processing, Vol.16, No.3, March 2007, pp.664-672

【発明の概要】

【発明が解決しようとする課題】

【0010】

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【課題を解決するための手段】

【0011】

本発明の実施形態が、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

【図面の簡単な説明】

【0012】

【図1A】本発明の実施形態に基づく、EDR画像の表示管理のための例示的なプロセスを描く図である。

【図1B】本発明の実施形態に基づく、EDR画像の表示管理のための例示的なプロセスを描く図である。

【図1C】本発明の実施形態に基づく、EDR画像の表示管理のための例示的なプロセスを描く図である。

【図2】本発明のある実施形態に基づく、入力EDRデータを入力RGB色空間からIPT-PQ空間に変換する例示的なプロセスを描く図である。

【図3】本発明のある実施形態に基づく、EDR画像のための非線形ダイナミックレンジ・マッピングの例を描く図である。

【図4】本発明のある実施形態に基づく、トーンマッピングされたIPT-PQ画像におけるPおよびT色成分の飽和調整のための例示的なプロセスを描く図である。

【図5】本発明の可能な諸実施形態に基づく、クロマ再マッピングのための例示的なマッピング関数を描く図である。

【図6】本発明のある実施形態に基づく、マルチスケール詳細保存の例示的な実装を描く図である。

【発明を実施するための形態】

【0013】

向上ダイナミックレンジ（EDR）画像の効率的な表示管理（display management）（たとえばトーンおよび色域マッピング）が本稿に記載される。以下の記述では、本発明の十全な理解を提供するために、説明の目的で数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽し、かすませ、あるいは埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

【0014】

〈概観〉
本稿に記載される例示的実施形態は、EDR画像の効率的な表示管理に関する。表示管理プロセッサが、参照ディスプレイとは異なるダイナミックレンジをもつ目標ディスプレイ上で表示されるべき、向上ダイナミックレンジをもつ入力画像を受領する。入力画像はまず入力色空間（たとえばRGB）から知覚的に補正されたIPT色空間（IPT-PQ）に変換される。非線形マッピング関数が、入力信号の強度を参照ダイナミックレンジから目標ダイナミックレンジにマッピングすることによって、第一のトーンマッピングされた信号を生成する。第一のトーンマッピングされた信号の強度（I）成分は、非鮮鋭マスキング（unsharp masking）を使って詳細を保存するために鮮鋭化され、色（PおよびT）成分の飽和が適切に調整されて、第二のトーンマッピングされた出力画像を生成する。第二のトーンマッピングされた出力画像に色域マッピング関数が適用されて、目標ディスプレイ上への表示のために好適な画像を生成してもよい。表示管理パイプラインは、個別に定義されたディスプレイ・モードに従って、表示される画像の強度および色成分を調整するよう適応されていてもよい。

【0015】

入力画像が、クロマ成分がルーマ成分より低い空間解像度にある色フォーマットで受領される場合には、例示的な諸実施形態では、表示管理プロセスは、並列に実行されうる二つの経路に分割されてもよい。一方の経路はすべての色成分に対して、ただし入力画像のクロマ成分の前記より低い解像度で作用するが、第二の経路はルミナンス関係のデータのみに対して、ただしルーマ成分のもとの（完全な）解像度において作用する。

【0016】

〈例示的な表示管理処理パイプライン〉
図１Ａは、本発明のある実施形態に基づく、EDR画像（HDR画像とも称される）の表示管理のための例示的なプロセスを描いている。図１Ａに描かれるように、ビデオ・プロセッサ（たとえば、セットトップボックス、画像ディスプレイまたは他の好適な画像プロセッサ）はEDR画像（１０２）および任意的には関連するメタデータ（１０４および１０６）を受領する。EDR画像（１０２）は、EDRビデオ信号のような画像のシーケンスの、あるフレームの一部または完全なフレームを含んでいてもよい。本稿での用法では、用語「メタデータ」は、符号化されたビットストリームの一部として伝送され、デコードされた画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、本稿に記載されるような、色空間または色域情報、参照ディスプレイ・パラメータおよび補助信号パラメータを含みうるが、これに限られない。

【0017】

受領されたEDR画像（１０２）は、RGB色フォーマットまたはYCbCr、XYZなどといった他のいかなる色空間にあってもよい。受領された画像は、目標ディスプレイ・モニタとは異なるダイナミックレンジおよび色域特性をもつこともありうる参照EDRモニタ上でカラーグレーディングされていることがありうる。本稿での用法では、用語「カラーグレーディング（color grading）」は、色アーチファクトを補正するおよび／またはディレクターの意図に合致するために画像またはビデオの色を調整するプロセスを表わす。

【0018】

EDR入力（１０２）は、プログラム制作の間に画像をカラーグレーディングするために使われたディスプレイに関係した源ディスプレイ・メタデータ（１０４）をも含んでいてもよい。たとえば、そのようなメタデータは、勧告ITU-R BT.1866（03/2011）によって定義された参照の電気光伝達関数（EOTF: electro-optical transfer function）を含んでいてもよい。EDR入力は、源もしくは参照ディスプレイの最大および最小輝度、データの最大、最小および平均中間トーンおよびカラーグレーディングの間の周辺光（ambient light）の強度といった、追加的な源ディスプレイおよびコンテンツ・メタデータ（１０６）を含んでいてもよい。たとえば、参照モニタについてのメタデータは、制作において使われた以下の例示的なパラメータを含んでいてもよい：
源モニタ最小輝度Smin＝0.005ニト；
源モニタ最大輝度Smax＝4000ニト；
周辺光Samb＝10ニト；
ガンマSgamma＝2.4；
色空間＝DCI P3、白色点＝D65。

【0019】

参照モニタについてのメタデータは、典型的には一度伝送されるだけでよい。しかしながら、ビデオ・データについてのメタデータはフレーム毎、シーン毎または変化があるたびに伝送されてもよい。源コンテンツに関係したメタデータがない場合、いくつかの実施形態では、そのようなデータは源ビデオ・コンテンツを解析することによって抽出されてもよい。

【0020】

〈IPT-PQ色空間〉
ある好ましい実施形態では、処理パイプラインは、IPT-PQ色空間と称されるものにおいて実行される。しかしながら、同様の処理段階は、RGB、YCbCr、XYZ、CIE-Labなどといった他の色空間で実行されてもよい。参照によってここにその全体において組み込まれる非特許文献１において記述されているIPT（エブナー論文と称する）は、人間の視覚系における錐体間の色差のモデルである。この意味で、IPTはYCbCrまたはCIE-Lab色空間のようなものであるが、いくつかの科学的研究において、これらの色空間より人間の視覚処理をよりよく模倣することが示されている。CIE-Labと同様に、IPTは、何らかの参照ルミナンスに対する規格化された空間である。ある実施形態では、規格化は目標ディスプレイの最大ルミナンスに基づく。

【0021】

本稿で使われるところの用語「PQ」は知覚的量子化（perceptual quantization）を指す。人間の視覚系は、増大する光レベルに対して、非常に非線形な仕方で応答する。人間の、刺激を見る能力は、刺激のルミナンス、刺激のサイズおよび刺激をなす空間周波数および刺激を見ている特定の瞬間に目が順応しているルミナンス・レベルによって影響される。ある好ましい実施形態では、知覚的量子化器関数は、線形の入力グレーレベルを、人間の視覚系におけるコントラスト感度閾値によりよくマッチするよう出力グレーレベルにマッピングする。PQマッピング関数の例は、2012年12月6日に出願されたJ.S.ミラーらによる「異なるディスプレイ機能を横断する知覚的ルミナンス非線形性ベースの画像データ交換」と題する、参照によってここにその全体において組み込まれるPCT出願第PCT/US2012/068212（'212出願と称される）において記述されている。同出願では、固定した刺激サイズを与えられて、すべてのルミナンス・レベル（すなわち刺激レベル）について、そのルミナンス・レベルにおける最小の可視のコントラスト階差が、（HVSモデルに従って）最も敏感な順応レベルおよび最も敏感な空間周波数に従って選択される。物理的な陰極線管（CRT）装置の応答曲線を表わし、同時に人間の視覚系が応答する仕方と非常に大まかな類似性をもちうる伝統的なガンマ曲線に比べ、'212出願によって決定されるPQ曲線は、比較的単純な関数モデルを使って人間の視覚系の真の視覚的応答を模倣する。

【0022】

表１は、表示の点においてデジタル・ビデオ符号値を絶対的な線形ルミナンス・レベルに変換するための知覚的曲線EOTFの計算を記述している。絶対的な線形ルミナンスをデジタル符号値に変換するための逆OETF計算も含めてある。

【0023】

表１
例示的な式の定義：
D＝知覚的曲線のデジタル符号値、SDIリーガルな符号なし整数、10または12ビット
b＝デジタル信号表現における成分当たりのビット数、10または12
V＝規格化された知覚的曲線の信号値、0≦V≦1
Y＝規格化されたルミナンス値、0≦Y≦1
L＝絶対的なルミナンス値、0≦L≦10,000cd/m²

【0024】

【表1】

注：
１．演算子INTは0から0.4999…の範囲内の端数部分について0の値を返し、0.5から0.999…の範囲内の端数部分について＋1の値を返す。すなわち、0.5より上の端数を切り上げる。
２．すべての定数は、丸めの心配を避けるため、12ビット有理数の厳密な倍数として定義される。
３．R、GまたはB信号成分は上記のY信号成分と同様に計算される。

【0025】

図２は、ある実施形態に基づく、色変換ステップ（１１０）についての例示的なプロセスをより詳細に示している。図２に描かれるように、第一の色空間（たとえばRGB）にある入力EDR信号（１０２）が与えられたとき、色空間変換ステップはそれを、知覚的に補正されたIPT色空間（IPT-PQ）における信号（１１２）に変換する。この色変換は、次のステップを有していてもよい：
ａ）（ステップ２１０）入力信号（１０２）のピクセル値（たとえば0ないし4095）を0から1までの間のダイナミックレンジをもつピクセル値に規格化する。

【0026】

ｂ）（ステップ２１５）（メタデータ（１０４）によって与えられる）EOTFを使って、符号値からルミナンスへの源ディスプレイの変換を逆にするまたは取り消す。たとえば、入力信号がガンマ符号化されていたら、このステップは逆ガンマ関数を適用する。入力信号が'212 PCT出願に従ってPQエンコードされていたら、このステップは逆PQ関数を適用する。実際上は、規格化ステップ（２１０）および逆非線形エンコード（２１５）は、あらかじめ計算された1Dのルックアップテーブル（LUT）を使って実行されてもよい。

【0027】

ｃ）（ステップ２２０）ステップｂ）の出力をLMS色空間に変換する。

【0028】

ｄ）（ステップ２２５）エブナー論文によれば、伝統的なLMSからIPTへの色空間変換は、LMSデータに第一の非線形パワー関数を適用し、次いで線形変換行列を適用することを含む。データをLMSからIPTに変換してからPQ関数を適用してIPT-PQドメインにすることもできるが、ある好ましい実施形態では、ステップ２２５において、LMSのIPTへの非線形エンコードのための伝統的なパワー関数は、PQ非線形エンコードによって置き換えられる。たとえば、非線形L、MおよびS値は、式(t2)におけるV信号と同じようにして計算され、ここで、Y信号は線形のL、MまたはS成分値（２２２）によって置き換えられる。いくつかの実施形態では、PQエンコードの規格化されたバージョンが使用されてもよく、ここでは、式(t3)のステップは省略されてもよく、出力PQ値の範囲は0から1までの間である。

【0029】

ｅ）（ステップ２３０）標準的なLMSからIPTへの線形変換を使って、ステップ２３０は信号２２２のIPT色空間への変換を完了する。

【0030】

ｆ）（ステップ２３５）いくつかの実施形態では、IPT-PQ出力２３２のI成分はまた、飽和色が同じルミナンス値をもつ白色より明るく見えるというヘルムホルツ‐コールラウシュ効果を考慮に入れるために調整されてもよい。値I_i、P_iおよびT_iによって表わされるIPT空間におけるピクセルを与えられて、CH_i＝√(P_i²＋T_i²)とすると、ある実施形態では、ステップ２３５の出力I'は

【数1】

と表わされてもよい。

【0031】

出力IPT-PQ信号（１１２）の範囲はI成分については0ないし1であり（0から10,000ニトまでの間のダイナミックレンジに対応）、PおよびT成分については−1から1までの間である。

【0032】

いくつかの実施形態では、完全な色変換パイプライン（たとえば１１０）は3D LUTを使って計算されてもよい。

【0033】

〈トーンマッピング〉
色変換ステップ（１１０）後、信号（１１２）の強度（I）は、目標ディスプレイの制約条件内に収まるようマッピングされる必要がある。図３は、ある実施形態に基づいて計算された非線形マッピング関数（３２０）（たとえばステップ１１５）の例を描いている。目標ディスプレイは、EDRディスプレイまたはSDRディスプレイであってもよい。目標ディスプレイが入力（１０２）を処理する（たとえばカラーグレーディングする）ために使われた参照（または源）制作ディスプレイと同じ特性をもつ場合には、何の変換も必要とされない。そのような一対一の線形マッピングは、図３では線形マッピング（３１０）によって示されている。しかしながら、目標ディスプレイが参照制作ディスプレイのダイナミックレンジより低いまたは高いダイナミックレンジをもつ場合には、処理ステップ（１１５）は入力信号のダイナミックレンジを目標ディスプレイのダイナミックレンジにマッピングする。

【0034】

図３において、境界（３０５−１）および（３０５−２）は入力信号（入力EDR）の最小および最大輝度レベルを描いているとする。また、（３０７−１）および（３０７−２）は目標ディスプレイの最小および最大輝度レベルを描いているとする。

【0035】

関数（３２０）によって描かれている入力から参照ディスプレイ・ダイナミックレンジへのマッピングを想定すると、非線形マッピング（たとえば３２０）の出力は、目標ディスプレイのダイナミックレンジ制約条件（たとえば３０７−１および３０７−２）内によりよく収まる。例示的な非線形マッピング関数は、ここに参照によりその全体において組み込まれる、A.Ballestadらの2012年3月15日に出願された「画像データ変換のための方法および装置」と題するPCT出願第PCT/US2012/029189号において記述されている。

【0036】

Ballestadの'189 PCT出願によれば、非線形マッピング（１１５）のための例示的な伝達関数は

【数2】

として表わされてもよい。ここで、C₁、C₂およびC₃は定数であり、Y_inは色チャネル（たとえばIチャネル）についての入力値であり、Y_outは色チャネルについての出力値であり、nおよびmはパラメータである。この伝達関数は、パラメータ表現したシグモイド・トーン曲線関数の例である。パラメータC₁、C₂およびC₃は、三つのアンカー点（たとえば３２５−１、３２５−２および３２５−３）の定義に基づいて決定され、これらのアンカー点は、典型的には入力メタデータ（１０６）から抽出される参照（または源）ディスプレイの輝度特性と、典型的には表示管理プロセスを実行するプロセッサにはすでに既知である目標ディスプレイの輝度特性とに基づいて定義される。

【0037】

ある例示的な実施形態では、ステップ（１２０）は式(2)のトーン曲線パラメータを次のようにして計算してもよい：
ａ）源から目標の比S2Tratioの計算
TminおよびTmaxが、PQエンコードで表わされる目標ディスプレイの最小および最大輝度を表わすとする。また、SminおよびSmaxが、やはりPQエンコードされる源ディスプレイの最小および最大輝度を表わすとする。すると、ある実施形態では、S2Tratioは次のように定義されてもよい。

【0038】

【数3】

一般性を失うことなく、いくつかの実施形態では、S2Tratioの値は、決して1より大きくないよう限られてもよい。すなわち、デコーダは、参照ディスプレイは常に少なくとも目標ディスプレイと同じくらい明るいと想定してもよい。S2Tratio＝1であれば、ステップ（１１５）はスキップされてもよいことを注意しておく。

【0039】

一般性を失うことなく、入力シーケンスは、三つの変数によって特徴付けられるとする。該三つの変数はある例示的な実施形態では、変数Crush〔つぶれ〕、Clip〔クリップ〕およびMid〔中間〕によって表わされる。これらはそれぞれ、入力シーケンスの最低黒レベル、最高白レベルおよび平均グレーレベルを表わす。それらの値は、各フレーム、フレームの一部またはシーン内のフレームのシーケンスについて計算されることができる。これらのパラメータの値は、入力ビデオ・ストリームに基づいて計算されてもよいし、あるいは入力メタデータ（１０６）の一部であってもよい。ある実施形態では、これらのパラメータは、シーン毎に計算される。本稿での用法では、「シーン」または「ショット」は、同じ全体的な輝度特性を共有しうる一連の捕捉時に逐次的だった（sequential-in-capture）フレームを表わす。シーンの切れ目（scene cut）は手動で決定されてもよく、あるいは入力メタデータの一部であってもよい。たとえば、Cuts[]の配列がシーンの切れ目のフレーム番号を定義してもよい。あるいはまた、各フレーム中のパラメータが、そのフレームがシーンの切れ目の始まりを表わしているかどうかを定義してもよい。

【0040】

これらの値およびS2Tratioの値を与えられて、ある実施形態では、下記の中間トーン曲線調整パラメータを計算してもよい：
Slope＝√(1/S2Tratio)は、中間トーン・コントラスト（mid-tones contrast）を表わす。これは、コントラストの見え方を保存するために、S2Tratio値に従って調整される。これは、中央のアンカー点（３５２−２）の近くでのマッピング曲線（３２０）への接線の傾きとして視覚化できる。

【0041】

Key＝(Mid−Crush)／(Clip−Crush)は、「暗い」または「明るい」シーンの指標である。低いKeyの（暗い）シーンは、わずかにより明るくマッピングされてもよく、高いKeyの（明るい）シーンは、わずかにより暗くマッピングされてもよい。それぞれ暗い詳細および明るい詳細を保存するためである。

【0042】

Shift＝Mid*(1−S2Tratio)*(2*Key)は、画像が暗くされる量を表わす。

【0043】

Rolloffは典型的には定数（たとえば1/3）であり、中間トーンとハイライト／陰との間の遷移の急峻さを表わす。より小さい値はより鋭い遷移を示し、「ソフト・クリッピング」の視覚的効果をもつことになる。

【0044】

Min＝max(Crush−Shift,Tmin)、Max＝min(Clip−Shift,Tmax)とすると、ある実施形態では、MATLABの記法を使って、式(2)の非線形マッピングのトーン曲線パラメータは表２に描かれるように計算されてもよい。

【0045】

【表2】

上記のC₁、C₂およびC₃パラメータを与えられると、ある実施形態では、強度マッピング・ステップ（１１５）の出力（１１７）（I_m）は次のように計算されてもよい。

【0046】

【数4】

ここで、I_oはEDR IPT-PQ信号（１１２）のI成分を表わす。

【0047】

〈I成分についてのマルチスケール詳細保存〉
式(4)のトーンマッピング演算子は典型的にはグローバル・トーンマッピング演算子と称される。同じ式がフレーム全体に適用されるからである。ある実施形態では、グローバル・トーンマッピングに、ローカル・コントラストを改善するマルチスケール・トーンマッピング演算子（１２５）が続いてもよい。そのようなローカル・トーンマッピング演算子の例がBallestadによって'189 PCT出願において記述されている。あるいはまた、別の実施形態では、強度マッピング・ステップ（１１５）の出力（１１７）には、ここに参照によって組み込まれる非特許文献２に記載されるような、非鮮鋭マスキング（unsharp masking）技法が続いてもよい。

【0048】

I_oは入力信号（１１２）の強度を表わし、I_mはトーンマッピングされた出力（１１７）の強度を表わすとする。すると、ある実施形態によれば、マルチスケール詳細保存ステップ（１２５）の出力I_S（１２７）の強度は、次のように表わされてもよい。

【0049】

【数5】

ここで、F(I,H)は画像IにカーネルHをもつ分離型フィルタを適用することを表わす。ある例示的な実施形態では、Hはσ＝2の11×11のガウシアン・フィルタを有する。しかしながら、代替的なフィルタが適用されてもよい。いくつかの実施形態では、入力信号の特性に依存して、このステップはスキップされてもよい。

【0050】

いくつかの実施形態では、式(5)の詳細保存プロセスは、レターボックスおよび字幕を含む、高コントラストのエッジのまわりの潜在的なハローを低減するために追加的なエッジ検出フィルタを用いることによってさらに向上されてもよい。ある実施形態では、

【数6】

【数7】

がそれぞれカーネルH_Bをもつ低域通過フィルタ（LPF）およびカーネルH_Eをもつエッジ検出フィルタの出力を表わすとする。すると、範囲[0,1]内に制約されていてもよいI_E出力を与えられて、マルチスケール詳細保存ステップ（１２５）は次のように表わされてもよい。

【0051】

【数8】

式(5)と比較すると、強いエッジが検出されるときは常に、I_Sは、低域通過フィルタリングされた信号よりももとのトーンマッピングされた信号に近い。

【0052】

いくつかの実施形態では、次式のように、追加的な重みも適用されてもよい。

【0053】

【数9】

ここで、w₁およびw₂は実装依存の重みである。もう一つの実施形態では、定数aおよびエッジ検出閾値T_eを与えられて、マルチスケール保存ステップ（１２５）の出力は、次のように表わされてもよい。

【0054】

【数10】

たとえば、式(10)によれば、a＝1について、エッジが検出されない場合、I_S出力は式(5)に従って決定される。しかしながら、強いエッジが検出される場合には、I_S＝I_mである。

【0055】

ある実施形態では、LPFフィルタはガウシアン・フィルタであり、エッジ検出フィルタは、LPFフィルタの一階微分を取ることによって導出される係数をもつ分離型フィルタであってもよい。しかしながら、いかなるエッジ検出フィルタが適用されてもよい。分離型の低域通過およびエッジ検出フィルタを適用することによって、ある実施形態では、低域通過フィルタリング、水平方向におけるエッジ検出および垂直方向におけるエッジ検出の動作が並列して適用されて、これらのフィルタのそれぞれについて別個の回路を統合しうる（FPGAまたはカスタム集積回路におけるような）並列アーキテクチャを活用しうる。そのような例示的な実装は図６に描かれている。ここで、
入力D0'はI_oに対応し；
入力D0''はI_mに対応し；
出力D0'''はI_Sに対応し；
Filter0は低域通過フィルタ（LPF）に対応し；
Filter1およびFilter2は水平方向および垂直方向のエッジ検出フィルタに対応し；
ABS()は絶対値関数を表わし；
MS_weight〔MS重み〕およびMS_edge_weight〔MSエッジ重み〕は範囲[0,1]内の調整可能なパラメータである（たとえばMS_weight＝0.0、MS_edge_weight＝1.0）。

【0056】

所与のビット深さNについて、max_valueは最大値2^N−1を表わすとする。dxおよびdyはエッジ・フィルタFilter1およびFilter2の出力を表わすとすると、ある実施形態では、alphaの値は次のように計算されてもよい。

【0057】

dx＝dx÷max_value
dy＝dy÷max_value
alpha＝MAX(0,MIN(1,(ABS(dx)＋ABS(dy))*ms_edge_weight＋(ms_weight)))
すると、出力は次のように計算されてもよい。

【0058】

d0[x,y]＝D0'[x,y]−d[x,y]*alpha−v[x,y]*(1.0−alpha)
D'''[x,y]＝CLIP3(0,max_value,d0)
ここで、d[x,y]は差分画像I_o−I_mを表わし、v[x,y]はLPFの出力を表わし（たとえばI_B）、CLIP3(a,b,x)関数はxの値が下限値aおよび上限値bの間に制限されることを表わす。

【0059】

〈飽和調整〉
IPT信号では、PおよびTは単に強度Iに比べた色差の相対的な強度である。ステップ（１１５）および（１２５）がI色成分を修正したので、PおよびT色成分は色相および彩度〔飽和度〕を保存するよう調整される必要がある。そのようなプロセスの例（１３０）が図４に描かれている。

【0060】

図４に描かれるように、カラフルさおよび飽和度をブーストするパラメータが、IPT-PQ空間におけるもとの信号（１１２）およびトーンマッピングされた出力（１２７）に基づいて計算されてもよい。これらのパラメータは、ピクセル毎のレベルで計算され、同じスケーラー（S）がPおよびTの色成分両方に適用される。ある例示的な実施形態では、カラフルさのブーストが線形マッピング関数

【数11】

を使って決定されるとする。ここで、k₁およびk₂は心理物理学的データに基づく定数である。たとえば、ある実施形態では、k₁＝0.5、k₂＝1.0である。式(6)において、CEDR（４１２）はステップ（４１０−１）の出力を表わし、CMapped（４１４）はステップ（４１０−２）の出力を表わす。すると、飽和調整スケーラー（４２２）は次のように決定されうる。

【0061】

【数12】

Sおよび信号（１１２）のもとのP_oおよびT_o色成分を与えられて、トーンマッピングされた出力の再飽和されたP_SおよびT_S（１３２）は次のように決定されうる。

【0062】

【数13】

いくつかの実施形態では、鮮鋭化された信号（１２７）（I_S）ではなくもとのトーンマッピングされた信号（１１７）（I_m）に基づいてカラフルさブーストCMappedを決定することが有益であることがある。その場合、次のようになる。

【0063】

【数14】

ある代替的な実施形態では、飽和調整ステップは、色変換ステップ（１１０）の一部であってもよい。ある例示的な実施形態では、式(1)によって描出されたヘルムホルツ・コールラウシュ効果についての補正（２３５）に続いて、次のクロマ・スケーリングを適用してもよい。

【0064】

【数15】

。

【0065】

〈色域マッパー3D LUT〉
トーンマッピングおよび飽和ブースト処理ステップの結果、目標ディスプレイ色域の外部の色になることがある。色域を調整するために、3D色域ルックアップテーブル（LUT）（１４０）が計算されて、ビデオ信号（１３２）に適用されてもよい。色域補正（１３５）の一部として、信号は別の色空間（たとえばRGB）に変換し戻されてもよく、ガンマ補正されて、目標ディスプレイ上での表示および／または他の後処理のための最終的なEDR信号（１４５）を生成してもよい。

【0066】

〈ルミナンスおよび色調整〉
ある種の実施形態では、ディレクターのもとの意図を表わすと考えられる値の外側にある入力信号のルミナンスまたはクロマ値を調整（たとえばブースト）することが望ましいことがある。たとえば、多くの消費者テレビジョンはそのようなピクチャー・モードを、特定のコンテンツについてのユーザーの経験を向上させるディスプレイ・パラメータの事前設定されたセットをもつ「鮮やか」、「スポーツ」または「映画」として組み込んでいる。ある実施形態では、ルミナンス・ブースト・パラメータは、中間トーン曲線調整パラメータ、たとえば先に論じたSlope、Shift、MinおよびShiftパラメータの関数として設定されてもよい。

【0067】

Slope_Pref＝Shift_Pref＝Min_Pref＝Max_Pref＝1が、ルミナンス・ブーストが必要とされないときのデフォルトのルミナンス・ブースト・パラメータを表わすとする。信号のブーストまたは変更が所望される場合には、それら四つのパラメータが調整されることができる。たとえば、限定なしに、ある実施形態では、それらの値は
Slope_Pref＝0.8
Shift_Pref＝0.005
Min_Pref＝0.0001
Max_Pref＝1.0
に設定されてもよい。すると、式(4)のトーン曲線パラメータ（１２０）を計算するために使われる対応するSlope、Shift、MinおよびShiftパラメータは次のように調整される。

【0068】

Slope＝Slope*Slope_Pref
Shift＝Shift*Shift_Pref
Min＝Min*Min_Pref
Max＝Max/Max_Pref
。

【0069】

Min、Max、SlopeおよびShiftへのこれらの調整の適用は、もとのマッピング範囲を変更する。したがって、マッピング範囲をもとのマッピング範囲（たとえば、ディスプレイおよびコンテンツ・メタデータ（１０６）から定義されるEDR最小／最大およびディスプレイ最小／最大）に戻すために、式(4)におけるI_mが計算された後に、次の式が実行される。

【0070】

【数16】

クロマも調整されてもよい。式(8)からのP_SおよびT_S出力が与えられて（たとえば信号（１３２））、(P_S,T_S)色成分は、標準的なユークリッドから極座標への変換を使って(chroma〔クロマ〕,hue〔色相〕)値に変換されてもよい。次いで、線形または非線形のマッピング関数を適用することによって、chroma（C_in）（飽和度、カラフルさ）値を調整することが可能である。そのようなマッピング関数の例は図５に描かれている。

【0071】

限定することなく、図５はクロマ・マッピング関数についての三つの例示的な実施形態を描いている。C_out＝f(C_in)がクロマ調整入力‐出力関数を描いているとする。第一の実施形態（５０５）では、
C_out＝C_in
であり、よって、クロマ調整は実行されない。第二の実施形態（５１０）では、
C_out＝C_in^γ
であり、γは定数である。最後に、第三の実施形態（５１５）では、chromaは、スプラインまたはシグモイド様入力出力関係によって記述される非線形関数の出力として表わされてもよい。

【0072】

いくつかの実施形態では、chromaマッピング関数はhue〔色相〕の関数として変調されてもよい。そのような実施形態では、ある種の色度（chromaticity）領域（たとえば空、芝生または肌トーン）は他とは異なる扱いをされてもよい。いくつかの実施形態では、chromaマッピング関数は強度（I）の関数としても変調されてもよい。いくつかの実施形態では、chroma値は、特殊効果（たとえばセピアまたは古い映画の感じ）のために脱飽和された画像を生成するために、低減されてもよい。

【0073】

クロマ調整後、変換された(chroma,hue)値は、標準的な極座標からユークリッドへの変換を使って、(P,T)値に変換し戻され、表示管理プロセスの残りが続けられる。いくつかの実施形態では、ルーマおよびクロマ調整は事前計算され、代替的には、表示管理パイプラインの他の3D LUTと組み合わされてもよい。

【0074】

ルミナンスおよびクロマ・パラメータを調整することは、目標ディスプレイの機能およびディスプレイ特性に強く依存する。いくつかの実施形態では、目標TVの製造業者およびモデルは、TVのEDID（Extended Display Identification Data［拡張ディスプレイ識別データ］）のような補助情報を介して、セットトップボックスまたはディスプレイ・マネージャ（DM）プロセッサに利用可能であってもよい。この情報は、ローカルなまたはリモートのデータベースを（たとえばインターネットまたは他のアップリンク接続を介して）使ってディスプレイの機能を検索し、それにより目標ディスプレイのための事前計算された最適化されたブースト・パラメータを提供するために使われることができる。あるいはまた、個別的な情報が利用可能でない場合には、セットトップボックスはユーザーに、代替的なディスプレイ・モードの選択を提供し、ユーザーが最も好ましいモードを選択することを許容してもよい。

【0075】

いくつかの実施形態では、最適化された3D LUTが目標ディスプレイのためのEDR表示管理のために利用可能でない場合、セットトップボックス（STB）は本稿に記載される方法を適用して、STBにあらかじめ記憶されていてもよいパラメトリック関数の組と目標ディスプレイ・パラメータに基づいて新たなLUTを計算してもよい。新しいTVを接続する際、ユーザーは新しいLUTが計算されるまで数秒間待つことがあるが、結果は装置メモリに記憶されてのちに再利用されてもよい。

【0076】

〈サブサンプリングされた色をもつ信号についてのトーンマッピング〉
いくつかの実施形態では、EDR信号（１０２）はサブサンプリングされたクロマ・フォーマット（たとえばYCbCr4:2:0）で受領されることがある。さらに、出力EDR RGB信号（１４５）は、RGB 4:4:4とは異なるディスプレイ固有のフォーマット（たとえばYCbCr4:2:0）に変換される必要があることもある。１００Ａの表示管理プロセス（図１Ａ）はフル解像度の入力および出力に対する（たとえばRGBからIPT-PQステップ（１１０）前の信号（１０２）に対するまたはRGB信号（１４５）に対する）前処理または後処理色変換、色アップサンプリングまたはダウンサンプリングを受け入れるよう簡単に修正されうるが、表示管理動作のいくつかを低減解像度信号に対して実行することが計算上より効率的となることがある。そのような実施形態の例を次に論じる。

【0077】

図１Ｂは、本発明のある代替的な実施形態に基づくEDR画像の表示管理についての例示的なプロセス（１００Ｂ）を描いている。限定することなく、ある例では、受領されたEDR信号（１０２）はYCbCr 4:2:0信号であり、所望される出力（１６０）はガンマ・エンコードされたEDR YCbCr 4:2:0信号であるとする。同様の処理は、YCbCr 4:2:2などのようなサブサンプリングされたクロマをもつ他の色フォーマットに適用されてもよい。

【0078】

１００Ｂに描かれるように、入力（１０２）の処理は、二つの別個の経路に分割されてもよい。フル（ルーマ）解像度でのY成分（１０２Y）の処理と、クロマ解像度での（たとえば4:2:0信号についての前記解像度の1/4での）RGB信号（１０７）の処理である。色変換器（１０５）は入力Yをダウンサンプリングし、次いでダウンサンプリングされたYおよびもとのCbCr入力成分を、もとのクロマ解像度に等しい空間解像度をもつRGB(4:4:4)信号（１０７）に変換する。色変換器（１１０Ｂ）はフル解像度（１０２Y）信号を知覚的に量子化された（PQ）信号（１１２Ｂ）に変換する。先に論じたように、RGBからIPT-PQへの処理ステップ（１００）（図２参照）において、（１０２）の入力Y成分は、該Y成分にPQ関数を適用する前に、ガンマ線形化され、（たとえば(0,1)の範囲に）規格化されてもよい。

【0079】

新しい信号（１０７）および（１１２Ｂ）を与えられて、信号（１０７）についての処理は（１００Ａ）におけるように進行する。ただし、今ではマルチスケール詳細保存ステップ（１２５）は飽和および調整ステップ（１３０）後に適用される。信号（１３２）は今ではもとの信号（１０２）の解像度の1/4なので、追加的なアップサンプリング・ステップ（１５０）がガンマ・マッピング器（１３５）の出力をフル解像度信号（１５２）にアップサンプリングし、該フル解像度信号がマルチスケール詳細保存ステップ（１２５）のトーンマッピングされた入力（I_m）として使用される。信号（１１２Ｂ）はもとの信号I_oとして使用される（式(5)〜(10)参照）。色域マッピング・プロセス（１３５）は、(Y-PQ)CbCr(4:4:4)色空間における信号を直接生成してもよいことを注意しておく。出力EDR（１６０）はYCbCr(4:2:0)フォーマットであり、二つの信号を含む。色域マッピング器（１３５）によって計算されたクロマ成分（１３７-CbCr）と、ルーマ信号（１５７）である。ルーマ信号（１５７）は、マルチスケール詳細保存ステップ（１２７）の出力をガンマ補正する（１５５）ことによって生成されてもよい。PQデコードおよびガンマ・エンコード（１５５）は、目標ディスプレイ（図示せず）のEOTFパラメータ（１５２）（たとえばガンマ、MinおよびMax）を利用してもよい。

【0080】

図１Ｃは、さらにピクセル・パイプライン効率を改善し、メモリ要求を低減するためにマルチスケールおよびルーマ・ダウンサンプリング動作を並列化する代替的な実施形態を描いている。この例では、フル解像度（Y）パイプラインはフル解像度で動作するが、ピクセル当たりより少数の動作を必要とする。対照的に、RGB4:4:4パイプラインはピクセル当たりより多くの動作を有するが、もとのルーマ・ピクセル解像度の1/4で動作する。図１Ｃは、並列ハードウェア実装によりなじみやすい。

【0081】

（１００Ｂ）に比べ、（１００Ｃ）は色変換器（１１０Ｂ）の出力（I_o １１２Ｂ）に追加的な強度マッピング・ステップ（１１５Ｂ）を加えるが、（１００Ｂ）におけアップサンプリング・プロセス（１５０）の必要性をなくす。強度マッピング・ステップ（１１５Ｂ）は、ステップ１２０において計算されたトーン曲線パラメータを使ってもよい。いくつかの実施形態（図示せず）では、強度マッピング（１１５Ｂ）への入力は、信号（１１２Ｂ）ではなく信号（１０２Y）であってもよい。

【0082】

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したような向上ダイナミックレンジをもつ画像の表示管理および表示に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したような表示管理プロセスに関係する多様なパラメータまたは値の任意のものを計算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

【0083】

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したようなEDR画像の表示管理に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の非一時的な媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

【0084】

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（たとえば機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

【0085】

〈等価物、拡張、代替その他〉
このように、EDR画像の効率的な表示管理に関係する例示的な実施形態が記載されている。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】