特許 5770865 画像データ変換のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5770865

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】画像データ変換のための方法及び装置

(51)【国際特許分類】

   H04N 9/64 20060101AFI20150806BHJP

   H04N 9/73 20060101ALI20150806BHJP

   G06T 1/00 20060101ALI20150806BHJP

   H04N 1/60 20060101ALI20150806BHJP

   H04N 1/46 20060101ALI20150806BHJP

【ＦＩ】

   H04N9/64 Z

   H04N9/73 Z

   G06T1/00 510

   H04N1/40 D

   H04N1/46 Z

【請求項の数】30

【全頁数】25

(21)【出願番号】特願2013-558165(P2013-558165)

(86)(22)【出願日】2012年3月15日

(65)【公表番号】特表2014-512740(P2014-512740A)

(43)【公表日】2014年5月22日

(86)【国際出願番号】US2012029189

(87)【国際公開番号】WO2012125802

(87)【国際公開日】20120920

【審査請求日】2013年9月12日

(31)【優先権主張番号】61/453,107

(32)【優先日】2011年3月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/567,784

(32)【優先日】2011年12月7日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】バレスタッド，アンデルス

(72)【発明者】

【氏名】コスティン，アンドレイ

(72)【発明者】

【氏名】ワード，グレゴリー ジョン

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００７−３３６５３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００５７０６１（ＵＳ，Ａ１）

【文献】 特開２００３−２４８４６７（ＪＰ，Ａ）

【文献】 米国特許第０６８４４８８１（ＵＳ，Ｂ１）

【文献】 特開２００３−０５２０５０（ＪＰ，Ａ）

【文献】 特開平１１−３５５７９８（ＪＰ，Ａ）

【文献】 特開２００６−３４３９５７（ＪＰ，Ａ）

【文献】 特開２００６−１４５５７７（ＪＰ，Ａ）

【文献】 特開２００７−３２５１３４（ＪＰ，Ａ）

【文献】 特開２００７−３１８２５６（ＪＰ，Ａ）

【文献】 特開昭６３−０６１５９１（ＪＰ，Ａ）

【文献】 特開２００１−２５１６４０（ＪＰ，Ａ）

【文献】 特開２００９−０１７２００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／６４

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／６０

Ｈ０４Ｎ ９／７３

(57)【特許請求の範囲】

【請求項1】

複数のアンカーポイントとフリーパラメータとにより特徴付けされるパラメータ化された伝達関数に従って画像データを変換するよう構成されるピクセル座標マッピングユニットを有する装置であって、
前記パラメータ化された伝達関数は、前記フリーパラメータにより制御されるミッドレンジの傾きを有し、
前記アンカーポイントにおける変換は、前記フリーパラメータにより影響されず、
前記アンカーポイントは、黒色レベルアンカーポイント、白色レベルアンカーポイント及びミッドトーンアンカーポイントを有し、
前記黒色レベルアンカーポイントは、前記画像データをカラータイミング処理又は承認するのに利用されるカラータイミングディスプレイの黒色レベルから前記変換された画像データの表示のため用いられるターゲットディスプレイの黒色レベルへの変換に対応し、
前記白色レベルアンカーポイントは、前記カラータイミングディスプレイの白色レベルから前記ターゲットディスプレイの白色レベルへの変換に対応し、
前記ミッドトーンアンカーポイントは、前記ターゲットディスプレイ上の前記画像データのターゲット輝度に影響を与える装置。

【請求項2】

前記画像データは、画像のピクセルのピクセル値のセットから構成され、
前記ピクセル値のセットは、複数の原色のそれぞれのカラー値から構成され、
当該装置は、前記カラー値の対応するものを変換するためそれぞれが接続される複数のピクセル座標マッピングユニットを有する、請求項１記載の装置。

【請求項3】

電子画像ディスプレイを有し、
前記カラー値はそれぞれ、前記電子画像ディスプレイに固有の原色に対応する、請求項２記載の装置。

【請求項4】

前記カラー値は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の原色の値を含む、請求項２記載の装置。

【請求項5】

電子画像ディスプレイを有し、
前記Ｒ、Ｇ及びＢの原色は、前記電子画像ディスプレイに固有である、請求項４記載の装置。

【請求項6】

入力画像データから前記電子画像ディスプレイに固有のＲＧＢ画像フォーマットに画像データを変換するよう構成される画像データ変換装置を有する、請求項５記載の装置。

【請求項7】

周辺光センサと、
前記周辺光センサから周辺光信号を受信し、前記周辺光信号に少なくとも部分的に基づき前記アンカーポイントの１つの座標と前記フリーパラメータとの１以上を制御するよう構成される回路と、
を有する、請求項１乃至６何れか一項記載の装置。

【請求項8】

前記ミッドトーンアンカーポイントは、前記画像データの代表的な中間値をターゲットディスプレイの中間値に変換する、請求項１乃至７何れか一項記載の装置。

【請求項9】

前記代表的な中間値は、前記画像データのルミナンスの幾何平均からなり、
当該装置は、前記画像データのルミナンスの幾何平均を計算するよう構成されるプロセッサを有する、請求項８記載の装置。

【請求項10】

前記代表的な中間値は、当該装置に設定された固定値である、請求項８記載の装置。

【請求項11】

当該装置は、前記画像データに対応するメタデータを受信し、前記画像データに少なくとも部分的に基づき前記ミッドトーンアンカーポイントの位置を設定するよう構成される、請求項８記載の装置。

【請求項12】

前記マッピングユニットの伝達関数は、互いに異なる、請求項３記載の装置。

【請求項13】

前記ピクセル座標マッピングユニットは、

【数1】

による変換を実行するよう構成され、Ｖは入力座標値であり、Ｖ’は出力座標値であり、Ｃ_１，Ｃ_２及びＣ_３はアンカーポイントに対応するパラメータであり、ｎは前記フリーパラメータである、請求項１乃至１２何れか一項記載の装置。

【請求項14】

当該装置は、変換された画像データピクセルのトーン圧縮量に従って、前記変換された画像データピクセルを再彩度調整するよう構成される、請求項１乃至１３何れか一項記載の装置。

【請求項15】

当該装置は、前記変換された画像データピクセルのピクセル値における前記伝達関数の傾きに基づき、前記変換された画像データピクセルを再彩度調整するよう構成される、請求項１４記載の装置。

【請求項16】

ターゲットディスプレイ上に表示するため画像データをマッピングする方法であって、
複数のアンカーポイントとフリーパラメータとにより特徴付けされるパラメータ化された伝達関数に従って前記画像データのピクセル値を対応する変換されたピクセル値に変換するステップを有し、
前記パラメータ化された伝達関数は、前記フリーパラメータにより制御されるミッドレンジの傾きを有し、
前記アンカーポイントに対応するピクセル値の変換は、前記フリーパラメータにより影響されず、
前記アンカーポイントは、黒色レベルアンカーポイント、白色レベルアンカーポイント及びミッドトーンアンカーポイントを有し、
前記黒色レベルアンカーポイントは、前記画像データをカラータイミング処理又は承認するのに利用されるカラータイミングディスプレイの黒色レベルから前記ターゲットディスプレイの黒色レベルへの変換に対応し、
前記白色レベルアンカーポイントは、前記カラータイミングディスプレイの白色レベルから前記ターゲットディスプレイの白色レベルへの変換に対応し、
前記ミッドトーンアンカーポイントは、前記ターゲットディスプレイ上の前記画像データのターゲット輝度に影響を与える方法。

【請求項17】

前記画像データは、カラーグレーティッドされたコンテンツから構成される、請求項１６記載の方法。

【請求項18】

前記ピクセル値は、各ピクセルについて、複数の原色に対応する複数の値のセットを有し、
当該方法は、前記複数の原色のそれぞれに対応するピクセル値を別々に変換するステップを有する、請求項１６記載の方法。

【請求項19】

前記異なる原色の変換は、全てが同一であるとは限らない、請求項１８記載の方法。

【請求項20】

前記変換は、色域マッピングとカラー補正とを実現する、請求項１９記載の方法。

【請求項21】

周辺光を示す信号に少なくとも部分的に基づき、前記アンカーポイントの１つの座標と前記フリーパラメータとの１以上を制御するステップを有する、請求項１６記載の方法。

【請求項22】

前記伝達関数は、

【数2】

により与えられ、Ｖは入力ピクセル値であり、Ｖ’は変換されたピクセル値であり、Ｃ_１，Ｃ_２及びＣ_３はアンカーポイントに対応するパラメータであり、ｎは前記フリーパラメータである、請求項１６乃至２１何れか一項記載の方法。

【請求項23】

前記変換されたピクセル値のトーン圧縮量に従って前記変換されたピクセル値を再彩度調整するステップを有する、請求項１６乃至２２何れか一項記載の方法。

【請求項24】

前記変換されたピクセル値の再彩度調整量は、前記変換されたピクセル値における前記伝達関数の傾きに基づく、請求項２３記載の装置。

【請求項25】

画像データのカラー値を変更するカラー操作装置であって、
ソース画像データの第１メモリ又は入力と、
変更された画像データの第２メモリ又は出力と、
前記第１メモリ又は入力にアクセスするよう接続され、複数のアンカーポイントとフリーパラメータとにより特徴付けされる伝達関数に従って前記ソース画像データを変換するよう構成されるピクセル座標マッピングユニットであって、前記伝達関数は前記フリーパラメータにより制御されたミッドレンジの傾きを有し、前記変更された画像データを生成し、前記変更された画像データを前記第２メモリ又は出力に提供するため、前記アンカーポイントにおける変換は前記フリーパラメータにより影響されない、前記ピクセル座標マッピングユニットを有する請求項１記載の装置と、
前記フリーパラメータの値をユーザから受け付けるよう構成されるユーザ入力と、
前記変更された画像データを表示するため接続されるディスプレイと、
を有するカラー操作装置。

【請求項26】

画像データは、複数のカラーチャネルを有し、
当該装置は、前記カラーチャネル毎の複数のピクセルマッピングユニットを有し、
前記ユーザ入力は、前記カラーチャネルのそれぞれの前記フリーパラメータの別々の値を前記ユーザから受け付けるよう構成される、請求項２５記載のカラー操作装置。

【請求項27】

前記ユーザ入力は、前記アンカーポイントの少なくとも１つの位置を指定する情報をユーザから受け付けるよう構成される、請求項２５記載のカラー操作装置。

【請求項28】

ターゲットディスプレイ上への表示のため画像データをマッピングする方法であって、
請求項１６記載の方法により前記画像データのピクセル値を第１のグローバルトーンマッピングされたピクセル値に変換するステップと、
ローカルマルチスケールトーンマッピング方法により前記グローバルトーンマッピングされたピクセル値をローカルトーンマッピングされたピクセル値に変換するステップと、
を有する方法。

【請求項29】

請求項１６記載の方法により前記ローカルトーンマッピングされたピクセル値を第２のグローバルトーンマッピングされたピクセル値に変換するステップをさらに有する、請求項２８記載の方法。

【請求項30】

前記ローカルマルチスケールトーンマッピング方法は、
前記第１のグローバルトーンマッピングされたピクセル値に基づき、ルミナンス値を有する高解像度ルミナンスレシオ画像を生成するステップであって、前記高解像度ルミナンスレシオ画像は、入力画像のルミナンスピクセルに対する第１のローカルにマッピングされたルミナンスピクセルのレシオとして定義される、生成するステップと、
前記高解像度ルミナンスレシオ画像に少なくとも部分的に基づき、各レシオ画像が異なる空間解像度レベルを有する少なくとも２つの異なるレシオ画像の重み付けされた組み合わせを有するローカルマルチスケールレシオ画像を生成するステップと、
入力データから導出されたルミナンス値による前記ローカルマルチスケールレシオ画像のレシオ値を用いて、ローカルトーンマッピングされたルミナンス画像を生成するステップと、
を有する、請求項２８記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、双方がすべての目的のため参照することによりその全体がここに援用される、２０１１年３月１５日に出願された米国仮特許出願第６１／４５３，１０７号及び２０１１年１２月７日に出願された米国仮特許出願第６１／５６７，７８４号に対する優先権を主張する。

【0002】

本出願はまた、参照することによりここに援用される２０１２年３月１日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１２／０２７２６７号に関連する。
［技術分野］
本発明は、画像の表示及び処理に関する。本発明は、特にトーン及び／又は色域マッピングに関する方法及び装置に関する。ここに記載される方法及び装置は、創作的意図を保持しながら、デスティネーションディスプレイ上のクオリティ画像を提供するのに適用されてもよい。本発明は、例えば、テレビ、コンピュータモニタ、メディアプレーヤー、ビデオ対応携帯電話及び他の携帯電話などの電子ディスプレイ、仮想現実ディスプレイなどの特殊なディスプレイ、宣伝用ディスプレイなどと共に、セットトップボックス、アクセスポイントなどのアップストリーム画像処理装置において実現されてもよい。

【背景技術】

【0003】

本発明の一般的分野における特許文献は以下を含む。ＵＳ２００１００５０７５７；ＵＳ２００２００７５１３６；ＵＳ２００２００８０２４５；ＵＳ２００７０１２７０９３；ＵＳ２００８００９４５１５；ＵＳ２００８０１７００３１；ＵＳ２００８０１８６７０７；ＵＳ２００９０２０１３０９；ＵＳ２００９０２６７８７６；ＵＳ２０１００００７５９９；ＵＳ２０１０００１１８００８；ＵＳ７１５８６７３；ＵＳ６９８９８５９；ＵＳ５２７６７７９；ＪＰ２００２０９２６５５
ビデオ制作又は他の画像の制作者（例えば、監督、カラリストなど）は、視聴時に画像が制作者の創作的意図に合致する所望の様相を有するように、画像のピクセルのトーン及びカラーを設定してもよい。例えば、制作者は、一部のシーンが他のものより暗く重苦しい感情を有することを所望してもよい。制作者は、あるシーンに描かれる特定の特徴が際だつか、又は目立たなくなることを所望するかもしれない。画像のピクセルのトーン及びカラーの調整は、ソースビデオデータに対するカラーグレーティング（又はカラータイミング）を実行することを含むものであってもよい。カラーグレーディングは、所望の様相を実現するためユーザがビデオデータを各種方法により変更することを可能にするハードウェア／ソフトウェアシステムを利用して実行されてもよい。

【0004】

各種ディスプレイ技術が現在利用可能である。例えば、プラズマディスプレイ、各種タイプのＬＥＤ、蛍光ランプ又は高輝度白熱電球などの各種タイプの光源によるバックライトされるＬＣＤディスプレイ、ＣＲＴベースディスプレイ、デジタルシネマディスプレイなどがある。特定のディスプレイは、ビデオ信号を受信し、ビデオ信号のビデオコンテンツを表示するディスプレイハードウェアを駆動するビデオ信号処理コンポーネントとディスプレイハードウェアとを組み合わせる。

【0005】

異なるディスプレイは、ディスプレイにより再生可能な色域、実現可能な最大輝度、コントラスト比、解像度、許容される入力信号フォーマット、カラー深度、白色レベル、黒色レベル、ホワイトポイント、グレイステップなどの特徴に関して有意に変動しうる。この結果、同じ画像コンテンツは、異なるディスプレイ上で再生されるとき異なって現れる可能性がある。一部のディスプレイに表示されるときの制作者の創作的意図に合致した画像コンテンツは、他のディスプレイ上で視聴されるときに１以上の方法により制作者の創作的意図から乖離する可能性がある。

【0006】

一部の現在のディスプレイは、あるコンテンツが１以上の側面により作成された時点において最新のディスプレイより優れたものでありうる。例えば、新たなディスプレイは、以前のディスプレイより明るいハイライト、より大きなコントラスト及び／又はより広い色域を有する画像を提供可能であってもよい。視聴されるコンテンツに実現される創作的意図から有意に乖離することなく、これらの改良された機能を利用することが所望できる。

【0007】

より低い機能を有するディスプレイ又は従来のディスプレイによる高パフォーマンスな表示を利用するため制作されたビデオコンテンツを再生することが所望される可能性がある。可能な限り多くの画像データに実現される創作的意図を保持するため、異なるディスプレイに表示されるビデオ及び他の画像の様相を適応化するための方法及び装置を提供することが所望されるであろう。

【0008】

カラー及びルミナンスの知覚は、環境状態によって影響されうる。シアター状態（低い周囲の照明）の下で提供されるビデオ又は他の画像は、有意な周囲の照明による状態の下で視聴されたときに同一又は他の画像が知覚されるよりも、有意に異なって視聴者により知覚されてもよい。さらに、周囲の照明の特性（カラー温度など）は、ビデオコンテンツの視聴者の知覚に影響を与える可能性がある。可能な限り多くのビデオ又は他の画像に実現される創作的意図を保持するためコンテンツが視聴されている環境を考慮して、ビデオ又は他の画像を表示することが所望されるであろう。

【0009】

視聴者が画像を視聴するディスプレイの機能を利用した視聴体感を画像（静止画像及び／又はビデオ画像を含む）の視聴者に提供することが必要とされる。画像データに符号化されるビデオ又は他の画像コンテンツが再生時に所望の様相を有するように、画像データを調整するのに適用されてもよい装置及び方法が必要とされる。

【発明の概要】

【0010】

本発明は、ある範囲の態様を有する。これらは、限定することなく、色域変換機能を有する装置、色域変換方法、周辺光状態を考慮するため画像コンテンツの表示を調整する方法、データプロセッサにより実行されると、本発明による方法をデータプロセッサに実行させるコンピュータ可読コードを有するプログラムプロダクトを含む。

【0011】

非限定的な１つの態様は、伝達関数に従って画像データを変換するよう構成されるピクセル座標マッピングユニットを有する装置を提供する。伝達関数は、複数のアンカーポイントとフリーパラメータとにより特徴付けされる。伝達関数は、フリーパラメータにより制御されるミッドレンジの傾きを有する。アンカーポイントにおける変換は、フリーパラメータにより影響されない。当該装置は、例えば、あるターゲットディスプレイ上に表示するためカラーグレーティッドコンテンツを変換するのに有用となりうる。

【0012】

一部の実施例では、当該装置は、周辺光センサを有するか、又は周辺光センサから周辺光信号を受信し、周辺光センサから周辺光信号を受信するため接続された回路が、周辺光信号に少なくとも部分的に基づきアンカーポイントの１つの座標とフリーパラメータとの１以上を制御するよう構成される。

【0013】

一部の実施例では、画像データは、画像のピクセルのピクセル値セットを有する。ピクセル値セットは、複数の原色のそれぞれのカラー値（例えば、赤色、緑色及び青色の原色に対応する値など）を有する。当該装置は、それぞれがカラー値の対応する１つを変換するため接続される複数のピクセル座標マッピングユニットを有する。異なる座標マッピングユニットの伝達関数のパラメータは、同じであってもよいし、又は異なるものであってもよい。適切に選択された異なるパラメータによって、当該変換は、色域変換と共にカラー補正を実行してもよい。

【0014】

本発明の他の態様は、ターゲットディスプレイ上への表示のため画像データをマッピングする方法を有する。本方法は、伝達関数に従って画像データのピクセル値を対応する変換されたピクセル値に変換することを含む。伝達関数は、複数のアンカーポイントとフリーパラメータとにより特徴付けされる。伝達関数は、フリーパラメータにより制御されるミッドレンジの傾きを有する。アンカーポイントに対応するピクセル値の変換は、フリーパラメータにより影響されない。一部の実施例では、ミッドレンジのアンカーポイントの位置とフリーパラメータとの１以上が、視聴者の視覚系の適応化及び／又は周辺光を考慮して自動的に変更される。

【0015】

他の態様は、グローバルトーンマッピング変換とローカルマルチスケールトーンマッピング処理とを合成することによって、ターゲットディスプレイ上に表示するため画像データをマッピングする方法を有する。

【0016】

他の態様は、カラー操作装置を提供する。当該装置は、例えば、静止又はビデオ画像を変更するためのワークステーションを有してもよい。当該装置は、画像データのカラー値を変更するため適用されてもよい。カラー操作装置は、ソース画像データの第１メモリ又は入力と、変更された画像データの第２メモリ又は出力とを有する。ピクセル座標マッピングユニットは、第１メモリ又は入力にアクセスするため接続され、複数のアンカーポイントとフリーパラメータとにより特徴付けされる伝達関数に従ってソース画像データを変換するよう構成される。伝達関数は、フリーパラメータにより制御されるミッドレンジの傾きを有し、アンカーポイントにおける変換は、変更された画像データを生成し、変更された画像データを第２メモリ又は出力に提供するため、フリーパラメータにより影響されない。ユーザ入力は、フリーパラメータの値をユーザから受け付けるよう構成される。ディスプレイは、変更された画像データを表示するため接続される。ユーザは、ディスプレイに表示される画像の所望の様相を取得するため、フリーパラメータの値を調整してもよい。

【0017】

本発明のさらなる態様及び具体的な実施例の特徴が後述される。

【図面の簡単な説明】

【0018】

添付した図面は、本発明の非限定的な実施例を示す。

【図1】図１は、ビデオ配信パイプラインの概略図である。

【図2】図２は、本発明の実施例による装置を示す。

【図3】図３は、一例となる伝達関数を示す。

【図4】図４は、ターゲットディスプレイ及び入力画像データに関する情報を利用して、伝達関数を規定するパラメータの適切な値を決定する方法を示すフローチャートである。

【図5】図５は、一実施例による画像データを処理する方法を示すフローチャートである。

【図6】図６は、一実施例によるローカルマルチスケールトーンマッピング演算子とグローバルトーンマッピング演算子とを組み合わせる方法を示すフローチャートを示す。

【発明を実施するための形態】

【0019】

以下の説明を通じて、本発明のより完全な理解を提供するため、具体的な詳細が提供される。しかしながら、本発明は、これらの詳細なしに実現されてもよい。他の例では、周知の要素は、本発明を不用に不明りょうにすることを避けるため、詳細には図示又は説明されていない。従って、明細書及び図面は、限定的な意味でなく例示的な意味によるものであるとみなされるべきである。

【0020】

図１は、ビデオ配信パイプライン２０を概略的に示す。生のビデオデータ２２は、生のビデオ作品２４を提供するため、編集室２３において取得及び編集される。生のビデオ作品のトーン及び／又はカラーは、カラータイムドビデオ作品２７を実現するため、カラリスト（例えば、適切なユーザインタフェースを介しカラータイミングステーション２６により提供されるツールを利用する人など）によりカラータイミングステーション２６において調整される。カラータイミングステーション２６は、カラリストがビデオ作品を視聴するプロフェッショナルモニタ３０を有する。カラータイミングステーション２６により提供されるツール及びコントロールを利用して、カラリストは、ディスプレイ３０上で視聴されるとき、カラリストの芸術的意図に合致した全体的な様相を実現するため、ビデオ作品を構成する画像のすべて又は一部のトーン及び／又はカラーを調整する。

【0021】

カラータイムドビデオ作品２７のすべての視聴者がカラリストにより体感されたものと同じ環境状態下のディスプレイ３０と同じディスプレイ上でビデオ作品を視聴した場合、人間の画像の知覚の個々の変化を除き、視聴者のすべてはカラリストにより意図されるもの正確にビデオ作品を見ることになる（すなわち、カラリストの芸術的意図に見合う方法により）。使用される極めて広範なディスプレイが与えられると、視聴者すべてが同一のディスプレイを有することを除き、異なる視聴者がビデオ作品を視聴するディスプレイが最大輝度、黒色レベル及び色域などの類似した特性を有することは非現実的である。

【0022】

本発明の１つの態様は、カラリストの視聴体感を詳細に複製する方法により、特定のデスティネーションディスプレイ上に表示するためのカラータイムドビデオ作品２７などの画像データからトーン及び／又はカラーをマッピングするため自動的に適用されてもよいマッピング方法及び装置を提供する。

【0023】

一部の実施例では、マッピング方法及び装置は、平均画像輝度（適応化ポイント）、中間トーンローカルコントラスト、彩度、入力された黒色が表示されるレベル、入力された白色が表示されるレベルの１以上に対する直接的な制御を提供する。これらのパラメータは、視聴体感に提供を与える。

【0024】

図２は、本発明の一実施例による装置４０を示す。本例では、装置４０は、視聴者Ｖによる視聴のためのターゲットディスプレイ４１の画面４４に表示されるべきビデオデータを受信する入力４２を有する。ビデオデータ４３は、制作者の意図を実現するカラータイムドビデオデータから構成されてもよい。装置４０は、ビデオデータ４３のピクセル値をターゲットディスプレイ４１に固有のカラー空間に変換するカラー空間変換手段４６を有する。図示された実施例では、ターゲットディスプレイ４１の固有のカラー空間は、ターゲットディスプレイ４１の原色の強度に関してカラーを特定するＲＧＢカラー空間である。

【0025】

カラー空間変換手段４６は、例えば、ディスプレイ４１に固有のカラー空間値（ＲＧＢ値など）のベクトルを生成するため、３×３の行列とビデオデータ４３のピクセル値のベクトルとを乗算する行列乗算手段を有してもよい。変換行列は、ターゲットディスプレイ４１の原色及び白色ポイントを考慮して特定されてもよい。一部の実施例では、カラー空間変換手段４６は、ピークルミナンスについてスケーリングすることなく、カラー空間変換行列を適用するよう構成されてもよい。後述されるように、これは、以降の画像処理演算のためのパラメータの選択をより直感的なものにするものであってもよい。

【0026】

以下の具体例では、ビデオデータ４３のピクセル値はＸＹＺカラー空間により表現され、カラー空間変換手段４６は、ＸＹＺカラー空間から正のＲＧＢ値への変換を実行する。本発明は、ＸＹＺカラー空間に提供されるカラーデータに限定されるものでない。ビデオデータ４３は、何れか適切なカラー空間により提供されてもよい。

【0027】

固有のＲＧＢ値は、色域外のピクセル値の組み合わせの変換を生じさせるものであってもよい（例えば、ディスプレイにより利用される原色の何れか再生可能な組み合わせを利用して再生不可なカラーなど）。カラー空間変換手段４６により生成される何れかの負のＲＧＢ値は、小さな非負値にクリップされてもよい。あるいは、色域外のピクセル値は、変換前に色域内のピクセル値にマッピングされてもよい（ビデオデータ４３のカラー空間内のマッピングなどに従って）。これは、例えば、カラー空間変換手段４６のコンポーネント又は独立したマッピングユニットにより実行されてもよい。

【0028】

カラー空間変換手段４６により処理された後、ビデオデータ４３はそれぞれターゲットディスプレイ４１の赤色、緑色及び青色（ＲＧＢ）の原色に対応する各値４８Ｒ、４８Ｇ及び４８Ｂを有する。

【0029】

各値４８Ｒ、４８Ｇ及び４８Ｂは、マッピングユニット５０により新たな値に独立にマッピングされる。マッピングユニット５０Ｒ、５０Ｇ及び５０Ｂが示される。各マッピングユニットは、カラー空間変換手段４６から受信した対応する入力値を変換値にマッピングする。図示された実施例では、変換値はそれぞれ、４８Ｒ’、４８Ｇ’及び４８Ｂ’により示される。

【0030】

各マッピングユニット５０は、伝達関数５５に従ってそれの入力値を出力値にマッピングする。効果的には、伝達関数５５は、“アンカーポイント”と呼ばれる複数の固定ポイントと、ミッドレンジ領域において伝達関数の傾きを調整するフリーパラメータとによって特徴付けされてもよい。この傾きは、ミッドレンジコントラストに対応する。フリーパラメータの調整は、ミッドレンジコントラストを制御する手段を提供する。伝達関数は、ミッドレンジ領域において線形であってもよいし、又は線形に近づくものであってもよい。

【0031】

図３は、一例となる伝達関数を示す。図３において、入力値は水平軸上に示され、出力値は垂直軸上に示される。各軸は対数スケールを有する。伝達関数５５は、出力値の最大値５６Ａ、出力値の最小値５６Ｂ及び実質的に線形のミッドトーン領域５６Ｃにより特徴付けされる。マッピングユニット５０Ａ、５０Ｂ及び５０Ｃにより赤色、青色及び緑色のチャネル信号に適用される伝達関数５５Ｒ、５５Ｇ及び５５Ｂは、同一又は異なるものであってもよい。マッピングユニット５０Ａ、５０Ｂ及び５０Ｃは、完全に独立してもよいし、又はハードウェア及び／又はソフトウェアコンポーネントを共有してもよい。

【0032】

一実施例では、伝達関数５５は以下の式により与えられる。

【0033】

【数1】

ただし、Ｃ_１，Ｃ_２，Ｃ_３は定数であり、Ｖはカラーチャネルの入力値であり、Ｖ’はカラーチャネルの出力値であり、ｎはパラメータである。式（１）の伝達関数は、パラメータ化されたシグモイドトーン曲線関数の一例である。

【0034】

他のパラメータ化された伝達関数が利用されてもよい。一部の実施例では、伝達関数は、伝達関数の上端及び下端においてロールオフのローエンドスロープ、ハイエンドスロープ及び“シャープネス”の１以上に対する制御を提供するパラメータを含む。

【0035】

具体的なケースにおける式（１）のパラメータの値を決定する１つの方法は、図４の方法７０により示される。方法７０は、ターゲットディスプレイに関する情報と、入力ビデオデータのカラータイミング又はアプルーブに利用されるディスプレイに関する情報（カラータイミングディスプレイ）とを利用して、式（１）のパラメータの適切な値を決定する。ブロック７１は、曲線５５上の３つのルミナンスアンカーポイントを特定する。第１アンカーポイント５７Ａは、カラータイミングディスプレイ及びターゲットディスプレイの黒色レベルにそれぞれ等しい水平座標と垂直座標とを有する。一部の実施例では、カラータイミングディスプレイに関する情報は、入力信号から推測される。例えば、カラータイミングディスプレイの黒色レベルは、入力信号のルミナンスチャネルの小さなパーセンタイル（例えば、０．１パーセンタイルなど）をとることによって、入力信号から推測されてもよい。ターゲットディスプレイの黒色レベルは、ターゲットディスプレイの黒色レベルである。

【0036】

第２アンカーポイント５７Ｂは、それの水平座標としてカラータイミングディスプレイの白色レベルと、垂直座標としてターゲットディスプレイの白色ポイントとを有する。例えば、カラータイミングディスプレイの白色ポイントは、入力信号の何れかのカラーチャネルの最大値として入力信号から推測されてもよい。

【0037】

真ん中のアンカーポイント５７Ｃの位置は、表示画像の全体的な輝度に影響を与える（画像の“キー”など）。ミッドトーンアンカーポイント５７Ｃの適切な選択は、ターゲットディスプレイ上に適切な明るさとして入力信号が知覚されることを可能にする。

【0038】

ポイント５７Ｃの水平位置は各種方法により設定されてもよく、これらは、以下を含む。
・入力ルミナンスの幾何平均を計算
・適切な中間値としてカラーグレーティング環境において知覚される固定値を選択 例えば、一部の実施例では、当該値は１０などのレベルに設定可能である。

【0039】

ポイント５７Ｃの垂直値は、ターゲットディスプレイのミドルグレイに対応するルミナンスレベルに基づくものであってもよい。例えば、１〜４００ｃｄ／ｍ^２のルミナンス値を生成可能なディスプレイでは、ミドルグレイは約２０ｃｄ／ｍ^２である（１〜４００ｃｄ／ｍ^２の対数的に１／２である）。ポイント５７Ｃの適切な値は、ミドルグレイに対応する値であってもよい（本例では、約２０ｃｄ／ｍ^２）。カラー空間変換手段４６がピークルミナンスのスケーリングなしにカラー空間変換行列を適用するよう構成される実施例では、２０の値は２０ｃｄ／ｍ^２のミドルグレイに対応する。

【0040】

一部の実施例では、ミッドトーンアンカーポイント５７Ｃは、伝達関数の入力と出力との双方について所望の係数の範囲内で白色アンカーポイントの座標に対するミットトーンアンカーポイントの座標のレシオを等しくするよう選択される。

【0041】

一部の実施例では、ビデオデータの白色ポイントがターゲットディスプレイ及び／又はターゲット視聴環境の白色ポイントに一致するよう変換されるように、各ＲＧＢ座標について異なる伝達関数が変換を提供するのに利用されてもよい。これを実現する１つの方法は、色度座標（例えば、ＣＩＥのｘ，ｙ色度座標など）に関して入力ビデオデータの白色ポイントを表現し、以下の式により与えられるスケーリングされたＸＹＺ値に変換することである。

【0042】

【数2】

これらのＸＹＺ値は、（Ｒ，Ｇ，Ｂ）_{ｗｐ，ｉｎ}として示される入力データの白色ポイントを生成するため、ターゲットディスプレイのＲＧＢカラー空間に以降に変換されてもよい。ソース及びターゲット白色ポイントが同一であるケースでは、双方の白色ポイントが正規化されたＲＧＢ座標において（１１１）であるべきである。赤色、緑色及び青色チャネルのアンカーポイント５７Ａ、５７Ｂ、５７Ｃの座標は、以下のようにしてルミナンスアンカー値と白色ポイント値とを乗算することによって取得可能である。

【0043】

【数3】

ただし、サブスクリプト“ｉｎ”は入力画像データを示し、サブスクリプト“ｏｕｔ”は出力データを示し（すなわち、当該データは表示用にわたされる）、（Ｙ_{ｍａｘ，ｉｎ}，Ｙ_{ｍａｘ，ｏｕｔ}）はアンカーポイント５７Ｂの未調整の座標であり、（Ｙ_{ｍｉｎ，ｉｎ}，Ｙ_{ｍｉｎ，ｏｕｔ}）はアンカーポイント５７Ａの未調整の座標であり、（Ｙ_{ｍｉｄ，ｉｎ}，Ｙ_{ｍｉｄ，ｏｕｔ}）はアンカーポイント５７Ｃの未調整の座標であり、（Ｒ，Ｇ，Ｂ）_{ｗｐ，ｏｕｔ}はターゲットディスプレイの白色ポイントのＲＧＢ座標である。

【0044】

式（５）〜（１０）は、各カラーチャネルの３つのアンカーポイントのセットを提供する。例えば、赤色チャネルのアンカーポイント５７Ａは（Ｒ_{ｍａｘ，ｉｎ}，Ｒ_{ｍａｘ，ｏｕｔ}）により与えられ、赤色チャネルのアンカーポイント５７Ｂは（Ｒ_{ｍｉｎ，ｉｎ}，Ｒ_{ｍｉｎ，ｏｕｔ}）により与えられ、赤色チャネルのアンカーポイント５７Ｃは（Ｒ_{ｍｉｄ，ｉｎ}，Ｒ_{ｍｉｄ，ｏｕｔ}）により与えられる。入力ビデオデータとターゲットディスプレイとの白色ポイントが同一でないとき、アンカーポイントのセットは異なることになり、これは、各カラーチャネルについて異なる伝達関数をもたらす。

【0045】

式（１）により提供される形式の各カラーチャネルの伝達関数は、

【数4】

の計算を実行することによって対応するアンカーポイントの座標から取得されてもよい。ここで、ｘ_１，ｘ_２及びｘ_３は、

【数5】

により与えられ、ｙ_１，ｙ_２及びｙ_３は、

【数6】

により与えられる。

【0046】

上述した伝達関数の１つの特徴は、ｎがフリーパラメータのままであるということである。これは、ミッドトーンコントラストが何れか所望のレベルに設定されることを可能にする。ミッドトーンアンカーポイントが入力及び出力範囲の中心にない場合、ミッドトーンアンカーポイントにおける対数・対数の傾きはｎの値から若干異なることになることに留意されたい。しかしながら、ミッドトーンコントラストはｎについて値を調整することによって設定可能である。ミッドトーンコントラストパラメータｎの適切なスタートポイントは１である。ｎのこの値は、マッピングされたシーンがターゲットディスプレイ及びオリジナルシーンにおいて実質的に同様の中間範囲ローカルコントラストを有することを確保する。

【0047】

上述された伝達関数によって、赤色、緑色及び青色チャネルのそれぞれのディスプレイリニアルミナンス値は、以下のように表現できる。

【0048】

【数7】

これらの値は、画像を表示するためターゲットディスプレイを駆動するのに利用されてもよい。一部の実施例では、これらの値は、ターゲットディスプレイを駆動するのに利用される前に、リニア入力値（正規化されたものなど）に対するターゲットディスプレイのレスポンスについて訂正されてもよい。

【0049】

一部の実施例では、ターゲットディスプレイの正規化された駆動値（Ｒ_ｎｏｒｍ，Ｇ_ｎｏｒｍ，Ｂ_ｎｏｒｍ）は、以下の関係を利用して計算される。

【0050】

【数8】

正規化された値は、ターゲットディスプレイの駆動信号の範囲にスケーリングされてもよい（例えば、８ビットのターゲットディスプレイについて０〜２５５の範囲など）。

【0051】

任意的には、画像カラーは、彩度を増加させることによってエンハンスされてもよい。これは、例えば、以下の関係などを利用して実行されてもよい。

【0052】

【数9】

式（２０）のａ，ｂ，ｃの値は、逆カラー空間変換装置４６に対応する逆変換行列Ｍの各要素を参照して定義されてもよい（［Ｘ，Ｙ，Ｚ］^Ｔ＝Ｍ＊［Ｒ，Ｇ，Ｂ］）。具体的には、ａはａ＝Ｍ（２，１）により与えられ、ｂはｂ＝Ｍ（２，２）により与えられ、ｃはｃ＝Ｍ（２，３）により与えられてもよい。式（２０）、（２１）及び（２２）において、Ｓはフリーパラメータである。１より大きいＳの値は彩度を増加させる。１未満のＳの値は、彩度を減少させる（すなわち、カラーをより彩度の低いものにする）。

【0053】

必要であるとき又は所望されるとき、正規化された駆動値はガンマ補正されてもよい。これは、例えば、以下の関係に従って実行されてもよい。

【0054】

【数10】

ただし、γはディスプレイレスポンスである。γは、いくつかのターゲットディスプレイでは約２．２である。正規化された駆動値が再彩度調整される場合、ガンマ補正は再彩度調整された駆動値（Ｒ’、Ｇ’及びＢ’）に対して実行されてもよい。

【0055】

一部の実施例では、画像カラーは、トーン圧縮の結果として失われた彩度を少なくとも概ね復元するため再彩度調整される。トーン圧縮が画像のトーンの範囲において一定でない場合、異なるトーンに適用される異なるレベルのトーン圧縮は、異なるカラーが異なる程度に彩度低下される。一般に、トーン圧縮量が大きくなるに従って、彩度低下量は大きくなる。トーン圧縮量は、トーン曲線の対数・対数傾きにより定量化されてもよい。例示的な具体例として、図３の曲線５５としてプロットされるシグモイドトーン曲線関数は、最大値５６Ａ及び最小値５６Ｂの近傍よりも、実質的にリニアなミッドトーン領域５６Ｃにおいて大きな傾斜の対数・対数傾きを実質的に有する。従って、入力（水平座標）から出力（垂直座標）まで行われるトーン圧縮は、実質的にリニアなミッドトーン領域５６Ｃと比較して、各値５６Ａ及び５６Ｂの近傍においてより大きくなる。

【0056】

グローバルな再彩度技術を適用することは、トーン圧縮により生じる彩度低下量に関することなくすべてのピクセルを彩度調整してもよい。一部の実施例は、変換された画像データのピクセルのトーン圧縮量に従って、変換された画像データのピクセルを再彩度調整する。トーン圧縮量がトーン曲線の対数・対数傾きに対応することが仮定されると、入力値Ｌ_ｉｎのトーン圧縮量は、入力値Ｌ_ｉｎにおける伝達関数Ｌ_ｏｕｔ＝ｆ（Ｌ_ｉｎ）の導関数として決定されてもよい。この伝達関数の対数・対数傾きは、Ｌ_ｉｎ＝ｅ^ｘ及びＬ_ｏｕｔ＝ｅ^ｙを設定し、対数・対数傾きを表すｄｙ／ｄｘを解くことによって決定可能である。上記の式（１）によるトーン曲線について、ｙは、

【数11】

として表され、トーン曲線上の任意の点における対数・対数傾きｃ（Ｌ_ｉｎ）は、Ｌ_ｉｎにおけるｘに関するｙの導関数として計算されてもよい。

【0057】

【数12】

カラーチャネルＲ、Ｇ及びＢについて、再彩度調整された駆動値（Ｒ_{ｒｅ−ｓａｔ}，Ｇ_{ｒｅ−ｓａｔ}，Ｂ_{ｒｅ−ｓａｔ}）は、以下のように正規化された駆動値に関して決定されてもよい。

【0058】

【数13】

ただし、ｆ（ｃ）は、

【数14】

として与えられ、ｋ_１及びｋ_２は定数である。一部の実施例では、ｋ_１＝１．６７７４である。一部の実施例では、ｋ_１＝１．６７７である。一部の実施例では、ｋ_１＝１．６８である。一部の実施例（ｋ_１＝１．６７７４，ｋ_１＝１．６７７又はｋ_１＝１．６８である実施例を限定することなく含む）では、ｋ_２＝０．９９２５である。一部の実施例（ｋ_１＝１．６７７４，ｋ_１＝１．６７７又はｋ_１＝１．６８である実施例を限定することなく含む）では、ｋ_２＝０．９９２である。一部の実施例（ｋ_１＝１．６７７４，ｋ_１＝１．６７７又はｋ_１＝１．６８である実施例を限定することなく含む）では、ｋ_２＝０．９９である。許容される結果はｋ_１及びｋ_２の他の値を用いて取得されてもよいことが理解されるであろう。また、再彩度調整された駆動値Ｒ_{ｒｅ−ｓａｔ}、Ｇ_{ｓａ−ｓａｔ}及びＢ_{ｒｅ−ｓａｔ}は、赤色、緑色及び青色チャネルのそれぞれのディスプレイリニアルミナンス値（Ｒ_ｏｕｔ、Ｇ_ｏｕｔ及びＢ_ｏｕｔ）に基づき計算可能である。

【0059】

トーン圧縮に依存した再彩度調整のための上述した技術は、パラメータフリー（自動的）な方法により実現されてもよいことが理解されるであろう。

【0060】

図５は、さらなる実施例による方法８０を示すフローチャートである。方法８０は、いくつかの任意的なステップを有する。ブロック８１において、方法８０は、画像データをターゲットディスプレイのカラー空間に変換する。図示された具体例では、ターゲットディスプレイは、赤色、緑色及び青色の原色を有し、カラー空間はＲＧＢカラー空間である。ブロック８１は、ターゲットディスプレイの白色及び原色を考慮した変換の実行を含むものであってもよい。ブロック８１は、画像データがターゲットディスプレイの固有のカラー空間にすでにある場合、任意的である。

【0061】

ブロック８２は、ソース及びターゲットの色度白色ポイントを決定する。白色ポイントは、例えば、何れか適切なカラー空間における色度座標として表されてもよく、ターゲットディスプレイの固有のカラー空間に変換されてもよい。

【0062】

ブロック８３は、伝達関数の初期的な黒色レベル及び白色レベルのアンカーポイントを決定する。初期的なアンカーポイントは、ソース及びターゲットディスプレイの黒色及び白色レベルに基づき設定されてもよい。

【0063】

ブロック８４は、伝達関数の初期的なミッドトーンアンカーポイントを決定する。ミッドトーンアンカーポイントは、ソース画像データの解析を介して決定されてもよく（例えば、ソース画像データのルミナンスの幾何平均を決定するなどによって）、ターゲットディスプレイの特性を決定する（又はターゲットディスプレイの特性及びターゲットディスプレイの現在の視聴環境）。

【0064】

ブロック８５は、ブロック８２において決定された白色ポイントに基づきアンカーポイントを調整する（例えば、式（５）〜（１０）などを適用して）。

【0065】

ブロック８６は、ブロック８５において決定された調整されたアンカーポイントにより指定される伝達関数を用いて画像データをマッピングする。

【0066】

ブロック８７は、ブロック８６からのマッピングされた画像データに基づきターゲットディスプレイの駆動値を計算する。

【0067】

任意的なブロック８８は、彩度を調整する（ブロック８８は、例えば、式（２０）〜（２２）又は（２８）〜（３０）を適用するなどしてもよい）。

【0068】

ブロック８９は、駆動値をガンマ補正する。

【0069】

方法８０の適用により生成された駆動値は、画像を表示するためターゲットディスプレイを駆動するのに適用されてもよく、及び／又はターゲットディスプレイ上への以降の表示のため格納又は送信されてもよい。

【0070】

ここに説明される装置及び方法は、具体的な周辺の視聴状態についてターゲットディスプレイを最適化するのに利用されてもよい。上述された一般的なタイプの伝達関数は、周辺の照明の変化と人間の視覚系（ＨＶＳ）の結果として変化する適応化レベルとい適応するよう自動的にシフトされてもよい。ターゲットディスプレイの理想的なルミナンスミッドポイントは、周辺の明るさの関数であってもよい。ミッドトーンアンカーポイントの垂直成分は、周辺の照明状態に基づき選択されてもよい。

【0071】

一部の実施例では、中間のアンカーポイント５７Ｃを固定することは、ターゲットディスプレイの特性と共に、周辺の照明又は推定された視聴者の肉眼の適応化（それ自体は、測定された周辺の照明又は測定された周辺の照明と過去のディスプレイコンテンツとの組み合わせに少なくとも基づくものであってもよい）に部分的に基づき実行される。例えば、ポイント５７Ｃの垂直座標は、ターゲットディスプレイの近傍の周辺の照明に基づき調整されてもよい。例えば、垂直座標は、ディスプレイが暗い周辺の照明状態にある場合（又は視聴者の肉眼が暗く適応化されると推定される場合）、より低いルミナンス値に低下させることが可能であり、当該値は、ターゲットディスプレイが高い周辺照明を有する環境にある場合にはより高い値に増加可能である（又は視聴者の肉眼は、より明るい状態に適応化されると推定される）。

【0072】

一部の実施例では、彩度調整量（式（２０）、（２１）及び（２２）並びに式（２８）、（２９）及び（３０）などによる）は、ターゲットディスプレイの特性と共に、周辺の照明又は推定された視聴者の肉眼の適応化（それ自体は、測定された周辺の照明又は測定された周辺の照明と過去のディスプレイコンテンツとの組み合わせに少なくとも基づくものであってもよい）に部分的に基づく。例えば、パラメータＳは、ターゲットディスプレイの近傍の周辺の照明又は測定された周辺の照明と過去に表示されたコンテンツとの組み合わせに基づき調整されてもよい。例えば、パラメータＳの値は、ディスプレイが暗い周辺の照明状態にある場合（又は視聴者の肉眼が暗く適応化されると推定される場合）、相対的により小さく設定でき、当該値は、ターゲットディスプレイが高い周辺の照明を有する環境にある場合（又は視聴者の肉眼がより明るい状態に適応するよう推定される場合）、相対的により高く設定可能である。一部の実施例は、周辺の光センサ及び／又は過去の画像コンテンツを含む信号及び／又は過去に表示されたコンテンツの全体的な輝度を示す信号を受信する再彩度調整制御ユニットを提供する。再彩度調整制御ユニットは、受信した信号に基づき再彩度調整量に影響を与えるパラメータ（パラメータＳなど）の新たな値を設定するよう構成されてもよい。

【0073】

一部の実施例では、周辺の照明のスペクトル特性が考慮される。例えば、各カラーチャネルの伝達関数のポイント５７Ｃの位置は、カラーチャネルに対応するスペクトル範囲における周辺の照明量に部分的に基づき別々に設定されてもよい。

【0074】

さらに又は代わりに、伝達関数の傾きは、周辺の照明（又は視聴者の肉眼の適応化の推定）に基づき制御されてもよい。周辺の照明がより明るいとき、ディスプレイ面からの反射は黒色レベルを増加させる傾向がある。これは、ターゲットディスプレイの範囲を効果的に減少させる。高い周辺照明の状態では（視聴者の肉眼が光適応化されると推定される）、ミッドトーン領域の伝達曲線の傾きは、周辺状態の下でエンハンスされた視聴体感を提供するよう低減されてもよい。例えば、低い（暗い）周辺照明状態について、コントラストの知覚は低下する。これは、“フラット”に見える画像を生じさせる可能性がある。従って、伝達関数のミッドトーン部分の傾きは、１：１の傾きから増加し、暗く適応化される肉眼のコントラストレベルを増加させるため、１：１．５までの傾き（例えば、１．３の傾きなど）などのより大きな傾きに増加されてもよい。これは、式（１）により示されるタイプの伝達関数が適用されるフリーパラメータｎの値を変化させることによって実行されてもよい。傾きは、周辺の光センサからの入力に応答して制御されてもよい。

【0075】

一部の実施例では、周辺の光センサからの信号、過去の画像コンテンツなどの輝度の加重平均又は他の指標を表す信号を含む入力に応答して、人間の視覚系の適応化レベルを推定する光適応化回路が備えられる。光適応化回路は、例えば、人間の視覚系のモデルに基づくものであってもよい。人間の視覚系の適応化レベルを推定する各種アルゴリズムが当該分野において知られている。光適応化回路は、１以上のプログラマブルデータプロセッサ、固定論理回路又はこれらの組み合わせにおいて実行されるソフトウェアを含む何れか適切な方法により当該アルゴリズムを実現してもよい。伝達関数におけるポイント５７Ｃの位置及び／又はミットトーンコントラストの各値は、光適応化回路からの出力に応答して自動制御されてもよい。

【0076】

一部の実施例では、伝達関数は、ターゲットディスプレイについて１回設定される。伝達関数は、例えば、ターゲットディスプレイなどに組み込まれ、上述されるような伝達関数に従ってマッピングを実行するファームウェア又は他のソフトウェアを実行する１以上のプログラマブルプロセッサ、上述された伝達関数を実現するルックアップテーブル、上述されるような伝達関数に基づき出力を提供するよう設定される配線又は設定可能な論理回路などの形態により実現されてもよい。

【0077】

一部の実施例では、ターゲットディスプレイの赤色、緑色及び青色チャネルの駆動値は、ディスプレイのものにマッチするビット深さに変換される。例えば、ディスプレイは、８ビット駆動値を利用してもよい。伝達関数が浮動小数点又は他のより高い精度の計算を用いて適用される場合、当該変換は、例えば、最も近い対応する８ビット値への駆動値の丸め込みなどを伴ってもよい。

【0078】

上述された実施例では、入力ビデオデータの最小及び最大ルミナンス値は、ディスプレイのピクセルの最小及び最大輝度値にそれぞれマッピングするよう生成可能である。さらに、入力ビデオ信号から選択されたミッドトーンポイントは、ディスプレイの選択されたミッドトーンポイントにマッピングするよう生成可能である。ミッドトーンコントラストは、フリーパラメータのままである。上述された伝達関数の他の特徴は、それらがミッドトーン領域におけるローカルコントラストを維持しながら、低い値と高い値との双方について圧縮又は拡張を提供することである。

【0079】

一部の実施例では、ある画像（あるビデオフレーム又はビデオフレームシーケンスなど）は相対的に低い平均ルミナンス（ローキー）であり、他の画像（フレーム又はフレームグループなど）は、相対的に高い平均ルミナンス（ハイキー）を有するよう慎重に生成されてもよい。一部の実施例では、画像の意図されるキーに関する情報が、メタデータの形式により提供される。メタデータは、例えば、カラーグレーティング処理中に生成され、画像データに関連付けされてもよい。例えばｍメタデータは、カラーグレーティッドされたビデオデータを搬送する信号に埋め込まれ、又は関連付けされてもよい。このような実施例では、メタデータにより示される画像のキーは、伝達関数に利用されるミッドトーンアンカーポイントを決定する際に利用されてもよい。メタデータが低いキー画像を示す場合、アンカーポイントの垂直座標はより低い値に移されてもよく、ターゲットディスプレイのキーを再生成する。

【0080】

異なるビデオコンテンツは、異なるリファレンスディスプレイについてカラーグレイティッドされてもよい。上述されたアプローチに従うとき、カラーグレイティッドが実行されたリファレンスディスプレイの特性に応じて何れか特定のターゲットディスプレイにおいてコンテンツを異なってマッピングすることが所望できる。リファレンスディスプレイ又はそれの特性を特定する情報は、例えば、画像データに埋め込まれた又は関連付けされたメタデータにより搬送されてもよい。ターゲットディスプレイは、伝達関数の複数の異なるセットについてパラメータを格納してもよい。伝達関数の異なるセットは、異なるリファレンスディスプレイを用いてカラータイムドされたビデオデータに対応し、利用されてもよい。

【0081】

式（１）により提供される形態を有する一例となる伝達関数の他の特徴は、同一の伝達関数が選択されたパラメータに応じて範囲の上端及び下端において圧縮又は拡張を提供することである。例えば、ターゲットディスプレイが入力データより大きなルミナンス範囲を有する場合、ターゲットディスプレイは、ターゲットディスプレイのものにマッチするか又はより知覚に接近するため、画像データの範囲を拡張する伝達関数により設定されてもよい。

【0082】

ここに説明される一部の実施例による方法及び装置の１つの効果は、マッピングがターゲットディスプレイのＲＧＢカラー空間において実行されることである。これは、かなりの計算量を節約し、及び／又はマッピングを実行するのに要求されるハードウェアのコンプレクシティを低減することを可能にする。

【0083】

マッピングは、リアルタイムにより実行されてもよい。

【0084】

一部の実施例による方法は、１）平均画像輝度（適応化ポイント）、２）ミットトーンローカルコントラスト（トーン曲線の傾きにより設定される）、３）最小ディスプレイルミナンスへの入力黒色マップ、及び４）最大ディスプレイルミナンスへの入力白色マップのそれぞれに対する直接的な制御を提供する。これらの変数は、オリジナル画像データに実現されるような創作的意図を再生成する画像を提供するための基礎であると分かった。例示的な実施例では、これらの変数は、別々のパラメータに明示的に相当する。このような方法は、オリジナル画像データを取得し（例えば、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）データ及び／又はカラーグレーティッド画像データなどから構成されてもよい）、オリジナル画像データを指定された出力ディスプレイの限定的な３次元色域にマッピングするカラーマッピングを実行するためのシンプルで効果的な方法を提供する。

【0085】

ここに説明されるカラーマッピング方法及び装置はさらに又は代わりに、カラーグレーディング／コンテンツ生成において利用されてもよい。カラリストには、上述された変換を実現するフィルタが備えられてもよい。フィルタは、カラリストが伝達関数のパラメータを直接設定することを可能にする制御を有してもよい。カラリストは、例えばこれらの制御を用いて黒色レベルなどを調整してもよい。一部の実施例では、当該制御は、白色レベルアンカーポイント、黒色レベルアンカーポイント及びミッドレベルアンカーポイント（それぞれポイント５７Ａ、５７Ｂ及び５７Ｃなど）の１以上の座標と、ミッドレベルコントラスト（パラメータｎなど）との１以上の直接的な設定を可能にする制御を含む。このような制御は、カラリストがミッドトーン傾きに有意な影響を与えることなく、白色レベル、黒色レベル及びキーを設定することを可能にする。

【0086】

一部の実施例では、当該装置は、カラリストが意図するものに近いパラメータのスタートセットを自動的に決定するよう設定される。これらのスタートパラメータは、例えば、入力ビデオコンテンツを特徴付ける情報（ピクセルカラー／ルミナンス座標の最小値及び最大値など）と、ターゲットディスプレイを特徴付ける情報（白色レベル、黒色レベル及び任意的なメタデータ（処理中の画像データのキーを示すメタデータなど）など）とに基づき生成されてもよい。

【0087】

ビデオ制作は、より大きな機能とより低い機能とを有するディスプレイの異なるバージョンを生成することに関する。例えば、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）グレーティングは、従来のディスプレイ上への表示用のビデオを制作するため実行されてもよい。ここに説明されるツールは、ビデオのＳＤＲバージョンを自動的に生成するため適用されてもよい。カラリストは、最適化された結果を生成するためのツールの処理をガイドしてもよい。

【0088】

さらに、カラリストが低機能ディスプレイ上の視聴用のバージョンを提供するためパラメータを競ってした場合、中程度の機能を有するディスプレイのマッピングを実行するのに利用されるパラメータは、低機能ディスプレイのためにカラリストにより選択されたパラメータ値から決定されてもよい。これは、例えば、中程度の機能を有するディスプレイより高い及び低い機能を有するディスプレイについてカラリストにより決定されたパラメータ値の補間などにより実行されてもよい。

【0089】

ここに説明される方法及び装置は、プロフェッショナルレベルのカラータイミングに関する利用に限定されるものでない。カラータイミングのツールは、アマチュアに利用可能であり、カラータイミングが非キャリブレートモニタ（ホームコンピュータディスプレイ、テレビなど）上で実行される場合でさえ、ここに説明される方法及び装置は、非キャリブレートモニタ上で生成されるコンテンツを他のディスプレイに変換するのに利用されてもよい（例えば、非キャリブレートカラータイミングディスプレイの機能を推定するなどによって）。ここに説明される技術はまた、カラータイムドされない信号への適用を有する。
［グローバルトーンマッピングオペレータとローカルマルチスケールトーンマッピングオペレータとの合成」
ここに説明されるカラーマッピング方法及び装置はまた、ローカルトーンマッピングオペレータ（ＴＭＯ）などの他のトーンマッピング技術と組み合わされてもよい。図６は、ここに説明されるグローバルトーンマッピングオペレータは、その全体が参照することによりここに援用される、２０１２年３月１日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１２／０２７２６７号としても出願されたＧ．Ｊ．Ｗａｒｄによる米国仮出願第６１／４４８，６０６号“Ａ Ｌｏｃａｌ Ｍｕｌｔｉｓｃａｌｅ Ｔｏｎｅ−Ｍａｐｐｉｎｇ Ｏｐｅｒａｔｏｒ”（“Ｗａｒｄ”リファレンスとしてここでは参照される）により開示されたものとしてのローカルマルチスケールトーンマッピングオペレータと組み合わされる。実施例は、ローカルマルチスケールオペレータ（ＭＳ ＴＭＯ）を利用する際のハイライト及びカラー忠実性を保持する能力と、グローバルＴＭＯの予測可能性及び安定性とを組み合わせる。

【0090】

図６に示されるように、方法６０は、ステップ６２において入力画像又はビデオデータにアクセスすることによってステーとする。これらのデータは、ＹＣｂＣｒ、ＲＧＢ、ＸＹＺなどの各種カラーフォーマットにより格納又は送信されてもよい。ステップ６３において、入力データからＹなどのルミナンスコンポーネントを抽出してもよい。入力データのフォーマット（ＲＧＢなど）に依存して、当該ステップは、カラー変換（ＲＧＢからＸＹＺなど）を要求してもよい。ステップ６４は、式（１）により示されるように、グローバルトーンマッピングオペレータ５５を入力データのＹカラーコンポーネントに適用してもよい。実施例では、グローバルＴＭＯ５５のアンカーポイントは、入力データのルミナンス範囲が［４＊Ｌ_ｄＭｉｎ，１／２＊Ｌ_ｄＭａｘ］の範囲にマッピングされるように選択されてもよい。ここで、Ｌ_ｄＭｉｎ及びＬ_ｄＭａｘは、ターゲットディスプレイの最小及び最大ルミナンスを示す。４及び１／２のスケーリング係数が典型的であるが、調整可能である。

【0091】

実施例では、ステップ６４の出力は、グローバルにトーンマッピングされたルミナンスデータＹ_ＴＭとして示されてもよい。ステップ６５において、“Ｗａｒｄ”により示されるように、ローカルマルチスケールトーンマッピングオペレータ（ＭＳ ＴＭＯ）をＹ_ＴＭデータに適用してもよい。まず、例えば、

【数15】

オリジナルルミナンスピクセルにより除されたグローバルトーンマッピングされたルミナンスデータの対数として定義されるグローバル対数レシオ画像を計算してもよい。Ｗａｒｄにより示されるように、グローバル対数レシオ画像Ｒ_Ｌが与えられると、ＭＳ ＴＭＯの出力（ステップ６５など）は、Ｙ_ＭＳとして示されるローカルトーンマッピングされたルミナンス画像であってもよい。Ｙ_ＭＳを用いて、

【数16】

を計算してもよい。

【0092】

ステップ６６において、Ｘ_ＭＳ，Ｙ_ＭＳ及びＺ_ＭＳデータが、ターゲットディスプレイにより決定された原色の白色及び黒色レベルによるＲ_ＭＳ，Ｇ_ＭＳ及びＢ_ＭＳ（ＲＧＢ_ＭＳ）に変換されてもよい。負の又は色域外のＲＧＢ_ＭＳ値は、大変小さな正の値にクリッピングされてもよいし、又は既知の色域マッピングアルゴリズムの何れかを用いて色域内のＲＧＢ値に再マッピングされてもよい。

【0093】

ステップ６６からの色域内のＲＧＢ_ＭＳデータが与えられると、ステップ６７は、グローバルトーンマッピングされた補正データＲＧＢ_Ｇ−ＭＳを出力するため、グローバルトーンマッピングオペレータ５５をすべてのカラーコンポーネントに再適用してもよい。第２のグローバルトーンマッピング演算の適用は、ＭＳ ＴＭＯの出力がターゲットディスプレイの範囲内にあることを保証する。最後に、ステップ６８において、画像データを表示する前（ステップ６９）、ＲＧＢ_Ｇ−ＭＳデータは、出力表示用に必要とされる場合にガンマ補正されてもよい。

【0094】

本発明の特定の実現形態は、本発明の方法をプロセッサに実行させるソフトウェア命令を実行するコンピュータプロセッサを有する。例えば、ディスプレイ、カラーグレーティングステーション、セットトップボックス、トランスコーダなどの１以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリのソフトウェア命令を実行することによって、上述されるような画像データ変換方法を実現してもよい。本発明はまた、プログラムプロダクトの形態により提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されると、本発明の方法をデータプロセッサに実行させる命令を有するコンピュータ可読信号のセットを担持する何れかの媒体から構成されてもよい。本発明によるプログラムプロダクトは、広範な形態の何れかによるものであってもよい。プログラムプロダクトは、例えば、フロッピー（登録商標）ディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭを含む電子データ記憶媒体、フラッシュＲＡＭなどの物理媒体などから構成されてもよい。プログラムプロダクトのコンピュータ可読信号は、任意的には、圧縮又は暗号化されてもよい。

【0095】

コンポーネント（ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が上述される場合、特段の断りがない場合、当該コンポーネントの参照（“手段”の参照を含む）は、当該コンポーネントの均等として、本発明の例示された実施例の機能を実行する開示された構成に構造的には等価でないコンポーネントを含む開示されたコンポーネントの機能（すなわち、機能的に等価である）を実行する何れかのコンポーネントを含むものとして解釈されるべきである。

【0096】

一部の非限定的な実施例は、以下の効果の１以上を提供してもよい（状況などに応じて）。
・黒色ポイントアンカーによるトーンマッピング曲線によるマッピングが、暗い入力コンテンツの過剰なトーン圧縮を回避する。
・黒色ポイント及び／又は白色ポイントアンカーによるトーンマッピング曲線によるマッピングが、このようなアンカーポイントの一方又は双方なしの曲線によるトーンマッピングよりもターゲットディスプレイのルミナンス範囲の多くを利用してもよい。
・ルミナンス範囲を最大化するカラーチャネルに固有のマッピング関数が、ターゲットディスプレイのＲＧＢカラー空間において適用されてもよい（例えば、入力カラー空間からターゲットディスプレイのＲＧＢカラー空間への変換後など）。
・ターゲットディスプレイの出力ビデオデータの白色、輝度及び／又はミッドコントラストが、伝達関数において調整されてもよい（例えば、伝達関数によるマッピングの前後の代わりなど）。

【0097】

一部の実施例は、上記効果の何れも提供せず、異なる効果（上記効果でなく又は補完して）を提供してもよい。

【0098】

上記開示に基づき当業者に明らかなように、本発明の趣旨又は範囲から逸脱することなく、多数の変更及び改良が本発明の実現において可能である。従って、本発明の範囲は、以下の請求項により規定される内容に従って解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】