(58)【調査した分野】(Int.Cl.,DB名)
前記第2のマッピング関数は、最小、最大、および中間の輝度値と、前記第4のメタデータセット中の、リフト、ゲインおよびガンマ値との両方に応じて生成される、請求項12に記載の方法。
【発明を実施するための形態】
【0010】
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【0011】
EDR信号のコンテンツ生成および支援ディスプレイ管理を行うためのワークフローの方法およびシステムを本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0012】
概要
本明細書に記載の実施形態例は、ハイまたはエンハンストダイナミックレンジを有するビデオ信号のコンテンツ生成、配信および支援ディスプレイ管理を行うためのワークフローに関する。エンハンストダイナミックレンジ(EDR)を有するビデオデータを、異なるダイナミックレンジ特性を有する第1および第2のリファレンスディスプレイに合わせてカラーグレーディングし、これにより、第1のカラーグレーディングされた出力、第2のカラーグレーディングされた出力、および、関連付けられた第1および第2のメタデータセットを生成する。第1のカラーグレーディングされた出力および2つのメタデータセットをエンコーダからデコーダに送信して、第2のリファレンスディスプレイとは異なり得るターゲットディスプレイ上に表示する。受信器において、デコーダは、第1および第2のメタデータセット間を補間して第3のメタデータセットを生成し、この第3のメタデータセットによって、ターゲットディスプレイ上に受信ビデオデータを表示するためのディスプレイ管理処理が実行される。
【0013】
ある実施形態において、第2のメタデータセットを符号化することによって、第1および第2のメタデータセット間の差異を表すデルタメタデータとして送信してもよい。
【0014】
ある実施形態において、第2のメタデータセットを、受信器に送信する前に、第4のメタデータセットに変換してもよい。
【0015】
受信器において、2つのメタデータセット間の補間は、線形であっても非線形であってもよい。
【0016】
ある実施形態において、受信器は、第3のメタデータセットを補間生成する代わりに、2つのメタデータセットおよびターゲットディスプレイのパラメータに基づいてマッピング関数を生成してもよい。
【0017】
ある実施形態において、受信画像データをターゲットディスプレイにマッピングするマッピング関数は、2つのメタデータセットおよびターゲットディスプレイのパラメータから生成された別々のマッピング関数から補間してもよい。
【0018】
EDRコンテンツ生成ワークフロー
概要
コンテンツ生成処理において、ある1つの「マスター」ソース(例えば、ある1つの映画)が与えられた場合、異なる市場および異なる再生環境をターゲットとして、このマスターから複数のバージョンを生成する場合が珍しくない。例えば、あるスタジオはある映画の3つのバージョンを生成し得る:映画館の投影機用のシネマバージョン、DVD配信用の標準画質バージョン、および、Blu−Ray配信用の高画質バージョン。これらのバージョンは、異なる解像度および異なるビデオ圧縮方式を利用し得るが、ほとんどの場合、これらが全てディレクターの元々の表現意図(artistic intent)に沿っている必要がある。
【0019】
コンテンツ生成およびディスプレイ管理のワークフローが今日の比較的低いダイナミックレンジからエンハンストまたはハイダイナミックレンジに移行するにしたがい、従来のディスプレイと未来のディスプレイとにおいて輝度および色再現能力が広範囲にわたっていることは、あらゆる視聴者に対しディレクターの意図が一貫して損なわないようにしたいと願う全てのスタジオ(またはコンテンツクリエータ全般)にとって、難題となる。再現性が低いと、非常に気が散り、問題である。残念ながら、ITU−R Recommendation BT.709などの今日の放送規格は、限定的にしかビデオ信号の適正なディスプレイ管理をサポートしていない。
【0020】
これらの問題に対応するべく、
図1は、本発明のある実施形態によるビデオ信号のカラーグレーディング、配信および支援ディスプレイ管理を行うためのワークフローの一例を示す。
図1に示すように、未加工EDRビデオデータ(102)が与えられると、カラリストは、第1のリファレンスディスプレイ(D1)を用いて、ディレクターの意図にマッチする第1のカラーグレーディング済バージョン(107)を作成する。ある実施形態において、第1のリファレンスディスプレイは、白黒レベル(例えば、ダイナミックレンジ)および色域に関して、可能な限り最高のディスプレイ性能を有し得る。第1のカラーグレーディング(105)の副産物として、第1のビデオメタデータセット(M1)(110)も生成される。本明細書中の定義において、用語「メタデータ」または「補助データ」は、符号化ビットストリームの一部として送信されるあらゆる補助的な情報に関し、下流側デバイス(例えば、受信器またはデコーダ)が復号化画像を描画することを支援し得るものである。このメタデータは、色空間または色域情報、ダイナミックレンジ情報(例えば、最小輝度値、中間調および最大輝度値、トーンマッピング情報、またはその他のディスプレイまたはコンテンツ関連情報(例えば、ディスプレイ特性およびカラーグレーディングの際の周囲光)などの情報を含み得るが、これらに限定はされない。ある実施形態において、対象となるメタデータは、リフト、ゲインおよびガンマ、全体彩度、および、ルマ依存の彩度のような輝度強度および色差強度関連パラメータを含み得る。これらのメタデータは、各フレームまたは1まとまりのフレーム(ビデオデータ(102)の1つのシーンまたは「ショット」など)を特徴付け得る。本明細書中、用語「シーン」は、ビデオ信号の中で色およびダイナミックレンジ特性が類似する一連の連続フレームに関し得る。
【0021】
第1のカラーグレーディングされた出力(107)が与えられると、カラリストは「トリムパス(trim−pass)」(115)を行い、これにより、第2のリファレンスディスプレイ(D2)用の第2のカラーグレーディングされたバージョン(117)を生成し得る。詳細は後述するが、このステップは、自動または半自動であってもよく、第2のメタデータセット(M2)(120)を生成する。第2のリファレンスディスプレイは、典型的には第1のリファレンスディスプレイよりも低いダイナミックレンジ特性を有する。
【0022】
従来技術においては、第2のカラーグレーディングされたバージョン(117)は、第2のメタデータセット(120)と共に、配信媒体(例えば、DVD)上への格納または視聴者への直接配信に適したフォーマットで符号化され得る。よって、符号化ビデオデータおよびメタデータの受信および復号化の際に、受信器は、ディスプレイ管理処理(140)を適用して、第2のカラーグレーディングされたバージョン(117)および第2のメタデータセット(120)のみに基づくターゲットディスプレイ(DT)用の最終出力(142)を生成し得る。
【0023】
図1に示すように、また、他の実施形態でさらに詳細に後述するように、本発明のある実施形態においては、エンコーダは、第2のカラーグレーディングされたバージョンの代わりに、第1のカラーグレーディングされたバージョン(107)を送信するように選択してもよい。さらに、第1のメタデータセット(110)のある表現形式(127)をビデオデータ(154)および第2のメタデータセット(120)と共に送信して、受信器上におけるディスプレイ管理処理(140)をさらに支援してもよい。ある実施形態において、第1のメタデータセット(110)を、第1および第2のメタデータセット間の差異を表すデルタメタデータ(127)として符号化してもよい。これらのデルタメタデータと、受信ビデオデータ(154)および第2のメタデータセット(120)とによって、第2のリファレンスディスプレイおよびターゲットディスプレイ間のダイナミックレンジ特性がいかに互いに離れていたとしても、受信器(140)がはるかにより正確な表示データ(142)を生成することが可能となる。
【0024】
別の実施形態においては、デルタメタデータを全く送信することなく、第1のメタデータセットを送信してもよい。
【0025】
別の実施形態(図示せず)においては、デルタメタデータ(127)を、トリムパス処理(115)の一部として直接的に生成してもよい。すると、受信器においてステップ(135)で行われるように、第1のメタデータセットをデルタメタデータと組み合わせることによって第2のメタデータセット(120)が生成される。
【0026】
別の実施形態においては、第1のメタデータセットをそのまま送信し、第2のメタデータセットを第1のメタデータセットに対するデルタメタデータとして送信する。さらに、いくつかの実施形態においては、さらなるメタデータセット(それぞれ異なるディスプレイを用いてさらなるカラーグレーディングされたパスから生成される)を利用可能としてもよい。例えば、特定のシーン(または映画全体)を、最大輝度が100ニト、1,000ニトまたは2,000ニトのディスプレイ用にグレーディングしてもよい
【0027】
カラーグレーディングワークフロー例
ワークフローの一例において、最大輝度が4,000ニト、最小輝度が0.005ニトの第1のリファレンスディスプレイを考える。第2のリファレンスディスプレイとしては、最大輝度が100ニト、最小輝度が同じく0.005ニトの典型的なSDRテレビを考える。この例においては、限定はしないが、両ディスプレイは同じような色域を持っているものとする。
【0028】
ブラインドがかけられた窓の前に人物の顔がある、日中の屋内シーンを考える。第1のリファレンスディスプレイ上では、カラリストは、ブラインドの向こう側にある太陽光をかなり明るくし、ブラインドを顕著に暗くしながら、かつ顔を自然なレベルにしておくことが可能である。第2のリファレンスディスプレイ上では、カラリストは、太陽光のレベルをかなり下げる(最大輝度が大幅に低いため)ことを余儀なくされ、そして、外とブラインドとの差をある程度保つために、その他のレベルは低減することになる。しかし、このステップにより、顔の輝度レベルも下がってしまうかもしれず、暗く見えてしまう。この場合、顔の色を調整するために、カラリストは、中間調を上げたりする。
【0029】
受信器において、第2のメタデータセットしか利用可能でない場合、第2のディスプレイの特性に非常に近い特性を有するターゲットディスプレイは、適正な出力を描画するが、より良いダイナミックレンジ特性を有する(おそらく、第1および第2のリファレンスディスプレイの範囲の間のダイナミックレンジを有する)他のディスプレイは、間違いなく、顔を明るく描画し過ぎるであろう。
【0030】
本発明においては、両メタデータセットに関するメタデータを保持するので、ターゲットディスプレイは、その仕様が第2のリファレンスディスプレイと比べていくら近似または乖離していようとも、より正確な描画を行うことができる。例えば、ディスプレイ管理処理によって、明るい領域の輝度を上げつつ、顔の適正な中間調を維持することになる。
【0031】
メタデータ処理の実施形態例
図2Aは、本発明のある実施形態における、EDRビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す。
図1に示すワークフローと同様に、EDR生成されたマスターコンテンツ(例えば、102)を、まず、リファレンスディスプレイD1上でカラーグレーディングし、これにより、カラーグレーディングされた画像A(107)を生成する。複数の配信フォーマットおよびディスプレイをサポートするために、画像Aは、1つ以上の他のリファレンスディスプレイ用にもカラーグレーディングされ得る。画像AをディスプレイD2上でカラーグレーディングすると画像B(117)が生成される。ディスプレイD1上でのカラーグレーディング処理の一部として、カラーグレーディングされたデータAおよびディスプレイに関するメタデータM1(110)も生成する。
【0032】
第2のリファレンスディスプレイ(D2)上でのカラーグレーディング(115)は、一般的にトリムパスと呼ばれる。これは、典型的には半自動化されており、若干の修正入力(210)をカラリストが行う。例えば、ある実施形態において、カラーグレーディングされた画像Bは、画像データAおよびメタデータM1を入力とする、ディスプレイD2用のディスプレイ管理処理の出力を表し得る。EDRビデオデータのディスプレイ管理処理の一例は、2013年4月9日に出願された「高ダイナミックレンジビデオ用のディスプレイ管理」という表題の米国特許仮出願第61/810,104号(以下、「’104出願」と呼ぶ)に記載されている。この出願の開示内容の全てを本願に援用する。
【0033】
カラリストの修正によって新しいメタデータM2(120)ができ、このメタデータM2(120)を用いて、M1メタデータだけの場合にディスプレイ管理処理が行うことが決定していた事を上書きすることができる。多くのシーンにおいては、カラリストによる修正が無いため、M2メタデータはM1と同じになり得る。
【0034】
本実施形態において、エンコーダは、第1のカラーグレーディングされた画像(A、107)と、第1のメタデータM1(110)と、第2のメタデータM2(120)とをパックにして受信器に送信する。先述のように、いずれのメタデータセットを、他方のセットおよびデルタメタデータセットを参照として送信されてもよい。
【0035】
受信器において、デコーダは、以下のデータにアクセスできる。すなわち、第1のカラーグレーディングされた画像(A、107)、2つのメタデータセット(110)、(120)、および、ターゲットディスプレイ(DT)のディスプレイパラメータセット(P、215)である。これらのデータを用いて、受信器は、エンコーダにおけるカラーグレーディング処理(105)および(115)によって表現される通りに、ディスプレイDT上に表示した際にディレクターの意図を損なわないような新たな画像(C、235)を生成しなければならない。
【0036】
上記’104出願に記載のように、ディスプレイ管理処理(例えば、230)の際に、非線形マッピング処理を適用して、受信信号(例えば、107)の強度(I)を、ターゲットディスプレイDTの制約内に収まる強度値にマッピングする。ターゲットディスプレイは、EDRディスプレイであっても、SDRディスプレイであってもよい。ターゲットディスプレイが、信号(107)を生成する際に用いたリファレンス制作用ディスプレイ(reference production display)と同じ特性を有する場合は、変換は不要である。しかし、ターゲットディスプレイがリファレンス制作用ディスプレイのダイナミックレンジよりも低いまたは高いダイナミックレンジを有する場合は、マッピング処理によって、入力信号のダイナミックレンジをターゲットディスプレイのダイナミックレンジにマッピングする。
【0037】
非線形マッピング変換の一例は、上記’104出願に記載され、また、本願において開示内容を全て援用する、2012年3月15日に出願された「画像データ変換の方法および装置」という表題のシリアルナンバーPCT/US2012/029189のPCT出願においてA.Ballestadらによっても記載されている。Ballestadの’189PCT出願によれば、非線形マッピング用の変換関数の一例は、以下のように表され得る。
【数1】
ここで、C
1、C
2およびC
3は定数であり、Y
inはある色チャネル(例えば、Iチャネル)の入力値であり、Y
outはその色チャネルの出力値であり、nおよびmは、関数の傾きおよびロールオフを決定するパラメータである。この変換関数は、パラメータ化されたS字型のトーンカーブ関数の一例である。パラメータC
1、C
2およびC
3は、3つのアンカーポイントの定義に基づいて決定される。3つのアンカーポイントは、リファレンス(またはソース)ディスプレイの輝度特性(典型的には、入力メタデータから抽出される)および、ターゲットディスプレイ(例えば、215)の輝度特性(典型的には、ディスプレイ管理処理を行うプロセッサにとって既知である)に基づいて定義され得る。
【0038】
各トーンマッピング曲線の特性は、シーン毎またはフレーム毎に適応され得る。可能なディスプレイの範囲が広いこと(例えば、50ニトのデジタル映写機から未来の10,000ニトのディスプレイまで)を考えると、各受信メタデータセット(110および120)はそれ自体では、ディスプレイ管理処理(230)が最適化されたトーンマッピング曲線を生成するために、十分あるいは正確な情報を提供できないかもしれない。ある実施形態においては、新しいメタデータ補間ステップ(220)を用いることにより、M1メタデータ(110)およびM2メタデータ(120)を組み合わせ新しいメタデータセットM3(225)を生成してもよい。
【0039】
ある実施形態において、メタデータ補間処理(220)は、いかなるターゲットディスプレイ(DT)のトーンマッピング曲線特性も、第1のリファレンスディスプレイ(D1)および第2のリファレンスディスプレイ(D2)の対応する特性によって定義される曲線上にあるという仮定に基づいていてもよい。例えば、ターゲットディスプレイ(215)および視聴環境(例えば、周囲光の輝度、2D対3D視聴等)のパラメータに関する情報を用いて、ある実施形態においては、ターゲットディスプレイのM3メタデータ(225)を、線形補間モデルを用いて既知の第1および第2のメタデータセット間を補間することによって生成し得る。
【0040】
例えば、あるシーンにおける最小、最大および中間の階調値を表すM1メタデータを、Smin、SmaxおよびSmidとする。同シーンの対応するM2メタデータをTmin、TmaxおよびTmidとする。Nmin、NmaxおよびNmidがM3メタデータ中の対応する出力値を表すものとすると、ある実施形態においては、M3メタデータは以下のように算出される。
Nmin = (1−a)Smin + aTmin,
Nmax = (1−b)Smin + bTmin (2)
Nmid = (1−c)Smin + cTmin
ここで、a、bおよびcは、0から1の間の定数である。定数a、bおよびcは、全て同じであってもよいし、異なっていてもよい。例えば、各定数は、既知のディスプレイパラメータの関数、例えば、a=Tpeak/Npeak(ここで、Tpeakは第2のディスプレイ(D2)のピーク輝度であり、Npeakはターゲットディスプレイ(DT)のピーク輝度である)、に基づいて生成されてもよい。これらの定数を決定するために、他の代替的な関数を適用して決定してもよい。
【0041】
他の実施形態において、高いピーク輝度を有するターゲットディスプレイは、低いピーク輝度を有するディスプレイと比べて必要な調整が大幅に少ないことが予期されるので、非線形補間モデル(例えば、人間の視覚システムの知覚特性に基づくもの)を用いてもよい。そのような線形または非線形補間は、様々なメタデータ値(ピーク輝度値、最小輝度値、中間調値など)に適用され得る。
【0042】
例えば、上記と同じ表記を用いて、Nminを算出するために(但し、他のメタデータ値についてもこれを繰り返してもよい)、以下のように定義する。
delta = Tmin − Smin,
ratio = Tpeak/Npeak,
falloff = 2, (3)
scalefactor = ratio
falloff,
Nmin = Smin + scalefactor*delta,
よって、ターゲットディスプレイがより明るくなる程、M2メタデータ(例えば、Tmin)の効果は非線形的に低減する。falloffファクタは、トリムパスディスプレイ(例えば、D2)の輝度および黒レベル特性によって調整され得る。当業者であれば、このステップにおいて他の代替的な補間関数を用いてもよいことが理解できるであろう。
【0043】
いくつかの実施形態においては、線形および非線形モデルを組み合わせて、区分的線形または非線形補間関数を生成してもよい。例えば、あるデコーダが、100〜200ニトの入力範囲においては第1の補間関数を用い、200.1ニトから400ニトの入力範囲においてはそのデコーダが第2の補間関数を用いてもよい。さらに、第1の補間関数はメタデータセットM1およびM2に基づくものであり、第2の補間関数は他のメタデータ、例えば、M1およびM2’(ここで、M2’メタデータは、第3のリファレンスディスプレイ(D3)上において画像Aのカラーグレーディングの際に生成されたものである)に基づくものであってもよい。カラーグレードパスに関するさらなるメタデータセットがエンコーダから受信される場合は、それらのメタデータを用いて補間処理の正確性を向上させてもよい。
【0044】
図2Aに戻って、メタデータM3(225)を生成した後、ディスプレイ管理処理(230)は、算出されたM3メタデータ(225)と、ターゲットディスプレイパラメータ(215)と、受信画像データA(107)とを用いて、画像C(235)を生成してもよい。
【0045】
別の実施形態においては、補間を2つのメタデータセットに直接的に適用するのではなく、アンカーポイントまたはメタデータから生成される他のディスプレイ管理関連パラメータに適用してもよい。例えば、2つのメタデータセットおよびターゲットディスプレイパラメータを用いて2つの別々のマッピング関数を生成し、そして、2つの関数の間を補間して最終的なマッピング関数を作成してもよい。
【0046】
いくつかの実施形態においては、メタデータ補間の代わりに、あるいはメタデータ補間に加えて、ピクセルデータ補間も適用してもよい。例えば、ディスプレイ管理処理(230)において、第1および第2のメタデータセットを別々に用いて第1および第2の出力画像を生成してもよい。そして、第1および第2の出力画像の画素値を補間することによって最終出力画像を生成し得る。
【0047】
いくつかの実施形態においては、カラーグレーディングツールによって、カラリストが、カラーグレーディングされた画像Aを第2のリファレンスディスプレイにマッピングするための最適なマッピング曲線を、手動で調整しエクスポートできるようにしてもよい。その曲線をM2メタデータの一部としてデコーダに送り、ターゲットディスプレイのための最適なマッピング曲線を補間するためのベースとして用いてもよい。
【0048】
カラーアーティストまたはグレーディング担当者がよく用いるコントロール群は、しばしば、リフト/ゲイン/ガンマ(LGG)および色相と彩度(HS)と呼ばれる。リフトは暗度を、ゲインは輝度を、ガンマは中間調を変化させる。
【0049】
入力x、リフト(L)、ゲイン(G)およびガンマパラメータがあった場合、LGG修正された出力yは以下のように与えられる。
【数2】
【0050】
ある実施形態においては、
図2Bに示すように、トリムパス(115)の際にカラリストが入力するLGG値を捕捉して、第2のメタデータセット(120)の一部として記録してもよい。同様に、カラリストによるさらなるローカル操作(「パワーウィンドウ」など)も、これを捕捉してデコーダに送信してもよい。これらのさらなる情報のため、デコーダにおいて、ディスプレイ管理処理は、新しいデータを有利に利用するように変化してもよい。例えば、
図2Bに示すように、変換生成ユニット(240)はこの場合、2つのメタデータセット(M1 110、M2 120)およびターゲットディスプレイ(215)のパラメータを用いて、カラーグレーディングされた画像データA(107)をディスプレイDT上において画像Cにマッピングするマッピング変換を生成してもよい。このマッピング関数が与えられると、ディスプレイ管理処理(230)の残りの部分は上述のように進行する。
【0051】
それぞれ異なる処理性能を持つ様々な下流側デバイスをサポートするために、ある実施形態においては、メタデータを、階層の異なるレベルでパケット化および送信してもよい。例えば、
・ レベル0メタデータは、単に、輝度のmin、maxおよびmid値などのソースディスプレイの説明を含んでいてもよく、
・ レベル1メタデータは、コンテンツに関連するメタデータ(例えば、対象とするシーン、フレームまたは画像領域のmin、maxおよびmid値)を含んでいてもよく、
・ レベル2メタデータは、リファレンスディスプレイ上でのトリムパスに関連するメタデータ(例えば、ゲイン、リフトおよびガンマ値)を含んでいてもよく、
・ レベル3メタデータは、別のディスプレイへのトリムパスに関連するデータを含んでいてもよく、
・ 詳細は後述するが、さらなるレベルのメタデータとして、エンコーダにとってターゲットディスプレイの特性が既知である場合には(例えば、OTT(over the top)通信など)、オリジナルコンテンツメタデータデータの変換または、具体的なマッピング関数に関するデータを含んでいてもよい。
【0052】
ハイエンドリファレンスディスプレイ(例えば、D1)用にカラーグレーディングされたEDR入力データ(例えば、Y
I=A、107)を、異なるダイナミックレンジ(例えば、Y
O=C、235)を有するターゲットディスプレイ用の表示データにマッピングするためのマッピング関数を、Y
O=f
m(Y
I)とする。例えば、f
m(Y
I)は、等式(1)に基づいていてもよい。ある実施形態においては、LGGデータを用いてf
m(Y
I)マッピングの出力を調整してもよい。例えば、所与の入力データY
Aに対して、表示データY
Cは以下のように求められ得る。
Y
T = f
m(Y
A) , (4)
Y
C = f
LGG(Y
T),
ただし、f
LGG()は入力LGGパラメータの関数を表し、Y
Tは中間画像データを表す。例えば、ある実施形態において、所与のゲイン(G)、ガンマおよびリフト(L)入力に対して、f
LGG()は以下のように表現されてもよい。
【数3】
【0053】
全てのデコーダが、変換生成ステップ(240)の演算要件を満たす処理能力を有しているわけではないので、ある実施形態においては、
図2Cに示すように、デコーダの変換生成ステップ(240)によって行われるはずの処理の一部を行う新しいメタデータ変換ステップ(250)を、エンコーダは追加してもよい。例えば、ある実施形態においては、第2のメタデータセット(120)(例えば、mid、max、minおよびLGG値)が与えられると、第2のリファレンスディスプレイのために新しいメタデータセット(M4、255)(例えば、mid’、max’、min’およびパワースロープ(power−slope))を生成して、これを、オリジナルM2メタデータの代わりにデコーダに送信してもよい。
【0054】
例えば、min、midおよびmax値を含み、さらにカラリストからのリフト/ゲイン/ガンマデータをも含み得る、メタデータM2が与えられると、エンコーダは等式(4)を適用し、以下の式のように、カラーグレーディングされた画像AをディスプレイD2用のカラーグレーディングされた画像Bにマッピングするための等式(1)のマッピング関数(または、対応するルックアップテーブル)を生成してもよい。
Y
T = f
m(Y
A),
Y
B = f
LGG(Y
T), (6)
当業者であれば理解できるように、いくつかの実施形態においては、等式(1)〜(6)に記載のようなマッピング関数は、ルックアップテーブルまたは他の同等な手段を用いて実現してもよい。
【0055】
ここで、f
m()について、そのパラメータの1つ以上(例えば、等式(1)のm)を1つ以上のオフセットパラメータ(例えば、m’=a+m)で調整して、新しいマッピング関数f
m’()を生成することを考える。エンコーダにおいて、コンピュータは最小化アルゴリズム(例えば、Levenberg_Marquartアルゴリズム)を実行して、例えばある距離基準に従って(例えば、最小二乗平均誤差を最小化するように)Y
B'=f
m'(Y
A)がY
Bに限りなく近くなるように、新しいmin’、mid’およびmax’値を見つけるようにしてもよい。これにより、メタデータM4は、新しいmin’、mid’およびmax’値を含み得る。メタデータM4は、f
m’()のパラメータ化された定義(例えば、C
1、C
2、C
3、nおよびm’)も含んでいてもよい。
【0056】
他の実施形態において、例えば、変換生成ステップ(240)の際のデコーダ上の処理要件を最小化するために、パラメータaを、マッピング関数の他のパラメータ(例えば、C
1、C
2またはC
3)と関連付けてもよい。
【0057】
ある実施形態において、メタデータM4は、トリムパス処理(115)の際に直接生成してもよい。
【0058】
デコーダ側では、メタデータM1およびM4に対して、デコーダは、先述の技術のいずれかを適用して、画像データA(107)をターゲットディスプレイ(DT)にマッピングするマッピング関数を生成してもよい。例えば、メタデータM1およびM4間のメタデータ補間を適用して、新しいメタデータセット(M5)を生成してからマッピング関数を生成してもよいし、メタデータM1およびM4を用いてマッピング関数を直接補間してもよい。
【0059】
インターネットを用いたOTT通信など特定の放送状況において、送信サーバが、送信(130)の前、且つ、カラーグレーディング処理(105、115)の後において、ターゲットディスプレイ特性(215)を既知な場合があり得る。その場合、ある実施形態においては、復号化ステップの一部(メタデータ補間(220)および変換生成(240)など)をエンコーダ自身が行ってもよい。その場合、メタデータM1およびM2を送信する代わりに、エンコーダは、ターゲットディスプレイ上において画像Cを生成するのに必要なメタデータM3または最適化されたマッピング関数を直接送信してもよい。
【0060】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する命令を実施し、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する様々なパラメータまたは値のいずれも演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【0061】
本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなEDRビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットのコンピュータ可読信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【0062】
上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【0063】
均等物、拡張物、代替物、その他
EDRのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲(今後出されるあらゆる訂正を含む、特許となった特定請求項)である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。