特許第6042583号(P6042583)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特許6042583EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
<>
  • 特許6042583-EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー 図000006
  • 特許6042583-EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー 図000007
  • 特許6042583-EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー 図000008
  • 特許6042583-EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6042583
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】EDRビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
(51)【国際特許分類】
   H04N 9/64 20060101AFI20161206BHJP
   G06T 5/00 20060101ALI20161206BHJP
   G09G 5/00 20060101ALI20161206BHJP
   G09G 5/10 20060101ALI20161206BHJP
【FI】
   H04N9/64 Z
   G06T5/00 740
   G09G5/00 X
   G09G5/10 B
【請求項の数】17
【全頁数】16
(21)【出願番号】特願2016-516008(P2016-516008)
(86)(22)【出願日】2014年11月10日
(65)【公表番号】特表2016-538736(P2016-538736A)
(43)【公表日】2016年12月8日
(86)【国際出願番号】US2014064854
(87)【国際公開番号】WO2015073377
(87)【国際公開日】20150521
【審査請求日】2016年2月24日
(31)【優先権主張番号】61/903,778
(32)【優先日】2013年11月13日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】サーストン 三世,キンブル,ディ.
(72)【発明者】
【氏名】クレンショー, ジェームズ,イー.
(72)【発明者】
【氏名】アトキンス, ロビン
(72)【発明者】
【氏名】チェン,タオ
(72)【発明者】
【氏名】クンケル,ティモ
【審査官】 大室 秀明
(56)【参考文献】
【文献】 国際公開第2012/125802(WO,A1)
【文献】 特表2012−501099(JP,A)
【文献】 国際公開第2012/127401(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40
G06T 3/00−5/50
G06T 9/00−9/40
G09G 5/00−5/36
G09G 5/377−5/42
H04N 1/40−1/409
H04N 1/46−1/48
H04N 1/52
H04N 1/60
H04N 7/10
H04N 7/14−7/173
H04N 7/20−7/56
H04N 9/44−9/78
H04N21/00−21/858
(57)【特許請求の範囲】
【請求項1】
ビデオシーケンスにおけるエンハンストダイナミックレンジ(EDR)画像のディスプレイ管理を支援する方法であって、デコーダにおいて、
前記エンハンストダイナミックレンジ画像を表示することが可能な第1のディスプレイ上でカラーグレーディングされた第1の画像についての第1のメタデータセットを受け取り、
前記第1のディスプレイよりも低いダイナミックレンジを有する第2のディスプレイ上でカラーグレーディングされた第2の画像のデルタメタデータセットを受け取り、前記第1および第2の画像は同一のシーンを表し、前記デルタメタデータセットは、前記第1の画像についての前記第1のメタデータセットと、前記第2の画像についての第2のメタデータセットとの差異を表しており、
前記第1のメタデータセットおよび前記デルタメタデータセット組み合わせることによって、前記第2のディスプレイ上でカラーグレーディングされた前記第2の画像についての前記第2のメタデータセットを生成し、
前記第1の画像の画像データを受け取り、
ターゲットディスプレイに用いられるパラメータセットにアクセスし、
前記第1のメタデータセット、前記第2のメタデータセットおよび前記ターゲットディスプレイ用の前記パラメータセットを用いて、第3のメタデータセットを補間生成し、
前記第1の画像の画像データ、前記第3のメタデータセットおよび前記ターゲットディスプレイの前記パラメータを用いて、前記第1の画像の画像データを前記ターゲットディスプレイにマッピングする、方法。
【請求項2】
前記第1のメタデータセットは前記第1のディスプレイのダイナミックレンジに関するディスプレイパラメータを含み、前記第2のメタデータセットは前記第2のディスプレイのダイナミックレンジに関するディスプレイパラメータを含む、請求項1に記載の方法。
【請求項3】
前記第1のメタデータセットは前記第1の画像の最小、最大および中間の階調値を含む、請求項1に記載の方法。
【請求項4】
前記第2のメタデータセットは前記第2の画像の最小、最大および中間の階調値を含む、請求項1に記載の方法。
【請求項5】
前記第2のメタデータセットは前記第2の画像の画像データを生成する際の周囲光の条件に関するデータを含む、請求項1に記載の方法。
【請求項6】
2つのメタデータ値間の補間ステップは、
Nv=(1−a)Sv+aTv
で表され、ここで、Nvは補間値であり、Svは前記第1のメタデータセット中のメタデータ値であり、Tvは前記第2のメタデータセット中のメタデータ値であり、aは補間定数である、請求項1に記載の方法。
【請求項7】
前記補間定数aは前記第2のディスプレイおよび前記ターゲットディスプレイのピーク輝度の関数として決定される、請求項に記載の方法。
【請求項8】
2つのメタデータ値間の補間ステップは、
【数1】
で表され、ここで、Nvは補間値であり、Svは前記第1のメタデータセット中のメタデータ値であり、Tvは前記第2のメタデータセット中のメタデータ値であり、fはロールオフ率であり、Rpeakは前記ターゲットディスプレイおよび前記第2のディスプレイのピーク輝度値の関数である、請求項1に記載の方法。
【請求項9】
Rpeakは前記ターゲットディスプレイのピーク輝度に対する前記第2のディスプレイのピーク輝度の比に基づいている、請求項に記載の方法。
【請求項10】
前記第2のメタデータセットは前記第2の画像についてのリフト、ゲインおよびガンマ値をさらに含む、請求項に記載の方法。
【請求項11】
ビデオシーケンスにおけるエンハンストダイナミックレンジ(EDR)画像のディスプレイ管理を支援する方法であって、デコーダにおいて、
前記エンハンストダイナミックレンジ画像を表示することが可能な第1のディスプレイ上でカラーグレーディングされた第1の画像についての第1のメタデータセットにアクセスし、
前記第1のディスプレイよりも低いダイナミックレンジを有する第2のディスプレイ上でカラーグレーディングされた第2の画像についての第4のメタデータセットにアクセスし、前記第1および第2の画像は同一のシーンを表しており、
前記第1の画像の画像データを受け取り、
ターゲットディスプレイに用いられるパラメータセットにアクセスし、
前記第1のメタデータセット、前記第4のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて、マッピング関数を生成し、
前記第1の画像の画像データ、前記生成したマッピング関数および前記ターゲットディスプレイのパラメータを用いて、前記第1の画像の画像データを前記ターゲットディスプレイにマッピングする、方法であって、
前記第4のメタデータセットは、前記第2のディスプレイ上でカラーグレーディングされた第2の画像についての第2のメタデータセットを変換することによりエンコーダによって生成され、
前記第4のメタデータセットの生成において、
前記第2のメタデータセット中の1つ以上のメタデータ値を用いて、前記第1の画像の画像データを前記第2のディスプレイにマッピングする第1のディスプレイマッピング関数を生成し、
前記第1のディスプレイマッピング関数および前記第1の画像の画像データを用いて、一時的な画像データを生成し、
前記一時的な画像データおよび前記第2のメタデータセット中のリフト、ゲインおよびガンマデータに応じて前記第2の画像を生成し、
前記第1のディスプレイマッピング関数のパラメータをオフセットで調整することによって、第2のディスプレイマッピング関数を生成し、
最適化技術を用いて前記第4のメタデータセットおよび最適化されたオフセット値を生成し、前記第4のメタデータセットおよび前記最適化されたオフセット値は、前記第1の画像、前記第4のメタデータセットおよび前記最適化されたオフセット値が与えられた時に前記第2のディスプレイマッピング関数が第3の画像を生成するように生成され、最小化アルゴリズムによれば、前記第3の画像と前記第2の画像との距離はある画像距離基準において最小である、方法。
【請求項12】
前記マッピング関数の生成において、
前記第1のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて第1のマッピング関数を生成し、
前記第4のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて第2のマッピング関数を生成し、
前記第1および第2のマッピング関数間を補間することによって前記マッピング関数を生成する、請求項11に記載の方法。
【請求項13】
前記第2のマッピング関数は、最小、最大、および中間の輝度値と、前記第4のメタデータセット中の、リフト、ゲインおよびガンマ値との両方に応じて生成される、請求項12に記載の方法。
【請求項14】
前記ターゲットディスプレイは前記第1のディスプレイまたは前記第2のディスプレイとは異なる、請求項1または11に記載の方法。
【請求項15】
前記ターゲットディスプレイは前記第1のディスプレイおよび前記第2のディスプレイとは異なる、請求項1または11に記載の方法。
【請求項16】
プロセッサを備え、請求項1から15に記載の方法のいずれかを実行するように構成された装置。
【請求項17】
請求項1から15のいずれかに記載のコンピュータを用いる方法を実行するためのコンピュータが実行可能な命令を格納した非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2013年11月13日に出願した米国特許仮出願第61/903,778号に基づく優先権を主張するものであり、この出願の開示内容の全てを本願に援用する。
【0002】
本発明は、広義には、ビデオ画像に関する。より具体的には、本発明のある実施形態は、エンハンスト(enhanced)またはハイダイナミックレンジを有するビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフローに関する。
【背景技術】
【0003】
本明細書において、用語「ダイナミックレンジ」(DR)は、画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最暗部(黒)から最明部(白)まで)を知覚する人間の心理視覚システム(HVS)の能力に関連し得る。この意味では、DRはシーン−リファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
【0004】
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)において14〜15桁ほどにわたるDR幅に関する。例えば、しっかりと順応した、実質的に正常(例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の1つ以上において)な人間は、約15桁にわたる強度範囲を有する。順応した人間は、ほんの少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る(また、怪我をしないような短時間であるとしても太陽を見ることもできる)。ただし、この範囲は、「順応した人間」、例えば、そのHVSをリセットして調節する時間を経た人間に当てはまるものである。
【0005】
これに対して、人間が、広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、HVSによって同時に知覚可能なDRに関連し得る。本明細書において、EDRは、5〜6桁にわたるDRに関連し得る。従って、真のシーンリファードのHDRに対して幾分狭いものの、EDRは、広いDR幅を示す。
【0006】
ほとんどの家庭用デスクトップディスプレイは、200〜300cd/m2またはニトの輝度をサポートしている。ほとんどの家庭用HDTVは、300〜1000cd/m2の範囲内である。従って、これらの従来のディスプレイは、HDRまたはEDRに対して、ロ−ダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例である。キャプチャ機器(例えば、カメラ)およびEDRディスプレイ(例えば、Dolby LaboratoriesのプロフェッショナルリファレンスモニターPRM−4200)両方の進化によってEDRコンテンツの普及率が高まっており、EDRコンテンツは、カラーグレーディング(color graded)され、より高いダイナミックレンジ(例えば、1,000ニトから5,000ニト以上)をサポートするEDRディスプレイ上に表示することが可能である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本願発明者らの理解によれば、ディスプレイ装置においてサポートされるダイナミックレンジの範囲が広い(例えば、下は今日の映写機用の50ニトから、未来のEDRテレビ用の5,000ニト以上まで)ことから、EDRビデオの適正なディスプレイ管理のためのEDR信号および関連メタデータのワークフローおよび配信のためのより向上した技術が望まれる。
【0008】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、特に反対の記載がない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【0009】
図1図1は、本発明の実施形態によるEDRビデオ信号のカラーグレーディング(color grading)、配信および表示を行うためのワークフローの一例を示す図である
図2A図2Aは、本発明の実施形態によるEDRビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。
図2B図2Bは、本発明の実施形態によるEDRビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。
図2C図2Cは、本発明の実施形態によるEDRビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。
【発明を実施するための形態】
【0010】
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【0011】
EDR信号のコンテンツ生成および支援ディスプレイ管理を行うためのワークフローの方法およびシステムを本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0012】
概要
本明細書に記載の実施形態例は、ハイまたはエンハンストダイナミックレンジを有するビデオ信号のコンテンツ生成、配信および支援ディスプレイ管理を行うためのワークフローに関する。エンハンストダイナミックレンジ(EDR)を有するビデオデータを、異なるダイナミックレンジ特性を有する第1および第2のリファレンスディスプレイに合わせてカラーグレーディングし、これにより、第1のカラーグレーディングされた出力、第2のカラーグレーディングされた出力、および、関連付けられた第1および第2のメタデータセットを生成する。第1のカラーグレーディングされた出力および2つのメタデータセットをエンコーダからデコーダに送信して、第2のリファレンスディスプレイとは異なり得るターゲットディスプレイ上に表示する。受信器において、デコーダは、第1および第2のメタデータセット間を補間して第3のメタデータセットを生成し、この第3のメタデータセットによって、ターゲットディスプレイ上に受信ビデオデータを表示するためのディスプレイ管理処理が実行される。
【0013】
ある実施形態において、第2のメタデータセットを符号化することによって、第1および第2のメタデータセット間の差異を表すデルタメタデータとして送信してもよい。
【0014】
ある実施形態において、第2のメタデータセットを、受信器に送信する前に、第4のメタデータセットに変換してもよい。
【0015】
受信器において、2つのメタデータセット間の補間は、線形であっても非線形であってもよい。
【0016】
ある実施形態において、受信器は、第3のメタデータセットを補間生成する代わりに、2つのメタデータセットおよびターゲットディスプレイのパラメータに基づいてマッピング関数を生成してもよい。
【0017】
ある実施形態において、受信画像データをターゲットディスプレイにマッピングするマッピング関数は、2つのメタデータセットおよびターゲットディスプレイのパラメータから生成された別々のマッピング関数から補間してもよい。
【0018】
EDRコンテンツ生成ワークフロー
概要
コンテンツ生成処理において、ある1つの「マスター」ソース(例えば、ある1つの映画)が与えられた場合、異なる市場および異なる再生環境をターゲットとして、このマスターから複数のバージョンを生成する場合が珍しくない。例えば、あるスタジオはある映画の3つのバージョンを生成し得る:映画館の投影機用のシネマバージョン、DVD配信用の標準画質バージョン、および、Blu−Ray配信用の高画質バージョン。これらのバージョンは、異なる解像度および異なるビデオ圧縮方式を利用し得るが、ほとんどの場合、これらが全てディレクターの元々の表現意図(artistic intent)に沿っている必要がある。
【0019】
コンテンツ生成およびディスプレイ管理のワークフローが今日の比較的低いダイナミックレンジからエンハンストまたはハイダイナミックレンジに移行するにしたがい、従来のディスプレイと未来のディスプレイとにおいて輝度および色再現能力が広範囲にわたっていることは、あらゆる視聴者に対しディレクターの意図が一貫して損なわないようにしたいと願う全てのスタジオ(またはコンテンツクリエータ全般)にとって、難題となる。再現性が低いと、非常に気が散り、問題である。残念ながら、ITU−R Recommendation BT.709などの今日の放送規格は、限定的にしかビデオ信号の適正なディスプレイ管理をサポートしていない。
【0020】
これらの問題に対応するべく、図1は、本発明のある実施形態によるビデオ信号のカラーグレーディング、配信および支援ディスプレイ管理を行うためのワークフローの一例を示す。図1に示すように、未加工EDRビデオデータ(102)が与えられると、カラリストは、第1のリファレンスディスプレイ(D1)を用いて、ディレクターの意図にマッチする第1のカラーグレーディング済バージョン(107)を作成する。ある実施形態において、第1のリファレンスディスプレイは、白黒レベル(例えば、ダイナミックレンジ)および色域に関して、可能な限り最高のディスプレイ性能を有し得る。第1のカラーグレーディング(105)の副産物として、第1のビデオメタデータセット(M1)(110)も生成される。本明細書中の定義において、用語「メタデータ」または「補助データ」は、符号化ビットストリームの一部として送信されるあらゆる補助的な情報に関し、下流側デバイス(例えば、受信器またはデコーダ)が復号化画像を描画することを支援し得るものである。このメタデータは、色空間または色域情報、ダイナミックレンジ情報(例えば、最小輝度値、中間調および最大輝度値、トーンマッピング情報、またはその他のディスプレイまたはコンテンツ関連情報(例えば、ディスプレイ特性およびカラーグレーディングの際の周囲光)などの情報を含み得るが、これらに限定はされない。ある実施形態において、対象となるメタデータは、リフト、ゲインおよびガンマ、全体彩度、および、ルマ依存の彩度のような輝度強度および色差強度関連パラメータを含み得る。これらのメタデータは、各フレームまたは1まとまりのフレーム(ビデオデータ(102)の1つのシーンまたは「ショット」など)を特徴付け得る。本明細書中、用語「シーン」は、ビデオ信号の中で色およびダイナミックレンジ特性が類似する一連の連続フレームに関し得る。
【0021】
第1のカラーグレーディングされた出力(107)が与えられると、カラリストは「トリムパス(trim−pass)」(115)を行い、これにより、第2のリファレンスディスプレイ(D2)用の第2のカラーグレーディングされたバージョン(117)を生成し得る。詳細は後述するが、このステップは、自動または半自動であってもよく、第2のメタデータセット(M2)(120)を生成する。第2のリファレンスディスプレイは、典型的には第1のリファレンスディスプレイよりも低いダイナミックレンジ特性を有する。
【0022】
従来技術においては、第2のカラーグレーディングされたバージョン(117)は、第2のメタデータセット(120)と共に、配信媒体(例えば、DVD)上への格納または視聴者への直接配信に適したフォーマットで符号化され得る。よって、符号化ビデオデータおよびメタデータの受信および復号化の際に、受信器は、ディスプレイ管理処理(140)を適用して、第2のカラーグレーディングされたバージョン(117)および第2のメタデータセット(120)のみに基づくターゲットディスプレイ(DT)用の最終出力(142)を生成し得る。
【0023】
図1に示すように、また、他の実施形態でさらに詳細に後述するように、本発明のある実施形態においては、エンコーダは、第2のカラーグレーディングされたバージョンの代わりに、第1のカラーグレーディングされたバージョン(107)を送信するように選択してもよい。さらに、第1のメタデータセット(110)のある表現形式(127)をビデオデータ(154)および第2のメタデータセット(120)と共に送信して、受信器上におけるディスプレイ管理処理(140)をさらに支援してもよい。ある実施形態において、第1のメタデータセット(110)を、第1および第2のメタデータセット間の差異を表すデルタメタデータ(127)として符号化してもよい。これらのデルタメタデータと、受信ビデオデータ(154)および第2のメタデータセット(120)とによって、第2のリファレンスディスプレイおよびターゲットディスプレイ間のダイナミックレンジ特性がいかに互いに離れていたとしても、受信器(140)がはるかにより正確な表示データ(142)を生成することが可能となる。
【0024】
別の実施形態においては、デルタメタデータを全く送信することなく、第1のメタデータセットを送信してもよい。
【0025】
別の実施形態(図示せず)においては、デルタメタデータ(127)を、トリムパス処理(115)の一部として直接的に生成してもよい。すると、受信器においてステップ(135)で行われるように、第1のメタデータセットをデルタメタデータと組み合わせることによって第2のメタデータセット(120)が生成される。
【0026】
別の実施形態においては、第1のメタデータセットをそのまま送信し、第2のメタデータセットを第1のメタデータセットに対するデルタメタデータとして送信する。さらに、いくつかの実施形態においては、さらなるメタデータセット(それぞれ異なるディスプレイを用いてさらなるカラーグレーディングされたパスから生成される)を利用可能としてもよい。例えば、特定のシーン(または映画全体)を、最大輝度が100ニト、1,000ニトまたは2,000ニトのディスプレイ用にグレーディングしてもよい
【0027】
カラーグレーディングワークフロー例
ワークフローの一例において、最大輝度が4,000ニト、最小輝度が0.005ニトの第1のリファレンスディスプレイを考える。第2のリファレンスディスプレイとしては、最大輝度が100ニト、最小輝度が同じく0.005ニトの典型的なSDRテレビを考える。この例においては、限定はしないが、両ディスプレイは同じような色域を持っているものとする。
【0028】
ブラインドがかけられた窓の前に人物の顔がある、日中の屋内シーンを考える。第1のリファレンスディスプレイ上では、カラリストは、ブラインドの向こう側にある太陽光をかなり明るくし、ブラインドを顕著に暗くしながら、かつ顔を自然なレベルにしておくことが可能である。第2のリファレンスディスプレイ上では、カラリストは、太陽光のレベルをかなり下げる(最大輝度が大幅に低いため)ことを余儀なくされ、そして、外とブラインドとの差をある程度保つために、その他のレベルは低減することになる。しかし、このステップにより、顔の輝度レベルも下がってしまうかもしれず、暗く見えてしまう。この場合、顔の色を調整するために、カラリストは、中間調を上げたりする。
【0029】
受信器において、第2のメタデータセットしか利用可能でない場合、第2のディスプレイの特性に非常に近い特性を有するターゲットディスプレイは、適正な出力を描画するが、より良いダイナミックレンジ特性を有する(おそらく、第1および第2のリファレンスディスプレイの範囲の間のダイナミックレンジを有する)他のディスプレイは、間違いなく、顔を明るく描画し過ぎるであろう。
【0030】
本発明においては、両メタデータセットに関するメタデータを保持するので、ターゲットディスプレイは、その仕様が第2のリファレンスディスプレイと比べていくら近似または乖離していようとも、より正確な描画を行うことができる。例えば、ディスプレイ管理処理によって、明るい領域の輝度を上げつつ、顔の適正な中間調を維持することになる。
【0031】
メタデータ処理の実施形態例
図2Aは、本発明のある実施形態における、EDRビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す。図1に示すワークフローと同様に、EDR生成されたマスターコンテンツ(例えば、102)を、まず、リファレンスディスプレイD1上でカラーグレーディングし、これにより、カラーグレーディングされた画像A(107)を生成する。複数の配信フォーマットおよびディスプレイをサポートするために、画像Aは、1つ以上の他のリファレンスディスプレイ用にもカラーグレーディングされ得る。画像AをディスプレイD2上でカラーグレーディングすると画像B(117)が生成される。ディスプレイD1上でのカラーグレーディング処理の一部として、カラーグレーディングされたデータAおよびディスプレイに関するメタデータM1(110)も生成する。
【0032】
第2のリファレンスディスプレイ(D2)上でのカラーグレーディング(115)は、一般的にトリムパスと呼ばれる。これは、典型的には半自動化されており、若干の修正入力(210)をカラリストが行う。例えば、ある実施形態において、カラーグレーディングされた画像Bは、画像データAおよびメタデータM1を入力とする、ディスプレイD2用のディスプレイ管理処理の出力を表し得る。EDRビデオデータのディスプレイ管理処理の一例は、2013年4月9日に出願された「高ダイナミックレンジビデオ用のディスプレイ管理」という表題の米国特許仮出願第61/810,104号(以下、「’104出願」と呼ぶ)に記載されている。この出願の開示内容の全てを本願に援用する。
【0033】
カラリストの修正によって新しいメタデータM2(120)ができ、このメタデータM2(120)を用いて、M1メタデータだけの場合にディスプレイ管理処理が行うことが決定していた事を上書きすることができる。多くのシーンにおいては、カラリストによる修正が無いため、M2メタデータはM1と同じになり得る。
【0034】
本実施形態において、エンコーダは、第1のカラーグレーディングされた画像(A、107)と、第1のメタデータM1(110)と、第2のメタデータM2(120)とをパックにして受信器に送信する。先述のように、いずれのメタデータセットを、他方のセットおよびデルタメタデータセットを参照として送信されてもよい。
【0035】
受信器において、デコーダは、以下のデータにアクセスできる。すなわち、第1のカラーグレーディングされた画像(A、107)、2つのメタデータセット(110)、(120)、および、ターゲットディスプレイ(DT)のディスプレイパラメータセット(P、215)である。これらのデータを用いて、受信器は、エンコーダにおけるカラーグレーディング処理(105)および(115)によって表現される通りに、ディスプレイDT上に表示した際にディレクターの意図を損なわないような新たな画像(C、235)を生成しなければならない。
【0036】
上記’104出願に記載のように、ディスプレイ管理処理(例えば、230)の際に、非線形マッピング処理を適用して、受信信号(例えば、107)の強度(I)を、ターゲットディスプレイDTの制約内に収まる強度値にマッピングする。ターゲットディスプレイは、EDRディスプレイであっても、SDRディスプレイであってもよい。ターゲットディスプレイが、信号(107)を生成する際に用いたリファレンス制作用ディスプレイ(reference production display)と同じ特性を有する場合は、変換は不要である。しかし、ターゲットディスプレイがリファレンス制作用ディスプレイのダイナミックレンジよりも低いまたは高いダイナミックレンジを有する場合は、マッピング処理によって、入力信号のダイナミックレンジをターゲットディスプレイのダイナミックレンジにマッピングする。
【0037】
非線形マッピング変換の一例は、上記’104出願に記載され、また、本願において開示内容を全て援用する、2012年3月15日に出願された「画像データ変換の方法および装置」という表題のシリアルナンバーPCT/US2012/029189のPCT出願においてA.Ballestadらによっても記載されている。Ballestadの’189PCT出願によれば、非線形マッピング用の変換関数の一例は、以下のように表され得る。
【数1】
ここで、C1、C2およびC3は定数であり、Yinはある色チャネル(例えば、Iチャネル)の入力値であり、Youtはその色チャネルの出力値であり、nおよびmは、関数の傾きおよびロールオフを決定するパラメータである。この変換関数は、パラメータ化されたS字型のトーンカーブ関数の一例である。パラメータC1、C2およびC3は、3つのアンカーポイントの定義に基づいて決定される。3つのアンカーポイントは、リファレンス(またはソース)ディスプレイの輝度特性(典型的には、入力メタデータから抽出される)および、ターゲットディスプレイ(例えば、215)の輝度特性(典型的には、ディスプレイ管理処理を行うプロセッサにとって既知である)に基づいて定義され得る。
【0038】
各トーンマッピング曲線の特性は、シーン毎またはフレーム毎に適応され得る。可能なディスプレイの範囲が広いこと(例えば、50ニトのデジタル映写機から未来の10,000ニトのディスプレイまで)を考えると、各受信メタデータセット(110および120)はそれ自体では、ディスプレイ管理処理(230)が最適化されたトーンマッピング曲線を生成するために、十分あるいは正確な情報を提供できないかもしれない。ある実施形態においては、新しいメタデータ補間ステップ(220)を用いることにより、M1メタデータ(110)およびM2メタデータ(120)を組み合わせ新しいメタデータセットM3(225)を生成してもよい。
【0039】
ある実施形態において、メタデータ補間処理(220)は、いかなるターゲットディスプレイ(DT)のトーンマッピング曲線特性も、第1のリファレンスディスプレイ(D1)および第2のリファレンスディスプレイ(D2)の対応する特性によって定義される曲線上にあるという仮定に基づいていてもよい。例えば、ターゲットディスプレイ(215)および視聴環境(例えば、周囲光の輝度、2D対3D視聴等)のパラメータに関する情報を用いて、ある実施形態においては、ターゲットディスプレイのM3メタデータ(225)を、線形補間モデルを用いて既知の第1および第2のメタデータセット間を補間することによって生成し得る。
【0040】
例えば、あるシーンにおける最小、最大および中間の階調値を表すM1メタデータを、Smin、SmaxおよびSmidとする。同シーンの対応するM2メタデータをTmin、TmaxおよびTmidとする。Nmin、NmaxおよびNmidがM3メタデータ中の対応する出力値を表すものとすると、ある実施形態においては、M3メタデータは以下のように算出される。
Nmin = (1−a)Smin + aTmin,
Nmax = (1−b)Smin + bTmin (2)
Nmid = (1−c)Smin + cTmin
ここで、a、bおよびcは、0から1の間の定数である。定数a、bおよびcは、全て同じであってもよいし、異なっていてもよい。例えば、各定数は、既知のディスプレイパラメータの関数、例えば、a=Tpeak/Npeak(ここで、Tpeakは第2のディスプレイ(D2)のピーク輝度であり、Npeakはターゲットディスプレイ(DT)のピーク輝度である)、に基づいて生成されてもよい。これらの定数を決定するために、他の代替的な関数を適用して決定してもよい。
【0041】
他の実施形態において、高いピーク輝度を有するターゲットディスプレイは、低いピーク輝度を有するディスプレイと比べて必要な調整が大幅に少ないことが予期されるので、非線形補間モデル(例えば、人間の視覚システムの知覚特性に基づくもの)を用いてもよい。そのような線形または非線形補間は、様々なメタデータ値(ピーク輝度値、最小輝度値、中間調値など)に適用され得る。
【0042】
例えば、上記と同じ表記を用いて、Nminを算出するために(但し、他のメタデータ値についてもこれを繰り返してもよい)、以下のように定義する。
delta = Tmin − Smin,
ratio = Tpeak/Npeak,
falloff = 2, (3)
scalefactor = ratiofalloff
Nmin = Smin + scalefactor*delta,
よって、ターゲットディスプレイがより明るくなる程、M2メタデータ(例えば、Tmin)の効果は非線形的に低減する。falloffファクタは、トリムパスディスプレイ(例えば、D2)の輝度および黒レベル特性によって調整され得る。当業者であれば、このステップにおいて他の代替的な補間関数を用いてもよいことが理解できるであろう。
【0043】
いくつかの実施形態においては、線形および非線形モデルを組み合わせて、区分的線形または非線形補間関数を生成してもよい。例えば、あるデコーダが、100〜200ニトの入力範囲においては第1の補間関数を用い、200.1ニトから400ニトの入力範囲においてはそのデコーダが第2の補間関数を用いてもよい。さらに、第1の補間関数はメタデータセットM1およびM2に基づくものであり、第2の補間関数は他のメタデータ、例えば、M1およびM2’(ここで、M2’メタデータは、第3のリファレンスディスプレイ(D3)上において画像Aのカラーグレーディングの際に生成されたものである)に基づくものであってもよい。カラーグレードパスに関するさらなるメタデータセットがエンコーダから受信される場合は、それらのメタデータを用いて補間処理の正確性を向上させてもよい。
【0044】
図2Aに戻って、メタデータM3(225)を生成した後、ディスプレイ管理処理(230)は、算出されたM3メタデータ(225)と、ターゲットディスプレイパラメータ(215)と、受信画像データA(107)とを用いて、画像C(235)を生成してもよい。
【0045】
別の実施形態においては、補間を2つのメタデータセットに直接的に適用するのではなく、アンカーポイントまたはメタデータから生成される他のディスプレイ管理関連パラメータに適用してもよい。例えば、2つのメタデータセットおよびターゲットディスプレイパラメータを用いて2つの別々のマッピング関数を生成し、そして、2つの関数の間を補間して最終的なマッピング関数を作成してもよい。
【0046】
いくつかの実施形態においては、メタデータ補間の代わりに、あるいはメタデータ補間に加えて、ピクセルデータ補間も適用してもよい。例えば、ディスプレイ管理処理(230)において、第1および第2のメタデータセットを別々に用いて第1および第2の出力画像を生成してもよい。そして、第1および第2の出力画像の画素値を補間することによって最終出力画像を生成し得る。
【0047】
いくつかの実施形態においては、カラーグレーディングツールによって、カラリストが、カラーグレーディングされた画像Aを第2のリファレンスディスプレイにマッピングするための最適なマッピング曲線を、手動で調整しエクスポートできるようにしてもよい。その曲線をM2メタデータの一部としてデコーダに送り、ターゲットディスプレイのための最適なマッピング曲線を補間するためのベースとして用いてもよい。
【0048】
カラーアーティストまたはグレーディング担当者がよく用いるコントロール群は、しばしば、リフト/ゲイン/ガンマ(LGG)および色相と彩度(HS)と呼ばれる。リフトは暗度を、ゲインは輝度を、ガンマは中間調を変化させる。
【0049】
入力x、リフト(L)、ゲイン(G)およびガンマパラメータがあった場合、LGG修正された出力yは以下のように与えられる。
【数2】
【0050】
ある実施形態においては、図2Bに示すように、トリムパス(115)の際にカラリストが入力するLGG値を捕捉して、第2のメタデータセット(120)の一部として記録してもよい。同様に、カラリストによるさらなるローカル操作(「パワーウィンドウ」など)も、これを捕捉してデコーダに送信してもよい。これらのさらなる情報のため、デコーダにおいて、ディスプレイ管理処理は、新しいデータを有利に利用するように変化してもよい。例えば、図2Bに示すように、変換生成ユニット(240)はこの場合、2つのメタデータセット(M1 110、M2 120)およびターゲットディスプレイ(215)のパラメータを用いて、カラーグレーディングされた画像データA(107)をディスプレイDT上において画像Cにマッピングするマッピング変換を生成してもよい。このマッピング関数が与えられると、ディスプレイ管理処理(230)の残りの部分は上述のように進行する。
【0051】
それぞれ異なる処理性能を持つ様々な下流側デバイスをサポートするために、ある実施形態においては、メタデータを、階層の異なるレベルでパケット化および送信してもよい。例えば、
・ レベル0メタデータは、単に、輝度のmin、maxおよびmid値などのソースディスプレイの説明を含んでいてもよく、
・ レベル1メタデータは、コンテンツに関連するメタデータ(例えば、対象とするシーン、フレームまたは画像領域のmin、maxおよびmid値)を含んでいてもよく、
・ レベル2メタデータは、リファレンスディスプレイ上でのトリムパスに関連するメタデータ(例えば、ゲイン、リフトおよびガンマ値)を含んでいてもよく、
・ レベル3メタデータは、別のディスプレイへのトリムパスに関連するデータを含んでいてもよく、
・ 詳細は後述するが、さらなるレベルのメタデータとして、エンコーダにとってターゲットディスプレイの特性が既知である場合には(例えば、OTT(over the top)通信など)、オリジナルコンテンツメタデータデータの変換または、具体的なマッピング関数に関するデータを含んでいてもよい。
【0052】
ハイエンドリファレンスディスプレイ(例えば、D1)用にカラーグレーディングされたEDR入力データ(例えば、YI=A、107)を、異なるダイナミックレンジ(例えば、YO=C、235)を有するターゲットディスプレイ用の表示データにマッピングするためのマッピング関数を、YO=fm(YI)とする。例えば、fm(YI)は、等式(1)に基づいていてもよい。ある実施形態においては、LGGデータを用いてfm(YI)マッピングの出力を調整してもよい。例えば、所与の入力データYAに対して、表示データYCは以下のように求められ得る。
T = fm(YA) , (4)
C = fLGG(YT),
ただし、fLGG()は入力LGGパラメータの関数を表し、YTは中間画像データを表す。例えば、ある実施形態において、所与のゲイン(G)、ガンマおよびリフト(L)入力に対して、fLGG()は以下のように表現されてもよい。
【数3】
【0053】
全てのデコーダが、変換生成ステップ(240)の演算要件を満たす処理能力を有しているわけではないので、ある実施形態においては、図2Cに示すように、デコーダの変換生成ステップ(240)によって行われるはずの処理の一部を行う新しいメタデータ変換ステップ(250)を、エンコーダは追加してもよい。例えば、ある実施形態においては、第2のメタデータセット(120)(例えば、mid、max、minおよびLGG値)が与えられると、第2のリファレンスディスプレイのために新しいメタデータセット(M4、255)(例えば、mid’、max’、min’およびパワースロープ(power−slope))を生成して、これを、オリジナルM2メタデータの代わりにデコーダに送信してもよい。
【0054】
例えば、min、midおよびmax値を含み、さらにカラリストからのリフト/ゲイン/ガンマデータをも含み得る、メタデータM2が与えられると、エンコーダは等式(4)を適用し、以下の式のように、カラーグレーディングされた画像AをディスプレイD2用のカラーグレーディングされた画像Bにマッピングするための等式(1)のマッピング関数(または、対応するルックアップテーブル)を生成してもよい。
T = fm(YA),
B = fLGG(YT), (6)
当業者であれば理解できるように、いくつかの実施形態においては、等式(1)〜(6)に記載のようなマッピング関数は、ルックアップテーブルまたは他の同等な手段を用いて実現してもよい。
【0055】
ここで、fm()について、そのパラメータの1つ以上(例えば、等式(1)のm)を1つ以上のオフセットパラメータ(例えば、m’=a+m)で調整して、新しいマッピング関数fm’()を生成することを考える。エンコーダにおいて、コンピュータは最小化アルゴリズム(例えば、Levenberg_Marquartアルゴリズム)を実行して、例えばある距離基準に従って(例えば、最小二乗平均誤差を最小化するように)YB'=fm'(YA)がYBに限りなく近くなるように、新しいmin’、mid’およびmax’値を見つけるようにしてもよい。これにより、メタデータM4は、新しいmin’、mid’およびmax’値を含み得る。メタデータM4は、fm’()のパラメータ化された定義(例えば、C1、C2、C3、nおよびm’)も含んでいてもよい。
【0056】
他の実施形態において、例えば、変換生成ステップ(240)の際のデコーダ上の処理要件を最小化するために、パラメータaを、マッピング関数の他のパラメータ(例えば、C1、C2またはC3)と関連付けてもよい。
【0057】
ある実施形態において、メタデータM4は、トリムパス処理(115)の際に直接生成してもよい。
【0058】
デコーダ側では、メタデータM1およびM4に対して、デコーダは、先述の技術のいずれかを適用して、画像データA(107)をターゲットディスプレイ(DT)にマッピングするマッピング関数を生成してもよい。例えば、メタデータM1およびM4間のメタデータ補間を適用して、新しいメタデータセット(M5)を生成してからマッピング関数を生成してもよいし、メタデータM1およびM4を用いてマッピング関数を直接補間してもよい。
【0059】
インターネットを用いたOTT通信など特定の放送状況において、送信サーバが、送信(130)の前、且つ、カラーグレーディング処理(105、115)の後において、ターゲットディスプレイ特性(215)を既知な場合があり得る。その場合、ある実施形態においては、復号化ステップの一部(メタデータ補間(220)および変換生成(240)など)をエンコーダ自身が行ってもよい。その場合、メタデータM1およびM2を送信する代わりに、エンコーダは、ターゲットディスプレイ上において画像Cを生成するのに必要なメタデータM3または最適化されたマッピング関数を直接送信してもよい。
【0060】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する命令を実施し、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する様々なパラメータまたは値のいずれも演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【0061】
本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなEDRビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットのコンピュータ可読信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【0062】
上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【0063】
均等物、拡張物、代替物、その他
EDRのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲(今後出されるあらゆる訂正を含む、特許となった特定請求項)である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。
図1
図2A
図2B
図2C