知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
特許7422832様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
(51)【国際特許分類】
H04N 21/435 20110101AFI20240119BHJP
H04N 21/4402 20110101ALI20240119BHJP
H04N 21/84 20110101ALI20240119BHJP
H04N 19/46 20140101ALI20240119BHJP
【ＦＩ】
H04N21/435
H04N21/4402
H04N21/84
H04N19/46
【請求項の数】
3
(21)【出願番号】P 2022147722
(22)【出願日】2022-09-16
(62)【分割の表示】P 2021104767の分割
【原出願日】2012-05-17
(65)【公開番号】P2022174254
(43)【公開日】2022-11-22
【審査請求日】2022-09-16
(31)【優先権主張番号】61/491,014
(32)【優先日】2011-05-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】メスマー、ニール ダブリュ．
(72)【発明者】
【氏名】アトキンズ、ロビン
(72)【発明者】
【氏名】マージャーム、スティーブ
(72)【発明者】
【氏名】ロングハースト、ピーター ダブリュ．
【審査官】富樫 明
(56)【参考文献】
【文献】国際公開第２０１０／０２１７０５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２００６／０２８８４００（ＵＳ，Ａ１）
【文献】特開２００４－２８２５９９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
リファレンス・ディスプレイ装置であって、画像データと、前記画像データについての２つ以上の組のメタデータとを記憶する非一時的記憶媒体と、
プロセッサと、を備え、
前記プロセッサは、
前記画像データと、前記２つ以上の組のメタデータと、を符号化すること、
符号化された前記画像データおよび前記２つ以上の組のメタデータを含むビットストリームをターゲット・ディスプレイ装置に送信すること、を実行するように構成されており、
第１の組のメタデータは、
前記リファレンス・ディスプレイ装置の特性を記述するものであり、
ａ．前記リファレンス・ディスプレイ装置の白色点と、
ｂ．前記リファレンス・ディスプレイ装置の３つの原色と、を含み、
第２の組のメタデータは、前記画像データの映像特性を記述し、前記画像データの最大輝度レベルを少なくとも含む、リファレンス・ディスプレイ装置。
【請求項2】
前記第１の組のメタデータと前記第２の組のメタデータは前記ビットストリーム内で別々に分けられ、互いに独立して符号化されることができる、請求項１に記載のリファレンス・ディスプレイ装置。
【請求項3】
前記ビットストリームは、前記リファレンス・ディスプレイ装置で前記画像データを符号化する際の周囲光条件を示す第３の組のメタデータを含む、請求項１に記載のリファレンス・ディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関し、より具体的には、メタデータを特にメタデータのいくつかの層で用いた、画像およびビデオ信号の符号化ならびに復号化に関するものである。
【背景技術】
【0002】
周知のスケーラブルなビデオ符号化および復号化技術によって、ターゲット・ビデオディスプレイの能力とソースビデオデータ（source video data）の品質に応じたビデオ品質の伸張または圧縮が可能である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ただし、メタデータの単一レベルまたはいくつかのレベルのどちらかである画像メタデータの使用および適用において、画像および／またはビデオのレンダリングならびに鑑賞者の経験を向上させている。
【課題を解決するための手段】
【0004】
スケーラブル画像処理システムおよび方法のいくつかの態様について本明細書で開示し、これにより、ターゲット・ディスプレイに表示されるソース画像データの色管理処理は、様々なレベルのメタデータに従って変更される。
【0005】
一態様において、一連のレベルのメタデータにより、ターゲット・ディスプレイ上で画像データを処理およびレンダリングする方法について開示し、このとき、メタデータは画像コンテンツに関連付けられたものである。該方法は、画像データを入力すること、該画像データに関連付けられた一連のレベルのメタデータを確認すること、画像データに関連付けられたメタデータがない場合は、デフォルト値に切り替えること、およびパラメータ値を適応的に計算することを含む一群の画像処理ステップのうち少なくとも１つを実行すること、画像データにメタデータが関連付けられている場合は、画像データに関連付けられた一連のレベルのメタデータに従って色管理アルゴリズムパラメータを計算することを備える。
【0006】
さらに別の態様では、一連のレベルのメタデータにより、ターゲット・ディスプレイ上で画像データを復号化およびレンダリングするためのシステムについて開示する。該システムは、入力画像データを受け取って中間画像データを出力するビデオ・デコーダと、入力画像データを受け取るメタデータ・デコーダであって、該入力画像データと関連付けられた一連のレベルのメタデータを検出すること、および中間メタデータを出力することが可能なメタデータ・デコーダと、メタデータ・デコーダから中間メタデータを受け取るとともに、ビデオ・デコーダから中間画像データを受け取って、中間メタデータに基づき中間画像データに対して画像処理を実行する色管理モジュールと、色管理モジュールから画像データを受け取って表示するターゲット・ディスプレイと、を備える。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
本システムの他の特徴ならびに効果は、本出願で提示する図面と関連させて読まれる以下の詳細な説明において提示している。
例示的な実施形態を図面の参照図に示している。本明細書で開示する実施形態および図面は、限定するものではなく、例示とみなされるべきものである。
例示的な実施形態を図面の参照図に示している。本明細書で開示する実施形態および図面は、限定するものではなく、例示とみなされるべきものである。
【0009】
以下の説明を通して、より完全な理解を当業者に与えるため、具体的詳細について記載する。ただし、開示を不必要に不明瞭にすることがないよう、周知の要素については、詳細に提示または記載していない場合がある。よって、説明および図面は、限定的意味ではなく例示的意味のものとみなされるべきである。
【0010】
［概要］
ビデオ品質の一側面は、画像またはビデオの制作者が意図したものと同じかまたは略同じ忠実度で、ターゲット・ディスプレイ上に画像またはビデオをレンダリングすることに関する。様々に能力が異なるディスプレイ上で、ビデオコンテンツの本来の見た目を維持しようと試みる色管理（ＣＭ：Ｃｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ）方式を有することが望ましい。この課題を達成するためには、そのようなＣＭアルゴリズムは、ビデオがファイナライズされたポストプロダクション環境において、そのビデオが鑑賞者にどのように見えていたのかを予測できることが望ましい。
ビデオ品質の一側面は、画像またはビデオの制作者が意図したものと同じかまたは略同じ忠実度で、ターゲット・ディスプレイ上に画像またはビデオをレンダリングすることに関する。様々に能力が異なるディスプレイ上で、ビデオコンテンツの本来の見た目を維持しようと試みる色管理（ＣＭ：Ｃｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ）方式を有することが望ましい。この課題を達成するためには、そのようなＣＭアルゴリズムは、ビデオがファイナライズされたポストプロダクション環境において、そのビデオが鑑賞者にどのように見えていたのかを予測できることが望ましい。
【0011】
本出願ならびにシステムに深く関わる課題について説明するため、ビデオ信号の生成から配信し、さらにそのビデオ信号の処理へと進む従来のビデオ・パイプライン１００の一実施形態を、図１Ａ、１Ｂ、１Ｃに示している。
【0012】
ビデオ信号の生成部１０２は、例えば、入力ビデオ信号の輝度、コントラスト、カラーレンダリングといった様々な画像特性について信号をグレーディングすることができるカラーグレーダー（color grader）１０６によって、ビデオ信号をカラーグレーディングすること（１０４）を伴う場合がある。カラーグレーダー１０６は、信号をグレーディングして画像／ビデオのマッピング１０８を生成することができ、そのようなグレーディングは、例えば、ガンマ応答曲線１１２を持ち得るリファレンス・ディスプレイ装置１１０に対してなされる。
【0013】
信号がグレーディングされたら、そのビデオ信号は、配信１１４によって送出することができ、この場合の配信は、適切には広範のものであると考えられる。例えば、配信は、インターネット、ＤＶＤ、映画館での上映などによるものとすることができる。本例では、配信は、最大輝度１００ニット（maximum luminance of 100 nits）でガンマ応答曲線１２４を持つターゲット・ディスプレイ１２０に信号を供給するものとして、図１Ａに示している。リファレンス・ディスプレイ１１０は、ターゲット・ディスプレイと略同じ最大輝度および略同じ応答曲線を持つと仮定すると、その場合、ビデオ信号に適用されるマッピングは、１：１のマッピング１２２のような単純なものとすることができ、例えば、色管理１１８用のＲｅｃ７０９規格に準拠して作成することができる。（例えば、ターゲット・ディスプレイにおける周辺光条件のような）他のすべての因子を同じに維持すると、その場合にリファレンス・ディスプレイで見られるものが、実質的に、ターゲット・ディスプレイで見ることになるものである。
【0014】
この状況は、例えば、図１Ｂに示すように変更されることがあり、この場合、ターゲット・ディスプレイ１３０は、例えば最大輝度（リファレンス・ディスプレイでは１００ニットであるのに対して、５００ニットである）など、いくつかの点でリファレンス・ディスプレイ１１０と異なる。この場合、マッピング１３２は、ターゲット・ディスプレイ上でレンダリングするための１：５マッピングとなり得る。このような場合、マッピングは、Ｒｅｃ７０９・ＣＭブロックによる線形伸縮である。リファレンス・ディスプレイの表示からターゲット・ディスプレイの表示へ生じ得る歪み（distortion）は、鑑賞者には、個々の識別レベルによって不快であることも不快でないこともある。例えば、暗色および中間色調は、伸張されても許容され得る。また、ＭＰＥＧブロッキング・アーチファクトが、より顕著になることがある。
【0015】
図１Ｃは、さらに極端な例を示している。本例では、ターゲット・ディスプレイ１４０は、リファレンス・ディスプレイとは、より顕著な違いがあり得る。例えば、リファレンス・ディスプレイの１００ニットに対して、ターゲット・ディスプレイ１４０の最大輝度は、１０００ニットである。もし同じ線形伸縮マッピング１４２が、ターゲット・ディスプレイに供給されたビデオ信号に適用されるとすると、遥かに顕著かつ不快な歪みが鑑賞者に認められることがある。例えば、ビデオコンテンツは、著しく高い輝度レベル（１：１０比）で表示されることがある。暗色および中間色調は、元の取り込みのカメラノイズが目立つところまで伸張されることがあり、また、画像の暗色領域においてバンディング（banding）がより顕著となる。さらに、ＭＰＥＧブロッキング・アーチファクトがより顕著になることがある。
【0016】
不快なアーチファクトが鑑賞者にどのように見え得るかについての考えられるすべての例を徹底的に検討するのではなく、さらにいくつかについて考察することが有益であり得る。例えば、リファレンス・ディスプレイの最大輝度（例えば、６００ニット）がターゲット・ディスプレイ（例えば、１００ニット）よりも高いと仮定する。この場合、マッピングは、やはり６：１の線形伸縮であり、これによって、コンテンツは全体がより低輝度レベルで表示されることがあって、画像は暗く見えて、画像の暗色細部は目立つつぶれ（noticeable crush）を含み得る。
【0017】
さらに別の例において、リファレンス・ディスプレイの最大輝度（例えば、６００ニット）がターゲット・ディスプレイ（例えば、１０００ニット）とは異なると仮定する。線形伸縮を適用すると、比率差がほんの僅か（すなわち、１：２に近い）であっても、最大輝度の違いは大きく、不快である可能性がある。輝度の違いによって、画像は、あまりにも明るくなり過ぎることがあり、見ることが苦痛となる可能性がある。中間色調は、不自然に伸張されることがあり、色あせしたように見える可能性がある。また、カメラノイズと圧縮ノイズの両方が、顕著かつ不快となり得る。さらに別の例において、リファレンス・ディスプレイはＰ３と同等の色域を有し、ターゲット・ディスプレイはＲｅｃ７０９よりも小さい色域を有すると仮定する。コンテンツは、リファレンス・ディスプレイでカラーグレーディングされたものであるが、レンダリングされたコンテンツは、ターゲット・ディスプレイと同等の色域を有すると仮定する。この場合、リファレンス・ディスプレイの色域からターゲット色域へのコンテンツのマッピングによって、不必要にコンテンツを圧縮し、見た目の彩度を低下させる可能性がある。
【0018】
ターゲット・ディスプレイ上での画像レンダリングの何らかのインテリジェントな（または少なくともより正確な）モデルなくしては、若干の歪みまたは不快なアーチファクトが画像／ビデオの鑑賞者に見えることになる可能性が高い。実際に、鑑賞者が経験するものは、画像／ビデオの制作者が意図したものではない可能性が高い。本考察は輝度に焦点を当てているが、同様の懸念が色にも当てはまることがわかる。実際に、ソース・ディスプレイの色空間とターゲット・ディスプレイの色空間との間に違いがある場合に、その違いが適切に考慮されないと、色歪みも同様に目立つアーチファクトとなる。同じ考え方が、ソース・ディスプレイとターゲット・ディスプレイとの周囲環境の違いにも当てはまる。
【0019】
［メタデータの使用］
これらの例が示すように、本来の意図への忠実度が可能な限り高いビデオを作成するために、リファレンス・ディスプレイ、ターゲット・ディスプレイ、ソースコンテンツの特性および能力について把握していることが望ましい。ソース画像データの様々な側面を記述し、その情報を伝達する他のデータであって、そのような忠実なレンダリングに有用な「メタデータ」と呼ばれるものがある。
これらの例が示すように、本来の意図への忠実度が可能な限り高いビデオを作成するために、リファレンス・ディスプレイ、ターゲット・ディスプレイ、ソースコンテンツの特性および能力について把握していることが望ましい。ソース画像データの様々な側面を記述し、その情報を伝達する他のデータであって、そのような忠実なレンダリングに有用な「メタデータ」と呼ばれるものがある。
【0020】
トーンマッピングおよび色域マッピング（tone and gamut mappers）は、通常、ある特定のディスプレイ用に処理される画像の約８０～９５％については適切に機能するものの、そのような汎用ソリューションを画像の処理に用いることには問題がある。通常、そのような方法では、画面に表示される画像が、ディレクタまたは最初の制作者の意図と一致することは保証されない。また、いくつかの異なるトーンマッピングまたは色域マッピングが、様々に異なるタイプの画像でより良く機能したり、または画像の雰囲気をより良く維持したりすることがあることも指摘されている。さらに、様々なトーンマッピングおよび色域マッピングによって、細部のクリッピングおよび欠損、または色もしくは色相のずれが生じ得ることも注目される。
【0021】
カラーグレーディング済み画像シーケンスをトーンマッピングするときには、コンテンツの最小黒レベルおよび最大白レベルといったカラーグレーディング・パラメータが、カラーグレーディング済みコンテンツの特定のディスプレイへのトーンマッピングを進めるのに望ましいパラメータとなり得る。カラーグレーダーによって、既にコンテンツは、（画像ごとに、さらには時間ベースで）その好みの見た目にされている。それを別のディスプレイ用に変換するときには、画像シーケンスの知覚される鑑賞体験を維持することが望ましい場合がある。認識されるべきことは、メタデータのレベルを増やすことによって、そのような見た目の保護を向上させることが可能となる場合があるということである。
【0022】
例えば、日の出のシーンが撮影されて、専門家により、１０００ニットのリファレンス・ディスプレイでカラーグレーディングされたと仮定する。本例では、２００ニットのディスプレイでの表示用にコンテンツがマッピングされる。太陽が昇る前の画像は、リファレンス・ディスプレイの全範囲（例えば、最大２００ニット）を使用していないことがある。太陽が昇るとすぐに、画像シーケンスは、１０００ニットの範囲全体を使用することになり、これがコンテンツの最高限度である。メタデータがないと、多くのトーンマッピングは、コンテンツをマッピングする方法のガイドラインとして、最大値（例えば輝度など）を用いる。この場合、日の出前の画像に適用されるトーンカーブ（１：１マッピング）と、日の出後の画像に適用されるトーンカーブ（５倍階調圧縮）とは異なることがある。結果としてターゲット・ディスプレイに表示される画像は、日の出の前と後で同じピーク輝度を持ち得るものであり、これは創造意図の歪曲（distortion of the creative intent）である。作者が意図した画像は、リファレンス・ディスプレイで作成されたように、日の出前にはより暗く、日の出の最中にはより明るいものであった。このようなシーンでは、シーンのダイナミックレンジを完全に記述するメタデータを定義することができ、そのメタデータの使用によって、芸術的効果が維持されることが確実となり得る。また、それを、シーンからシーンへの輝度の時間的な問題を最小限に抑えるために用いることもできる。
【0023】
さらに別の例として、上記と逆の場合を考える。シーン１は３５０ニット用にグレーディングされ、そのシーン１は屋外の自然光で撮影されると仮定する。もしシーン２が暗い部屋で撮影されて、同じ範囲で表示されると、シーン２は暗すぎるように見えることになる。この場合、メタデータを使用することで、適切なトーンカーブを定義し、シーン２が適切に見えることを確実とすることができる。さらに別の例では、リファレンス・ディスプレイはＰ３と同等の色域を有し、ターゲット・ディスプレイはＲｅｃ７０９よりも小さい色域を有すると仮定する。コンテンツは、リファレンス・ディスプレイでカラーグレーディングされたものであるが、レンダリングされたコンテンツは、ターゲット・ディスプレイと同等の色域を有すると仮定する。コンテンツの色域およびソース・ディスプレイの色域を定義するメタデータを使用することによって、マッピングにより、インテリジェントな決定を行い、コンテンツの色域を１：１でマッピングすることを可能とすることができる。これによって、コンテンツの彩度は損なわれないままであることが保証され得る。
【0024】
本システムの一部の実施形態では、トーンと色域を、一連の画像／ビデオの別個のエンティティまたは条件として扱う必要がない。「記憶色」は、画像において、鑑賞者が当初の意図を知らないことがあるとしても、不正確に調整されれば、間違っているように見える色である。肌色、空、草は、記憶色の良い例であり、これらの色相は、トーンマッピングの際に、間違って見えるように変更される可能性がある。一実施形態において、色域マッピングは、画像において保護された色についての知識を（メタデータとして）有しており、これによって、その色相がトーンマッピング・プロセスにおいて維持されることが保証される。このメタデータの使用によって、画像において保護された色を、規定およびハイライトすることができ、これによって、記憶色の正確な処理が確保される。局所的なトーンマッピングおよび色域マッピングのパラメータを定義することが可能であることは、メタデータが、必ずしも単にリファレンス・ディスプレイおよび／またはターゲット・ディスプレイのパラメータから生成されるものではない例である。
【0025】
［ロバストな色管理の一実施形態］
本出願のいくつかの実施形態において、ロバストな色管理方式を提供するためのシステムおよび方法について開示し、これにより、メタデータのいくつかのソースを採用することで、コンテンツ制作者の本来の意図に一致する、より高い画像／ビデオ忠実度を提供する。本明細書においてより詳細に説明するように、一実施形態において、いくらかのメタデータの利用可能性に応じて、様々なメタデータのソースを処理に加えることができる。
本出願のいくつかの実施形態において、ロバストな色管理方式を提供するためのシステムおよび方法について開示し、これにより、メタデータのいくつかのソースを採用することで、コンテンツ制作者の本来の意図に一致する、より高い画像／ビデオ忠実度を提供する。本明細書においてより詳細に説明するように、一実施形態において、いくらかのメタデータの利用可能性に応じて、様々なメタデータのソースを処理に加えることができる。
【0026】
図２Ａは、単なる一例として、メタデータを用いた画像／ビデオ・パイプライン２００のハイレベル・ブロック図を示している。ブロック２０２で、画像の生成およびポストプロダクションを行うことができる。ビデオソース２０８は、ビデオ・エンコーダ２１０に入力される。ビデオソースが取り込まれるのと同時に、メタデータ２０４が、メタデータ・エンコーダ２０６に供給される。メタデータ２０４の例については既に説明したが、ソースおよび／またはリファレンス・ディスプレイの色域境界および他のパラメータ、リファレンス・ディスプレイの環境、および他の符号化パラメータなどの項目を含むことができる。一実施形態において、メタデータは、メタデータのサブセットとしてビデオ信号を伴っており、そのときにレンダリングされる予定のビデオ信号と時間的および空間的に共存配置される。メタデータ・エンコーダ２０６とビデオ・エンコーダ２１０は、併せてソース画像・エンコーダと考えることができる。
【0027】
その後、ビデオ信号およびメタデータは、例えば、多重方式、シリアル方式、パラレル方式、または他のいずれかの周知の方式など、任意の適切な方法による配信２１２によって、配布される。認識されるべきことは、配信２１２は、本出願の目的では広範であることが想定されなければならないということである。適切な配布方式として、インターネット、ＤＶＤ、ケーブル、衛星、無線、有線などを含むことができる。
【0028】
このようにして配信されたビデオ信号およびメタデータは、ターゲット・ディスプレイ環境２２０に供給される。メタデータ・デコーダ２２２とビデオ・デコーダ２２４は、それぞれ、各々のデータストリームを受け取り、数ある因子の中でも特にターゲット・ディスプレイの特性に適した復号化を提供する。この時点でのメタデータは、好ましくは、サードパーティの色管理（ＣＭ）ブロック２２０および／または本出願のＣＭモジュール２２８の実施形態の１つのどちらかに送ることができる。ビデオおよびメタデータがＣＭブロック２２８によって処理される場合には、ＣＭパラメータ・ジェネレータ２３２が、メタデータ・デコーダ２２２からのメタデータを、メタデータ予測ブロック２３０からのメタデータと共に、入力として取得することができる。
【0029】
メタデータ予測ブロック２３０は、前の画像またはビデオシーンの知識に基づいて、より高忠実度のレンダリングの何らかの予測を行うことができる。メタデータ予測ブロックは、メタデータ・パラメータを推定するために、入力ビデオストリームから統計を収集する。メタデータ予測ブロック２３０の可能な１つの実施形態を図２Ｂに示している。この実施形態では、フレームごとに、画像輝度の対数のヒストグラム２６２を計算することができる。ヒストグラムに先行してオプションのローパス・フィルタ２６０を配置することができ、これによって、（ａ）ノイズに対するヒストグラムの感度を低減し、さらに／または（ｂ）人間視覚システムにおける自然のボケ（例えば、人間はディザ・パターンを単色パッチとして知覚する）を部分的に考慮する。それから、最小点２６６、最大点２７４を取得する。さらに、（５％と９５％のような）パーセンタイル設定に基づいて、トウ点（toe point）２６８とショルダ点（shoulder point）２７２を取得することができる。さらに、幾何平均２７０（対数平均）を算出して、中間点として用いることができる。これらの値は、例えば、これらがあまりにも素早く変化することがないように、時間的にフィルタリングすることができる。また、これらの値は、必要に応じて、シーンチェンジの際にリセットすることもできる。シーンチェンジは、黒フレームの挿入、またはヒストグラムにおける極めて急激な変化、または他のそのような手法によって検出することができる。明らかなように、シーンチェンジ検出器２６４は、図示のようにヒストグラムデータから、またはビデオデータから直接、シーンチェンジを検出することができる。
【0030】
さらに別の実施形態では、システムは、画像強度値（輝度）の平均を計算する場合がある。このとき、画像強度は、対数、べき関数、またはルックアップテーブル（ＬＵＴ）などの知覚重み付けによって、スケーリングすることができる。そして、システムは、画像ヒストグラムの予め決められたパーセンタイル値（例えば、１０％と９０％）から、ハイライト領域とシャドウ領域（例えば、図５におけるヘッドルームとフットルーム）を推定する場合がある。あるいは、システムは、ヒストグラムの傾きが、ある特定の閾値を超えるか、または下回るときによって、ハイライト領域とシャドウ領域を推定することもできる。数多くの変形例が可能であり、例えば、システムは、入力画像の最大値と最小値を計算することができ、または予め設定されたパーセンタイル値（例えば、１％と９９％）から計算することができる。
【0031】
他の実施形態では、それらの値を、固定の増加率および減少率などによって経時的に（例えば、フレームからフレームへ）安定化させることができる。急激な変化は、シーンチェンジを示している場合があるので、それらの値には、経時的安定化が適用されないことがある。例えば、変化が、ある特定の閾値未満である場合は、システムは、変化率を制限することがあり、そうでなければ、その新しい値で進める。あるいは、システムは、（レターボックスまたはゼロ値のような）特定の値がヒストグラムの形状に影響を及ぼすことを拒否することができる。
【0032】
さらに、ＣＭパラメータ・ジェネレータ２３２は、ディスプレイ・パラメータ、ディスプレイ周囲環境、および因子のユーザ選択など、他の（すなわち、必ずしもコンテンツの作成に基づくものではない）メタデータを、画像／ビデオデータの色管理に採用することができる。明らかなように、ＣＭパラメータ・ジェネレータ２３２は、（ＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）シリアルインタフェース、ＨＤＭＩ（Ｈｉｇｈ‐Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）などの）インタフェースによる、例えばＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）などの標準インタフェースによって、ディスプレイ・パラメータを利用できるようになる。また、ディスプレイ周囲環境データは、周辺光条件およびそのターゲット・ディスプレイからの反射を測定する周辺光センサ（図示せず）によって供給することができる。
【0033】
ＣＭパラメータ・ジェネレータ２３２は、いずれかの適切なメタデータを受け取ったら、ターゲット・ディスプレイ２３６での画像／ビデオデータの最終的なマッピングを扱うことができる下流のＣＭアルゴリズム２３４でパラメータを設定することができる。認識されるべきことは、ＣＭパラメータ・ジェネレータ２３２とＣＭアルゴリズム２３４との間に、図示のような機能の分岐は必要ないということである。実際に、一部の実施形態において、これらの機能は１つのブロックに結合することができる。
【0034】
明らかなように、図２Ａおよび２Ｂをなす種々のブロックは、同様に、本実施形態の観点からは任意選択的なものであり、また、これらの列挙したブロックを採用したり採用しなかったりすることで、数多くの他の実施形態を構成することが可能であり、それらは本出願の範囲内にある。また、ＣＭ処理は、画像パイプライン２００における様々に異なる点で実行することができ、必ずしも図２Ａに示すようであるとは限らない。例えば、ターゲット・ディスプレイのＣＭは、ターゲット・ディスプレイ自体の中に配置して、これに含めることができ、または、そのような処理をセットトップボックスにおいて実行することができる。あるいは、どのレベルのメタデータの処理が利用できるか、または適切と判断されるかによって、ターゲット・ディスプレイのＣＭを、配信において、またはポストプロダクションの時点で実行することができる。
【0035】
［様々なレベルのメタデータを用いたスケーラブル色管理］
本出願のいくつかの実施形態において、スケーラブル色管理方式を提供するためのシステムおよび方法について開示し、これにより、コンテンツ制作者の本来の意図への忠実度がさらに高い画像／ビデオを提供するため、いくつかのメタデータ・ソースを一連の様々なレベルのメタデータに配信することができる。本明細書においてより詳細に説明するように、一実施形態において、いくらかのメタデータの利用可能性に応じて、様々なレベルのメタデータを処理に加えることができる。
本出願のいくつかの実施形態において、スケーラブル色管理方式を提供するためのシステムおよび方法について開示し、これにより、コンテンツ制作者の本来の意図への忠実度がさらに高い画像／ビデオを提供するため、いくつかのメタデータ・ソースを一連の様々なレベルのメタデータに配信することができる。本明細書においてより詳細に説明するように、一実施形態において、いくらかのメタデータの利用可能性に応じて、様々なレベルのメタデータを処理に加えることができる。
【0036】
本システムの数多くの実施形態において、適切なメタデータ・アルゴリズムにより、例えば以下のような多くの情報を考慮することができる。
（１）符号化されたビデオコンテンツ
（２）符号化されたコンテンツを線形光（linear light）に変換するための方法
（３）ソースコンテンツの色域境界（輝度と色度の両方）
（４）ポストプロダクション環境に関する情報
線形光に変換するための方法は、コンテンツ制作者によって観測された実際の画像の見た目（輝度、色域など）を計算することができるので、望ましい場合がある。色域境界は、最外郭の色を予め指定するために役立ち、これにより、クリッピングなく、またはあまり多くのオーバーヘッドを残すことなく、そのような最外郭の色をターゲット・ディスプレイにマッピングすることができる。ポストプロダクション環境に関する情報は、ディスプレイでの見た目に影響を及ぼし得る外的因子がモデル化されるので望ましい。
（１）符号化されたビデオコンテンツ
（２）符号化されたコンテンツを線形光（linear light）に変換するための方法
（３）ソースコンテンツの色域境界（輝度と色度の両方）
（４）ポストプロダクション環境に関する情報
線形光に変換するための方法は、コンテンツ制作者によって観測された実際の画像の見た目（輝度、色域など）を計算することができるので、望ましい場合がある。色域境界は、最外郭の色を予め指定するために役立ち、これにより、クリッピングなく、またはあまり多くのオーバーヘッドを残すことなく、そのような最外郭の色をターゲット・ディスプレイにマッピングすることができる。ポストプロダクション環境に関する情報は、ディスプレイでの見た目に影響を及ぼし得る外的因子がモデル化されるので望ましい。
【0037】
現在のビデオ配信機構では、符号化されたビデオコンテンツのみがターゲット・ディスプレイに提供される。コンテンツは、Ｒｅｃ６０１／７０９および様々なＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）標準規格に準拠したリファレンス・ディスプレイを用いてリファレンス・スタジオ環境で制作されたものであると推測される。ターゲット・ディスプレイシステムは、一般的にＲｅｃ６０１／７０９に準拠しているものと想定され、また、ターゲット・ディスプレイ環境はほとんど無視される。ポストプロダクション・ディスプレイとターゲット・ディスプレイの両方がＲｅｃ６０１／７０９に準拠しているという基本的な前提があることによって、どちらのディスプレイも、ある程度の画像歪みを取り込むことなく、アップグレードされることはないかもしれない。実際には、Ｒｅｃ６０１とＲｅｃ７０９は、それらによる原色の選択が若干異なるので、何らかの歪みが既に導入されている可能性がある。
【0038】
より広く高度な範囲の能力を持つリファレンス・ディスプレイおよびターゲット・ディスプレイの使用を可能にするメタデータレベルのスケーラブルシステムの一実施形態について、本明細書で開示する。いくつかの異なるメタデータレベルによって、ＣＭアルゴリズムは、向上した正確さで、所与のターゲット・ディスプレイ用にソースコンテンツを調整することが可能となる。以下のセクションでは、提案するいくつかレベルのメタデータについて説明する。
【0039】
［レベル０］
レベル０のメタデータは、デフォルトケースであり、実質的にゼロ・メタデータを意味する。メタデータは、以下のことを含むいくつかの理由で、存在しない場合がある。
レベル０のメタデータは、デフォルトケースであり、実質的にゼロ・メタデータを意味する。メタデータは、以下のことを含むいくつかの理由で、存在しない場合がある。
【0040】
（１）コンテンツ制作者がメタデータを含めなかった（あるいは、ポストプロダクション・パイプラインにおけるある時点で、メタデータが失われた）。
（２）ディスプレイがコンテンツを切り替える（すなわち、チャンネルサーフィンまたはコマーシャルの時間）。
（２）ディスプレイがコンテンツを切り替える（すなわち、チャンネルサーフィンまたはコマーシャルの時間）。
【0041】
（３）データの破損または損失。
一実施形態において、ＣＭ処理では、ビデオ解析に基づいてメタデータを推定することによるか、またはデフォルト値を前提とすることによるか、いずれかによってレベル０（すなわち、メタデータがない場合）に対処することが望ましい場合がある。
一実施形態において、ＣＭ処理では、ビデオ解析に基づいてメタデータを推定することによるか、またはデフォルト値を前提とすることによるか、いずれかによってレベル０（すなわち、メタデータがない場合）に対処することが望ましい場合がある。
【0042】
そのような実施形態では、色管理アルゴリズムは、メタデータがない場合に、以下の少なくとも２つの異なる方法で動作することを可能にすることができる。
デフォルト値に切り替える。
デフォルト値に切り替える。
【0043】
この場合、ディスプレイは、ポストプロダクションのリファレンス・ディスプレイの特性が想定される現在の配信システムとほとんど同じように作動することになる。想定されるリファレンス・ディスプレイは、ビデオ符号化形式に応じて、異なるものとなる可能性がある。例えば、８ビットのＲＧＢデータの場合は、Ｒｅｃ６０１／７０９ディスプレイを想定することができる。（ＰｒｏＭｏｎｉｔｏｒなどの）６００ニット・モードの業務用モニタでカラーグレーディングされた場合は、より高いビット深度のＲＧＢデータまたはＬｏｇＹｕｖ符号化データに対して、Ｐ３またはＲｅｃ７０９の色域を想定することができる。これは、より高いダイナミックレンジのコンテンツ用の標準規格または事実上の標準規格が１つのみである場合に、うまく機能し得る。一方、より高いダイナミックレンジのコンテンツがカスタム条件下で作成される場合は、その結果は大きく改善されないことがあり、良くない結果となることがある。
【0044】
パラメータ値を適応的に計算する。
この場合、ＣＭアルゴリズムは、いくつかのデフォルトの前提によって開始し、それらの前提を、ソースコンテンツの解析によって得られる情報に基づいて修正することができる。通常、これは、ビデオフレームのヒストグラムを解析することを伴うことがあり、これによって、場合によってはＣＭアルゴリズムのパラメータ値を計算することにより、入力ソースの輝度を調整する最善の方法が決定される。その場合、それぞれのシーンまたはフレームが同じ輝度レベルにバランスされた「自動露出」タイプの見た目の画像が作り出され得るリスクの可能性がある。また、フォーマットによっては、他の何らかの課題が提示される場合があり、例えば、ソースコンテンツがＲＧＢ形式である場合、その色域を決定するための自動化された方法は、現在のところ存在しない。
この場合、ＣＭアルゴリズムは、いくつかのデフォルトの前提によって開始し、それらの前提を、ソースコンテンツの解析によって得られる情報に基づいて修正することができる。通常、これは、ビデオフレームのヒストグラムを解析することを伴うことがあり、これによって、場合によってはＣＭアルゴリズムのパラメータ値を計算することにより、入力ソースの輝度を調整する最善の方法が決定される。その場合、それぞれのシーンまたはフレームが同じ輝度レベルにバランスされた「自動露出」タイプの見た目の画像が作り出され得るリスクの可能性がある。また、フォーマットによっては、他の何らかの課題が提示される場合があり、例えば、ソースコンテンツがＲＧＢ形式である場合、その色域を決定するための自動化された方法は、現在のところ存在しない。
【0045】
他の実施形態では、この２つのアプローチを組み合わせて実施することが可能である。例えば、色域および（ガンマのような）符号化パラメータは、標準デフォルト値を前提とすることができ、ヒストグラムを用いて輝度レベルを調整することができる。
【0046】
［レベル１］
本実施形態では、ソースコンテンツがどのように作成およびパッケージ化されたのかについて記述する情報を、レベル１のメタデータによって提供する。このデータによって、ビデオコンテンツが実際にコンテンツ制作者にどのように見えていたのかをＣＭ処理により予測することを可能にすることができる。レベル１のメタデータ・パラメータは、以下の３つの領域に分類することができる。
本実施形態では、ソースコンテンツがどのように作成およびパッケージ化されたのかについて記述する情報を、レベル１のメタデータによって提供する。このデータによって、ビデオコンテンツが実際にコンテンツ制作者にどのように見えていたのかをＣＭ処理により予測することを可能にすることができる。レベル１のメタデータ・パラメータは、以下の３つの領域に分類することができる。
【0047】
（１）ビデオ符号化パラメータ
（２）ソース・ディスプレイのパラメータ
（３）ソースコンテンツの色域パラメータ
（４）環境パラメータ
ビデオ符号化パラメータ
多くの色管理アルゴリズムは、少なくとも部分的に線形光空間において機能するので、符号化方式に固有のものであるか、またはメタデータ自体として提供されるものであるか、いずれかである線形の（ただし、相対的な）（Ｘ，Ｙ，Ｚ）表現に、符号化ビデオを変換する方法を有することが望ましい場合がある。例えば、ＬｏｇＹｕｖ、ＯｐｅｎＥＸＲ、ＬｏｇＹｘｙ、またはＬｏｇＬｕｖ ＴＩＦＦなどの符号化方式は、線形光形式に変換するために必要な情報を本来含んでいる。しかしながら、多くのＲＧＢまたはＹＣｂＣｒ形式では、ガンマおよび原色などの追加情報が望まれることがある。一例として、ＹＣｂＣｒまたはＲＧＢ入力を処理するために、以下の情報を供給することができる。
（２）ソース・ディスプレイのパラメータ
（３）ソースコンテンツの色域パラメータ
（４）環境パラメータ
ビデオ符号化パラメータ
多くの色管理アルゴリズムは、少なくとも部分的に線形光空間において機能するので、符号化方式に固有のものであるか、またはメタデータ自体として提供されるものであるか、いずれかである線形の（ただし、相対的な）（Ｘ，Ｙ，Ｚ）表現に、符号化ビデオを変換する方法を有することが望ましい場合がある。例えば、ＬｏｇＹｕｖ、ＯｐｅｎＥＸＲ、ＬｏｇＹｘｙ、またはＬｏｇＬｕｖ ＴＩＦＦなどの符号化方式は、線形光形式に変換するために必要な情報を本来含んでいる。しかしながら、多くのＲＧＢまたはＹＣｂＣｒ形式では、ガンマおよび原色などの追加情報が望まれることがある。一例として、ＹＣｂＣｒまたはＲＧＢ入力を処理するために、以下の情報を供給することができる。
【0048】
（１）ソースコンテンツを符号化するために用いられる原色および白色点の座標。これを用いて、ＲＧＢからＸＹＺへの色空間変換行列、赤、緑、青、白のそれぞれの（ｘ，ｙ）座標を生成することができる。
【0049】
（２）最小および最大のコード値（例えば、「標準」または「全」範囲）。これを用いて、コード値を正規化入力値に変換することができる。
（３）全体的または各原色のチャネルごとの応答曲線（例えば、「ガンマ」）。これを用いて、インタフェースまたはリファレンス・ディスプレイにより適用された可能性のある非線形応答を取り消すことにより、強度値を線形化することができる。
（３）全体的または各原色のチャネルごとの応答曲線（例えば、「ガンマ」）。これを用いて、インタフェースまたはリファレンス・ディスプレイにより適用された可能性のある非線形応答を取り消すことにより、強度値を線形化することができる。
【0050】
ソース・ディスプレイの色域パラメータ
色管理アルゴリズムが、ソース・ディスプレイの色域を把握していると有用な場合がある。それらの値は、コンテンツのグレーディングに使用されたリファレンス・ディスプレイの能力に相当する。好ましくは完全に暗い環境で測定されるソース・ディスプレイの色域パラメータには、以下のものを含むことができる。
色管理アルゴリズムが、ソース・ディスプレイの色域を把握していると有用な場合がある。それらの値は、コンテンツのグレーディングに使用されたリファレンス・ディスプレイの能力に相当する。好ましくは完全に暗い環境で測定されるソース・ディスプレイの色域パラメータには、以下のものを含むことができる。
【0051】
（１）最大輝度と共に指定されるＣＩＥ・ｘｙ色度座標またはＸＹＺとして与えられる原色。
（２）ＣＩＥ ＸＹＺのような、白色および黒色の三刺激値。
（２）ＣＩＥ ＸＹＺのような、白色および黒色の三刺激値。
【0052】
ソースコンテンツの色域パラメータ
色管理アルゴリズムが、ソースコンテンツの作成に用いられた色域の境界を把握していると有用な場合がある。一般に、それらの値は、コンテンツのグレーディングに使用されたリファレンス・ディスプレイの能力に相当する。しかしながら、それらは、ソフトウェア設定によって異なることがあり、またはディスプレイの能力の一部のみが使用された場合に異なることがある。場合によっては、ソースコンテンツの色域は、符号化されたビデオデータの色域と一致していないことがある。例えば、ビデオデータは、可視スペクトル全体を網羅するＬｏｇＹｕｖ（または他の符号化）で符号化することができる。ソース色域パラメータには、以下のものを含むことができる。
色管理アルゴリズムが、ソースコンテンツの作成に用いられた色域の境界を把握していると有用な場合がある。一般に、それらの値は、コンテンツのグレーディングに使用されたリファレンス・ディスプレイの能力に相当する。しかしながら、それらは、ソフトウェア設定によって異なることがあり、またはディスプレイの能力の一部のみが使用された場合に異なることがある。場合によっては、ソースコンテンツの色域は、符号化されたビデオデータの色域と一致していないことがある。例えば、ビデオデータは、可視スペクトル全体を網羅するＬｏｇＹｕｖ（または他の符号化）で符号化することができる。ソース色域パラメータには、以下のものを含むことができる。
【0053】
（１）最大輝度と共に指定されるＣＩＥ・ｘｙ色度座標またはＸＹＺとして与えられる原色。
（２）ＣＩＥ ＸＹＺのような、白色および黒色の三刺激値。
（２）ＣＩＥ ＸＹＺのような、白色および黒色の三刺激値。
【0054】
環境パラメータ
ある特定の状況では、単にリファレンス・ディスプレイによる発光レベルを把握しているだけでは、ポストプロダクションにおいてソースコンテンツが鑑賞者にどのように「見えていた」のかを特定するには十分ではないことがある。また、周囲環境によって生じる光レベルに関する情報も有用となり得る。ディスプレイと環境の両方の光を合わせたものが、人の目に入る信号であり、「見た目」を作り出すものである。この見た目を、ビデオ・パイプラインを通して維持することが望ましい場合がある。好ましくは通常のカラーグレーディング環境で測定される環境パラメータには、以下のものを含むことができる。
ある特定の状況では、単にリファレンス・ディスプレイによる発光レベルを把握しているだけでは、ポストプロダクションにおいてソースコンテンツが鑑賞者にどのように「見えていた」のかを特定するには十分ではないことがある。また、周囲環境によって生じる光レベルに関する情報も有用となり得る。ディスプレイと環境の両方の光を合わせたものが、人の目に入る信号であり、「見た目」を作り出すものである。この見た目を、ビデオ・パイプラインを通して維持することが望ましい場合がある。好ましくは通常のカラーグレーディング環境で測定される環境パラメータには、以下のものを含むことができる。
【0055】
（１）絶対ＸＹＺ値として与えられるリファレンス・モニタの周辺色。この値を用いて、鑑賞者の自身の環境への順応レベルを推定することができる。
（２）通常のカラーグレーディング環境におけるリファレンス・モニタの黒レベルの絶対ＸＹＺ値。この値を用いて、周囲照明による黒レベルへの影響を特定することができる。
（２）通常のカラーグレーディング環境におけるリファレンス・モニタの黒レベルの絶対ＸＹＺ値。この値を用いて、周囲照明による黒レベルへの影響を特定することができる。
【0056】
（３）画面の前面の白色反射サンプル（紙など）の絶対ＸＹＺ値として与えられる周辺光の色温度。この値を用いて、鑑賞者の白色点への順応を推定することができる。
上述のように、レベル１のメタデータによって、ソースコンテンツの色域、符号化、環境のパラメータを提供することができる。これによって、ソースコンテンツが承認されたときにどのように見えていたのかを予測するためのＣＭソリューションが可能となり得る。しかしながら、ターゲット・ディスプレイに合わせて色および輝度を最適に調整する方法について、多くのガイダンスは提供されない。
上述のように、レベル１のメタデータによって、ソースコンテンツの色域、符号化、環境のパラメータを提供することができる。これによって、ソースコンテンツが承認されたときにどのように見えていたのかを予測するためのＣＭソリューションが可能となり得る。しかしながら、ターゲット・ディスプレイに合わせて色および輝度を最適に調整する方法について、多くのガイダンスは提供されない。
【0057】
一実施形態において、ＲＧＢ空間のビデオフレームにグローバルに単一のシグモイド曲線（sigmoidal curve）を適用することが、ソースとターゲットの異なるダイナミックレンジ間でマッピングする簡単かつ安定した方法である場合がある。さらに、単一のシグモイド曲線を用いて、各チャネル（Ｒ，Ｇ，Ｂ）を独立に修正することができる。また、このような曲線は、対数またはべき関数など、何らかの知覚空間においてシグモイドとすることができる。曲線の例３００を図３に示している。なお、明らかなように、（図３、４、６に示すような）線形マッピング、またはガンマのような他のマッピングなど、他のマッピング曲線も好適である。
【0058】
この場合、曲線上の最小点と最大点は、レベル１のメタデータおよびターゲット・ディスプレイについての情報から分かる。曲線の厳密な形状は、静的とすることができ、また、入出力の範囲に基づき平均して良好に機能することが判明したものとすることができる。また、ソースコンテンツに基づいて適応的に修正することもできる。
【0059】
［レベル２］
レベル２のメタデータは、ソースビデオコンテンツの特性に関する追加情報を提供するものである。一実施形態において、レベル２のメタデータでは、ソースコンテンツの輝度範囲を特定の輝度領域に分割することができる。より具体的には、一実施形態において、ソースコンテンツの輝度範囲は５つの領域に分割されることがあり、この場合、それらの領域は、輝度範囲に沿ったいくつかの点によって定義することができる。そのような範囲および領域は、１つの画像で、一連の画像で、１つのビデオシーンで、または複数のビデオシーンで、定義することができる。
レベル２のメタデータは、ソースビデオコンテンツの特性に関する追加情報を提供するものである。一実施形態において、レベル２のメタデータでは、ソースコンテンツの輝度範囲を特定の輝度領域に分割することができる。より具体的には、一実施形態において、ソースコンテンツの輝度範囲は５つの領域に分割されることがあり、この場合、それらの領域は、輝度範囲に沿ったいくつかの点によって定義することができる。そのような範囲および領域は、１つの画像で、一連の画像で、１つのビデオシーンで、または複数のビデオシーンで、定義することができる。
【0060】
説明のため、レベル２のメタデータを用いた一実施形態を図４および５に示している。図４は、ターゲット・ディスプレイにおける入力輝度の出力輝度へのマッピング４００である。この場合、該曲線に沿って一連の区切り点を含む略シグモイドの曲線として、マッピング４００を示している。それらの点は、画像処理関連値に対応させることができ、該図では、ｍｉｎｉｎ、ｆｏｏｔｉｎ、ｍｉｄｉｎ、ｈｅａｄｉｎ、ｍａｘｉｎと表示している。
【0061】
本実施形態では、ｍｉｎｉｎとｍａｘｉｎは、シーンの最小輝度値と最大輝度値に対応させることができる。第３の点、ｍｉｎｉｎは、知覚的「平均」輝度値または「中央階調」に対応する中央値とすることができる。最後の２つの点、ｆｏｏｔｉｎとｈｅａｄｉｎは、フットルーム値（footroom value）とヘッドルーム値（headroom value）とすることができる。フットルーム値とヘッドルーム値の間の領域によって、そのシーンのダイナミックレンジの重要な部分を規定することができる。これらの点の間のコンテンツができる限り保護されるようにすることが望ましい場合がある。フットルームよりも下のコンテンツは、必要に応じて圧縮することができる。ヘッドルームより上のコンテンツは、ハイライト（highlight）に相当しており、必要に応じてクリッピングすることができる。認識されるべきことは、これらの点が曲線自体を規定する傾向があり、従って、他の実施形態がこれらの点に最も適合する曲線となることもある。また、このような曲線は、線形、ガンマ、シグモイド、または他の適切かつ／もしくは望ましい形状を想定することができる。
【0062】
さらに本実施形態について、図５は、ヒストグラム・プロット５００上に表示した場合の最小、フットルーム、中央、ヘッドルーム、最大の点を示している。このようなヒストグラムは、コンテンツの忠実度の維持を助けるために要求されるヒストグラム解析の粒度がどの程度であるのかに応じて、画像ごと、ビデオシーンごと、または、さらに一連のビデオシーンごとに、作成することができる。一実施形態において、これら５つの点は、ビデオデータと同じ符号化表現のコード値で指定することができる。留意すべきことは、通常、ｍｉｎとｍａｘは、ビデオ信号の範囲と同じ値に対応し得るが、常にそうであるとは限らないということである。
【0063】
そのようなヒストグラム・プロットの粒度および頻度に応じて、ヒストグラム解析を用いることで、図４の輝度マップに沿った点を動的に再定義することができ、これにより、曲線を時間とともに変化させることができる。また、これを、ターゲット・ディスプレイ上で鑑賞者に表示されるコンテンツの忠実度を向上させるために役立てることもできる。例えば、一実施形態において、ヒストグラムを定期的に伝えることで、デコーダは、単にｍｉｎ、ｍａｘなどだけではなく、より多くの情報を潜在的に得ることが可能となる。また、エンコーダは、大きな変化があったときにのみ新しいヒストグラムを含めることもできる。これによって、デコーダは、それをフレームごとにオンザフライで（on the fly）計算する手間を省くことができる。さらに別の実施形態では、ヒストグラムは、欠落したメタデータの代わりとするためか、または存在するメタデータを補足するための、メタデータを推定するように用いられる。
【0064】
［レベル３］
一実施形態において、レベル３のメタデータとして、ソースコンテンツの第２のリファレンス・グレーディングについて、レベル１およびレベル２のメタデータのパラメータを採用することができる。例えば、ソースコンテンツの一次グレーディングは、６００ニットの輝度でＰ３色域を用いて、リファレンス・モニタ（例えば、ＰｒｏＭｏｎｉｔｏｒ）上で実行されたものであり得る。レベル３のメタデータによって、例えばＣＲＴリファレンス上で実行され得る二次グレーディングに関する情報を、同様に提供することができる。この場合、その追加情報は、Ｒｅｃ６０１またはＲｅｃ７０９の原色と、１２０ニットのような、より低輝度を示すことになる。対応するｍｉｎ、ｆｏｏｔ、ｍｉｄ、ｈｅａｄ、ｍａｘレベルは、同じくＣＭアルゴリズムに供給される。
一実施形態において、レベル３のメタデータとして、ソースコンテンツの第２のリファレンス・グレーディングについて、レベル１およびレベル２のメタデータのパラメータを採用することができる。例えば、ソースコンテンツの一次グレーディングは、６００ニットの輝度でＰ３色域を用いて、リファレンス・モニタ（例えば、ＰｒｏＭｏｎｉｔｏｒ）上で実行されたものであり得る。レベル３のメタデータによって、例えばＣＲＴリファレンス上で実行され得る二次グレーディングに関する情報を、同様に提供することができる。この場合、その追加情報は、Ｒｅｃ６０１またはＲｅｃ７０９の原色と、１２０ニットのような、より低輝度を示すことになる。対応するｍｉｎ、ｆｏｏｔ、ｍｉｄ、ｈｅａｄ、ｍａｘレベルは、同じくＣＭアルゴリズムに供給される。
【0065】
レベル３のメタデータによって、例えば、色域、環境、原色などの追加データと、ソースコンテンツの第２のリファレンス・グレーディングの輝度レベル情報とを加えることができる。そして、この追加情報を併用することで、一次入力をリファレンス・ディスプレイの範囲へマッピングする（図６に示すような）シグモイド曲線６００を定義することができる。図６は、適切なマッピング曲線を形成するために、入力とリファレンス・ディスプレイ（出力）レベルとをどのように組み合わせることができるのかについて、例を示している。
【0066】
ターゲット・ディスプレイの能力が、二次リファレンス・ディスプレイと極めて一致している場合には、この曲線を、一次的なソースコンテンツをマッピングするように直接用いることができる。一方、ターゲット・ディスプレイの能力が、一次と二次のリファレンス・ディスプレイの能力の中間である場合には、二次ディスプレイ用のマッピング曲線を下限として用いることができる。そして、実際のターゲット・ディスプレイに使用される曲線は、引き下げ無しのもの（no reduction）（例えば、図７に示すような線形マッピング７００）と、リファレンス・レベルを用いて生成される全引き下げ曲線（full range reduction curve）と、の間の補間とすることができる。
【0067】
［レベル４］
レベル４のメタデータは、第２のリファレンス・グレーディング用のメタデータが実際のターゲット・ディスプレイに合わせて調整されていること以外は、レベル３のメタデータと同じである。
レベル４のメタデータは、第２のリファレンス・グレーディング用のメタデータが実際のターゲット・ディスプレイに合わせて調整されていること以外は、レベル３のメタデータと同じである。
【0068】
実際のターゲット・ディスプレイがその特性をコンテンツプロバイダに送信し、利用できる最適な曲線と共にコンテンツが配信されるオーバーザトップ（ＯＴＴ：Ｏｖｅｒ‐Ｔｈｅ‐Ｔｏｐ）シナリオ（すなわち、ネットフリックス（Ｎｅｔｆｌｉｘ）、モバイルストリーミング、または他のビデオ・オン・デマンド（ＶＯＤ）サービス）において、レベル４のメタデータを実施することもできる。そのような一実施形態では、ターゲット・ディスプレイは、ビデオストリーミングサービス、ＶＯＤサービスなどと通信することができ、ターゲット・ディスプレイは、そのＥＤＩＤデータまたは利用可能な他の適切なメタデータといった情報を、データストリーミングサービスに供給することができる。そのような通信路を、当技術分野でネットフリックスなどのようなサービスで知られているように、ビデオ・エンコーダおよび／またはメタデータ・エンコーダ（それぞれ、２１０および２０６）のいずれかへの点線パス２４０として図２Ａに示している。一般的には、ネットフリックスおよび他のそのようなＶＯＤサービスは、ターゲット機器へのデータ量およびデータスループット速度を監視しており、メタデータは必ずしも色管理のためのものとは限らない。しかし、本実施形態の目的では、ターゲット・ディスプレイに配信される画像データの色、トーン、または他の特性を変更するために、メタデータが、ターゲットデータから、配信２１２または他の方法によって（リアルタイムで、または事前に）生成部（creation）またはポストプロダクション部（post-production）に送信されれば、十分である。
【0069】
レベル４のメタデータによって提供されるリファレンス輝度レベルは、そのターゲット・ディスプレイに専用のものである。この場合、シグモイド曲線は、図６に示すように構築することができ、補間または調整することなく直接使用することができる。
【0070】
［レベル５］
レベル５のメタデータは、以下のような顕著な特徴を識別することにより、レベル３またはレベル４を拡張している。
レベル５のメタデータは、以下のような顕著な特徴を識別することにより、レベル３またはレベル４を拡張している。
【0071】
（１）保護された色：肌色、空の色、草の色など、処理すべきではない共通の記憶色として識別された画像内の色。そのような保護された色を持つ画像の領域は、変更無しにターゲット・ディスプレイに供給される画像データを有することができる。
【0072】
（２）顕著なハイライト：光源、最大発光および反射ハイライトを示す。
（３）色域外：意図的にソースコンテンツの色域外にカラーグレーディングされた画像内の特徴部。
（３）色域外：意図的にソースコンテンツの色域外にカラーグレーディングされた画像内の特徴部。
【0073】
一部の実施形態において、このように示されるオブジェクトは、ターゲット・ディスプレイがより高輝度に対応できる場合には、ディスプレイの最大値に人為的にマッピングすることができる。ターゲット・ディスプレイがより低輝度に対応している場合には、それらのオブジェクトは、細部を補うことなくディスプレイの最大値にクリッピングすることができる。この場合、それらのオブジェクトは無視され、且つ定義されたマッピング曲線を残りのコンテンツに適用して、より多くの細部が維持される。
【0074】
認識されるべきことは、例えば、ＶＤＲをより低ダイナミックレンジのディスプレイまで落とすマッピングを試みる場合など、一部の実施形態では、光源とハイライトを把握していると、それほど大きな影響を及ぼすことなくそれらをクリッピングすることが可能かもしれないので、有用であり得るということである。一例として、逆光で（つまり、絶対に光源ではない）明るく照らされた顔は、クリッピングすることが望ましい特徴部ではない。あるいは、そのような特徴部は、徐々に圧縮されてもよい（compressed more gradually）。さらに別の実施形態では、ターゲット・ディスプレイがより広い色域に対応できる場合に、それらのコンテンツ・オブジェクトを伸張して、ディスプレイの全能力まで拡張することができる。また、別の実施形態では、システムは、高彩度色を保証するように定義されたマッピング曲線を無視する場合がある。
【0075】
認識されるべきことは、本出願のいくつかの実施形態において、それらのレベル自体は、メタデータ処理の厳密な階層をなすものではないということである。例えば、レベル３またはレベル４のデータのどちらかに、レベル５を適用することができる。また、いくつかの低い番号のレベルは存在しなくてもよく、また、システムは、さらに高い番号のレベルが存在する場合に、それらのレベルを処理することができる。
【0076】
［複数のメタデータレベルを用いたシステムの一実施形態］
上述のように、様々なメタデータレベルにより、ソースマテリアル（source material）に関する情報を増加させて提供し、これによって、ＣＭアルゴリズムは、ターゲット・ディスプレイ用の正確さが増したマッピングを提供することが可能となる。そのようなスケーラブルないくつかのレベルのメタデータを採用する一実施形態を、図８に示している。
上述のように、様々なメタデータレベルにより、ソースマテリアル（source material）に関する情報を増加させて提供し、これによって、ＣＭアルゴリズムは、ターゲット・ディスプレイ用の正確さが増したマッピングを提供することが可能となる。そのようなスケーラブルないくつかのレベルのメタデータを採用する一実施形態を、図８に示している。
【0077】
図示のシステム８００は、生成部（creation）８０２、コンテナ８０８、符号化／配信部８１４、復号化部８２２、処理部（consumption）８３４、の５つのブロックを通したビデオ／メタデータ・パイプラインの全体を示している。明らかなように、いくつかの異なる実現形態の数多くの変形が可能であり、そのうちの一部ではブロックの数がより多く、一部ではブロックの数がより少ない。本出願の範囲は、本明細書の実施形態の記載に限定されるべきではなく、実際に、本出願の範囲は、これらの様々な実現形態および実施形態を網羅する。
【0078】
生成部８０２では、画像／ビデオコンテンツ８０４を広く取得し、それを、カラーグレーディング・ツール８０６によって、前述のように処理する。処理されたビデオおよびメタデータは、適当なコンテナ（container）８１０の中に、例えば当技術分野で知られている後の配布のためのいずれかの適切な形式またはデータ構造で配置される。一例として、ビデオは、ＶＤＲカラーグレーディング済みビデオとして、メタデータは、ＶＤＲ・ＸＭＬ形式のメタデータとして、保存および供給することができる。このメタデータは、８１２に示すように、前述のいくつかのレベルに分けられている。コンテナブロックでは、どのレベルまでのメタデータが利用可能で、画像／ビデオデータに関連付けられているのかを符号化するデータを、フォーマット済みのメタデータに埋め込むことが可能である。認識されるべきことは、メタデータのレベルの全てが、画像／ビデオデータと関連付けられている必要はないということであり、どのメタデータおよびレベルが関連付けられている場合でも、下流の復号化およびレンダリングで、そのような利用可能なメタデータを確認して、適宜、処理することを可能とすることができる。
【0079】
符号化は、メタデータを取得し、それをアルゴリズムパラメータ決定ブロック８１６に供給することによって進めることができ、一方、ビデオは、配信８２０に先立ってビデオを処理するためのＣＭブロックを含むＡＶＣＶＤＲエンコーダ８１８に供給することができる。
【0080】
（広範であると考えられる例えば、インターネット、ＤＶＤ、ケーブル、衛星、無線、有線などによって）配信されたら、ビデオデータ／メタデータの復号化は、ＡＶＣＶＤＲデコーダ８２４に（または、ターゲット・ディスプレイがＶＤＲ対応でない場合は、任意選択的にレガシーデコーダ８２６に）進むことができる。ビデオデータとメタデータは、どちらも復号化によって（それぞれブロック８３０、８２８として、また、場合によって、ターゲット・ディスプレイがレガシーであればブロック８３２として）復元される。デコーダ８２４は、入力画像／ビデオデータを取得して、入力画像データを復元し、さらに／または、さらに処理およびレンダリングされる画像／ビデオデータストリームと、レンダリングされる画像／ビデオデータストリームにおける後のＣＭアルゴリズム処理のパラメータを計算するためのメタデータストリームとに分けることができる。メタデータストリームは、さらに、その画像／ビデオデータストリームに関連付けられたメタデータがあるかどうかの情報を含んでいる。関連付けられたメタデータがない場合は、システムは、上述のようにレベル０の処理を進めることができる。そうでない場合は、システムは、上述のように一連の異なるレベルのメタデータに従って、画像／ビデオデータストリームに関連付けられたすべてのメタデータによる更なる処理を進めることができる。
【0081】
明らかなように、レンダリングされる画像／ビデオデータに関連付けられたメタデータの有無については、リアルタイムで判断することができる。例えば、ビデオストリームのいくつかのセクションについては、（データ破損によるか、またはコンテンツ制作者の意向でメタデータがないことにより）それらのセクションに関連付けられたメタデータがなく、一方、他のセクションでは利用可能となるメタデータがある場合があり、場合によって一連の様々なレベルの多くのメタデータがビデオストリームの他のセクションと関連付けられている。これは、コンテンツ制作者側の意向とすることができるが、しかし、本出願の少なくとも１つの実施形態では、そのようなビデオストリームに関連付けられたメタデータの有無またはどのレベルであるかについての判断を、リアルタイムで、または実質的に動的に行うことが可能でなければならない。
【0082】
処理ブロックでは、アルゴリズムパラメータ決定ブロック８３６により、配信前に処理されたと考えられる以前のパラメータを復元するか、または、（図２Ａおよび／または２Ｂの実施形態の文脈で上述したように、例えば、ＥＤＩＤまたは最新ＶＤＲインタフェースなどの標準インタフェースからのもの、さらにはターゲット環境における鑑賞者またはセンサからの入力であると考えられる）ターゲット・ディスプレイおよび／もしくはターゲット環境からのメタデータに基づいて、パラメータを再計算することができる。パラメータが計算または復元されたら、それらを、本明細書に開示したいくつかの実施形態によるソースおよび中間画像／ビデオデータのターゲット・ディスプレイ８４４への最終的なマッピングのため、ＣＭシステム（８３８、８４０、および／または８４２）のうちの１つ以上に送ることができる。
【0083】
他の実施形態では、図８の実施ブロックは細かく分割される必要はない。例えば、概言すれば、アルゴリズムパラメータ決定と色管理アルゴリズム自体を含む処理は、図８に示すように分岐している必要は必ずしもなく、色管理モジュールを想定し、さらに／または色管理モジュールとして実施することができる。
【0084】
また、本明細書では、ビデオ／画像パイプラインで用いる一連の様々なレベルのメタデータについて記載したが、認識されるべきことは、実際には、システムは、メタデータのレベルに付された番号の順番通りに画像／ビデオデータを処理する必要はないということである。実際に、レンダリングの際に一部のレベルのメタデータは利用できるが、他のレベルは利用できない場合があり得る。例えば、第２のリファレンス・カラーグレーディングは、実行しても実行しなくてもよく、また、レベル３のメタデータは、レンダリングの際に有っても無くてもよい。本出願に従って構成されるシステムは、様々なレベルのメタデータの有無を考慮して、その時点で最善のメタデータ処理を続ける。
【0085】
以上、本発明の原理を示す添付の図面を併用して読まれる本発明の１つ以上の実施形態についての詳細な説明を提示した。認識されるべきことは、本発明は、かかる実施形態に関連させて記載されているが、本発明は、いずれの実施形態にも限定されないということである。本発明の範囲は請求項によってのみ限定され、本発明は、数多くの代替案、変形、および均等物を網羅する。本発明についての完全な理解を与えるため、様々な具体的詳細について本明細書で記載している。それらの詳細は、例示目的で提示されるものであり、本発明は、それら特定の詳細の一部またはすべてを省いても、請求項に基づき実施することができる。明確にする目的で、発明が不必要に不明瞭になることがないよう、本発明に関連する技術分野で知られている技術的事項については詳細に記載していない。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
