特許 6621898 オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6621898

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置

(51)【国際特許分類】

   H04N 21/431 20110101AFI20191209BHJP

   H04N 5/265 20060101ALI20191209BHJP

   G09G 5/00 20060101ALI20191209BHJP

   G09G 5/02 20060101ALI20191209BHJP

   G09G 5/10 20060101ALI20191209BHJP

   G09G 5/22 20060101ALI20191209BHJP

   G09G 5/36 20060101ALI20191209BHJP

   G09G 5/377 20060101ALI20191209BHJP

【ＦＩ】

   H04N21/431

   H04N5/265

   G09G5/00 530T

   G09G5/00 555D

   G09G5/02 B

   G09G5/10 B

   G09G5/22 630M

   G09G5/22 670C

   G09G5/36 520A

   G09G5/36 520L

   G09G5/36 520M

【請求項の数】13

【外国語出願】

【全頁数】25

(21)【出願番号】特願2018-200016(P2018-200016)

(22)【出願日】2018年10月24日

(62)【分割の表示】特願2017-36032(P2017-36032)の分割

【原出願日】2014年1月27日

(65)【公開番号】特開2019-33531(P2019-33531A)

(43)【公開日】2019年2月28日

【審査請求日】2018年10月24日

(31)【優先権主張番号】61/767,553

(32)【優先日】2013年2月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】クンケル，ティーモ

(72)【発明者】

【氏名】シュー，ニング

(72)【発明者】

【氏名】チェン，タオ

(72)【発明者】

【氏名】リー，ボングサン

(72)【発明者】

【氏名】ヒュルヤルカール，サミール エヌ

【審査官】 鈴木 順三

(56)【参考文献】

【文献】 特表２０１２−５２１１３３（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１７２４６０（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／００１９７２２（ＵＳ，Ａ１）

【文献】 特表２０１４−５２８１８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｈ０４Ｎ ５／２６２ − ５／２８

Ｇ０９Ｇ ５／００ − ５／４０

(57)【特許請求の範囲】

【請求項1】

第２の画像を複数の第１の画像の上にオーバーレイする方法であって、
前記方法は、
システムによって、前記第１の画像を受取るステップと、
前記システムによって、前記第２の画像を受取るステップであり、前記第１の画像は、ダイナミックレンジとサイズが前記第２の画像と異なる、ステップと、
前記システムによって、前記第１の画像に関する第１のメタデータを受取るステップであり、前記第１の画像の画像統計を受取ることを含む、ステップと、
前記システムによって、前記第２の画像に関する第２のメタデータを受取るステップと、
を含み、
前記システムによって、調整された第１の画像を生成するために前記第１の画像のダイナミックレンジをディスプレイに対してマップするステップと、
前記システムによって、調整された第２の画像を決定するために前記第２の画像のアピアランスマッピングを実行するステップであり、前記調整された第２の画像はダイナミックレンジが前記第２の画像と異なり、前記第１の画像の前記マップされた前記ダイナミックレンジに関するマッピング情報と前記第２の画像に関する第２のメタデータに従って、前記第２の画像のアピアランスマッピングが実行される、ステップと、
前記システムによって、前記調整された第２の画像を前記調整された第１の画像の少なくとも一つの一部分上にオーバーレイするステップと、
を含む、ことを特徴とする方法。

【請求項2】

調整された第２の画像を決定するために前記第２の画像のアピアランスマッピングを実行する前記ステップは、前記第１の画像の前記ダイナミックレンジと前記ディスプレイのダイナミックレンジにできる限り近いダイナミックレンジを選択すること、を含む、
請求項１に記載の方法。

【請求項3】

前記第１の画像は、高ダイナミックレンジ（ＨＤＲ）画像、を含む、
請求項１に記載の方法。

【請求項4】

前記画像統計は、それぞれの第１の画像に関する画像統計から計算され、かつ、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、ダイナミックレンジ、色温度、白色点、色域、および、カラーパレット、を含む、
請求項１に記載の方法。

【請求項5】

前記第２の画像は、グループのうちの一つを表示するように適合されており、
前記グループは、グラフィクス、クローズドキャプション、テキスト、ビデオオーバーレイ、グラフィカルユーザインターフェイス（ＧＵＩ）、テレビ（ＴＶ）ガイド、放送会社からの信号、コンテンツ作成からの信号、サブタイトル、セットトップボックスからの信号、および、オーディオ−ビデオ（ＡＶ）受信器からの信号、を含む、
請求項２に記載の方法。

【請求項6】

前記第２の画像に関する第２のメタデータを受取るステップは、さらに、
コンポジタモジュールによって、前記第２の画像に関する画像統計を受取るステップ、を含む、
請求項４に記載の方法。

【請求項7】

前記第２の画像に関する前記画像統計は、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、ダイナミックレンジ、反射的白色、色温度、白色点、色域、および、カラーパレット、を含む、
請求項６に記載の方法。

【請求項8】

前記アピアランスマッピングを実行するステップは、さらに、
前記システムのコンポジタモジュールによって、前記調整された第１の画像のダイナミックレンジに従って、前記第２の画像のダイナミックレンジをマップするステップ、を含む、
請求項１に記載の方法。

【請求項9】

前記アピアランスマッピングを実行するステップは、さらに、
前記システムのコンポジタモジュールによって、前記調整された第１の画像の色域に従って、前記第２の画像の色域をマップするステップ、を含む、
請求項１に記載の方法。

【請求項10】

前記方法は、さらに、
前記システムのコンポジタモジュールによって、前記ディスプレイの特性に関するメタデータを受取るステップ、を含む、
請求項１に記載の方法。

【請求項11】

前記ディスプレイの特性に関する前記メタデータは、グループのうちの一つを含み、
前記グループは、最小輝度、中間輝度、最大輝度、色温度、白色点、色域、を含む、
請求項１０に記載の方法。

【請求項12】

前記アピアランスマッピングを実行するステップは、さらに、
前記コンポジタモジュールによって、前記ディスプレイの特性に関する前記メタデータに従って、前記第２の画像をマップするステップ、を含む、
請求項１１に記載の方法。

【請求項13】

前記方法は、さらに、
動的マッピングモジュールによって、第３の画像を前記第１の画像と合成するために、前記第３の画像の動的マッピングを実行するステップ、を含み、
前記第３の画像は、以前に前記第１の画像と合成された前記第２の画像の一部を置き換えるものである、
請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理に関する。より特定的には、画像／ビデオデータ上にグラフィクスおよび合成画像をマップするための方法およびシステムに関する。

【0002】

本出願は、２０１３年２月２１日提出の米国仮特許出願第６１／７６７５５３号について優先権を主張するものであり、その全体が参照によりここにおいて包含されている。本出願は、また、２０１３年２月２１日提出の米国仮特許出願第６１／７６７５２２号にも関連するものであり、その全体が参照によりここにおいて包含されている。

【背景技術】

【0003】

ダイナミックレンジ（ＤＲ）は、画像における強度（例えば、輝度（ｌｕｍｉｎａｎｃｅ、ｌｕｍａ））のスパンに関連する。現実世界のシーンにおけるＤＲは、たいてい大きい。画像およびビデオ信号の取得、表現および提示のための異なる画像およびビデオアプリケーションは、異なるＤＲを有している。例えば、写真のネガは比較的に大きなダイナミックレンジを有し得る。一方、写真プリント、いくつかの現在存在している（例えば、従来の）テレビジョン（ＴＶ）セット、およびコンピュータモニタは、より小さなＤＲを有し得る。

【0004】

ＤＲは、また、画像における強度（例えば、輝度（ｌｕｍｉｎａｎｃｅ、ｌｕｍａ））の範囲を知覚する人間の心理視覚システム（ｈｕｍａｎ ｐｓｙｃｈｏｖｉｓｕａｌ ｓｙｓｔｅｍ、ＨＶＳ）の能力にも関連する。例えば、最も暗い暗さ（ｄａｒｋ）から最も明るい明るさ（ｂｒｉｇｈｔ）まで、である。ＤＲは、また、所定の幅の強度範囲を適切に又はおおよそ描写する（ｒｅｎｄｅｒ）するためのディスプレイ機器の能力にも関連する。この意味において、ＤＲは、「ディスプレイ参照（”ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ”）」強度に関連する。別の意味において。ＤＲは、また、「単一参照（”ｓｉｎｇｌｅ−ｒｅｆｅｒｒｅｄ”）」強度に関連する。「単一参照」強度は、ある程度論理的なものであり得る。例えば、ＶＤＲ信号は、１００００ニット（ｎｉｔ）までの範囲であってよく、そして、ＨＤＲ信号はさらに高い範囲であってよい。ほとんどの場合、そうした範囲に対して評価されるディスプレイは存在しない。所定の意味が、ここにおける説明の中のあらゆるポイントにおいて所定の重要性を有するものと明白に定められなければ、その用語はいずれの意味においても使用され得ること、例えば、互換的、が推測されるべきである。

【0005】

従来のＴＶセットおよびコンピュータモニタによるレンダリングは、しばしば、ダイナミックレンジの大きさのおおよそ３桁分に制約される。低ダイナミックレンジ（ＬＤＲ）を代表するものであり、標準ダイナミックレンジ（ＳＤＲ）としても参照される。ＬＤＲ画像とは対照的に、高ダイナミックレンジ（ＨＤＲ）画像は、オリジナルのシーンにおける実質的に全てのダイナミックレンジを含んでいる。ＨＤＲは、ダイナミックレンジの大きさの１４−１５桁分に及び得る。ＨＤＲ画像は、あらゆるビット深度によって表現され得るが、オーバーレイの大きなステップサイズを削減するために典型的には１０−１６ビット又はそれ以上が使用される。

【0006】

配布のための圧縮といった多数のアプリケーションのために、ＨＤＲ画像のためのエンコーディングは、不要であってよく、そして、実際には、計算について高価であり、または、バンド幅を消費する。一方で、ＬＤＲ画像は、単にいずれも満足しないことがある。代わりに、そうしたアプリケーションは、視覚的ダイナミックレンジまたは可変ダイナミックレンジ、ＶＤＲによって特徴付けられ得る画像を、有利に使用、作成、保管、送信、または、描写することができる。ＶＤＲ画像、ＨＲＤに関して切り詰められたものは、典型的なＨＶＳが同時に知覚する（例えば、あらゆる所与の時間において視覚的に認める）強度と色の実質的に全てを包含する。ＶＤＲは、ダイナミックレンジの大きさの約５−６桁分に及ぶ。このように、ＨＤＲに関してより狭い一方で、ＶＤＲは、それでもなお、広いＤＲ幅を表現する。ＨＤＲとＶＤＲ画像間でのＤＲの違いに関わらず、用語ＥＤＲは、ここにおいて使用されるように、ＬＤＲに比べて拡大されたダイナミックレンジを用いて表して画像を特徴付ける。

【発明の概要】

【0007】

ディスプレイシステムと、その製造および使用方法のいくつかの実施例が、ここにおいて開示される。

【0008】

第１の画像／ビデオデータの上に第２の画像／ビデオデータをオーバーレイするためのシステムおよび方法が、ここにおいて説明される。第１の画像／ビデオデータは、所定の特性、例えば、ＨＤＲ、ＥＤＲ、ＶＤＲ、またはスーパーハイビジョン（ＵＨＤ、例えば、４Ｋまたは８Ｋの水平解像度）能力、を用いてディスプレイ上に描写されることが意図されている。第２の画像／ビデオデータは、グラフィクス、クローズドキャプション（ｃｌｏｓｅｄ ｃａｐｔｉｏｎｉｎｇ）、テキスト、広告、もしくは、第１の画像／ビデオデータの上にオーバーレイ及び/又は合成されるよう望まれるあらゆるデータ、を含み得る。第２の画像/ビデオデータは、画像統計及び/又は第１の画像/ビデオデータの特性に従って、アピアランスマップされ得る。加えて、そうしたアピアランスマッピングは、合成画像が描写されるディスプレイの特性に従って行われ得る。そうしたアピアランスマッピングは、観察者にとって視覚的に快適な合成データを描写することが望まれ、所望のディスプレイ上に描写される。

【0009】

一つの実施例において、第２の画像を第１の画像の上にオーバーレイする方法が開示される。本方法は、前記第１の画像と前記第２の画像を受取るステップであり、前記第１の画像はダイナミックレンジとサイズが前記第２の画像と異なるステップと、前記第１の画像に関する第１のメタデータを受取るステップと、前記第２の画像に関する第２のメタデータを受取るステップと、調整された第２の画像を決定するために前記第２の画像のアピアランスマッピングを実行するステップであり、前記調整された第２の画像はダイナミックレンジが前記第２の画像と異なり前記第１のメタデータおよび前記第２のメタデータに従っているステップと、前記調整された第２の画像を前記第１の画像の少なくとも一部分の上にオーバーレイして合成画像を形成するステップと、を含む。

【0010】

別の実施例において、第１の画像の上に第２の画像を合成するためのシステムが開示される。本発明システムは、前記第１の画像を受取ることが可能なディスプレイ管理モジュールと、前記第２の画像を受取ることが可能なコンポジタモジュールであり、さらに、前記第１の画像に関するメタデータを受取ることが可能であり、かつ、前記第１の画像に関する前記メタデータに従ってアピアランスマップされた第２の画像を形成するために、アピアランスマッピングを実行することが可能であるコンポジタモジュールと、前記アピアランスマップされた第２の画像を合成画像を形成するために前記第１の画像の上に混合することが可能な混合モジュールであり、前記合成画像はディスプレイ上に描写されるものである混合モジュールと、を含む。

【0011】

別の実施例においては、動的広告のためのシステムおよび方法が開示され、第１の画像/ビデオデータから第２のオーバーレイされた画像／ビデオデータを用いて形成されて、既存の合成画像が、別の合成画像の中にマップ及び／又は変換され得る。ここでは、第２のオーバーレイされた画像／ビデオデータの全て又は一部が、第３のオーバーレイされた画像／ビデオデータにより置き換えられ得る。

【0012】

この出願の中にある図面と関連して読むと、以下の詳細な説明において、本システムの他の特徴および利点が表わされている。

【図面の簡単な説明】

【0013】

典型的な実施例が図面の図を参照して説明される。ここにおいて開示される実施例および図は、限定的ではなく説明的であると考えられることが意図されている。

【図1】図１は、本出願に係る一つの実施例が動作し得る一つの典型的な環境を示している。

【図2A】図２Ａは、ＥＤＲ／ＶＤＲ画像データ、および、グラフィクスとクローズドキャプションのオーバーレイを含んでいる描写された画像の実施例を示している。アピアランスマッピング（ａｐｐｅａｒａｎｃｅ ｍａｐｐｉｎｇ）は適用されていない。

【図2B】図２Ｂは、ＥＤＲ／ＶＤＲ画像データ、および、グラフィクスとクローズドキャプションのオーバーレイを含んでいる描写された画像の実施例を示している。アピアランスマッピングが適用されている。

【図3】図３は、３つの可能な処理シナリオに係る画像／ビデオ処理を示している。それぞれ、画像、シーン、および動画である。

【図4】図４は、ＥＤＲ／ＶＤＲ可能なディスプレイ上の視覚的に快適な合成画像／ビデオ信号に作用し得る本システムに係る実施例である。

【図5】図５は、ＥＤＲ／ＶＤＲ可能なディスプレイ上の視覚的に快適な合成画像／ビデオ信号に作用し得る本システムに係る実施例である。

【図6】図６は、従来のディスプレイ上の視覚的に快適な合成画像／ビデオ信号に作用し得る本システムに係る実施例である。

【図7】図７は、アピアランスマッピングオーバーレイ／合成画像／第１画像上のビデオデータ／ディスプレイ上の後続のレンダリングのためのビデオデータ、のためのモジュール／ルーチンに係る一つの典型的な実施例を示している。

【図8】図８は、ダイナミックレンジ、最小強度、反射的白色点（ｗｈｉｔｅ ｐｏｉｎｔ）、および絶対最大（ａｂｓｏｌｕｔｅ ｍａｘｉｍｕｍ）に関するアピアランスマッピングに係る一つの典型的な実施例を示している。

【図9】図９は、色域（ｃｏｌｏｒ ｇａｍｕｔ）に関するアピアランスマッピングに係る一つの典型的な実施例を示している。

【図10A】図１０Ａは、ダイナミックコンテンツ置換を実行する一つの典型的な実施例を示している。

【図10B】図１０Ｂは、ダイナミックコンテンツ置換を実行する一つの典型的な実施例を示している。

【図10C】図１０Ｃは、ダイナミックコンテンツ置換を実行する一つの典型的な実施例を示している。

【図11】図１１は、ダイナミックコンテンツ置換に係る別の実施例を示している。

【0014】

以降の説明の至る所においては、当業者に対してより完全な理解を提供するために所定の詳細が明らかにされる。しかしながら、不必要に開示を不明瞭にすることを避けるために、よく知られたエレメントは、詳細に示されず、または、説明されない。従って、明細書および図面は、限定的な意味でなく、説明的な意味において考えられるべきものである。

【0015】

イントロダクション
現在の従来の家庭用ＴＶを用いた典型的な視覚的体験においては、Ｒｅｃ．７０９およびＤＣＩスペックといった規格を使用している到着（ｉｎｃｏｍｉｎｇ）ビデオストリームに係るアピアランスおよびマッピングについてコントロールができない。このことは、第１のビデオストリームの上に統合され、混合され、かつ、個人により視聴のために次に描写されることが望まれるグラフィクスまたはビデオのオーバーレイについて、特に正しい。本システムの一つの実施例においては、第１の画像／ビデオデータストリームの上へのそうしたオーバーレイに係る適切な画像処理及び/又は混合を提供することが望ましい。合成画像及び/又はビデオの観察者に対してアピアランスマッチング（ｍａｔｃｈｉｎｇ）及び/又は改善された視覚的体験を提供するような方法においてである。

【0016】

図１は、本出願に従ってシステム（１０４）の一つの実施例が作成された、一つの環境（１００）を示している。この環境（１００）において、本システム１０４は、ディスプレイ１１４上に描写されるべき第１のデータ及び/又はメタデータ１０２（例えば、ＶＤＲ、ＥＤＲ、ＨＤＲ、または他のいくつかの画像及び/又はビデオデータ／メタデータ）を受信し得る。加えて、外部のデータ／コンテンツ１０６（例えば、可能な複数のソースからのもの、インターネット、ＩＰ、他のデータソース、等）に係る別のストリームがあってよい。このデータ／コンテンツに係る他のストリームは、合成され、または、そうでなければ第１のデータストリームと混合されるべきグラフィクス、画像、及び/又はビデオを表現し得る。ストリーム１０２と１０６は、また、同一のソースから同一の方法でシステム１０４に到着し得ることが正しく理解されるべきである。

【0017】

データストリーム１０２は、ディスプレイ１０４上への描写のために適切な画像処理のためのディスプレイ管理（ＤＭ）モジュール１０８の中へ入力され得る。コンポジタ（Ｃｏｍｐｏｓｉｔｏｒ）１１０は、コンポジットデータストリーム（１０６）を入力する別の画像処理／ビデオ処理モジュールであってよい。ＤＭ１０８からのデータ及び/又はメタデータも同様である。コンポジタ１１０は、ＧＵＩ、クローズドキャプション（ＣＣ）、ピクチャインピクチャ（ＰＩＰ）、またはコンポジットデータのためのあらゆる他の可能なフォーマットとして、第１のデータストリームと混合及び/又は合成されるように、コンポジットデータストリームをフォーマットし得る。メタデータは、また、合成画像が描写され得るディスプレイのレンダリング特性に関するメタデータを含んでもよい。そうしたメタデータは、平均、最小／中間／最大強度、反射的白色（ｒｅｆｌｅｃｔｉｖｅ ｗｈｉｔｅ）、白色点（ｗｈｉｔｅ ｐｏｉｎｔ）、色域、および既知のあらゆる他のレンダリング特性及び/又は仕様、を含んでよい。

【0018】

ビューア（ｖｉｅｗｅｒ）は、コンポジタ１１０に対す任意的なコントロール入力を有してよい。例えば、リモートコントロール、ラップトップ、タブレット、スマートフォン、または別の適切なコントローラ（１１６）を介するものであって、そうした合成レンダリングに対する観察者の要望または要求を入力するためである。

【0019】

合成画像／ビデオデータおよび第１のビデオストリーム（ＤＭ１０８によって、どんな処理が適用されてきた後のものであっても）は、混合モジュール１１２に入力されてよい。混合モジュール１１２は、合成画像／ビデオを第１のデータストリームの上に適切にオーバーレイし得る。例えば、ここにおいて及び既知のものとして説明されるあらゆる進歩した画像／ビデオ処理アルゴリズムを使用するものであり、快適な視聴体験を提供するためである。ここにおいてさらに説明されるように、そうした快適な視聴体験は、合成画像／ビデオデータの第１画像データの特性及び/又は最終合成画像／ビデオが描写されるディスプレイの特性へのアピアランスマッピング（ａｐｐｅａｒａｎｃｅ ｍａｐｐｉｎｇ）によって高められ得る。

【0020】

ＤＭ、コンポジタ、混合モジュールがディスプレイ自身の中に（機能モジュールとして）存在し得るものであっても、ＤＭ、コンポジタ、混合モジュールは、物理的にどこに存在してもよく、かつ、お互いに離れてよいことが正しく理解されるべきである。例えば、これらのモジュールの一つまたはそれ以上を一つのセットトップボックスの中に置いて、（例えば、あらゆる既知の有線または無線コンフィグレーションによって）ディスプレイと通信させてよい。別の実施例において、ＤＭ、コンポジタ、及び/又は、混合器は、ディスプレイが存在する物理的な部屋の外にあってよい。他の実施例においては、これら３つのモジュールのいずれか又は全ての機能を単一のモジュールの中に置くことも可能である。例えば、ＤＭモジュールは、典型的なＤＭの機能性を含むように構成されてよい。コンポジタおよび混合器の機能性も同様である。

【0021】

一つの実施例においては、（ここにおいてもさらに説明されるように）画像処理における既知の種々の統計を計算するための画像統計計算モジュールを有することが望ましい。（例えば、第１の画像／ビデオデータ、第２のオーバーレイ画像／ビデオデータ、などの）そうした統計は、本発明のシステムによってさらに使用されてよい。第１の画像／ビデオデータ上への第２のオーバーレイ画像／ビデオデータのアピアランスマッピングを援助するためである。ここにおいて言及されるあらゆるモジュールは、従来技術において知られるように、画像統計モジュールと合体してよい。

【0022】

一つの実施例において、これらのモジュールは、画像／ビデオフロントエンドサプライヤ（例えば、ケーブル事業者、衛星事業者、及び/又は、他のメディアサプライヤ）において存在してよい。従って、グラフィクスオーバーレイが何処でコンテンツの中に投入されるかを識別及び/又は気付くことが望ましい。例えば、コンテンツ作成サイド（例えば、サブタイトル）、放送会社(例えば、ロゴ)、セットトップボックス（例えば、ＵＩ、ＴＶガイド、ｃｃ）、ＴＶ自身（例えば、ＵＩ）、ＡＶ受信器（例えば、音量バーグラフィクスオーバーレイ）、または、グラフィクスを追加又はそうでなければ入力ビデオストリームを変更するあらゆる信号スイッチ／変更器／ＡＶプロセッサ、において生成されるものである。あらゆるそうした段階において、オーバーレイと合成は、異なるように扱われてよい。ＵＩとオーバーレイ投入ポイントがお互いを認識させることも望ましい（つまり、パイプラインアウェアネス（ｐｉｐｅｌｉｎｅ−ａｗａｒｅｎｅｓｓ））。そうした場合においては、ビデオストリームの中に既にエンベッドされたＵＩグラフィクスを再び分析し、かつ、再びマップすることを避けることができる（例えば、放送ロゴは一般的にストリームの中に早期にエンベッドされている）。一般的なＵＩレンダリングの他に、この情報の全ては、また、プレイアウト機器（ｐｌａｙｏｕｔ ｄｅｖｉｃｅ）のオペレーティングシステムに対して提供されてもよい。例えば、スマートＴＶ上で実行されているウェブブラウザがアクセスできるようにである。

【0023】

上述のように、一つの実施例において、ビデオストリームは、ＨＤＲ、ＥＤＲ、及び/又はＶＤＲデータ／メタデータストリームであってよく、かつ、そのように、ビデオ処理システムのいくつかの部分が、ＨＤＲ、ＥＤＲ、及び/又はＶＤＲ画像／ビデオ処理に作用してよい。種々のシステム、技法、及び/又は、ＨＤＲ、ＥＤＲ、及びＶＤＲデータとメタデータ処理を含む技術が、以下の共有特許出願申請において見い出され得る。
（１）米国特許出願第２０１３００２７６２５号、発明者Ｌｉ、２０１３年１月３１日公開、タイトル”ＱＵＡＬＩＴＹ ＡＳＳＥＳＥＭＥＮＴ ＯＦ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ、ＶＩＳＵＡＬ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＡＮＤ ＷＩＤＥ ＣＯＬＯＲ ＧＡＭＵＴ ＩＭＡＧＥ ＡＮＤ ＶＩＤＥＯ”
（２）米国特許出願第２０１３０００４０７４号、発明者Ｇｉｓｈ、２０１３年１月３日公開、タイトル”ＱＵＡＬＩＴＹ ＡＳＳＥＳＥＭＥＮＴ ＯＦ ＩＭＡＧＥＳ ＷＩＴＨ ＥＸＴＥＮＤＥＤ ＤＹＮＡＭＩＣ ＲＡＮＧＥ”
（３）米国特許出願第２０１２０３２１２７３号、発明者Ｍｅｓｓｍｅｒ、２０１２年１２月２０日公開、タイトル”ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＡＮＤ ＣＯＮＴＲＯＬ ＵＳＩＮＧ ＥＭＢＥＤＤＥＤ ＭＥＴＡＤＡＴＡ”
（４）米国特許出願第２０１２０３１５０１１号、発明者Ｍｅｓｓｍｅｒ他、２０１２年１２月１３日公開、タイトル”ＶＩＤＥＯ ＤＥＬＩＶＥＲＹ ＡＮＤ ＣＯＮＴＲＯＬ ＢＹ ＯＶＥＲＷＲＩＴＩＮＧ ＶＩＤＥＯ ＤＡＴＡ”
（５）米国特許出願第２０１２０３１４９４４号、発明者Ｎｉｎａｎ他、２０１２年１２月１３日公開、タイトル”ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ、 ＢＡＣＫＷＡＲＤＳ−ＣＯＭＰＡＴＩＢＬＥ、ＤＩＧＩＴＡＬ、ＣＩＮＥＭＡ”
（６）米国特許出願第２０１２０３１４７７３号、発明者Ｇｉｓｈ他、２０１２年１２月１３日公開、タイトル”ＤＲＩＦＴ−ＦＲＥＥ、ＢＡＣＫＷＡＲＤＳ ＣＯＭＰＡＴＩＢＬＥ、ＬＡＹＥＲＥＤ ＶＤＲ ＣＯＤＩＮＧ”
（７）米国特許出願第２０１２０２９９８１７号、発明者Ａｔｋｉｎｓ他、２０１２年１１月２９日公開、タイトル”ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＴＨＡＴ ＡＤＪＵＳＴ ＦＯＲ ＶＩＥＷＥＲ ＰＯＳＩＴＩＯＮ、ＳＣＲＥＥＮ ＳＩＺＥ ＡＮＤ ＶＩＥＷＩＮＧ ＤＩＳＴＡＮＣＥ”
（８）米国特許出願第２０１２０２２９４９５号、発明者Ｌｏｎｇｈｕｒｔ、２０１２年１１月１３日公開、タイトル”ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＯＦ ＣＯＬＯＲ ＧＡＭＵＴ ＦＯＲ ＤＩＳＰＬＡＹ ＯＮ ＴＡＲＧＥＴ ＤＩＳＰＬＡＹ”
（９）米国特許出願第２０１２００３８７８２号、発明者Ｍｅｓｓｍｅｒ他、２０１２年２月１６日公開、タイトル”ＶＤＲ ＭＥＴＡＤＡＴＡ ＴＩＭＥＳＴＡＭＰ ＴＯ ＥＮＨＡＮＣＥ ＤＡＴＡ ＣＯＨＥＲＥＮＣＹ ＡＮＤ ＰＯＴＥＮＴＩＡＬ ＭＥＴＡＤＡＴＡ”
（１０）米国特許出願第２００９０３２２８００号、発明者Ａｔｋｉｎｓ、２００９年１２月３１日公開、タイトル”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＩＮ ＶＡＲＩＯＵＳ ＥＭＢＯＤＩＭＥＮＴＳ ＦＯＲ ＨＤＲ ＩＭＰＬＥＭＥＮＴＡＴＩＯＮ ＩＮ ＤＩＳＰＬＡＹ ＤＥＶＩＣＥＳ”
（１１）米国特許出願第２０１３０００４０７４号、発明者Ｇｉｓｈ、２０１３年１月３日公開、タイトル”ＱＵＡＬＩＴＹ ＡＳＳＥＳＥＭＥＮＴ ＯＦ ＩＭＡＧＥＳ ＷＩＴＨ ＥＸＴＥＮＤＥＤ ＤＹＮＡＭＩＣ ＲＡＮＧＥ”
（１２）米国特許出願第２０１００１１８９５７号、発明者Ｄｅｍｏｎｓ、２０１０年５月１３日公開、タイトル”ＶＩＤＥＯ ＩＭＡＧＥ ＣＯＭＰＲＥＳＳＩＯＮ ＵＳＩＮＧ ＵＮＥＱＵＡＬ ＷＥＩＧＨＴＳ”
（１３）米国特許出願第２０１０００１４５８７号、発明者Ｄｅｍｏｎｓ、２０１０年１月２１日公開、タイトル”ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＯＦ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＦＲＡＭＥＳ”
（１４）米国特許出願第２００８０２７３８０９号、発明者Ｄｅｍｏｎｓ、２００８年１１月６日公開、タイトル”ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＣＯＭＰＲＥＳＳＥＤ ＩＭＡＧＥ ＣＨＲＯＭＡ ＩＮＦＯＲＭＡＴＩＯＮ”
（１５）米国特許出願第２００７０２６８９６７号、発明者Ｄｅｍｏｎｓ、２００７年１１月２２日公開、タイトル”ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＯＦ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＦＲＡＭＥＳ”
（１６）米国特許出願第２０１１０１０３４７０号、発明者Ｄｅｍｏｎｓ他、２０１１年５月５日公開、タイトル”ＨＩＧＨ ＰＲＥＣＩＳＩＯＮ ＥＮＣＯＤＩＮＧ ＡＮＤ ＤＥＣＯＤＩＮＧ ＯＦ ＶＩＤＥＯ ＩＭＡＧＥＳ”
これらの全ては、その全体がここにおいて参照により包含されている。

【0024】

加えて、ディスプレイ管理サブシステムは、第１のデータストリーム上のそうした合成画像／ビデオデータに対する快適な視聴体験を提供するためのシステムの一部を含んでよい。ＤＭシステムは、典型的に、プロセッサ、コンピュータで読取り可能なストレージ、および、一式のコンピュータで読取り可能なインストラクションを含んでいる。インストラクションは、幅広い画像処理アルゴリズムと技術に作用するために適切なものであり、例えば、輝度マッピング、色域マッピング、ダイナミックレンジマッピングがある。

【0025】

ＤＭシステムは、さらに以下の共有の米国特許出願申請において記述されている
（１）米国特許出願第２０１２０３２１２７３号、発明者Ｍｅｓｓｍｅｒ、２０１２年１２月２０日公開、タイトル”ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＣＯＮＴＲＯＬ ＵＳＩＮＧ ＥＭＢＥＤＤＥＤ ＭＥＴＡＤＡＴＡ”
（２）米国特許出願第２０１２０３１５０１１号、発明者Ｍｅｓｓｍｅｒ他、２０１２年１２月１３日公開、タイトル”ＶＩＤＥＯ ＤＥＬＩＶＥＲＹ ＡＮＤ ＣＯＮＴＲＯＬ ＢＹ ＯＶＥＲＷＲＩＴＩＮＧ ＶＩＤＥＯ ＤＡＴＡ”
（３）米国特許出願第２０１２０２２９４９５号、発明者Ｌｏｎｇｈｕｒｓｔ、２０１２年９月１３日公開、タイトル”ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＯＦ ＣＯＬＯＲ ＧＡＭＵＴ ＦＯＲ ＤＩＳＰＬＡＹ ＯＮ ＴＡＲＧＥＴ ＤＩＳＰＬＡＹ”
（４）米国特許出願第２０１２０２００５９３号、発明者Ｔｏｄｄ他、２０１２年８月９日公開、タイトル”ＲＥＳＯＬＵＴＩＯＮ ＭＡＮＡＧＥＭＥＮＴ ＦＯＲ ＭＵＬＴＩ−ＶＩＥＷ ＤＩＳＰＬＡＹ ＴＥＣＨＮＯＬＯＧＩＥＳ”
（５）米国特許出願第２０１２０１２７３２４号、発明者Ｄｉｃｋｅｎｓ他、２０１２年５月２４日公開、タイトル”ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＤＩＳＰＬＡＹ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＲ ＣＡＬＩＢＲＡＴＩＯＮ ＵＳＩＮＧ Ａ ＣＡＭＥＲＡ ＤＥＶＩＣＥ”
（６）米国特許出願第２０１２００７５４３５号、発明者Ｈｏｖａｎｋｙ他、２０１２年３月２９日公開、タイトル”ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ３Ｄ ＤＩＳＰＬＡＹ ＣＡＬＩＢＲＡＴＩＯＮ ＷＩＴＨ ＦＥＥＤＡＣＫ ＤＥＴＥＲＭＩＮＥＤ ＢＹ Ａ ＣＡＭＥＲＡ ＤＥＶＩＣＥ”
（７）米国特許出願第２０１２００７４８５１号、発明者Ｅｒｉｎｊｉｐｐｕｒａｔｈ、２０１２年３月２９日公開、タイトル”ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＤＩＳＰＬＡＹ ＣＡＬＩＢＲＡＴＩＯＮ ＷＩＴＨ ＦＥＥＤＡＣＫ ＤＥＴＥＲＭＩＮＥＤ ＢＹ Ａ ＣＡＭＥＲＡ ＤＥＶＩＣＥ”
（８）米国特許出願第２０１１０３１１１４７号、発明者Ｐａｈａｌａｗａｔｔａ他、２０１１年１２月２２日公開、タイトル”ＱＵＡＬＩＴＹ ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＳＥＱＵＥＮＣＥＳ ＯＦ ＩＭＡＧＥＳ”
（９）米国特許出願第２０１１０１９４６１８号、発明者Ｇｉｓｈ他、２０１１年８月１１日公開、タイトル”ＣＯＭＰＡＴＩＢＬＥ ＣＯＭＰＲＥＳＳＩＯＮ ＯＦ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＥＮＡＧＥ、ＶＩＳＵＡＬ ＤＹＮＡＭＩＣ ＲＡＮＧＥ、ＡＮＤ ＷＩＤＥ ＣＯＬＯＲ ＧＡＭＵＴ ＶＩＤＥＯ”
（１０）米国特許出願第２００９００８６８１６号、発明者Ｌｅｏｎｔａｒｉｓ他、２００９年４月２日公開、タイトル”ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＡＮＤ ＴＲＡＮＳＭＩＳＳＩＯＮ ＴＥＣＨＮＩＱＵＥＳ”
これらの全ては、その全体がここにおいて参照により包含されている。

【0026】

合成画像の一実施例
一つの実施例においては、快適な視聴体験を提供するために、第１の信号の特性及び/又はディスプレイの特性に従って、合成信号を第１の画像／ビデオ信号と混合することが望ましい。例えば、ビデオとディスプレイ技術が改善するにつれて、ＶＤＲ／ＥＤＲ／ＨＤＲデータをレンダリングすることができるディスプレイへと移行する傾向が存在する。そうしたデータ、およびそうしたデータをレンダリングすることができるディスプレイは、ディレクター（ｄｉｒｅｃｔｏｒ）が意図したようにムービー／ビデオを忠実に再現するための適切な方法を提供する。つまり、データを示し、及び/又は、描写するために使用されるディスプレイハードウェアの能力の範囲内のものである。一つの例においては、ハイライトのための特別なより高い輝度が再現され得る。従来のアプローチでは典型的に不可能であったことである。

【0027】

ディスプレイ／ＴＶに配信される、より高い品質の画像／ビデオデータとは別に、他の画像エレメント（実際のムービー／ビデオデータを必ずしも含んでいない）は、他のユーザインターフェイスエレメントである。例えば、メニュー、カーソル、および、クローズドキャプション又はブルーレイ（登録商標）ディスクメニューといったスクリーン上のディスプレイエレメントである。しかしながら、それらのエレメントのアピアランスレンダリングは、ＥＤＲ／ＶＤＲにおいては典型的に定義されておらず、従来のビデオに関しても典型的に定義されていない。

【0028】

このように、本システムの一つの実施例は、ここにおいて開示されるシステムと方法を使用してディスプレイデバイス上にユーザインターフェイスエレメントの知覚的に正確なレンダリングに作用する。前述のユーザインターフェイス（ＵＩ）エレメントおよび他の画像／ビデオコンテンツに係る比色分布（ｃｏｌｏｒｉｍｅｔｒｉｃｙ）、知覚的および審美的に正しいレンダリングに作用するためのものである。

【0029】

図２Ａと図２Ｂは、描写された画像の２つの実施例である（それぞれに２００と２００’）。画像２００においては、高いダイナミックレンジのコントラストを含む画像が描写されている。例えば、非常に高い輝度の部分（アーク溶接の光のように見える）が非常に暗い部分の近傍（影のように見える。例えば、単語「Ｔｅｘｔ」が表示されている）にある。加えて、高いダイナミックレンジの画像と合成されてきたオーバーレイされたグラフィクスとテキストエレメントが存在する（例えば、メニュー２０２および「Ｍａｘ．Ｃｏｄｅｗｏｒｄ Ｃｌｏｓｅｄ Ｃａｐｔｉｏｎｉｎｇ Ｔｅｘｔ」と読めるキャプション）。

【0030】

図２Ａにおいては、注意すべき多くの視覚的特徴が存在する。例えば、メニュー２０２が輝度区分（ｌｕｍｉｎａｎｃｅ ｂａｎｄｉｎｇ）を示していることがわかる。つまり、輝度のグラデーション（ｇｒａｄａｔｉｏｎ）であり、上部において高輝度であり、下部にむけて徐々により暗い輝度である。加えて、クローズドキャプションが最大のコードワード輝度レベルでディスプレイへ送付されることがわかる。これにより、テキストが、例えば溶接トーチの炎と同じ輝度で表示されることになる。このことは、強烈な明るさのせいで、テキストの観察者を混乱させ、または、不快にさせるようである。特に、第１の画像／ビデオ領域において（例えば、単語「Ｔｅｘｔ」の周辺）より低い輝度の領域も存在する場合である。

【0031】

図２Ａに係る従来のアプローチを検査すると、フルコードワード（ｆｕｌｌ ｃｏｄｅ ｗｏｒｄ）として描写された白色テキストは、ＥＤＲ／ＶＤＲ ＴＶ上では明るすぎる傾向がある。代わりに、ＥＤＲ ＴＶ上のテキストは、反射的白色レベル（例えば、３００ｃｄ／ｍ^２）および優勢である白色点（ここでは４０００ＫのＣＣＴ）で描写されてよい。上記の画像は、最大４０００ｃｄ／ｍ^２に区分され得るものとして現れることに留意する。そうした有能なＴＶ上に表示されると、図２Ｂにおけるテキストは反射的（または「ペ−パーホワイト（”ｐａｐｅｒ ｗｈｉｔｅ”）」）として現れ、一方で、図２Ａにおいては輝いて現れるであろう。

【0032】

最大限可能なコード値（例えば、１２ビットにおけるＥＤＲコード値４０９６の僅かに下の値）を用いて白色メニューテキストを描写することは、テキストが輝いていると知覚されるようにする傾向がある一方で、テキストとムービー／フィルム背景との間のダイナミックレンジの強烈な相違のために不快感も作り出し得る。事前設定されたコード値を用いたレンダリングの代わりに、絶対的な輝度レベル（例えば、３００ｎｉｔｓまたはＶＤＲ限界調査からの結果に基づくもの）を適用することが可能であり、白色点（シーン、チャプター、または全てのムービーにわたり平均されたもの）も同様である。ＥＤＲ入力およびディスプレイデバイス能力によってさらに定められるようにである。加えて、オーバーレイされたテキストおよびグラフィクスによって使用される彩度（ｃｈｒｏｍａ）範囲を調整するために（例えば、白黒のシーン上にはかなり飽和した緑色テキストを避けること）、色域の範囲を考慮することができる。

【0033】

これらの効果は、また、ＤＶＤおよびブルーレイにおけるサブタイトルの描写に対しても可能である。多くのムービーにおけるサブタイトルは、カラーであってよい。明るさと色の一貫性を維持するためには、オーバーレイされたサブタイトル画像をコンテンツの特性に対してマップすることが望ましい。このマッピングは、シーンに基づくパラメータに作用され得る。オーバーレイは、コンテンツを伴うディスプレイ能力に対して後にマップされるからであり、ここで、マッピングはシーン適合（ｓｃｅｎｅ−ａｄａｐｔｉｖｅ）であってよい。マッピングのアップとダウン工程のペアは、サブタイトルを知覚的に正しく、かつ、矛盾なく現す傾向がある。

【0034】

対照的に、図２Ｂは、実質的に同一の高いダイナミックレンジ画像（つまり、暗いガレージにおける溶接）と同様なメニュー（２０２’）およびＣＣテキストを含んでいる合成画像２００’を示している。この場合、メニュー２０２’とＣＣテキストが合成されてきている。第１のＨＤＲ画像の特性（および、おそらくはそれを描写するディスプレイの特性）に応じたものである。新たな合成画像は、メニュー２０２において見られるように、幅広い輝度区分を示していないことがわかる。加えて、テキストとメニューの高い輝度が、第１のＨＤＲ画像の低い輝度の部分における詳細から、観察者の気をそらせることがない。

【0035】

一実施例
図３は、本システムの部分によって作用されるモジュール及び/又は処理を含み得るいくつかの画像／ビデオ処理３００の一つの実施例を示している。図３は、３つの可能な処理シナリオに係る画像／ビデオ処理を示している。画像、シーン（例えば、関連する画像の収集）、および動画（例えば、関連するシーンの収集）である。画像３０２の場合、メタデータが計算され、収集され得る。例えば、画像統計が計算され得る。平均強度、最小／中間／最大強度、反射的白色、画像の色温度及び/又は白色点、といったものである。シーン３０４に対して、同様な統計が計算され得る。シーンの中のそれぞれの画像に対し、そして、次にシーン自体に対して計算されるものである。ムービー３０６に対して、同様な統計が計算され得る。シーンの中のそれぞれの画像に対し、そして、次にシーン自体に対して計算され、そして、次にムービー全体に対して計算されるものである。画像統計または本来静的なメタデータに加えて、シーンの中での画像の変化、または、ムービー中でのシーンの変化に係る一時的な振る舞いを特徴付けるメタデータも存在する。

【0036】

前述のそうした画像統計に加えて、それぞれの画像、シーン、及び/又はムービーに対してカラーパレット（ｃｏｌｏｒ ｐａｌｅｔｔｅ）が計算され得る。例えば、ヒストグラム、空間的ピクセル相関、または、他の画像及び/又はシーン固有の特性を分析することによるものである。画像統計及び/又はカラーパレットの組合せは、一式のメタデータを含み得る（例えば、それぞれに３０２’、３０４’、および３０６’である）。加えて、ディスプレイの能力に関して同様なメタデータが集められ得る。例えば、輝度（最小、平均、最大）、色温度、反射的白色点、色域、プライマリ、等である。このメタデータは、次に、本システムのいくつかの部分によって使用される。例えば、コンポジタ、または、ＤＭ（機能性がＤＭ自身の中に包含されてきた場合）である。

【0037】

ＥＤＲ ＴＶを伴う実施例
上述のように、ＴＶ及び/又はディスプレイは、より高いダイナミックレンジの画像／ビデオを描写するためのより多くの能力を示している。ＥＤＲ／ＶＤＲ描写可能ディスプレイ（例えば、スーパーハイビジョン（ＵＨＤ）セット）は、より多くの消費者によって受入れられてきている。そのように、図４と図５は、そうしたセットに対して視覚的に快適な合成画像／ビデオ信号を作用し得る本システムに係る２つの実施例である。図４において、システム４００は、ＵＨＤ ＥＤＲデコーダ４０４を用いて開始され、第１のＥＤＲ／ＶＤＲ／ＨＤＲ画像／ビデオデータを受け入れ得る。実質的に同時に、ディスプレイ管理モジュール４０６は、オーバーレイ、及び/又は、入力画像／ビデオデータと合成されるべき他の画像データを受け入れ得る。ＥＤＲメタデータが計算されて、モジュール４０６と共有され得る。そして、モジュール４０６は、合成されるように処理された画像データを出力し得る。観察者に対して視覚的により受け入れやすい傾向のものである。

【0038】

第１の画像データと合成画像データは、混合され、または、そうでなければ混合モジュール４０８によってオーバーレイされ得る。その出力が、ＨＤＭＩ送信モジュール４１０の中に入力され得る。モジュール４１０は、入力として、ＥＤＲメタデータ、合成された画像データ（つまり、合成画像データと混合された第１の画像データ）を受け入れ得る。ＥＤＲ画像データを表示するためのディスプレイの能力に関する情報も同様である。

【0039】

図２Ａに見られるように、破線４０２は、概念的な線を示している。画像とディスプレイセットの外部から来る処理（例えば、線４０２の左手側）、および、セット自身及び/又はセットトップボックスの中の処理（例えば、線４０２の右手側）である。上述のように、本システムは、必ずしも境界のこれらの線に限定されない。処理は、このパイプラインの多くの部分に存在し得るからであり、本アプリケーションの範囲を損失することはない。この情報は、ディスプレイのＥＤＩＤから来るものであってよい。一つの実施例において、ＴＶ／ディスプレイのＥＤＩＤは、ＳＴＢ（または、画像処理チェーンのさらに上側の処理）に、ディスプレイがＥＤＲ ＴＶ／ディスプレイか、または従来のＴＶ／ディスプレイであるかに関して知らせ得る。ディスプレイが従来のものである場合、ＳＴＢ（または類似のもの）は、ＥＤＲ信号を処理して、グラフィクスオーバーレイを適切に描写する。ディスプレイがＥＤＲ可能である場合、ＥＤＩＤは、情報をＳＴＢに戻して（または、さらに上側に）与えるように構成されてよい。このことは、グラフィクスオーバーレイの処理（例えば、知覚的なマップ）を手助けし得る。一方で（同時に）、ＴＶ自身の中でのより良いアピアランスマッピング処理のためにディスプレイに関するより正確なデータを提供している。

【0040】

合成された信号は、ＨＤＭＩ受信モジュール４１２によって受信され、そして、（追加の処理を伴って又は伴わないで）ＤＭモジュール４１４に対して信号を通過させ得る。ＤＭモジュールは、観察者に対する快適な視覚的体験のために、画像データがディスプレイ４１６の能力に見合ったものであることを確保するためのいくつかの追加処理を提供し得る。

【0041】

図５は、ＥＤＲ／ＶＤＲ可能ディスプレイ上で画像／９ビデオデータを処理するための本システムに係るさらに別の実施例である。同様な数字が付けられたエレメント（例えば、４１６と５１６）は、図４と図５の両方において実質的に同様な機能を実行する。しかしながら、図５においては、ディスプレイの能力に関する情報のバックチャンネルが画像処理パイプラインにおいて更に後ろに送付されるのがわかる。例えば、ディスプレイ管理モジュール５０６に対してである（図１におけるコンポジタモジュールと同様なものである）。このシナリオにおいては、合成処理のより多くが、第１のコンテンツのフロントエンド／クリエータ（ｃｒｅａｔｏｒ）に対してより近くで生じ得る。このことは、オーバーレイコンテンツのより多くの態様をコントローラするコンテンツ分配器（ｄｉｓｔｒｉｂｕｔｏｒ）の場合に望ましい。広告に関してさらにここにおいて説明されるようにである。

【0042】

従来のＴＶ／ディスプレイを伴う実施例
図６は、ＴＶ／ディスプレイが従来のものである一つの実施例である。つまり、高いダイナミックレンジ及び/又は広い色域の画像／ビデオデータを表示するための能力が無いか、非常に限定されている。この実施例において、システム６００は、デコーダ６０２においてＥＤＲ／ＶＤＲ画像データを受け取り得る。メタデータが計算されて、オーバーレイマッパー（ｍａｐｐｅｒ）６０６へ送付され得る。オーバーレイマッパーは、また、オーバーレイ／合成の画像／ビデオデータを受け取り得る。ＤＭモジュール６０８は、第１の画像／ビデオデータ、ＥＤＲメタデータ、および、ディスプレイの色域データ（例えば、ｘｖＹＣＣまたはＲｅｃ７０９）を受け取り得る。さらなる処理のためである。任意のスケーラ（ｓｃａｌｅｒ）６１０が、画像処理パイプラインのなかに配置され得る。一つの実施例において、スケーラは、ネイティブ（ｎａｔｉｖｅ）空間解像度を用いてコンテンツを生成するために使用され得る。例えば、ＵＨＤ ＥＤＲデコーダ６０４への入力がＵＨＤ解像度を有しており、かつ、ディスプレイ６１８が１０８０ｐしか有していない場合、スケーラは、入力信号の空間解像度を１０８０ｐへ低減し得る。

【0043】

第１の画像／ビデオデータは、混合器モジュール６１２において合成画像／ビデオデータと混合され、または、そうでなければ合成され得る。そして、その後でＨＤＭＩ送信器６１４に送付される。モジュール６１４は、ＨＤＭＩ受信器モジュール６１６から（ＥＤＩＤインターフェイスを介して）ディスプレイ能力を受け取り得る。そして、ディスプレイ６１８の能力に応じるように適切な画像処理が生じ得る。

【0044】

別の実施例において、ＥＤＲ能力のない従来のデバイス（例えば、ＰＣ，ゲームコンソール、ＶＣＲ、等）がピクチャインピクチャ（ＰＩＰ）コンテンツを表示する場合には、ＶＤＲ画像の中にスーパーインポーズされながら、コンテンツのダイナミックレンジが管理されることが望ましい。この管理／マッピング情報は、例えば、最小／最大反射的白色およびＤＭプロセスからの白色点であり得る。さらに別の実施例において、接続されたデバイスがパーソナルコンピュータである場合、これらの値も、また、ＰＣに戻って通信され得る（例えば、ＨＤＭＩバックチャンネルを介して）。ディスプレイに送付する前に、グラフィクスカードのレンダリングを調整するためである。

【0045】

処理の一実施例
第１の画像／ビデオデータ上に第２の画像／ビデオデータをオーバーレイ及び/又は合成するための数多くの可能な構成を包含し得る、ここにおいて開示された種々の実施例のように、図７は、合成処理モジュール及び/又はルーチンの一つの可能な実施例である。そうした処理モジュール／ルーチン（７００）は、コンポジタ、ＤＭモジュール、そうしたモジュールの組合せ、の中に存在し得る。もしくは、代替的に、適切なプロセッサとコンピュータで読取り可能なストレージが存在するあらゆる場所に存在し得る。

【0046】

７００において開始され、合成モジュール／ルーチンは、７０２において、オーバーレイ／合成の画像／ビデオデータ（別名、第２の画像／ビデオデータ）のメタデータを入力し得る。そうしたメタデータは、画像統計またはカラーパレット（例えば、上述のように）、もしくは、他のあらゆる既知の方法（例えば、第２の画像／ビデオデータを伴うストリーミングメタデータ）として、計算及び/又はコンパイルされ得る。７０４において、モジュール／ルーチンは、第１の画像／ビデオデータ（例えば、輝度、ダイナミックレンジ、白色点、等）に関するメタデータを入力し得る。そうしたメタデータは、画像統計またはカラーパレット（例えば、上述のように）、もしくは、他のあらゆる既知の方法（例えば、第１の画像／ビデオデータを伴うストリーミングメタデータ）として、計算及び/又はコンパイルされ得る。７０６において、モジュール／ルーチンは、合成された画像／ビデオデータ（つまり、オーバーレイ／合成の画像／ビデオデータを一緒に伴う第１の画像／ビデオデータ）が描写されるディスプレイの特性に関するメタデータを入力し得る。７０８において、モジュール／ルーチンは、アピアランスマッピング、または、そうでなければオーバーレイ／合成の画像／ビデオデータの合成を実行し得る。快適な視覚的アピアランスを提供するものであり、合成画像／ビデオデータを形成、または、そうでなければ作成するためである。このマッピングは、そうした快適なアピアランスを提供するモジュール／ルーチンの中にエンベッドされる多くの可能な発見的ルール及び/又はゴールを考慮し得る。代替的に、モジュール／ルーチンは、望まれ又は適切であれば、第１の画像／ビデオデータ上でアピアランスマッピングを実行し得る。

【0047】

そうしたルール及び/又はゴールは、種々の技術を使用して、輝度、ダイナミックレンジ、色域、カラーアピアランス、等に対するおおよそ良好な出来具合に作用し得る。ディスプレイ設定（例えば、ダイナミックレンジ、および、カラーアピアランスモデルの実施）を変更するためのそうした方法及び/又は技術のいくつかが、共有の米国特許出願申請においてさらに開示されている。
（１）米国特許出願第２０１２００５１６３５号、発明者Ｋｕｎｋｅｌ他、２０１２年３月１日公開、タイトル”ＬＩＧＨＴ ＤＥＴＥＣＴＩＯＮ、ＣＯＬＯＲ ＡＰＰＥＡＲＡＮＣＥ ＭＯＤＥＬＳ、ＡＮＤ ＭＯＤＩＦＹＩＮＧ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＦＯＲ ＩＭＡＧＥ ＤＩＳＰＬＡＹ”
（２）米国特許出願第２０１１０３０５３９１号、発明者Ｋｕｎｋｅｌ他、２０１１年１２月１５日公開、タイトル”ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＶＩＣＥＳ ＴＨＡＴ ＩＭＰＬＥＭＥＮＴ ＣＯＬＯＲ ＡＰＰＥＲＡＮＣＥ ＭＯＤＥＬＳ”
（３）米国特許出願第２０１２０３２００１４号、発明者Ｌｏｎｇｈｕｒｔｓｔ他、２０１２年１２月２０日公開、タイトル”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＤＪＵＳＴＩＮＧ ＤＩＳＰＬＡＹ ＢＡＳＥＤ ＯＮ ＤＥＴＥＣＴＥＤ ＥＮＶＩＲＯＮＭＥＮＴ”
（４）米国特許出願第２０１２００２６４０５号、発明者Ａｔｋｉｎｓ他、２０１２年２月２日公開、タイトル”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ｃｒｅａｔｉｎｇＯＲ ＡＰＰＲＯＶＩＮＧ ＭＵＬＴＩＰＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭＳ”
（５）米国特許出願第２０１００２３１６０３号、発明者Ｋａｎｇ、２０１０年９月１６日公開、タイトル”ＡＲＴＩＦＡＣＴ ＭＩＴＩＧＡＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＩＭＡＧＥＳ ＧＥＮＥＲＡＴＥＤ ＵＳＩＮＧ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＬＯＲ ＳＹＮＴＨＥＳＩＳ”
これらの全ては、その全体がここにおいて参照により包含されている。

【0048】

一旦そうしたマッピングが計算及び/又は見積りされると、次に合成画像が形成され、そして、７１０において、結果として生じる画像／ビデオデータがディスプレイに対して送付され得る。この処理は、オーバーレイされるべき画像／ビデオの発生がある間は、いつまでも継続され得る。

【0049】

ＨＤＲ／ＥＤＲ／ＶＤＲ処理の実施例
図８は、第１の画像／ビデオデータ上へのオーバーレイ／合成の画像／データのアピアランスマッピングに係る一つの典型的な実施例を示している。ダイナミックレンジ、最小強度、反射的白色点（ｗｈｉｔｅ ｐｏｉｎｔ）、および絶対最大（ａｂｓｏｌｕｔｅ ｍａｘｉｍｕｍ）に関してデバイス上へのレンダリングのためである。図８において示される全てのダイナミックレンジバーは、８０２において示される参照ダイナミックレンジに関連し、ここではＶＤＲ信号全範囲８０４を反映している。それぞれのダイナミックレンジバーは、最小から最大強度の範囲として図示されている。ダイナミックレンジバーの中の中央の交線は、反射的白色を表している輝度値を示している。

【0050】

図８は、どのようにシーン毎の（ｓｃｅｎｅ−ｂｙ−ｓｃｅｎｅ）ダイナミックレンジが、８０８として表されるようなダイナミックレンジを有するディスプレイ上にマップされ得るかを説明している。入力ＶＤＲ信号８０４は、物理的ディスプレイデバイスの最大ダイナミックレンジ８０８に潜在的にマップされ得る。しかしながら、入力ＶＤＲシーンに存在する実際のダイナミックレンジに基づいて、ディスプレイ管理(ＤＭ)モジュールは、異なるダイナミックレンジインターバルと反射的白色点を主要なディスプレイ上のそれぞれのシーンに対して割り当て得る。シーン１、２、および３（それぞれに８１０ａ、８１０ｂ、および８１０ｃ）により図示されている。

【0051】

このマッピング情報は、コンポジタ（または、上述のようなコンポジタと同様な処理を有するあらゆるモジュール）に対して送付され得る。このコンポジタ（または類似のもの）は、入力としてオーバーレイ／合成コンテンツを受け取り、そして、このコンテンツを、それぞれ８１０ａ’、８１０ｂ’、および８１０ｃ’により図示されたＤＲ範囲の中にマップし得る。

【0052】

オーバーレイ／合成入力画像データ（例えば、ＵＩ、ＣＣ、テキスト、等）上の実際のコンテンツのダイナミックレンジは、ディスプレイの全ダイナミックレンジを使用しなくてよいことに留意すべきである。代わりに、第１の画像とディスプレイの能力に可能な限り近いようにダイナミックレンジおよび明るさ（ｌｉｇｈｔｎｅｓｓ）において知覚的に一致する傾向にある範囲を選択する。

【0053】

彩度マッピング
ダイナミックレンジに関して視覚的に快適なマッピングに加えて、画像／ビデオデータを視覚的に快適な色域に対してマップ及び／又は合成することも、また、望ましい。図９Ａ、９Ｂ、９Ｃおよび９Ｄは、第１の画像／ビデオデータ上へのオーバーレイ／合成の画像／データのマッピングに係る一つの典型的な実施例を示している。色域に関してデバイス上へのレンダリングのためである。図９Ａは、第１の画像／ビデオデータストリームにおいて存在し得るような色域（例えば、ＣＩＥｘｙ色度図（Ｃｈｒｏｍａｔｉｃｉｔｙ Ｄｉａｇｒａｍ）９００の中に配置された９０２）を示している。この画像／ビデオデータは、白色点９０６を含み得る。白色点は、黒体（ｂｌａｃｋ ｂｏｄｙ）曲線９０４上のどこか、または、色度図の内側のどこかに在ってよい。

【0054】

ＤＭ処理の最中（図９Ｂで示されるように）、色域は、第１の画像／ビデオデータにおいて利用可能な全色域に関して小さくなり得る。この、おそらくより小さい色域９０８は、物理的な表示域の限界を表現し得るものであり、そして、また、異なる白色点９１０も示し得る。

【0055】

図９Ｃは、ディスプレイによって表示される小さな色域を考慮する。（イメージごと、シーン毎に生じ得るように）第１の画像コンテンツの動的カラーマッピングの最中にである。所与の画像（Ｃ）に対する全体の彩度ベクトルと色域の外側範囲は、イメージごとに変化し得ることがわかる（種々の実線および破線の領域円によって示されるように）。

【0056】

合成された画像（つまり、第１の画像／ビデオデータおよびオーバーレイデータ）がディスプレイ上にマップされる場合、さらなる領域（ｇａｍｕｔ）マッピングが生じ得る（図９Ｄに示されるように）。図９Ｃと同様に、種々の色域（つまり、９１４，９１６、９１８）が画像毎に現れ得る。それぞれが、それ自身の可能な全体的領域ベクトルＣと白色点ＷＰを伴っており、全体領域９１２の中に適合している。オーバーレイ／合成されたグラフィクスをＤＭされたＶＤＲストリームの実際の領域と知覚的に一致させるために、フレーム／シーン領域、彩度、及び／又は、白色点の設定を、図９Ｃと図９Ｄの間と実質的に同一、または、少なくとも類似にすることが望ましい。

【0057】

可能な広告の例／実施例
ここにおいて言及される合成画像処理の一つの可能なアプリケーションとして、画像／シーン、及び／又は、ムービーを用いた動的（ｄｙｎａｍｉｃ）コンテンツ置換（ｒｅｐｌａｃｅｍｅｎｔ）を考慮することが可能であり、及び／又は、望ましい。一つの典型的な例は、既存のコンテンツの中に広告を置くこと、または、既存のコンテンツの中の広告を他の広告に置換することであろう。図１０Ａ、１０Ｂ、および１０Ｃは、本システム及び／又は方法によって作用され得る動的コンテンツ置換の一つの実施例を示している。他の実施例においては、広告の他に、あらゆる他のコンテンツがスーパーインポーズされ得る。例えば、ウェブサイト情報、株式市場情報、ウェブサイトおよびソーシャルメディアコンテンツ、等である。そうした情報は、また、望むように、動的に挿入及び／又はアップデートされ得る。一つの実施例において、動的マッピングは、第１の画像／ビデオデータ、または代替的に、第２のオーバーレイ画像／ビデオデータ、例えば、第１の画像／ビデオデータと既に合成されているものを、第３の、及び／又は、異なる画像／ビデオデータと置き換えることであり得る。一つの画像／ビデオデータセットの別の画像／ビデオデータセットへのそうした置換は、全体的な置き換えであり得る。もしくは、画像／ビデオデータのサブセットだけの置換であってもよい。一つの実施例において、本システムは、ここにおいて説明されるように、一つの画像／ビデオデータセットの別の画像／ビデオデータセットへのそうした置換ができる動的マッピングモジュールを含み得る。

【0058】

図１０Ａは、一つの典型的な画像／シーンを示している（例えば、この実施例においては、道路と広告掲示板（ｂｉｌｌｂｏａｒｄ）１００２である）。広告掲示板１００２は、この画像／シーンの中で、異なる広告をオーバーレイする機会のための領域を表している。コンテンツの創作者及び／又は所有者により望まれるようにである。例えば、観察者／消費者に対して「対象の（”ｔａｒｇｅｔｅｄ”）」広告を配置することが可能である（観察者に関する、好き嫌いといった情報が知られ、推測され、または統計的に引き出され得る場合である、例えば、ソーシャルメディアネットワークを分析することによる）。別の実施例においては、より長い時間期間にわたり画像をアップデートすることができる。一つのそうした実施例は、古いムービー、ＴＶコンテンツ、または、広告掲示板において今あるそうしたより古い／従来のコンテンツをアップデートすることであろう。倒産／消滅した会社のコンテンツである。ムービーをアップデート（および、現在に適切であるように見えるように）するために、その領域に新たな広告掲示板コンテンツが追加され得る。このようにして、広告掲示板の中の古い画像を上書きする。

【0059】

図１０Ａにおいては、広告掲示板コンテンツが、広告を表現する実際のピクセル情報１００４、および、境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）１００８に結合され得るアルファ（ａｌｐｈａ）チャンネル１００６を有し得ることがわかる。この境界ボックスは、広告掲示板上の広告に係る適切なオーバーレイ及び／又は合成のための画像処理を実行する領域を定義し得る。１００８の内側の全てのピクセルは（実物大のものも同様に）、フレーム毎に変化し得る。

【0060】

図１０Ｂは、交換されるコンテンツが異なる図１０Ａのコンテンツを示している（例えば、１００２の代わりに、１０１０を有することが可能である）。広告（または他のコンテンツ）が動的に変更される一方で、主要シーンフレームは実質的に同一に保持され得ることが正しく理解されるべきである。例えば、コンテンツ１００２は、実質的に１００４であってよく、かつ、コンテンツ１０１０は実質的に１０１２であってよい。一つの実施例において、１００２または１０１０として表示された情報は、外部コンテンツ１０６としてコンポジタ（例えば、１１０または類似のもの）に提供され得る。これは、オリジナルＶＤＲストリーム１０２又はあらゆる可能なサブセット（例えば、スーパー又はサブサンプルされ、より低いビット深度で、または、あらゆる他の圧縮形式）として、完全な信号仕様（ｆｕｌｌ ｓｉｇｎａｌ ｓｐｅｃｉｆｉｃａｔｉｏｎ）であり得る。合成１００８のために、輝度及び／又はカラーレファレンス（ｃｏｌｏｒ ｒｅｆｅｒｅｎｃｅ）が第１の画像／ビデオデータの中に提供され得るとしてもである。

【0061】

図１０Ｃは、動的広告のための処理の別の態様を示している。例えば、同一シーンに係る後続フレームと比較した一つのフレームとしてである（おそらく、例えば１０フレーム後または類似のもの）図１０Ｃにおいて見られるように、広告掲示板の領域の中にはオブジェクト（例えば、街灯柱（ｌａｍｐｐｏｓｔ））が存在し得る。加えて、広告掲示板の画像と相互作用し得る画像の別の部分が存在し得る（例えば、水たまり１００２’であり、広告掲示板の画像を反射し得る）。この場合、本システムにとって、これらの効果の適切な処理を保持することが望ましいであろう。例えば、直線１０１２は、広告掲示板上に示される所定の広告に関係なく、広告掲示板画像の前面に永久に存在するものと考えられ得る。加えて、本システムは、境界ボックス構成１００８の中に分離領域を含み得る。広告掲示板上に新たな及び／又は異なる広告を適切に合成するためである。

【0062】

別の実施例は、次に広告掲示板上の場所にマップされ得るテクスチャ（ｔｅｘｔｕｒｅ）を提供することであり得る。例えば、グラフィクス処理ユニット（ＧＰＵ）といった、幾何変換（ｇｅｏｍｅｔｒｉｃ ｔｒａｎｓｆｏｒｍ）モジュールを使用することによるものである。

【0063】

加えて、既存のＥＤＲビデオストリームの中へのリアルタイム合成のため、アルファチャンネルと結合されたアピアランス／ＤＭメタデータが、情報をビデオ画像の中に合成するために使用され得る。このことは、ムービー映像に現れる広告掲示板上で広告を交換するのを助けるために使用され得る。ムービーのアピアランスパラメータが知られている場合、観察者が合成に気付くことなく、広告がマップされ得る。再生機器におけるコンピューティングパワーが増大すれば、このことは近い将来に実現可能である。

【0064】

既存の画像／ビデオに対する追加コンテンツの追加
古い画像／ビデオコンテンツを修復、及び／又は、再フォーマットする場合には、新たな、追加のコンテンツを加えるために、そうした古いコンテンツの中の領域を特定することが望ましい。例えば、古いムービー／ＴＶショーにおいて貴重な広告領域を特定することができる。一つの実施例において、ＶＤＲグレードのムービーに対する幾何マッピング機能が、この合成の実行を手助けするために使用され得る。ピクセル／頂点（ｖｅｒｔｅｘ）シェイダ（ｓｈａｄｅｒ）プログラムは（例えば、コンピュータグラフィクス／ゲームにおいてしばしば使用されるように）、また、以下に説明されるように、そうしたＶＤＲストリームの中に新たなコンテンツを合成することを手助けするために使用され得る。

【0065】

図１１は、新たなコンテンツのための領域の特定を実行すること、および、そうした新たなコンテンツの既存及び／又は古いコンテンツの中への合成の実行に係る一つの実施例（１１００）である。

【0066】

古いコンテンツに関する修復の場合、システム１１００は、ムービー／ＴＶショー１１０４の所有者と共同して貴重な広告領域を特定し得る。このことは、オフラインプロセス１１０２によって実行され得るもので、頂点とピクセルのシェイダプログラム１１０６を作成するために使用され得る。そうしたシェイダプログラムは、あらゆるテクスチャ（例えば、長方形画像１１１２）を、ＶＤＲストリームの中に合成するために必要な２次元形状へと、どのようにマップするかを説明するだろう。一つの実施例において、そうしたシェイダプログラム１１０６の作成には、少しの追加のコスト／労力がかかり得る。全てのムービーではなく、興味の領域（例えば、広告）にだけ行われることを要するからである。これは、自動的、半自動的（特徴追跡、動きベクトル解析、等といった、コンピュータビジョンアプローチを使用するもの）、または、手動（アーチストによって実行されるもの）であってよい。

【0067】

頂点とピクセルのシェイダプログラム１１０６は、次に、ムービー／ＴＶショーに備えられ、ＤＶＲメタデータのサブセットを作成する。ＶＤＲストリームに添付されたメタデータとして、または、外部の手段（例えば、インターネット）を介して、いずれかで提供されるものである。

【0068】

このマッピング機能（１１０６）は、今や、適切な境界ボックス（１１１８）において、長方形のテクスチャ（１１１２）から適切なマップされたピクセルデータ（１１１２’）へ行くために使用され得る。幾何マッパーとシェイダ（１１１６）と共に、頂点とピクセルのシェイダプログラム（１１０６）を使用することによるものである。

【0069】

最終境界ボックス（１１１８）は、今や、第１の画像／ビデオデータ（１１０４’、１１３０以降）のマップされた出力に一致または実質的に一致するためのＤＭモジュール（１１２９）を使用して、ダイナミックレンジ及び／又は色域（または他の画像特性）の中にマップされ得る。両方のＤＭモジュール（１１２０と１１３０）は、一致するマッピング結果を作成するために、同一または同様なＶＤＲメタデータセット１１０８を使用し得ることに留意すべきである。今や、あらゆる他の合成物（例えば、１１２２および１１２６といった入力を使用するＧＵＩ、ＣＣ、等）を伴ってＶＤＲムービー（１１３２）の中に合成され得る。画像コンポジタモジュール１１２８を使用して、図１０Ａ、１０Ｂ、および１０Ｃにおいて説明されたのと同一の方法によるものである。このことは、表示され得る知覚的に正しく合成された広告を含むＶＤＲムービーを結果として生じる。

【0070】

一つの実施例において、プログラム１１０６は、（一度作成されると）あらゆる新たなコンテンツ１１０８を用いていつまでも再使用され得る。広告主は、テクスチャ、および、（いくつかの実施例においては）アピアランスマッピングデータ（例えば、ロゴまたはプロダクトといった、彼らの広告に係るエレメントの正確な比色定量記述）を提供する必要があるだけである。ムービーをＶＤＲに修復／再評価しながら作成された頂点とピクセルのシェイダプログラムを使用するＶＤＲムービーの中にテクスチャをおおよそマップすることが可能であろう。この実施例は、単一フレームのテクスチャに限定されるものではないことに留意すべきである。広告クリップ（例えば、短編映画）を使用することも有効である。

【0071】

本発明の一つまたはそれ以上の実施例の詳細な説明が、本発明の主旨を説明する添付の図面と一緒に読み上げられて、ここまで提供されてきた。本発明は、そうした実施例に関連して説明されるが、あらゆる実施例に対して限定されるものでないことが、正しく理解されるべきである。本発明の範囲は、請求項によってのみ限定されるものであり、かつ、本発明は、数多くの代替、変形、および均等物を包含するものである。本発明について完全な理解を提供するために、この明細書においては数多くの詳細が明らかにされてきた。これらの詳細は、例示目的のために提供されるものであり、本発明は、これら所定の詳細のいくつかまたは全てが無くても、請求項に従って実施され得る。明確化の目的のために、本発明に関連する技術分野において既知の技術的事項は、詳細には説明されてきていない。本発明が、不必要に不明瞭にならないためである。

【0072】

上記の実施形態につき以下の付記を残しておく。
（付記１）
第２の画像を第１の画像の上にオーバーレイする方法であって、
前記第１の画像と前記第２の画像を受取るステップであり、前記第１の画像は、ダイナミックレンジとサイズが前記第２の画像と異なる、ステップと、
前記第１の画像に関する第１のメタデータを受取るステップと、
前記第２の画像に関する第２のメタデータを受取るステップと、
調整された第２の画像を決定するために、前記第２の画像のアピアランスマッピングを実行するステップであり、前記調整された第２の画像は、ダイナミックレンジが前記第２の画像と異なり、前記第１のメタデータおよび前記第２のメタデータに従っている、ステップと、
前記調整された第２の画像を前記第１の画像の少なくとも一部分の上にオーバーレイして合成画像を形成するステップと、
を含む、方法。
（付記２）
前記第１の画像は、グループのうちの一つを含み、
前記グループは、ＨＤＲ画像/ビデオ、ＥＤＲ画像/ビデオ、および、ＶＤＲ画像/ビデオ、を含む、
請求項１に記載の方法。
（付記３）
前記第１の画像に関する第１のメタデータを受取るステップは、さらに、
前記第１の画像に関する画像統計を受取るステップ、を含む、
請求項２に記載の方法。
（付記４）
前記画像統計は、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、ダイナミックレンジ、反射的白色、色温度、白色点、色域、および、カラーパレット、を含む、
請求項３に記載の方法。
（付記５）
前記第２の画像は、グループのうちの一つを含み、
前記グループは、グラフィクス、クローズドキャプション、テキスト、ビデオオーバーレイ、ＧＵＩ、ＴＶガイド、放送会社からの信号、コンテンツ作成からの信号、サブタイトル、セットトップボックスからの信号、および、ＡＶ受信器からの信号、を含む、
請求項２に記載の方法。
（付記６）
前記第２の画像に関する第２のメタデータを受取るステップは、さらに、
前記第２の画像に関する画像統計を受取るステップ、を含む、
請求項５に記載の方法。
（付記７）
前記画像統計は、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、ダイナミックレンジ、反射的白色、色温度、白色点、色域、および、カラーパレット、を含む、
請求項６に記載の方法。
（付記８）
前記アピアランスマッピングを実行するステップは、さらに、
前記第１の画像の前記ダイナミックレンジに従って、前記第２の画像の前記ダイナミックレンジをマッピングするステップ、を含む、
請求項１に記載の方法。
（付記９）
前記アピアランスマッピングを実行するステップは、さらに、
前記第１の画像の色域に従って、前記第２の画像の色域をマッピングするステップ、を含む、
請求項１に記載の方法。
（付記１０）
前記アピアランスマッピングを実行するステップは、さらに、
前記第１の画像の輝度に従って、前記第２の画像の輝度をマッピングするステップ、を含む、
請求項１に記載の方法。
（付記１１）
前記方法は、さらに、
ディスプレイの特性に関するメタデータを受取るステップ、を含む、
請求項１に記載の方法。
（付記１２）
前記ディスプレイの特性に関する前記メタデータは、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、反射的白色、色温度、白色点、色域、を含む、
請求項１１に記載の方法。
（付記１３）
前記アピアランスマッピングを実行するステップは、さらに、
前記ディスプレイの特性に関する前記メタデータに従って、前記第２の画像をマッピングするステップ、を含む、
請求項１２に記載の方法。
（付記１４）
前記方法は、さらに、
第３の画像を前記第１の画像と合成するように、前記第３の画像をマッピングするステップ、を含み、
前記第３の画像は、前記第１の画像と以前に合成された前記第２の画像のサブセットを置き換えるものである、
請求項１に記載の方法。
（付記１５）
第１の画像の上に第２の画像を合成するためのシステムであって、
前記第１の画像を受取ることが可能なディスプレイ管理モジュールと、
前記第２の画像を受取ることが可能なコンポジタモジュールであり、さらに、
前記第１の画像に関するメタデータを受取ることが可能であり、かつ、前記第１の画像に関する前記メタデータに従ってアピアランスマップされた第２の画像を形成するために、アピアランスマッピングを実行することが可能である、
コンポジタモジュールと、
前記アピアランスマップされた第２の画像を合成画像を形成するために前記第１の画像の上に混合することが可能な混合モジュールであり、前記合成画像はディスプレイ上に描写されるものである、混合モジュールと、
を含む、システム。
（付記１６）
前記システムは、さらに、
画像／ビデオストリームから画像統計を計算することが可能な画像統計計算モジュール、を含む、
請求項１５に記載のシステム。
（付記１７）
前記画像統計計算モジュールは、グループのうちの一つを含み、
前記グループは、平均輝度、最小輝度、中間輝度、最大輝度、ダイナミックレンジ、反射的白色、色温度、白色点、色域、および、カラーパレット、を含む、
請求項１６に記載のシステム。
（付記１８）
前記コンポジタモジュールは、アピアランスマッピングを実行することが可能であり、
前記アピアランスマッピングは、さらに、グループのうちの一つを含み、
前記グループは、輝度マッピング、ダイナミックレンジマッピング、および色域マッピング、を含む、
請求項１７に記載のシステム。
（付記１９）
前記システムは、さらに、
第１の画像との合成画像を含む前記第２の画像のサブセットを第３の画像/ビデオデータと置き換えることが可能な動的マッピングモジュール、を含む、
請求項１５に記載のシステム。
（付記２０）
前記動的マッピングモジュールは、
合成画像の中の第１のコンテンツを前記合成画像の中の第２のコンテンツと置き換えることが可能である、
請求項１６に記載のシステム。
（付記２１）
第１の画像セットを第２の画像セットに置き換える動的コンテンツ置換のための方法であって、
前記第１の画像セットは、第１のコンテンツの中に画像のサブセットを含み、
前記方法は、
第１のコンテンツを受取るステップと、
前記第１のコンテンツの中の第１の画像セットを特定するステップであり、前記第１の画像セットは置き換えられるべきものである、ステップと、
前記第１の画像セットに関するＶＤＲメタデータを作成するステップと、
第２のコンテンツを受取るステップであり、前記第２の画像セットは、前記第１の画像セットを置き換えるものである、ステップと、
前記第２の画像セットを中間第２の画像セットにマッピングするステップと、
前記ＶＤＲメタデータに従って、前記第１の画像セットを前記中間第２の画像セットと置き換えるステップと、
所望の画像特性に従って、前記中間第２の画像セットをマッピングするステップと、
を含む、方法。
（付記２２）
前記所望の画像特性は、グループのうちの一つを含み、
前記グループは、ダイナミックレンジおよび色域、を含む、
請求項２１に記載の方法。
（付記２３）
前記第２の画像セットを中間第２の画像セットにマッピングするステップは、さらに、
前記第２の画像セットを境界ボックスにマッピングするステップ、を含む、
請求項２１に記載の方法。
（付記２４）
前記第１の画像セットに関するＶＤＲメタデータを作成するステップは、さらに、
前記第１のコンテンツに従って、シェイダプログラムを作成するステップ、を含む、
請求項２１に記載の方法。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11】