特表 2024-539613 画像及びビデオ・データのコンテキスト依存カラー・マッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-29

(54)【発明の名称】画像及びビデオ・データのコンテキスト依存カラー・マッピング

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241022BHJP

【ＦＩ】

G06T1/00 500B

G06T1/00 280

G06T1/00 315

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024521773

(86)(22)【出願日】2022-09-28

(85)【翻訳文提出日】2024-04-10

(86)【国際出願番号】 US2022045050

(87)【国際公開番号】W WO2023064105

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】21201948.3

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/254,196

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】クンケル，ティモ

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA12

5B057CA13

5B057CA16

5B057CB01

5B057CB13

5B057CC02

5B057CD14

5B057CE14

5B057DA07

5B057DA08

5B057DA16

5B057DB06

5B057DB09

(57)【要約】

システム及び方法はカラー・マッピング処理を実行する。一例のシステムは画像データのポスト・プロダクション編集を実行するプロセッサを含む。プロセッサは、画像の第1の領域を特定し、画像の第2の領域を特定するように構成されている。第1の領域は、第1のトーンを有する第1のホワイト・ポイントを含み、第2の領域は、第2のトーンを有する第2のホワイト・ポイントを含む。プロセッサは、第1のトーンに基づいてカラー・マッピング関数を決定し、カラー・マッピング関数を画像の第2の領域に適用し、出力画像を生成するように更に構成されている。

【特許請求の範囲】

【請求項1】

コンテキスト依存カラー・マッピングのためのビデオ配信システムであって：
複数の画像フレームを含むビデオ・データのポスト・プロダクション編集を実行するプロセッサを備え、前記プロセッサは：
前記画像フレームのうちの1つの第1の領域であって第1のトーンを有する第1のホワイト・ポイントを含む第1の領域を特定し；
前記画像フレームのうちの1つの第2の領域であって第2のトーンを有する第2のホワイト・ポイントを含む第2の領域を特定し；
前記第1のトーン及び前記第2のトーンに基づいてカラー・マッピング関数を決定し；
前記カラー・マッピング関数を前記第2の領域に適用し；及び
前記複数の画像フレームの各々について出力画像を生成する；
ように構成されている、ビデオ配信システム。

【請求項2】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記画像フレームのうちの1つに関連する深度マップを受信し；及び
前記深度マップを表面メッシュに変換する；
ように構成されている、ビデオ配信システム。

【請求項3】

請求項2に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記表面メッシュを利用して、前記画像フレームのうちの1つのカメラ視点からレイ・トレーシング処理を実行し；
前記レイ・トレーシング処理に基づいてバイナリ・マスクを生成する；
ように構成されており、前記バイナリ・マスクは前記第1のホワイト・ポイントと前記第2のホワイト・ポイントの反射を示す、ビデオ配信システム。

【請求項4】

請求項2に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記表面メッシュに基づいて、前記画像フレームのうちの1つに対する表面垂直勾配変化アルファ・マスクを生成し；
前記画像フレームのうちの1つに対する空間距離アルファ・マスクを生成し；及び
前記表面垂直勾配変化アルファ・マスクと前記空間距離アルファ・マスクとに基づいて、前記カラー・マッピング関数を決定する；
ように構成されている、ビデオ配信システム。

【請求項5】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記画像フレームのうちの1つに対して3次元カラー点群を生成し；
各々の点群ピクセルをラベル付けする；
ように構成されている、ビデオ配信システム。

【請求項6】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記画像フレームの1つにおける各ピクセルに対して、前記ピクセルの値、前記第1のトーン、及び前記第2のトーンの間の距離を決定する；
ように構成されている、ビデオ配信システム。

【請求項7】

請求項1に記載のビデオ配信システムにおいて、前記第2の領域はビデオ・ディスプレイ・デバイスであり、前記プロセッサは、更に：
前記第2の領域の中でセカンダリ画像を特定し；
前記セカンダリ画像のコピーをサーバーから受信し；
前記第2の領域の中の前記セカンダリ画像を、前記セカンダリ画像のコピーで置換する；
ように構成されており、前記サーバーから受信される前記セカンダリ画像のコピーは、前記第2の領域の中で特定される前記セカンダリ画像よりも、高い解像度、高いダイナミック・レンジ、又は広い色域のうちの少なくとも1つを有する、ビデオ配信システム。

【請求項8】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記ビデオ・データに関連付けられるカメラの動作特性を決定し；
バックドロップ・ディスプレイの動作特性を決定する；
ように構成されており、前記カラー・マッピング関数は、前記カメラの動作特性及び前記バックドロップ・ディスプレイの動作特性に更に基づいている、ビデオ配信システム。

【請求項9】

請求項8に記載のビデオ配信システムにおいて、前記ビデオ・データに関連付けられるカメラは前記ビデオ・データを取り込むために使用されるカメラであり、前記画像フレームのうちの1つの前記第2の領域の少なくとも一部分は、前記バックドロップ・ディスプレイの少なくとも一部分を表現している、ビデオ配信システム。

【請求項10】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
背景画像を作成するために、前記画像フレームのうちの1つから、前記第2の領域を差し引き；
以後の画像フレームにわたって、前記背景画像における少なくとも1つのピクセルに対する値の変化を特定し；
前記値の変化に応じて、前記カラー・マッピング関数を、前記背景画像における少なくとも1つのピクセルに適用する；
ように構成されている、ビデオ配信システム。

【請求項11】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
バックドロップ・ディスプレイを介して表示される第2のビデオ・データに対してトーン・マッピング処理を実行し；
前記トーン・マッピング処理に基づいてマッピング関数を記録し；
前記マッピング関数のインバースを、前記画像フレームのうちの1つに適用する；
ように構成されている、ビデオ配信システム。

【請求項12】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記画像フレームのうちの1つの第3の領域であって前記第2の領域により定められる光源の反射を含む第3の領域を特定し；
前記カラー・マッピング関数を、前記第3の領域に適用する；
ように構成されている、ビデオ配信システム。

【請求項13】

請求項1に記載のビデオ配信システムにおいて、前記プロセッサは、更に：
前記カラー・マッピング関数をメタデータとして記憶し；
前記メタデータ及び前記出力画像を、外部デバイスへ伝送する；
ように構成されている、ビデオ配信システム。

【請求項14】

請求項1ないし13のうちの何れか一項に記載のビデオ配信システムの前記プロセッサが実行するように設定されている処理を含む方法。

【請求項15】

請求項14に記載の方法を含む処理を電子プロセッサに実行させるコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 関連出願の相互参照
本件出願は、2021年10月11日付で出願された欧州特許出願第21201948.3号、及び2021年10月11日付けで出願された米国仮特許出願第63/254,196号に対する優先権を主張しており、これら各々の内容は、その全体の参照により本件に組み込まれる。

【0002】

[0002] 本開示の分野
本件出願は、一般に、画像カラー・マッピングのシステム及び方法に関連する。

【背景技術】

【0003】

[0003] 関連技術の説明
デジタル画像及びビデオ・データは、望まれないノイズ及びミスマッチなカラー・トーンをしばしば含んでいる。画像処理技術は画像を改めるために使用されることが多い。このような画像技術は、例えば、フィルタを適用すること、色を変更すること、物体を識別することなどを含む可能性がある。ノイズ及びミスマッチな色は、画像又はビデオ・データ（取り込まれた又は撮影されたテレビジョンなど）内でのディスプレイ・デバイスの描写方法、及び画像又はビデオ・データを取り込むために使用されるカメラ、についての制限の結果である可能性がある。周囲光が、望ましくないノイズを発生させたり、或いは、画像やビデオ・データのカラー・トーンに影響を与えたりする可能性もある。

【発明の概要】

【0004】

[0004] カメラで撮影された内容（又はコンテンツ）は、フレームの内部及び外部の両方で、近くの他の光源とは異なる色温度又はトーンで光を投影する電子放射ディスプレイを含む可能性がある。例えば、画像フレーム内の白色点又はホワイト・ポイント（white points）は、色温度において相違する可能性がある。画像フレームをキャプチャするために使用されるカメラ及びキャプチャするディスプレイのダイナミック・レンジとルミナンス・レンジは相違している可能性がある。更に、キャプチャするディスプレイ又は光源の全体的なカラー・ボリューム・レンディション（color volume rendition）及びそれらの反射は、画像フレームをキャプチャするために使用されるカメラのものと相違する可能性がある。そこで、画像フレーム内の色温度及びトーンを補正する技術が開発されている。その技術は、画像フレームを捕捉するために使用されるカメラのデバイス特性を更に償う可能性がある。

【0005】

[0005] 本開示の様々な態様は、画像及びビデオ・データをカラー・マッピングするためのデバイス、システム、及び方法に関連する。

【0006】

[0006] 本開示の一例の態様では、コンテキスト依存カラー・マッピング（context-dependent color mapping）のためのビデオ配信システムが提供される。ビデオ配信システムは、複数の画像フレームを含むビデオ・データのポスト・プロダクション編集（post-production editing）を実行するプロセッサを備える。プロセッサは、画像フレームのうちの1つの第1の領域を特定し、画像フレームのうちの1つの第2の領域を特定するように構成されている。第1の領域は、第1のトーンを有する第1のホワイト・ポイントを含み、第2の領域は、第2のトーンを有する第2のホワイト・ポイントを含む。プロセッサは、第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し、カラー・マッピング関数を第2の領域に適用し、複数の画像フレームの各々について出力画像を生成するように更に構成されている。

【0007】

[0007] 本開示の別の例示的な態様では、画像データのコンテキスト依存カラー・マッピングのための方法が提供される。方法は、画像の第1の領域を特定し、画像の第2の領域を特定することを含む。第1の領域は第1のトーンを有する第1のホワイト・ポイントを含み、第2の領域は第2のトーンを有する第2のホワイト・ポイントを含む。方法は、第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し、カラー・マッピング関数を画像の第2の領域に適用し、出力画像を生成することを含む。

【0008】

[0008] 本開示の別の例示的な態様では、命令を記憶する非一時的なコンピュータ読み取り可能な媒体が提供され、命令は、画像配信システムのプロセッサにより実行されると、画像の第1の領域を特定し、画像の第2の領域を特定することを含む処理を、画像配信システムに実行させる。第1の領域は第1のトーンを有する第1のホワイト・ポイントを含み、第2の領域は第2のトーンを有する第2のホワイト・ポイントを含む。処理は、第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し、カラー・マッピング関数を画像の第2の領域に適用し、出力画像を生成することを含む。

【0009】

[0009] このようにして、本開示の様々な態様は、高いダイナミック・レンジ、広い色域（color gamut）、高いフレーム・レート、及び高い解像度を有する画像の表示、並びに改善効果を、少なくとも画像投影、画像表示、ホログラフィー、信号処理などの技術分野において提供する。

【図面の簡単な説明】

【0010】

[0010] 様々な実施形態のこれら及びその他のより詳細で具体的な特徴は、添付図面を参照して、以下の説明においてより十分に開示されている。

【0011】

【図1】[0011] 図1は、画像配信パイプラインのための例示的なプロセスを示す。

【0012】

【図2】[0012] 図2は、カメラによってキャプチャされた例示的な画像を示す。

【0013】

【図3】[0013] 図3は、光源を特定するための例示的なプロセスを示す。

【0014】

【図4】[0014] 図4は、反射を特定するための例示的なプロセスを示す。

【0015】

【図5A】[0015] 図5Aは、例示的なレイ・トレーシング処理を示す。

【図5B】[0015] 図5Bは、例示的なレイ・トレーシング処理を示す。

【0016】

【図6】[0016] 図6は、カラー・マッピング処理のための例示的なプロセスを示す。

【0017】

【図7】[0017] 図7は、カラー・マッピング処理に続く図2の例示的な画像フレームを示す。

【0018】

【図8】[0018] 図8は、例示的なコンテンツ・キャプチャ環境を示す。

【0019】

【図9】[0019] 図9は、カラー・マッピング処理のための例示的なプロセスを示す。

【0020】

【図10】[0020] 図10は、図9のプロセスを実行するための例示的なパイプラインを示す。

【0021】

【図11】[0021] 図11は、カラー・マッピング処理のための例示的なプロセスを示す。

【発明を実施するための形態】

【0022】

[0022] 本開示及びその態様は、ハードウェア、デバイス又は回路であってコンピュータ実施方法によって制御されるもの、コンピュータ・プログラム製品、コンピュータ・システム及びネットワーク、ユーザー・インターフェース、並びにアプリケーション・プログラミング・インターフェース；並びにハードウェア実施方法、信号処理回路、メモリ・アレイ、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）などを含む、様々な形態で実施される可能性がある。上記は、本開示の様々な態様の一般的な考えを与えることだけを意図しており、如何なる方法によっても本開示の範囲を限定するものではない。

【0023】

[0023] 以下の説明では、本開示の1つ以上の態様の理解をもたらすために、光学デバイス構成、タイミング、動作のような多くの詳細が述べられる。これらの具体的な詳細は単に例示的なものであるに過ぎず、本件出願の範囲を限定するようには意図されていない、ということは当業者には直ちに明らかであろう。

【0024】

[0024] HDR信号のビデオ・コーディング
図1は、画像キャプチャから画像内容表示までの様々な段階を示す画像配信パイプライン（100）の例示的なプロセスを示す。ビデオ・フレーム（102）のシーケンスを含む可能性のある画像（102）は、画像生成ブロック（105）を用いて取り込まれるか又は生成される。画像データ（107）を提供するために、画像（102）は、（例えば、デジタル・カメラによって）デジタル的に取り込まれ、又は（例えば、コンピュータ・アニメーションを使用して）コンピュータによって生成されることが可能である。代替的に、画像（102）は、フィルム・カメラによってフィルム上に取り込まれてもよい。フィルムは、画像データ（107）を提供するためにデジタル・フォーマットに変換される。制作フェーズ（110）では、画像データ（107）を編集して制作画像ストリーム（112）を提供する。

【0025】

[0025] 次いで、制作画像ストリーム（112）の画像データは、ブロック（115）において、ポスト・プロダクション編集のためにプロセッサ（又は中央処理ユニット（CPU）のような1つ以上のプロセッサ）に提供される。ブロック（115）のポスト・プロダクション編集は、画像クリエータの創造的な意図に従って、画像品質を向上させたり又は画像の特定の外観を実現したりするために、画像の特定の領域における色又は輝度を調整又は修正することを含む可能性がある。これは、時折、「カラー・タイミング（color timing）」又は「カラー・グレーディング（color grading）」と呼ばれることがある。本件で説明される方法は、ブロック（115）においてプロセッサによって実行される可能性がある。他の編集（例えば、シーン選択及びシーケンス処理、画像クロッピング、コンピュータで生成される視覚的特殊効果の追加など）が、配信のための製品の最終バージョン（117）を生成するために、ブロック（115）において実行されてもよい。ポスト・プロダクション編集（115）の間に、画像又はビデオ画像は、リファレンス・ディスプレイ（125）上で眺められる。リファレンス・ディスプレイ（125）は、必要に応じて、消費者レベルのディスプレイ又はプロジェクタであってもよい。

【0026】

[0026] ポスト・プロダクション（115）に続いて、最終プロダクション（117）の画像データは、コンピュータ・モニタ、テレビジョン・セット、セット・トップ・ボックス、映画館などのような復号化及び再生デバイスの方へ下流に配信するために、符号化ブロック（120）に運ばれてもよい。一部の実施形態では、コーディング・ブロック（120）は、コーディングされたビット・ストリーム（122）を生成するために、ATSC，DVB，DVD，Blu-Ray，及びその他の配信フォーマットによって定義されるもののようなオーディオ及びビデオ・エンコーダを含む可能性がある。受信機では、コーディングされたビット・ストリーム（122）は、復号化ユニット（130）によって復号化され、信号（117）と同一の又は非常に近接したものを表現する復号化された信号（132）を生成する。受信機は、リファレンス・ディスプレイ（125）とは全く異なる特性を有する可能性のあるターゲット・ディスプレイ（140）に取り付ける可能性がある。その場合、ディスプレイ・マッピングされた信号（137）を生成することによって、復号化された信号（132）のダイナミック・レンジを、ターゲット・ディスプレイ（140）の特性にマッピングするために、ディスプレイ管理ブロック（135）を使用することが可能である。本件で説明される追加方法は、復号化ユニット（130）又はでぃすぷレイ管理ブロック（135）によって実行される可能性がある。復号化ユニット（130）とディスプレイ管理ブロック（135）は、それぞれ独自のプロセッサを含んでいてもよいし、或いは、1つの処理ユニットに統合されていてもよい。本開示は、ターゲット・ディスプレイ（140）に言及しているが、これは単なる一例であるに過ぎないことが理解されるであろう。ターゲット・ディスプレイ（140）は、光を表示又は投影するように構成された任意のデバイス：例えば、コンピュータ・ディスプレイ、テレビ、OLEDディスプレイ、LCDディスプレイ、量子ドット・ディスプレイ、映画、コンシューマ、及びその他の市販の投影システム、ヘッド・アップ・ディスプレイ、仮想現実ディスプレイなどを含むことが可能である、ということが更に理解されるであろう。

【0027】

[0027] 変動する光温度を識別する方法
上述のように、画像（102）のような取り込まれた画像は、ビデオ・ディスプレイ（例えば、テレビ、コンピュータ・モニタなど）及び室内照明デバイス（例えば、ランプ、窓、天井照明など）のような複数の異なる光源、並びに、これらの照明デバイスの反射を含む可能性がある。取り込まれた画像は、1つ以上の静止画像、及びビデオ内の1つ以上の画像フレームを含む可能性がある。例えば、図2は、第1の光源（202）及び第2の光源（204）を有する画像フレーム（200）を提供する。第1の光源（202）と第2の光源（204）は、それぞれ異なる温度（又はトーン）の光を発する可能性がある。図2の例では、第1の光源（202）は、第2の光源（204）よりも暖かいトーンの光を発する。第1の光源（202）と第2の光源（204）の両方から投射される光は、画像フレーム（200）内で反射を生じる。具体的には、第2の光源（204）は反射（206）を生成し、そこでは、画像フレーム（200）内の物体に光が当たっている。一部の実装では、画像フレーム（200）は、第1の光源（202）、第2の光源（204）、又はそれらの組み合わせからの光によって影響を受ける可能性のある別の物体を含む。

【0028】

[0028] 図3は、画像内の様々なトーンの光源を識別する方法（300）を提供する。方法（300）は、例えば、ポスト・プロダクション編集のためのブロック（115）におけるプロセッサによって実行されてもよい。ステップ（302）において、プロセッサは、画像フレーム（200）のような画像を受信する。一部の実装では、画像フレーム（200）を受信すると、プロセッサは、画像フレーム（200）を捕捉するために使用されるカメラのレンズ形状及びシェーディング・アーチファクトを考慮するために、画像フレーム（200）を補正するか、又は他の方法で修正する。

【0029】

[0029] ステップ（304）において、プロセッサは、第1のホワイト・ポイントを有する第1の領域を特定する。例えば、第1の光源（202）が第1の領域として特定されてもよい。プロセッサは、第1の領域と同一又は類似のカラー・トーン値を有する複数のピクセルを識別することが可能である。ステップ（306）において、プロセッサは、第2のホワイト・ポイントを有する第2の領域を特定する。例えば、第2の光源（204）が第2の領域として特定されてもよい。第1の領域及び第2の領域の識別は、コンピュータ・ビジョン・アルゴリズム又は同様な機械学習ベースのアルゴリズムを使用して実行されてもよい。一部の実施形態では、プロセッサは、第2の領域の輪郭（outline）を更に識別する。例えば、輪郭（又は境界（border））（208）は、第2の光源（204）によって発せられる直接光を含むものとして識別されてもよい。ステップ（308）において、プロセッサは、そのアウトライン、第2の領域を識別するアルファ・マスク（alpha mask）、及び/又はその他の情報を格納する。

【0030】

[0030] 光反射を識別する方法
必要に応じて、光源からの反射が決定されてもよい。例えば、図4は、光源の反射を識別する方法（400）を提供する。方法（400）は、例えば、ポスト・プロダクション編集のためのブロック（115）におけるプロセッサによって実行されてもよい。ステップ（402）において、プロセッサは、画像フレームの入力深度マップを受信する（200）。深度マップは、光検出及びレンジング（LiDAR）デバイス、レーダー、音響レーダー、機械学習アルゴリズム、ステレオ画像からの深度、その他の技術、又は、これら及びその他の技術の組み合わせにより受信することが可能である。ステップ（404）において、プロセッサは、入力深度マップを表面メッシュに変換する。メッシュは、深度マップ内のオブジェクト（又は物体）の空間位置とその表面方向を定める。ステップ（406）において、プロセッサは、空間的に第2の領域の中に位置付けられる表面メッシュの点を特定する。これにより、第2の光源（204）を投影している物体又はデバイスが特定される。一部の実装では、プロセッサがアウトライン（208）を表面メッシュにマッピングする。

【0031】

[0031] ステップ（408）において、プロセッサは、画像フレーム（200）内のシーンの中で、カメラの視点からのレイ・トレーシング処理（ray tracing operation）を実行する。例えば、図5A及び図5Bは、例示的なレイ・トレーシング処理を提示している。図5Aは、第1の環境（500）内で第1の光源（202）によって投影される光（例えば、第1のホワイト・ポイントを有する光）WP1を示す。点線504は、カメラ（502）にとって可視的である環境（500）内のコンテンツのアウトライン（従って、対応する画像フレーム（200）に含まれるもの）である。換言すれば、点線（504）は、カメラ502の視野を示す。コンテンツは、オブジェクト（506）と、ディスプレイ・デバイス（508）（例えば、テレビ）とを含む。光WP2（例えば、第2のホワイト・ポイントを有する光）は、ディスプレイ・デバイス（508）（例えば、第2の光源（204））によってカメラ502へ直接的に投射される。破線510は、カメラ（502）の視野の一部分であって、ディスプレイ・デバイス（508）が現れる部分を示す。実線（512）は、第1の光源（202）（図示せず）により投影された光線WP1を示す。光線512は、第1の光源202から直接的に受光される光線と、それまでに表面で反射された反射光とを含む。オブジェクト（506）の表面法線は、深度マップに基づいて決定されてもよい。

【0032】

[0032] 図5Bは、第2の光源（204）（例えば、第2の環境（550）内のディスプレイ・デバイス（508））によって投影される光を示す。点線504は、第1の環境500と同様に、カメラ502にとって可視的である第2の環境550内のコンテンツのアウトラインである。破線510は、ディスプレイ・デバイス508によって投影される光のアウトラインであって、カメラ502によって直接的に受光されるものを特定する。オブジェクト（506）に向かってディスプレイ・デバイス（508）により投射される光は、実線（555）で表現されている。実線（555）によって表現される光は、カメラ（502）によって受光される前に、オブジェクト（506）で反射する可能性がある。オブジェクト（506）の表面法線は、深度マップに基づいて決定されてもよい。

【0033】

[0033] ディスプレイ・デバイス（508）（又は、第2の光源（204）のような何らかの他の光源）によって投影される光の反射は、ステップ（406）において特定されたメッシュ表面の表面法線における光線を追跡することによって決定されることが可能である。光線が視点カメラ（viewport camera）（502）から進行し、表面法線で反射し、最終的に第2の光源（204）のアウトライン（208）内側の点と交差する場合、光線は第2の光源（204）の反射として決定される。ステップ（410）において、プロセッサは、レイ・トレーシング処理に基づいてバイナリ又はアルファ・マスクを生成する。例えば、表面マップの各点には、第2の光源（204）からの光線がそれぞれの点に当たる（即ち、交わる）かどうかに基づいて、バイナリ値又はアルファ値が付与されることが可能である。これにより、第2の光源（204）により投影された光の反射が決定される。一部の実装において、バイナリ値ではなく、1から10までの値、1から100までの値、0から1までの10進値など、のような確率値又はアルファ値が、表面マップの各点に与えられてもよい。反射は、閾値を超える確率値に基づいて決定されてもよい。例えば、1から10のスケールでは、5を超える何らかの値は、第2の光源（204）の反射であると判断される。確率閾値は、ポスト・プロダクション編集（115）間に調整されてもよい。

【0034】

[0034] 一部の実装では、第2の光源（204）によって投影される光の反射は、複数の連続する画像フレームを分析することによって決定される。例えば、ビデオ・データ（102）内の幾つかの画像フレームは、同一又は類似の環境（環境500など）をキャプチャすることが可能である。その環境内で、また、ある画像フレームから次の画像フレームへ（カメラ及びシーンは、別の方法では、比較的静的な位置にあると仮定する）、ピクセル値の変化は、第2の光源（204）によって投影される光の変化から生じている、と判断されてもよい。従って、プロセッサは、後続の画像フレーム内のどのピクセルの値が変化するかを識別することが可能である。これらの変化するピクセルは、アウトライン（208）を識別するために使用されてもよい。更に、プロセッサは、後続の画像フレーム内のどのピクセルが、アウトライン（208）の外側で値を変化させるかを観察して、第2の光源（204）の反射を決定することが可能である。

【0035】

[0035] 色再構成方法
第1及び第2の領域を識別し、バイナリ又はアルファ・マスクを取得したことに続いて、プロセッサは、カラー・マッピング処理を実行して、第2の領域のカラー・トーン及びそれに対応する反射を調整する。図6は、色構成処理を実行するための方法（600）を提示している。方法（600）は、例えば、ポスト・プロダクション編集のためのブロック（115）におけるプロセッサによって実行されてもよい。
ステップ（602）において、プロセッサは、第2の領域の外側のピクセルを特定する。例えば、プロセッサは、アウトライン208の外側を識別する。
ステップ（604）において、プロセッサは、3次元カラー点群（three-dimensional color point cloud）を作成する。例えば、ICtCp色空間、CIELAB色空間などのカラー・ボリュームを作成する。
ステップ（606）において、プロセッサは、ステップ（408）において実行されたレイ・トレーシング処理からの結果に基づいて、カラー点群の内側の各点をラベル付けする。例えば、カラー点群内の各点は、
“WP1”（例えば、第1の領域の一部、第1の領域内、第1のホワイト・ポイント、第1の光源（202）など）、
“WP2直接”（例えば、第2の光源（204）からの直接的又は直後の反射である）、又は
“WP2間接”（例えば、第2の光源（204）からの間接的又は二次的な反射である）としてラベル付けされてもよい。

【0036】

[0036] ステップ（608）において、プロセッサは、第1の領域と第2の領域との間の境界を特定する。これらの境界は、ピクセルがWP1又はWP2のどちらとしてラベル付けされているかを決定するために使用されるカラー値（R，G，B値など）を定める。一部の実施形態では、色境界は、k平均クラスタリングのようなクラスタ分析演算を用いて決定される。クラスタ分析では、幾つかのアルゴリズムを使用して、互いに類似するオブジェクトのセットをグループ化することが可能である。k平均クラスタリングでは、各ピクセルはベクトルとして提供される。アルゴリズムは、各ベクトルを取り込み、単一の平均ベクトルによってピクセルの各クラスタを表現する。階層的クラスタリング、バイクラスタリング（biclustering）、自己組織化マップのような他のクラスタリング方法が使用されてもよい。プロセッサは、クラスタ分析の結果を用いて、レイ・トレーシング処理の精度を確実にすることができる。

【0037】

[0037] ステップ（610）において、プロセッサは、各ホワイト・ポイントに対する各ピクセルの色近接度（color proximity）を算出する。例えば、“WP2直接”又は“WP2間接”とラベル付けされた各ピクセルの値は、ステップ（608）で識別されたk平均境界の値及び第2のホワイト・ポイントの値と比較される。“WP1”とラベル付けされた各ピクセルの値は、ステップ（608）で識別されたk平均境界の値及び第1のホワイト・ポイントの値と比較される。ステップ（612）において、プロセッサは、ホワイト・ポイント調整用のウェイト・マップ（weight map）を生成する。例えば、
第1のホワイト・ポイントとk平均境界との間の色近接距離が距離閾値（例えば75％）未満である各ピクセルは、ホワイト・ポイント調整を受けない（例えば、0.0のウェイト値となる）。
第2のホワイト・ポイントとk平均境界との間の色近接距離が距離閾値未満である各ピクセルは、完全なホワイト・ポイント調整を受ける（例えば、1.0のウェイト値となる）。
これらの距離閾値の間のピクセルは、第1のホワイト・ポイントと第2のホワイト・ポイントとの間で重み付けされ（例えば、0.0と1.0との間の値）、強すぎる色境界を回避する。

【0038】

[0038] ウェイト・マップを生成した後に、アウトライン（208）内のピクセルには、完全なホワイト・ポイント調整のためにウェイト値1.0を付与される。
ステップ（614）において、プロセッサは、ウェイト・マップを画像フレームに適用する（200）。例えば、1.0というウェイト値の何らかのピクセルは、第1のホワイト・ポイントのカラー・トーンに類似するものにカラー・マッピングされる。ウェイト値が0.0ないし1.0の間にある何らかのピクセルは、第1のホワイト・ポイントと第2のホワイト・ポイントとの間にあるカラー・トーンにカラー・マッピングされる。従って、第2の光源（204）及び第2の光源（204）の反射の両方が、第1の光源（202）のトーンに一致するか又は類似するカラー・トーン調整を受ける。
ステップ（616）において、プロセッサは、ビデオ・データ（102）の各画像フレーム（200）に対する出力画像を生成する。幾つかの実装において、出力画像は、適用されたウェイト・マップを伴う画像フレーム（200）である。他の実装では、出力画像は画像フレーム（200）であり、ウェイト・マップはメタデータとして提供される。
図7は、画像フレーム（200）のカラー・マッピングされたバージョンである例示的な第2の画像フレーム（700）を提示している。第2の画像フレーム（700）に示されているように、マッピングされた第2の光源（704）及びマッピングされた反射（706）は、画像フレーム（200）の第2の光源（204）及び反射（206）と比較して、トーン調整を受けている。

【0039】

[0039] 一部の実装では、第2の光源（204）のトーン調整量は、対応するピクセルの位置及び画像フレーム（200）の勾配に依存する。例えば、レイ・トレーシング演算からの結果に基づいてカラー点群内の各点をラベル付けした後（ステップ（606））、プロセッサは、画像フレーム（200）内の各ピクセルがアウトライン（208）からどれだけ離れているかを示す境界マスクを算出することが可能である。例えば、マスクm_expは、ピクセルが第1の光源（202）の一部である可能性がどれだけ高いかを示すアルファ・マスクであってもよい。マスクm_contは、ピクセルが第2の光源（204）の一部であるか、又は第2の光源（204）の反射である可能性がどれだけ高いかを示すアルファ・マスクであってもよい。マスクm_exp及びm_contは、ステップ（606）の出力又はソース・マスクm_sに対して決定される。具体的には、m_expは、第2の光源（204）のアウトライン（208）を越えて（又はそこから遠ざかるように）広がるピクセルのマスクであり、m_contは、アウトライン（208）内で、又は第2の光源（204）の中心に向かって、縮小するピクセルのマスクである。

【0040】

[0040] m_expとm_contの決定に続いて、プロセッサは、ホワイト・ポイント調整のためのウェイト・マップを作成する。ウェイト・マップは、マスクm_exp及びm_contによって提供されるような、各ピクセルからアウトライン（208）までの距離と、マスクm_exp及びm_contの間の表面法線勾配変化（surface normal gradient change）とのの両方に基づいている。一部の実装では、表面法線勾配変化m_Gradientを決定するために、プロセッサは、m_exp,xy，m_cont,xy，及びm_s,xy，又は所与のピクセル（x,y）についての対応するマスク値を観測する。
m_s,xyが1に等しく、m_cont,xyが1に等しくない場合、プロセッサは、ピクセル（x,y）が第2の光源（204）に関連することを、高い確実性（例えば、ほぼ100%の確実性）で判定し、m_Gradient,xyは1の値を付与され、その結果、そのピクセル（x,y）については完全なホワイト・ポイント調整となる。
m_s,xyが0に等しく、m_exp,xyが1に等しくない場合、プロセッサは、ピクセル（x,y）が第1の光源（202）に関連することを、高い確実性で判定し、m_Gradient,xyは0の値を付与され、その結果、そのピクセル（x,y）についてホワイト・ポイント調整は行われない。
これらのレンジ内に該当するピクセルについて、プロセッサは、各ピクセルの表面法線に基づいて、m_exp及びm_contの個々のピクセル間の表面勾配変化を識別する（ステップ（404）からステップ（408））。アルファ・マスクm_Gradientは、表面勾配変化に基づいて重み付けされ、その結果、より小さな勾配変化を伴うピクセル（x,y）は、より多くの量のホワイト・ポイント調整を受け、より大きな勾配変化を伴うピクセル（x,y）は、より少ないホワイト・ポイント調整を受ける。一部の実装では、m_Gradientの値を決定するために、所定の閾値がプロセッサによって使用される可能性がある。例えば、ピクセルは、2％と10％の間の勾配変化の任意の値に対して線型に重み付けされることが可能である。従って、2％未満の勾配変化を伴う何らかのピクセルは、1の値を付与され、10％より大きな勾配変化を伴う何らかのピクセルは、0の値を付与される。これらの閾値は、ユーザー入力に基づいてポスト・プロダクション編集中に変更される可能性がある。

【0041】

[0041] 一部の実装では、各ピクセルからアウトライン（208）までの距離を決定するために、アウトライン（208）によって定義される境界が「センター（center）」として決定され、距離マスクm_Distanceは、アウトライン（208）直上のピクセルに対して0.5の値を有する。
空間的にm_exp,xyに向かうピクセル（即ち、第2の光源（204）の中心から遠ざかるもの）について、m_Distanceの値は減少する。例えば、アウトライン（208）から1ピクセル離れたピクセル（x,y）は、0.4のm_Distanceを有する可能性があり、アウトライン（208）から2ピクセル離れたピクセル（x,y）は、0.3のm_Distanceを有する可能性がある、等々となる。あるいは、
空間的にm_cont,xyに向かうピクセル（即ち、第2の光源（204）の中心に向かうもの）について、m_Distanceの値は増加する。例えば、アウトライン（208）から1ピクセル離れたピクセル（x,y）は、0.6のm_Distanceを有する可能性があり、アウトライン（208）から2ピクセル離れたピクセル（x,y）は、0.7のm_Distanceを有する可能性がある、等々となる。
m_Distanceが増加又は減少するレートは、ユーザー入力に基づいて、ポスト・プロダクション編集中に変更されることが可能である。

【0042】

[0042] ホワイト・ポイント調整に使用される最終的なアルファ・マスクm_Finalは、m_Gradientとm_Distanceに基づく可能性がある。具体的には、m_Gradientとm_Distanceは、最終的なアルファ・マスクm_Finalを生成するために乗算されてもよい。m_Finalを使用することは、第2の光源（204）と第1の光源（202）によって生成される何らかの背景光との間の空間境界を平滑化する結果となる。しかしながら、第2の光源（204）とアウトライン（208）を超えるピクセルとの間の表面勾配変化が非常に大きい場合、最終的なアルファ・マスクm_Finalは、これらのピクセル間の調整を滑らかにしない可能性があり、ピクセル間の相違（variance）は維持される可能性がある。一部の実装では、ピクセル間の厳しい空間境界を回避するために、ステップ（612）で生成されたウェイト・マップ、又は代替的にウェイト・マップm_Finalは、ガウシアン畳み込み（Gaussian convolution）によってぼかされてもよい。ガウシアン畳み込みの畳み込みカーネルは、ピクセルが第2の光源（204）内にあるか又は反射（206）であるかに基づいて、異なるパラメータを有する可能性がある。

【0043】

[0043] 一部の実装では、プロセッサによって実行されるカラー・マッピングの量は、ユーザーによって変更されてもよい。例えば、ポスト・プロダクション・ブロック（115）は、マッピングされる第2の光源（704）のトーンを調整することをユーザーにもたらす可能性がある。一部の実装では、ユーザーは、トーン・スライダ（tone slider）を動かすことによって、マッピングされた第2の光源（704）及びマッピングされた反射（706）のカラー・トーンを選択する。トーン・スライダは、第1の光源（202）と第2の光源（204）のカラー・トーンの間で複数のトーンを規定することが可能である。一部の実装では、ユーザーは、第1の光源（202）及び第2の光源（204）に類似するトーン以外の追加のカラー・トーンを選択する可能性がある。ユーザーは、ウェイト・マップの値、又は、バイナリ若しくはアルファ・マスクの値を、直接的に調整する可能性がある。また、ユーザーは、アウトライン（208）を直接的に提供することによって、画像フレーム（200）内の第2の光源（204）を直接的に選択する可能性がある。更に、ユーザーは、ピクセルに、完全なホワイト・ポイント調整（例えば、1.0のウェイト値）、中間のホワイト・ポイント調整（例えば、0.0と1.0の間のウェイト値）、又はホワイト・ポイント調整が施されるか、又はホワイト・ポイント調整が施されないかを決定するために、色近接距離閾値を調整することが可能である。

【0044】

[0044] 一部の実装では、第1の光源（202）からの周囲光（ambient light）は、第2の光源（204）自体で跳ね返り、第2の光源（204）のディスプレイ内に反射（例えば、ほとんど大域的、拡散的、又はランバート環境反射）を生成する可能性がある。このような場合、ウェイト・マップは、第2の光源のピクセル・ルミナンス又は相対輝度の関数として、「WP1」のラベルが付されたピクセルを、第2のホワイト・ポイントに対して重み付けすることが可能である（204）。これは、全ピクセル「WP2」に対して、グローバル・ウェイトを加えることによって、促進又は実現されることが可能である。従って、第2の光源（204）の全体的な画像トーンの影響は、低減される可能性がある。更に、このグローバル・ウェイトは、「WP2」のラベルが付されたピクセルのルミナンス又は輝度によって変調されることが可能である。暗いピクセルは、ディスプレイ・スクリーンの拡散反射を経由して「WP1」による影響を受ける可能性が高い一方、明るいピクセルは、ディスプレイのアクティブなホワイト・ポイント（「WP2」）を表す。

【0045】

[0045] ウェイト・マップ及びバイナリ又はアルファ・マスクは、コーディングされたビット・ストリーム（122）とともに含まれるメタデータとして提供されてもよい。従って、ポスト・プロダクション・ブロック（115）でカラー・マッピングを実行するのではなく、デコード・ユニット（130）又はデコード・ユニット（130）に関連付けられるプロセッサによって、カラー・マッピングが実行されてもよい。一部の実装では、ユーザーは、ウェイト・マップをメタデータとして受信し、コーディングされたビットストリーム（122）の復号化の後に、ウェイト・マップの値又はトーン・カラーをマニュアルで変更することが可能である。

【0046】

[0046] 第2の光源（204）がディスプレイ・デバイス（例えば、ディスプレイ・デバイス（508））である実装では、プロセッサは、ディスプレイ・デバイス上に示されるコンテンツを識別することが可能である。具体的には、プロセッサは、ディスプレイ・デバイス上で提供されるコンテンツが、ビデオ配信パイプライン（100）に関連するサーバーに格納されている、ということを判定する可能性がある。このような判定のための技術は、米国特許第9,819,974号「改善された画像処理及びコンテンツ配信のための画像メタデータ作成」に見受けられ、その全体が参照により本件に援用される。プロセッサは、次いで、サーバーからコンテンツを取り出し、画像フレーム（200）内のディスプレイ・デバイス上に示されるコンテンツを、サーバーからのコンテンツで置換することが可能である。サーバーを用いるコンテンツは、より高い解像度及び/又はより高いダイナミック・レンジのものである可能性がある。従って、画像フレーム（200）から失われた詳細は、そのような置換によって取り戻される可能性がある。一部の実装では、ディスプレイ上に表示されるコンテンツ全体を置き換えるのではなく、プロセッサは、ディスプレイ上に表示されるコンテンツとサーバーに格納されたコンテンツとの間の差異を識別する。次いで、プロセッサは、識別された差異のみを追加又は置換する。更に、一部の実装では、置換されたコンテンツにノイズが追加され直される可能性がある。ノイズの量は、ユーザーによって設定されてもよいし、画像フレーム（200）の周囲のコンテンツと置換されたコンテンツとの間の現実性（realism）を維持するためにプロセッサによって決定されてもよい。既存のビデオ・コンテンツのダイナミック・レンジを改善又は変更するために最適化された機械学習プログラム又はその他のアルゴリズムが適用されてもよい。

【0047】

[0047] ダイナミック・カラー・マッピング
コンテンツ制作では、発光ダイオード（LED）壁のようなアクティブ・ディスプレイを用いて、リアルタイムで背景を表示することが増えている。従って、撮影環境の一部又は全体でさえ、ディスプレイ・デバイスで構築する可能性がある。
図8は、複数のディスプレイ・デバイス（802）（例えば、第1のディスプレイ802a、第2のディスプレイ802b、第3のディスプレイ802c）と、カメラ（804）とにより構成される例示的な撮影環境（800）を示す。しかしながら、複数のディスプレイ・デバイス（802）のルミナンス・レンジ及び/又はカメラ（804）の能力は、HDRコンテンツ制作に要求される極値に到達することができない場合がある。例えば、複数のディスプレイ装置（802）における最大ルミナンス限界が、制作のためには低すぎて、その結果、撮影されるシーン外部からの追加のシーン照明と組み合わされた際に、撮影された映像が、鈍かったり（dull）、さもなければ非現実的であったりするように見えてしまう可能性がある。また、複数のディスプレイ・デバイス（802）のルミナンス・レンジは、カメラ（804）の能力と相違し、複数のディスプレイ・デバイス（802）で提供されるコンテンツの品質と、カメラ（804）によってキャプチャされるコンテンツの品質との間に差異が生じる可能性がある。

【0048】

[0048] 図9は、撮影環境（800）のような撮影環境の中でカラー・マッピング処理を実行するための方法（900）を提示している。方法（900）は、例えば、ポスト・プロダクション編集のためのブロック（115）におけるプロセッサによって実行されてもよい。
ステップ（902）において、プロセッサは、複数のディスプレイ・デバイス（802）のようなバックドロップ・ディスプレイ（backdrop display）の動作特性を識別する。例えば、プロセッサは、バックドロップ・ディスプレイのスペクトル放出能力を特定し、角度依存性のようなバックドロップ・ディスプレイの角度特性を見ることが可能である。これらは、画像のキャプチャ角度に基づいて、バックドロップ・ディスプレイの色及び輝度がどのように変化するかを識別するのことに役立つ可能性がある。
ステップ（904）において、プロセッサは、カメラ（804）のような撮影環境（800）をキャプチャするために使用されるカメラの動作特性を識別する。カメラ（804）の動作特性は、例えば、レンズの分光透過率（spectral transmittance）、レンズの日ネッティング（vignetting）、レンズのシェーディング、レンズのフリンジング（fringing）、カメラの分光感度、カメラの光感度、及びカメラの信号対雑音比（SNR）（又はダイナミック・レンジ）などを含む可能性がある。複数のディスプレイ・デバイス（802）の動作特性及びカメラ（804）の動作特性は、両方とも、プロセッサによって取り出されたメタデータに基づいて特定されてもよい。

【0049】

[0049] ステップ（906）において、プロセッサは、バックドロップ・ディスプレイを介して提供されるコンテンツに対してトーン・マッピング処理を実行する。コンテンツのトーン・マッピングは、コンテンツを、複数のディスプレイ・デバイス（802）及びカメラ（804）の動作特性、従ってその制限に適合させる。一部の実装では、トーン・マッピング処理は、より高い輝度を達成するために、一部のピクセルにおけるトーン詳細をクリッピングすることを含む。これは、複数のディスプレイ・デバイス（802）によって提供される信号を、カメラ（804）によってキャプチャされる信号に一致させることが可能である。
ステップ（908）において、プロセッサは、対応するマップ関数を記録する。例えば、トーン・マッピング処理のマップ関数はメタデータとして記憶され、その結果、下流のプロセッサは、キャプチャされた画像のトーン・カーブ・マップを反転することが可能になる。

【0050】

[0050] ステップ（910）において、プロセッサは、カメラ（804）を用いてシーンをキャプチャして、画像フレーム（200）を生成する。
ステップ（912）において、プロセッサは、画像フレーム（200）を処理する（200）。例えば、プロセッサは、撮影環境（800）の深度マップを受信することが可能である（800）。
プロセッサは、方法（400）に関して説明したように、撮影環境（800）内の光の反射を識別することが可能である。しかしながら、照明源は、カメラ（804）の視点を越えて存在してもよい。一部の実装では、これらの照明源は、プロセッサによって既知であり、視点調整のために使用されてもよい。あるいは、カメラ（804）のビューポートを越える照明は、ミラー・ボールを用いてアクセス可能なものであってもよい。カメラ（804）及び/又はプロセッサは、ミラー・ボールを使用して、撮影環境（800）内の何らかの光の発生を決定することが可能である。カメラ（804）のビューポートを越える照明はまた、LiDARキャプチャ又は同様な技術を用いて決定されてもよい。例えば、複数のディスプレイ・デバイス（802）のそれぞれに、テスト・パターンが提供されてもよい。何らかの非表示の光源が、照明を提供するためにオン（on）に変えられる。照明がオンであり、テスト・パターンが表示されている状態で、撮影環境（800）は、LiDARキャプチャを使用してスキャンされる。このようにして、カメラ（804）によって撮影される撮影環境（800）のモデルは、カメラ（804）の視点からの深度マップと同じ幾何学的な世界観になることが可能である。

【0051】

[0051] 図10は、方法（900）を実行することが可能な例示的なパイプライン（1000）を提示している。更に、パイプライン（1000）は、ポスト・プロダクション編集中にバックドロップ・ディスプレイに提供されるコンテンツを追加又は変更するためのプロセスを提供する。バックドロップ・レンダラ（1002）は、ブロック（1004）においてバックドロップ・コンテンツを生成する。バックドロップ・コンテンツは、第1のプロセッサ（1006）に提供されるHDR信号である。第1のプロセッサ（1006）は、HDR信号にトーン・マッピング処理を実行して、HDR信号を、複数のディスプレイ・デバイス（802）のようなバックドロップ・ディスプレイの物理的限界にマッピングする。トーン・マッピング処理を記述するメタデータは、第1のプロセッサ（1006）から第2のプロセッサ（1008）へ提供されることが可能である。次いで、マッピングされたHDR信号は、撮影環境（800）内の複数のディスプレイ・デバイス（802）に提供される。カメラ（804）は、ディスプレイ・デバイス（802）を介して提供されるコンテンツ、撮影環境（800）内の物体（806）、及び、撮影環境（800）に提供され撮影環境（800）内で反射される周囲光、を含む撮影環境（800）をキャプチャする。

【0052】

[0052] 第2のプロセッサ（1008）は、撮影された撮影環境（800）と、撮影環境の深度マップ（800）とを受信する。第2のプロセッサ（1008）は、方法（900）に関連して説明された処理を実行し、その処理は、撮影環境（800）の世界ジオメトリを検出すること、撮影環境（800）内の光の反射を識別すること、トーン・マッピング関数のインバースを決定及び適用すること、並びに、カメラ（804）及び複数のディスプレイ・デバイス（802）の特性を決定することを含む。カメラ（804）によってキャプチャされるコンテンツを見るための出力HDR信号は、後処理及び分配ブロック（1010）に提供され、このブロックは、コンテンツをターゲット・ディスプレイ（140）に提供する。

【0053】

[0053] 方法（900）は、グローバル・トーン・マッピング関数（例えば、複数のディスプレイ・デバイス（802）のための単一のトーン曲線）を述べている、ローカル・トーン・マッピング関数が使用されてもよい。
図11は、トーン・マッピング関数に空間的重み付けを適用するプロセス（1100）を示す。ソースHDR画像（1102）が、第1のプロセッサ（1104）に提供される。第1のプロセッサ（1104）は、ステップ（1106）において、前景レイヤ（foreground layer）と変調レイヤ（modulation layer）とに分離されるソースHDR画像（1102）を分離する。分離は、二重変調光フィールド・アルゴリズム（“Dolby Professional Reference Monitor”とともに使用されるもの、又は二重層符号化アルゴリズムからのものなど）又はその他の逆演算処理が可能なローカル・トーン・マッピング演算子（invertible local tone mapping operators）を介して達成されることが可能である。次いで、ステップ（1108）において、「小さくされた（reduced）」画像が複数のディスプレイ・デバイス（802）を介して提供される。撮影環境（800）はカメラ804によってキャプチャされ、キャプチャされたビデオ・データと変調レイヤとの双方が第2のプロセッサ1110に提供される。第2のプロセッサ（110）は、複数のディスプレイ・デバイス（802）を介して提供されるコンテンツを検出し、インバース・トーン・マッピング機能を適用する。次いで、ステップ（1112）において、再構成されたHDRビデオ・データと変調レイヤがダウンストリーム・パイプラインに提供される。

【0054】

[0054] 時間的補償もまた、前述のカラー・マッピング処理を実行する場合に使用される可能性がある。例えば、複数のディスプレイ・デバイス（802）を介して提供されるコンテンツは、ビデオ・データの進路で変化する可能性がある。これらの経時的変化は、第1のプロセッサ（1006）によって記録される可能性がある。一例として、複数のディスプレイ・デバイス（802）によって提供されるコンテンツの輝度レベルの変化は、プロセッサ（1006）によって処理されてもよいが、撮影中に、照明の僅かな変化だけは、複数のディスプレイ・ディスプレイ（802）によって提供される。撮影環境（800）のキャプチャに続いて、意図される照明変化は、後処理の際に、ビデオ・データ「の中に配置される（placed into）」。別の例として、「夜間ショット（night shots）」又は夜間照明は、十分なシーン照明を保持するために、後処理の際にシミュレートされてもよい。他の照明の好みの設定又は外観もまた実装されてもよい。

【0055】

[0055] マトリクス発光ディスプレイ（LED）デバイスなどのような非ディスプレイ光源（Non-display light sources）も、撮影環境（800）で実装される可能性がある。オフ・スクリーン・フィル及びキー・ライト（Off-screen fill and key lights）は、キャプチャ後のビデオ・データの過剰な拡張を回避するために制御及びバランスさせることが可能である。ポスト・プロダクション・プロセッサ（115）は、直接的に反射されるハイライトに対して、撮影環境（800）内の実際の物体での拡散反射をバランスさせることが可能である。例えば、反射は、目、水分、脂性肌などのような光沢のある表面からのものである可能性がある。また、カメラ（804）によって直接的に撮像されるオン・スクリーン光源（on-screen light sources）が、複数のディスプレイ・デバイス（802）を介して表示されてもよい。次いで、オン・スクリーン光源は、トーン・マッピングされ、キャプチャ後に、それらの意図された輝度に戻されることが可能である。

【0056】

[0056] 上記のビデオ配信システム及び方法は、視聴者の適応状態に基づいて、ルミナンス調整を行うことが可能である。本開示によるシステム、方法、及びデバイスは、以下の構成のうちの任意の1つ以上を採用する可能性がある。

【0057】

[0057] (1)コンテキスト依存カラー・マッピングのためのビデオ配信システムであって、ビデオ配信システムは：複数の画像フレームを含むビデオ・データのポスト・プロダクション編集を実行するプロセッサを備える。プロセッサは：画像フレームのうちの1つの第1の領域であって第1のトーンを有する第1のホワイト・ポイントを含む第1の領域を特定し；画像フレームのうちの1つの第2の領域であって第2のトーンを有する第2のホワイト・ポイントを含む第2の領域を特定し；第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し；カラー・マッピング関数を第2の領域に適用し；及び複数の画像フレームの各々について出力画像を生成する；ように構成されている。

【0058】

[0058] （2）（1）によるビデオ配信システムにおいて、プロセッサは、更に：
画像フレームのうちの1つに関連する深度マップを受信し；及び
深度マップを表面メッシュに変換する；ように構成されている。

【0059】

[0059] （3）（2）によるビデオ配信システムにおいて、プロセッサは、更に：
表面メッシュを利用して、画像フレームのうちの1つのカメラ視点からレイ・トレーシング処理を実行し；
レイ・トレーシング処理に基づいてバイナリ・マスクを生成する；
ように構成されており、バイナリ・マスクは第1のホワイト・ポイントと第2のホワイト・ポイントの反射を示す。

【0060】

[0060] （4）（2）又は（3）によるビデオ配信システムにおいて、プロセッサは、更に：
表面メッシュに基づいて、画像フレームのうちの1つに対する表面垂直勾配変化アルファ・マスクを生成し；
画像フレームのうちの1つに対する空間距離アルファ・マスクを生成し；及び
表面垂直勾配変化アルファ・マスクと空間距離アルファ・マスクとに基づいて、カラー・マッピング関数を決定する；ように構成されている。

【0061】

[0061] （5）（1）ないし（4）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
背景画像に対する3次元カラー点群を生成し；
各々の点群ピクセルをラベル付けする；ように構成されている。

【0062】

[0062] （6）（1）ないし（5）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
画像フレームの1つにおける各ピクセルに対して、ピクセルの値、第1のトーン、及び第2のトーンの間の距離を決定する；ように構成されている。

【0063】

[0063] （7）（1）ないし（6）のうちの何れかによるビデオ配信システムにおいて、第2の領域はビデオ・ディスプレイ・デバイスにあり、プロセッサは、更に：
第2の領域の中でセカンダリ画像を特定し；
セカンダリ画像のコピーをサーバーから受信し；
第2の領域の中のセカンダリ画像を、セカンダリ画像のコピーで置換する；
ように構成されており、サーバーから受信されるセカンダリ画像のコピーは、第2の領域の中で特定されるセカンダリ画像よりも、高い解像度、高いダイナミック・レンジ、又は広い色域のうちの少なくとも1つを有している。

【0064】

[0064] （8）（1）ないし（7）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
ビデオ・データに関連付けられるカメラの動作特性を決定し；
バックドロップ・ディスプレイの動作特性を決定する；
ように構成されており、カラー・マッピング関数は、カメラの動作特性及びバックドロップ・ディスプレイの動作特性に更に基づいている。

【0065】

[0065] （9）（1）ないし（8）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
背景画像を作成するために、画像フレームのうちの1つから、第2の領域を差し引き；
以後の画像フレームにわたって、背景画像における少なくとも1つのピクセルに対する値の変化を特定し；
値の変化に応じて、カラー・マッピング関数を、背景画像における少なくとも1つのピクセルに適用する；ように構成されている。

【0066】

[0066] （10）（1）ないし（9）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
バックドロップ・ディスプレイを介して表示される第2のビデオ・データに対してトーン・マッピング処理を実行し；
トーン・マッピング処理に基づいてマッピング関数を記録し；
マッピング関数のインバースを、画像フレームのうちの1つに適用する；ように構成されている。

【0067】

[0067] （11）（1）ないし（10）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
画像フレームのうちの1つの第3の領域であって第2の領域により定められる光源の反射を含む第3の領域を特定し；
カラー・マッピング関数を、第3の領域に適用する；ように構成されている。

【0068】

[0068] （12）（1）ないし（11）のうちの何れかによるビデオ配信システムにおいて、プロセッサは、更に：
カラー・マッピング関数をメタデータとして記憶し；
メタデータ及び出力画像を、外部デバイスへ伝送する；ように構成されている。

【0069】

[0069] （13）コンテキスト依存カラー・マッピングのための方法であって、当該方法は：
画像の第1の領域であって第1のトーンを有する第1のホワイト・ポイントを含む第1の領域を特定し；
画像の第2の領域であって第2のトーンを有する第2のホワイト・ポイントを含む第2の領域を特定し；
第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し；
カラー・マッピング関数を画像の第2の領域に適用し；及び
出力画像を生成するステップを含む。

【0070】

[0070] （14）（13）による方法において、更に：
画像の第3の領域であって第2の領域により定められる光源の反射を含む第3の領域を特定し；
カラー・マッピング関数を、第3の領域に適用するステップを含む。

【0071】

[0071] （15）（13）又は（14）による方法において、更に：
画像に関連する深度マップを受信し；
深度マップを表面メッシュに変換するステップを含む。

【0072】

[0072] （16）（15）による方法において、更に：
表面メッシュを利用して、画像フレームのうちの1つのカメラ視点からレイ・トレーシング処理を実行し；
レイ・トレーシング処理に基づいてバイナリ・マスクを生成するステップを含み；
バイナリ・マスクは第1のホワイト・ポイントと第2のホワイト・ポイントの反射を示す。

【0073】

[0073] （17）（15）又は（16）による方法において、更に：
表面メッシュに基づいて、画像に対する表面垂直勾配変化アルファ・マスクを生成し；
画像に対する空間距離アルファ・マスクを生成し；及び
表面垂直勾配変化アルファ・マスクと空間距離アルファ・マスクとに基づいて、カラー・マッピング関数を決定するステップを含む。

【0074】

[0074] （18）（13）ないし（17）のうちの何れかによる方法において、更に：
背景画像を作成するために、画像から第2の領域を差し引き；
背景画像に対する3次元カラー点群を生成し；
各々の点群ピクセルをラベル付けするステップを含む。

【0075】

[0075] （19）（13）ないし（18）のうちの何れかによる方法において、更に：
画像データに関連付けられるカメラの動作特性を決定し；
バックドロップ・ディスプレイの動作特性を決定するステップを含み；
カラー・マッピング関数は、カメラの動作特性及びバックドロップ・ディスプレイの動作特性に更に基づいている。

【0076】

[0076] （20）命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、命令は、電子プロセッサにより実行されると、（13）ないし（20）のうちの何れかによる処理を電子プロセッサに実行させる。

【0077】

[0077] 本件で説明されたプロセス、システム、方法、発見的方法などに関し、そのようなプロセス等のステップは、ある順序付けられたシーケンスに従って生じているように説明されているが、そのようなプロセスは、本件で説明された順序以外の順序で実行される説明済みステップで実施されることが可能である、ということが理解されるべきである。更に、ある複数のステップは同時に実行される可能性があること、他のステップが追加される可能性があること、又は、本件で説明されたステップを省略される可能性があること、が理解されるべきである。換言すると、本件におけるプロセスの説明は、特定の実施形態を例示する目的で提示されており、決して、クレームを限定するように解釈されるべきではない。

【0078】

[0078] 従って、上記の説明は、例示的であり、限定的ではないように意図されていることは、理解されるべきである。提示された実施例以外の多くの実施形態及び応用例は、上記の説明を読めば明らかであろう。本件の範囲は、上記の説明を参照して決定されるべきではなく、その代わりに、添付のクレームを、係るクレームが享受している均等物の全範囲とともに参照ながら決定されるべきである。将来の開発が本件で説明された技術において生じるであろうということ、及び、開示されたシステム及び方法はそのような将来の実施形態に組み込まれるであろうということが予想され、意図されている。要するに、本件出願は修正及び変形が可能である、ということが理解されるべきである。

【0079】

[0079] クレームで使用されている全ての用語は、本件において反意が明示的になされていない限り、本件で説明される技術に精通している者によって理解されるように、それらの最も広い合理的な構成及びそれらの通常の意味が付与されることが意図されている。特に、「ある（a）」、「その（the）」、「前記（said）」等のような単独の冠詞的な表現の使用は、クレームが明示的限定を別意に記載していない限り、示されている要素の1つ以上を記載しているように理解されるべきである。

【0080】

[0080] 本開示の要約は、読者が技術的開示の性質を迅速に把握することを可能にするために提供されている。それは、クレームの範囲又は意味を解釈又は限定するために使用されないであろうという理解の下に提出されている。更に、前述の詳細な説明において、開示を簡素化するために、様々な特徴が様々な実施形態において一緒にグループ化されている、ということが分かる。この開示方法は、クレームされる実施形態が各クレームに明示的に記載されているよりも多くの特徴を組み込んでいるという意図を反映しているものとして解釈されるべきではない。むしろ、以下のクレームが反映しているように、発明の対象事項は、単一の開示された実施形態の全ての特徴よりも少ないものの中にある。従って、以下のクレームは本件において詳細な説明に組み込まれ、各クレームは、別個にクレームされる対象事項としてそれ自体で成立している。

【0081】

[0081] 本発明の様々な態様は以下に列挙される例示的な実施形態（enumerated example embodiments，EEEs）から把握することが可能である：
EEE1.
コンテキスト依存カラー・マッピングのためのビデオ配信システムであって、ビデオ配信システムは：
複数の画像フレームを含むビデオ・データのポスト・プロダクション編集（post-production editing）を実行するプロセッサを備え、プロセッサは：
画像フレームのうちの1つの第1の領域であって第1のトーンを有する第1のホワイト・ポイントを含む第1の領域を特定し；
画像フレームのうちの1つの第2の領域であって第2のトーンを有する第2のホワイト・ポイントを含む第2の領域を特定し；
第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し；
カラー・マッピング関数を第2の領域に適用し；及び
複数の画像フレームの各々について出力画像を生成する；ように構成されている。
EEE2.
EEE1のビデオ配信システムにおいて、プロセッサは、更に：
画像フレームのうちの1つに関連する深度マップを受信し；
深度マップを表面メッシュに変換する；ように構成されている。
EEE3.
EEE2のビデオ配信システムにおいて、プロセッサは、更に：
表面メッシュを利用して、画像フレームのうちの1つのカメラ視点からレイ・トレーシング処理（ray tracing operation）を実行し；
レイ・トレーシング処理に基づいてバイナリ・マスクを生成する；
ように構成されており、バイナリ・マスクは第1のホワイト・ポイントと第2のホワイト・ポイントの反射を示す。
EEE4.
EEE2又は3のビデオ配信システムにおいて、プロセッサは、更に：
表面メッシュに基づいて、画像フレームのうちの1つに対する表面垂直勾配変化アルファ・マスク（surface normal gradient change alpha mask）を生成し；
画像フレームのうちの1つに対する空間距離アルファ・マスク（spatial distance alpha mask）を生成し；及び
表面垂直勾配変化アルファ・マスクと空間距離アルファ・マスクとに基づいて、カラー・マッピング関数を決定する；ように構成されている。
EEE5.
EEE1ないし4のうちの何れかのビデオ配信システムにおいて、プロセッサは、更に：
画像フレームのうちの1つに対して3次元カラー点群を生成し；
各々の点群ピクセルをラベル付けする；ように構成されている。
EEE6.
EEE1ないし5のうちの何れかのビデオ配信システムにおいて、プロセッサは、更に：
画像フレームの1つにおける各ピクセルに対して、ピクセルの値、第1のトーン、及び第2のトーンの間の距離を決定する；ように構成されている。
EEE7.
EEE1ないし6のうちの何れかのビデオ配信システムにおいて、第2の領域はビデオ・ディスプレイ・デバイスにあり、プロセッサは、更に：
第2の領域の中でセカンダリ画像を特定し；
セカンダリ画像のコピーをサーバーから受信し；
第2の領域の中のセカンダリ画像を、セカンダリ画像のコピーで置換する；
ように構成されており、サーバーから受信されるセカンダリ画像のコピーは、第2の領域の中で特定されるセカンダリ画像よりも、高い解像度、高いダイナミック・レンジ、又は広い色域のうちの少なくとも1つを有している。
EEE8.
EEE1ないし7のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
ビデオ・データに関連付けられるカメラの動作特性を決定し；
バックドロップ・ディスプレイ（backdrop display）の動作特性を決定する；
ように構成されており、カラー・マッピング関数は、カメラの動作特性及びバックドロップ・ディスプレイの動作特性に更に基づいている。
EEE9.
EEE1ないし8のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
背景画像を作成するために、画像フレームのうちの1つから、第2の領域を差し引き；
以後の画像フレームにわたって、背景画像における少なくとも1つのピクセルに対する値の変化を特定し；
値の変化に応じて、カラー・マッピング関数を、背景画像における少なくとも1つのピクセルに適用する；ように構成されている。
EEE10.
請求項1ないし9のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
バックドロップ・ディスプレイを介して表示される第2のビデオ・データに対してトーン・マッピング処理を実行し；
トーン・マッピング処理に基づいてマッピング関数を記録し；
マッピング関数のインバースを、画像フレームのうちの1つに適用する；ように構成されている。
EEE11.
EEE1ないし10のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
画像フレームのうちの1つの第3の領域であって第2の領域により定められる光源の反射を含む第3の領域を特定し；
カラー・マッピング関数を、第3の領域に適用する；ように構成されている。
EEE12.
EEE1ないし11のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
カラー・マッピング関数をメタデータとして記憶し；
メタデータ及び出力画像を、外部デバイスへ伝送する；ように構成されている。
EEE13.
コンテキスト依存カラー・マッピングのための方法であって、当該方法は：
画像の第1の領域であって第1のトーンを有する第1のホワイト・ポイントを含む第1の領域を特定し；
画像の第2の領域であって第2のトーンを有する第2のホワイト・ポイントを含む第2の領域を特定し；
第1のトーン及び第2のトーンに基づいてカラー・マッピング関数を決定し；
カラー・マッピング関数を画像の第2の領域に適用し；及び
出力画像を生成するステップを含む。
EEE14.
EEE13による方法において、更に：
画像の第3の領域であって第2の領域により定められる光源の反射を含む第3の領域を特定し；
カラー・マッピング関数を、第3の領域に適用するステップを含む。
EEE15.
EEE13又は14による方法において、更に：
画像に関連する深度マップを受信し；
深度マップを表面メッシュに変換するステップを含む。
EEE16.
EEE15による方法において、更に：
表面メッシュを利用して、画像のカメラ視点からレイ・トレーシング処理を実行し；
レイ・トレーシング処理に基づいてバイナリ・マスクを生成するステップを含み；
バイナリ・マスクは第1のホワイト・ポイントと第2のホワイト・ポイントの反射を示す。
EEE17.
EEE15又は16による方法において、更に：
表面メッシュに基づいて、画像に対する表面垂直勾配変化アルファ・マスクを生成し；
画像に対する空間距離アルファ・マスクを生成し；及び
表面垂直勾配変化アルファ・マスクと空間距離アルファ・マスクとに基づいて、カラー・マッピング関数を決定するステップを含む。
EEE18.
EEE13ないし17のうちの何れかによる方法において、更に：
背景画像を作成するために、画像から第2の領域を差し引き；
背景画像に対する3次元カラー点群を生成し；
各々の点群カラー・ピクセルをラベル付けするステップを含む。
EEE19.
EEE13ないし18のうちの何れかによる方法において、更に：
画像データに関連付けられるカメラの動作特性を決定し；
バックドロップ・ディスプレイの動作特性を決定するステップを含み；
カラー・マッピング関数は、カメラの動作特性及びバックドロップ・ディスプレイの動作特性に更に基づいている。
EEE20.
命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、命令は、電子プロセッサにより実行されると、EEE13ないし20のうちの何れかによる方法を含む処理を電子プロセッサに実行させる。
EEE21.
EEE1ないし12のうちの何れか一項のビデオ配信システムであって、プロセッサは、更に：
画像フレームのうちの1つに対して3次元色空間におけるカラー点群を生成し；
各々の点群ピクセルをラベル付けする；ように構成されている。
EEE22.
EEE5ないし21のうちの何れかのビデオ配信システムにおいて、プロセッサは、レイ・トレーシング処理からの結果に基づいて、カラー点群内の各々の点群ピクセルをラベル付けするように構成されている。
EEE23.
EEE5，21又は22のうちの何れかのビデオ配信システムにおいて、ラベルは、ピクセルが第1の領域又は第2の領域にあるものとして特定されるかどうかを示している。
EEE24.
EEE6のビデオ配信システムにおいて、プロセッサは、ピクセルのラベル及びカラー領域間の境界のうちの1つ以上に基づいて、ピクセルの値、第1のトーン、及び第2のトーンの間の距離を決定するように構成されている。
EEE25.
EEE8のビデオ配信システムにおいて、ビデオ・データに関連付けられるカメラは、ビデオ・データを捕捉する場合に使用されるカメラ及び/又はビデオ・データを捕捉するために使用されるカメラである。
EEE26.
EEE8又は25のビデオ配信システムにおいて、画像フレームのうちの1つの第2の領域の少なくとも一部は、少なくとも、バックドロップ・ディスプレイの一部分を表す。
EEE26.
EEE1ないし12又は21-24のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
第2の領域に基づいて、例えば、第2の領域と第1の領域との間の差分に基づいて、画像フレームのうちの1つから背景画像を作成し；
後続の画像フレームにわたる背景画像内の少なくとも1つのピクセルの値の変化を識別し；
値の変化に応じて、カラー・マッピング関数を、背景画像内の少なくとも1つのピクセルに適用する；ように構成されている。
EEE27.
EEE1ないし12又は21-26のうちの何れか一項のビデオ配信システムにおいて、プロセッサは、更に：
バックドロップ・ディスプレイに供給され、可能性としてバックドロップ・ディスプレイを介して表示される、第2のビデオ・データに対してトーン・マッピング処理を実行し；
トーン・マッピング処理に基づいてマッピング関数を記録し；
マッピング関数のインバースを、画像フレームのうちの1つに適用する；ように構成されている。

[0001]

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】