ホーム > 特許ランキング > ベイラー ユニバーシティ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-17
(54)【発明の名称】過飽和色を表示するためのシステム及び方法
(51)【国際特許分類】
H04N 23/86 20230101AFI20240709BHJP
H04N 5/202 20230101ALI20240709BHJP
【ＦＩ】
H04N23/86
H04N5/202
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023572996
(86)(22)【出願日】2022-06-01
(85)【翻訳文提出日】2024-01-19
(86)【国際出願番号】 US2022031776
(87)【国際公開番号】W WO2022256411
(87)【国際公開日】2022-12-08
(31)【優先権主張番号】63/196,539
(32)【優先日】2021-06-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/748,655
(32)【優先日】2022-05-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】514239372
【氏名又は名称】ベイラー ユニバーシティ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【氏名又は名称】石井 裕充
(72)【発明者】
【氏名】ミッチェル ジェイ ボグダノヴィチ
(72)【発明者】
【氏名】ジェイムス エム デフィリッピス
(72)【発明者】
【氏名】ゲイリー ビー マンドル
(72)【発明者】
【氏名】コーリー ピー カルボナーラ
(72)【発明者】
【氏名】マイケル エフ コーピ
【テーマコード（参考）】
5C066
【Ｆターム（参考）】
5C066AA03
5C066CA08
5C066EA05
5C066GA01
5C066HA02
5C066JA01
(57)【要約】
過飽和色を表示するためのシステム及び方法を開示する。最大輝度を伴う標準システムでの潜在的な白色輝度を伴うディスプレイ又はビューイング装置上での表示のための画像データが、ホワイトポイント付近の色が制限輝度に減少するように処理される。表示色の彩度が増大されるにつれて輝度減衰が減らされる。減少のスケーリングは、線形関数、非線形関数、又は任意の他の関数となるように操作可能である。
【特許請求の範囲】
【請求項1】
原色システムを表示するためのシステムであって、原色信号のセットを含む画像データのセットであって、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とを含む、前記画像データのセットと、
画像データコンバータであって、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能である、前記画像データコンバータと、
少なくとも１つのビューイング装置と
を含み、
前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており、
前記エンコード及び前記デコードは処理済みデータの転送を含み、
前記処理済みデータは制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大し、
前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である、
システム。
【請求項2】
前記少なくとも１つのビューイング装置は前記原色システムを前記画像データのセットに基づいて表示するように動作可能であり、前記少なくとも１つのビューイング装置上に表示された前記原色システムは前記画像データのセットに基づいている、請求項１に記載のシステム。
【請求項3】
前記画像データコンバータは前記原色信号のセットを前記色空間内での前記値のセットに変換するように動作可能である、請求項１に記載のシステム。
【請求項4】
前記画像データコンバータは前記色空間内での前記値のセットを複数の色域に変換するように動作可能である、請求項１に記載のシステム。
【請求項5】
前記画像データコンバータは、前記制限輝度に関する前記処理済みデータを完全サンプリングし、前記２つの測色座標に関する前記処理済みデータをサブサンプリングするように動作可能である、請求項１に記載のシステム。
【請求項6】
前記制限輝度と前記２つの測色座標とに関する前記処理済みデータは完全サンプリングされる、請求項１に記載のシステム。
【請求項7】
前記２つの測色座標はx及びy、u'及びv'、又はCB及びCRである、請求項１に記載のシステム。
【請求項8】
前記エンコードは、前記原色信号のセットをXYZデータに変換することと、前記XYZデータを変換して前記色空間内での前記値のセットを作成することとを含む、請求項１に記載のシステム。
【請求項9】
前記デコードは、前記処理済みデータをXYZデータに変換することと、前記XYZデータを前記少なくとも１つのビューイング装置での表示について動作可能なフォーマットに変換することとを含む、請求項１に記載のシステム。
【請求項10】
前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される、請求項１に記載のシステム。
【請求項11】
前記少なくとも１つの非線形関数はガンマ関数を含み、前記ガンマ関数は1.0を超えるガンマ値を有する、請求項１０に記載のシステム。
【請求項12】
前記エンコードは前記２つの測色座標のスケーリングを含み、それによってスケーリング済み測色座標が作成され、また、前記デコードは前記スケーリング済み測色座標の再スケーリングを含む、請求項１に記載のシステム。
【請求項13】
前記エンコードは約0.25～約0.9の値を伴うデータレート減少関数の適用を含み、及び／又は前記デコードは約1.1～約4の値を伴う逆データレート減少関数の適用を含む、請求項１に記載のシステム。
【請求項14】
前記原色システムは赤緑青（ＲＧＢ）原色システムである、請求項１に記載のシステム。
【請求項15】
前記原色システムは少なくとも４つの原色を含む、請求項１に記載のシステム。
【請求項16】
前記画像データコンバータは特定の色相角範囲及び特定の彩度範囲の中の原色を変更しない、請求項１に記載のシステム。
【請求項17】
原色システムを表示するためのシステムであって、原色信号のセットを含む画像データのセットであって、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とを含む、前記画像データのセットと、
画像データコンバータであって、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能である、前記画像データコンバータと、
セッション記述プロトコル（ＳＤＰ）パラメータのセットと、
少なくとも１つのビューイング装置と
を含み、
前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており、
前記エンコード及び前記デコードは処理済みデータの転送を含み、
前記処理済みデータは制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大し、
前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である、
システム。
【請求項18】
前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される、請求項１７に記載のシステム。
【請求項19】
原色システムを表示するための方法であって、原色信号のセットを含む画像データのセットを提供するステップであって、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とを含む、前記提供するステップと、
画像データコンバータのデジタルインタフェースを用いて前記色空間内での前記画像データのセットをエンコードするステップであって、前記画像データコンバータは少なくとも１つのビューイング装置とネットワーク通信可能とされている、前記エンコードするステップと、
前記輝度を少なくとも１つのビューイング装置の最大輝度値よりも低く下げることによって前記色空間内での前記画像データのセットを処理するステップであって、それによって制限輝度が作成される、前記処理するステップと、
前記画像データコンバータの前記デジタルインタフェースを用いて前記色空間内での前記画像データのセットをデコードするステップと、
前記画像データコンバータが前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するステップと
を含み、
前記エンコード及び前記デコードは処理済みデータの転送を含み、前記処理済みデータは前記制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記２つの測色座標に依存し、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大する、
方法。
【請求項20】
前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラーシステムに関し、また、より具体的には、赤緑青（ＲＧＢ）システム及び多原色システムにおいて過飽和色を表示するためのシステム及び方法に関する。
【0002】
関連出願の相互参照
本願は以下の米国特許及び特許出願に関連し、それらの優先権を主張する。本願は、米国特許出願第17/748,655号（２０２２年５月１９日出願）及び米国仮特許出願第63/196,539号（２０２１年６月３日出願）からの優先権を主張する。米国特許出願第17/748,655号（２０２２年５月１９日出願）は、米国仮特許出願第63/196,539号（２０２１年６月３日出願）に関連し、その優先権を主張する。上記出願の各々の開示全体をここに参照のために取り込まれる。
本願は以下の米国特許及び特許出願に関連し、それらの優先権を主張する。本願は、米国特許出願第17/748,655号（２０２２年５月１９日出願）及び米国仮特許出願第63/196,539号（２０２１年６月３日出願）からの優先権を主張する。米国特許出願第17/748,655号（２０２２年５月１９日出願）は、米国仮特許出願第63/196,539号（２０２１年６月３日出願）に関連し、その優先権を主張する。上記出願の各々の開示全体をここに参照のために取り込まれる。
【背景技術】
【0003】
ディスプレイ内にて増大させた色域システムを提供する方法が先行技術にて一般に知られている。画像処理中にトーンカーブを提供することも先行技術にて一般に知られている。さらに、第１の輝度範囲から第２の輝度範囲に変換することも一般に知られている。
【0004】
先行特許文献には次のものが含まれる。
【0005】
特許文献１（ＲＧＢ値計算装置、発明者：Yasuyuki Shigezane、出願日：2017/02/06、発行日：2019/03/05）は、ＲＧＢ円の円周を６ｘｎ（ｎは１以上の整数）個の部分に等しく分割して、各被分割色のＲＧＢ値を計算するマイクロコンピュータに関する。（２５５，０，０）が参照色の参照ＲＧＢ値として、マイクロコンピュータのＲＯＭ内に格納されている。マイクロコンピュータは、参照ＲＧＢ値を、ＲＧＢ値を見出すべき指定された色と参照色との間でのＲＧＢ円における角度差に応じて、変換するのであり、また、変換済みＲＧＢ値が指定された色のＲＧＢ値と推定する。
【0006】
特許文献２（半導体装置、画像処理システム及びプログラム、発明者：Hiorfumi Kawaguchi、出願日：2015/05/29、発行日：2016/06/21）は、画像処理装置に関し、該装置は、ＲＧＢ色空間内で調整軸として機能するｎ軸（ｎは３以上の整数）の各頂点の色属性の少なくとも一部の調整値を入力として受信する入力インタフェースを提供するように動作可能なディスプレイパネルと、調整データ生成ユニットであって、ｎ軸の各々についてｎ軸の頂点の各々のfollowingインデックスについて示す影響度合いをｎ軸の頂点の各々とＲＧＢ空間内の任意の格子点である標的ポイントとの間の距離に基づいて計算するように動作可能であり、また、ＲＧＢ空間内の標的ポイントの調整済み座標を計算するように動作可能である調整データ生成ユニットとを含む。
【0007】
特許文献３（ディスプレイ用の色混合２原色システム、発明者：Heikenfeld等、出願日：2011/09/01、公開日：2013/10/24）は、ディスプレイ画素に関する。画素は、チャンネルを定義するように用意された第１及び第２の基材を含む。チャンネル内に流体が配置されており、第１の着色剤及び第２の着色剤を含む。第１の着色剤は第１の電荷及び色を有する。第２の着色剤は第１の電荷と極性が逆の第２の電荷及び第１の着色剤との関係で補色的な色を有する。電圧源を伴う第１の電極は、流体と動作可能に結合されており、また、流体内にて第１及び第２の着色剤を動かし並びに画素の少なくとも１つのスペクトル特性を変更するように構成されている。
【0008】
特許文献４（広色域ディスプレイ用のデータ変換の装置及び方法、発明者：Ben-Chorin等、出願日：2012/02/13、発行：2013/12/3）は、カラー画像データを、例えば３次元色空間フォーマットからｎ原色ディスプレイにて使用可能なフォーマットへと変換するための方法及びシステムに関し、ここでｎは３以上である。システムは複数の２次元位置を有する２次元亜空間を定義でき、各位置は、ｎ個の原色値のセット及びｎ原色ディスプレイ入力信号を生成するための第３のスケーリング可能な座標値を表す。さらに、システムは、３原色加法ディスプレイによって再現不能な範囲外画素データを含む３次元色空間入力信号を受信でき、また、データを広色域カラーディスプレイの駆動に適したサイド色域カラー画像画素データに変換できる。
【0009】
特許文献５（メタメリックフィルタリング（metameric filtering）を伴う多原色カラーサブ画素レンダリング、発明者：Elliot等、出願日：2010/07/13、発行日2011/12/20）は、メタマー間で画像データを調整する多原色ディスプレイにて画像データをレンダリングするシステム及び方法に関する。メタマーフィルタリング（metamer filtering）は入力画像コンテンツに基づいていることができ、また、サブ画素値を最適化して画像レンダリング精度又はパーセプションを向上させることができる。最適化は、多くの可能な望ましい効果に応じてなされ得る。１つの実施形態はディスプレイシステムを備えるのであって、該システムは：少なくとも１つのメタマーを含む画像データ値のセットから選択することができるディスプレイと；入力画像データユニットと；入力画像データから空間周波数特徴を抽出する空間周波数検出ユニットと；空間周波数特徴に従ってメタマーから画像データを選択する選択ユニットとを備える。
【0010】
特許文献６（高ブライトネス広色域ディスプレイ、発明者：Roth等、出願日：2009/11/30、発行日：2011/03/29）は、カラー画像をもたらす装置に関するのであって、該装置は少なくとも４つの色をもたらす色フィルタリング配列を含み、各色は相対的セグメントサイズを有する色フィルタリング機構上のフィルタによってもたらされ、少なくとも２つの原色の相対的セグメントサイズは異なる。
【0011】
特許文献７（増大した色域を有する６色ディスプレイ装置、発明者：Roddy等、出願日：2002/10/11、発行日：2004/08/03）は、６つのカラー光源又は２つ以上のマルチカラーＬＥＤアレイ若しくはＯＬＥＤを用いて拡大色域を提供するデジタルカラー画像用ディスプレイシステムに関する。該装置は２つ以上の空間的な光モジュレータを用いるのであり、これは２つ以上のカラー光源又はＬＥＤアレイの間でサイクルされて６色ディスプレイ出力を提供できる。相対的輝度を用いての変調済みカラーのペアリングによって、フリッカー効果の最小化に貢献する。
【0012】
特許文献８（ソース色空間をターゲット色空間に変換する方法及び装置、発明者：Higgins、出願日：2003/10/21、発行日：2009/10/06）は、複数モードディスプレイシステムをもたらすシステム及び方法に関し、これは複数の入力画像データフォーマットを受け付けることができ、また、可能性のある複数の画像データフォーマットを出力できる。ソース色空間からターゲット色空間へと変換するための方法が１つ開示されている。ソース色空間はＮ個の原色ポイントの組合せから生じるのであり、また、ターゲット色空間はターゲット色空間内のＮ＋１個の原色ポイントの組み合わせから生じ、Ｎは整数である。
【0013】
特許文献９（ビデオ用のコンテンツ色ボリュームメッセージを生成及び処理するための方法及びシステム、発明者：Ramasubramonian等、出願日：2017/05/12、公開日：2017/11/23）は、コンテンツ色ボリュームメッセージを処理するシステム、方法、及びコンピュータ可読媒体に関する。一部の例では、ビデオデータが取得される。ビデオデータは、カメラから取得されたビデオデータ、エンコードされたビデオデータ、又はデコードされたビデオデータを含み得る。ビデオデータと関連付けられているコンテンツ色ボリュームメッセージが処理される。コンテンツ色ボリュームメッセージは、ビデオデータの１つ以上のピクチャのコンテンツ色ボリュームについて示す。例えば、コンテンツ色ボリューム情報は、１つ以上のピクチャの最小輝度と関連付けられている第１の輝度値と、１つ以上のピクチャの最大輝度と関連付けられている第２の輝度値と、１つ以上のピクチャの色域を記述する１つ以上の原色の１つ以上の色度座標とを含む。
【0014】
特許文献１０（撮像装置、撮像方法、及びプログラム、発明者：Satou等、出願日：2012/09/11、発行日：2014/09/30）は、撮像装置であって、ピックアップされた画像の画像信号から各々の色相領域についてのブライトネス情報を取得する画像分析ユニットと、画像分析ユニットで取得されたブライトネス情報に基づいて露光制御を実行する露光制御ユニットとを含む撮像装置に関する。
【0015】
特許文献１１（画像処理装置、画像処理方法及びプログラム、発明者：Kitajima、出願日：2010/11/30、発行日：2014/10/14）は、色差信号から各ブロックの彩度が計算される方法であって、所定の閾値以上の彩度を有するブロックの個数を検出されたフェースエリアの一部ではないブロックから計算し、また、高彩度ブロック（その彩度が所定の閾値以上となるもの）のフェースエリア内に無いブロックの個数に対しての高彩度ブロック比率を計算する、方法に関する。平均彩度及び高彩度ブロック比率が所定の値について一致又は超過する場合、シーンはビビッド色彩シーンとして判別される。シーンが以前においてビビッド色彩シーンとして判別された場合には高彩度ブロック比率の基準の閾値は小さなものとされ、他方でシーンがそのようなシーンとして判別されていなかった場合には閾値は大きなものとされる。
【0016】
特許文献１２（色制約を伴う輝度変化画像処理、発明者：Van Der Vleuten、出願日：2013/09/17、発行日：2016/01/05）は、第１の輝度ダイナミックレンジに対応するカラー表現内にて指定された画素の入力カラー(L,x,y)を 第２の輝度ダイナミックレンジに対応するカラー表現内にて指定された画素の出力カラー(L*,x,y)に変換するように構成された画像カラー処理装置であって、第１及び第２のダイナミックレンジは少なくとも乗算係数を１．５として異なり、入力トーンマッピングと入力カラーの輝度(L)に線形的に関連する量とに基づいて調整出力輝度(L*, 309)を決定するように構成されたトーンマッピング変型ユニットを備え、決定は最高出力(L*,LHDR)を与える有効値[0,1]の範囲内でのあらゆるあり得る入力輝度についての入力輝度(L)に対して入力トーンマッピングを適用して取得された調整出力輝度(L*, 309)が 入力カラーの彩度座標(x,y)についてはそれらの彩度座標(x,y)についての第２の輝度ダイナミックレンジに対応する色域内で達成可能な最大の最大輝度Lmax(x,y)を超えないように構成される。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】米国特許第10,222,263号
【特許文献2】米国特許第9,373,305号
【特許文献3】米国特許公報第20130278993号
【特許文献4】米国特許第8,599,226号
【特許文献5】米国特許第8,081,835号
【特許文献6】米国特許第7,916,939号
【特許文献7】米国特許第6,769,772号
【特許文献8】米国特許第7,598,961号
【特許文献9】米国特許公報第20170339418号
【特許文献10】米国特許第8,848,098号
【特許文献11】米国特許第8,861,843号
【特許文献12】米国特許第9,230,509号
【発明の概要】
【0018】
現行のＲＧＢシステムに対して強化を施すか或いはそれの代案を提供することが本発明の目的に含まれる。また、ＲＧＢ及び多原色システムに関して過飽和色を提供することも本発明の目的に含まれる。
【0019】
１つの実施形態では、本発明は、原色システムを表示するシステムを提供することであって、原色信号のセットを含む画像データのセットが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータが含まれ、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能であり、少なくとも１つのビューイング装置が含まれ、前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており、前記エンコード及び前記デコードは処理済みデータの転送を含み；前記処理済みデータは制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である。
【0020】
別の実施形態では、本発明は、原色システムを表示するシステムを提供することであって、原色信号のセットを含む画像データのセットが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータが含まれ、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能であり、セッション記述プロトコル（ＳＤＰ、Session Description Protocol）パラメータのセットが含まれ、少なくとも１つのビューイング装置が含まれ、前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており、前記エンコード及び前記デコードは処理済みデータの転送を含み；前記処理済みデータは制限輝度を含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記処理済みデータは前記制限輝度と前記２つの測色座標とに関するデータを含み、前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である。
【0021】
さらなる別の実施形態では、本発明は、原色システムを表示する方法を提供することであって、原色信号のセットを含む画像データのセットを提供するステップが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータのデジタルインタフェースを用いて前記色空間内での前記画像データのセットをエンコードするステップが含まれ、前記画像データコンバータは少なくとも１つのビューイング装置とネットワーク通信可能とされており、前記輝度を少なくとも１つのビューイング装置の最大輝度値よりも低く下げることによって前記色空間内での前記画像データのセットを処理するステップであってそれによって制限輝度が作成されるステップが含まれ、前記画像データコンバータの前記デジタルインタフェースを用いて前記色空間内での前記画像データのセットをデコードするステップが含まれ、前記画像データコンバータが前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するステップが含まれ、前記エンコード及び前記デコードは処理済みデータの転送を含み、前記処理済みデータは前記制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記２つの測色座標に依存する。
【0022】
好適実施形態についての続く説明を読んで権利付与請求がなされる発明をサポートする図面と共に考慮すれば、当業者ならば、これらの側面及び本発明の他の側面が明らかになろう。
【図面の簡単な説明】
【0023】
特許又は出願のファイルは、少なくとも１つのカラーで表された図面を含む。カラー図面を伴うこの特許又は又は特許出願公報のコピーは、請求及び必要費用の支払いがなされたらば、当局から提供される。
【0024】
【図2】図２は、D60ホワイトポイントについてのSMPTE RP431-2との対比での、赤原色、緑原色、青原色、シアン原色、マジェンタ原色、及び黄原色を含む６原色システム（「６Ｐ－Ｃ」）についての別の実施形態を示す図である。
【図3】図３は、D65ホワイトポイントについてのSMPTE RP431-2との対比での、赤原色、緑原色、青原色、シアン原色、マジェンタ原色、及び黄原色を含む６原色システム（「６Ｐ－Ｃ」）についてのさらなる別の実施形態を示す図である。
【図26】図２６Ａは、Ｙチャンネルのみに逆非線形伝達関数（ＮＬＴＦ－１）が適用されたＹｘｙデコードについての１つの実施形態について示す図である。図２６Ｂは、いずれのチャンネルにもＮＬＴＦ－１が適用されないＹｘｙデコードについての１つの実施形態について示す図である。
【図27】図２７Ａは、全３チャンネルにＮＬＴＦ－１が適用され且つｘ及びｙについての再スケーリングがなされるＹｘｙデコードについての１つの実施形態について示す図である。図２７Ｂは、いずれのチャンネルにもＮＬＴＦ－１が適用されずに且つｘ及びｙチャンネルに再スケーリングが適用されるＹｘｙデコードについての１つの実施形態について示す図である。
【発明を実施するための形態】
【0025】
本発明はカラーシステムに関し、また、より具体的には、ＲＧＢシステム及び多原色システムにおいて過飽和色を表示するためのシステム及び方法に関する。
【0026】
１つの実施形態では、本発明は、原色システムを表示するシステムを提供することであって、原色信号のセットを含む画像データのセットが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータが含まれ、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能であり、少なくとも１つのビューイング装置が含まれ、前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており；前記エンコード及び前記デコードは処理済みデータの転送を含み；前記処理済みデータは制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である。１つの実施形態では、前記少なくとも１つのビューイング装置は前記原色システムを前記画像データのセットに基づいて表示するように動作可能であり、前記少なくとも１つのビューイング装置上に表示された前記原色システムは前記画像データのセットに基づいている。１つの実施形態では、前記画像データコンバータは前記原色信号を前記色空間内での前記値のセットに変換するように動作可能である。１つの実施形態では、前記画像データコンバータは前記色空間内での前記値のセットを複数の色域に変換するように動作可能である。１つの実施形態では、前記画像データコンバータは、前記制限輝度に関する前記処理済みデータを完全サンプリングし、また、前記２つの測色座標に関する前記処理済みデータをサブサンプリングするように動作可能である。１つの実施形態では、前記制限輝度と前記２つの測色座標とに関する前記処理済みデータが完全サンプリングされる。１つの実施形態では、前記２つの測色座標はx及びy、u'及びv'、又はCB又はCRとされる。１つの実施形態では、前記エンコードは、前記原色信号のセットをXYZデータに変換することと、そして前記XYZデータを変換して前記色空間内での前記値のセットを作成することとを含む。１つの実施形態では、前記デコードは、前記処理済みデータをXYZデータに変換することと、そして前記XYZデータを前記少なくとも１つのビューイング装置での表示について動作可能なフォーマットに変換することを含む。１つの実施形態では、前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される。１つの実施形態では、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大する。１つの実施形態では、前記エンコードは前記２つの測色座標のスケーリングを含み、それによってスケーリング済み測色座標が作成され、また、前記デコードは前記スケーリング済み測色座標の再スケーリングを含む。１つの実施形態では、前記エンコードは約0.25～約0.9の値を伴うデータレート減少関数の適用を含み、及び／又は前記デコードは約1.1～約4の値を伴う逆データレート減少関数の適用を含む。１つの実施形態では、前記原色システムは赤緑青（ＲＧＢ）原色システム又は多原色システムである。
【0027】
別の実施形態では、本発明は、原色システムを表示するシステムを提供することであって、原色信号のセットを含む画像データのセットが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータが含まれ、前記画像データコンバータはデジタルインタフェースを含み、前記デジタルインタフェースは前記色空間内での前記値のセットについてエンコード及びデコードをなすように動作可能であり、セッション記述プロトコル（ＳＤＰ、Session Description Protocol）パラメータのセットが含まれ、少なくとも１つのビューイング装置が含まれ、前記少なくとも１つのビューイング装置と前記画像データコンバータとはネットワーク通信可能とされており；前記エンコード及び前記デコードは処理済みデータの転送を含み；前記処理済みデータは制限輝度を含み、前記制限輝度は前記少なくとも１つのビューイング装置の最大輝度値よりも低く、前記制限輝度は前記２つの測色座標に依存し、前記処理済みデータは前記制限輝度と前記２つの測色座標とに関するデータを含み、前記画像データコンバータは前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するように動作可能である。１つの実施形態では、前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される。１つの実施形態では、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大する。
【0028】
さらなる別の実施形態では、本発明は、原色システムを表示する方法を提供することであって、原色信号のセットを含む画像データのセットを提供するステップが含まれ、前記原色信号のセットは色空間内での値のセットに対応し、前記色空間内での前記値のセットは２つの測色座標と輝度とが含まれ、画像データコンバータのデジタルインタフェースを用いて前記色空間内での前記画像データのセットをエンコードするステップが含まれ、前記画像データコンバータは少なくとも１つのビューイング装置とネットワーク通信可能とされており、前記輝度を少なくとも１つのビューイング装置の最大輝度値よりも低く下げることによって前記色空間内での前記画像データのセットを処理するステップであってそれによって制限輝度が作成されるステップが含まれ、前記画像データコンバータの前記デジタルインタフェースを用いて前記色空間内での前記画像データのセットをデコードするステップが含まれ、前記画像データコンバータが前記画像データのセットを前記少なくとも１つのビューイング装置での表示のために変換するステップが含まれ、前記エンコード及び前記デコードは処理済みデータの転送を含み、前記処理済みデータは前記制限輝度と前記２つの測色座標とに関するデータを含み、前記制限輝度は前記２つの測色座標に依存する。１つの実施形態では、前記輝度は、少なくとも１つの線形関数、少なくとも１つの非線形関数、及び／又は少なくとも１つのルックアップテーブル（ＬＵＴ）を用いて前記制限輝度に変換される。１つの実施形態では、前記２つの測色座標の彩度の距離が前記少なくとも１つのビューイング装置の中立又はホワイトポイントから増大するにつれて前記制限輝度は増大する。
【0029】
本発明はカラーシステムに関する。多種のカラーシステムが知られているが、それらは依然として様々な課題を有したままとなっている。撮像技術が進展するにつれて、電子ディスプレイ上にて再現される色域の拡大に関して相当の関心が寄せられている。テレビジョンシステムへの改良は、初期のCCIR 601規格から、ITU-R BT.709-6へ、そしてSMPTE RP431-2へ、そしてITU-R BT.2020へと拡張されてきた。参照用のホワイトポイントから赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各原色（ＲＧＢと総称される）への色度空間における距離を拡大（expanding）することによって、各々の規格にて可視色の色域は増大（increased）されてきた。この手法は機能するが、いくつかの不利益を伴う。コンテンツプレゼンテーションに関して実装されると、観察される色域を拡大するために用いられる技術的方法（典型的にはより狭小な放射スペクトルを用いること）に起因して問題が発生するのであり、その結果として看者メタメリックエラーの増大が生じ、また、より低位の照明光源に起因して増大させた電力が必要となる。これらの問題はキャピタル面及びオペレーション面でコストを増大させる。
【0030】
現在において利用可能な技術では、ディスプレイは、色の範囲及び光学的出力に関して制限されている。看者が如何にしてディスプレイ出力を解釈するかについては、技術的な観点と肉眼で観察した現実世界の官能的な観点とでの対比で多くの誤解がある。単に３色の発光原色を見る以上のこととなる理由は、眼がそれに入射するスペクトル波長を３つのバンドに組み合わせることに求められる。人間はディスプレイからの放射エネルギー（スペクトル及び振幅）を解釈して、それを処理して個々の色が知覚されるようにする。ディスプレイは、色の知覚に直接的に関与する色又は特定の波長を発するわけではない。ディスプレイは、人間が光及び色を知覚するのと同じスペクトルにてエネルギーを放射するに過ぎない。看者が、このエネルギーを色として解釈する。
【0031】
CIE 2°標準観測者が１９３１年に確立された当時においては、眼は赤、青、及び緑の錐体レセプターを用いているとの色感覚についての一般的な理解があった（James Maxwell & James Forbes 1855）。後に、Munsell氏の視覚モデル（Munsell 1915）では、同氏は３つの別個のコンポーネント（輝度（luminance）、色相、及び飽和度）を含むものとして視覚システムを説明した。ＲＧＢエミッタ又はフィルタを用いてこれらの３つの原色が今日の現代的電子ディスプレイ上にて画像を作るために用いられるコンポーネントとされる。
【0032】
色知覚に影響を与えるものとしては、３つの一次的な物理変数がある。これらは、放射エネルギーが網膜に吸収される際の放射エネルギーのスペクトル分布、網膜色素上皮に達する光の強度との関係での眼の感度、及び網膜における錐体の分布である。錐体の分布（例えば、Ｌ錐体、Ｍ錐体、及びＳ錐体）は、人間毎に相当に異なる。
【0033】
明度（brightness）の向上は、より大きなバックライト又はより高効率な蛍光体を通じて達成されてきた。高ダイナミックレンジのエンコードはより高いレンジを用いて手当てされて、より知覚的に均質な電気光学的伝達関数を用いて明度テクノロジについての向上を支援し、より狭い帯域での発光を用いてより広い色域をもたらす。より狭い帯域のエミッタによって、結果として看者はより高い色飽和度を体験することになる。もっとも、どのようにして飽和がもたらされるのかと、どのようにしてそれが制御されるのかとについては、ずれが生じ得る。飽和度変化の際に生じると考えられるのは、原色のカラーバリューの増大が飽和度の増大を表すということである。飽和度変化はパラメトリックとしての原色スペクトル出力における変化を要するが故にこのことは正しいとはいえない。可変スペクトルディスプレイは現時点では利用可能なものはない。なぜならば、そのような技術は商業ベースでは開発されておらず、また、これを支援するのに必要な新たなインフラも検討されていない。
【0034】
看者の色感覚についてディスプレイを変化させるための方法は色の輝度を変えることによってなされる。データ値が増大するにつれて、原色がより明るくなる。色飽和度についての変化は、全３種の原色の明るさを変えること及びドミナントカラー理論を活用することによって達成される。
【0035】
原色をＲＧＢを超えて拡大することは既に検討されている。多原色ディスプレイについては幾つもの設計がある。例えば、SHARP（登録商標）社は、４色QUATTRONテレビシステムでこれに挑戦したのであり、黄色の原色を追加してこれを駆動するアルゴリズムを開発することによってこれに取り組んだ。別の４原色ディスプレイはMatthew Brennesholtzによって提案されておりこれには追加のシアン色の原色が含まれており、また、６原色ディスプレイはYangtze University Jingzhou ChinaのSchool of Physics and Optoelectric EngineeringのYan Xiong、Fei Deng、Shan Xu、及びSufang Gaoらによって説明されている。さらに、AU OPTRONICS社は５原色ディスプレイ技術を開発している。また、SONY（登録商標）社は、ＲＧＢＣＭＹ（red, green, blue, cyan, magenta, and yellow）及びＲＧＢＣＭＹＷ（red, green, blue cyan, magenta, yellow, and white）センサを伴うカメラ設計を最近開示している。
【0036】
実際の機能するディスプレイは１９９０年代後半の時点で公開されており、東京工芸大学、名古屋市立大学、及びGenoa Technologiesからの試作品が含まれる。もっとも、これらのシステムのいずれもが自己のディスプレイ専用であり、任意の追加の原色情報はそのディスプレイの内部処理に限られることになる。
【0037】
さらに、ＶＡＳＡＲＩ（Visual Arts System for Archiving and Retrieval of Images）プロジェクトでは、絵画のダイレクトデジタル撮像のための測色スキャナシステムが開発された。該システムは、従来的なフィルム類よりもより正確な色をもたらすのであり、それによってフィルム写真を代替することが可能となる。該プロジェクトが１９８９年に開始されたにもかかわらず、技術的な開発は継続している。追加情報は、https://www.southampton.ac.uk/~km2/projs/vasari/（最終アクセス日：２０２０年３月３０日）にて得ることができ、その全体が参照によって取り込まれる。
【0038】
先行技術のいずれもディスプレイ外にての追加的原色情報を発展させることを開示していない。さらに、ディスプレイを駆動するシステムは多くの場合は展示との関係でプロプライエタリである。これらの実施の各々では、追加的原色情報を取得又は生成するためになにもワークフローに含められていない。追加された原色をサポートするシステムの部分がディスプレイ自体に内蔵されているものに限られる場合には、多原色システムの開発が完了しているとはいえない。
【0039】
図面について一般的に参照するに、例示されているのは発明についての１つ以上の好適実施形態を説明するためのものであり、それらに発明を限定することは意図されていない。
【0040】
多原色システムについての追加的詳細事項は次の文献にて得ることができる：米国特許第10,607,527号、米国特許第10,950,160号、米国特許第10,950,161号、米国特許第10,950,162号、米国特許第10,997,896号、米国特許第11,011,098号、及び米国特許第11,017,708号、並びに、米国特許公報第20200402441号、米国特許公報第20210027693号、米国特許公報第20210020094号、米国特許公報第20210035486号、米国特許公報第20210035487号、米国特許公報第20210043127号、及び米国特許公報第20210097923号、並びに、米国特許出願第17/180,441、米国特許出願第17/182,775、米国特許出願第17/182,811、米国特許出願第17/182,858、米国特許出願第17/209,959、米国特許出願第17/225,734、及び米国特許出願第17/727,372号。これらの各々は参照によって全体が取り込まれる。
【0041】
１つの実施形態では、過飽和カラーシステムは赤緑青（ＲＧＢ）原色システムである。別の実施形態では、過飽和カラーシステムは多原色システムを含む。本発明の多原色システムは少なくとも４つの原色を含む。少なくとも４つの原色には、少なくとも１つの赤色の原色、少なくとも１つの緑色の原色、及び／又は少なくとも１つの青色の原色が含まれる。１つの実施形態では、少なくとも４つの原色には、シアン色の原色、マジェンタ色の原色、及び／又は黄色の原色が含まれる。１つの実施形態では、少なくとも４つの原色には、少なくとも１つの白色エミッタが含まれる。
【0042】
１つの実施形態では、多原色システムは６つの原色を含む。１つの好適な実施形態では、６つの原色には、赤色の原色、緑色の原色、青色の原色、シアン色の原色、マジェンタ色の原色、及び黄色の原色が含まれる。
【0043】
６Ｐ－Ｂ
６Ｐ－Ｂは、ITU-R BT.709-6テレビジョン規格にて定義されているのと同じＲＧＢ値を用いるカラーセットである。該色域は、これらのＲＧＢ原色を含み、そしてそれらに直交な３つのさらなる原色をホワイトポイントに基づいて追加する。６Ｐ－Ｂで用いられるホワイトポイントは、D65 (ISO 11664-2)である。
６Ｐ－Ｂは、ITU-R BT.709-6テレビジョン規格にて定義されているのと同じＲＧＢ値を用いるカラーセットである。該色域は、これらのＲＧＢ原色を含み、そしてそれらに直交な３つのさらなる原色をホワイトポイントに基づいて追加する。６Ｐ－Ｂで用いられるホワイトポイントは、D65 (ISO 11664-2)である。
【0044】
１つの実施形態では、表１に示されるように、赤色の原色は主波長が609nmであり、黄色の原色は主波長が571nmであり、緑色の原色は主波長が552nmであり、シアン色の原色は主波長が491nmであり、青色の原色は主波長が465nmである。１つの実施形態では、主波長は以下の表に列挙される値に近いものとなる（例えば、±１０％以内）。代替的には、主波長は以下の表に列挙される値の±５％以内のものとなる。さらに別の実施形態では、主波長は以下の表に列挙される値の±２％以内のものとなる。
【表1】
【0045】
図１は、ITU-R BT.709-6との対比で６Ｐ－Ｂを示す。
【0046】
６Ｐ－Ｃ
６Ｐ－Ｃは、SMPTE RP431-2プロジェクション勧告にて定義されているのと同じＲＧＢ原色に基づいている。各色域は、これらのＲＧＢ原色を含み、そしてそれらに直交な３つのさらなる原色をホワイトポイントに基づいて追加する。６Ｐ－Ｂで用いられるホワイトポイントは、D65 (ISO 11664-2)である。６Ｐ－Ｃについては２つのバージョンが用いられる。一方はD60ホワイトポイント（SMPTE ST2065-1）に関して最適化されており、また、他方はD65ホワイトポイントに関して最適化されている。
６Ｐ－Ｃは、SMPTE RP431-2プロジェクション勧告にて定義されているのと同じＲＧＢ原色に基づいている。各色域は、これらのＲＧＢ原色を含み、そしてそれらに直交な３つのさらなる原色をホワイトポイントに基づいて追加する。６Ｐ－Ｂで用いられるホワイトポイントは、D65 (ISO 11664-2)である。６Ｐ－Ｃについては２つのバージョンが用いられる。一方はD60ホワイトポイント（SMPTE ST2065-1）に関して最適化されており、また、他方はD65ホワイトポイントに関して最適化されている。
【0047】
１つの実施形態では、表２に示されるように、赤色の原色は主波長が615nmであり、黄色の原色は主波長が570nmであり、緑色の原色は主波長が545nmであり、シアン色の原色は主波長が493nmであり、青色の原色は主波長が465nmである。１つの実施形態では、主波長は以下の表に列挙される値に近いものとなる（例えば、±１０％以内）。代替的には、主波長は以下の表に列挙される値の±５％以内のものとなる。さらに別の実施形態では、主波長は以下の表に列挙される値の±２％以内のものとなる。
【表2】
【0048】
図２は、D60ホワイトポイントについてのSMPTE RP431-2との対比で６Ｐ－Ｃをて示す。
【0049】
１つの実施形態では、表３に示されるように、赤色の原色は主波長が615nmであり、黄色の原色は主波長が570nmであり、緑色の原色は主波長が545nmであり、シアン色の原色は主波長が423nmであり、青色の原色は主波長が465nmである。１つの実施形態では、主波長は以下の表に列挙される値に近いものとなる（例えば、±１０％以内）。代替的には、主波長は以下の表に列挙される値の±５％以内のものとなる。さらに別の実施形態では、主波長は以下の表に列挙される値の±２％以内のものとなる。
【表3】
【0050】
図３は、D65ホワイトポイントについてのSMPTE RP431-2との対比で６Ｐ－Ｃを示す。
【0051】
スーパー６Ｐ
ITU-R BT.2020の利点の１つは、Pointer色の全てを含むように運用可能であるということがあり、また、６原色設計における原色飽和度を増大させることによってもこれをなし得る。Pointerは“The Gamut of Real Surface Colors, M.R. Pointer, Colour Research and Application Volume #5,Issue #3 (1980)において説明されており、その全体が参照によって取り込まれる。もっとも、６Ｐ色域をSMPTE RP431-2（「６Ｐ－Ｃ」）を超えて拡張すると、２つの問題がもたらされる。第１の問題は、拡張された原色のスペクトルを狭める必要に関する。第２の問題は、現行の規格に関連していない原色を用いて後方互換なシステムを設計することの複雑性に関する。もっとも、一部の場合においては、色域を６Ｐ－Ｃを超えて拡張し並びにこれらの問題を回避することが必要となり得る。目的がPointerのデータセットを包括することである場合、６Ｐ－Ｃシステムの大半を維持して、シアン色の原色ポジションのみを変えるだけで済む。１つの実施形態では、シアン色の原色ポジションは、色域外縁がPointerのデータセットの全てを包括するように位置付けられる（located）。別の実施形態では、シアン色の原色ポジション（position）は、最大飽和度を制限する位置（location）とされる。６Ｐ－Ｃでは、シアンはu′=0.096, v′=0.454としてポジション付けされる（positioned）。スーパー６Ｐの１つの実施形態では、シアンはu′=0.075, v′=0.430に移される（「スーパー６Ｐａ」（Ｓ６Ｐａ））。有利なことに、これによってPointerのデータセットを殆ど完全に包括する新たな色域が形成される。図４は、６Ｐ－Ｃとの対比でのスーパー６Ｐａを示す。
ITU-R BT.2020の利点の１つは、Pointer色の全てを含むように運用可能であるということがあり、また、６原色設計における原色飽和度を増大させることによってもこれをなし得る。Pointerは“The Gamut of Real Surface Colors, M.R. Pointer, Colour Research and Application Volume #5,Issue #3 (1980)において説明されており、その全体が参照によって取り込まれる。もっとも、６Ｐ色域をSMPTE RP431-2（「６Ｐ－Ｃ」）を超えて拡張すると、２つの問題がもたらされる。第１の問題は、拡張された原色のスペクトルを狭める必要に関する。第２の問題は、現行の規格に関連していない原色を用いて後方互換なシステムを設計することの複雑性に関する。もっとも、一部の場合においては、色域を６Ｐ－Ｃを超えて拡張し並びにこれらの問題を回避することが必要となり得る。目的がPointerのデータセットを包括することである場合、６Ｐ－Ｃシステムの大半を維持して、シアン色の原色ポジションのみを変えるだけで済む。１つの実施形態では、シアン色の原色ポジションは、色域外縁がPointerのデータセットの全てを包括するように位置付けられる（located）。別の実施形態では、シアン色の原色ポジション（position）は、最大飽和度を制限する位置（location）とされる。６Ｐ－Ｃでは、シアンはu′=0.096, v′=0.454としてポジション付けされる（positioned）。スーパー６Ｐの１つの実施形態では、シアンはu′=0.075, v′=0.430に移される（「スーパー６Ｐａ」（Ｓ６Ｐａ））。有利なことに、これによってPointerのデータセットを殆ど完全に包括する新たな色域が形成される。図４は、６Ｐ－Ｃとの対比でのスーパー６Ｐａを示す。
【0052】
表４はスーパー６Ｐａの値についての表である。x,yの定義はISO 11664-3:2012/CIE S 014 Part 3にて説明されており、これは参照によって全体が取り込まれる。u′,v′の定義はISO 11664-5:2016/CIE S 014 Part 5にて説明されており、これは参照によって全体が取り込まれる。
は各原色をＲＧＢについて主たる色の波長及びＣＭＹについて補色主波長として定義する。
【表4】
【0053】
代替的な実施形態では、図５に示されるように、飽和度が６Ｐ－Ｃと同じ色相角にて拡張される。有利なことに、これによって後方互換性の複雑性が減る。もっとも、これをなすには格段により高い飽和度が必要となる（即ち、より狭いスペクトル）。スーパー６Ｐの別の実施形態では、シアンはu′=0.067, v′=0.449に移される（「スーパー６Ｐｂ」（Ｓ６Ｐｂ））。また、図５は、スーパー６Ｐａ及び６Ｐ－Ｃとの対比でのスーパー６Ｐｂを示す。
【0054】
表５はスーパー６Ｐｂの値についての表である。x,yの定義はISO 11664-3:2012/CIE S 014 Part 3にて説明されており、これは参照によって全体が取り込まれる。u′,v′の定義はISO 11664-5:2016/CIE S 014 Part 5にて説明されており、これは参照によって全体が取り込まれる。
は各原色をＲＧＢについて主たる色の波長及びＣＭＹについて補色主波長として定義する。
【表5】
【0055】
好適な実施形態では、原色の各々のXYZ値から行列が作成される。原色のXYZ値が変化するにつれて、行列が変化する。行列についての追加的詳細事項については後述する。
【0056】
多原色信号のフォーマッティング及び転送
本発明は、転送のためにビデオをフォーマッティングする３つの異なる方法を含む：即ち、システム１、システム２、及びシステム３である。システム１は、エンコード及びデコードシステムを備えるのであって、これは次の部分に分割されるように動作可能である：ベースエンコーダ及びディジテーション（digitation）、画像データスタッキング、標準データトランスポートへのマッピング、読み出し、アンスタッキング、及び最後になされる画像デコード。１つの実施形態では、このシステムの基本的方法は、３つの標準トランスポートチャンネル内の対立する原色を組み合わせることと、それらをコード値によって識別することとを伴う。
本発明は、転送のためにビデオをフォーマッティングする３つの異なる方法を含む：即ち、システム１、システム２、及びシステム３である。システム１は、エンコード及びデコードシステムを備えるのであって、これは次の部分に分割されるように動作可能である：ベースエンコーダ及びディジテーション（digitation）、画像データスタッキング、標準データトランスポートへのマッピング、読み出し、アンスタッキング、及び最後になされる画像デコード。１つの実施形態では、このシステムの基本的方法は、３つの標準トランスポートチャンネル内の対立する原色を組み合わせることと、それらをコード値によって識別することとを伴う。
【0057】
システム２は、３つの原色が転送フォーマットに完全ビットレベル画像データとして渡されてノーマルとして挿入されるシーケンシャル方法を用いる。３つの追加的チャンネルは、１画素分遅延されて、そして、第１の複数の色（first colors）の代わりにトランスポートに投入される（placed into）。これは、画像性能に関して量子化（quantizing）アーチファクトが致命的となり得る場面において有用となる。１つの実施形態では、このシステムは、６つの原色（例えば、ＲＧＢに加えてＣＹＭ色の注入（injection）に関して遅延させる方法）と、画素カウント同期を可能とするための画像解像度識別と、ビデオ開始識別と、ＲＧＢ遅延とを備える。
【0058】
システム３では、２つのワイヤが用いられるデュアルリンク方法が活用される。１つの実施形態では、３つのチャンネルの第１のセット（例えば、ＲＧＢ）がリンクＡへと送られ、また、３つのチャンネルの第２のセット（例えば、ＣＹＭ）がリンクＢへと送られる。それらが画像の送り先に到達したらば、それらは再度組み合わされる。
【0059】
６つ迄（例えば、４つ、５つ、又は６つ）の色コンポーネントを転送するために、システム１、システム２、又はシステム３は開示のように動作可能とされる。４つの色コンポーネントが用いられるのであれば、２つのチャンネルは「０」にセットされる。５つの色コンポーネントが用いられるのであれば、１つのチャンネルは「０」にセットされる。有利なことに、この転送方法は、６つ迄の色コンポーネントを含む、説明されている全ての原色システムに関して機能する。
【0060】
３つのシステムの比較
有利なことに、システム１はレガシー型のＳＤＩ、ＣＴＡ、及びイーサネット（登録商標）系のトランスポートに適合する。また、システム１は、ＲＧＢディスプレイへの変換に関してゼロレイテンシとなる。もっとも、システム１は１１ビットワードに限られる。
有利なことに、システム１はレガシー型のＳＤＩ、ＣＴＡ、及びイーサネット（登録商標）系のトランスポートに適合する。また、システム１は、ＲＧＢディスプレイへの変換に関してゼロレイテンシとなる。もっとも、システム１は１１ビットワードに限られる。
【0061】
システム２は、６つのチャンネルを１６ビットワードを用いて圧縮を伴わずにして転送するように有利に動作可能である。また、システム２はより新しいＳＤＩ、ＣＴＡ、及びイーサネット系のトランスポートフォーマットに適合する。もっとも、システム２は２倍のビットレート速度（bit rate speed）を必要とする。例えば、４Ｋ画像は、８ＫのＲＧＢ画像のデータレート（data rate）を必要とする。
【0062】
比較するに、システム３は、６つ迄のチャンネルを１６ビットワードを用いて圧縮を伴って特定の解像度に必要なのと同じデータ（data）にて転送するように動作可能である。例えば、ＲＧＢ画像のデータレート（data rate）は、システム３を用いる６Ｐ画像のそれと同じである。もっとも、システム３はビデオシステム内にてツインケーブル接続を必要とする。
【0063】
用語
１つの実施形態では、各システムをより良く説明するために、標準的なビデオ用語が用いられる。
１つの実施形態では、各システムをより良く説明するために、標準的なビデオ用語が用いられる。
【0064】
Ｒは赤データを線形光として記述する。Ｇは緑データを線形光として記述する。Ｂは青データを線形光として記述する。Ｃはシアンデータを線形光として記述する。Ｍはマジェンタデータを線形光として記述する。Ｙｃ及び／又はＹは黄色データを線形光として記述する。
【0065】
Ｒ′は赤データを非線形光として記述する。Ｇ′は緑データを非線形光として記述する。Ｂ′は青データを非線形光として記述する。Ｃ′はシアンデータを非線形光として記述する。Ｍ′はマジェンタデータを非線形光として記述する。Ｙｃ′及び／又はＹ′は黄色データを非線形光として記述する。
【0066】
Ｙ６は、ＲＧＢＣＭＹデータの輝度合計について記述する。ＹＲＧＢは、ＲＧＢデータの線形輝度合計であるシステム２エンコードについて記述する。ＹＣＭＹは、ＣＭＹデータの線形輝度合計であるシステム２エンコードについて記述する。
【0067】
ＣＲは、線形画像輝度を減算した後の赤についてのデータ値について記述する。ＣＢは、線形画像輝度を減算した後の青についてのデータ値について記述する。ＣＣは、線形画像輝度を減算した後のシアンについてのデータ値について記述する。ＣＹは、線形画像輝度を減算した後の黄色についてのデータ値について記述する。
【0068】
Ｙ′ＲＧＢは、ＲＧＢデータの非線形輝度合計であるシステム２エンコードについて記述する。Ｙ′ＣＭＹは、ＣＭＹデータの非線形輝度合計であるシステム２エンコードについて記述する。－Ｙは、Ｙ６から減算されたＲＧＢの合計について記述する。
【0069】
Ｃ′Ｒは、非線形画像輝度を減算した後の赤についてのデータ値について記述する。Ｃ′Ｂは、非線形画像輝度を減算した後の青についてのデータ値について記述する。Ｃ′Ｃは、非線形画像輝度を減算した後のシアンについてのデータ値について記述する。Ｃ′Ｙは、非線形画像輝度を減算した後の黄色についてのデータ値について記述する。
【0070】
Ｂ＋Ｙは、青又は黄色のいずれかのデータを含むシステム１エンコードについて記述する。Ｇ＋Ｍは、緑又はマジェンタのいずれかのデータを含むシステム１エンコードについて記述する。Ｒ＋Ｃは、緑又はマジェンタのいずれかのデータを含むシステム１エンコードについて記述する。
【0071】
ＣＲ＋ＣＣは、いずれかの色差データを含むシステム１エンコードについて記述する。ＣＢ＋ＣＹは、いずれかの色差データを含むシステム１エンコードについて記述する。
【0072】
４：４：４は、ＲＧＢシステムにおける色の全帯域サンプリング（full bandwidth sampling）について記述する。４：４：４：４：４：４は、ＲＧＢＣＭＹシステムにおける色の完全サンプリング（full sampling）について記述する。４：２：２は、画像ディテールを担うために全帯域輝度チャンネル（Ｙ）が用いられており、また、残りのコンポーネントはＣｂＣｒエンコードとして半サンプリングされるエンコードについて記述する。４：２：２：２：２は、画像ディテールを担うために全帯域輝度チャンネル（Ｙ）が用いられており、また、残りのコンポーネントはＣｂＣｒＣｙＣｃエンコードとして半サンプリングされるエンコードについて記述する。４：２：０は、４：２：２に類似のコンポーネントシステムについて記述するも、ライン毎にＣｒ及びＣｂサンプルが交互に入る。４：２：０：２：０は、４：２：２に類似のコンポーネントシステムについて記述するも、ライン毎にＣｒ、Ｃｂ、Ｃｙ、及びＣｃサンプルが交互に入る。
【0073】
一定輝度とは、線形光にて輝度（Ｙ）が計算される信号処理である。非一定輝度とは、非線形光にて輝度（Ｙ）が計算される信号処理である。
【0074】
色コンポーネントの導出
色差法を用いる場合（４：２：２）、より低い周波数のトランスポートにて動作可能となるようにするためにいくつかのコンポーネントは特定の処理を要する。これらは次のように導出される：
色差法を用いる場合（４：２：２）、より低い周波数のトランスポートにて動作可能となるようにするためにいくつかのコンポーネントは特定の処理を要する。これらは次のように導出される：
【数1】
【0075】
Ｃｒ、Ｃｂ、Ｃｃ、及びＣｙについての比率は、線形光計算においても有効である。
【0076】
マジェンタは、次のようにして動作可能な態様で計算できる：
【数2】
【0077】
システム１
１つの実施形態では、多原色システムはレガシー型システムと互換である。後方互換な多原色システムが、サンプリング方法によって定義される。１つの実施形態では、サンプリング方法は４：４：４である。１つの実施形態では、サンプリング方法は４：２：２である。別の実施形態では、サンプリング方法は４：２：０である。後方互換な多原色システムについての１つの実施形態では、新たなエンコード及びデコードシステムは次の諸ステップに分割される：ベースエンコーディング及びデジタル化（digitization）、画像データスタッキング、標準データトランスポートへのマッピング、読み出し、アンスタッキング、及び画像デコード（「システム１」）。１つの実施形態では、システム１は、３つの標準トランスポートチャンネル内の対立する原色を組み合わせることと、それらをコード値によって識別することとを伴う。後方互換な多原色システムの１つの実施形態では、処理はアナログ処理である。後方互換な多原色システムの別の実施形態では、処理はデジタル処理である。
１つの実施形態では、多原色システムはレガシー型システムと互換である。後方互換な多原色システムが、サンプリング方法によって定義される。１つの実施形態では、サンプリング方法は４：４：４である。１つの実施形態では、サンプリング方法は４：２：２である。別の実施形態では、サンプリング方法は４：２：０である。後方互換な多原色システムについての１つの実施形態では、新たなエンコード及びデコードシステムは次の諸ステップに分割される：ベースエンコーディング及びデジタル化（digitization）、画像データスタッキング、標準データトランスポートへのマッピング、読み出し、アンスタッキング、及び画像デコード（「システム１」）。１つの実施形態では、システム１は、３つの標準トランスポートチャンネル内の対立する原色を組み合わせることと、それらをコード値によって識別することとを伴う。後方互換な多原色システムの１つの実施形態では、処理はアナログ処理である。後方互換な多原色システムの別の実施形態では、処理はデジタル処理である。
【0078】
１つの実施形態では、多原色システムのためのサンプリング方法は４：４：４サンプリング方法である。黒及び白のビットは再定義される。１つの実施形態では、各データワード内にて黒をミッドレベルに置くことによって、ＣＹＭカラーデータの追加が許容される。
【0079】
図６は、多原色システムについてのエンコード及びデコードシステムについての実施形態について示す。１つの実施形態では、多原色エンコード及びデコードシステムは次の部分に分割されている：ベースエンコーダ及びディジテーション（digitation）、画像データスタッキング、標準データトランスポートへのマッピング、読み出し、アンスタッキング、及び最後になされる画像デコード（「システム１」）。１つの実施形態では、このシステムの方法は、３つの標準トランスポートチャンネル内の対立する原色を組み合わせることと、それらをコード値によって識別することとを伴う。１つの実施形態では、多原色システムのためのエンコード及びデコードはアナログベースドである。別の実施形態では、多原色システムのためのエンコード及びデコードはデジタルベースドである。システム１はより低帯域型のシステムと互換となるように設計されており、また、チャンネル毎に最大で１１ビットを許容し、また、一度には最大６つの原色を伴うチャンネルを3つだけ送ることができるという制限に服する。１つの実施形態では、これはスタッキングシステムを用いることによってなされ、その１つのチャンネルのビットレベルに応じて、色チャンネル又は補色チャンネルのいずれかがデコードされる。
【0080】
システム２
図７は、３つの原色が転送フォーマットに完全ビットレベル画像データとして渡されてノーマルとして挿入されるシーケンシャル方法について示す（「システム２」）。３つの追加的チャンネルは、１画素分遅延されて、そして、第１の複数の色の代わりにトランスポートに投入される。この方法は、画像性能に関して量子化アーチファクトが致命的となる場面において有用となる。１つの実施形態では、このシステムは、６つの原色（ＲＧＢＣＹＭ）と、注入のためにＣＹＭ色を遅延させる方法と、画素カウント同期について全てとするための画像解像度識別と、ビデオ開始識別と、ＲＧＢ遅延と、ＹＣＣＣＣＣシステムについてはドミナント原色を選択するためのロジックとを備える。システム２の利点は、完全ビットレベルビデオを転送できるように動作可能であり、ただ通常のデータレートの倍でなされる。
図７は、３つの原色が転送フォーマットに完全ビットレベル画像データとして渡されてノーマルとして挿入されるシーケンシャル方法について示す（「システム２」）。３つの追加的チャンネルは、１画素分遅延されて、そして、第１の複数の色の代わりにトランスポートに投入される。この方法は、画像性能に関して量子化アーチファクトが致命的となる場面において有用となる。１つの実施形態では、このシステムは、６つの原色（ＲＧＢＣＹＭ）と、注入のためにＣＹＭ色を遅延させる方法と、画素カウント同期について全てとするための画像解像度識別と、ビデオ開始識別と、ＲＧＢ遅延と、ＹＣＣＣＣＣシステムについてはドミナント原色を選択するためのロジックとを備える。システム２の利点は、完全ビットレベルビデオを転送できるように動作可能であり、ただ通常のデータレートの倍でなされる。
【0081】
システム２Ａ
システム２は、画素から画素への態様でシーケンシングをなす。もっとも、求積法を用いることもできるのであり（「システム２Ａ」）、６つの原色をステレオで或いは１２の原色画像情報を転送できるように動作可能である。フレームの各象限は、３つの原色データセットを含む。これらはディスプレイ内で組み合わされる。３つの原色についての第１のセットが左上の象限に表示され、３つの原色についての第２のセットが右上の象限に表示され、３つの原色についての第３のセットが左下の象限に表示され、３つの原色についての第４のセットが右下の象限に表示される。１つの実施形態では、３つの原色についての第１のセット、３つの原色についての第２のセット、３つの原色についての第３のセット、及び３つの原色についての第４のセットは、何らの重複する原色を含まない（即ち、１２の異なる原色）。代替的には、３つの原色についての第１のセット、３つの原色についての第２のセット、３つの原色についての第３のセット、及び３つの原色についての第４のセットは、重複する原色を含む（即ち、少なくとも１つの原色が、３つの原色についてのセットの１つ以上の中に含まれている）。１つの実施形態では、３つの原色についての第１のセットと３つの原色についての第３のセットは同じ原色を含み、また、３つの原色についての第２のセットと３つの原色についての第４のセットは同じ原色を含む。
システム２は、画素から画素への態様でシーケンシングをなす。もっとも、求積法を用いることもできるのであり（「システム２Ａ」）、６つの原色をステレオで或いは１２の原色画像情報を転送できるように動作可能である。フレームの各象限は、３つの原色データセットを含む。これらはディスプレイ内で組み合わされる。３つの原色についての第１のセットが左上の象限に表示され、３つの原色についての第２のセットが右上の象限に表示され、３つの原色についての第３のセットが左下の象限に表示され、３つの原色についての第４のセットが右下の象限に表示される。１つの実施形態では、３つの原色についての第１のセット、３つの原色についての第２のセット、３つの原色についての第３のセット、及び３つの原色についての第４のセットは、何らの重複する原色を含まない（即ち、１２の異なる原色）。代替的には、３つの原色についての第１のセット、３つの原色についての第２のセット、３つの原色についての第３のセット、及び３つの原色についての第４のセットは、重複する原色を含む（即ち、少なくとも１つの原色が、３つの原色についてのセットの１つ以上の中に含まれている）。１つの実施形態では、３つの原色についての第１のセットと３つの原色についての第３のセットは同じ原色を含み、また、３つの原色についての第２のセットと３つの原色についての第４のセットは同じ原色を含む。
【0082】
図８Ａは求積法の１つの実施形態について示す（「システム２Ａ」）。図８Ａに示す例では、３つの原色についての第１のセット（例えば、ＲＧＢ）が左上の象限に表示され、３つの原色についての第２のセット（例えば、ＣＭＹ）が右上の象限に表示され、３つの原色についての第３のセット（例えば、ＧＣ、ＢＭ、及びＲＹ）が左下の象限に表示され、３つの原色についての第４のセット（例えば、ＭＲ、ＹＧ、及びＣＢ）が右下の象限に表示される。図８Ａに示される例は後方互換な１２Ｐシステムについて示すも、これは例示目的にすぎない。本発明は図８Ａに示される１２の原色に限られない。また、本発明は代替的な画素配列と互換である。
【0083】
図８Ｂは、求積法の別の実施形態について示す（「システム２Ａ」）。図８Ｂに示す例では、３つの原色についての第１のセット（例えば、ＲＧＢ）が左上の象限に表示され、３つの原色についての第２のセット（例えば、ＣＭＹ）が右上の象限に表示され、３つの原色についての第３のセット（例えば、ＧＣ、ＢＭ、及びＲＹ）が左下の象限に表示され、３つの原色についての第４のセット（例えば、ＭＲ、ＹＧ、及びＣＢ）が右下の象限に表示される。図８Ｂに示される例は後方互換な１２Ｐシステムについて示すも、これは例示目的にすぎない。本発明は図８Ｂに示される１２の原色に限られない。また、本発明は代替的な画素配列と互換である。
【0084】
図８Ｃは、求積法のさらなる別の実施形態について示す（「システム２Ａ」）。図８Ｃに示す例では、３つの原色についての第１のセット（例えば、ＲＧＢ）が左上の象限に表示され、３つの原色についての第２のセット（例えば、ＣＭＹ）が右上の象限に表示され、３つの原色についての第３のセット（例えば、ＧＣ、ＢＭ、及びＲＹ）が左下の象限に表示され、３つの原色についての第４のセット（例えば、ＭＲ、ＹＧ、及びＣＢ）が右下の象限に表示される。図８Ｃに示される例は後方互換な１２Ｐシステムについて示すも、これは例示目的にすぎない。本発明は図８Ｃに示される１２の原色に限られない。また、本発明は代替的な画素配列と互換である。
【0085】
図９Ａは、ステレオでの求積法の実施形態について示す（「システム２Ａ」）。図９Ａに示す例では、３つの原色についての第１のセット（例えば、ＲＧＢ）が左上の象限に表示され、３つの原色についての第２のセット（例えば、ＣＭＹ）が右上の象限に表示され、３つの原色についての第３のセット（例えば、ＲＧＢ）が左下の象限に表示され、３つの原色についての第４のセット（例えば、ＣＭＹ）が右下の象限に表示される。この実施形態では、３つの原色についての第１のセット及び３つの原色についての第２のセットで左目の分を分離し、また、３つの原色についての第３のセット及び３つの原色についての第４のセットで右目の分を分離することが可能となる。代替的には、３つの原色についての第１のセット（例えば、ＲＧＢ）が左上の象限に表示され、３つの原色についての第２のセット（例えば、ＲＧＢ）が右上の象限に表示され、３つの原色についての第３のセット（例えば、ＣＭＹ）が左下の象限に表示され、３つの原色についての第４のセット（例えば、ＣＭＹ）が右下の象限に表示される。本発明は、代替的な画素配列と互換である。
【0086】
図９Ｂは、ステレオでの求積法の別の実施形態について示す（「システム２Ａ」）。本発明は、代替的な画素配列と互換である。
【0087】
図９Ｃは、ステレオでの求積法のさらに別の実施形態について示す（「システム２Ａ」）。本発明は、代替的な画素配列と互換である。
【0088】
有利なことに、システム２Ａは、従来型モニタに複数の原色（例えば、１２Ｐ及び６Ｐ）を表示する機能をもたらす。また、システム２Ａは、偽色の単純ビューイングを可能とするのであり、これはプロダクションプロセスにおいて有用であり、色の相互関係を可視化することを可能とする。また、これによって複数のプロジェクタ（例えば、第１のプロジェクタ、第２のプロジェクタ、第３のプロジェクタ、及び第４のプロジェクタ）での表示が可能となる。
【0089】
システム３
図１０は、デュアルリンク法を用いるエンコード及びデコード処理のシステムについての１つの実施形態についての示す（「システム３」）。システム３では、２つのワイヤが用いられるデュアルリンク方法が活用される。１つの実施形態では、ＲＧＢがリンクＡへと送られ、また、ＣＹＭがリンクＢへと送られる。画像の送り先に到達したらば、２つのリンクは再度組み合わされる。
図１０は、デュアルリンク法を用いるエンコード及びデコード処理のシステムについての１つの実施形態についての示す（「システム３」）。システム３では、２つのワイヤが用いられるデュアルリンク方法が活用される。１つの実施形態では、ＲＧＢがリンクＡへと送られ、また、ＣＹＭがリンクＢへと送られる。画像の送り先に到達したらば、２つのリンクは再度組み合わされる。
【0090】
システム３は、システム１及び２よりも単純でありより明快である。このシステムの利点は、単に非ＲＧＢ原色を第２のリンク上にフォーマッティングすることによって採用できるという点である。故に、１つの例を挙げるに、ＳＤＩ設計については、ＲＧＢは現在されているのと同様に標準的なＳＤＩストリームで送られる。トランスポートには変更はなく、また、このリンクは任意のＲＧＢディスプレイへ送ることができるように動作可能であり、ＣＹＭコンポーネントが含まれない故に輝度差の補償が必要となるだけである。ＣＹＭデータは、ＲＧＢデータと同じ態様で転送される。そして、このデータはディスプレイ内で組み合わされて６Ｐ画像が形成される。欠点としては、システムが１つの画像を動かすために２つのワイヤを必要とするということが挙げられる。このシステムは、SMPTE ST292、424、2082、及び2110を含む大抵のフォーマットで機能するように動作可能である。また、該システムはデュアルHDMI/CTA接続とでも機能するように動作可能である。１つの実施形態では、システムは、少なくとも１つの伝達関数を含む（例えば、OETF、EOTF）。
【0091】
図１１は、デュアルリンク法を用いるエンコード処理についての１つの実施形態を示す。
【0092】
図１２は、デュアルリンク法を用いるデコード処理についての１つの実施形態を示す。
【0093】
システム４
色は、一般的には３つのコンポーネントデータレベル（例えば、ＲＧＢ、ＹＣｂＣｒ）によって定義される。シリアルデータストリームは、各々の色コントリビュータ（例えば、Ｒ、Ｇ、Ｂ）についてワードを受けることを要する。３つより多い原色を用いる場合、このデータをＲＧＢコンセプトに基づいてフィッティングするための調整が必要となる。このこと故に、システム１、システム２、及びシステム３はスタッキング、シーケンシング、及び／又はデュアルリンクを用いる。単一の画素を定義するために複数のワードが必要となり、全ての値が必要ではない故にこれは非効率である。
色は、一般的には３つのコンポーネントデータレベル（例えば、ＲＧＢ、ＹＣｂＣｒ）によって定義される。シリアルデータストリームは、各々の色コントリビュータ（例えば、Ｒ、Ｇ、Ｂ）についてワードを受けることを要する。３つより多い原色を用いる場合、このデータをＲＧＢコンセプトに基づいてフィッティングするための調整が必要となる。このこと故に、システム１、システム２、及びシステム３はスタッキング、シーケンシング、及び／又はデュアルリンクを用いる。単一の画素を定義するために複数のワードが必要となり、全ての値が必要ではない故にこれは非効率である。
【0094】
好適な実施形態では、色は測色座標で定義される。したがって、全ての色は３つのワードで定義される。シリアルシステムは既に、３つの色コントリビュータ（例えば、ＲＧＢ）に基づいている。システム４は、好適にはＸＹＺ又はＹｘｙを３つの色コントリビュータとして用いる。
【0095】
デジタルシネマイニシアチブ（ＤＣＩ、Digital Cinema Initiative）は、ＸＹＺフォーマットを用いるシアターへの配給用ファイルフォーマットを定義した。ＸＹＺ採用の理由は、特に将来の新しいディスプレイ技術への適応を可能とするためである。３Ｄ空間内に可能な色を全て含めることによって、レガシーコンテンツは任意の新しいディスプレイ方法と互換となることになる。このシステムは、２００５年以来導入されている。
【0096】
ＸＹＺはデジタルシネマのクローズドなインフラストラクチャ内では極めて良く機能するも、他の用途（例えば、放送、ストリーミング）に用いられると欠点が出る。この理由は、多くの用途には信号帯域に制限があるからである。ＲＧＢ及びＸＹＺのどちらも全３つのチャンネル内に輝度を含んでおり、これは各サブ画素がディスクリート画像情報を用いるシステムを必要とする。これを迂回するためには、色情報を幾つかの画素エリアに亘って拡げる技術が用いられる。このことの背後にある論理は、（１）画像ディテールは画像の輝度コンポーネントに所在するのであり、また、（２）好ましくない程の画質劣化を伴わずにしてカラーエリアの解像度を相当に下げるように動作可能であるという点である。よって、ＹＰＢＰＲ、ＹＣＢＣＲ、及びＩＣＴＣＰ等の方法が画像をムーブするために用いられる。色差エンコードを画像サブサンプリングと共に用いることによって、画像をより低い信号帯域でムーブすることが可能となる。したがって、ＲＧＢ又はＸＹＺは４：４：４サンプリングシステムを活用するだけであり、他方でＹＣＢＣＲは４：４：４、４：２：２、４：２：１、又は４：２：０でサンプリングされたシステムとして実装されたものとして動作可能である。
【0097】
ＲＧＢ画像よりも多くを記述するように動作可能なシステムを得たいという要請が永らく不充足となっている。好適な実施形態では、本発明は有利にＹｘｙ又はＹｕ'ｖ'を用いてＲＧＢ色域該の画像を記述できる。さらに、Ｙｘｙ又はＹｕ'ｖ'システムは、３つを超える原色（例えば、ＲＧＢ以上）を用いてデータを送信するように動作可能である。有利なことに、Ｙｘｙ又はＹｕ'ｖ'システムは全ての色の可能性をディスプレイにて提示できるようにする。さらに、Ｙｘｙ又はＹｕ'ｖ'システムは、場面（scene）リファード型及びディスプレイリファード型撮像の間の問題を架橋する。定義済みホワイトポイント及びEOTFを伴うエンドツーエンド型システムでは、カメラ又はグラフィクス生成器からの画像データは定義済みディスプレイに準拠しなければならない。新たなディスプレイの登場及び高ダイナミックレンジディスプレイの使用に伴って、このためには多くの場合はソース画像データ（例えば、場面リファード型）を特定のディスプレイ向け（ディスプレイリファード型）に再オーサリングすることを要する。場面リファード型ワークフローとは、カメラ色空間からディスプレイ色空間への変換前になす画像操作を指す。color timeとの関係でＸＹＺ又はＡＣＥＳ０を用いて動作させてそしてＹｘｙ又はＹｕ'ｖ'へと移行してディスプレイ要件を充足させることの容易性は、ディスプレイが任意のカラーバリューを失わないこと及びカラーバリューを正の値に保つことに関してより円滑なアプローチを可能とする。このことはＹｘｙ又はＹｕ'ｖ'の利点であり、たとえ画像がカメラ色空間からディスプレイ色空間へとディスプレイリファード型画像として変換された後にのみ操作される場合でも同様である。Ｙｘｙ又はＹｕ'ｖ'システムは、カメラデータ及びディスプレイ特性の両者に関して関知しない故に、電子画像の配給を単純化する。また、本発明のＹｘｙ又はＹｕ'ｖ'システムは、データペイロードを増加させず、また、任意のＲＧＢファイル又は転送システムについて代替するように動作可能である。また、ｘｙ又はｕ'ｖ'情報は、サブサンプリングされるように動作可能であり、４：２：２、４：１：１、及び４：２：０パッケージングが可能となる。本発明は、ディスプレイ色域における制限に対処するための特定のメディア定義を必要とはしない。本発明のＹｘｙ又はＹｕ'ｖ'システムを用いるそのディスプレイの制限内に色が収まる場合には、異なる原色を伴うディスプレイは同じ画像を表示するように動作可能となる。また、Ｙｘｙ又はＹｕ'ｖ'システムは、視覚スペクトルを充足するためにさらなる原色の追加を可能とするのであり、メタメリックエラーが減少する。色忠実度は先行技術のＲ＋Ｇ＋Ｂ＝Ｗモデルを超えて拡張されるように動作可能である。任意の数の原色及び様々なホワイトポイントを伴うディスプレイについては、Ｙｘｙ又はＹｕ'ｖ'アプローチの使用によって利益を得ることができ、全てのディスプレイについて１つのメディアソースエンコードを定義できる。広色域カメラから多原色ディスプレイへの変換は複数トライアド変換方法を用いて達成するように動作可能であり、ディスプレイ内にて動作可能とされるのであり、それによって画像データの送信が単純化される。
【0098】
色域外情報はメディア定義ではなく個別のディスプレイによって管理されるように動作可能である。輝度は１つのみのチャンネル（Ｙ）にて記述されており、また、ｘｙ又はｕ'ｖ'は何らの輝度情報をふくまないが故に、Ｙにおける変化は色相又は彩度とは独立であり、ＳＤＲとＨＤＲとの間での変換が単純化される。任意のカメラ色域をＹｘｙ又はＹｕ'ｖ'エンコードにコードすることができ、また、Ｙｘｙ又はＹｕ'ｖ'システムを実装するためには軽微な修正のみで足りる。Ｙｘｙ又はＹｕ'ｖ'からＲＧＢへの変換は単純であり、最小限のレイテンシ処理で済み、また、任意のレガシー型ＲＧＢシステムとは完全に互換である。
【0099】
光学ベースドなガンマ関数をコード効率的な非線形方法（例えば、データレート減少（ＤＲＲ、data rate reduction））で代替させるシステムを得たいという要請が永らく不充足となっている。ＤＲＲは、データ効率性を最適化でき、また、画像表示を単純化できる。さらに、ＤＲＲはメディア又はディスプレイに固有のものではない。データ効率的な非線形性を光学的なガンマの表現の代わりに用いることによって、より大きなデータワードを１２ビット、１０ビット、又は８ビットの整数データワードとして保持するように動作可能である。
【0100】
先述のように、原色の追加はＹｘｙ又はＹｕ'ｖ'処理によって単純化される。さらに、より多くの原色の追加によってディスプレイのブライトネスを有利に増やすように動作可能である。ブライトネスが０～１の範囲内にてもたらされる場合、ＤＤＲを用いて画像ブライトネスを任意の所望のディスプレイブライトネスにスケーリングさせるように動作可能である。
【0101】
ＸＹＺは、ガンマ又はlogエンコードされた画像についてはより良い画質のためには、16-bit floatや32-bit floatエンコード又は最低でも１２ビットを必要とする。ＸＹＺの転送は、４：４：４サンプリングシステムを用いてなされることを要する。４：４：４未満のサンプリングシステムの場合、ＹはＸ及びＺと共に座標として用いられるのであり且つ値ではなく色情報を担う故に、画像ディテール損失をもたらす。さらに、Ｘ及びＺはＹと直交ではなく、故に輝度情報をも含む。有利なことに、Ｙｘｙ（又はＹｕ'ｖ'）に変換することによって、輝度はＹのみに集約され、２つの独立且つ純粋な色度値が残される。好適な実施形態では、Ｘ、Ｙ、及びＺは、ｘ及びｙを計算するために用いられる。代替的には、Ｘ、Ｙ、及びＺは、ｕ'及びｖ'を計算するために用いられる。
【0102】
もっとも、Ｙが輝度値として用いられて、２つの独立な測色座標（例えば、ｘ及びｙ、ｕ'及びｖ'、並びにｕ及びｖ等）が色を記述するために用いられる場合、サブサンプリングを用いるシステムが可能となる。システムは、ｘ及びｙ、ｕ'及びｖ'、並びに／又はｕ及びｖに類似の性質を有する任意の２つの独立な測色座標を用いるように動作可能である。好適な実施形態では、２つの独立な測色座標はｘ及びｙであり、また、システムはＹｘｙシステムである。有利にするには２つの独立な測色座標はホワイトポイントに対して独立とされる。好適な実施形態では、画像データは少なくとも１つのホワイトポイントへの参照を含む。
【0103】
現行の技術は、レガシー型のＮＴＳＣテレビジョンシステムから派生したコンポーネントを用いる。ＳＭＰＴＥ、ＩＴＵ、及びＣＴＡ規格は、４：２：２、４：２：０、及び４：１：１のサブサンプリングを用いる方法を含む。有利なことに、これによって、３つより多い原色に関して色のトランスポートをなし得るのであり、次の事項を含むがこれらには限られない：少なくとも４つの原色、少なくとも５つの原色、少なくとも６つの原色、少なくとも７つの原色、少なくとも８つの原色、少なくとも９つの原色、少なくとも１０の原色、少なくとも１１の原色、及び／又は少なくとも１２の原色（例えば、ＳＭＰＴＥ２９２又はＨＤＭＩ１．２トランスポートを通じてこれをなし得る）。
【0104】
システム１、システム２、及びシステム３はＹＣｂＣｒ展開を用いて６色の原色データセットをトランスポートするのであり、また、同じトランスポートはＹｘｙとして画像情報を受け入れるように動作可能であって、Ｙは輝度情報であり、また、ｘ，ｙはデータストリームの半サンプルセグメント内のＣＩＥ１９３１色座標を記述する（例えば、４：２：２）。代替的には、ｘ，ｙは完全サンプリングされていることもできる（例えば、４：４：４）。さらなる別の実施形態では、サンプリングレートは４：２：０又は４：１：１である。
【0105】
有利なことに、より多くのチャンネルを追加する必要はなく、また、輝度情報を色コンポーネントから分離する何らの必要もない。さらに、ｘ，ｙは任意の原色への参照を伴わない。なぜならば、ｘ，ｙは明示的測色データポジションだからである。Ｙｘｙ空間では、ｘ及びｙは色度座標であって、ｘ及びｙは可視色の色域を定義するために用いるように動作可能である。別の利点は、線形な態様（即ち、非線形関数を適用せずに）で画像を送ることができるのであり、画像が受信された後に光学－光学トランスファー関数（ＯＯＴＦ、optical-optical transfer function）が追加されるのであって、送信前に信号にＯＯＴＦを適用することを要するわけではない。これによって、相当に単純なエンコード及びデコードシステムが可能となる。
【0106】
図１３は、非線形伝達関数（ＮＬＴＦ、non-linear transfer function）を伴ってのＹｘｙ又はＹｕ'ｖ'エンコードについての１つの実施形態について示す。画像データは、任意のフォーマット（例えば、ＲＧＢ、ＲＧＢＣＭＹ、ＣＭＹＫ）で取得されるのであり、ＸＹＺ線形データに変換することができるように動作可能である。そして、ＸＹＺデータはＹｘｙ又はＹｕ'ｖ'データに変換され、また、Ｙｘｙ又はＹｕ'ｖ'データはＮＬＴＦを通して処理される。そして、処理済みＹｘｙ又はＹｕ'ｖ'データはマッピング及び読み出しのために標準化された転送フォーマットに変換される。有利なことに、１つの実施形態では、ｘ及びｙは独立な測色座標のままとされ、また、非線形トランスファー関数はＹのみに適用されるのであり、故により単純なｘ及びｙの値のデコードがもたらされることとなる。１つの実施形態では、ｕ'及びｖ'は独立な測色座標のままとされ、また、非線形トランスファー関数はＹのみに適用されるのであり、故により単純なｕ'及びｖ'の値のデコードがもたらされることとなる。別の実施形態では、有利なことに、ＮＬＴＦを全３つのチャンネルに適用することによって、システムに圧縮がもたらされることとなる。１つの実施形態では、ＮＬＴＦはITU-R BT.2100又はITU-R BT.1886にて説明されたものとなる。有利なことに、Ｙはｘ及びｙに対して直交であり、また、非線形関数が仮に適用されたとしてもｘ及びｙに対して直交のままとなる。また、Ｙはｕ'及びｖ'に対して直交であり、また、非線形関数が仮に適用されたとしてもｕ'及びｖ'に対して直交のままとなる。図示の例はＹｘｙ及びＹｕ'ｖ'データを含むも、システム４は複数のデータフォーマットと互換であり、これには１つの輝度座標と２つの測色座標とを用いるデータフォーマットも含まれる。
【0107】
多くの異なるＲＧＢセットがある故に、画像データをＲＧＢ原色のセットからＸＹＺへと変換するのに用いられる行列は、ＲＧＢ値を受けて特定の解を伴う：
【数3】
【0108】
画像データが６Ｐ－Ｂデータである実施形態では、次式を用いてＸＹＺデータを変換する：
【数4】
【0109】
画像データがＤ６０ホワイトポイントを伴う６Ｐ－Ｃデータである実施形態では、次式を用いてＸＹＺデータを変換する：
【数5】
【0110】
画像データがＤ６５ホワイトポイントを伴う６Ｐ－Ｃデータである実施形態では、次式を用いてＸＹＺデータを変換する：
【数6】
【0111】
ＸＹＺデータをＹｘｙデータに変換するには、次式を用いる：
【数7】
【0112】
図１４は、ＮＬＴＦを伴わないＹｘｙ又はＹｕ'ｖ'エンコードについての１つの実施形態について示す。画像データは、任意のフォーマット（例えば、ＲＧＢ、ＲＧＢＣＭＹ、ＣＭＹＫ）で取得されるのであり、ＸＹＺデータに変換することができるように動作可能である。そして、ＸＹＺデータはＹｘｙ又はＹｕ'ｖ'データに変換され、そして、マッピング及び読み出しのために標準化された転送フォーマットに変換される。図１４の例はＹｘｙ又はＹｕ'ｖ'エンコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0113】
図１５は、逆非線形伝達関数（ＮＬＴＦ－１）を伴ってのＹｘｙ又はＹｕ'ｖ'デコードについての１つの実施形態について示すマッピング及び読み出しの後、データはＮＬＴＦ－１を通して処理されてＹｘｙ又はＹｕ'ｖ'データが得られる。そして、Ｙｘｙ又はＹｕ'ｖ'データはＸＹＺデータに戻されるように変換される。ＸＹＺデータは、ＲＧＢ、ＣＭＹＫ、６Ｐ（例えば、６Ｐ－Ｂ、６Ｐ－Ｃ）を含むがこれらには限定されない複数のデータフォーマット並びに少なくとも４つの原色から少なくとも１２の原色を含む色域に変換されるように動作可能である。図１５の例はＹｘｙ又はＹｕ'ｖ'デコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0114】
ＹｘｙデータをＸＹＺデータに変換するには、次式を用いる：
【数8】
【0115】
図１６は、ＮＬＴＦを伴わないＹｘｙ又はＹｕ'ｖ'デコードについての１つの実施形態について示す。そして、マッピング及び読み出しの後、Ｙｘｙ又はＹｕ'ｖ'データはＸＹＺデータに変換される。ＸＹＺデータは、ＲＧＢ、ＣＭＹＫ、６Ｐ（例えば、６Ｐ－Ｂ、６Ｐ－Ｃ）を含むがこれらには限定されない複数のデータフォーマット並びに少なくとも４つの原色から少なくとも１２の原色を含む色域に変換されるように動作可能である。図１６の例はＹｘｙ又はＹｕ'ｖ'エンコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0116】
図１７は、ＮＬＴＦを伴う４：２：２ Ｙｘｙエンコードについての１つの実施形態について示す。画像ディテールを担うために全帯域輝度チャンネル（Ｙ）が用いられており、また、残りの色座標コンポーネント（例えば、ｘ，ｙ）は半サンプリングされる。図１７に示される例では、Ｙｘｙデータは４：２：２エンコードを施される。他のエンコード方法（４：４：４、４：２：０、４：１：１）も本発明と互換性を有する。他の量子化方法及びビット深度も本発明と互換性を有する。１つの実施形態では、ビット深度は８ビット、１０ビット、１２ビット、１４ビット、及び／又は１６ビットとされる。１つの実施形態では、Ｙｘｙ値はfloatとしてサンプリングされる（例えば、１６ビット浮動小数点表示、３２ビット浮動小数点表示）。限定せずに例えるとすれば、floatには、IEEE 754にて定義される浮動小数点表示も含まれる。図１７の例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0117】
図１８は、ＮＬＴＦを伴わない４：２：２ Ｙｘｙエンコードについての１つの実施形態を示す。図１８に示される例では、Ｙｘｙデータは４：２：２エンコードを施される。他のエンコード方法（４：４：４、４：２：０、４：１：１）も本発明と互換性を有する。図１８の例はＹｘｙエンコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0118】
図１９は、全３チャンネルにＮＬＴＦが適用され且つｘ，ｙについて線形スケーリングがなされた４：２：２Ｙｘｙエンコードについての１つの実施形態を示す。画像ディテールを担うために全帯域輝度チャンネル（Ｙ）が用いられており、また、残りの色座標コンポーネント（例えば、ｘ，ｙ）は半サンプリングされる。図１９に示される例では、Ｙｘｙデータは４：２：２エンコードを施される。他のエンコード方法（４：４：４、４：２：０、４：１：１）も本発明と互換性を有する。他の量子化方法及びビット深度も本発明と互換性を有する。１つの実施形態では、ビット深度は８ビット、１０ビット、１２ビット、１４ビット、及び／又は１６ビットとされる。１つの実施形態では、Ｙｘｙ値はfloatとしてサンプリングされる（例えば、１６ビット浮動小数点表示、３２ビット浮動小数点表示）。限定せずに例えるとすれば、floatには、IEEE 754にて定義される浮動小数点表示も含まれる。図１９の例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0119】
図２０は、ＮＬＴＦを伴わないがｘ，ｙについての線形スケーリングを伴う４：２：２Ｙｘｙエンコードについての１つの実施形態を示す。図２０に示される例では、Ｙｘｙデータは４：２：２エンコードを施される。他のエンコード方法（４：４：４、４：２：０、４：１：１）も本発明と互換性を有する。図２０の例はＹｘｙエンコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0120】
図２１は、４：２：２画素マッピングについてのＹｘｙシステムコンポーネントのサンプル配置を示す。複数の画素（例えば、P00-P35）が図２１に示されている。第１の下付き数字は行番号を示し、第２の下付き数字は列番号を示す。画素P00については、Y'INT00がlumaであり、また、色コンポーネントはxINT00及びyINT00である。画素P01については、Y'INT01がlumaである。画素P10については、Y'INT10がlumaであり、また、色コンポーネントはxINT10及びyINT10である。画素P11については、Y'INT11がlumaである。１つの実施形態では、特定の画素（例えば、P00）に対応するluma及び色コンポーネント（例えば、画像データのセット）は、サブ画素の色及びブライトネスを計算するために用いられる。図２１Ａに示されている例はlumaを含むが、データが線形な態様で輝度として送られることも同じようにあり得る（例えば、YINT00）。さらに、図２１の例はＹｘｙシステムコンポーネントを含むも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。先行技術のシステムは多くの場合ｘ，ｙ座標を用いて色域をマッピングするのに対して、本発明は画素マッピングデータをＹｘｙデータとして提供するのであり、また、データをＹチャンネル、第１の測色座標チャンネル（例えば、ｘ）、及び第２の測色座標チャンネル（例えば、ｙ）として転送する。
【0121】
図２２は、４：２：０画素マッピングについてのＹｘｙシステムコンポーネントのサンプル配置を示す。複数の画素（例えば、P00-P35）が図２２に示されている。第１の下付き数字は行番号を示し、第２の下付き数字は列番号を示す。画素P00については、Y'INT00がlumaであり、また、色コンポーネントはxINT00及びyINT00である。画素P01については、Y'INT01がlumaである。画素P10については、Y'INT10がlumaである。画素P11については、Y'INT11がlumaである。１つの実施形態では、特定の画素（例えば、P00）に対応するluma及び色コンポーネントは、サブ画素の色及びブライトネスを計算するために用いられる。図２２に示されている例はlumaを含むが、データが線形な態様で輝度として送られることも同じようにあり得る（例えば、YINT00）。さらに、図２２の例はＹｘｙシステムコンポーネントを含むも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0122】
１つの実施形態では、画像データのセットは画素マッピングデータを含む。１つの実施形態では、画素マッピングデータはＹｘｙ色空間内での値のセットのサブサンプルを含む（例えば、４：２：２）。１つの実施形態では、画素マッピングデータはＹｘｙ色空間内での値のセットのアラインメントを含む。
【0123】
表６は、４：２：２サンプリングについてのSMPTE ST 2110へのマッピングを示す。表７は、４：２：４の線形及び非線形サンプリングについてのSMPTE ST 2110へのマッピングを示す。
【表6】
【表7】
【0124】
図２３は、SMPTE ST292 Ｙｘｙシステムマッピングについての１つの実施形態を示す。ＹｘｙシステムをSMPTE ST292ストリームに入れ込むには、次の置換をなすことを要する：Y'INTはＹデータセグメントに配置され、xINTはＣｒデータセグメントに配置され、また、yINTはＣｂデータセグメントに配置される。好適な実施形態では、輝度又はlumaはＹデータセグメントに配置され、第１の測色座標はＣｒデータセグメントに配置され、また、第２の測色座標はＣｂデータセグメントに配置される。図２３の例はＹｘｙシステムマッピングを示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0125】
図２４は、SMPTE ST2082 Ｙｘｙシステムマッピングについての１つの実施形態を示す。ＹｘｙシステムをSMPTE ST292ストリームに入れ込むには、次の置換をなすことを要する：Y'INTはＧデータセグメントに配置され、xINTはＲデータセグメントに配置され、また、yINTはＢデータセグメントに配置される。好適な実施形態では、輝度又はlumaはＧデータセグメントに配置され、第１の測色座標はＲデータセグメントに配置され、また、第２の測色座標はＢデータセグメントに配置される。図２４の例はＹｘｙシステムマッピングについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0126】
図２５は、CTA 861データストリームに挿入されたＹｘｙについての１つの実施形態を示す。図２５の例はＹｘｙシステムマッピングについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0127】
図２６Ａは、ＹチャンネルのみにＮＬＴＦ－１が適用されるＹｘｙデコードについての１つの実施形態を示す。１つの実施形態では、非線形関数（例えば、ＮＬＴＦ－１）がlumaに適用される。非線形関数は、２つの測色座標には適用されない。図２６Ａの例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0128】
１つの実施形態では、ＮＬＴＦ－１は逆ＤＲＲ関数であり、約1.1～4の値を伴う。１つの実施形態では、ＮＬＴＦ－１は逆ＤＲＲ関数であり、約1.4～4の値を伴う。１つの実施形態では、ＮＬＴＦ－１は逆ＤＲＲ関数であり、約1.4～2.4の値を伴う。１つの実施形態では、ＮＬＴＦ－１は逆ＤＲＲ関数であり、約2～4の値を伴う。
【0129】
図２６Ｂは、いずれのチャンネルにもＮＬＴＦ－１が適用されないＹｘｙデコードについての１つの実施形態を示す。１つの実施形態では、データは輝度として線形的に送られる。非線形関数（例えば、ＮＬＴＦ－１）が輝度又は２つの測色座標に適用されない。図２６Ｂの例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0130】
図２７Ａは、全３チャンネルにＮＬＴＦ－１が適用され且つｘ及びｙについての再スケーリングがなされるＹｘｙデコードについての１つの実施形態を示す。１つの実施形態では、非線形関数（例えば、ＮＬＴＦ－１）がluma及び２つの測色座標に適用される。図２７Ａの例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である。
【0131】
図２７Ｂは、いずれのチャンネルにもＮＬＴＦ－１が適用されずに且つｘ及びｙチャンネルに再スケーリングが適用されるＹｘｙデコードについての１つの実施形態を示す。１つの実施形態では、データは輝度として線形的に送られる。非線形関数（例えば、ＮＬＴＦ－１）が輝度又は２つの測色座標に適用されない。図２７Ｂの例はＹｘｙデコードについて示すも、システム４は複数のデータフォーマットと共に用いられるように動作可能である（例えば、Ｙｕ'ｖ'）。
【0132】
有利なことに、ＸＹＺはシネマトグラフィー用のＡＣＥＳの基礎として用いられ、ITU-R BT.709及び／又はＰ３色空間外の色の使用を可能とする。さらに、ＸＹＺは他の規格（ＪＰＥＧ２０００、デジタルシネマイニシアチブ（ＤＣＩ、Digital Cinema Initiatives））でも用いられており、容易にシステム４に適合させることができる。
【0133】
１つの実施形態では、画像データコンバータは、少なくとも１つのルックアップテーブル（ＬＵＴ）を含む。１つの実施形態では、少なくとも１つのＬＵＴは、色域外カラーをゼロにマッピングする。１つの実施形態では、少なくとも１つのＬＵＴは、色域外カラーを可視色の周縁部にマッピングする。
【0134】
伝達関数
システムの設計は、制約を最小化してエンコード及び／又はデコード処理に関して標準的伝達関数を用いる。規格で用いられる現行の慣行には、ITU-R BT.1886、ITU-R BT.2020、SMPTE ST274、SMPTE ST296、SMPTE ST2084、及びITU-R BT.2100が含まれるがこれらには限定されない。これらの規格はこのシステムと互換であり、何らの修正を要しない。
システムの設計は、制約を最小化してエンコード及び／又はデコード処理に関して標準的伝達関数を用いる。規格で用いられる現行の慣行には、ITU-R BT.1886、ITU-R BT.2020、SMPTE ST274、SMPTE ST296、SMPTE ST2084、及びITU-R BT.2100が含まれるがこれらには限定されない。これらの規格はこのシステムと互換であり、何らの修正を要しない。
【0135】
多原色（例えば、６Ｐ、ＲＧＢＣ）画像のフォーマットは幾つかの異なる構成とされて画像転送周波数制約に適合させる。全コンポーネントを多原色コンポーネント（例えば、ＲＧＢＣＭＹ）のまま保持することによって最高品質のトランスポートがもたらされる。この場合は、最高のサンプリング周波数が用いられ、また、最も多くの帯域を必要とする。代替的方法では、完全帯域で輝度チャンネル内の画像ディテールを合算して、そして、色差信号を１／２又は１／４サンプリングで送る（例えば、Y Cr Cb Cc Cy）。これによって、類似の画像がより低い帯域のトランスポートを通過できるようになる。
【0136】
ＩＰＴシステムはＹｘｙシステムに似た概念であり、幾つかの例外を伴う。ＩＰＴシステム又はＩＣＴＣＰシステムは、ＸＹＺの拡張版であることには変わらず、ＲＧＢ及び多原色（例えば、ＲＧＢＣＭＹ、ＲＧＢＣ）色座標から導出できるように動作可能である。ＩＰＴの色の説明は４：４：４サンプリング構造内にて代替するように動作可能であるが、ＸＹＺは既に確立されていて同じレベルの計算量を要さない。ＩＣＴＣＰトランスポートシステムに関しては、似た代替をなすように動作可能である。もっとも、どちらの代替システムについても、非線形関数（例えば、ＯＯＴＦ）が全３つのコンポーネントに含まれているという点で制限されている。非線形関数がＩＰＴ又はＩＣＴＣＰについて除かれるように動作可能であるが、導出は依然としてホワイトポイントへの参照を伴ったＲＧＢ原色のセットに基づいていることになる。非線形関数を除くことによって、ビット深度ノイズ及び圧縮可能性に関して変化をもたらし得る。
【0137】
トランスポート（transport）について述べるに、現行のシステムにおけるＩＰＴの使用やＩＣＴＣＰについて用いられる現行の規格についてのＸＹＺのトランスポートについて説明された事柄を基礎として代替をなすように動作させることができる。
【0138】
図２８Ａは、ＩＰＴ ４：４：４エンコードについての１つの実施形態を示す。
【0139】
図２８Ｂは、ＩＰＴ ４：４：４デコードについての１つの実施形態を示す。
【0140】
図２９Ａは、ＩＣＴＣＰ ４：２：２エンコードについての１つの実施形態を示す。
【0141】
図２９Ｂは、ＩＣＴＣＰ ４：２：２デコードについての１つの実施形態を示す。
【0142】
システム１、２、及び３において用いられている伝達関数は、一般的には２つの基本的実装例に沿って構成されている。標準的なダイナミックレンジを用いて表示される画像については、伝達関数は２つの規格内にて定義されている。OETFは、ITU-R BT.709-6の表１の行１．２にて定義されている。逆関数たるEOTFは、ITU-R BT.1886にて定義されている。高ダイナミックレンジ撮像に関しては、知覚量子化（ＰＱ）及びハイブリッドlog-gamma（ＨＬＧ）曲線がITU-R BT.2100-2:2018,表4にて説明されている。
【0143】
先行技術には、選択された光学性能に基づいた非線形性が含まれる。撮像技術の進歩に応じて異なる方法が編み出されてきた。一時においては、コンピュータディスプレイは単純な１．８ガンマを用いていたのに対して、テレビジョンでは０．４５の逆を仮定していた。デジタルシネマが確立された際には２．６ガンマが用いられ、また、近時においては複雑なＨＤＲソリューションが提案されている。もっとも、これらはＲＧＢ構造内に埋め込まれている故に、フォーマット間での変換は相当に複雑なものとして動作可能であり、また、膨大な量の処理を要する。有利なことに、Ｙｘｙ又はＹｕ'ｖ'システムは、複雑な変換又は大量の処理を必要としない。
【0144】
データ圧縮に関してのガンマ及び光学ベースド伝達（transfer）曲線の使用についての再考察によって、データレート減少（ＤＲＲ）手法の開発がもたらされた。ＤＲＲの形式はガンマに似ているが、ＤＲＲの目的はディスプレイが利用できるビット数について効率を最大化することである。利点は単純な変換（conversion）方法を用いて任意のＯＯＴＦシステムへの伝達又はそこからの伝達をなすように動作可能であることであり、任意の入力トランスフォーム（transform）は最小限の処理をもって任意の出力トランスフォームを用いて表示できる。
【0145】
ＤＲＲ処理を用いることによって、画像をソース装置内にてエンコードできるように動作可能である。ありふれた非線形性の使用によって、より速く且つより正確な変換が可能となる。この非線形性の設計は、データ転送（transmission）効率についてなされているのであり、光学トランスフォーム関数としてではない。このことは特定のパラメータがエンコードについて設定された場合にのみ機能する。任意の前処理は受け入れ得るが、それによって正確な１６ビットの線形的な結果を保証することを要する。
【0146】
デコードについては２つの方法：（１）逆ＤＲＲを入力データに適用して線形データフォーマットに変換する方法、又は（２）ＤＲＲ値と所望のディスプレイガンマとの間の差によって単純なディスプレイガンマについて入力データをディスプレイに直接的にマッピングするように動作可能な方法が利用可能である。
【0147】
さらなる要件としては、計算が単純であることが挙げられる。ＤＲＲを用いることによって、処理量は最小化され、これによって信号レイテンシが減じられる。非線形性（例えば、ＤＲＲ）は、画像強度ではなくビットレベルに基づいて適用される。
【0148】
システム４は、任意の伝達（transfer）関数を用いるように動作可能であり、これはＹコンポーネントに適用されるように動作可能である。もっとも、互換性を向上させるために且つ標準的伝達関数間での変換（conversion）を単純化するために、新たな方法が開発された：1/2ＤＲＲ関数である。有利なことに、1/2ＤＲＲ関数は、信号（例えば、Ｙｘｙ信号、Ｙｕ'ｖ'信号）の輝度（例えば、Ｙ）コンポーネントからディスプレイへと向かう際に単一の計算で済ませる。有利なことに、1/2ＤＲＲ関数は光学トランスフォーム（transform）関数としてではなくデータ効率性について設計されたものである。１つの実施形態では、1/2ＤＲＲ関数は非線形関数の代わりに用いられる（例えば、OETF又はEOTF）。１つの実施形態では、1/2ＤＲＲ関数への信号入力は、線形であり且つ０～１の値の間に制限されているものと仮定される。１つの実施形態では、1/2ＤＲＲ関数は１０ビットトランスポート（transport）及び／又は１２ビットトランスポートについて最適化されている。代替的には、1/2ＤＲＲ関数は１４ビットトランスポート及び／又は１６ビットトランスポートについて最適化されている。代替的な実施形態では、1/2ＤＲＲ関数は８ビットトランスポートについて最適化されている。典型的な実装例では、1/2ＤＲＲ関数の逆が適用されるのであり、これによって信号が線形化される。そして、ディスプレイ色域への変換が適用される。
【0149】
図３０Ａは、1/2ＤＲＲ関数についての１つの実施形態を示す。
【0150】
１つの実施形態では、ＤＲＲがソースメディアに対してn=Lτとして適用されて、逆ＤＲＲ（ＤＲＲ－１）がディスプレイ（又はシンク）に対してL=n1/τとして適用されるのであって、τは逆非線形性の指数を表す。１つの実施形態では、システムは、ソースガンマ（例えば、OETF）及びディスプレイガンマ（例えば、EOTF）の双方を取り込む。例えば、ＤＲＲについての次式が用いられる：
ここで、当該式内のＤＲＲ値は線形から非線形への変換係数である。逆ＤＲＲ（ＤＲＲ－１）は非線形から線形への再展開係数である。
【数9】
ここで、当該式内のＤＲＲ値は線形から非線形への変換係数である。逆ＤＲＲ（ＤＲＲ－１）は非線形から線形への再展開係数である。
【0151】
有利なことに、1/2ＤＲＲ関数をＯＯＴＦガンマと共に用いることによって、二段階変換処理を活用せずに諸関数が単一のステップに組み合わされることになる。１つの実施形態では、少なくとも１つのトーンカーブが1/2ＤＲＲ関数の後に適用される。1/2ＤＲＲ関数は、有利な態様で線形の値へ向かっての或いは線形の値からの変換について容易性をもたらす。全てのカラー及びトーンマッピングが線形ドメイン内にてなされることを認めると、実装が容易な変換法を有しておくの望ましく、また、線形の値へ向かっての或いはそこからの変換がより用意及びより単純となる。
【0152】
図３０Ｂは、1/2ＤＲＲ関数を用いた際の最大量子化エラーについてのグラフを示す。オリジナルの１６ビット画像から１０ビット（青色のトレース）への最大量子化エラーはグラフ内に示されている。グラフ内に示されている実施形態では、1/2ＤＲＲ関数を用いた１６ビットから１０ビットへの変換については、最大量子化エラーは０．０５％未満である（例えば、０．０４７％）。また、グラフはオリジナルの１６ビット画像から１２ビット（オレンジのトレース）信号及び１４ビット（グレーのトレース）信号への最大量子化エラーについても示す。
【0153】
１６ビット（例えば、１６ビット浮動小数）の値を伴う画像を１２ビット（例えば、１２ビット整数）の値を伴うそれに変換するに際しては1/2ＤＲＲが理想的であるも、他のデータセットについては１／３ＤＲＲがピーク信号対ノイズレシオ（ＰＳＮＲ）について同等の性能をもたらす。より広い輝度ダイナミックレンジ（例えば、最大で1000 cd/m2）を伴うＨＤＲコンテンツに関しては、１６ビット浮動小数からの１／３ＤＲＲ変換が1/2ＤＲＲと同じ性能を維持する。１つの実施形態では、τの最適値を見出すには次式を用いる：
ここで、Minimum Float Value：最小フロート値、Integer Bit Depth:整数ビット深度である。
【数10】
ここで、Minimum Float Value：最小フロート値、Integer Bit Depth:整数ビット深度である。
【0154】
１つの実施形態では、最小浮動小数値はIEEE Standard for Floating-Point Arithmetic (IEEE 754) (July 2019)に基づいており、これは参照によって全体が取り込まれる。１つの実施形態では、画像値の範囲は０～１の範囲で正規化される。画像値の範囲は、好適には０～１の範囲で正規化されてＤＲＲ関数が適用される。
【0155】
例えば、ＨＤＲシステム（例えば、輝度ダイナミックレンジが1000～4000 cd/m2の範囲）に関しては上述の式は次式となる：
ここで、Minimum Float Value：最小フロート値、Peak HDR value：ピークHDR値、Integer Bit Depth:整数ビット深度である。
【数11】
ここで、Minimum Float Value：最小フロート値、Peak HDR value：ピークHDR値、Integer Bit Depth:整数ビット深度である。
【0156】
図３１は、１／３ＤＲＲ関数についての１つの実施形態を示す。
【0157】
１つの実施形態では、ＤＲＲ値は好適には０．２５～０．９とされる。表８は、ＤＲＲ対ビット深度対完全１６ビット浮動小数（２４段（f-stop）分に相当）についての評価についての１つの実施形態を示す。表９は、ＤＲＲの推奨用途についての１つの実施形態を示す。表１０は、f-stopにて示された所望ダイナミックレンジに基づいた８ビット、１０ビット、及び１２ビットに関して最適化されたＤＲＲ関数についての１つの実施形態を示す。各f-stopは、光の値についての倍加を表す。f-stopは、（f-stopで測られる）ノイズ（例えば、知覚される信号対ノイズレシオ（ＰＳＮＲ）の逆数）が指定された最大値未満のままとなるトーンの範囲について示す。最大ノイズが低いほど、或いはＰＳＮＲが高いほど、画質が良好となる。１つの実施形態では、ＤＲＲはＹｘｙ又はＹｕ'ｖ'１６ビットデータに適用されない。１つの実施形態では、Ｙｘｙ又はＹｕ'ｖ'１６ビットデータは２４f-stop分をカバーする。１つの実施形態では、０．６ＤＲＲがＹｘｙ又はＹｕ'ｖ'１２ビットデータに適用され、０．５ＤＲＲがＹｘｙ又はＹｕ'ｖ'１０ビットデータに適用され、及び／又は０．４ＤＲＲがＹｘｙ又はＹｕ'ｖ'８ビットデータに適用される。１つの実施形態では、Ｙｘｙ又はＹｕ'ｖ'１２ビットデータ、Ｙｘｙ又はＹｕ'ｖ'１０ビットデータ、及び／又はＹｘｙ又はＹｕ'ｖ'８ビットデータは、２０f-stop分をカバーする。
【表8】
【表9】
【表10】
【0158】
エンコーダ及びデコーダ
１つの実施形態では、多原色システムは、画像データ入力（例えば、RAW, SDI, HDMI, DisplayPort,イーサネット）を受け付けるように動作可能なエンコーダを含む。１つの実施形態では、画像データ入力は次のもの：カメラ、コンピュータ、プロセッサ、フラッシュメモリカード、ネットワーク（例えば、ＬＡＮ）、又は画像データ入力を提供するように動作可能な任意の他のファイル記憶又は転送媒体から来る。エンコーダは、処理済み画像データ（例えば、Ｙｘｙ、ＸＹＺ、Ｙｕ'ｖ'）をデコーダへと（例えば、有線又は無線通信を介して）送るように動作可能である。デコーダは、フォーマット済み画像データ（例えば、ＳＤＩ、ＨＤＭＩ、イーサネット、DisplayPort、Ｙｘｙ、ＸＹＺ、Ｙｕ'ｖ'、レガシー型ＲＧＢ、多原色データ（例えば、ＲＧＢＣ、ＲＧＢＣＭＹ等））を表示のために少なくとも１つのビューイング装置（例えば、ディスプレイ、モニタ、プロジェクタ）へと（例えば、有線又は無線通信を介して）送るように動作可能である。１つの実施形態では、デコーダはフォーマット済み画像データを少なくとも２つのビューイング装置へと同時に送るように動作可能である。１つの実施形態では、少なくとも２つのビューイング装置の２つ以上は異なる色空間及び／又はフォーマットを用いる。１つの例では、デコーダはフォーマット済み画像データをＨＤＭＩで第１のビューイング装置へと並びにＳＤＩで第２のビューイング装置へと送る。別の例では、デコーダは、フォーマット済み画像データを多原色形式（例えば、ＲＧＢＣ、ＲＧＢＣ）で第１のビューイング装置へと並びにレガシー型ＲＧＢ（例えば、Rec.709）で第２のビューイング装置へと送る。１つの実施形態では、イーサネット用にフォーマットされた画像データはSMPTE ST2022互換とされる。追加的に又は代替的には、イーサネット用にフォーマットされた画像データはSMPTE ST2110及び／又は任意の画像データ用のインターネットプロトコル（ＩＰ）ベースド転送プロトコルと互換とされる。
１つの実施形態では、多原色システムは、画像データ入力（例えば、RAW, SDI, HDMI, DisplayPort,イーサネット）を受け付けるように動作可能なエンコーダを含む。１つの実施形態では、画像データ入力は次のもの：カメラ、コンピュータ、プロセッサ、フラッシュメモリカード、ネットワーク（例えば、ＬＡＮ）、又は画像データ入力を提供するように動作可能な任意の他のファイル記憶又は転送媒体から来る。エンコーダは、処理済み画像データ（例えば、Ｙｘｙ、ＸＹＺ、Ｙｕ'ｖ'）をデコーダへと（例えば、有線又は無線通信を介して）送るように動作可能である。デコーダは、フォーマット済み画像データ（例えば、ＳＤＩ、ＨＤＭＩ、イーサネット、DisplayPort、Ｙｘｙ、ＸＹＺ、Ｙｕ'ｖ'、レガシー型ＲＧＢ、多原色データ（例えば、ＲＧＢＣ、ＲＧＢＣＭＹ等））を表示のために少なくとも１つのビューイング装置（例えば、ディスプレイ、モニタ、プロジェクタ）へと（例えば、有線又は無線通信を介して）送るように動作可能である。１つの実施形態では、デコーダはフォーマット済み画像データを少なくとも２つのビューイング装置へと同時に送るように動作可能である。１つの実施形態では、少なくとも２つのビューイング装置の２つ以上は異なる色空間及び／又はフォーマットを用いる。１つの例では、デコーダはフォーマット済み画像データをＨＤＭＩで第１のビューイング装置へと並びにＳＤＩで第２のビューイング装置へと送る。別の例では、デコーダは、フォーマット済み画像データを多原色形式（例えば、ＲＧＢＣ、ＲＧＢＣ）で第１のビューイング装置へと並びにレガシー型ＲＧＢ（例えば、Rec.709）で第２のビューイング装置へと送る。１つの実施形態では、イーサネット用にフォーマットされた画像データはSMPTE ST2022互換とされる。追加的に又は代替的には、イーサネット用にフォーマットされた画像データはSMPTE ST2110及び／又は任意の画像データ用のインターネットプロトコル（ＩＰ）ベースド転送プロトコルと互換とされる。
【0159】
エンコーダ及びデコーダは好適には少なくとも１つのプロセッサを含む。制限を伴わずに例示すれば、少なくとも１つのプロセッサは次のもの：汎用マイクロプロセッサ（例えば、中央処理ユニット（ＣＰＵ））、グラフィクス処理ユニット（ＧＰＵ）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、コントローラ、状態マシン、ゲート又はトランジスタのロジック、個別ハードウェアコンポーネント、又は計算の遂行、実行のための命令の処理、及び／若しくは情報についての他の操作をなすように動作可能な任意の他の適切なエンティティ又はそれらの組合せとされ得る。１つの実施形態では、少なくとも１つのプロセッサの１つ以上が、エンコーダ及び／又はデコーダの少なくとも１つのメモリ内に格納された事前定義されたプログラムを実行するように動作可能である。
【0160】
エンコーダ及び／又はデコーダは、ハードウェア、ファームウェア、及び／又はソフトウェアを含む。１つの実施形態では、エンコーダ及び／又はデコーダは、サードパーティソフトウェアに注入されるように動作可能である（例えば、ダイナミックリンクライブラリ（ＤＬＬ）を介して）。１つの実施形態では、エンコーダ及び／又はデコーダの機能及び／又は特徴は効率のために組み合わされている。
【0161】
図３２は、エンコーダについての１つの実施形態について示す。エンコーダは少なくとも１つのエンコーダ入力（例えば、SDI、HDMI、SMPTE ST2110、SMPTE ST2022、DisplayPort、ファイバ、イーサネット）及び少なくとも１つのエンコーダ出力（例えば、SDI、HDMI、SMPTE ST2110、SMPTE ST2022、Yxy SDI、Yxy HDMI、Yu'v' SDI、Yu'v' HDMI、DisplayPort、ファイバ、イーサネット）を含む。エンコーダは好適には、エンコーダオペレーションプログラミングポートを含み、これはエンコーダ上のファームウェア及び／又はソフトウェアに更新を提供するように動作可能である。例えば、エンコーダオペレーションプログラミングポートは、エンコーダ内のライブラリ関数、内部フォーマッティング、カメラデモザイク（例えば、DeBayer）パターンアルゴリズム、及び／又はルックアップテーブルを更新するように動作可能である。１つの実施形態では、エンコーダはメタデータ入力を含む。１つの実施形態では、エンコーダはエンコーダ設定ＣＰＵを含み、これは少なくとも１つのエンコーダメモリとインタフェースするように動作可能である。エンコーダはさらに次のもの：エンコーダイコライザ、少なくとも１つのエンコーダ用シリアルからパラレルへの（S/P）コンバータ（例えば、SDI S/Pコンバータ、HDMI S/P、イーサネットS/Pコンバータ）、少なくとも１つのエンコーダ用フラッシュカードリーダ、少なくとも１つのイーサネットポート、デモザイク（例えば、DeBayer）エンジン、線形コンバータ、スケーラー（例えば、0-1）、少なくとも１つのカスタムエンコーダLUT、カラーチャンネルからXYZへのコンバータ（例えば、Rec. 709におけるRGB、P3、Rec. 2020；6P；多原色；ACES；カスタム）、XYZ-to-Yxyコンバータ、XYZ-to-Yu'v'コンバータ、DRR関数（例えば、1/2 DRR）、xyスケーラー、u'v'スケーラー、サンプリングセレクタ（例えば、4:4:4, 4:2:2, 4:2:0）、メタデータデコーダ、エンコーダ用メタデータフォーマッタ、少なくとも１つのエンコーダ用パラレルからシリアルへの（P/S）コンバータ（例えば、SDI P/Sコンバータ、HDMI P/Sコンバータ、イーサネットP/Sコンバータ）、少なくとも１つのエンコーダフォーマッタ（例えば、SDIフォーマッタ、HDMIフォーマッタ、イーサネットフォーマッタ）、及び／又は透かしエンジンを含む。１つの実施形態では、入力データは、エンコーダ内の処理段階及び／又はコンポーネントの任意の組合せをバイパスできるように動作可能である。
【0162】
少なくとも１つのエンコーダは、SDI入力、HDMI入力、DisplayPort、イーサネット入力、及び／又はSMPTE ST2110入力を含むがこれらには限られない。SDI入力は好適には、SMPTE ST352ペイロードＩＤ規格の改造バージョンに準拠する。１つの実施形態では、SDI入力はSMPTE ST292、SMPTE ST425、及び／又はSMPTE ST2082である。１つの実施形態では、SDI入力からのビデオ信号は、エンコーダイコライザへと送られてケーブルのタイプ及び長さに関して補う。１つの実施形態では、HDMI入力は標準のHDMI受信回路でデコードされる。１つの実施形態では、HDMI入力はパラレルフォーマットに変換される。１つの実施形態では、HDMI入力はCTA 861規格にて定義されている。別の実施形態では、少なくとも１つのエンコーダ入力は、フラッシュ装置（flash device）からの画像データ（例えば、RAWデータ）を含む。設定ＣＰＵは、フラッシュカード（flash card）上のフォーマット及び／又はファイルタイプを識別するのであり、画像データを読み出してこれをエンコーダにとって利用可能とするために動作可能なソフトウェアを有している。
【0163】
１つの実施形態では、エンコーダオペレーションプログラミングポートは、（例えば、マイクロＵＳＢ又は相当するものを介して）エンコーダ制御システムに接続するように動作可能である。１つの実施形態では、エンコーダ制御システムは次のこと：デモザイク（DeBayer）エンジン用のテーブルを保持する少なくとも１つのエンコーダメモリを制御すること、線形コンバータ及び／又はスケーラーに変更をロードすること、少なくとも１つの入力を選択すること、少なくとも１つのカスタムエンコーダＬＵＴのためのテーブルをロードすること、少なくとも１つのカスタムエンコーダＬＵＴの１つ以上をバイパスすること、デモザイク（例えば、DeBayer）エンジンをバイパスすること、RGB to XYZコンバータのための変換テーブルを追加又は変更すること、DRR関数を変更すること（例えば、1/2 DRR関数）、透かしエンジンを起動又は停止すること、透かしエンジンのデジタル透かしを変更すること、及び／又はフラッシュメモリプレイヤ（flash memory player）用の機能を遂行すること（例えば、再生、停止、先送り、高速先送り、巻き戻し、高速巻き戻し、フレーム選択）をなすように動作可能である。
【0164】
１つの実施形態では、メタデータデコーダは次の事項：拡張ディスプレイ識別データ（EDID、Extended Display Identification Data）（例えば、HDMI入力用）、SDPパラメータ（SMPTE ST 2110）、ペイロードID、及び／又は付随的情報（例えば、垂直付随データ（VANC、Vertical ANCillary data））をデコードするように動作可能である。エンコーダ設定ＣＰＵは、メタデータデコーダからのデータを処理するように動作可能である。さらに、エンコーダ設定ＣＰＵは、特定の設定を選択する及び／又は選択されたデータをエンコーダメタデータフォーマッタへと届けるように動作可能である。メタデータ入力は追加のデータ及び／又は異なるデータ値を挿入するように動作可能であり、これはエンコーダメタデータフォーマッタへと送られるように動作可能でもある。エンコーダメタデータフォーマッタは、エンコーダ設定ＣＰＵから情報を取って、プロセスの出力に再挿入されるべき情報に対してアレンジを施すように動作可能である。１つの実施形態では、各エンコーダ出力フォーマッタはこのフォーマット済みデータを受けてタイミングを図ってシリアルストリームにて用いられるようにする。
【0165】
１つの実施形態では、少なくとも１つのS/Pコンバータは処理効率向上のために最大でｎビットのものとされる。少なくとも１つのS/Pコンバータは好適には処理済み画像データをフォーマットして、エンコーダ及び／又はデコーダがパラレル処理を用いることができるように動作可能である。有利なことに、パラレル処理によって処理が高速なものとして保たれるのでありレイテンシが最小化される。
【0166】
少なくとも１つのエンコーダフォーマッタはシリアルストリームを適式なフォーマットとなるように整理をするように動作可能である。好適な実施形態では、エンコーダは、少なくとも１つのエンコーダ出力の各々について対応するエンコーダフォーマッタを含む。例えば、エンコーダが少なくとも１つのエンコーダ出力にて少なくとも１つのHDMI出力を含む場合、エンコーダは少なくとも１つのエンコーダフォーマッタ内に少なくとも１つのHDMIフォーマッタをも含むのであり；エンコーダが少なくとも１つのエンコーダ出力にて少なくとも１つのSDI出力を含む場合、エンコーダは少なくとも１つのエンコーダフォーマッタ内に少なくとも１つのSDIフォーマッタをも含むのであり；エンコーダが少なくとも１つのエンコーダ出力にて少なくとも１つのイーサネット出力を含む場合、エンコーダは少なくとも１つのエンコーダフォーマッタ内に少なくとも１つのイーサネットフォーマッタをも含むなどである。
【0167】
ＲＡＷカメラ画像を入力することには利点があり、標準的なビデオ入力を用いるのに比して、拡張されたダイナミックレンジ及びより広い色域の利点を享受できる。１つの実施形態では、デモザイク（例えば、DeBayer）エンジンは、ＲＡＷ画像データをラスタ画像へと変換するように動作可能である。１つの実施形態では、ラスタ画像は３チャンネル画像（例えば、ＲＧＢ）である。１つの実施形態では、デモザイク（例えば、DeBayer）エンジンはＲＡＷ画像フォーマットではないデータについてはバイパスされる。１つの実施形態では、デモザイク（例えば、DeBayer）エンジンは、少なくとも１つの３つの原色（例えば、3, 4, 5, 6, 7, 8等）をBayer又はストライプパターンにて受け付けるように構成されている。異なるデモザイク（例えば、DeBayer）の選択肢全てを扱うために、オペレーションプログラミングポートは、特定のパターン（例えば、DeBayer）に適応するために必要なコードを伴うファイルロードするように動作可能である。ＲＡＷではない画像については、バイパス経路が設けられており、エンコーダ設定ＣＰＵを用いて経路切り替えがなされる。１つの実施形態では、エンコーダは画像データフォーマットを認識して正しいパスを自動的に選択するように動作可能である。代替的には、画像データフォーマットはメタデータ内に含まれる。
【0168】
エンコーダ設定ＣＰＵは、入力非線形値を認識してインバース値を線形コンバータに提供して画像データを線形化するように動作可能である。スケーラーは色域外の値を色域内の値にマッピングするように動作可能である。
【0169】
１つの実施形態では、少なくとも１つのカスタムエンコーダＬＵＴは、入力（例えば、製造者からの規格）をXYZ、Yxy、又はYu'v'に変換するように動作可能である。入力の例としては次のもの：RED Log3G10, ARRI log C, ACEScc, ACEScct, SONY S-Log, CANON Log, PANASONIC V Log, PANAVISION Panalog, and/or BLACK MAGIC CinemaDNGが含まれるがこれらには限定されない。１つの実施形態では、少なくとも１つのカスタムエンコーダＬＵＴは、芸術的要請に従って入力を出力に変換するように動作可能である。１つの実施形態では、エンコーダはカラーチャンネルからXYZへのコンバータ又はXYZ-to-Yxyコンバータを含まない。なぜならば、この機能は少なくとも１つのカスタムエンコーダＬＵＴ内に統合されているからである。１つの実施形態では、少なくとも１つのカスタムエンコーダＬＵＴは65-cubeルックアップテーブルである。少なくとも１つのカスタムエンコーダＬＵＴは好適には、ACES Common LUT Format (CLF) -- A Common File Format for Lookup Tables S-2014-006（公開日：2021/07/22）と互換性を有しており、該文献は参照によって全体が取り込まれる。１つの実施形態では、少なくとも１つのカスタムエンコーダＬＵＴはマルチカラムＬＵＴである。少なくとも１つのカスタムエンコーダＬＵＴは好適には、オペレーションプログラミングポートを通じてロードされるように動作可能である。ＬＵＴが必要でない場合、エンコーダ設定ＣＰＵは少なくとも１つのカスタムエンコーダＬＵＴをバイパスするように動作可能である。
【0170】
１つの実施形態では、ＲＧＢ又は多原色（例えば、ＲＧＢＣＭＹ、ＲＧＢＣ）データはカラーチャンネルからＸＹＺへのコンバータを用いてＸＹＺデータに変換される。好適な実施形態では、当初のビデオデータ（例えば、ＲＧＢ、ＲＧＢＣＭＹ）についてのホワイトポイント値は、少なくとも１つのエンコーダメモリの１つ以上に格納されている。エンコーダ設定ＣＰＵは、ホワイトポイント値を用いる適応計算を提供するように動作可能である。XYZ-to-Yxyコンバータは、XYZデータをYxyデータに変換するように動作可能である。有利なことにYxy画像データは輝度値と測色値とにセグメント化され、Yとx,yとの間の関係はより低いデータレートを用いるように操作されるように動作可能である。同様に、XYZ-to-Yu'v'コンバータは、XYZデータをYu'v'データに変換するように動作可能であり、また、変換はより低いデータレートを用いるように操作されるように動作可能である。輝度値及び測色値のセットを伴う任意のシステムは、本発明と互換性を有する。設定ＣＰＵは、サンプルセレクタ（sample selector）が少なくとも１つのエンコーダ出力の１つ以上に合致するように設定するように動作可能である。１つの実施形態では、サンプリングセレクタ（sampling selector）がサンプリング構造を設定する（例えば、4:4:4、4:2:2、4:2:0、4:1:1）。サンプリングセレクタは好適にはエンコーダ設定ＣＰＵによって制御される。好適な実施形態では、サンプリングセレクタは表１１にあるように、各コンポーネントを正しいシリアルデータ位置に配置もする。
【表11】
【0171】
エンコーダは、DRR関数（例えば、1/2 DRR、1/3 DRR）をYチャンネル及びxy若しくはu′v′チャンネルに適用するように動作可能である。エンコーダは、xy又はu′v′チャンネルにスケーリングを適用するように動作可能である。
【0172】
透かしエンジンは、下の画像からの画像を変更してデジタル透かしを含めるように動作可能である。１つの実施形態では、デジタル透かしはITU-R BT.2020色域の外にある。１つの実施形態では、デジタル透かしは、より小さな色域の端へと圧縮、畳まれ、及び／又はマッピングされるのであって、それがITU-R BT.2020よりも小さな色域のビューイング装置で表示された場合に不可視及び／又は検出不能となるようにできる。別の実施形態では、デジタル透かしはITU-R BT.2020型色域のビューイング装置上に表示された場合に不可視及び／又は検出不能である。１つの実施形態では、デジタル透かしは、透かし画像（例えば、ロゴ）、英数字（例えば、一意的な識別コード）、及び／又は画素に対しての変更である。１つの実施形態では、デジタル透かしは裸眼には不可視である。好適な実施形態では、デジタル透かしはアルゴリズムによってデコードされた場合に知覚可能となる。１つの実施形態では、アルゴリズムはエンクリプションキーを用いてデジタル透かしをデコードする。別の実施形態では、デジタル透かしは邪魔ではない態様（例えば、画面右下）で見える。デジタル透かしは好適には、サイズ圧縮、スケーリング、及び／又はスクリーンショット後にも検出可能である。さらなる別の実施形態では、デジタル透かしは音声及び／又はビデオにおける知覚不能な程の変化とされる。１つの実施形態では、デジタル透かしは、輝度差（例えば、１ビット差）を用いるパターン（例えば、ランダムパターン、固定パターン）である。１つの実施形態では、パターンは各フレームで変化するように動作可能である。デジタル透かしは、動的デジタル透かし及び／又は静的デジタル透かしとされることができる。１つの実施形態では、動的デジタル透かしは完全フレームレート又は部分的フレームレート（例えば、半分のフレームレート）で機能する。透かしエンジンは、エンコーダ設定ＣＰＵからのコマンドを受け付けるように動作可能である。
【0173】
代替的な実施形態では、少なくとも１つのエンコーダ入力はエンコーダに入力される際には既にデジタル透かしを有している。１つの実施形態では、カメラは、少なくとも１つのエンコーダ入力としてエンコーダに入力される画像信号上に、デジタル透かしを含める。
【0174】
少なくとも１つのエンコーダ出力は、SDI、HDMI、DisplayPort、及び／又はイーサネットを含むがこれらには限定されない。１つの実施形態では、少なくとも１つのエンコーダフォーマッタは、画像データに対してフォーマッティングを施して少なくとも１つのエンコーダ出力をもたらす。少なくとも１つのエンコーダフォーマッタは、SDIフォーマッタ、SMPTE ST2110、及び／又はHDMIフォーマッタを含むがこれらには限定されない。１つの実施形態では、SDIフォーマッタは、シリアルビデオデータを、Yxy又はYu′v′出力としてSDIパッケージにフォーマッティングする。SMPTE ST2110フォーマッタは、シリアルビデオデータを、Yxy又はYu′v′出力としてイーサネットパッケージにフォーマッティングする。HDMIフォーマッタは、シリアルビデオデータを、Yxy又はYu′v′出力としてHDMIパッケージにフォーマッティングする。
【0175】
図３３は、デコーダについての１つの実施形態について示す。エンコーダは少なくとも１つのデコーダ入力（例えば、SDI、HDMI、Ethernet、Yxy SDI、Yxy HDMI、Yxy イーサネット、Yu′v′ SDI、Yu′v′ HDMI、Yu′v′ イーサネット、DisplayPort、ファイバ）及び少なくとも１つのデコーダ出力（例えば、Yxy SDI、Yu′v′ SDI、少なくとも１つのSDI、X'Y'Z'、HDMI、イーサネット、DisplayPort、ファイバ）を含む。１つの実施形態では、デコーダはデコーダ設定ＣＰＵを含み、これは少なくとも１つのデコーダメモリとインタフェースするように動作可能である。デコーダは好適には、デコーダオペレーションプログラミングポートを含み、これはデコーダ上のファームウェア及び／又はソフトウェアに更新を提供するように動作可能である。デコーダはさらに次のもの：デコーダイコライザ、少なくとも１つのデコーダ用シリアルからパラレルへの（S/P）コンバータ（例えば、SDI S/Pコンバータ、HDMI S/P、イーサネットS/Pコンバータ）、透かし検出エンジン、透かし減算エンジン、DRRから線形へのコンバータ（例えば、1/2 DRRから線形コンバータ）、xyデスケーラー、u'v'デスケーラー、少なくとも１つのサンプリングコンバータ（例えば、4:2:2又は4:2:0から4:4:4へのコンバータ）、少なくとも１つのYxy-to-XYZコンバータ、少なくとも１つのYu'v'-to-XYZコンバータ、ガンマライブラリ（例えば、線形、2.2、2.35、2.4、2.6、HLG、PQ、カスタム）、XYZからカラーへのチャンネルライブラリ（例えば、RGB（例えば、Rec .709, P3, Rec. 2020）；多原色データ）、カラーチャンネルからYUVライブラリ（例えば、RGB（例えば、Rec .709, P3, Rec. 2020）；多原色データ）、少なくとも１つのサンプルセレクタ、少なくとも１つの伝達関数、少なくとも１つのカスタムデコーダＬＵＴ、メタデータリーダ、デコーダメタデータフォーマッタ、少なくとも１つのデコーダ用パラレルからシリアルへの（P/S）コンバータ（例えば、SDI X'Y'Z'、少なくとも１つのSDI、HDMI）、及び／又は少なくとも１つのデコーダフォーマッタ（例えば、SDI X'Y'Z'フォーマッタ、SDI RGBフォーマッタ、SDI CMYフォーマッタ、HDMIフォーマッタ）を含む。１つの実施形態では、X'Y'Z'出力にはXYZデータに適用された非線形関数（例えば、ガンマ、PQ、HLG）が含まれる。１つの実施形態では、処理済み画像データは、デコーダ内の処理段階及び／又はコンポーネントの任意の組合せをバイパスできるように動作可能である。
【0176】
１つの実施形態では、デコーダオペレーションプログラミングポートは、（例えば、マイクロＵＳＢ又は相当するものを介して）デコーダ制御システムに接続するように動作可能である。１つの実施形態では、デコーダ制御システムは次のことをなすように動作可能である：少なくとも１つのデコーダ入力を選択すること、フラッシュメモリプレイヤの機能を遂行すること（例えば、再生、停止、先送り、高速先送り、巻き戻し、高速巻き戻し、フレーム選択）、透かし検出を起動又は停止すること、ガンマライブラリ及び／又はLUT選択について追加又は変更をすること、XYZ-to-RGBライブラリ及び／又はLUT選択について追加又は変更をすること、少なくとも１つのカスタムデコーダLUTにデータをロードすること、１つ以上のカスタムデコーダLUTのバイパスを選択すること、並びに／又はイーサネットSDPを変更すること。ガンマライブラリは好適には線形データを受けて少なくとも１つの非線形関数を線形データに適用する。少なくとも１つの非線形関数には、少なくとも１つの標準ガンマ（例えば、SDR及びHDRフォーマットにて用いられるそのような類い）及び／又は少なくとも１つのカスタムガンマが含まれるがこれらには限定されない。１つの実施形態では、少なくとも１つの標準ガンマはITU BT.709又はITU BT.2100にて定義されている。
【0177】
１つの実施形態では、ガンマライブラリの出力はXYZ-to-RGBライブラリに投入されるのであって、これにはXYZデータを標準のRGB又はYCbCr出力フォーマットにマッピングするためのテーブルが含まれている。別の実施形態では、ガンマライブラリの出力はXYZ-to-RGBライブラリをバイパスする。このバイパスによって、ガンマが適用されたXYZデータの出力が残ることになる。XYZ-to-RGBライブラリ又はバイパスとするかの選択は、設定ＣＰＵによって決定される。選択された出力フォーマットがYCbCrである場合、XYZ-to-RGBライブラリがどのサンプリング方法が望まれるかについてフラグを立てて、その選択をサンプリングセレクタに提供する。そしてサンプリングセレクタはYCbCrデータを4:2:2、4:2:0、又は4:1:1サンプリング構造にフォーマッティングする。
【0178】
１つの実施形態では、デコーダへの入力はフル画素サンプリングを含まない（例えば、4:2:2、4:2:0、4:1:1）。少なくとも１つのサンプリングコンバータは、サブサンプリングされた画像を受けて、サブサンプリングされた画像をフルの4:4:4サンプリングに変換する。そして、１つの実施形態では、4:4:4 Yxy画像データは、Yxy-to-XYZコンバータを用いて（using the at least one Yxy-to-XYZ converter）XYZに変換される。そして、別の実施形態では、4:4:4 Yu'v'画像データは、Yu'v'-to-XYZコンバータを用いるYu'v'を用いて（using the Yu'v' using the at least one Yu'v'-to-XYZ converter）XYZに変換される。そして、画像データはパラレル型からシリアルストリームに変換される。
【0179】
メタデータリーダは次の事項：拡張ディスプレイ識別データ（EDID、Extended Display Identification Data）（例えば、HDMI入力用）、SDPパラメータ（SMPTE ST 2110）、ペイロードID、及び／又は付随的情報（例えば、垂直付随データ（VANC、Vertical ANCillary data））をリードするように動作可能である。デコーダ設定ＣＰＵは、メタデータリーダからのデータを処理するように動作可能である。さらに、デコーダ設定ＣＰＵは、特定の設定を選択する及び／又は選択されたデータをデコーダメタデータフォーマッタへと届けるように動作可能である。デコーダメタデータフォーマッタは、デコーダ設定ＣＰＵから情報を取って、プロセスの出力に再挿入されるべき情報に対してアレンジを施すように動作可能である。１つの実施形態では、各デコーダ出力フォーマッタはこのフォーマット済みデータを受けてタイミングを図ってシリアルストリームにて用いられるようにする。
【0180】
１つの実施形態では、少なくとも１つのSDI出力は１つ以上のSDI出力を含む。有利なことに、これによって、複数のリンクに亘っての出力が可能となる（例えば、システム３）。１つの実施形態では、少なくとも１つのSDI出力は第１のSDI出力と第２のSDI出力とを含む。１つの実施形態では、第１のSDI出力はカラーチャンネルデータの第１のセット（例えば、RGB）を転送するのに用いられ、また、第２のSDI出力はカラーチャンネルデータの第１のセット（例えば、CMY）を転送するのに用いられる。
【0181】
透かし検出エンジンは、デジタル透かしを検出する。１つの実施形態では、デジタル透かしのパターンがオペレーションプログラミングポートを用いてデコーダにロードされる。１つの実施形態では、デコーダ設定ＣＰＵは透かし検出エンジンを起動及び停止するように動作可能である。透かし減算エンジンは、少なくとも１つのビューイング装置での表示のためのフォーマッティングの前に、デジタル透かしを画像データから除去する。１つの実施形態では、デコーダ設定ＣＰＵは、透かし減算エンジンのバイパスを可能とするように動作可能であり、これによって出力画像上にデジタル透かしが残ることになる。好適な実施形態では、デコーダは、少なくとも１つのデコーダ出力を提供するためにエンコーダから送られた処理済み画像データにデジタル透かしがあることを要する。したがって、デコーダは、処理済み画像データ内にデジタル透かしが無い場合には、カラーチャンネルデータを少なくとも１つのビューイング装置へと送らない。代替的な実施形態では、デコーダは、エンコーダから送られる処理済み画像データ内にデジタル透かしを伴わない少なくとも１つのデコーダ出力を提供するように動作可能である。処理済み画像データ内にデジタル透かしが無い場合、少なくとも１つのビューイング装置上に表示された画像は好適には可視的な透かしを含む。
【0182】
１つの実施形態では、透かし減算処理からの出力は非線形性を含むデータを含む（例えば、1/2 DRR）。非線形データは、逆非線形伝達関数（例えば、NLTF-1）をYチャンネル及びxy若しくはu′v′チャンネルについて用いることによって線形データに変換されて戻る。xy又はu′v′チャンネルは再スケーリングされてサンプリング変換を施される。
【0183】
１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴは９カラムＬＵＴである。１つの実施形態では、９カラムＬＵＴは、レガシーRGB出力用に３カラムを有するのであり（例えば、Rec.709, Rec.2020, P3）、また、６Ｐ多原色ディスプレイのために６カラムを有する（例えば、RGBCMY）。他のカラム個数（例えば、７カラム）及び代替的な多原色ディスプレイ（例えば、RGBC）も本発明と互換性を有する。１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴ（例えば、９カラムＬＵＴ）は、四面体補間法を用いて出力値をもたらすように動作可能である。有利なことに、四面体補間法はより小さなボリュームの色空間を用いて出力値を決定するのであり、その結果より正確なカラーチャンネルデータがもたらされる。１つの実施形態では、四面体補間法にて用いられる各四面体は中立ダイアゴナルを含む。有利なことに、この実施形態は６つのカラーチャンネル未満を有する場合にも機能する。例えば、４Ｐ出力（例えば、RGBC）又は５Ｐ出力（例えば、RGBCY）については、FPGAを用いた上で四面体補間法を用いてもたらすように動作可能である。さらに、この実施形態では、エンコーダがレガシーRGB出力を多原色出力に加えてもたらすことが可能となる。代替的実施形態では、少なくとも１つのカスタムデコーダＬＵＴは、三次補間法を用いて出力値をもたらすように動作可能である。好適には、少なくとも１つのカスタムデコーダＬＵＴは、線形XYZデータを受け付けるように動作可能である。１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴはマルチカラムＬＵＴである。少なくとも１つのカスタムデコーダＬＵＴは好適には、オペレーションプログラミングポートを通じてロードされるように動作可能である。ＬＵＴが必要でない場合、デコーダ設定ＣＰＵは少なくとも１つのカスタムデコーダＬＵＴをバイパスするように動作可能である。
【0184】
１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴは合理化HDMIトランスポートに用いられるように動作可能である。１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴは３ＤＬＵＴである。１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴは、３カラム入力（例えば、RGB、XYZ）を取り込んで、３カラムより多い出力（例えば、RGBC、RGBCY、RGBCMY）をもたらすように動作可能である。有利なことに、このシステムは、少なくとも１つのカスタムデコーダＬＵＴへの入力としてはデータを３チャンネル分しか要しない。１つの実施形態では、少なくとも１つのカスタムデコーダＬＵＴは、非線形の関数（例えば、逆ガンマ）及び／又はカーブを適用して線形出力をもたらす。別の実施形態では、少なくとも１つのカスタムデコーダＬＵＴはトリミングＬＵＴである。
【0185】
少なくとも１つのデコーダフォーマッタはシリアルストリームを少なくとも１つの出力についての適式なフォーマットとなるように整理をするように動作可能である。好適な実施形態では、デコーダは、少なくとも１つのデコーダ出力の各々について対応するデコーダフォーマッタを含む。例えば、デコーダが少なくとも１つのデコーダ出力にて少なくとも１つのHDMI出力を含む場合、デコーダは少なくとも１つのデコーダフォーマッタ内に少なくとも１つのHDMIフォーマッタをも含むのであり；デコーダが少なくとも１つのデコーダ出力にて少なくとも１つのSDI出力を含む場合、デコーダは少なくとも１つのデコーダフォーマッタ内に少なくとも１つのSDIフォーマッタをも含むのであり；デコーダが少なくとも１つのデコーダ出力にて少なくとも１つのイーサネット出力を含む場合、デコーダは少なくとも１つのデコーダフォーマッタ内に少なくとも１つのイーサネットフォーマッタをも含むなどである。
【0186】
エンコーダ及び／又はデコーダは画像信号に関連するメタデータを生成、挿入、及び／又はリカバーするように動作可能である。メタデータには次のもの：色空間（例えば、６Ｐ－Ｂ、６Ｐ－Ｃ）、画像伝達関数（例えば、DRR、ガンマ、PQ、HLG、1/2 DRR）、ピークホワイト値、ホワイトポイント（例えば、D65、D60、DCI）、画像信号レンジ（例えば、狭い（SMPTE）又はフル）、サンプリング構造（例えば、4:4:4、4:2:2、4:2:0、4:1:1）、ビット深度（例えば、8, 10, 12, 16）、及び／又は信号フォーマット（例えば、RGB、Yxy、Yu′v′、多原色（例えば、RGBCMY、RGBC））が含まれるがこれらには限られない。１つの実施形態では、メタデータは付随（ANC、ancillary）データパケットを用いてSDI又はST2110内に注入される。別の実施形態では、メタデータはベンダー特有インフォフレーム（VSIF、Vendor Specific InfoFrame）データを用いてCTA 861規格の一部として注入される。１つの実施形態では、メタデータは、SMPTE ST 2110-10:2017、SMPTE ST 2110-20:2017、SMPTE ST 2110-40:2018、SMPTE ST 352:2013、及び／又はSMPTE ST 352:2011と互換性を有しており、各々は参照によって全体が取り込まれる。
【0187】
多原色システム及びディスプレイについての追加の詳細事項は米国特許出願第17/180,441号及び第17/209,959号、並びに、米国特許公開公報第20210027693号、第20210020094号、第20210035487号、及び第20210043127号に含まれるのであり、これらの各々は参照によって全体が取り込まれる。
【0188】
ディスプレイエンジン
１つの実施形態では、本発明はＧＰＵと相互作用してYxy、XYZ、YUV、Yu'v'、RGB、YCbCr、及び／又はICTCP向けに構成された出力をもたらすように動作可能である。１つの実施形態では、表示エンジン及びＧＰＵはビデオカード上にある。代替的には、表示エンジン及びＧＰＵはマザーボード又はＣＰＵダイ上に埋め込まれている。表示エンジン及びＧＰＵは好適には少なくとも１つのビューイング装置（例えば、ディスプレイ、ビデオゲームコンソール、スマートフォン等）に含まれている及び／又はそれと接続されている。ＧＰＵに関する追加の情報は次の米国特許：9,098,323;9,235,512;9,263,000;9,318,073;9,442,706;9,477,437;9,494,994;9,535,815;9,740,611;9,779,473;9,805,440;9,880,851;9,971,959;9,978,343;10,032,244;10,043,232;10,114,446;10,185,386;10,191,759;10,229,471;10,324,693;10,331,590;10,460,417;10,515,611;10,521,874;10,559,057;10,580,105;10,593,011;10,600,141;10,628,909;10,705,846;10,713,059;10,769,746;10,839,476;10,853,904;10,867,362;10,922,779;10,923,082;10,963,299;10,970,805に開示されている。また、同様の情報は次の米国特許公開公報：20140270364, 20150145871, 20160180487, 20160350245, 20170178275, 20170371694, 20180121386, 20180314932, 20190034316, 20190213706, 20200098082, 20200183734, 20200279348, 20200294183, 20200301708, 20200310522, 20200379864, 20210049030にも開示されている。これらの各々は参照によって全体が取り込まれる。
１つの実施形態では、本発明はＧＰＵと相互作用してYxy、XYZ、YUV、Yu'v'、RGB、YCbCr、及び／又はICTCP向けに構成された出力をもたらすように動作可能である。１つの実施形態では、表示エンジン及びＧＰＵはビデオカード上にある。代替的には、表示エンジン及びＧＰＵはマザーボード又はＣＰＵダイ上に埋め込まれている。表示エンジン及びＧＰＵは好適には少なくとも１つのビューイング装置（例えば、ディスプレイ、ビデオゲームコンソール、スマートフォン等）に含まれている及び／又はそれと接続されている。ＧＰＵに関する追加の情報は次の米国特許：9,098,323;9,235,512;9,263,000;9,318,073;9,442,706;9,477,437;9,494,994;9,535,815;9,740,611;9,779,473;9,805,440;9,880,851;9,971,959;9,978,343;10,032,244;10,043,232;10,114,446;10,185,386;10,191,759;10,229,471;10,324,693;10,331,590;10,460,417;10,515,611;10,521,874;10,559,057;10,580,105;10,593,011;10,600,141;10,628,909;10,705,846;10,713,059;10,769,746;10,839,476;10,853,904;10,867,362;10,922,779;10,923,082;10,963,299;10,970,805に開示されている。また、同様の情報は次の米国特許公開公報：20140270364, 20150145871, 20160180487, 20160350245, 20170178275, 20170371694, 20180121386, 20180314932, 20190034316, 20190213706, 20200098082, 20200183734, 20200279348, 20200294183, 20200301708, 20200310522, 20200379864, 20210049030にも開示されている。これらの各々は参照によって全体が取り込まれる。
【0189】
１つの実施形態では、ＧＰＵはレンダリングエンジンを含む。１つの実施形態では、レンダリングエンジンは、次のもの：少なくとも１つのレンダリングパイプライン（RP）プログラマブル画素シェーダー、プログラマブルベクターシェーダー、ベクターアレイプロセッサ、曲率エンジン、及び／又はメモリキャッシュを含む。レンダリングエンジンは、次のもの：メモリコントローラインタフェース、コマンドCPU、ホストバス（例えば、PCI、PCIe、AGP（accelerated graphics port））及び／又はアダプティブフルフレームアンチエイリアシングと相互作用するように動作可能である。メモリコントローラインタフェースは、ディスプレイメモリ（例えば、DDRメモリ）、画素キャッシュ、コマンドCPU、ホストバス、及びディスプレイエンジンと相互作用するように動作可能である。コマンドCPUは、ディスプレイエンジンとデータ交換するように動作可能である。
【0190】
図３４は、本発明による、グラフィクス処理ユニット（ＧＰＵ）と相互作用するように動作可能であるディスプレイエンジンについての１つの実施形態を示す。好適な実施形態では、GPUと相互作用するように動作可能な表示エンジンはビデオカード上に含まれている。ビデオカードは、コンピュータとインタフェースするように動作可能である。好適な実施形態では、ビデオカードは、コンピュータ内に位置するコネクタ（例えば、PCIeコネクタ、PCIコネクタ、AGPコネクタ等）に挿入されるように動作可能である。コンピュータは、コマンドCPUを含む。コマンドCPUは、ビデオカードとコンピュータコアとの間の通信専用のものである。コマンドCPUは、好適にはAPIからの命令を入力するように動作可能である。コマンドCPUはさらに、適切なコマンドをビデオカード内のコンポーネントに分配するように動作可能である。ビデオカードはさらに、メモリコントローラインタフェースを含む。メモリコントローラインタフェースは好適には、どのデータがバス内に含まれて良いのか及びどこへデータがルーティングされるのかについて管理するように動作可能なハードウェアを含む。
【0191】
１つの実施形態では、ビデオカードは、グラフィクス処理に関してスケーリングをもたらすために一緒にリンクされる複数のビデオカードを含む。１つの実施形態では、複数のビデオカードはPCIeコネクタをもってリンクされる。他のコネクタも、複数のビデオカードに対応できる。１つの実施形態では、複数のビデオカードの各々は同じ技術的仕様とされている。１つの実施形態では、APIはグラフィクス処理をスケーリングさせるための方法を含み、コマンドCPUはグラフィクス処理を複数のビデオカードに亘って分散させるように動作可能である。コマンドCPUは、システムの処理要求及び／又は電力要求に応じてグラフィクス処理をスケールアップしたりスケールダウンしたりするように動作可能である。
【0192】
表示エンジンは、ＧＰＵからレンダリグ済みデータを受けて、レンダリング済みデータを少なくとも１つのビューイング装置上に表示できるように動作可能なフォーマットに変換するように動作可能である。表示エンジンは次のもの：ラスタスケーラー、少なくとも１つのビデオディスプレイコントローラ（例えば、XYZビデオディスプレイコントローラ、RGBビデオディスプレイコントローラ、ICTCPビデオディスプレイコントローラ）、カラーチャンネルからＸＹＺへのコンバータ、線形コンバータ、スケーラー及び／若しくはリミッタ、少なくとも１つの３つのカラムを伴うマルチカラムLUT（例えば、3D LUT（例えば、1293LUT））、XYZ-to-Yxyコンバータ、XYZ-to-Yu′v′コンバータ、非線形関数及び／若しくはトーンカーブアプリケーター（例えば、1/2 DRR）、サンプリングセレクタ、ビデオバス、並びに／又は少なくとも１つのフォーマッタ及び／若しくはエンコーダ（例えば、ST 2082、ST 2110、DisplayPort、HDMI）を含む。１つの実施形態では、カラーチャンネルからＸＹＺへのコンバータには、RGB-to-XYZコンバータが含まれる。追加的に又は代替的には、カラーチャンネルからＸＹＺへのコンバータには、Yu′v′-to-XYZコンバータ、ICTCP-to-XYZコンバータ及び／又はACES-to-XYZコンバータが含まれる。ビデオバスは、グラフィクス表示コントローラ及び／又は少なくとも１つの入力装置（例えば、カーソル、マウス、ジョイスティック、キーボード、ビデオゲームコントローラ等）からの入力を受信するように動作可能である。
【0193】
ビデオカードは、コンピュータのハードウェアによって提供される任意の個数のレーンを通じて接続するように動作可能である。ビデオカードは、PCIe物理レイヤ（PHY、Physical Layer）インタフェースを含むがこれらに限定されない通信インタフェースを介して通信するように動作可能である。１つの実施形態では、通信インタフェースはコンピュータによってサポートされるAPI（例えば、OpenGL, Direct3D, OpenCL, Vulkan）である。ベクターデータ又はビットマップデータの形式での画像データが通信インタフェースから出力されてコマンドCPUへと渡される。通信インタフェースは画像データが利用可能となったらばコマンドCPUにこのことを通知するように動作可能である。コマンドCPUはバス方向性ゲートを開放して、メモリコントローラインタフェースに対して画像データをDDRメモリへと送信せよと命令する。メモリコントローラインタフェースは、DDRメモリからの経路を開放して画像データがレンダリングのためにGPUに渡されるようにするように動作可能である。レンダリング後には、画像データがDDRに記憶のためにチャネルバックされるのであり、表示エンジンによる出力処理を待っている間のことである。
【0194】
画像データがレンダリングされてDDRメモリにて記憶された後、コマンドCPUはメモリコントローラインタフェースに対してレンダリング済み画像データがラスタスケーラーにロードされるようにせよと命令する。コマンドCPUはフレーミング情報をラスタスケーラーにロードする。フレーミング情報には次の事項：ファイル起点識別子（SOF、start of file）、ファイル終点識別子（EOF、end of file）、画素カウント、画素オーダー、多原色データ（例えば、RGBCMYデータ）、及び／又はフレームレートが含まれるがこれらには限られない。１つの実施形態では、フレーミング情報は、HDMI及び／又はDisplayPort（例えば、CTA 861フォーマット）情報を含む。１つの実施形態では、拡張ディスプレイ識別データ（EDID、Extended Display Identification Data）がAPI内の仕様をオーバーライドするように動作可能である。ラスタスケーラーは、読み出されているファイルと同じフォーマット（例えば、RGB、XYZ、Yxy、Yu'v'）のラスタとしてフォーマッティングされた画像データとして出力を、提供する。１つの実施形態では、ラスタスケーラーの出力はRGBデータ、XYZデータ、又はYxyデータである。代替的には、ラスタスケーラーの出力は、Yu'v'データ、ICTCPデータ、又はACESデータである。
【0195】
１つの実施形態では、ラスタスケーラーの出力はグラフィクス表示コントローラへと送られる。１つの実施形態では、グラフィクス表示コントローラは、GUI（graphical user interface）向けのディスプレイ情報を提供するように動作可能である。１つの実施形態では、RGBビデオコントローラ及びXYZビデオコントローラは、画像データがビデオバスに入れないように遮断する。ラスタデータには次のものが含まれるがこれらには限られない：同期データ、SOF、EOF、フレームレート、画素オーダー、多原色データ（例えば、RGBCMYデータ）、及び／又は画素カウント。１つの実施形態では、ラスタデータは、少なくとも１つの出力フォーマッタ及び／又はエンコーダへと送信するように動作可能なRGB出力に限定される。
【0196】
コモン型ビデオディスプレイについては、別個の経路が含まれる。別個の経路は次のもの：SMPTE SDI、イーサネット、DisplayPort、及び／又はHDMIを含むがこれらには限定されない出力を少なくとも１つの出力フォーマッタ及び／又はエンコーダに提供するように動作可能である。少なくとも１つのビデオディスプレイコントローラ（例えば、RGBビデオディスプレイコントローラ）は、ストリーミング及び／又は圧縮のために、ビデオデータについて制限及び／又は最適化をなすように動作可能である。１つの実施形態では、RGBビデオディスプレイコントローラ及びXYZビデオディスプレイコントローラは、画像データがビデオバスに入れないように遮断する。
【0197】
好適な実施形態では、画像データは、再生中のファイルによって提供されるフォーマットにて（例えば、RGB、多原色（例えば、RGBCMY）、XYZ、Yxy、Yu′v′）、ラスタスケーラーによって提供される。１つの実施形態では、ラスタスケーラーは、表示されるべきラスタサイズ内にて提供及び格納されるフォーマットに関してXYZビデオディスプレイコントローラをプリセットする。１つの実施形態では、コマンドCPUを介してAPIから送られた非線形情報（例えば、OOTF）は、線形コンバータへと送られる。線形コンバータは非線形情報を用いるように動作可能である。例えば、画像データがOETFを用いてオーサリングされていた場合、線形コンバータによってOETFの逆関数を用いるように動作させることができ、或いは、画像情報に対して既にEOTFが適用されていた場合、線形コンバータによってEOTFの逆関数を用いるように動作させることができる。１つの実施形態では、線形コンバータは、入力データを線形化するためのEOTFマップを作る（例えば、EOTFデータが利用可能である場合）。１つの実施形態では、線形コンバータは既に利用可能である場合にはEOTFを用いる。線形データがロードされて且つ合算処理が作られた後は、XYZビデオディスプレイコントローラが、画像データをそのネイティブフォーマット（例えば、RGB、多原色データ（例えば、RGBCMY）、XYZ、Yxy、Yu′v′）にて渡す（但し、非線形性を輝度（例えば、Y）コンポーネントに適用せずに）。カラーチャンネルからXYZコンバータは、ネイティブフォーマット（例えば、RGBCMY）、XYZ、Yxy、Yu′v′）を受け付けてXYZフォーマットに変換するように動作可能である。１つの実施形態では、XYZフォーマットは、少なくとも１つのクロマティック適応（例えば、D60からD65への適応）を含む。RGBについては、XYZビデオディスプレイコントローラは、コマンドCPUから供給されたデータを用いるのであり、それはAPIから色域及びホワイトポイントについての仕様を取得し、XYZ出力に変換する。多原色システムについては、対応する行列又はLUTを用いて多原色システムからXYZへと変換する。１つの実施形態では、多原色システムはGRBCMY（例えば、6P-B、6P-C、S6Pa、S6Pb）である。Yxyシステムについては、カラーチャンネルからXYZへのコンバータは、YxyデータをXYZデータに戻すようにフォーマッティングする。Yu′v′システムについては、カラーチャンネルからXYZへのコンバータは、Yu′v′データをXYZデータに戻すようにフォーマッティングする。別の実施形態では、カラーチャンネルからXYZへのコンバータはバイパスされる。例えば、カラーチャンネルからXYZへのコンバータは、多原色システム内に留まるべき要求がある場合に、バイパスされる。また、カラーチャンネルからXYZへのコンバータは、XYZデータについてはバイパスされる。
【0198】
１つの実施形態では、スケーラー及び／又はリミッタに対して入力は、XYZデータ又は多原色データである。１つの実施形態では、多原色データには、次のものが含まれるがこれらには限られない：RGBCMY（例えば、6P-B、6P-C、S6Pa、S6Pb）、RGBC、RG1G2B、RGBCW、RGBCY、RG1G2BW、RGBWRWGWB、又はR1R2G1G2B1B2。他の多原色データフォーマットも本発明と互換性を有する。スケーラー及び／又はリミッタは、色域外の値（例えば、負の値）を色域内の値（XYZへの変換の処理中に作られた色域外の値）にマッピングするように動作可能である。１つの実施形態では、スケーラー及び／又はリミッタは、色域マッピングアルゴリズムを用いて色域外の値を色域内の値にマッピングする。
【0199】
１つの実施形態では、スケーラー及び／又はリミッタに対しての入力は多原色データであり、全てのチャンネルは０～１の値をとるように最適化されている。例えば、入力がRGBCMYデータである場合、全６つのチャンネルに関して０～１の値をとるように最適化する。１つの実施形態では、スケーラー及び／又はリミッタの出力は、3-DマルチカラムLUT内に置かれるように動作可能である。１つの実施形態では、3-DマルチカラムLUTは各チャンネルについて１つのカラムを含む。例えば、出力がRGBCMYデータである場合、3-DマルチカラムLUTは６つのカラムを含む（即ち、各チャンネルについて１つ）。APIに流入するアプリケーション内では、各チャンネルは、ホワイトポイントをバランスアウトする及び／又は画像を１つの特定のカラーチャンネルへ向かってシェーディングするために選択されるように動作可能である。１つの実施形態では、3-DマルチカラムLUTは、スケーラー及び／又はリミッタの出力がXYZデータである場合には、バイパスされる。3-DマルチカラムLUTの出力は、XYZ-to-Yxyコンバータへと送られ、そこでは単純な合算処理を用いて変換をなす。代替的には、3-DマルチカラムLUTの出力はXYZ-to-Yu′v′コンバータへと送られる。１つの実施形態では、ビデオデータがRGBCMYである場合には、XYZ-to-Yxyコンバータ又はXYZ-to-Yu′v′処理がバイパスされる。
【0200】
画像データが線形である故に、任意のトーンカーブを輝度（例えば、Y）に追加するように動作させることができる。Yxyデータ又はYu'v'データを用いる本発明に対しての利点は、輝度に対してのみのトーンカーブ修正で済むということである。L*a*b*については、1/3ガンマが全３チャンネルに対して適用される。IPT及びICTCPはガンマが全３チャンネルに施されて動作する。トーンカーブは輝度（例えば、Y）のみに施されるように動作可能であり、測色座標（例えば、x及びyチャンネル、 u'及びv'チャンネル）については線形のままである。トーンカーブは何にでもして動作させることができ（例えば、非線形関数）、現在用いられている標準的な値も含まれる。１つの実施形態では、トーンカーブはEOTFである（例えば、テレビジョン及び／又はデジタルシネマ用に説明されるもの）。追加的に又は代替的に、トーンカーブはHDR用修正も含む。別の実施形態では、非線形伝達関数が全３チャンネルに施される（例えば、Yxy又はYu′v′）。
【0201】
１つの実施形態では、出力は３～６個の個別のコンポーネントとしてこの処理を介して扱われる（例えば、Yxy、Yu′v′、又はXYZについては３個のコンポーネントであり、RGBCMYについては６個のコンポーネント等）。原色及びコンポーネントに関しての代替的な個数も本発明と互換性を有する。もっとも、一部のシリアルフォーマットに関しては、このレベルのペイロードは大きすぎる。１つの実施形態では、サンプリングセレクタ（sampling selector）がサンプリング構造を設定する（例えば、4:4:4、4:2:2、4:2:0、4:1:1）。１つの実施形態では、サンプリングセレクタは、処理済み画像データをサブサンプリングするように動作可能である。サンプリングセレクタは好適にはコマンドCPUによって制御される。１つの実施形態では、コマンドCPUは自己のための情報をAPI及び／又はディスプレイEDIDから取得する。好適な実施形態では、サンプリングセレクタは先述の表１１にあるように、各コンポーネントを正しいシリアルデータ位置に配置もする。
【0202】
サンプリングセレクタの出力はメインビデオバスに投入されるのであって、これはSOF及びEOF情報を画像データに統合する。そしてこれは少なくとも１つの出力フォーマッタ及び／又はエンコーダへとそれを分配する。１つの実施形態では、出力はRGBCMYである。１つの実施形態では、RGBCMY出力は4:4:4:4:4:4データとして構成される。少なくとも１つのビューイング装置についてのフォーマットは次のもの：SMPTE ST2082（例えば、3、6、及び12Gのシリアルデータ出力）、SMPTE ST2110（例えば、イーサネットに通すため）、及び／又はCTA 861（例えば、DisplayPort、HDMI）を含むがこれらには限られない。ビデオカードは好適には、任意の外部システム（例えば、コンピュータ）を通しての分配のための適切なコネクタ（例えば、DisplayPort、HDMI）と、少なくとも１つのビューイング装置（例えば、モニタ、テレビジョン等）への接続とを有する。少なくとも１つのビューイング装置は次のもの：スマートフォン、タブレット、ラップトップスクリーン、LEDディスプレイ、OLEDディスプレイ、ミニLEDディスプレイ、マイクロLEDディスプレイ、LCD、量子ドットディスプレイ、量子ナノ放射ダイオード（QNED）装置、レーザパワード蛍光体ディスプレイ（LPD）、パーソナルゲーミング装置、VR装置及び／若しくはAR装置、LED壁面、ウェアラブルディスプレイ、並びに少なくとも１つのプロジェクタを含むがこれらには限られない。１つの実施形態では、少なくとも１つのビューイング装置は単一のビューイング装置である。
【0203】
図４２は、１つの実施形態による、画像を表示するために変換することについての処理フローを示す。画像ソースからの画像に対しては線形変換及び／又はスケーリング（例えば、0～1のスケーリング）が施されて処理済み画像がもたらされる。処理済み画像に対してはRGBからXYZへの変換及びXYZからYxyへの変換が施される。代替的には、処理済み画像データに対してはXYZからYu′v′への変換が施される。少なくとも１つの非線形伝達関数（NLTF）（例えば、1/2 DRR）が輝度（Y）に対して適用されてluma（Y'）がもたらされる。好適な実施形態では、x及びyの測色座標はスケーリングされて、そして少なくとも１つのNLTFが適用される。代替的には、u′及びv′の測色座標はスケーリングされて、そして少なくとも１つのNLTFが適用される。測色座標（x及びy、u′及びv′）は、完全サンプリング又はサブサンプリングされる。luma及び測色座標（例えば、完全サンプリング、サブサンプリング）は、信号トランスポート前に出力フォーマッタ（例えば、ST 2082、ST 2110、DisplayPort、HDMI）をもってフォーマッティングされるのであって、それによってフォーマッティング済みluma及び測色座標がもたらされる。フォーマッティングされたluma及び測色座標は、少なくとも１つの非線形関数の逆関数を用いることによってデコードされる（例えば、逆1/2 DRR）のであり、測色座標（x及びy、u′及びv′）の再スケーリングがなされ、また、サンプリング再構築がなされるのであって、それによってデコード済み画像データが作られる。デコード済み画像データに対しては、ガンマ関数適用前に、YxyからXYZへの変換又はYu′v′からXYZへの変換XYZから色域（例えば、RGB、ITU-R BT.709、SMPTE RP431、ITU-R BT.2020、ACES、カスタム、多原色）への変換が施されるのであって、それによって画像データが作られる。画像データは、ディスプレイへと送られるように動作可能である（例えば、色域を表示するように動作可能）。１つの実施形態では、画像データに対してはディスプレイ内にてさらなる処理が施される。
【0204】
図の上部は、カメラ又は画像生成器内に典型的に常駐するプロセスを示す。図の下部は、ディスプレイ内に典型的に配置されるデコードプロセスを示す。画像はカメラから取得され又は電子的ソースにて生成される。典型的には、ガンマは既に適用済みであり、線形画像を提供するためにはこれが除かれることが必要である。線形画像が取得された後、線形画像は0～1の値にスケーリングされるのであって、これによって所望のブライトネスにディスプレイ上にてスケーリングできる。ソースは画像に関する情報であって装置の色域及び／又は取得で用いられたホワイトポイントを含むがこれらには限られない詳細情報についてもたらすように動作可能である。適応方法（例えば、クロマティック適応）を用いることによって、正確なXYZを実現できる。画像がXYZとしてコードされた後、それはYxyに変換されるように動作可能である。コンポーネントは、Yパスとxyパス、又は、Yパスとu′v′パスにスプリットされるように動作可能である。非線形性（例えば、DRR）がYコンポーネントに適用される。１つの実施形態では、非線形性（例えば、DRR）はスケーリング済みのxy又はu′v′コンポーネントにも適用される。必要ならば、xy又はu′v′コンポーネントはサブサンプリングされるように動作可能である（例えば、輝度情報の損失を伴わずにアプリケーションにフィットさせる場合）。これらは再び組み合わされてフォーマットプロセスに入力されるのであり、該プロセスは信号をトランスポートへの出力のためにフォーマッティングする（例えば、SDI、IPパケット）。
【0205】
信号が受信機に到着したらば、それはデコードされて別個のxy又はu′v′コンポーネントが出力される。Yチャンネルについては好適には、逆非線形性（例えば、逆DRR）が適用されてYチャンネルを線形空間に復帰させる。xy又はu′v′チャンネルに非線形性が適用されていたのならば、xy又はu′v′チャンネルには好適には逆非線形性（例えば、逆DRR）を適用して、画像データ（即ち、Yxy, Yu′v′）を線形空間に復帰させて、そしてそれらの元の値に再スケーリングする。xy又はu′v′チャンネルは、フルサブ画素サンプリングに戻される。そして、これらはYxyからXYZへと又はYu′v′からXYZへと変換される。XYZは、ディスプレイ色域（例えば、RGB）に変換されるように動作可能である。線形画像が用いられる故に、任意のガンマがディスプレイによって適用可能なものとして動作できる。有利なことに、これによって画像の限界は信号によってではなくディスプレイの最高性能によって画されることとなる。
【0206】
この方法によれば、画像は、異なるガンマ、色域、及び／又は原色（例えば、多原色）を伴うディスプレイ間でマッチングされることが可能となる。測色情報及び輝度は、線形な値として提示される。任意のホワイトポイント、ガンマ、及び／又は色域が定義されるように動作可能である（例えば、場面リファード型の値のセット（scene referred set of values）又はデイスプレイリファード型のセット（display referred set））。さらに、非類似のディスプレイは、画像パラメータがディスプレイの限界内に収まる場合には接続してマッチングするように設定できる。有利なことに、これによって変換を伴わずに正確な比較が可能となる。
【0207】
任意のシステムでは、カメラの設定及びディスプレイの性能は知られている。現行の方法では、取得された画像を受けて仮定されているディスプレイ仕様にこれを準拠させる。複雑なシステム（例えば、ACES）であっても、最終出力は既知のディスプレイ仕様に準拠させることになる。Yxy又はYu′v′システムの設計意図は、これらの処理を回避することであり、ディスプレイが性能を最大化しつつ創造的意図を尊重することを可能とする画像エンコーディングの方法を用いることによってこれが図られる。
【0208】
システムは、説明の便宜のため、より単純な部分：（１）カメラ／取得、（２）ファイル及びストレージ、（３）送信、及び（４）表示に分かつことができる。大抵のプロフェッショナル向けカメラは、可能となる色域、カメラによって用いられるOETF、及び／又はカメラがバランスされているホワイトポイントについて説明するドキュメンテーションを伴う。任意のRGBシステムでは、これらのパラメータは、ワークフローを通じて追跡及び修正されていくことを要する。
【0209】
もっとも、Yxy又はYu′v′システムでは、１つの実施形態について述べるに、これらの変換は、エンコード処理の一部としてカメラによって可能とされている。なぜならば、画像パラメータが取得時において知られているからである。したがって、Yxy又はYu′v′システムは、追加の画像メタデータを随伴させずとも内在的な測色情報及び輝度情報を有している。代替的には、変換はカメラ外で専用エンコーダ（例えば、ハードウェア）又は画像処理（例えば、ソフトウェア）によってポストプロダクションアプリケーションにてなされるように動作可能である。
【0210】
図４３は、カメラ処理フローについての１つの実施形態について示す。カメラ内の画像センサ（例えば、RGBセンサ）は、画像データを取得するように動作可能である。１つの実施形態では、画像データはカメラによって処理される（例えば、カメラ製造者のプロプライエタリな処理を介する）のであり、それによって処理済みカメラデータがもたらされる。画像データ又はカメラデータには、線形変換及び／又はスケーリング（例えば、0～1のスケーリング）が施されて、処理済み画像がもたらされる。１つの実施形態では、処理済み画像に対しては取得色域（例えば、RGB）からYxy又はYu′v′への変換が施される。１つの実施形態では、非線形伝達関数（NLTF）（例えば、DRR）がY（例えば、lumaをもたらすため）及びxyに適用される。別の実施形態では、NLTF（例えば、DRR）がY（例えば、lumaをもたらすため）及びu'v'に適用される。luma及び測色座標（例えば、完全サンプリング、サブサンプリング）は、出力フォーマッタ（例えば、ST 2082、ST 2110、DisplayPort、HDMI）をもってフォーマッティングされて出力データを提供する。１つの実施形態では、出力データはディスプレイ及び／又はデコーダへと送信される。図４３に示される例ではYxy又はYu'v'データが用いられるも、システムは複数のフォーマットと共に用いられるように動作可能である。
【0211】
カメラ製造者によって設計された具体的プロセスにて画像が取得される。RAW出力フォーマットを用いる代わりに、プロセスは、RGBチャンネルを線形な（例えば、１６ビット）データフォーマットに変換することで始まるのであって、RGBデータは1に正規化される。そして、１つの実施形態では、この線形画像はRGBからXYZへと（例えば、変換行列を介して）変換されて、そして処理されてYxy又はYu′v′データストリームが形成される。Yはフルサンプリングされた値として継続するも、xy又はu′v′はサブサンプリングされるように動作可能である（例えば、4:2:2、4:2:0）。、DRR値がYxy又はYu′v′並びにスケーリングされたxとy又はu′とv′の値に適用されるのであり、これはシリアルデータストリームとして送られる前になされるのであり、或いは、適切なファイルコンテナに格納される。
【0212】
Yxy又はYu′v′システムがもたらす最大の利点は、任意のディスプレイへと１つの実施形態では、信号フォーマットを送って正確な画像を得ることができるという能力である。信号は全ての画像情報を含み、これによって最高性能のためにディスプレイ設計を最適化できる。諸事情（例えば、パネル、バックライト精度）は、Yxy又はYu′v′データに基づいて適合させた色域及び輝度へと調整されるように動作可能である。
【0213】
先行技術のディスプレイは特定の色域を用いる。典型的には特定の色域はＲＧＢ色域である（例えば、Rec. 2020、P3、Rec.709）。Yxy又はYu′v′入力を用いる異なるディスプレイについて比較をなすと、相当の利点がもたらされる。BT.709モニタ上に表示された画像は、BT.709モニタの色域内に入る全ての色について、P3モニタ及びBT.2020モニタと合致する。色域外の色は、その装置について最適化された個別のモニタによって制御される。P3色空間内に入る色域を伴う画像は、画像色域がP3モニタの性能を超過する所まではP3モニタ及びBT.2020モニタ上で合致する。
【0214】
ディスプレイ入力処理は、逆行するカメラ処理のようである。もっとも、この処理の出力は、同じ画像データを用いて任意の表示パラメータに適合させるように動作可能である。
【0215】
図４４は、カメラ処理フローについての１つの実施形態を示す。１つの実施形態では、Yxy又はYu'v'信号がデジタル信号として入力される。１つの実施形態では、デジタル信号にはイコライゼーションが施される。フォーマッティングされたluma及び測色座標は、少なくとも１つの非線形関数の逆関数を用いることによってデコードされる（例えば、逆1/2 DRR）のであって、それによってデコード済み画像データが作られる。１つの実施形態では、デコード済み画像データに対しては、YxyからXYZ又はYu'v'又はXYZへの変換が施されて、XYZデータが作られる。XYZデータは、XYZから色域へのライブラリを用いて色域（例えば、RGB、ITU-R BT.709、SMPTE RP431、ITU-R BT.2020、ACES、カスタム、多原色）へと変換されるように動作可能であって、それによって色域データが作られる。１つの実施形態では、ガンマライブラリは、少なくとも１つの関数（例えば、線形、2.2、2.35、2.4、2.6のガンマ関数、HLG、PQ、カスタム）を色域データに適用するように動作可能である。１つの実施形態では、色域データ（例えば、少なくとも１つの関数を適用しているかしていないもの）に対しては、ディスプレイパネル及び／又はモジュレータへ送信される前に、（例えば、LUTを用いての）較正処理が施される。図４４はYxy又はYu'v'信号を示すも、システムは複数のデータフォーマットについて互換性を有する。
【0216】
大抵の画像ファイルフォーマットはRGBデータを記憶することに基づいており、典型的には３セットのデータにしか対応しない。有利なことに、Yxy又はYu′v′の実装では３つのデータセットだけが必要であり、任意のファイルフォーマットへの代入が単純化される。
【0217】
Yxy又はYu′v′でコードされた画像コンテンツを、プロダクション、放送、及びストリーミング用途で一般的に用いられている送信システムを通じてリアルタイムで移動させる能力は、必須である。これらの要求は、現行のインフラストラクチャに対して最小の変更を用いる単純なシステムを求める。画像データについてのYxy又はYu′v′エンコーディングは、単純な代替を可能とするのであり、エンコードのタイプを識別するために用いられる任意のペイロードデータについての修正を伴う。
【0218】
RGBシステムの設計ではカメラから取得された情報を用いるのであり、信号内にフォーマッティングされた複製用の電子表現を構築する。このことが意味することは、処理又はディスプレイに投入される各信号は、正しくビューイングされるためにはフォーマッティングされるか再フォーマッティングされることを要するということである。Yxy又はYu′v′はこれを再定義するのであり、有利なことに、フォーマッティングを取得側装置及びディスプレイに移すのであり、異なる装置について一貫した信号が残されて利用可能となる。システム内での接続は単純化される。なぜならば、接続及びディスプレイセットアップは信号フォーマットに関しては関知しないからである。
【0219】
過飽和色
ホワイトポイントとは、画像内の「白」色を定義する色度値のセットである。標準ビデオ処理はRGBシステムに基づいており、最大のホワイトは全３原色が最大値に近い場合に達成されるのであり、ホワイトについての望まれるカラーポイントをもたらすために僅かにのみ変更される。慣行によればホワイトは原色の合計であり、よってRGBシステムにおけるピークホワイトは[1 1 1]として定義され、個々の赤緑青の原色はそれぞれ[1 0 0]、[0 1 0]、及び[0 0 1]として定義される。もっとも、ホワイトポイントについての定義は制約ではなく慣行の結果である。
ホワイトポイントとは、画像内の「白」色を定義する色度値のセットである。標準ビデオ処理はRGBシステムに基づいており、最大のホワイトは全３原色が最大値に近い場合に達成されるのであり、ホワイトについての望まれるカラーポイントをもたらすために僅かにのみ変更される。慣行によればホワイトは原色の合計であり、よってRGBシステムにおけるピークホワイトは[1 1 1]として定義され、個々の赤緑青の原色はそれぞれ[1 0 0]、[0 1 0]、及び[0 0 1]として定義される。もっとも、ホワイトポイントについての定義は制約ではなく慣行の結果である。
【0220】
このタイプのシステムでは、個別の色（例えば、RGB）の最大輝度は、ホワイトポイントに連関している。例えば、輝度100 nits（1 nit = 1 cd/m2）となるホワイトは、コンポーネントとして輝度が25 nitsとなる特徴を有する赤チャンネルを有する。この場合、赤の輝度リミットは25 nitsである。
【0221】
本発明の過飽和システムでは、最大輝度（例えば、125 nits）を伴う標準システムでの潜在的な白色輝度を伴うディスプレイ又はビューイング装置上での表示のための画像データが、ホワイトポイント付近の色が制限輝度（例えば、100 nits）に減少するように処理される。表示色の彩度（色飽和度）を増大させるにつれて、輝度減衰が減少される。超高彩度では輝度についての抑制は無く、また、標準時は25 nitが最大とされる先述の例の赤の輝度は、この際には25 * 125/100 = 31.25 nitsとなり、ホワイトは未だ100 nitsに留まる。
【0222】
全体的な画像中立スケールは０から制限輝度（例えば、100 nits）迄のレンジで変動するが、色中立スケールは０から［標準の色輝度］＊［最大輝度］／［制限輝度］迄のレンジで変動する。例えば、色中立スケールは、０から25 * 125/100迄のレンジで変動する。先述の25, 125, 及び 100は単に例示用の恣意的な値に過ぎず、本発明は標準の色輝度、最大輝度、及び制限輝度についての他の値についても対応できる。よって、本発明の過飽和システムは、原色が特定のホワイトのブライトネスレベルを超過することを許容するように動作可能である。有利なことに、本発明の過飽和システムはRGBに限定はされない。最大のホワイトブライトネスが維持されるも、極限的な彩度結果が得られるのであり、これは少なくとも１つの原色（例えば、個別の原色又は複数の原色）がホワイト値を超過することを許容することによって可能となる。過飽和システムは、システム４と共に用いられるように動作可能である（例えば、Yxy、Yu′v′、LMS、又は任意のXYZ派生形）。別の例では、ホワイトで2000 nit出せる高パワーディスプレイについてホワイトが1000 nitsとなるように処理が施される。これはそこそこのHDR（High Dynamic Range）構成例である。先述の例に沿えば、この結果、標準の0.25 * 1000 = 250 nitsの代わりに、高彩度の赤について輝度が0.25 * 2000 = 500 nitsとなる。高彩度の赤は、標準的なシステムで期待されるよりは格段に明るく見えるのであり、どちらかと言えば蛍光色のように見える。真の蛍光色は、自己の通常の反射特性のみならず光の吸収、励起、及び放射から特性を与えられるのであり、反射に放射も加えられて結果として眼に対して向かう光は高彩度な色又は「蛍光色」として知覚される。本発明では、高彩度色は蛍光色として表示されるように動作可能であり、ホワイトポイントについて輝度を最大輝度との相対関係でスケーリングさせることによってこれをなす。
【0223】
相対輝度は、ホワイトポイントに対して正規化された値を含む（例えば、1～100）。相対輝度は、Yxy及びXYZ等の色空間でYとして定義される。相対輝度を決定するための別個の計算は不要である。なぜならば、これらの色空間ではそれがYとして明示的に定義されているからである。もっとも、他の色空間では相対輝度の計算が必要とされる。例えば、ITU-R BT.709では、次式を用いて相対輝度が計算される：
【数12】
【0224】
この式は、緑の光が輝度に最も寄与するものとして人間が知覚し、また、青の光が最少の寄与をもたらすことを反映している。
【0225】
一部のHDRシステム（例えば、知覚量子化（PQ、perceptual quantizer）システム）では、RGBの合計は10,000 cd/m2のピーク輝度となる。例えば、ビューイング装置が10,000 cd/m2のブライトネスを有する場合、100%ホワイトの画素はビューイング装置上では10,000 cd/m2のものとして表示される。もっとも、このレベルのホワイトが要求されていなければ、RGB合計を超える色を実現することができる。選択された中立トーンスケール（例えば、0から最大ホワイトのY値）が最大値にある全ての原色についての最大Y値未満のYを伴う中立トーン最大ホワイトを有する場合、許容される個別色トーンスケールは、0から各色の最大Yのレンジで変動する。有利なことに、これによって、ホワイトポイントのY値との相対的関係でブライトであり高彩度である色についてより高い達成可能なY値が許されることとなる。本明細書にて開示されるシステム及び方法は、他の輝度ピーク値と共に用いられるように動作可能である。
【0226】
輝度を彩度から分離するトランスポートシステム（例えば、システム４（Yxy））と組み合わせた場合、この処理のためのワークフローは相当に単純なものとなる。輝度が別個の色空間では、ホワイト（中立色）の輝度値（Y）は、ディスプレイ又はビューイング装置の最大Y値よりも低い値に制限される。１つの実施形態では、線形スケーリング方法を用いてYをより低い値に制限する（例えば、90%, 80%, 75%, 70%, 60%, 50%）。例えば、Yが75%に制限された場合、この結果ホワイトの最大のブライトネスはR、G、及びBを合計した際の最大のそれより25%低い。もっとも、元のR、G、及びBの値については制限は課されない。これによって飽和色を最大ホワイトに対して想定的に強化でき、結果として、色域内であるがホワイトが最大原色の合計（例えば、RGB）とされるシステムのものよりも格段により飽和しているものとして示される色がもたらされる。したがって、[1 0 0]のRGB色がビューイング装置上に表示される場合、[1 1 1]としてホワイトが定義されるシステムの赤の輝度に比べて、赤は33%増強されるのであって、それによって赤はよりブライトネスが増し、また、伝統的なホワイトポイントを有するシステムと比べると一見すると蛍光色のように見える。有利なことに、このアプローチでは、ビューイング装置内での蛍光材料の使用を伴わずにして擬似的に蛍光性を示す画像を表示することを達成する。ビューイング装置の[1 1 1]のポジションに近い反射的な色に関しては、最大（参照）ホワイトとの相対的関係で輝度を33%増加させるように動作可能であって、それによって、ホワイト参照ポイントとの相対的関係で「スーパーホワイト」として知覚される反射的なホワイト色をもたらす。
【0227】
１つの実施形態では、少なくとも１つの色の輝度（Y値）が少なくとも１つの色の彩度に応じて減じられる。１つの実施形態では、低い彩度が最も大きいY値削減幅をもたらし、高い彩度はY値について無変化に留まらせる。通常は、中立色はゼロ或いはとても低い彩度を有する。彩度は多くの態様にて定義され得る。１つの実施形態では、彩度はYxyシステムにて定義される。Yxyシステムでは、彩度は好適にはx,y空間におけるベクトルの長さとして定義される。通常のベクトル長計算はこの場合は次式による：
【数13】
【0228】
これは距離の公式であり、xwhite及びywhiteは選択されたホワイトポイントのx及びyである。よって、xがxwhiteに近く、また、yがywhiteに近い場合、彩度（即ち、距離）は0.0に近く、より大きなY削減がなされる。従来型システムの最大赤の場合について述べるに、ホワイトのY値（ywhite）が最大ポテンシャルY値の0.75に削減された場合、赤のY値（Yred）が追従して最大ポテンシャルの0.75に削減される。最大ポジションと同一の画像となるも、ブライトネスだけ減る。本発明の処理においては、中立スケールのY値は0.75の削減を受けるのであるが、赤は変更されない。したがって、典型的なRGBシステム（Yred = 0.2126 * R、R = 1）では、Yred = 0.2126及びYwhite = 1が得られる。本発明にて説明される過飽和色処理では、ywhiteは0.75であるが、Yredは不変で0.2126である。Yred/ywhiteの比は、従来型システムの0.2126（即ち、0.2126/1.00）から0.2835 （即ち、0.2126/0.75）に増加するのであり、これは赤の相対的輝度が33%増大したこと表す。
【0229】
中立スケールと色スケールとの間での削減のスケーリングは、線形関数（例えば、0.75による乗算）又は任意の他の関数（例えば、非線形関数）によるものとして動作させることができる。１つの実施形態では、非線形関数はガンマ値を伴うガンマ関数である。１つの実施形態では、ガンマ値は1.0より大きく、これはより高い彩度ポジションについてのy削減を弱めて、やがてはY削減の無いポイントに至る。別の実施形態では、ガンマ値は1.0未満であり、これによりホワイトポイント付近の色についてYの減少が強まる。任意の他の削減曲線によっても所望の知覚的効果を達成することができる。
【0230】
１つの実施形態では、0から完全な減衰への遷移は非線形関数によるのであり（例えば、ガンマ2.0）、中立付近では減衰が遅延されており、最高位の彩度ポジションに接近するにつれて加速化する。この遷移は、用途及び／又は総合的画像の望まれる外見に合わせていくように動作可能である。
【0231】
方法について述べるに、各色ポイントについて彩度の値を決定するように画像データを処理する。色ポイントの輝度は、中立（ゼロ彩度）スケールへの接近度合に応じて減らされる。アルゴリズムが単に線形ならば、単純な線形減衰を彩度の値に応じて色ポイントについてなす。ゼロ彩度に近い場合、選ばれた削減レベルへ向けてフル減衰を施す。最高位の彩度の場合、色ポイントの輝度は変更されない。
【0232】
肌の彩度は通常は中立スケールに比較的に近く、肌サンプルのカラーポイントを変えないか或いは僅かに変えるガンマ遷移カーブ（又はその他もの）のような技術は、肌の色知覚を同じに保ちつつ高彩度色の誇張を可能とするために望まれる場合がある。有利なことに、１．０より大きなガンマ値は肉トーンを維持する。肌（skin）は、個別の赤、緑、及び青の値に比して比較的に低い彩度を有する。１．０より大きなガンマ値は、低位の値を圧縮してより高位の値を強化する。よって、スケールのガンマを調整することによって、Yにおける増加を最小化することによって肉（flesh）の外観は保たれるも、彩度がより高い任意の色はYにおいてブーストされることとなる。
【0233】
図３５Ａは、チップチャートを伴う女性の例示的画像を示す。図３５Ｂは、チップチャートを伴う女性の変更された画像を示す。図３５Ｂに示されている画像では、図３５Ａに示されている画像に対して２．２のガンマを用いての処理がなされて、そして８０％のluma係数が適用される。図３５Ｃは、チップチャートを伴う女性の変更された別の画像を示す。図３５Ｃに示されている画像では、図３５Ａに示されている画像に対して２．２のガンマを用いての処理がなされて、そして７０％のluma係数が適用される。図３５Ｂ及び３５Ｃにて見られるように、肉の色は図３５Ａと比べた際に維持されている。
【0234】
別の実施形態では、過飽和システムは、色相角レンジ及び彩度レンジ内の色に関しては変更を加えない。１つの例を挙げるに、色が肉トーンの色相角レンジにあり且つ色が特定の彩度レンジにある場合、過飽和システムはより高位な減少済みＹを保って肉について不変更とする。１つの実施形態では、色相角レンジ及び特定の彩度レンジはトーンカーブの一部である。
【0235】
「彩度」を決定するための色メトリックは、現行の（或いは将来の）色指定メトリックの何かを用いるようにすることができる。色メトリックとしては次のもの：XYZ、Yxy、ACES、ITP (ICtCp)、L*a*b*、CIECAM02、及び／又はRGB primary specific color spaces （RGB原色特有色空間）（例えば、Rec-2020、Rec-709、P3、等）が含まれるがこれらには限られない。これらの場合は、彩度及び輝度は容易に評価できるように動作可能である。１つの実施形態では、彩度及び輝度はHVC（Hue, Value, and Chroma（色相、値、及び彩度））色空間への変換によって決定されることができる。有利なことに、HVC空間への変換によって彩度及び輝度の計算が促進される。
【0236】
１つの実施形態では、計算（即ち、減少についてのスケーリング）はハードウェア、ソフトウェア、及び／又は少なくとも１つのＬＵＴを伴ってインラインでなされる。少なくとも１つのＬＵＴは、ハードウェア（例えば、ＦＰＧＡ）及び／又はソフトウェアで実装されるように動作可能である。１つの実施形態では、少なくとも１つのＬＵＴは３次元（３Ｄ）ＬＵＴである。有利なことに、ＬＵＴ（例えば、３ＤＬＵＴ）によれば、計算をなすのに必要な処理量を劇的に減らすことができる。１つの実施形態では、計算には、少なくとも１つの線形等式及び／又は少なくとも１つの非線形等式が含まれる。１つの実施形態では、計算は次のようになされる：
ここで、Ｙは輝度であり、ｆ（Ｃ）はＹに対しての乗数であり、また、Ｃは彩度（chroma）に比例する値である。好適な実施形態では、ｆ（Ｃ）はＣの絶対値に依存する。
【数14】
【0237】
１つの実施形態では、計算はL*a*b*でなされる。１つの実施形態では、Ｃの値は次のように計算される：
ここで、Ｃは原点（０，０）からのユークリッド距離である。
【数15】
【0238】
１つの実施形態では、計算はYxy空間でなされる。１つの実施形態では、Ｃの値は次のように計算される：
ここで、Ｃはターゲットポイント（x,y）からホワイトポイント（xWP,yWP）へのユークリッド距離である。
【数16】
【0239】
計算について１つの例を挙げれば、次のとおりである：
【数17】
【0240】
計算について別の例を挙げれば、次のとおりである：
【数18】
【0241】
計算についてさらなる別の例を挙げれば、次のとおりである：
【数19】
【0242】
他のカスタム線形等式も可能であり、ａ１－ａｎはＹＳＳＣｘｙについてオリジナルなＹｘｙのセットについて取得されており、線形又は非線形の回帰を介して特定のパラメータを伴って処理される。１つの実施形態では、特定のパラメータは、知覚的色空間でのエラーを最小化するために動作可能である。
【0243】
１つの実施形態では、計算YCBCRにてなされるのであり、ここで、CR=R-Gであり、また、CB=B-Gであり、中立はR = G = B, R+G+B ≦ 1.0且つR+G+B ≧ 0.0付近とされる。したがって、CRレンジ= [-1, 1]であり、また、CBレンジ= [-1, 1]である。１つの実施形態では、CRB（chroma RB）の値は次のように計算される：
ここで、Ｃは原点（０，０）からのユークリッド距離である。
【数20】
【0244】
１つの実施形態では、ICTCPについては、値は、LMS-to-XYZ行列を用いてLMS又はXYZに戻し変換される。LMS又はXYZにおいては、それぞれ値はMlm又はYxyに変換されるのであり、また、これらの値はYの減衰を決定するために用いられる。
【0245】
簡潔性のために、好適には、LMSはXYZに変換され、Cの決定のためにそしてまたYxyへと向かい、よって、減衰の絶対値へと向かう。IPTについては、LMS値がIPTから計算されたらば、処理は似たようなものとなる。
【0246】
DCI XYZについては、次式が用いられる：
【数21】
【0247】
YxyがXYZについて計算され、上述のように処理される。
【0248】
知覚的色空間にて表現されたデータセットについては、このメトリックを反転させて知覚的色メトリックを計算するのに用いられた元のXYZを取得するのであり、そして上述のように処理する。
【0249】
１つの例では、1000 cd/m2 RGBシステムは、約300 cd/m2に制限されたホワイトポイントを有する。ホワイトポイントを達成するためには、輝度を抑えるか制限するか及び／又は減少させて、R、G、及びBを加えた時に結果が300 cd/m2となるようにする。１つの実施形態では、ホワイトポイントはＬＵＴを用いて定義される。色空間が1000 cd/m2の立方体として視覚化されるのであれば、立方体内の全ての色は、その彩度レベルに応じてホワイトポイントから彩度が放射的に延びるようにマッピングされる。１つの実施形態では、色の輝度は、それがホワイトポイントにどの程度近いかに応じて減じられる。例えば、ホワイトポイントに近い色については輝度が減じられる。もっとも、色がホワイトポイントからはぐれるにつれて、輝度は持続することが許される（例えば、300 cd/m2迄）。したがって、輝度についてはスライディングスケールが与えられる。説明されるシステム及び方法は、他のピーク輝度値及び多の減少値と共に用いられるように動作可能である。
【0250】
システムに中立画像が与えられた場合、300 cd/m2を超える輝度では何も表示されないという結果となる。もっとも、過飽和色を伴う変更されたカラーシステムが用いられた場合、例示的な実施形態では1000 cd/m2迄を表示するように動作可能である。例えば、蛍光オレンジのベストを着用した狩猟者が野外にいる画像においては、蛍光オレンジのベストはホワイトに比して鮮烈なものとして現れる。図３６Ａは、伝統的処理を用いた例示的画像である。図３６Ｂは、過飽和色を伴う変更されたカラーシステムを用いた際の例示的画像である。
【0251】
図３７Ａは、中立トーンスケールを過飽和トーンスケールと比較するグラフである。従来型の中立は赤の丸で示されており、過飽和の中立は緑の丸で示されており、従来型の赤は赤の四角で示されており、過飽和の赤は緑の四角で示されている。従来型の中立（赤の丸）の輝度は、過飽和の中立（緑の丸）の輝度よりも高い。もっとも、従来型の赤（赤の四角）の輝度は、過飽和の赤（緑の四角）の輝度よりも低い。
【0252】
図３７Ｂは、合致させた強度を伴う中立トーンスケールを過飽和トーンスケールと比較するグラフである。従来型の中立は赤の丸で示されており、過飽和の中立は緑の丸で示されており、その結果従来型及び過飽和の中立について重複が生じる。従来型の赤は赤の四角で示されており、過飽和の赤は緑の四角で示されている。従来型の中立（赤の丸）の輝度は、過飽和の中立（緑の丸）の輝度と等しくなるように調整される。従来型の赤（赤の四角）の輝度は、過飽和の赤（緑の四角）の輝度よりも低いのであり、図３７Ｂの従来型の赤（赤の四角）に対しての過飽和の赤（緑の四角）の輝度の増加をより視覚化し易い。
【0253】
伝統的なカラー画像に関しては、カラー画像についての人の知覚は、ディスプレイ又はビューイング装置のトーンスケール強度レンジに自己較正されるのであり、このレンジ外の色は「スーパー色」又は「超飽和色」として知覚される。全体的なトーンスケールについての人の知覚は、期待カラートーンスケールを確立させる。よって、これによる何らかの向上は、拡張された色として知覚されることとなる。
【0254】
図３８Ａは、色相、飽和度、値（ＨＳＶ、Hue, Saturation, Value）コーン図の例である。中央の輝度を減じることによって、コーンの断面は図３８Ｂに似た形状を結果としてもたらすこととなる。谷部の勾配は、輝度を減じるのに用いた関数（例えば、線形、非線形）に依存する。
【0255】
３つ（例えば、ＲＧＢ）以上の原色を伴うシステムでは、ホワイトは全部の原色を用いるものとして定義される（例えば、ＲＧＢＣＭＹ）。例えば、４原色システムは通例は[1 1 1 1]と定義されるのであって、これはホワイトをもたらさないこととなろう。ホワイトを得るためには、各原色は合算されて、そして調整がなされて、正しいホワイト（例えば、Ｄ６５）がもたらされる。この総和は、全ての原色を組み合わせたものよりも自然と低く、個々の原色の出力が組合せよりも多いままとなり、結果として過飽和色がもたらされる。
【0256】
少なくとも４つの原色を伴うシステムに関しては、２つの主要なシナリオがある。１つの実施形態では、少なくとも４つの原色の相対量が望まれるホワイトポイントとは何ら関係を有していない。例えば、４原色システムでは、最大強度は全ての原色が最大値とされている[1 1 1 1]にて達成されることとなる。もっとも、これは中立なホワイトではないことがあり、或いは望まれるホワイト色度に近くないことがあり得る。この場合、最大の望まれるホワイトポイントは、原色の組合せによって生成されるのであって、より高い輝度は望まれるホワイトポイント彩度から逸脱することとなる。そして、原色の相対強度は再スケーリングするように動作可能であり、[1 1 1 1]の信号が望まれるホワイトポイント色度をもたらすようにすることができる。別の実施形態では、先述の再スケーリングは、ディスプレイ装置内にて較正としてなされて、望まれるホワイトポイントが[1 1 1 1]信号で達成されることとなる。どちらの場合にせよ、その次にＹ減少アルゴリズムがインラインで（例えば、ハードウェアを用いて）或いは別の計算機構（例えば、3D LUT）の下で適用される。
【0257】
もっとも、３原色システムと３つより多い原色を伴うシステムとの違いの１つは、３原色システムでは達成可能なホワイトポイントが一意的であるということが挙げられる。任意の輝度においてホワイトポイントを結果としてもたらす赤緑青の組合せは１つのみあるということである。３つより多くの原色を伴うシステムでは、望まれるホワイトポイントを達成するための一意的な解を得るための１つの方法としては、解が最高到達Ｙ値をもたらすという制約を課すことができる。その後、全ての原色に関して単純な線形スケーリングによってより低いＹ値を達成するということをなすように動作させることができる。もっとも、或るホワイトに関して最大値より低いＹ値を達成可能な原色コンビネーションのセットは無限個存在する。３つの測色ターゲット（例えば、ＹｘｙやＸＹＺ等）が原色強度係数に変換される過剰決定システムにおいては、このことは典型的なことである。無限個のセットについては、システムに他の制約（例えば、望まれるホワイトポイントについて解が最大のＹ値をもたらすということ要求すること等）を課すことによって減らしていく。このことは３つより多い個数の原色を伴う任意のシステムに当てはまる。
【0258】
ホワイトレベルを減じて、伝統的な態様で測定された場合のディスプレイコントラスト範囲が減じられる。もっとも、任意の具体的な原色の飽和度はホワイトポイントでの自己の飽和度を超過するように動作可能であり、故に輝度に対しての寄与度は増える。有利なことに、これによって主観的知覚によるコントラストレンジに関してはcd/m2の減少が示唆し得るのよりは少ない減少が結果としてもたらされる。ＨＤＲディスプレイは極めて明るいものとして動作し得る。過飽和色を用いる本願記載の実施形態は当該レンジの上部２５％を格段に有効に活用しているのであり、そのレンジ内の値を超高ブライトネス光源（例えば、太陽、明るい反射部、又は反射光）に制限する場合よりも良い。
【0259】
図３９は、緑における通常の無変更セットを伴うＹｘｙ空間内での33 cubed型３次元（３Ｄ）ルックアップテーブル（ＬＵＴ）についてのプロットである。ｘ軸の中央付近の約０．３２辺りに、Ｄ６５のｘ値が存在する。このポイントでは、色の輝度の増大は最小限となろう。赤のポイントは、最大輝度を１００％から７５％に減少させる線形変換について示す。青のポイントは、１００％から７５％へのガンマ２．０変換について示す。白のＹの減少については、再スケーリングして無変更セット（緑）と比較する。このアルゴリズム後にディスプレイ又はビューイング装置の総合的輝度が増大されて特定のホワイト輝度を達成させるのであれば、このことは合理的である。左又は右へと移動して中立センターから離れていくと、赤及び青のカーブを参照用緑ポイントとの関係で増大させることとなる。青ポイントは、ガンマ２．０変換が、彩度増加につれての増加前の参照のＹを中立により近く留めるということを示す。
【0260】
図４０Ａは、６Ｐ－Ｃについての３次元空間でのプロット図である。プロットの底部の青ドットは、色度を示す。特筆すべきなことは、本発明にて説明される輝度スケーリング処理中に色度が変わらないということである。図４０Ｂは、過飽和色を伴う６Ｐ－Ｃについての３次元空間でのプロット図である。プロットの底部の青ドットは色度を示すのであり、これは図４０Ａの彩度と同じである。もっとも、図４０Ｂにて見られるように、当初のホワイトポイント（「ＷＰ」）は、過飽和６Ｐ－Ｃシステムによって包括されるエリアよりも空間的に格段に高位である。図４１は、グラフのボトムのホワイトポイントから外縁の過飽和色への遷移を示す６Ｐ－Ｃについてのプロット図である。
【0261】
図４６～５１は、Rec.2020色空間データセットでの過飽和色を表す３次元プロットを示す。図４６～５１の各々の赤プロットは、Ｄ６５ホワイトのピークがＹ＝１．０にあるRec.2020ボリュームを示す。図４６～５１の各々の青プロットは、中立スケールがＹ＝１．０に保たれつつディスプレイのノミナルＹ（nominal Y）がノーマルのRec.2020（normal Rec. 2020）のそれの２倍とされた（即ち、Ｙ＝２．０）過飽和カラーボリュームを示す。青プロットは、視覚化を助けるためにドットとして示されている。各プロット内では、タイトルは５～０．５のレートについて示している。該レートは、中立からフルカラーへの遷移についての指数である。したがって、レートが３とされれば遷移はＣ３であり、ここでＣは計算相対彩度であり、これは三線ＲＧＢ等式を通じて計算される。ボリューム比率も示されており、これはRec.2020ノーマルボリューム（Rec.2020 normal volume）に対しての過飽和色のＹｘｙのボリュームの比率である。図示されているように、ボリュームの増加は約７７．７％である。図４６はレートが0.5とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。図４７はレートが1とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。図４８はレートが2とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。図４９はレートが3とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。図５０はレートが4とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。図５１はレートが5とされるRec.2020色空間データセットでの過飽和色の３次元プロット表現を示す。
【0262】
１つの実施形態では、３線等式は次式に示されるＲＧＢからデカルト形式のＴＬｘ及びＴＬｙセットへの変換を含む：
【数22】
【0263】
１つの実施形態では、デカルト形式ＴＬｘ及びＴＬｙセットは、次式の極形式ＴＬｘ ＴＬｙセットに変換される：
ここで、radius:半径、hue angle:色相角。
【数23】
【0264】
図５２Ａは、ＲＧＢセット、デカルト形式のＴＬｘ及びＴＬｙセット、極形式のＴＬｘ及びＴＬｙセット、並びに彩度（Ｃ）飽和度の値を含む原色データについての表である。
【0265】
【0266】
１つの実施形態では、過飽和色YSSCは次式を用いて計算される：
ここで、CSSCは変更されたＣであり、また、Yfactorはディスプレイで達成可能な最高から望まれるYへ達するためのホワイトでの減少である。限定せずに例示すると、CSSC=C^power（例えば、Power= 0.5, 1, 2, 3, 4, 5,等）である。限定せずに例示すると、ディスプレイが400 nitsであり且つ最大の望まれるYが200 nitsである場合、Yfactor= 200/400 = 0.5。１つの例では、上述のYSSCについての式は、CSSCを0とし且つYfactorを0.5として用いられて、YSSCとして200をもたらす（即ち、CSSC= 400 - (400×(1.0-0.0))×0.5=200）。さらなる別の例では、上述のYSSCについての式は、CSSCを0.5とし且つYfactorを0.5として用いられて、YSSCとして300をもたらす（即ち、CSSC= 400 - (400×(1.0-0.5))×0.5=300）。
【数24】
【0267】
さらなる別の例では、上述のYSSCについての式は、CSSCを1とし且つYfactorを0.5として用いられて、YSSCとして400をもたらす（即ち、CSSC= 400 - (400×(1.0-1.0))×0.5=400）。もっとも、これはYSSCの式の１つに過ぎず、本発明は複数の式と互換性を有するのであり、限定をせずに線形、log、及び／又はカスタムのカーブも含まれる。別の実施形態では、CSSCは特定の値（例えば、0.25）の下では変更されず、そしてそのポイントから最大彩度へとスケーリングされる（例えば、中立に近いものが対象とされる場合）。
【0268】
【0269】
【0270】
１つの実施形態では、ビューイング装置は過飽和色を用いるディスプレイ及び／又はヘッドアップディスプレイ（例えば、ゲーミング用、乗り物用）を提供できるように動作可能である。１つの実施形態では、ヘッドアップディスプレイは、プロジェクションを提供できるように動作可能である。１つの実施形態では、過飽和色は、ビューイング装置についてさらなる鮮明さをもたらすように動作可能である。
【0271】
１つの実施形態では、過飽和カラーシステムは、色が１００％又はそれ以上に飽和することを可能とするように動作可能である。有利なことに、これによって、18%グレー指標近辺に収まって肉の色調をもたらす肉トーンに関して良好な分離がなされる。また、減じられたホワイトに対して輝度値がパーセント基準で１００％（例えば、１２５％）を超えてプッシュされた場合、良好なネオン効果がカラーにもたらされる。１８％域から分離しつつ輝度を高位にプッシュすると、多数の用途において有益となり得る強調されたコントラストがもたらされることとなるのであり、限定せずに例示すると用途にはカーナビゲーション、ＡＲ／ＶＲ、スポーツ、及び／又はゲーミングが含まれる。
【0272】
ゲーミングについて述べるに、ネオン様の色について高輝度をもたらす過飽和色を用いると、ＦＰＳ（一人称射撃ゲーム）での仲間又は敵を表示するレーダースクエアであったり、オンラインゲームのライブ参加時におけるプレイヤ及びＮＰＣ（非プレイヤキャラクタ）上でのホバリングに関して有益性をもたらす。ＡＲ／ＶＲについて述べるに、似た局面は有り、過飽和色によって、ＡＲ／ＶＲ内の諸条件についてのシミュレーション並びにゲーミング、シミュレーション、及び／若しくはライブ訓練用途（例えば、医療、メンテナンス、乗り物関係）でのＡＲにおける現実世界に重畳させてのオーバーレイに関してより高い明瞭性をもたらし得る。さらに、乗り物用途について述べるに、このことによって乗り物のオペレータ（例えば、ドライバーやパイロット）により安全な状況をもたらし得るのであり、ヘッドアップディスプレイの色彩に関して判別性及びネオン様の外見を増すことによって混乱や歪曲を回避できる。
【0273】
単一装置での撮像及び表示
１つの実施形態では、本発明は装置を含むのであって、該装置は、画像データを取得し、画像データを処理し、及び／又は画像データを表示するように動作可能である。装置には次のもの：カメラ（例えば、デジタルビデオカメラ、スチルカメラ）、携帯機器（例えば、スマートフォン）、タブレット、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、モニタ、ウェアラブル装置、パーソナルデジタルアシスタント（ＰＤＡ）、電子ブックリーダ、デジタルメディアプレイヤ、ビデオゲーミング装置、ビデオ遠隔会議装置、ビデオストリーミング装置、ヘッドアップディスプレイ、及び／又はＡＲ／ＶＲ（拡張現実／仮想現実）装置（例えば、ヘッドセット、ゴーグル、スマートレンズ）が含まれるがこれらには限定されない。装置は、ワイヤレス接続を介した離別コンポーネント間でのデータトランスポートを要しない。また、装置は、長めの有線及び／又はケーブル接続を経たデータトランスポートを要しない（例えば、ＨＤＭＩケーブル、ＳＤＩケーブル）。有利なことに、装置の有線接続（例えば、はんだ付けされた接続）は有線接続が単一装置内に或故により短いものとして動作可能である。よって、装置では画像データを取得及び表示する処理が合理化される。
１つの実施形態では、本発明は装置を含むのであって、該装置は、画像データを取得し、画像データを処理し、及び／又は画像データを表示するように動作可能である。装置には次のもの：カメラ（例えば、デジタルビデオカメラ、スチルカメラ）、携帯機器（例えば、スマートフォン）、タブレット、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、モニタ、ウェアラブル装置、パーソナルデジタルアシスタント（ＰＤＡ）、電子ブックリーダ、デジタルメディアプレイヤ、ビデオゲーミング装置、ビデオ遠隔会議装置、ビデオストリーミング装置、ヘッドアップディスプレイ、及び／又はＡＲ／ＶＲ（拡張現実／仮想現実）装置（例えば、ヘッドセット、ゴーグル、スマートレンズ）が含まれるがこれらには限定されない。装置は、ワイヤレス接続を介した離別コンポーネント間でのデータトランスポートを要しない。また、装置は、長めの有線及び／又はケーブル接続を経たデータトランスポートを要しない（例えば、ＨＤＭＩケーブル、ＳＤＩケーブル）。有利なことに、装置の有線接続（例えば、はんだ付けされた接続）は有線接続が単一装置内に或故により短いものとして動作可能である。よって、装置では画像データを取得及び表示する処理が合理化される。
【0274】
１つの実施形態では、装置は、画像データを取得するための少なくとも１つの撮像部を含む。少なくとも１つの撮像部は好適には、少なくとも１つのレンズと、少なくとも１つの画像センサ（例えば、カメラ、ビデオカメラ、キャムコーダー、スローモーションカメラ、及び／又はハイスピードカメラ）とを含む。ＣＣＤ画像センサ、ＣＭＯＳ画像センサ（例えば、アクティブ画素センサ（ＡＰＳ））、ハイブリッドＣＣＤ／ＣＭＯＳ画像センサ、ＮＭＯＳ画像センサ、及びquanta画像センサが本発明と互換性を有する。１つの実施形態では、少なくとも１つの撮像部はストライプフィルタシステムを伴う単一撮像部である。代替的には、少なくとも１つの撮像部は、赤撮像部、緑撮像部、及び青撮像部を含む。少なくとも１つのレンズは、光を少なくとも１つの画像センサへと向ける。少なくとも１つのレンズは、少なくとも１つの凸レンズ及び／又は少なくとも１つの凹レンズを含むがこれらには限られない。１つの実施形態では、少なくとも１つの画像センサは、広色域画像センサ（例えば、広色域カメラ）である。１つの実施形態では、少なくとも１つの画像センサは単一画素画像センサである。１つの実施形態では、少なくとも１つの画像センサは検出器アレイを含まない。１つの実施形態では、少なくとも１つの画像センサは複数の画像センサである。１つの実施形態では、少なくとも１つのイメジャーは、装置が複数のイメジャーと互換性を有するように可換とされる。有利なことに、このモジュラー設計によって、変化する撮像ニーズ及び／又は技術的進展に応じて少なくとも１つの撮像部をアップグレードしたりスワップアウトしたりできる。
【0275】
１つの実施形態では、少なくとも１つの撮像部は、複数の画像センサのための複数のレンズを含む。１つの実施形態では、複数のレンズは、複数の画像センサの各々について異なる焦点距離をもたらす。１つの実施形態では、装置は焦点距離を変えるように動作可能である（例えば、ズームを行う）。代替的には、装置は異なる焦点距離の複数の画像センサからの信号を補間してハイブリッドセンサデータを作成するように動作可能である。装置は、複数の画像センサの各々からのセンサデータを組み合わせて単一の画像データセットをもたらすように動作可能である。１つの実施形態では、装置はスタビライザ（例えば、ジャイロスコープシステム、電子安定化システム）を含む。少なくとも１つの撮像部は好適にはスタビライザ上に配置されており、スタビライザは少なくとも１つの撮像部を動かしてブレた画像を結果としてもたらすであろう動きを相殺する。１つの実施形態では、少なくとも１つの撮像部はレンズマウント（例えば、スクリューマウント、バヨネットマウント、ブリーチロック、タブロック、ダブルベヨネット、Z、X、EF（Electro-Focus）、EF-M、EF-S、AF、E、L、RF、G、M、SA、A、K、F、S、PL、T、C、H、及び645系のマウント）を含む。
【0276】
１つの実施形態では、少なくとも１つの撮像部は少なくとも１つのフィルタ（例えば、光学フィルタ）を含む。１つの実施形態では、少なくとも１つのフィルタは少なくとも１つの画像センサ上のフォトサイト上に重畳される。１つの実施形態では、少なくとも１つのフィルタは吸収フィルタである。代替的には、少なくとも１つのフィルタは干渉フィルタ又はダイクロイックフィルタである。１つの実施形態では、少なくとも１つのフィルタは少なくとも１つのカットオフ波長を有し、少なくとも１つのカットオフ波長に基づいて光りを透過又は遮断する（例えば、ロングパスフィルタ、ショートパスフィルタ、バンドパスフィルタ、マルチバンドパスフィルタ、ノッチフィルタ）。代替的実施形態では、少なくとも１つのフィルタは全ての波長での強度を等しく変更する（例えば、ＮＤフィルタ）。１つの実施形態では、少なくとも１つのフィルタは少なくとも１つのカラーフィルタアレイを含む（例えば、バイヤーフィルタ、クワッドバイヤーフィルタ、ダイアモンドパターンカラーフィルタアレイ、ヤマナカカラーフィルタアレイ、垂直ストライプカラーフィルタアレイ、斜行ストライプカラーフィルタアレイ、疑似ランダムカラーフィルタアレイ、及び／又はヒト型視覚システムベースドカラーフィルタアレイ）。本発明と互換性を有するフィルタ色はＲＧＢ、ＣＹＧＭ、ＲＧＢＥ（red, green, blue, emerald）、及び／又はＣＭＹを含むがこれらには限定されない。少なくとも１つのフィルタは変更可能となるように動作可能である。非限定的な例を挙げるに、バイヤーフィルタを変更してマジェンタフィルタを含めることができる。代替的には、バイヤーフィルタ内の素子のサイズを調整して少なくとも１つの画像センサの感度を増すことができる。さらなる別の実施形態では、少なくとも１つのフィルタの１つ以上を回転可能なものとして動作させることができる。１つの実施形態では、少なくとも１つのフィルタは複数のフィルタレイヤを含む。１つの実施形態では、少なくとも１つのフィルタは、可視波長域外の光のための少なくとも１つのフィルタを含む（例えば、ＵＶフィルタ、ＩＲフィルタ）。１つの実施形態では、装置は非可視波長域フィルタを通じて捉えられた光を可視光に変換するように動作可能である（例えば、ＵＶブラックライトシミュレーション等の視覚効果のため）。少なくとも１つのフィルタは任意の個数のカラーフィルタを含む。１つの実施形態では、少なくとも１つのフィルタは少なくとも１つの撮像部の感度を増すためのインバースカラー型を含む。
【0277】
単一装置での取得（ACQUISITION）
１つの実施形態では、装置はｒａｗ画像ファイルとしてｒａｗ画像データを取得するように動作可能である。ｒａｗ画像ファイルは未処理とみなされる故に編集又は印刷されることができない。ｒａｗ画像ファイルは画像データに加えてメタデータ及びヘッダをも含む。メタデータには次の事項：画像センサパラメータ、撮像部パラメータ、タイムコード、フレームデータ、ＨＤＲメタデータ、測色メタデータ、アスペクト比、寸法（例えば、画素寸法）、及び／又はレンズ情報（例えば、焦点距離、絞り値、シャッター速度、露光時間、感度、ホワイトバランス）が含まれるがこれらには限られない。ｒａｗ画像フォーマットには次の事項：デジタルネガraw（DNG）、ISO 12234-2 (TIFF/EP)、NIKON NEF、CANON Raw v2 (CR2)、CR3、及び／又はREDCODE Raw (R3D)系のファイルが含まれるがこれらには限られない。１つの実施形態では、装置は処理前にｒａｗ画像ファイルを格納するように動作可能である。そして、装置はｒａｗ画像データをレンダリング済み画像データにレンダリングするように動作可能であって、レンダリング済み画像データは閲覧及び／又は編集可能となるように動作可能である。レンダリングには次のこと：デコード、デモザイク（例えば、バイヤーフィルタの効果を除去すること）、画素除去（例えば、欠陥画素についてなすこと）、補間（例えば、除去済み画素を代替すること）、ホワイトバランス調整、ノイズリダクション、カラー変換、階調再現、光学補正、コントラスト操作、リサイズ、スプリット、クロッピング、及び／又は圧縮が含まれるがこれらには限られない。代替的には、装置はｒａｗ画像データを圧縮しない。１つの実施形態では、装置は画像データをパイプライン処理でレンダリングするように動作可能であり、各ステップは逐次的になされる。諸ステップの順序は可変として動作可能である。代替的には、装置は並列的ステップにて画像データをレンダリングするように動作可能である。さらなる別の実施形態では、装置は単一最適化問題を解くことによって画像データをレンダリングするように動作可能である。装置は、画像先行データ及び／若しくは画像バリエーションデータを保存して、画像先行データ及び／若しくは画像バリエーションデータをレンダリング、処理、並びに／又は表示に関して用いるように動作可能である。
１つの実施形態では、装置はｒａｗ画像ファイルとしてｒａｗ画像データを取得するように動作可能である。ｒａｗ画像ファイルは未処理とみなされる故に編集又は印刷されることができない。ｒａｗ画像ファイルは画像データに加えてメタデータ及びヘッダをも含む。メタデータには次の事項：画像センサパラメータ、撮像部パラメータ、タイムコード、フレームデータ、ＨＤＲメタデータ、測色メタデータ、アスペクト比、寸法（例えば、画素寸法）、及び／又はレンズ情報（例えば、焦点距離、絞り値、シャッター速度、露光時間、感度、ホワイトバランス）が含まれるがこれらには限られない。ｒａｗ画像フォーマットには次の事項：デジタルネガraw（DNG）、ISO 12234-2 (TIFF/EP)、NIKON NEF、CANON Raw v2 (CR2)、CR3、及び／又はREDCODE Raw (R3D)系のファイルが含まれるがこれらには限られない。１つの実施形態では、装置は処理前にｒａｗ画像ファイルを格納するように動作可能である。そして、装置はｒａｗ画像データをレンダリング済み画像データにレンダリングするように動作可能であって、レンダリング済み画像データは閲覧及び／又は編集可能となるように動作可能である。レンダリングには次のこと：デコード、デモザイク（例えば、バイヤーフィルタの効果を除去すること）、画素除去（例えば、欠陥画素についてなすこと）、補間（例えば、除去済み画素を代替すること）、ホワイトバランス調整、ノイズリダクション、カラー変換、階調再現、光学補正、コントラスト操作、リサイズ、スプリット、クロッピング、及び／又は圧縮が含まれるがこれらには限られない。代替的には、装置はｒａｗ画像データを圧縮しない。１つの実施形態では、装置は画像データをパイプライン処理でレンダリングするように動作可能であり、各ステップは逐次的になされる。諸ステップの順序は可変として動作可能である。代替的には、装置は並列的ステップにて画像データをレンダリングするように動作可能である。さらなる別の実施形態では、装置は単一最適化問題を解くことによって画像データをレンダリングするように動作可能である。装置は、画像先行データ及び／若しくは画像バリエーションデータを保存して、画像先行データ及び／若しくは画像バリエーションデータをレンダリング、処理、並びに／又は表示に関して用いるように動作可能である。
【0278】
１つの実施形態では、取得色域はディスプレイ色域と同一である。１つの実施形態では、取得色域及びディスプレイ色域の両方は拡張色域である及び／又は少なくとも４つの原色を含む（例えば、６Ｐ－Ｂ、６Ｐ－Ｃ）。代替的には、ディスプレイ色域（例えば、ＲＧＢＣＭＹ）は取得色域（例えば、ＲＧＢ）よりも大きなボリュームを有する。さらなる別の実施形態では、ディスプレイ色域（例えば、ＲＧＢ）は取得色域（例えば、ＲＧＢＣＭＹ）よりも小さなボリュームを有する。装置は好適には、取得色域からディスプレイ色域に画像データを変換するように動作可能である。
【0279】
１つの実施形態では、レンダリングは、色空間（例えば、CIE 1931, ITU-R BT.2020）内へとｒａｗ画像データを変換することを含む。好適な実施形態では、装置は画像データを３座標フォーマットにてレンダリングするように動作可能であり、第１の座標は輝度又はluma値であり、また、第２及び第３の座標は共に測色的なものである（彩度も）。非限定的な例を挙げるに、３座標フォーマットとしてはＹｘｙがあり、ここで、Ｙは輝度座標であり、また、ｘ及びｙは直交な測色座標である。また、装置は変換（例えば、ガンマ圧縮）を輝度座標に適用してluma座標（例えば、Ｙ'）をもたらすように動作可能である。相対輝度値も互換となり得る。代替的には、３座標フォーマットには次のものが含まれるがこれらには限られない：L*a*b*、ICtCp、YCbCr、YUV、Yu’v’、YPbPr、及び／又はYIQ。代替的には、装置は画像データをＸＹＺデータとしてレンダリングするように動作可能である。１つの実施形態では、装置はユーザ入力を受け付けるためのユーザインタフェースを含む。１つの実施形態では、ｒａｗ画像データはユーザ入力に基づいてレンダリングされる。１つの実施形態では、装置は光学電子伝達関数（OETF）及び電子光学伝達関数（EOTF）を画像データに適用するように動作可能である。代替的には、装置は少なくとも１つの非線形関数（例えば、OOTF）を画像データに適用するように動作可能である。１つの実施形態では、装置は少なくとも１つのルックアップテーブル（ＬＵＴ）を含む。少なくとも１つのＬＵＴは、ハードウェア（例えば、ＦＰＧＡ）及び／又はソフトウェアで実装されるように動作可能である。１つの実施形態では、レンダリングは画像データを圧縮することを含む（例えば、４：２：２サンプリング、４：２：０サンプリング）。１つの実施形態では、レンダリングは色域制約をターゲット色域に適用することを含む。代替的には、画像データは圧縮されない（４：４：４サンプリング）。
【0280】
１つの実施形態では、レンダリングは画像データ内により大きな可視的な輝度範囲をもたらすためのＨＤＲ処理をさらに含む。ＨＤＲ画像を表示するためには、少なくとも１つの伝達関数（例えば、ＰＱ、ハイブリッドlog-gamma（ＨＬＧ））の適用が典型的には必要となる。１つの実施形態では、装置は、ＰＱ対応ディスプレイ及び／又はＨＬＧ対応ディスプレイを含み、少なくとも１つの伝達関数の適用を伴ってＨＤＲ画像データを表示できる。１つの実施形態では、装置は、少なくとも１つのトーンマッピングカーブ（例えば、Ｓカーブ）を画像データに適用するように動作可能であり、ハイライト及びシャドウのディテールを保つことができる。１つの実施形態では、メタデータは、少なくとも１つの伝達関数及び／又は少なくとも１つのトーンマッピングカーブについての情報を含む。
【0281】
単一装置処理
１つの実施形態では、装置はさらにレンダリング済み画像データを処理及び／又は変換できる。１つの実施形態では、装置は本発明のエンコーダ及びデコーダを単一のユニット内に含む。１つの実施形態では、装置は、処理済み画像データがデコードされる前に、エンコーダからデコーダに送られる処理済み画像データを格納するように動作可能である。エンコーダ及びデコーダが同じ装置上にある故に、データは有線接続上でエンコーダとデコーダとの間で送信される。有線接続はインターネットへの接続性、BLUETOOTH（登録商標）、又は任意の他のタイプの無線接続を要さない。有利なことに、中間フォーマットにてデータを格納することによって、破損又は喪失した画像データの場合に動作可能なバックアップデータがもたらされる。代替的には、同じ装置が画像取得及び画像表示の両方について動作可能である故に、装置はエンコード及び／又はデコードのステップをバイパスするように動作可能である。例えば、ＨＤＭＩ接続が画像データの表示にとって必要ではない故に、装置は、画像データをＨＤＭＩ入力としてエンコードしてそしてＨＤＭＩ入力をＨＤＭＩ受信回路にてデコードする、ということをなさない。代替的実施形態では、画像データをディスプレイスクリーン上に表示することに加えて、装置は、装置とは別個の追加的ディスプレイ装置上に表示するために画像データをエンコードするように動作可能である。有利なことに、１つの実施形態では、画像データのビット深度は、取得から表示迄の各ステップに亘って装置内で同じままとされる。
１つの実施形態では、装置はさらにレンダリング済み画像データを処理及び／又は変換できる。１つの実施形態では、装置は本発明のエンコーダ及びデコーダを単一のユニット内に含む。１つの実施形態では、装置は、処理済み画像データがデコードされる前に、エンコーダからデコーダに送られる処理済み画像データを格納するように動作可能である。エンコーダ及びデコーダが同じ装置上にある故に、データは有線接続上でエンコーダとデコーダとの間で送信される。有線接続はインターネットへの接続性、BLUETOOTH（登録商標）、又は任意の他のタイプの無線接続を要さない。有利なことに、中間フォーマットにてデータを格納することによって、破損又は喪失した画像データの場合に動作可能なバックアップデータがもたらされる。代替的には、同じ装置が画像取得及び画像表示の両方について動作可能である故に、装置はエンコード及び／又はデコードのステップをバイパスするように動作可能である。例えば、ＨＤＭＩ接続が画像データの表示にとって必要ではない故に、装置は、画像データをＨＤＭＩ入力としてエンコードしてそしてＨＤＭＩ入力をＨＤＭＩ受信回路にてデコードする、ということをなさない。代替的実施形態では、画像データをディスプレイスクリーン上に表示することに加えて、装置は、装置とは別個の追加的ディスプレイ装置上に表示するために画像データをエンコードするように動作可能である。有利なことに、１つの実施形態では、画像データのビット深度は、取得から表示迄の各ステップに亘って装置内で同じままとされる。
【0282】
１つの実施形態では、装置は、例えば埋込型ＡＲＭ（Advanced RISC Machine（先進縮小命令セットコンピューティングマシン））プロセッサを用いて、画像データを内部的に処理及び／又は変換するように動作可能である。代替的には、装置はリモート画像処理をなすように動作可能である。例えば、装置はプラットフォームとネットワーク通信可能にされており、装置は画像データをプラットフォームへと送り且つ画像データをプラットフォームから受信するように動作可能である。プラットフォームは、画像データを処理するように動作可能である。１つの実施形態では、プラットフォームはサーバ上にホスティングされている（例えば、クラウドベースドサーバ、分散型エッジネットワーク上にホスティングされたサーバ）。代替的には、装置は外部プロセッサと画像処理のための有線通信をなすように動作可能である。１つの実施形態では、装置はユーザインタフェースをさらに含み、ユーザインタフェースは画像データについて編集をなすためのユーザ入力（例えば、ブライトネス、飽和度、コントラスト）を受け付けるように動作可能である。１つの実施形態では、装置は特定の特徴（例えば、肌のトーン修正）について画像データを編集するように動作可能である。
【0283】
１つの実施形態では、装置は表示するために画像データをサブサンプリングするように動作可能である。有利なことに、画像データを例えばＹｘｙ等の３座標システム内にて格納及び処理することによって、知覚に影響を与えずに表示のために色度座標をサブサンプリングすることができる。非限定的な例を挙げるに、４：２：２、４：２：０、及び４：１：１のサブサンプリングが本発明と互換性を有する。代替的には、画像データは完全サンプリングされる。１つの実施形態では、装置は圧縮された画像データを展開するように動作可能である。
【0284】
１つの実施形態では、表示のために画像データを処理することは、色マッチング関数（ＣＭＦ）を適用することを含む。ＣＭＦは、波長についての関数を３つ用いて人間の眼の色反応について記述する：x －(λ),y －(λ),z －(λ)。ＣＩＥ１９３１系のＣＭＦが多くの場合用いられるも、ＣＩＥ１９３１系のＣＭＦに変更を加えたものも本発明と互換性を有するのであり次のもの：Judd in 1951、Vos in 1978、Stiles and Burch in 1959、Stockman and Sharpe (Sharpe, L.T., Stockman, A., Jagla, W., Jagle, H. 2011. A luminous efficiency function, V*D65(λ), for daylight adaptation: A correction. Color Research and Application, 36, 42-46)、ＣＩＥ １０度ＣＭＦ（1964）、ＣＩＥ Ｓ ０１４（2006）、ＣＩＥ １７０－１：２００６（2006）、ＣＩＥ ２度 ＸＹＺ ＣＭＦ（2012）、及び／又はＣＩＥ １７０－２：２０１５（2015）が含まれるもこれらには限られない。測色観察者に基づいたＣＩＥ１９３１系ＣＭＦについての変更について説明するこれらの刊行物の各々は、参照によって全体が取り込まれる。ＣＩＥ１９３１系ＣＭＦへの変更は、ＸＹＺと長中短（ＬＭＳ、long medium short）色空間との間の線形マッピングからの逸脱に関して手当するのであり、これは長、中、及び短波長への人間の錐体細胞の応答を表す。当初のマッピングからのこれらの逸脱は、特に青色領域において認められる。次の文献：例えば、CIE Proceedings (1964) Vienna Session, 1963, Vol. B, pp. 209-220 (Committee Report E-1.4.1), Bureau Central de la CIE, Paris; Speranskaya, N. I. (1959). Determination of spectrum color co-ordinates for twenty-seven normal observers. Optics and Spectroscopy, 7, 424-428;Stiles, W. S., & Burch, J. M. (1959) NPL colour-matching investigation: Final report. Optica Acta, 6, 1-26;Wyszecki, G., & Stiles, W. S. (1982). Color Science: concepts and methods, quantitative data and formulae. (2nd ed.). New York:Wiley; CIE. (1932). Commission Internationale de l’Eclairage Proceedings, 1931. Cambridge: Cambridge University Press; Stockman, A., Sharpe, L. T., & Fach, C. C. (1999). The spectral sensitivity of the human short-wavelength cones. Vision Research, 39, 2901-2927; Stockman, A., & Sharpe, L. T. (2000). Spectral sensitivities of the middle- and long-wavelength sensitive cones derived from measurements in observers of known genotype. Vision Research, 40, 1711-1737;Sharpe, L. T., Stockman, A., Jagla, W. & Jagle, H.(2005). A luminous efficiency function, V*(λ), for daylight adaptation. Journal of Vision, 5, 948-968;CIE (2006). Fundamental chromaticity diagram with physiological axes. Parts 1 and 2. Technical Report 170-1. Vienna: Central Bureau of the Commission Internationale de l' Eclairage; Judd, D. B. (1951). Report of U.S. Secretariat Committee on Colorimetry and Artificial Daylight, Proceedings of the Twelfth Session of the CIE, Stockholm (pp. 11) Paris: Bureau Central de la CIE;及びVos, J. J. (1978). Colorimetric and photometric properties of a 2-deg fundamental observer. Color Research and Application, 3, 125-128も参照されたい。これらの各々は参照によって全体が取り込まれる。
【0285】
単一装置ディスプレイ
１つの実施形態では、装置はディスプレイをさらに含む。ディスプレイは好適には、３つを超える原色を用いて画像データを表示するように動作可能である。１つの実施形態では、ディスプレイは、ITU-R BT.2020色域外の色を表示するように動作可能である。１つの実施形態では、ディスプレイは、CIE-1931色空間によって包括されるエリアの少なくとも８０％を表示するように動作可能である。１つの実施形態では、ディスプレイは米国特許第11,030,934号（出願日：2020/10/01、発行日：2021/06/08）にて開示されたものであり、これは参照によって全体が取り込まれる。１つの実施形態では、ディスプレイはスクリーン、例えば、ＬＣＤスクリーン、ＬＥＤスクリーン、ＬＥＤバックライトスクリーン、ＯＬＥＤ（有機ＬＥＤ）スクリーン、ＡＭＯＬＥＤ（アクティブマトリックスＯＬＥＤ）スクリーン、量子ドット（ＱＤ）ディスプレイ、ＱＤバックライトを用いるＬＣＤディスプレイ、ペロブスカイトディスプレイ、及び／又はレーザーディスプレイ（例えば、離散モジュレーションやグレーチングモジュレーションを用いるもの）である。代替的実施形態では、ディスプレイは少なくとも１つのプロジェクタを含む。装置は、画像データが装置によって取得、レンダリング、及び／又は処理された後にそれを表示するように動作可能である。追加的に又は代替的には、装置は、表示のために画像データを外部ソースから受信するように動作可能である。別の実施形態では、ディスプレイは複数のディスプレイ装置を含む（例えば、スクリーン、プロジェクタ）。
１つの実施形態では、装置はディスプレイをさらに含む。ディスプレイは好適には、３つを超える原色を用いて画像データを表示するように動作可能である。１つの実施形態では、ディスプレイは、ITU-R BT.2020色域外の色を表示するように動作可能である。１つの実施形態では、ディスプレイは、CIE-1931色空間によって包括されるエリアの少なくとも８０％を表示するように動作可能である。１つの実施形態では、ディスプレイは米国特許第11,030,934号（出願日：2020/10/01、発行日：2021/06/08）にて開示されたものであり、これは参照によって全体が取り込まれる。１つの実施形態では、ディスプレイはスクリーン、例えば、ＬＣＤスクリーン、ＬＥＤスクリーン、ＬＥＤバックライトスクリーン、ＯＬＥＤ（有機ＬＥＤ）スクリーン、ＡＭＯＬＥＤ（アクティブマトリックスＯＬＥＤ）スクリーン、量子ドット（ＱＤ）ディスプレイ、ＱＤバックライトを用いるＬＣＤディスプレイ、ペロブスカイトディスプレイ、及び／又はレーザーディスプレイ（例えば、離散モジュレーションやグレーチングモジュレーションを用いるもの）である。代替的実施形態では、ディスプレイは少なくとも１つのプロジェクタを含む。装置は、画像データが装置によって取得、レンダリング、及び／又は処理された後にそれを表示するように動作可能である。追加的に又は代替的には、装置は、表示のために画像データを外部ソースから受信するように動作可能である。別の実施形態では、ディスプレイは複数のディスプレイ装置を含む（例えば、スクリーン、プロジェクタ）。
【0286】
１つの実施形態では、装置は画像データの表示パラメータを変更するように動作可能であり、次の事項：色域、フレームレート、サンプリングレート、アスペクト比、データフォーマット、メタデータ、及び／又はＳＤＰパラメータが含まれるがこれらには限られない。１つの実施形態では、装置のディスプレイは取り替え可能とされる。１つの実施形態では、装置はまた、画像データを第２のディスプレイにプロジェクトするように動作可能であって、該第２のディスプレイは装置とは別個のものである。例えば、装置は画像データを第２のディスプレイにキャストするように動作可能であって、第２のディスプレイは装置のディスプレイを（例えば、無線又は有線接続を介して）ミラーリングする。代替的には、第２のディスプレイは第１のディスプレイを拡張する。装置は、（例えば、トーンカーブの適用、解像度の変更、画像データの色空間の変更によって）第２のディスプレイでの表示のために画像データを最適化するようにさらに動作可能である。
【0287】
拡張現実／仮想現実（ＡＲ／ＶＲ）
１つの実施形態では、システムは、仮想現実、拡張現実、及び／又は混合現実環境（「ＡＲ／ＶＲ」）向けに構成されたヘッドセットを含む。ヘッドセットは好適にはディスプレイ、アイウェアコンポーネント、少なくとも１つの電源コンポーネント、少なくとも１つの撮像装置、及び／又は制御電子部品を含む。１つの実施形態では、ヘッドセットはゴーグルである。代替的には、ヘッドセットは眼鏡である。１つの実施形態では、ヘッドセットは少なくとも１つのストラップ及び／又はテンプルを含む。１つの実施形態では、電源供給コンポーネントは少なくとも１つの電池、少なくとも１つのスーパーキャパシタ、又は他の類似の電源コンポーネントを含む。別の実施形態では、電池は少なくとも１つの再充電可能電池を含む。さらなる別の実施形態では、少なくとも１つの再充電可能電池はリチウムイオン電池を含む。
１つの実施形態では、システムは、仮想現実、拡張現実、及び／又は混合現実環境（「ＡＲ／ＶＲ」）向けに構成されたヘッドセットを含む。ヘッドセットは好適にはディスプレイ、アイウェアコンポーネント、少なくとも１つの電源コンポーネント、少なくとも１つの撮像装置、及び／又は制御電子部品を含む。１つの実施形態では、ヘッドセットはゴーグルである。代替的には、ヘッドセットは眼鏡である。１つの実施形態では、ヘッドセットは少なくとも１つのストラップ及び／又はテンプルを含む。１つの実施形態では、電源供給コンポーネントは少なくとも１つの電池、少なくとも１つのスーパーキャパシタ、又は他の類似の電源コンポーネントを含む。別の実施形態では、電池は少なくとも１つの再充電可能電池を含む。さらなる別の実施形態では、少なくとも１つの再充電可能電池はリチウムイオン電池を含む。
【0288】
ヘッドセットは、仮想的なシーン、動画、及び／又は環境についての画像を受信及び表示するように構成されている。ヘッドセットは、音声データを受信して、スピーカ、ヘッドホン、及び他の類似の音声プレイバック装置を介して音声データを装着者に伝達するようにさらに動作可能である。１つの実施形態では、ヘッドホンはノイズキャンセリングヘッドホンである。ノイズキャンセリングヘッドホンは、外部ノイズを遮断して装着者がＡＲ／ＶＲ環境に完全に没入するように構成されている。
【0289】
ヘッドセット及び／又はＡＲ／ＶＲシステムの例には次の米国特許及び米国特許公開公報にて開示されているもの、米国特許：8,217,856;8,743,145;9,094,677;9,223,136;9,635,450;9,671,614;9,710,887;9,733,480;9,734,402;9,766,462;9,846,483;9,858,703;9,897,812;9,989,998;10,025,060;10,037,084;10,055,645;10,055,887;10,061,352;10,061,391;10,082,672;10,102,674;10,122,990;10,124,251;10,133,305;10,185,390;10,209,769;10,244,226;10,254,547;10,261,579;10,318,007;10,395,111;10,419,731;10,429,647;10,452,911;10,540,003;10,656,423;10,656,822;10,701,342;10,769,438;10,825,255;10,838,206;10,843,067;10,890,941;10,911,734;10,922,886;10,928,613;10,951,880;10,979,681;11,030,719;11,055,879;11,106,276;11,145,031;11,145,096;11,159,713;11,170,678;11,217,021;11,228,745;11,275,945;11,281,290;11,288,027。米国特許公開公報：20200049946, 20210243384, 20220130103を含むがこれらには限定されない。これらの各々は参照によって全体が取り込まれる。
【0290】
１つの実施形態では、少なくとも１つのストラップは、装着者の頭部に巻き付いて、少なくとも１つの取り付け機構を介してアイウェアコンポーネントに取り付くように構成されている。少なくとも１つの取り付け機構は、面ファスナー、ラッチ、ボタン、バックル、スナップ、対、クリップ、及び他の類似の取り付け機構を含む。少なくとも１つのストラップは、装着者の頭部に合わせて調整可能である。有利なことに、これによって異なる頭部サイズの装着者に対してヘッドセットが用いられることが可能となる。制限を伴わずに例示すれば、少なくとも１つのストラップ（strap）は締め付け機構を含む。１つの実施形態では、締め付け機構は、一方の方向へと回転してヘッドストラップ（head strap）の張力を増加させ、また、他方の方向へと回転してヘッドストラップの張力を緩めるように構成されている。さらなる別の実施形態では、少なくとも１つのストラップは、少なくとも２つのストラップを含む。１つの実施形態では、少なくとも２つのストラップは、重複せずに装着者の頭部の周りで平行な配置にある。代替的には、少なくとも２つのストラップは、装着者の頭部の中央にて交差してより緊縛的なフィットをもたらすように構成されている。
【0291】
望ましくは、ヘッドセットは装着者の顔面には最小限の圧力をもたらすように構成されている。１つの実施形態では、ヘッドセットは鼻部コンポーネントを含む。１つの実施形態では、装着者の鼻は鼻部コンポーネント内に収まるようにできる。１つの実施形態では、鼻部コンポーネントは調整可能である。１つの実施形態では、鼻部コンポーネントは左右上下に可動と構成される。１つの実施形態では、鼻部コンポーネントは拡大可能なものとして動作可能である。代替的には、ヘッドセットは装着者の鼻筋上に載るように設計されている。さらなる別の実施形態では、ヘッドセットは装着者の顔面全てを覆う。
【0292】
１つの実施形態では、少なくとも１つの撮像装置はモーションセンサカメラである。１つの実施形態では、モーションセンサカメラは装着者の身体動作をキャプチャするように構成されている。追加的に又は代替的には、少なくとも１つの撮像装置はＬＩＤＡＲカメラを含む。少なくとも１つの撮像装置は、装着者のポジショニングを決定し、また、装着者のポジショニングをディスプレイに基づいて修正するための少なくとも１つの推奨案を提供するようにさらに動作可能である。
【0293】
制御電子部品は好適には少なくとも１つのプロセッサを含む。制限を伴わずに例示すれば、プロセッサは次のもの：汎用マイクロプロセッサ（例えば、中央処理ユニット（ＣＰＵ））、グラフィクス処理ユニット（ＧＰＵ）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、コントローラ、状態マシン、ゲート又はトランジスタのロジック、個別ハードウェアコンポーネント、又は計算の遂行、実行のための命令の処理、及び／若しくは情報についての他の操作をなすように動作可能な任意の他の適切なエンティティ又はそれらの組合せを含む。１つの実施形態では、少なくとも１つのプロセッサの１つ以上が、制御電子部品の少なくとも１つのメモリ内に格納された事前定義されたプログラムを実行するように動作可能である。
【0294】
制御電子部品は好適には少なくとも１つのアンテナを含み、これが制御電子部品が少なくとも１つのリモート装置（例えば、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ）からの入力データ（例えば、ＡＲ／ＶＲ設定）を受信及び処理することを可能とする。好適な実施形態では、少なくとも１つのリモート装置は制御電子部品と無線ネットワーク通信可能とされている。無線通信について制限を伴わずに例示すれば次のもの：無線周波数（ＲＦ）、BLUETOOTH（登録商標）、ZIGBEE（登録商標）、WI-FI（登録商標）、無線ＬＡＮ、ＮＦＣ、又は他の類似の商業的に活用されている規格が含まれる。代替的には、少なくとも１つのリモート装置は、ＵＳＢ又はそれと等化なものを介して制御電子部品と有線接続されている。
【0295】
１つの実施形態では、少なくとも１つのプロセッサはマイクロコントローラである。マイクロコントローラは次のもの：トランシーバ、BLUETOOTHモジュール、WI-FIモジュール、マイクロプロセッサ、超低電力コプロセッサ、ＲＯＭ、ＲＡＭ（例えば、ＳＲＡＭ）、フラッシュメモリ、電力マネジメントユニット、及び／又はＤ／Ａ（digital-to-analog）コンバータを含む。
【0296】
好適な実施形態では、ヘッドセットは少なくとも１つのセンサを含む。少なくとも１つのセンサについて制限を伴わずに例示すれば次のもの：少なくとも１つのジャイロスコープ、少なくとも１つの加速度計、少なくとも１つの磁力計、及び／又は少なくとも１つのアイトラッカーが含まれる。少なくとも１つのセンサは好適には少なくとも１つのプロセッサに接続されている。少なくとも１つのプロセッサは、運動（例えば、ユーザの頭部、ユーザの眼球）を追跡及びプロットするように動作可能であり、制限を伴わずに例示すれば、少なくとも１つの撮像装置のそれとは異なるＸＹＺ平面にてこれをなし得る。１つの実施形態では、ヘッドセットは中心窩適応レンダリングをもたらすように動作可能である。代替的には、ヘッドセットは固定型中心窩適応レンダリングをもたらすように動作可能である。
【0297】
さらなる別の実施形態では、ＡＲ／ＶＲシステムは装着者の音声入力データを受信するように動作可能である。ＡＲ／ＶＲシステムは、装着者の音声を受信及び記録するように動作可能なマイクロフォンを含む。ヘッドセットは装着者の発言に基づいてディスプレイを変化させるようにさらに動作可能である。制限を伴わずに例示すれば、ＡＲ／ＶＲシステムは、「ＶＲゲームを開始せよ」との発話を装着者から受信してＶＲゲームを起動するように構成されている。ヘッドセットは、少なくとも１つのリモート装置と（携帯電話又はタブレットを含むがこれらには限られない）好適には無線で通信するように動作可能である。携帯電話は、（１）モバイルアプリを実行可能であり、また、（２）ヘッドセットと通信可能な任意の携帯電話とされるように動作可能である。携帯電話には例えば次のものが含まれる：ANDROID(登録商標)系端末、APPLE社（登録商標）のIPHONE（登録商標）、又はSAMSUNG（登録商標）社のGALAXY（登録商標）端末。同様に、タブレットは、１）モバイルアプリを実行可能であり、また、（２）ヘッドセットと通信可能な任意のタブレットとされるように動作可能である。タブレットには例えば次のもの：APPLE社のIPAD（登録商標）の３Ｇ又は４Ｇ版又はSamsung Galaxy Tab S6の５Ｇ版が含まれる。
【0298】
さらに、ＡＲ／ＶＲシステムでは、リモート装置はセルラネットワーク及び／又はネットワークと通信状態にある。ネットワークは、ＬＡＮやＷＡＮ等のインターネットへの有線又は無線接続をもたらすための任意のネットワークとされるように動作可能である。
【0299】
１つの実施形態では、ＡＲ／ＶＲモバイルアプリ（AR/VR mobile application）はリモート装置にてインストール及び実行されている。ＡＲ／ＶＲシステムモバイルアプリ（AR/VR system mobile application）はそれが実行されているリモート装置のタイプ（即ち、オペレーティングシステム）に応じて実装される。ＡＲ／ＶＲシステムモバイルアプリは、装着者情報をヘッドセットから受信するように設計されている。１つの実施形態では、ＡＲ／ＶＲモバイルアプリは、グラフィカル、可聴、及び／又は触覚的フィードバックを装着者にもたらすように動作可能である。１つの実施形態では、ＡＲ／ＶＲシステムは装着者の以前のＡＲ／ＶＲ環境及び／又は応答に基づいてパーソナライズされたプロファイルを形成するように構成されている。パーソナライゼーションについての詳細は、米国仮特許出願第63/309,273号に含まれており、これは参照によって全体が取り込まれる。
【0300】
１つの実施形態では、ヘッドセットは約２２０°のビューイングをもたらすように動作可能である。他の範囲も本発明と互換性を有する。人間の色覚は中央視野にて一般的に最良であり、周縁部に向かうにつれて（例えば、近周縁部、中間周縁部、及び遠周縁部）劣化する。フルカラーな視覚は、視線から３０度位にまで広がる。人間の色知覚が低下する視野角は色の周波数に依る。赤及び緑についての視力は３０度～４０度で低下し、次に黄色が低下し、最後に青が約７０度で低下する。これらの限界は、被験者の周辺視野にて白色の又は着色された灯りを点灯又は消灯させることによって実験的に決定される。例えば、４０度では、対象者は白色光を青色又は黄色の光から判別できるも、赤又は緑に関しては判別できない。例えば、(1) Tilley, A. R., & Henry Dreyfuss Associates (Eds.). (2002). The measure of man and woman: Human factors in design (Rev. ed). Wiley及び(2) Hansen, T., Pracejus, L. and Gegenfurtner, K R. Color perception in the intermediate periphery of the visual field. Journal of Vision 9(4):26, (2009), 1-12を参照されたいのであり、これらの各々は参照によって全体が取り込まれる。
【0301】
視線からの最大の眼球の左右への回転量は３５度であるが、何かを見るためにそこまで眼球が動くのは希であり、むしろ頭部が眼球と共に約５～１０度動く。近接したディスプレイについては、ディスプレイとの関係での距離及び角度の変動による問題が導入される。具体的には、周縁部において見えていた物体が、対象者がその方向を見ると消えるよう動作し得るのであり、これは現実世界では起きないことである。例えば、McDowall, Ian. (2014). Head mounted display engineering: human factors to optical design. SIGGRAPH 2014 (Vancouver)も参照されたいのであり、該文献は参照によって全体が取り込まれる。有利なことに、眼球近接ディスプレイ及び／又はヘッドセットは、上述の過飽和カラーシステムを用いて帯域を節約し並びにレイテンシを削減するように動作可能である。１つの実施形態では、過飽和カラーシステムは、対象者の見ている所の３０度以内にて用いられる。制限を伴わずに例示すれば、軸から７０度以上ずれた分については、ディスプレイはモノクロームで動作可能である。さらに、人間の周辺視野は動き及びフリッカーに関しては格段に敏感である一方中心視野はそれ程ではない。１つの実施形態では、ヘッドセットは視線の３０～３５度を包括する多原色ディスプレイである。
【0302】
ＡＲ／ＶＲシステムは複数の学習手法を活用するように動作可能であり、次の手法：機械学習（ＭＬ）、人工知能（ＡＩ）、深層学習（ＤＬ）、ニューラルネットワーク（ＮＮ）、人口ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）、マルコフ決定プロセス（ＭＤＰ）、及び／又は自然言語処理（ＮＬＰ）が含まれるがこれらには限られない。ＡＲ／ＶＲシステムは、先述の任意の学習手法を単独で又は組み合わせて用いるように動作可能である。
【0303】
さらに、ＡＲ／ＶＲシステムは、予測的アナリティクスを活用するように動作可能であり、次のもの：機械学習（ＭＬ）、人工知能（ＡＩ）、ニューラルネットワーク（ＮＮ）（例えば、長短期メモリ（ＬＳＴＭ）ニューラルネットワーク）、深層学習（ＤＬ）、履歴データ、並びに／又は、将来の予測及び／若しくはモデルを作るためのデータマイニングが含まれるがこれらには限られない。好適には、ＡＲ／ＶＲシステムは、履歴データ、外部データ源、ＭＬ、ＡＩ、ＮＮ、及び／又は他の学習手法に基づいてアクションを推奨及び／又は遂行するように動作可能である。ＡＲ／ＶＲシステムは、予測モデリング及び／又は最適化アルゴリズムを活用するように動作可能であり、次のもの：ヒューリスティックアルゴリズム、粒子群（particle swarm）最適化、遺伝的アルゴリズム、テクニカル アナリシス デスクリプタ、組合せ論的アルゴリズム、量子最適化アルゴリズム、反復的方法、深層学習手法、及び／又はフィーチャ選択手法が含まれるがこれらには限られない。
【0304】
図４５は、コンピュータシステムとして表される本発明の実施形態についての概略図であり、これは一般的には８００として付番されており、これはネットワーク８１０と、複数のコンピューティング装置８２０，８３０，８４０と、サーバ８５０と、データベース８７０とを有する。
【0305】
サーバ８５０は、複数のコンピューティング装置８２０，８３０，８４０とネットワーク８１０上での通信を可能とするように構築、構成、及び結合されている。サーバ８５０は、オペレーティングシステム８５２を伴う処理ユニット８５１を含む。オペレーティングシステム８５２は、サーバ８５０がネットワーク８１０を介してリモートであり分散型のユーザ装置と通信することを可能とする。データベース８７０は、オペレーティングシステム８７２と、メモリ８７４と、プログラム８７６とを収めていることができる。
【0306】
発明の１つの実施形態では、システム８００は、無線通信アンテナ８１２を介した分散型通信及び少なくとも１つのモバイル通信コンピューティング装置８３０による処理のための、ネットワーク８１０を含む。代替的には、無線及び有線通信並びに装置及びコンポーネント間での接続性は次のもの：WI-FIやWIMAX等を含む無線ネットワーク通信、RFIDやNFC等を含む無線周波数（RF）通信、BLEを含むBLUETOOTH、ZIGBEE、赤外線通信（IR）、セルラー通信、衛星通信、USB、イーサネット、光ファイバや同軸ケーブルやツイステッドペアケーブルを介した通信、並びに／又は任意の他のタイプの無線又は有線通信を含み得る。発明の別の実施形態では、システム８００は、提示されたソフトウェア及び／又はアプリケーションコンポーネントの任意の態様又はその全部をコンピューティング装置８２０，８３０，８４０上にて実行できる仮想化コンピューティングシステムである。特定の観点では、コンピュータシステム８００は、ハードウェア又はソフトウェアとハードウェアとの組合せを用いて実装でき、専用のコンピューティング装置として或いは別のエンティティ内へと統合して或いは複数のエンティティ若しくはコンピューティング装置に亘って分散して実装できる。
【0307】
制限を伴わずに例示すれば、コンピューティング装置８２０，８３０，８４０は少なくともプロセッサとメモリとを含む様々な形式の電子装置を表すものとして意図されており次のもの：サーバ、ブレードサーバ、メインフレーム、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、ワークステーション、ラップトップ機、及び他の類似のコンピューティング装置が含まれる。ここにて示したコンポーネント、それらの接続及び関係性、並びにそれらの機能は、例示的に過ぎず、本開示にて説明及び／又は権利請求された発明の実施形態を限定することは意図されていない。
【0308】
１つの実施形態では、コンピューティング装置８２０は、プロセッサ８６０、ＲＡＭ８６４及びＲＯＭ８６６を有するシステムメモリ８６２、並びにメモリ８６２をプロセッサ８６０に結合するシステムバス８６８等のコンポーネントを含む（includes）。別の実施形態では、コンピューティング装置８３０は、オペレーティングシステム８９２及び１つ以上のアプリケーションプログラム８９４を記憶するための記憶装置８９０、ネットワークインタフェースユニット８９６、及び／又は入出力コントローラ８９８等のコンポーネントを追加的に含み得る（may additionally include）。コンポーネントの各々は、少なくとも１つのバス８６８を介して相互に結合されていることができる。入出力コントローラ８９８は、幾つかの他の装置８９９（次のものが含まれるがこれらには限られない：アルファニューメリック型入力装置、マウス、電子スタイラス、ディスプレイユニット、タッチスクリーン、信号生成装置（例えば、スピーカ）又はプリンタ）からの入力を受信及び処理し、或いはそれらへの出力を提供することができる。
【0309】
制限を伴わずに例示すれば、プロセッサ８６０は次のもの：汎用マイクロプロセッサ（例えば、中央処理ユニット（ＣＰＵ））、グラフィクス処理ユニット（ＧＰＵ）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、コントローラ、状態マシン、ゲート又はトランジスタのロジック、個別ハードウェアコンポーネント、又は計算の遂行、実行のための命令の処理、及び／若しくは情報についての他の操作をなし得る任意の他の適切なエンティティ又はそれらの組合せとし得る。
【0310】
図４５にて８４０として付番されている別の実装例では、複数のプロセッサ８６０及び／又は複数のバス８６８を複数のタイプの複数のメモリ８６２と共に適宜用いることができる（例えば、ＤＳＰ及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、１つ以上のマイクロプロセッサと合わせられたＤＳＰコア）。
【0311】
また、複数のコンピューティング装置を接続し、各装置が必要な動作の一部を提供するものとし得る（例えば、サーババンクやブレードサーバ群やマルチプロセッサシステムとして）。代替的には、一部のステップ又は方法は所与の機能において固有な回路によってなされ得る。
【0312】
様々な実施形態によれば、コンピュータシステム８００は、ネットワーク８１０を介したローカル及び／又はリモートコンピューティング装置８２０，８３０，８４０への論理接続を用いるネットワーク環境にて動作できる。コンピューティング装置８３０は、バス８６８に接続されたネットワークインタフェースユニット８９６を介してネットワーク８１０に接続できる。コンピューティング装置は通信媒体にて通信できるのであり、有線ネットワークや直接結線接続や無線（例えば、音響、ＲＦ又はＩＲ）を介してこれをなし得るのであり、ネットワークアンテナ８１２とネットワークインタフェースユニット８９６と通信可能なアンテナ８９７を介してこれを内するのであり、これにはＤＳＰ回路が適宜含まれ得る。ネットワークインタフェースユニット８９６は様々なモード又はプロトコル下での通信を提供し得る。
【0313】
１つ以上の例示的な態様では、命令はハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せにて実装され得る。コンピュータ可読媒体は、１つ以上の命令セット（オペレーティングシステム、データ構造、プログラムモジュール、アプリケーション、又は説明された方法論又は機能の１つ以上の任意のものを化体する他のデータ等）のための揮発性又は不揮発性ストレージを提供できる。コンピュータ可読媒体は、メモリ８６２、プロセッサ８６０、及び／又は記憶媒体８９０を含み得るのであり、また、１つ以上の命令セット９００を記憶する単一の媒体又は複数の媒体とされ得る（例えば、中央集約型又は分散型コンピュータシステム）。非一時的コンピュータ可読媒体は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝播中の信号それ自体である。命令９００は、ネットワーク８１０上をネットワークインタフェースユニット８９６を介して通信媒体としてさらに送受信され得るのであって、これには搬送波や他のトランスポート原理等の変調データ信号を含み得るのであり、また、任意の搬送媒体を含む。「変調データ信号」との用語は、信号の特性の１つ以上を変更又は特定の態様で設定されて情報が信号内にエンコードされた信号をいう。
【0314】
記憶装置８９０及びメモリ８６２には次のもの：キャッシュ、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨメモリ又は他の固体相メモリテクノロジ等の揮発性及び不揮発性媒体；ディスク（例えば、ＤＶＤ、ＨＤ－ＤＶＤ、ＢＬＵ－ＲＡＹ、ＣＤ、又はＣＤ－ＲＯＭ）又は他の光学ストレージ；磁気カセット、磁気テープ、磁気ディスクストレージ、フロッピーディスク（登録商標）、又は他の磁気ストレージ装置；コンピュータ可読命令を記憶するのに使えて且つコンピュータシステム８００によってアクセス可能な任意の他の媒体が含まれるがこれらには限られない。
【0315】
１つの実施形態では、コンピュータシステム８００はクラウドベースドネットワーク内にある。１つの実施形態では、サーバ８５０は分散型コンピューティング装置８２０，８３０，８４０のための指定物理サーバである。１つの実施形態では、サーバ８５０はクラウドベースドサーバプラットフォームである。１つの実施形態では、クラウドベースドサーバプラットフォームは分散型コンピューティング装置８２０，８３０，８４０のためにサーバレス機能をホスティングしている。
【0316】
別の実施形態では、コンピュータシステム８００はエッジコンピューティングネットワーク内にある。サーバ８５０はエッジサーバであり、また、データベース８７０はエッジデータベースである。エッジサーバ８５０及びエッジデータベース８７０は、エッジコンピューティングプラットフォームの一部である。１つの実施形態では、エッジサーバ８５０及びエッジデータベース８７０は、分散型コンピューティング装置８２０，８３０，８４０用に指定されている。１つの実施形態では、エッジサーバ８５０及びエッジデータベース８７０は、分散型コンピューティング装置８２０，８３０，８４０用には指定されていない。分散型コンピューティング装置８２０，８３０，８４０は、近接度、利用可能性、レイテンシ、帯域、及び／又は他の要素に基づいてエッジコンピューティングネットワーク内のエッジサーバに接続される。
【0317】
コンピュータシステム８００は、図４５に示されているコンポーネントの全てを含まないことがあり、図４５に明示的に示されていない他のコンポーネントを含み得るのであり、又は図４５に示されているのとは全く異なるアーキテクチャを活用し得ることも想定されている。先述の実施形態との関連で説明された様々な例示的な論理ブロック、モジュール、素子、回路、及びアルゴリズムは、電子的ハードウェア、コンピュータソフトウェア、又はこれら両方の組合せとして実装され得る。ハードウェア及びソフトウェアの交換可能性について明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップについてそれらの機能との関係で一般的に上記にて説明してある。このような機能がハードウェア又はソフトウェアとして実装されるかは、全体的システムに課される具体的なアプリケーション的及び設計的な制約に依る。当業者ならば、各々の具体的なアプリケーションに関して既述の機能を異なる態様で実装できるが（例えば、異なる順序で並べられる又は異なる態様で配置されること）、そのような実装時の決定は本発明の範囲からの逸脱を生じさせるものとして解されてはならない。
【0318】
上述の例は発明の諸態様について明確化するという目的のために提供されており、当業者ならばこれらが発明の範囲を限定するためのものではないということを理解できよう。その性質故に、本発明は高度に調整可能であり、高度にカスタマイズ可能であり、また、高度に適合可能である。上述の例は、述べられたコンポーネントがとり得る多数の構成の幾つかに過ぎない。簡潔性及び可読性担保のためにあらゆる変更及び改良については割愛しているが、本発明の範囲内にこれらは適式に包摂される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28A】
【図28B】
【図29A】
【図29B】
【図30A】
【図30B】
【図31】
【図32】
【図33】
【図34】
【図35A】
【図35B】
【図35C】
【図36A】
【図36B】
【図37A】
【図37B】
【図38A】
【図38B】
【図39】
【図40A】
【図40B】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52A】
【図52B】
【図53A】
【図53B】
【国際調査報告】