特許第5883949号(P5883949)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特許5883949画像取込デバイス処理のためのスペクトル合成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5883949
(24)【登録日】2016年2月12日
(45)【発行日】2016年3月15日
(54)【発明の名称】画像取込デバイス処理のためのスペクトル合成
(51)【国際特許分類】
   H04N 1/46 20060101AFI20160301BHJP
   H04N 1/60 20060101ALI20160301BHJP
   G06T 1/00 20060101ALI20160301BHJP
【FI】
   H04N1/46 Z
   H04N1/40 D
   G06T1/00 510
【請求項の数】13
【全頁数】36
(21)【出願番号】特願2014-550371(P2014-550371)
(86)(22)【出願日】2012年12月20日
(65)【公表番号】特表2015-507413(P2015-507413A)
(43)【公表日】2015年3月5日
(86)【国際出願番号】US2012070837
(87)【国際公開番号】WO2013101639
(87)【国際公開日】20130704
【審査請求日】2015年12月7日
(31)【優先権主張番号】61/581,051
(32)【優先日】2011年12月28日
(33)【優先権主張国】US
(31)【優先権主張番号】61/581,048
(32)【優先日】2011年12月28日
(33)【優先権主張国】US
(31)【優先権主張番号】61/733,551
(32)【優先日】2012年12月5日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ギッシュ,ウォルター
(72)【発明者】
【氏名】ルホフ,デイヴィッド
(72)【発明者】
【氏名】マクエルヴァイン,ジョン エス
【審査官】 豊田 好一
(56)【参考文献】
【文献】 特開平11−96333(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/46−62
G06T 1/00
H04N 1/40
(57)【特許請求の範囲】
【請求項1】
複数の画像取込デバイス・センサ出力実質的に矩形のスペクトル表現を合成する方法であって、前記複数の画像取込デバイス・センサ出力は、画像の入力スペクトルが画像取込デバイスの対応する複数の画像取込デバイス・スペクトル感度適用されたことの結果である、方法において、
前記複数の画像取込デバイス・センサ出力を提供するステップと、
前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現の第1波長および第2波長を判定するステップであって、前記画像取込デバイス・センサ出力のうちの2つを前記画像取込デバイス・センサ出力のすべての合計によって除算するステップと、除算する前記ステップの結果をマッピングする2次元ルックアップ・テーブルを使用して、前記第1波長および前記第2波長を判定するステップとを含む、ステップと、
前記画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算して、前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現を合成するステップとを含み、前記スケール・ファクタを計算する前記ステップは、前記実質的に矩形のスペクトル表現の前記第1波長および前記第2波長によって定義される区間にわたって画像取込デバイス・スペクトル感度の周回積分を実行するステップであって、前記画像取込デバイス・スペクトル感度は、前記複数の画像取込デバイス・センサ出力の中からの対応する画像取込デバイス・センサ出力に関連する、ステップと、前記関連する対応する画像取込デバイス・センサ出力を前記周回積分の結果によって除算して、前記スケール・ファクタを計算するステップとを含み、
前記合成された実質的に矩形のスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合され、
前記第1波長は、前記実質的に矩形のスペクトル表現が0から前記スケール・ファクタに遷移する波長を含み、前記第2波長は、前記実質的に矩形のスペクトル表現が前記スケール・ファクタから0に遷移する波長を含む
方法。
【請求項2】
前記複数の画像取込デバイス・センサ出力は、負を含むことができる、請求項1に記載の方法。
【請求項3】
複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成する方法であって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれた画像の入力スペクトルの結果である、方法において、
前記出力色空間に関連する等色関数を提供するステップと、
前記複数の画像取込デバイス・センサ出力を提供するステップと、
請求項1からのいずれか1項に記載の前記方法を実行することによって実質的に矩形のスペクトル表現を生成するステップを含む、前記複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するステップであって、前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に、前記複数の画像取込デバイス・センサ出力を生成するように適合される、ステップと、
前記合成されたスペクトル表現を前記等色関数に適用して、前記出力色値を入手するステップと
を含む、方法。
【請求項4】
前記合成されたスペクトル表現を適用する前記ステップは、
前記合成されたスペクトル表現の前記第1波長および前記第2波長によって定義される区間にわたって前記等色関数の周回積分を実行するステップと、
記周回積分の結果を前記スケール・ファクタによって乗算して、前記出力色値を入手するステップと
を含む、請求項に記載の方法。
【請求項5】
複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成するように構成されたシステムであって、前記複数の画像取込デバイス・センサ出力は、画像の入力スペクトルが画像取込デバイスの対応する複数の画像取込デバイス・スペクトル感度に適用されたことの結果である、システムにおいて、
前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現の第1波長および第2波長を判定するように構成された波長判定モジュールであって、前記画像取込デバイス・センサ出力のうちの2つを前記画像取込デバイス・センサ出力のすべての合計によって除算するように構成された除算モジュールと、前記除算モジュールの出力をマッピングして、前記第1波長および前記第2波長を判定するように構成された2次元ルックアップ・テーブルとを含む、波長判定モジュールと、
前記画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算するように構成されたスケール・ファクタ計算モジュールとを含み、前記スケール・ファクタ計算モジュールは、前記実質的に矩形のスペクトル表現の前記第1波長および前記第2波長によって定義される区間にわたって画像取込デバイス・スペクトル感度の周回積分を実行するように構成された周回積分モジュールであって、前記画像取込デバイス・スペクトル感度は、前記複数の画像取込デバイス・センサ出力の中からの対応する画像取込デバイス・センサ出力に関連する、周回積分モジュールと、前記関連する対応する画像取込デバイス・センサ出力を前記周回積分モジュールの出力によって除算して、前記スケール・ファクタを計算するように構成された除算モジュールとを含み、
前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合され、
前記第1波長は、前記実質的に矩形のスペクトル表現が0から前記スケール・ファクタに遷移する波長を含み、前記第2波長は、前記実質的に矩形のスペクトル表現が前記スケール・ファクタから0に遷移する波長を含む
システム。
【請求項6】
前記複数の画像取込デバイス・センサ出力は、負の値を含むことができる、請求項に記載のシステム。
【請求項7】
複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成するように構成されたシステムであって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果であり、前記出力色空間は、等色関数に関連する、システムにおいて、
請求項5から6のいずれか1項に記載の前記システムを含む、前記複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するように構成されたスペクトル合成モジュールであって、前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に、前記複数の画像取込デバイス・センサ出力を生成するように適合される、スペクトル合成モジュールと、
記合成されたスペクトル表現を前記等色関数に適用して、前記出力色値を生成するように構成されたスペクトル適用モジュールと
を含む、システム。
【請求項8】
前記スペクトル適用モジュールは、
前記合成されたスペクトル表現の前記第1波長および前記第2波長によって定義される区間にわたって前記等色関数の周回積分を実行するように構成された周回積分モジュールと、
記周回積分モジュールの出力を前記スケール・ファクタによって乗算して、前記出力色値を入手するように構成された乗算モジュールと
を含む、請求項に記載のシステム。
【請求項9】
コンピュータに請求項1からのうちの1つまたは複数に記載の前記方法を実行させる命令のセットを含むコンピュータ可読媒体。
【請求項10】
画像取込デバイス・センサ出力に応答して出力色空間の色出力信号を生成するスペクトル合成モジュールであって、前記出力色空間は、等色関数に関連し
画像取込デバイス・センサ出力を受け取る入力モジュールであって、前記画像取込デバイス・センサ出力は、画像の入力スペクトルが画像取込デバイスの対応する画像取込デバイス・スペクトル感度に適用された結果である、入力モジュールと、
前記画像取込デバイス・センサ出力のうちの2つを第1スケール・ファクタによって除算する処理モジュールであって、前記第1スケール・ファクタは、前記画像取込デバイス・センサ出力のすべての合計を含む、処理モジュールと、
前記除算の結果をマッピングして第1波長および第2波長を判定する第1の2次元ルックアップ・テーブルであって、前記第1波長は、実質的に矩形のスペクトル表現が0から第2スケール・ファクタに遷移する波長を含み、前記第2波長は、前記実質的に矩形のスペクトル表現が第2スケール・ファクタ値から0に遷移する波長を含み、前記第2スケール・ファクタは、前記画像取込デバイスの前記画像取込デバイス・スペクトル感度の合計の、前記第1波長および前記第2波長によって定義される区間にわたる周回積分によって除算された前記第1スケール・ファクタの比を含む、第1の2次元ルックアップ・テーブルと、
前記第1波長および前記第2波長を色出力信号の第1セットにマッピングする第2の2次元ルックアップ・テーブルであって、前記等色関数のうちの1つに関連する色出力信号の前記第1セットの色出力信号は、前記関連する等色関数の前記第1波長および前記第2波長によって定義される前記区間にわたる周回積分と、前記画像取込デバイスの前記画像取込デバイス・スペクトル感度の前記合計の前記第1波長および前記第2波長によって定義される前記区間にわたる前記周回積分との比から生じる、第2の2次元ルックアップ・テーブルと、
色出力信号の前記第1セットに前記第1スケール・ファクタを乗算して色出力信号の第2セットを出力する乗算器と
を含む、スペクトル合成モジュール。
【請求項11】
前記第1の2次元ルックアップ・テーブルおよび前記第2の2次元ルックアップ・テーブルは、第3の2次元ルックアップ・テーブルに組み合わされ、前記第3の2次元ルックアップ・テーブルは、前記除算の前記結果をマッピングして、色出力信号の前記第1セットを判定する、請求項10に記載のスペクトル合成モジュール。
【請求項12】
前記第3の2次元ルックアップ・テーブルの値は、最適合致法に応答して判定され、前記最適合致法は、前記第3の2次元ルックアップ・テーブルの出力と色出力信号のテスト・セットとの間の距離を距離判断基準に従って最小にする、請求項11に記載のスペクトル合成モジュール。
【請求項13】
前記距離判断基準は、二乗平均誤差判断基準である、請求項12に記載のスペクトル合成モジュール。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像取込デバイスの色処理に関する。より具体的には、本発明の実施形態は、画像取込デバイスからの正確な色出力を達成する処理方法に関する。
【背景技術】
【0002】
本明細書で使用される句「スペクトル合成」および「画像取込デバイス処理のためのスペクトル合成」は、たとえば画像取込デバイスからの、正確な色出力を達成するために実行しまたは計算することのできる処理方法に関するものとすることができる。RGB(赤、緑、青)などの三刺激色処理モデルは、ありふれたものである。RGBおよび他の三刺激モデルは、色の識別、照合、および分類には十分であるが、そのようなモデルは、色処理に関して本質的に制限される可能性がある。その性質によって、光は、電磁エネルギーのスペクトルを含み、このスペクトルは、一般に、たとえば赤、緑、および青の色値によって完全には表現することができない。RGBベースの情報ならびに短波長、中波長、および長波長の光(たとえば、青、緑、および赤)を受容する錐体細胞に対応する三刺激値を用いて、人間視覚システム(HVS)は、元々の自然の刺激を推論することを試みる。
【0003】
マルチスペクトル・システムは、通常、マルチスペクトル画像を取り込み、処理し、表示する。たとえば、マルチスペクトル・カメラは、4つ以上のチャネルを出力することができる。出力チャネルを、多原色プリンタまたは多原色ディスプレイを用いてレンダリングすることができる。一部のマルチスペクトル・システムは、オリジナル物体の反射率スペクトルとほぼ同一の反射スペクトルを有する印刷出力をレンダリングするように設計されている。画像のマルチスペクトル表現は、一般に、2つのクラスに分類される。より一般的なクラスは、波長のより小さいインターバルにわたって強度または反射率を測定し、これは、一般に、4つ以上のチャネルの使用を必要とする(たとえば、R、G、およびBより多くのチャネル)(参照によってその全体が本明細書に組み込まれている参考文献[1]を参照されたい)。より一般的でないクラスは、ウィスゼツキ(Wyszecki)仮説(参照によってその全体が本明細書に組み込まれている参考文献[2]を参照されたい)を使用し、この仮説は、2つの構成要素すなわち、知覚的に関連する三刺激表現を取り込む基本構成要素および反射スペクトル全体の全体的な特徴を表す残差構成要素からなるものとして反射スペクトルの特徴を表す。ウィスゼツキは、この残差構成要素をメタメリック・ブラックと名付けた。この第2のクラスの例が、LabPQR色空間である。LabPQR表現では、三刺激部分はLab色空間であり、PQRは残差を表す。電子ディスプレイを使用する画像の放射レンダリングおよびプレゼンテーションについて、反射スペクトル・アイデンティティは、さほど重要ではない。
【0004】
カメラまたは他の画像取込デバイスによって生成される絵は、一般に、人間の目によって知覚されるものと完全に同一ではない。
【0005】
画像取込デバイスの内部の処理は、一般に、センサ出力を出力画像の色空間に変換する3x3行列を用いる。この行列変換を適用した結果は、画像取込デバイスのセンサのスペクトル感度を等色関数の線形組合せとして表すことができない限り、一般に、人間の目によって知覚されるはずのものを再現しない。多くの場合に、結果でのこれらの誤差の大きさは、取るに足らないものではない。
【0006】
たとえば、既存のDSLR(ディジタル一眼レフ)カメラは、異なるタイプのシーン(たとえば、夜間、スポーツ、曇り、ポートレートなど)のために異なる3x3行列を選択するノブを有する場合がある。しかし、実際には、一般に正しい色を得ること、およびたとえば顔(皮膚)の色調などのある種の記憶色について正しい色を得ることは、問題を含む可能性がある。
【0007】
本明細書に組み込まれ、その一部を構成する添付図面は、本開示の1つまたは複数の実施形態を示し、例示的な実施形態の説明と一緒に、本開示の原理および実施態様を説明するように働く。
【0008】
関連出願の相互参照
本願は、すべて参照によってその全体が本明細書に組み込まれている、2011年12月28日に出願した米国特許仮出願第61/581051号、2011年12月28日に出願した米国特許仮出願第61/581048号、および2012年12月5日に出願した米国特許仮出願第61/733551号に対する優先権の利益を主張するものである。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】wikipedia.org/wiki/Multispectral_image
【非特許文献2】Wyszecki,G.およびStiles,W.S.、Color Science:Concepts and Methods,Quantitative Data and Formulae、Wiley−Interscience、2002年、187〜188頁
【非特許文献3】M.Parmar他、「A Database of High Dynamic Range Visible and Near−infrared Multispectral Images」、Proc.IS&T/SPIE Electronic Imaging 2008:Digital Photography IV
【非特許文献4】wikipedia.org/wiki/CIE_1931_color_space
【非特許文献5】MacAdam,David L.、「The Theory of the Maximum Visual Efficiency of Color Materials」、J.Optical Soc.Am.、Vol.25、249〜252頁、1935年
【非特許文献6】「Color Image Processing Pipeline. A General Survey of Digital Still Camera Processing」、IEEE Signal Processing Magazine、vol.22、no.1、34〜43頁、2005年
【非特許文献7】wikipedia.org/wiki/Bayer_filter
【非特許文献8】wikipedia.org/wiki/White_balance
【非特許文献9】Logvinenko,Alexander D.、「An Object Color Space」、J.Vision.9(11):5、1〜23頁、2009年
【発明の概要】
【課題を解決するための手段】
【0010】
一態様によると、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成する方法であって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果である、方法は、
前記複数の画像取込デバイス・センサ出力を提供するステップであって、各画像取込デバイス・センサ出力は、対応する画像取込デバイス・スペクトル感度に関連する、ステップと、
前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現の第1波長および第2波長を判定するステップと、
前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現を合成するために、前記画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算するステップと
を含み、
前記合成された実質的に矩形のスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合され、
前記第1波長は、前記実質的に矩形のスペクトル表現が0から前記スケール・ファクタに遷移する波長を含み、前記第2波長は、前記実質的に矩形のスペクトル表現が前記スケール・ファクタから0に遷移する波長を含む。
他の一態様によると、複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成する方法であって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれた画像の入力スペクトルの結果である、方法は、
前記出力色空間に関連する等色関数を提供するステップと、
前記複数の画像取込デバイス・センサ出力を提供するステップと、
前記複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するステップであって、前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合される、ステップと、
前記出力色値を入手するために、前記合成されたスペクトル表現を前記等色関数に適用するステップと
を含む。
他の一態様によると、画像取込デバイスの色域を判定する方法は、
前記画像取込デバイスへの立方体の露出をシミュレートするステップであって、
前記立方体は、3次元の特徴がある実質的に矩形のスペクトルの矩形空間内の表現を含み、第1次元は、第1波長の可能な値にまたがり、第2次元は、第2波長の可能な値にまたがり、第3次元は、スケール・ファクタの可能な値にまたがり、
前記立方体内の各点は、入力の実質的に矩形のスペクトルに対応し、
各入力の実質的に矩形のスペクトルは、入力スケール・ファクタ、入力第1波長、および入力第2波長の特徴があり、前記入力第1波長は、前記入力スペクトルが0から前記入力スケール・ファクタに遷移する波長を含み、前記入力第2波長は、前記入力スペクトルが前記入力スケール・ファクタから0に遷移する波長を含む
ステップと、
出力スケール・ファクタ、出力第1波長、および出力第2波長の特徴がある出力スペクトル表現を合成するステップであって、前記出力第1波長は、前記出力スペクトル表現が0から前記出力スケール・ファクタに遷移する波長を含み、前記出力第2波長は、前記出力スペクトル表現が前記出力スケール・ファクタから0に遷移する波長を含む、ステップと、
前記立方体によって表される前記実質的に矩形のスペクトルの中から、
前記出力スケール・ファクタが前記入力スケール・ファクタと等しく、
前記出力第1波長が前記入力第1波長と等しく、
前記出力第2波長が前記入力第2波長と等しい
実質的に矩形のスペクトルのセットを判定するステップであって、実質的に矩形のスペクトルの前記判定されたセットは、前記画像取込デバイスの前記色域を構成する、ステップと
を含む。
他の一態様によると、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成するように構成されたシステムであって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果であり、各複数の画像取込デバイス・センサ出力は、対応する画像取込デバイス・スペクトル感度に関連する、システムは、
前記複数の画像取込デバイス・センサ出力に基づいて前記実質的に矩形のスペクトル表現の第1波長および第2波長を判定するように構成された波長判定モジュールと、
前記画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算するように構成されたスケール・ファクタ計算モジュールと
を含み、
前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合され、
前記第1波長は、前記実質的に矩形のスペクトル表現が0から前記スケール・ファクタに遷移する波長を含み、前記第2波長は、前記実質的に矩形のスペクトル表現が前記スケール・ファクタから0に遷移する波長を含む。
他の一態様によると、複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成するように構成されたシステムであって、前記複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果であり、前記出力色空間は、等色関数に関連する、システムは、
前記複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するように構成されたスペクトル合成モジュールであって、前記合成されたスペクトル表現は、前記画像取込デバイスに適用された場合に前記複数の画像取込デバイス・センサ出力を生成するように適合される、スペクトル合成モジュールと、
前記出力色値を生成するために、前記合成されたスペクトル表現を前記等色関数に適用するように構成されたスペクトル適用モジュールと
を含む。
他の一態様によると、画像取込デバイスの色域を判定するシステムは、
前記画像取込デバイスへの立方体の露出をシミュレートするように構成された露出シミュレーション・モジュールであって、
前記立方体は、3次元の特徴がある実質的に矩形のスペクトルの矩形空間内の表現を含み、第1次元は、第1波長の可能な値にまたがり、第2次元は、第2波長の可能な値にまたがり、第3次元は、スケール・ファクタの可能な値にまたがり、
前記立方体内の各点は、入力の実質的に矩形のスペクトルに対応し、
各入力の実質的に矩形のスペクトルは、入力スケール・ファクタ、入力第1波長、および入力第2波長の特徴があり、前記入力第1波長は、前記入力スペクトルが0から前記入力スケール・ファクタに遷移する波長を含み、前記入力第2波長は、前記入力スペクトルが前記入力スケール・ファクタから0に遷移する波長を含む
露出シミュレーション・モジュールと、
出力スペクトル表現を合成するように構成されたスペクトル合成モジュールであって、前記出力スペクトル表現は、出力スケール・ファクタ、出力第1波長、および出力第2波長の特徴があり、前記出力第1波長は、前記出力スペクトル表現が0から前記出力スケール・ファクタに遷移する波長を含み、前記出力第2波長は、前記出力スペクトル表現が前記出力スケール・ファクタから0に遷移する波長を含む、スペクトル合成モジュールと、
前記立方体によって表される前記実質的に矩形のスペクトルの中から、
前記出力スケール・ファクタが前記入力スケール・ファクタと等しく、
前記出力第1波長が前記入力第1波長と等しく、
前記出力第2波長が前記入力第2波長と等しい
実質的に矩形のスペクトルのセットを判定するように構成された比較モジュールであって、実質的に矩形のスペクトルの前記判定されたセットは、前記画像取込デバイスの前記色域を構成する、比較モジュールと
を含む。
他の一態様によると、画像取込デバイス・センサ出力に応答して色出力信号を生成するスペクトル合成モジュールは、
画像取込デバイス・センサ出力を受け取る入力モジュール(1515A)と、
前記画像取込デバイス・センサ出力のうちの2つを第1スケール・ファクタ(Σ)によって除算する処理モジュール(1500E)と、
第1波長および第2波長を判定するために前記除算の結果をマッピングする第1の2次元ルックアップ・テーブル(2−D LUT)(1510C)と、
前記第1波長および前記第2波長を色出力信号の第1セットにマッピングする第2の2−D LUT(1510E)と、
色出力信号の第2セットを出力するために、色出力信号の前記第1セットに前記第1スケール・ファクタを乗算する乗算器(1540E)と
を含む。
【図面の簡単な説明】
【0011】
図1A】本開示の実施形態によるスペクトル画像処理方法を示す図である。
図1B】スペクトル展開モジュールを示す図である。
図1C】本開示の実施形態による画像取込デバイス・カラー・センサ出力の操作を示す図である。
図2】矩形帯域通過スペクトルおよび矩形バンドギャップ・スペクトルに分割された、(x,y)色度空間を示す図である。
図3】3パラメータおよび4パラメータの矩形スペクトル表現を示す図である。
図4】λ領域内の矩形スペクトルと色度空間との両方で表された色を示す図である。
図5】A〜Cは、λ領域の円形表現を示す図である。
図6A】本開示によるスペクトル合成モジュールを示す図である。
図6B】本開示による波長判定モジュールを示す図である。
図7】RGB(赤、緑、青)基本色(basis color)、白、マゼンタ、およびRYGCBV(赤、黄、緑、シアン、青、紫)フィルタ・バンクの矩形表現を示す図である。
図8】入力色強度および出力色強度を関係付けるS字形マッピング曲線を示す図である。
図9】ディジタル・カメラ処理方法を示す図である。
図10】単純化されたディジタル・カメラ処理方法を示す図である。
図11】カメラからの出力色と比較のための実際の色とを示す図である。
図12】CIE(国際照明委員会)1931等色関数を示す図である。
図13】ディジタル・カメラのカメラ・スペクトル感度を示す図である。
図14A】本開示の実施形態による、画像取込デバイス・センサ出力に基づいて正しい色出力を合成する方法を示す図である。
図14B】実質的に矩形のスペクトル表現の例を示す図である。
図14C】実質的に矩形のスペクトル表現の例を示す図である。
図15A】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図15B】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図15C】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図15D】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図15E】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図15F】合成された実質的に矩形のスペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す図である。
図16】取り込まれたRGB(赤、緑、青)値から正しい色XYZ(CIE 1931色空間に対応する三刺激値)値へのマッピングと同等である、画像取込デバイス処理の例を示す図である。
図17】本開示の一実施形態による、画像取込デバイス色域を判定する方法を示す図である。
図18】線形波長領域と円形波長領域との両方での帯域通過スペクトルおよびバンドギャップ・スペクトルを示す図である。
図19】帯域通過スペクトルとバンドギャップ・スペクトルとの間の境界付近の挙動を示す図である。
図20】A及びBは、[λ,λ]平面内で表された矩形スペクトルの色を示す図である。
【発明を実施するための形態】
【0012】
本開示の例示的な実施形態では、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成する方法であって、複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果である、方法において、複数の画像取込デバイス・センサ出力を提供するステップであって、各画像取込デバイス・センサ出力は、対応する画像取込デバイス・スペクトル感度に関連する、ステップと、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現の第1波長および第2波長を判定するステップと、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成するために、画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算するステップとを含み、合成された実質的に矩形のスペクトル表現は、画像取込デバイスに適用された場合に複数の画像取込デバイス・センサ出力を生成するように適合され、第1波長は、実質的に矩形のスペクトル表現が0からスケール・ファクタに遷移する波長を含み、第2波長は、実質的に矩形のスペクトル表現がスケール・ファクタから0に遷移する波長を含む方法が提示される。
【0013】
本開示の例示的な実施形態では、複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成する方法であって、複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれた画像の入力スペクトルの結果である、方法において、出力色空間に関連する等色関数を提供するステップと、複数の画像取込デバイス・センサ出力を提供するステップと、複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するステップであって、合成されたスペクトル表現は、画像取込デバイスに適用された場合に複数の画像取込デバイス・センサ出力を生成するように適合される、ステップと、出力色値を入手するために、合成されたスペクトル表現を等色関数に適用するステップとを含む、方法が提示される。
【0014】
本開示の例示的な実施形態では、画像取込デバイスの色域を判定する方法であって、画像取込デバイスへの立方体の露出をシミュレートするステップであって、立方体は、3次元の特徴がある実質的に矩形のスペクトルの矩形空間内の表現を含み、第1次元は、第1波長の可能な値にまたがり、第2次元は、第2波長の可能な値にまたがり、第3次元は、スケール・ファクタの可能な値にまたがり、立方体内の各点は、入力の実質的に矩形のスペクトルに対応し、各入力の実質的に矩形のスペクトルは、入力スケール・ファクタ、入力第1波長、および入力第2波長の特徴があり、入力第1波長は、入力スペクトルが0から入力スケール・ファクタに遷移する波長を含み、入力第2波長は、入力スペクトルが入力スケール・ファクタから0に遷移する波長を含むステップと、出力スケール・ファクタ、出力第1波長、および出力第2波長の特徴がある出力スペクトル表現を合成するステップであって、出力第1波長は、出力スペクトル表現が0から出力スケール・ファクタに遷移する波長を含み、出力第2波長は、出力スペクトル表現が出力スケール・ファクタから0に遷移する波長を含む、ステップと、立方体によって表される実質的に矩形のスペクトルの中から、出力スケール・ファクタが入力スケール・ファクタと等しく、出力第1波長が入力第1波長と等しく、出力第2波長が入力第2波長と等しい実質的に矩形のスペクトルのセットを判定するステップであって、実質的に矩形のスペクトルの判定されたセットは、画像取込デバイスの色域を構成する、ステップとを含む、方法が提示される。
【0015】
本開示の例示的な実施形態では、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現を合成するように構成されたシステムであって、複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果であり、各複数の画像取込デバイス・センサ出力は、対応する画像取込デバイス・スペクトル感度に関連する、システムにおいて、複数の画像取込デバイス・センサ出力に基づいて実質的に矩形のスペクトル表現の第1波長および第2波長を判定するように構成された波長判定モジュールと、画像取込デバイス・センサ出力のうちの任意の1つおよびそれに対応する画像取込デバイス・スペクトル感度に基づいてスケール・ファクタを計算するように構成されたスケール・ファクタ計算モジュールとを含み、合成されたスペクトル表現は、画像取込デバイスに適用された場合に複数の画像取込デバイス・センサ出力を生成するように適合され、第1波長は、実質的に矩形のスペクトル表現が0からスケール・ファクタに遷移する波長を含み、第2波長は、実質的に矩形のスペクトル表現がスケール・ファクタから0に遷移する波長を含むシステムが提示される。
【0016】
本開示の例示的な実施形態では、複数の画像取込デバイス・センサ出力から出力色空間の出力色値を生成するように構成されたシステムであって、複数の画像取込デバイス・センサ出力は、画像取込デバイスによって取り込まれるように適合された画像の入力スペクトルの結果であり、出力色空間は、等色関数に関連する、システムにおいて、複数の画像取込デバイス・センサ出力に基づいてスペクトル表現を合成するように構成されたスペクトル合成モジュールであって、合成されたスペクトル表現は、画像取込デバイスに適用された場合に複数の画像取込デバイス・センサ出力を生成するように適合される、スペクトル合成モジュールと、出力色値を生成するために、合成されたスペクトル表現を等色関数に適用するように構成されたスペクトル適用モジュールとを含む、システムが提示される。
【0017】
本開示の例示的な実施形態では、画像取込デバイスの色域を判定するシステムであって、画像取込デバイスへの立方体の露出をシミュレートするように構成された露出シミュレーション・モジュールであって、立方体は、3次元の特徴がある実質的に矩形のスペクトルの矩形空間内の表現を含み、第1次元は、第1波長の可能な値にまたがり、第2次元は、第2波長の可能な値にまたがり、第3次元は、スケール・ファクタの可能な値にまたがり、立方体内の各点は、入力の実質的に矩形のスペクトルに対応し、各入力の実質的に矩形のスペクトルは、入力スケール・ファクタ、入力第1波長、および入力第2波長の特徴があり、入力第1波長は、入力スペクトルが0から入力スケール・ファクタに遷移する波長を含み、入力第2波長は、入力スペクトルが入力スケール・ファクタから0に遷移する波長を含む露出シミュレーション・モジュールと、出力スペクトル表現を合成するように構成されたスペクトル合成モジュールであって、出力スペクトル表現は、出力スケール・ファクタ、出力第1波長、および出力第2波長の特徴があり、出力第1波長は、出力スペクトル表現が0から出力スケール・ファクタに遷移する波長を含み、出力第2波長は、出力スペクトル表現が出力スケール・ファクタから0に遷移する波長を含む、スペクトル合成モジュールと、立方体によって表される実質的に矩形のスペクトルの中から、出力スケール・ファクタが入力スケール・ファクタと等しく、出力第1波長が入力第1波長と等しく、出力第2波長が入力第2波長と等しい実質的に矩形のスペクトルのセットを判定するように構成された比較モジュールであって、実質的に矩形のスペクトルの判定されたセットは、画像取込デバイスの色域を構成する、比較モジュールとを含む、システムが提示される。
【0018】
三刺激ベースのシステムおよびスペクトル・システムまたはマルチスペクトル・システムは、大いに非互換であり、別々の企業によって実行される。本開示は、三刺激ベースのシステムとスペクトル・システムまたはマルチスペクトル・システムとの間のギャップに橋を渡し、三刺激領域からスペクトル領域に変換する方法を説明する。これらの変換は、スペクトル画像処理方法およびマルチスペクトル画像処理方法を三刺激画像データに適用することを可能にする。
【0019】
本明細書で使用される用語「画像取込デバイス」は、画像を形成するように適合されたすべてのデバイスを指すことができる。画像取込デバイスは、視覚的情報を静止画または動画の形で取り込む。そのような画像に関連する画像情報(たとえば、画像サイズ、画像解像度、ファイル・フォーマットなど)を格納することもできる。格納された情報の処理を実行することもできる。そのような画像取込デバイスは、カメラおよび/またはラインスキャン・カメラ、フラットベッド・スキャナ、ならびに他のそのようなデバイスを含むことができる。
【0020】
本明細書で使用される用語「合成」は、パラメータおよび/または関数を含むエンティティの組合せに基づく信号の生成を指すことができる。本開示によれば、色値または画像取込デバイス・センサ出力に基づくスペクトル表現の合成が、提供される。
【0021】
本明細書で使用される用語「実際の色」および「正しい色」は、交換可能に使用され、本明細書では、人間視覚システムによって知覚される色を意味すると定義される。
【0022】
本明細書で使用される用語「モジュール」は、ある機能を実行するように構成されたユニットを指すことができる。モジュールを、ハードウェア、ソフトウェア、ファームウェア、またはその組合せで実施することができる。
【0023】
セクション1
図1Aに、本開示の実施形態による画像処理方法を示す。図1Bに、スペクトル合成モジュール(600A)およびそれに続くフィルタ・バンク(700)を含む図1Aの展開モジュールを示す。図1Cに示されているように、処理は、必ずしも画像取込デバイス内で発生するとは限らない。その場合に、実質的に矩形の表現への展開およびそれに続く正確な色を提示するためのオリジナル領域への射影(セクション2でさらに説明する)だけがある場合がある。
【0024】
ここで図1Aを参照すると、入力スペクトルから生じる色値の三刺激表現、たとえばRGB(赤、緑、青)は、まず、6基本色表現RYGCBV(赤、黄、緑、シアン、青、紫)に展開される。原色の数のこの選択は、実世界の物体反射の大型データベースの統計的分析によって部分的に強化される。この場合に、反射率データセットの統計的変動の99%を、6つもの少数の基底ベクトルによって記述できることが示される(参照によってその全体が本明細書に組み込まれている参考文献[3]を参照されたい)。その後、画像をRYGCBV領域で処理することができる。処理の後に、処理された画像のRYGCBV表現を、元のRGB領域に戻って射影することができる。RGB色空間およびRYGCBV色空間が、本開示で考慮されるが、YUV、YCbCr、HSV、CMYK、および当業者に既知の他の色空間などの色空間を考慮することもできることに留意されたい。
【0025】
たとえば、限定ではなく、入力(102A)および出力(118A)を、XYZ三刺激値とすることもできる。たとえば、限定ではなく、展開された表現(105A、115A)は、可視スペクトルが10nmの増分で400nmから700nmまでの範囲にわたると考えられる場合には31個など、6個以外の複数の値を含むことができる。他の可能性は、7色表現(ROYGCBV)または10色表現の使用を含む。6色表現は、正確さと計算的複雑さとの間のバランスを提供するので、有用である。
【0026】
RGB値またはXYZ値の展開が、条件等色(2つの異なる入力スペクトルが同一のRGB色値をもたらすことができる現象)のゆえに一意のスペクトル展開をもたらさない場合がある。しかし、選択されたスペクトル表現が、RGB値またはXYZ値に対応する分析関数(下でより詳細に議論する)に適用される場合に、入力スペクトルから生じるRGB値またはXYZ値をもたらす限り、実際の色に関して正確な色表現を保存することができる。
【0027】
任意の所与の色は、光のスペクトルである。そのようなスペクトルを、下で与えられる式に従って近似的に表すことができる。
【0028】
【数1】
ここで、S[λ]は、入力スペクトルを表し、
【数2】
は、近似表現を表し、Cは、第i色出力値を表し、B[λ]は、第i基底関数を表し、Nは、基底関数の個数を表す。たとえば、近似RGB表現を、次式によって表すことができる。
【0029】
【数3】
【0030】
基底関数は、一般的に定義された関数である。CIE(国際照明委員会)1931色空間(1931年にCIEによって作成された、数学的に定義された色空間。参照によってその全体が本明細書に組み込まれている参考文献[4]を参照されたい)について、基底関数は、435.8ナノメートル、546.1ナノメートル、および700ナノメートルにピークを有する狭帯域である。ディスプレイについて、基底関数は、スペクトル放射である。
【0031】
基底関数は、照合分析関数A[λ]に関連し、この照合分析関数A[λ]を使用して、次式に従って色出力値Cを判定することができる。
【0032】
【数4】
ここで、照合分析関数および基底関数は、式
[λ]・B[λ]=δij
に従って関係付けられ、360nmおよび810nmの積分の極限は、可視光の波長の下限(λmin)および上限(λmax)を表す。
【0033】
前述の式を、他の分析関数のために一般化することもできる(たとえば、赤外線および/または紫外線を含むように展開することができる)。上の式は、直交基底関数を示すが、他の基底関数を使用することもできる。たとえば、限定ではなく、基底関数を、行列に関して直交とすることができる。一般にそうである可能性は低いが、分析関数を、対応する基底関数と同一にすることができることに留意されたい。分析関数は、意味をも有する。CIE 1931色空間について、分析関数は、スペクトル・マッチング関数である。分析関数を、画像取込デバイスのスペクトル感度または目のスペクトル感度とすることもできる。
【0034】
本開示の実施形態は、たとえば6つの基本色RYGCBVを使用して、所与の色の新しい表現を生成するためにマカダム(MacAdam)によって提案されたスペクトルに似た、実質的に矩形のスペクトルを利用する。
【0035】
マカダムは、「最大効率」反射スペクトルのスペクトル表現を定式化した(参照によってその全体が本明細書に組み込まれている参考文献[5]を参照されたい)。これらのスペクトルは、任意の所望の色相および彩度について、効率(すなわち、反射された輝度)が最大にされるという特性を有する。そのようなスペクトルは、「最適インク」と解釈することができる。スペクトルのこの系列は、完全であり、すべての可能な色度を表すことができる。マカダムは、2進値0および1と、2つの遷移波長すなわち0→1遷移のλおよび1→0遷移のλを有するものとして、これらの反射スペクトルの特徴を表した。これは、図2に示されているように(x,y)色度領域を占める帯域通過スペクトルおよびバンドギャップ・スペクトルを生じさせた。
【0036】
マカダムは、これらの矩形スペクトルを純粋な反射スペクトルとみなしたが、スケール・ファクタIを導入することによって、光の一般的なスペクトル表現のためにこれらを拡張することが可能である。
【0037】
【数5】
3パラメータ矩形スペクトルは、すべての可能な知覚可能な色を表すのに適当である。しかし、一般に、実際の物体を矩形スペクトルによって完全に表すことはできない。実際の物体は、反射率が、より制限された範囲の波長にわたって支配的である可能性がある場合であっても、すべての波長でいくらかの光を反射しまたは透過させる傾向がある。これは、主に、矩形スペクトルの小さい値を表す追加パラメータを追加することによって計上することができる。これを、4パラメータ矩形スペクトルとして書くことができる。
【0038】
【数6】
【0039】
3パラメータ矩形スペクトルを、小さい値Iに0をセットした4パラメータ矩形スペクトルとして表すことができることに留意されたい。3パラメータと4パラメータとの両方の矩形スペクトル表現のスペクトル図を、図3に示す。矩形スペクトルの特性のさらなる議論は、本開示の一体の部分を形成する表Aで与える。
【0040】
色度空間内の(x,y)座標によって表される所与の色を、矩形帯域通過スペクトルまたは矩形バンドギャップ・スペクトルとして表すことができる(図4を参照されたい)。代替案では、[λmin,λmax]領域(可視光の波長)自体を、円形と解釈することができ、すべてのスペクトルが帯域通過の形を有することが可能になる。その場合に、以前にはバンドギャップ・スペクトルであったものが、λmin/λmax点を横切る帯域通過スペクトルになる(図5A〜5Cを参照されたい)。図5Bおよび5Cに示された円形領域の強調表示された部分は、矩形スペクトルの値がスケール・ファクタIと等しい波長を示す。すべてのスペクトルが帯域通過の形を有することをもたらす円形としての[λmin,λmax]の解釈は、表Aでさらに説明される図18にも示されている。
【0041】
処理される画像からのオリジナルの三刺激値(任意の色空間からのものとすることができる)のセットに対してスペクトル展開を実行するために、色度座標が、まずλおよびλを計算するのに使用される。その後、スケール・ファクタIが、λ、λ、およびオリジナルの三刺激値から導出される。
【0042】
図6Aに、図1Aに示された画像処理方法で利用できる(具体的には、図1Bに示された展開の一部として)スペクトル合成モジュール(600A)を示す。XYZ三刺激値(610A)が、遷移波長(615B)λおよびλを判定するために波長判定モジュール(620A、図6Bに詳細に図示)に入力される。この計算は、XYZ三刺激値(610A)に基づいて値xおよびy(605B)を計算することを含むことができる。
【0043】
【数7】
【0044】
その後、2次元ルックアップ・テーブル(2D−LUT、610B)を利用して値xおよびyをマッピングして、遷移波長(615B)λおよびλを判定することができる。この遷移波長λおよびλに基づいて、スケール・ファクタIを、周回積分モジュール(640A)および除算モジュール(660A)からなるスケール・ファクタ計算モジュール(650A)によって判定することができる。周回積分モジュール(640A)は、遷移波長λおよびλによって定義される区間にわたるスペクトル解析関数
【数8】
(630A)の任意の1つの周回積分を実行することができる。たとえば、限定ではなく、図6Aに、
【数9】
の周回積分を示す。当業者は、
【数10】
または
【数11】
スペクトル解析関数の任意の組合せを、周回積分の実行に使用することもできることを理解することができる。その後、周回積分モジュール(640A)の結果が、除算モジュール(660A)に供給されて、スケール・ファクタIが生成される。具体的には、スケール・ファクタIを、次式によって与えることができる。
【0045】
【数12】
【0046】
これらの積分を、たとえば2回のテーブル・ルックアップおよび加算/減算演算を用いて計算することができる。この形で、矩形スペクトルの3つのパラメータ[λ,λ,I](670)が、矩形スペクトルを合成するために判定される。
【0047】
図7に示されているように、合成された矩形スペクトルをフィルタリングして(フィルタ・バンクは、帯域幅において等しいものとすることができるが、そうである必要はない)、RYGCBV色値を生成することができる。この点で、画像処理を、RYGCBV色値に対して実行することができる。
【0048】
本開示の複数の実施形態によれば、三刺激表現とスペクトル表現またはマルチスペクトル表現との両方に適用可能な処理動作のクラスが説明される。画像に関連する従来のRGBデータについて、2つの一般的な数学演算すなわち、3x3行列による乗算と、個々のRGBチャネルの独立の非線形変換とがある。行列乗算は、一般に、色および/または照明の効果を調整するのに使用される。非線形変換は、しばしば、トーン・マッピングと呼ばれる。というのは、非線形変換が、画像の視覚的色調(明るさおよびコントラスト)を変更するからである。任意の個数の3x3行列乗算を、単一の3x3行列乗算に折り畳むことができ、同様に、RGBチャネルのそれぞれの任意の個数の1次元(1D)変換を、この3つのチャネルのそれぞれに関する1つのみの非線形変換に折り畳むことができることに留意されたい。したがって、画像を、画像に関連するチャネルごとに1つの3つの非線形変換のセットとそれに続く行列乗算とを介して処理することができる。
【0049】
たとえば、従来の3つのRGBチャネルのみを用いても、非線形変換およびそれに続く行列乗算の実行を含む上で指定された変換は、制限された強度範囲および色を有する現在一般的な画像フォーマットの間の相違を、より広い強度範囲(しばしば、ダイナミック・レンジと呼ばれる)および色域を有する潜在的な将来のフォーマットに正確にカプセル化することができる。
【0050】
このクラスの変換を、次の関係を介して、任意の個数の色チャネルに関するマルチスペクトルのケースに一般化することができる。
=Mij[I
i,j=1,…,N
ここで、Iは、第j入力色チャネル値(たとえば、RGB表現のR、G、もしくはB、またはRYGCBV表現のR、Y、G、C、B、もしくはV)を表し、Tは、Iに適用される非線形変換を表し、Mijは、NxN行列を表し、Oは、第i出力色チャネル値を表す。
【0051】
上で議論したスペクトル画像処理方法を、スペクトル色補正に適用することができる。実際には、原色補正を、RGBチャネルに対する直接の変更を介して独立に適用することができる。これらの変更は、実行される必要がある原色操作を説明することができるが、特定の色相だけを操作することは難しい。たとえば、RおよびG(隣接する色)またはB(青を減らすことは、黄を直接強める効果を有する)を変更せずに黄の色相をより強くすることは難しい。基本的に、これは、3つの色チャネルが、所与の色と一致するのに十分であるが、反対色説によって説明されるように、知覚的に4つの基本的な色相すなわち赤対緑および青対黄があるので、色相制御に不十分であるからである。
【0052】
実際には、これを等和色補正によって処理することができる。等和色補正は、RGBデータをHSL(色相−彩度−輝度)表現に変換し、色相−彩度−輝度値の指定された範囲にわたってHSL値を条件的に変更する。黄は、赤と緑との間の中間であり、シアンは、緑と青との間の中間であり、マゼンタは、青と赤との中間なので、等和色補正は、しばしば、6つの色相すなわちRYGCBMを用いて実施され、これを、6軸等和色補正と呼ぶことができる。原色および全体的な等和色補正を、たとえばRYGCBV色値(CおよびYとは異なって、Mが、必ずBR混合物なので、必要ではないことに留意されたい)を利用して、本開示によるスペクトル画像処理の方法に一体化することができる。図8に示されたS字形色調曲線を、振幅、ガンマ、トー、およびショルダの調整のために変更することができる。再飽和を、白の追加またはスペクトル拡幅によって実行することができる。
【0053】
セクション2
本開示の追加実施形態によれば、スペクトル合成方法を、画像取込デバイス処理に適用することができる。図9に、現代のディジタル画像取込デバイスで実行される処理方法を示す(参照によってその全体が本明細書に組み込まれている参考文献[6]を参照されたい)。入力スペクトルS(λ)から生じる生画像取込デバイス・センサ出力(905)(たとえば、R値、G1値、G2値、およびB値)が、まず、線形化(必要な場合に)、デベイヤリング(deBayering)(たとえば、単一チップ・センサについて)、およびホワイトバランスのうちの1つまたは複数を含む方法に従って処理される(910)。ベイヤ・フィルタ・モザイクは、画像取込デバイス内の光センサの正方形グリッド上にRGB色フィルタを配置するための色フィルタ・アレイである。フルカラー画像の入手は、デベイヤリングと称するステップでこのプロセスを逆転することを含む(参照によってその全体が本明細書に組み込まれている参考文献[7]を参照されたい)。ホワイトバランスは、特定の色を正しくレンダリングするための原色(たとえば、赤、緑、および青)の強度の調整である(参照によってその全体が本明細書に組み込まれている参考文献[8]を参照されたい)。
【0054】
生画像取込デバイス・センサ出力(905)のそのような処理(910)から入手されたデータは、その後、一般に、3x3行列(915)によって出力色空間(たとえば、図9のRGB色空間)に変換される。変換出力を、トーン処理し、かつ/または特定の範囲にクリッピングする(920)ことができる。ブロック(910)、(915)、および(920)のそれぞれで実行される処理は、生画像取込デバイス・センサ出力(905)から出力色空間(925)をもたらす。
【0055】
本開示の複数の実施形態によれば、3x3行列に対する代替の画像取込デバイス処理方法が提示される。3x3行列のみでは、出力色(925)への画像取込デバイス・センサ出力の正確な変換を記述するのに不十分である可能性がある。
【0056】
3x3行列(915)に関する可能な問題に焦点を合わせるために、図10に示された単純化された構成を検討されたい。
【0057】
この議論について、赤(R)チャネル、緑(G)チャネル、および青(B)チャネルを含む画像取込デバイスを検討し(たとえば、RGBが、入力色空間と考えられる)、出力色空間(1020)としてCIE [X,Y,Z]を検討されたい。RGB色空間およびCIE色空間が、この議論で検討されるが、YUV、YCbCr、HSV、CMYK、および当業者に既知の他の色空間などの色空間を検討することもできることに留意されたい。
【0058】
三刺激値[X,Y,Z]を、入力スペクトルS[λ]および区間[λmin,λmax]にわたって定義される等色関数
【数13】
から、式
【数14】
によって判定することができ、ここで、区間[λmin,λmax]は、人間視覚システムによって一般に知覚可能な光の波長を含む。図12に、1931年にCIEによって決定されたそのような関数の例を示す。
【0059】
同様に、画像取込デバイス・センサ出力[R,G,B](1010)(下付きはセンサを示す)が、画像取込デバイス・スペクトル感度
【数15】
によって、同様の式
【数16】
を使用して判定され、画像取込デバイス・スペクトル感度は、画像取込デバイス色チャネルの波長応答を表す。図13に、例示的な現代のディジタル・カメラのそのような関数の例を示す。
【0060】
図11に、画像取込デバイス・センサ出力[R,G,B](1125)に3x3行列変換(1130)を適用することを介して入手された画像取込デバイスからの出力色[X,Y,Z](1135)が、人間視覚システムによって知覚される実際の色[X,Y,Z](1105)と同一ではない場合があることを示す。画像取込デバイスからの出力色[X,Y,Z](1135)と実際の色[X,Y,Z](1105)との間の色の正確さは、一般に、画像取込デバイス・スペクトル感度
【数17】
(1120)が、等色関数(1110)の逆転可能な線形組合せであるときに限って、保証され得る。数学的には、これは、
【数18】
になり、Q−1が存在する3x3行列Qが存在するとき発生する。
【0061】
上の式の両辺に入力スペクトルS[λ](1115)を乗じ、両辺を積分すると、結果
【数19】
がもたらされる。
【0062】
したがって、
【数20】
になる。
【0063】
戻って図11を参照すると、実際の色[X,Y,Z](1105)を直接に入手するために、理想的には、画像取込デバイス・スペクトル感度
【数21】
(1120)は、等色関数
【数22】
(1110)と同一でなければならない。この理想的なスペクトル感度(等色関数と等しい)が、実際の画像取込デバイス・スペクトル感度を生み出すために行列Qによって変更される場合に、そのような変更を元に戻して(たとえば、Q−1を用いて画像取込デバイス・センサ出力(1125)を変換することによって)、実際の色[X,Y,Z](1105)を生成することができる。
【0064】
画像取込デバイス・スペクトル感度
【数23】
(1120)と等色関数
【数24】
(1110)との間の関係が、線形変換より複雑である場合には、3x3行列が不十分である可能性がある。
【0065】
等色関数と画像取込デバイス・スペクトル感度との間の差は、大きくなる可能性がある。図12に、CIE(国際照明委員会)1931等色関数を示し、図13に、現代のディジタル動画カメラ(ARRI D−21)の例示的なスペクトル感度を示す。1931年に、CIEは、CIE 1931と称する数学的に定義された色空間を作成した。図12の等色関数は、この色空間に対応する(参照によってその全体が本明細書に組み込まれている参考文献[4]を参照されたい)。このカメラのスペクトル感度をもたらす等色関数の線形組合せはない。具体的には、CIE 1931等色関数は滑らかであるが、カメラ・スペクトル感度は滑らかではない。カメラ・スペクトル感度によって提供されるそのようなカメラ応答の考慮は、一般に、センサから出力への処理で、考慮に入れられていない。
【0066】
行列変換の適用は、画像取込デバイス・センサ出力を実際の色に変換するのに十分ではない場合があるが、画像取込デバイス・センサ出力から出力色空間への正確な処理は、全体的な線形性を示すことができる。すなわち、
【数25】
が、センサ出力[R,G,B]を表し、
【数26】
が、出力色[X,Y,Z]を表し、P[]が、画像取込デバイス・センサ出力と出力色との間の処理、たとえば
【数27】
を表す場合には、入力
【数28】
にある定数αを乗ずることは、出力を同じ倍数だけ変化させる。
【0067】
【数29】
【0068】
しかし、線形性のそのような特性が示される場合であっても、処理は、必ずしも排他的に行列を適用することによるものではない可能性がある。そのような行列を、色刺激のトレーニング・セットにわたって特定の誤差メトリックを最小にすることによって判定することができる。この形で行列を判定する、いくつかの推奨される手順が、参照によってその全体が本明細書に組み込まれている参考文献[6]に記載されている。
【0069】
本開示の複数の実施形態によれば、所与の画像取込デバイス・スペクトル感度から人間視覚システムによって知覚される実際の色を生成する方法およびシステムが説明される。
【0070】
図14Aに、画像取込デバイスに適用される場合に、観察された画像取込デバイス・センサ出力[R,G,B](1425A)を生成することができるスペクトル表現
【数30】
(1435A)を合成する方法およびシステムの一実施形態を示す。この方法を、負の三刺激値と共に利用することができる。
【0071】
合成されたスペクトル
【数31】
(1435A)は、合成されたスペクトル
【数32】
(1435A)が実際のスペクトルS[λ](1415A)であるか否かにかかわりなく、観察された画像取込デバイス・センサ出力[R,G,B](1425A)を生成することができる。具体的には、合成されたスペクトル
【数33】
(1435A)は、正しい[X,Y,Z](1405A、1445A)を生成することができる。
【0072】
合成されたスペクトル
【数34】
(1435A)が判定された後に、正しい出力色[X,Y,Z](1405A、1445A)を入手することができる。
【0073】
本開示の複数の実施形態によれば、実質的に矩形のスペクトルを、合成されたスペクトル
【数35】
(1435A)として利用することができる。本開示で使用される用語「実質的に矩形」は、矩形の形状をよく近似することができるが、必ずしも形状において正確に矩形ではないスペクトルの形状を指すことができる。たとえば、限定ではなく、水平(λ)軸に正確に垂直ではない側壁の特徴があるスペクトルを、実質的に矩形と考えることができる。さらなる例として、限定ではなく、唯一の最大値ではなく狭い範囲の最大値の特徴があるスペクトルを、実質的に矩形と考えることもできる。実質的に矩形のスペクトルは、連続関数または離散波長(サンプリングされた)関数とすることができる。連続する実質的に矩形のスペクトルおよび離散波長の実質的に矩形のスペクトルの例を、それぞれ図14Bおよび14Cに示す。
【0074】
図15A〜15Dに、合成された矩形スペクトルを使用する、本開示の実施形態による画像取込デバイス処理方法を示す。
【0075】
図15Aに、画像取込デバイスによって取り込まれる実際の画像スペクトルS[λ](1505A)を示す。実際の画像スペクトルS[λ](1505A)は、画像取込デバイス・センサ出力[R,G,B](1515A)を生成するために、画像取込デバイス・スペクトル感度
【数36】
(1510A)に適用される。画像取込デバイス・センサ出力[R,G,B](1515A)を、スペクトル合成モジュール(1520A)に入力して、矩形スペクトル・パラメータ[λ,λ,I](1525A)の特徴があるスペクトル表現を生成することができる。合成される矩形スペクトル(1525A)は、画像取込デバイスに適用される場合に、観察された画像取込デバイス・センサ出力[R,G,B](1515A)を生成するように適合される。
【0076】
【数37】
ここで、積分器号は、λ領域での周回積分を表す。
【0077】
【数38】
合成された矩形スペクトル(1525A)をスペクトル適用モジュール(1530A)に適用して、正しい色出力[X,Y,Z](1535A)を生成することができる。
【0078】
代替案では、[λmin,λmax]領域自体を円形と解釈し、すべてのスペクトルが帯域通過の形を有することを可能にすることができる。その場合に、以前にはバンドギャップ・スペクトルであったものが、λmin/λmax点を横切る帯域通過スペクトルになる。
【0079】
したがって、数学的には、第1ステップは、画像取込デバイス・センサ出力[R,G,B](1515A)を条件として[λ,λ,I](1525A)について解くことである。矩形スペクトルのパラメータを判定した後に、正しい出力[X,Y,Z](1535A)の計算が、直接に続くことができる。
【0080】
【数39】
このプロセスを、図15Dに示す。具体的には、等色関数
【数40】
に加えて、波長λおよびλが、周回積分モジュール(1505D)に送られる。積分の結果に、乗算モジュール(1510D)を介してスケール・ファクタIを個別に乗算して、正しい色出力値[X,Y,Z](1535A)を生成する。
【0081】
画像取込デバイスの正しい色出力を入手するための、元々の画像のスペクトル表現S[λ]と同等の矩形スペクトル表現
【数41】
を使用するこのプロセスの実行は、それぞれが異なる複雑さおよび性能を有する複数の形のいずれをとることもできる。
【0082】
一実施形態では、戻って図15Aを参照すると、全体的に計算集中型の実施態様は、まず、矩形スペクトル・パラメータ[λ,λ,I](1525A)を判定し、その後、[λ,λ,I](1525A)の特徴がある矩形スペクトルから出力値[X,Y,Z](1535A)を生成することができる。自由度の数(たとえば、この事例では3)が保存されるので、このプロセスは、図16に示されているように、[R,G,B]から[X,Y,Z]へのマッピングを提供する。
【0083】
3次元ルックアップ・テーブル(3D−LUT)を利用して、このマッピングを実行することができる。計算(下で提供する)を実行し、その後、その計算に基づいて2D−LUTを使用して、遷移波長λおよびλを判定することができる。その後、遷移波長を使用して、スケール・ファクタIを判定することができる。このプロセスを、図15Bに示す。
【0084】
図15Bに、図15Aに示された画像取込デバイス処理方法で利用できるスペクトル合成モジュール(1520A)を示す。画像取込デバイス・センサ出力[R,G,B](1515A)が、λおよびλを判定するために、波長判定モジュール(1505B、図15Cにさらに詳細に図示)に入力される。この計算は、画像取込デバイス・センサ出力[R,G,B](1515A)に基づいて値pおよびq(1505C)を計算すること(1500C)を含むことができる。
【0085】
【数42】
【0086】
その後、2次元ルックアップ・テーブル(2D−LUT、1510C)を利用して、値pおよびq(1505C)をマッピングして、遷移波長λおよびλ(1515C)を判定することができる。この遷移波長λおよびλに基づいて、スケール・ファクタIを、周回積分モジュール(1510B)および除算モジュール(1515B)からなるスケール・ファクタ計算モジュール(1520B)によって判定することができる。周回積分モジュール(1510B)は、遷移波長λおよびλによって定義される区間にわたって画像取込デバイス・スペクトル感度
【数43】
(1510A)の任意の1つの周回積分を実行することができる。その後、周回積分モジュール(1510B)の結果が、除算モジュール(1515B)に供給されて、スケール・ファクタIが生成される。具体的には、スケール・ファクタIを、次式によって与えることができる。
【0087】
【数44】
【0088】
これらの積分を、たとえば2回のテーブル・ルックアップおよび加算/減算演算を用いて計算することができる。
【0089】
図15Eに、第2の2−D LUT(1510E)が、周回積分モジュール1505Dおよび1510Bと除算モジュール1515Bとを置換するのに使用されるもう1つの実施形態を示す。この実施形態では、スケール・ファクタIは、
【数45】
になるはずである。この式の分子は、Σと名付けられ、乗算ユニット1540Eに送られる。この式の分母は、2−D LUT 1510E内に含まれる。2−D LUT 1510Eは、正規化されていない出力
【数46】
を含み、これは、λ、λの関数としての次の計算の結果である。
【0090】
【数47】
これらの出力は、最終的な結果[X,Y,Z]を生成するために、Σによって乗算されることだけを必要とする。
【0091】
図15Fに、さらなる単純化の例を示す。図15Eに示された2−D LUT 1510Cおよび1510Eを、単一の2−D LUT 1510Fに組み合わせることができる。2−D LUT 1510Fは、2−D LUT 1510Eより大きくはなく、その入力λ、λの有限の実施態様に起因して、すべての量子化誤差または丸め誤差をも除去する。図15Fは、可能な最も単純な実施態様であり、したがって、しばしば、好ましい実施態様である。
【0092】
図15Fは、段落「0080」で説明した全体的な線形性を保存する全体的な色変更を実施する方法でもある。2−D LUT 1510Fは、本明細書で説明される計算またはある選択されたトレーニング・セットに対する最小二乗適合などのある他の方法の結果を含むことができる。たとえば、一実施形態では、入力Σ、p、およびq(1505E)を与えられて、正規化されていない出力
【数48】
を解析的に計算または測定することができる。その後、2−D LUT 1510Fの出力
【数49】
が、マッチングまたは
【数50】

【数51】
との間の二乗平均距離の最小化などの最適合致判断基準に従って
【数52】
を近似するようにするために、2−D LUT 1510Fを構成することができる。
【0093】
画像取込デバイスによって取り込まれた画像のスペクトル表現と同等の矩形スペクトル表現の合成を用いる前述の議論の方法を、画像取込デバイスの正確さを調べ、その特徴を表す際に利用することができる。いくつかのスペクトルを用いて、この方法は、ある刺激のセットに関する入力矩形スペクトルと同一の出力矩形スペクトルをもたらすことができる。
【0094】
本開示の複数の実施形態によれば、この刺激のセットを判定する方法は、次のように提供される。この方法は、まず、シミュレートされた画像取込デバイス・センサ出力[R,G,B](1715)を生成するために、画像取込デバイスのスペクトル感度
【数53】
(1710)への[λ,λ,I]内の立方体(1705)の露出をシミュレートすることを含むことができる。立方体(1705)は、3次元[λ,λ,I]によって定義される矩形空間内の矩形スペクトルの表現を提供する。具体的には、この立方体内の各点は、矩形スペクトルに対応し、矩形スペクトルは、スケール・ファクタI、入力スペクトルが0からスケール・ファクタに遷移する波長である第1波長λ、および入力スペクトルが入力スケール・ファクタから0に遷移する波長である第2波長λによって特徴を表される。次のステップは、前に説明したスペクトル合成方法の出力
【数54】
(1725)が図17に示された入力[λ,λ,I](1705)と同一であるスペクトルのセットを比較(1730)によって判定することである。この方法を使用して正確に回復できる矩形スペクトルのセットは、画像取込デバイス色域を構成する。正確には回復できない矩形スペクトルは、一般に画像入力デバイス条件等色と称するものを構成する。
【0095】
上で示した例は、本開示の画像取込デバイス処理のためのスペクトル合成の実施形態をどのようにして作り出し、使用すべきかの完全な開示および説明を当業者に与えるために提供されたものであり、本発明人が開示とみなすものの範囲を限定することは意図されていない。
【0096】
本明細書で開示される方法およびシステムを実行する上で説明された態様の、当業者に明白な変更は、下の特許請求の範囲の範囲に含まれることが意図されている。本明細書で言及されるすべての特許および刊行物は、本開示が関係する分野の当業者の水準を示す。本開示で引用されるすべての参考文献は、各参考文献がその全体を個別に参照によって組み込まれた場合と同一の範囲まで、参照によって組み込まれる。
【0097】
本開示が、特定の方法またはシステムに限定されず、特定の方法またはシステムが、もちろん変化し得ることを理解されたい。また、本明細書で使用される用語法が、特定の実施形態を説明するのみのためのものであって、限定的であることは意図されていないことを理解されたい。本明細書および添付の特許請求の範囲で使用される単数形「a」、「an」、および「the」は、内容がそうではないことを明確に規定しない限り、複数を含む。用語「複数」は、内容がそうではないことを明確に規定しない限り、2つ以上の指示対象を含む。そうではないと定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が関係する分野の当業者によって一般的に理解されるものと同一の意味を有する。
【0098】
本開示で説明される方法およびシステムを、ハードウェア、ソフトウェア、ファームウェア、またはその組合せで実施することができる。ブロック、モジュール、またはコンポーネントとして説明される特徴を、一緒に(たとえば、集積論理デバイスなどの論理デバイス内で)または別々に(たとえば、別々の接続された論理デバイスとして)実施することができる。本開示の方法のソフトウェア部分は、実行されたとき、説明される方法の少なくとも一部を実行する命令を含むコンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、たとえば、ランダム・アクセス・メモリ(RAM)および/または読取り専用メモリ(ROM)を含むことができる。命令を、プロセッサ(たとえば、ディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、またはフィールド・プログラマブル・ゲート・アレイ(FPGA))によって実行することができる。
【0099】
本開示の複数の実施形態を説明した。それでも、さまざまな変更を、本開示の趣旨および範囲から逸脱せずに行うことができる。したがって、他の実施形態は、下の特許請求の範囲の範囲に含まれる。
【0100】
参考文献のリスト
[1]wikipedia.org/wiki/Multispectral_image、2011年12月6日に検索
[2]Wyszecki,G.およびStiles,W.S.、Color Science:Concepts and Methods,Quantitative Data and Formulae、Wiley−Interscience、2002年、187〜188頁
[3]M.Parmar他、「A Database of High Dynamic Range Visible and Near−infrared Multispectral Images」、Proc.IS&T/SPIE Electronic Imaging 2008:Digital Photography IV
[4]wikipedia.org/wiki/CIE_1931_color_space、2011年11月29日に検索
[5]MacAdam,David L.、「The Theory of the Maximum Visual Efficiency of Color Materials」、J.Optical Soc.Am.、Vol.25、249〜252頁、1935年
[6]「Color Image Processing Pipeline. A General Survey of Digital Still Camera Processing」、IEEE Signal Processing Magazine、vol.22、no.1、34〜43頁、2005年
[7]wikipedia.org/wiki/Bayer_filter、2011年12月6日に検索
[8]wikipedia.org/wiki/White_balance、2011年12月6日に検索
[9]Logvinenko,Alexander D.、「An Object Color Space」、J.Vision.9(11):5、1〜23頁、2009年
【0101】
表A 矩形スペクトル
【0102】
矩形スペクトルは、多数の有用な特性を有する。
a)マカダム効率
b)完全(すべての可能な色度)
c)3自由度
d)最大限にコンパクトなスペクトル
【0103】
最後の特性すなわちコンパクト性は、基本的に、色度を飽和解除する2つの形すなわちスペクトルの拡幅または白の追加があるので生じる。ログビネンコ(Logvinenko)(参照によってその全体が本明細書に組み込まれている参考文献[9]を参照されたい)は、この特性を活用して、物体の反射スペクトルに関するより一般的な形を作った(また、λおよびλを、中心波長および符号付きの帯域幅を使用する同等の形に置換した。ここで、負の帯域幅は、バンドギャップ・スペクトルを表すのに使用された)。
【0104】
図2に、帯域通過挙動およびバンドギャップ・スペクトル挙動が色度空間内でどのように現れるのかを示す。帯域通過領域とバンドギャップ領域との間の境界が、2つのセグメントを有し、一方のセグメントは、等エネルギー白点から最大波長赤まで走り、他方のセグメントは、白点から最小波長青まで走ることに留意されたい。これらを、それぞれ、白赤境界および白青境界と称する。
【0105】
周回積分を使用して、帯域通過スペクトルとバンドギャップ・スペクトルとの間の区別を隠蔽することが可能である。これは、波長領域を円形と考え、帯域通過スペクトルとバンドギャップ・スペクトルとの間の区別をも除去することによって達成することもできる。図5A〜5Cに、その上で積分が評価される、この円形領域を示す。具体的には、図5Aは、円形の波長領域を示し、図5Bは、帯域通過矩形スペクトルを示し、図5Cは、バンドギャップ矩形スペクトルを示す。
【0106】
λminおよびλmaxが、円形表現では同一の点であり、λが、反時計回り方向に増加することに留意されたい。円形表現では、積分は、必ずλからλへであり、解は、図18に示されているように、必ず帯域通過である。これの代替の視覚化は、λminおよびλmaxを同一の点にすることができるようにするために、これらのスペクトルを筒の外側に描くことになるはずである。
【0107】
ここで図19を参照すると、図2の白赤境界セグメントおよび白青赤境界セグメントは、λまたはλがλmin/λmax境界に位置する場所である。白赤境界は、λがλmaxに位置する場所であり、白青境界は、λがλminに位置する場所である。
【0108】
図2に示された帯域通過スペクトルおよびバンドギャップ・スペクトルの(x,y)解空間が、図20Aおよび20Bに示された[λ,λ]空間内の領域にどのようにマッピングされるのかを知ることが、例証となる。
【0109】
等エネルギー白点Eは、λ=λminであり、λ=λmaxである場所である。対角線は、帯域通過側から接近される場合にはスペクトル・ローカル上にあり、バンドギャップ側から接近される場合には白点付近にある。帯域通過スペクトルの上側三角形領域は、閉集合(その境界を含む)であり、バンドギャップ・スペクトルの三角形領域は、開集合(その境界を含まない)である。図15Bに、帯域幅δおよび円形ラムダ領域をトラバースする中心周波数の相対的に狭帯域のスペクトルの2次元λ空間内の軌跡を示す。中心周波数がλmin+δ/2からλmax−δ/2に進むにつれて、色相は、紫(V)、青(B)、シアン(C)、緑(G)、黄(Y)、および赤(R)を通過する。中心周波数が[λmin,λmax]からδ/2以内にあるとき、色相は、マゼンタを通過する。
図1A
図1B
図1C
図2
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図14C
図15A
図15B
図15C
図15D
図15E
図15F
図16
図17
図18
図19
図20