特許 6540885 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6540885

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム

(51)【国際特許分類】

   H04N 9/04 20060101AFI20190628BHJP

   G02B 5/32 20060101ALI20190628BHJP

   G01J 3/02 20060101ALI20190628BHJP

   G03H 1/26 20060101ALI20190628BHJP

   B42D 25/328 20140101ALI20190628BHJP

【ＦＩ】

   H04N9/04 B

   G02B5/32

   G01J3/02 C

   G03H1/26

   B42D25/328

【請求項の数】18

【全頁数】36

(21)【出願番号】特願2018-507754(P2018-507754)

(86)(22)【出願日】2017年7月13日

(86)【国際出願番号】JP2017025569

(87)【国際公開番号】WO2018021048

(87)【国際公開日】20180201

【審査請求日】2018年2月14日

(31)【優先権主張番号】特願2016-147311(P2016-147311)

(32)【優先日】2016年7月27日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2016-204397(P2016-204397)

(32)【優先日】2016年10月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】岡田 崇

(72)【発明者】

【氏名】増田 智仁

(72)【発明者】

【氏名】森本 哲郎

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００５−２５７４３８（ＪＰ，Ａ）

【文献】 特許第５０９７９２７（ＪＰ，Ｂ１）

【文献】 特開２００５−５７６８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４−９／１１

Ｂ４２Ｄ ２５／３２８

Ｇ０１Ｊ ３／０２

Ｇ０２Ｂ ５／３２

Ｇ０３Ｈ １／２６

(57)【特許請求の範囲】

【請求項1】

観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正装置であり、
前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算部と、
前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定部と、
推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部と
を備える色校正装置。

【請求項2】

前記画像撮像装置が前記ホログラムを撮像する観察角度及び観察位置を、当該画像撮像装置が撮像した撮像画像から推定する観察角度推定部をさらに備え、
前記回折光分光分布計算部が、前記回折光の各々の前記撮像画像から推定した前記観察角度及び前記観察位置を用いて、当該回折光の各々の回折光分光分布を計算する
請求項１に記載の色校正装置。

【請求項3】

前記分光感度推定部が、
前記回折光の各々の前記回折光分光分布と、周波数が対応する前記回折光の前記撮像画像それぞれの光強度とから前記画像撮像装置の前記分光感度を推定する
請求項１または請求項２に記載の色校正装置。

【請求項4】

予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える請求項１から請求項３のいずれか１項に記載の色校正装置。

【請求項5】

前記撮像動作指示部が、
前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像が撮像されているか否かの判定を行ない、前記回折光分光分布の撮像画像が撮像されていない場合に、前記回折光分光分布を有する撮像画像の撮像を促す通知を、前記画像撮像装置の表示部に出力する
請求項４に記載の色校正装置。

【請求項6】

前記撮像動作指示部が、
前記設定回折光分光分布に対応し且つ得られていない回折光分光分布の撮像画像を撮像する撮像方向を、前記表示部に表示する
請求項５に記載の色校正装置。

【請求項7】

前記撮像動作指示部が、
前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像を撮像する際に、前記撮像画像の撮像位置を規定する、前記ホログラムの撮像枠を前記表示部の表示画面に表示する
請求項５または請求項６に記載の色校正装置。

【請求項8】

観察角度に対応した異なる周波数の回折光を発する色校正用ホログラムと、
前記色校正用ホログラムからの前記回折光の各々の分光分布を求める分光分布計算部と、
前記回折光の各々の前記分光分布と、前記回折光それぞれの撮像画像とから、画像撮像装置の分光感度を推定する分光感度推定部と、
推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部と
を備える色校正システム。

【請求項9】

前記色校正用ホログラムが、
前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている
請求項８に記載の色校正システム。

【請求項10】

前記撮像対象が、
物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である
請求項９に記載の色校正システム。

【請求項11】

予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える請求項８から請求項１０のいずれか１項に記載の色校正システム。

【請求項12】

観察角度に対応した異なる周波数の回折光を発するホログラムであり、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する分光感度を求めるために用いられる
色校正用ホログラム。

【請求項13】

前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている
請求項１２に記載の色校正用ホログラム。

【請求項14】

前記撮像対象が、
物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である
請求項１３に記載の色校正用ホログラム。

【請求項15】

観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正方法であり、
前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算過程と、
前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定過程と、
推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正過程と
を含む色校正方法。

【請求項16】

予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示過程をさらに含む請求項１５に記載の色校正方法。

【請求項17】

観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する動作をコンピュータに実行させるプログラムであり、
前記コンピュータを、
前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算手段、
前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定手段、
推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正手段
として動作させるためのプログラム。

【請求項18】

前記コンピュータを、
予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示手段としてさらに動作させるための請求項１７に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラなどの画像撮像装置の色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムに関する。
本願は、２０１６年７月２７日に日本に出願された特願２０１６−１４７３１１号及び２０１６年１０月１８日に日本に出願された特願２０１６−２０４３９７号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

近年、各メーカより様々なカメラなどの画像撮像装置が発売されているが、各メーカの画像撮像装置のハードウェアの仕様や現像過程が統一されておらず、撮像される画像データの色情報を同じ色彩値として扱うことができない場合がある。
例えば、画像撮像装置は取り込んだ被写体のカラー画像である撮像画像データの色情報を、光の３原色で示したＲＧＢ（Red、Green、Blue）信号に変換して、これを表示装置や印刷装置（プリンタ）等の画像出力装置に出力する。そして、画像出力装置においては、供給（入力）されるＲＧＢ信号の信号値に基づいて、カラー画像を再現することが一般的に行われている。

【0003】

しかし、画像撮像装置で得られるＲＧＢ信号は、撮像レンズなどの光学系、ＲＧＢフィルタ（ＲＧＢ原色系フィルタ）の分光透過率などのハードウェア特性と、ホワイトバランス調整、ガンマ補正、トーンマッピングなどのソフトウェア画像処理とに依存している。
また、画像出力装置にも様々な再現の仕方や機器の個体差が存在している。このため、画像撮像装置で撮像した画像を画像出力装置から出力する際、分光レベルで同じ色情報が入力されても、実際に再現される色（ＲＧＢ信号の信号値）が異なり正確な色再現が行えない場合がある。

【0004】

そこで、画像撮像装置及び画像出力装置間における撮像画像データの受け渡しにおいて、ｓＲＧＢ（standard RGB）規格などに準拠した共通化された色信号を採用することが多くなっている。この場合、画像撮像装置においては、撮像系でＣＣＤ（Charge Coupled Device）などに記録されるＲＧＢ信号を、ｓＲＧＢ規格に応じて色補正し、この色補正を行なったｓＲＧＢ規格の色情報を含む撮像画像データを出力している。これにより、ｓＲＧＢ規格に対応する画像出力装置においては、画像撮像装置から供給（出力）されるｓＲＧＢ規格に対応する撮像画像データにより、カラー画像の正確な色再現を行うことができる。

【0005】

上記ｓＲＧＢ規格に応じた色補正の手法は、複数有り、例えば画像撮像装置に設ける光学フィルタの分光特性をｓＲＧＢ規格に光学的に合わせることにより、色再現における再現色を近似する構成が提案されている。
しかし、各メーカが画質向上のために様々な特性を持った独自の光学フィルタを作成していることが多く、光学フィルタの分光特性を光学的にｓＲＧＢ規格に完全に一致させることは現実には難しい。
また、撮像したＲＡＷデータからｓＲＧＢ規格の撮像画像データを生成する画像処理についても、各メーカが独自の画像処理エンジンによって、見た目に自然な画像に加工していることが多く、カラー画像の正確な色再現は難しい。

【0006】

一方、ＲＧＢ信号をマトリクス演算する電子的な補正を行なうことにより、再現色を目標とする色に近似する方法（例えば、特許文献１及び特許文献２参照）が一般的に用いられている。
上述したＲＧＢ信号をマトリクス演算する電子的な色補正の方法は、色校正用として、マクベスカラーチャートなどのカラーチャートを撮像したＲＡＷデータを用い、画像撮像装置の各々のハードウェア特性のプロファイルを作成することで異なる画像撮像装置間の違いを補正する。
上述したように、カラーチャートを用いて画像撮像装置の色特性を推定できれば、正確に画像撮像装置の色再現を行うことができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】日本国特許第４１３６８２０号公報

【特許文献2】日本国特許第５０９７９２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、マクベスカラーチャートなどの一般的なカラーチャートは、表面が拡散反射特性を持っているため、環境光を含む全ての光源の影響を受ける。そのため、遮蔽物等でカラーチャートにおける各色票への光の当たり方が異ならないように、カラーチャート全体を撮像することが必要である。
また、光源の分光分布によっては条件等色（メタメリズム）の現象が起こる場合があるので、画像撮像装置の色特性を正確に把握するため、様々な分光反射率の色票を多数、例えば２４種類を並列に並べる必要があり、カラーチャートのサイズが大きくなる。

【0009】

上述した理由から、カラーチャートと色補正を行なう撮像対象とを同時に撮像することができず、カラーチャートを撮像し、画像撮像装置の各々のハードウェア特性のプロファイルを作成した後、色補正を行なう撮像対象を撮像する。
この結果、カラーチャートを撮像する際の環境光と、撮像対象を撮像する際の環境光とを一致させることが困難なため、作成されるプロファイルが環境光の違いに基づく特性を有してしまう。この結果、このプロファイルを用いて色補正を行なった場合、精度の高い色再現を行なうことができない可能性がある。

【0010】

本発明は、このような状況に鑑みてなされたもので、上述したカラーチャートを用いた場合と異なり、環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイルを生成することができる色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムを提供する。

【課題を解決するための手段】

【0011】

上述した課題を解決するために、本発明の第１の態様の色校正装置は、観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正装置であり、前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算部と、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定部と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部とを備える。

【0012】

本発明の第２の態様の色校正装置は、上記第１の態様の色校正装置が、前記画像撮像装置が前記ホログラムを撮像する観察角度及び観察位置を、当該画像撮像装置が撮像した撮像画像から推定する観察角度推定部をさらに備える。また、前記回折光分光分布計算部が、前記回折光の各々の前記撮像画像から推定した前記観察角度及び前記観察位置を用いて、当該回折光の各々の回折光分光分布を計算する。

【0013】

本発明の第３の態様の色校正装置は、上記第１または第２の態様の色校正装置において、前記分光感度推定部が、前記回折光の各々の前記回折光分光分布と、周波数が対応する前記回折光の前記撮像画像それぞれの光強度とから前記画像撮像装置の前記分光感度を推定する。

【0014】

本発明の第４の態様の色校正装置は、上記第１から第３のいずれか１つの態様の色校正装置が、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える。

【0015】

本発明の第５の態様の色校正装置は、上記第４の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像が撮像されているか否かの判定を行ない、前記回折光分光分布の撮像画像が撮像されていない場合に、前記回折光分光分布を有する撮像画像の撮像を促す通知を、前記画像撮像装置の表示部に出力する。

【0016】

本発明の第６の態様の色校正装置は、上記第５の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応し且つ得られていない回折光分光分布の撮像画像を撮像する撮像方向を、前記表示部に表示する。

【0017】

本発明の第７の態様の色校正装置は、上記第５または第６の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像を撮像する際に、前記撮像画像の撮像位置を規定する、前記ホログラムの撮像枠を前記表示部の表示画面に表示する。

【0018】

本発明の第８の態様の色校正システムは、観察角度に対応した異なる周波数の回折光を発する色校正用ホログラムと、前記色校正用ホログラムからの前記回折光の各々の分光分布を求める分光分布計算部と、前記回折光の各々の前記分光分布と、前記回折光それぞれの撮像画像とから、画像撮像装置の分光感度を推定する分光感度推定部と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部とを備える。

【0019】

本発明の第９の態様の色校正システムは、上記第８の態様の色校正システムにおいて、前記色校正用ホログラムが、前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている。

【0020】

本発明の第１０の態様の色校正システムは、上記第９の態様の色校正システムにおいて、前記撮像対象が、物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である。

【0021】

本発明の第１１の態様の色校正システムは、上記第８から第１０のいずれか１つの態様の色校正システムが、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える。

【0022】

本発明の第１２の態様の色校正用ホログラムは、観察角度に対応した異なる周波数の回折光を発するホログラムであり、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する分光感度を求めるために用いられる。

【0023】

本発明の第１３の態様の色校正用ホログラムは、上記第１２の態様の色校正用ホログラムにおいて、前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている。

【0024】

本発明の第１４の態様の色校正用ホログラムは、上記第１３の態様の色校正用ホログラムにおいて、前記撮像対象が、物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である。

【0025】

本発明の第１５の態様の色校正方法は、観察角度に対応した異なる光周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正方法であり、前記ホログラムからの前記回折光の各々の回折光分光分布を求める分光分布計算過程と、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定過程と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正過程とを含む。

【0026】

本発明の第１６の態様の色校正方法は、上記第１５の態様の色校正方法が、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示過程をさらに含む。

【0027】

本発明の第１７の態様のプログラムは、観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する動作をコンピュータに実行させるプログラムであり、前記コンピュータを、前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算手段、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定手段、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正手段として動作させる。

【0028】

本発明の第１８の態様のプログラムは、上記第１７の態様のプログラムが、前記コンピュータを、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示手段としてさらに動作させる。

【発明の効果】

【0029】

以上説明したように、本発明によれば、カラーチャートを用いた場合と異なり、環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイルを生成することができる色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0030】

【図1】第１の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。

【図2】一般的な画像撮像装置における撮像した撮像画像データの色信号処理を説明する図である。

【図3】画像撮像装置の分光感度の一例を示した図である。

【図4】画像データ記憶部における校正用撮像画像データテーブルの構成例を示す図である。

【図5】ホログラムに対する撮像部の観察角度を説明する図である。

【図6A】回折光の分光分布を求める式における±の設定について説明する図であって、撮像部と光源とが撮像対象の一方側に位置する場合を示す図である。

【図6B】回折光の分光分布を求める式における±の設定について説明する図であって、撮像部と光源とが撮像対象を挟んで互いに逆側に位置する場合を示す図である。

【図7】色校正用ホログラムから出射される単一波長の回折光の分光分布の一例を示す図である。

【図8】画像データ記憶部における分光感度推定用撮像画像データテーブルの構成例を示す図である。

【図9】第１の実施形態の色校正システムにおけるホログラムを用いた撮像装置の色校正の動作例を示すフローチャートである。

【図10】第２の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。

【図11】第３の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。

【図12】画像データ記憶部に記憶されている回折光分光分布取得完了テーブルの構成例を示す図である。

【図13】撮像動作指示部が表示部の表示画面に表示する回折光分光分布の取得を促す通知の一例を示す図である。

【図14】撮像動作指示部が表示部の表示画面に表示する回折光分光分布の取得を促す通知の他の例を示す図である。

【図15】第３の実施形態の色校正システムにおけるホログラムを用いた撮像装置の色校正の動作例を示すフローチャートである。

【図16】第４の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。

【発明を実施するための形態】

【0031】

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。図１は、第１の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。図１において、色校正装置１は、撮像部（画像撮像装置）１０１、撮像制御部１０２、露光制御部１０３、照明部１０４、観察角度推定部１０５、回折光分光分布計算部１０６、分光感度推定部１０７、色校正部１０８、表示部１０９及び画像データ記憶部１１０を備えている。この第１の実施形態の色校正装置１は、撮像部１０１と照明部１０４とが一体化されており、例えば、照明部１０４から出射される光に対応して、再帰反射方向に回折光を発するホログラム（後述する色校正用ホログラム３０２）を、色校正の色校正シートとして用いた色校正処理に対応した構成となっている。

【0032】

また、クレジットカード３００は、例えば、真贋判定を行なう対象であり、表面に偽造防止媒体としての真贋判定用ホログラム３０１と、色の校正を行なうための色校正用ホログラム３０２とが設けられている。クレジットカード３００は矩形板状に形成されている。真贋判定用ホログラム３０１は、物品（クレジットカード３００）の真贋判定に用いられ、照射される光の特性である光特性の変化により観察される光のパターンが変化する。本実施形態においては、色校正装置１と色校正用ホログラム３０２とにより、色校正システム５が構成される。すなわち、色校正システム５は、色校正装置１と色校正用ホログラム３０２とを備える。
本実施形態においては、真贋判定用ホログラム３０１から出射される回折光の色を正確に判定するため、色校正用ホログラム３０２により、撮像部１０１の光学系における分光感度を求める。そして、求めた分光感度を用いて、撮像部１０１の撮像した回折光の撮像画像データにおける色を、真贋判定を行なう際の標準的な色（標準的な分光感度を有する撮像装置で撮像した際の色）に変更する校正を行なう。

【0033】

撮像部１０１は、例えば、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いたカメラなどであり、対象物を撮像した際のＲＡＷデータ（後述）をホワイトバランス調整等の画像処理をせず、デモザイク処理のみ行った撮像画像データに変換して、その撮像画像データを画像データ記憶部１１０に対して書き込んで記憶させる。画像データ記憶部１１０は、ハードディスクドライブやフラッシュメモリ等であり、データを記憶可能である。

【0034】

図２は、一般的な画像撮像装置における撮像した撮像画像データの色信号処理を説明する図である。図２を用いて一般的な画像撮像装置、例えばデジタルカメラの色信号処理について説明する。画像撮像装置２は、撮像素子により被写体（例えばクレジットカード）３００Ａのフルカラー画像を得る画像撮像装置であり、レンズ等の撮像光学系２０１と、カラーフィルタ（バンドパスフィルタ）２０２及びフォトダイオード２０３からなる撮像素子２０４と、画像処理エンジン２０５と、メモリ２０６と、を備える。ここで、撮像素子２０４は、例えばＲＧＢ３色のカラーフィルタが取り付けられた単板式のＣＣＤやＣＭＯＳである。この図２の、画像処理エンジン２０５を除く部分が、図１の撮像部１０１に対応している。

【0035】

撮像光学系２０１は、カラーフィルタ２０２を介してフォトダイオード２０３上に被写体像（被写体からの光）を結像する。
カラーフィルタ２０２は、ＲＧＢの各々のフィルタ領域毎に、被写体からの光をこのフィルタ領域のフィルタ特性に応じた色光（例えば、ＲＧＢそれぞれの波長帯域の成分光）それぞれに分光させ、フォトダイオード２０３に出射する。

【0036】

フォトダイオード２０３の受光素子の各々は、それぞれ入射される色光の光を光電変換し、ＲＡＷ（取得した生の）データとして出力する。ここで、図示しないＡ／Ｄ（Analog/Digital）変換器は、フォトダイオード２０３が変換したＲＡＷデータをＡ／Ｄ変換し、デジタルデータとしてＲＡＷデータを、画像処理エンジン２０５に対して出力する。このデジタルデータ化されたＲＡＷデータを画像処理エンジン２０５に出力する構成までが、上述したように、図１の撮像部１０１に対応している。

【0037】

画像処理エンジン２０５は、上記Ａ／Ｄ変換器から供給（入力）されたＲＡＷデータに、撮像画像データにおける画素毎のＲＧＢ信号（信号値）を生成するデモザイク処理、トーンマッピング、ホワイトバランス補正など、様々な画像処理を施す。そして、画像処理エンジン２０５は、画像処理が施されたＲＡＷデータを、ｓＲＧＢなどの規格で決められた色に変換した後、ＪＰＥＧ（Joint Photographic Experts Group）やＴＩＦＦ（Tagged Image File Format）などの一般的な撮像画像データの画像ファイルフォーマットとして、メモリ２０６に対して書き込んで記憶させる。
また、デジタルカメラの機種によっては、画像処理エンジン２０５で処理する前のＲＡＷデータをメモリ２０６に保存することもできる。なお、本実施形態の撮像部１０１は、メモリを備えていてもよいし、備えていなくてもよい。すなわち、撮像部１０１は、少なくとも撮像光学系２０１及び撮像素子２０４に相当する構成を備えていればよい。

【0038】

上述した撮像光学系２０１と撮像素子２０４の色特性は、光学系であるレンズや光学フィルタ（カラーフィルタ２０２）の透過特性とフォトダイオード２０３の感度特性を合わせて、光の各波長に対する色の感度である分光感度として表せる。
このため、デジタルデータ化されたＲＡＷデータは、被写体３００Ａから発せられた光に対し、ＲＧＢ３色の色成分それぞれの分光感度を波長毎に乗じて積分した信号値として記録される。

【0039】

画像処理エンジン２０５で行われる処理は各メーカによって様々である。また、画像処理エンジン２０５は、鑑賞する人間の目に自然に見えるように、撮像画像データを画像処理し、ｓＲＧＢ規格の色域外の色を近似により色域内の色に変換する処理を行なう。このように、画像撮像装置の各々において、ＲＡＷデータに対して異なる画像処理が行なわれている。このため、ＲＡＷデータから画像処理を行なった変換撮像画像データへ一旦変換した場合、一般的に、画像処理が行なわれた変換撮像画像データからＲＡＷデータに逆変換することができない。

【0040】

この理由から、本実施形態においては、画像撮像装置における固有の画像処理が行なわれる前のＲＡＷデータ、すなわち固有の画像処理が行なわれていない撮像画像データそのものを用いて、画像撮像装置における分光感度を推定し、異なる画像装置間におけるＲＡＷデータである撮像画像データの色校正を行う。

【0041】

図３は、画像撮像装置の分光感度の一例を示した図である。この図３において、横軸は光の波長（wavelength）を示し、縦軸は分光感度としての相対分光感度（Relative Spectral sensitivity）を示している。分光感度は、可視波長域（３８０ｎｍ〜７８０ｎｍ）内における光の波長を変数とする関数である。また、分光感度は、カラーフィルタ２０２がＲＧＢの３つの色成分に対応した光フィルタを有することから、ＲＧＢの各々の光フィルタに対してそれぞれ独立した３種類の関数となっている。

【0042】

分光感度は、上述したように、画像撮像装置に入射する光と、この光に対応したＲＡＷデータの信号値との関係性を表す感度関数である。ここで、分光感度は、画像撮像装置に入射される光の光量や色が一定である場合でも、撮像の際のシャッタースピード等で光量が増減（変化）し、この増減に比例してＲＡＷデータの信号値全体が増減（変化）する。
このため、分光感度の絶対値そのものは重要ではなく、分光された波長の各々の信号値の相対値が撮像画像の色を決定する重要な要素となる。そのため、分光感度は、一般的に、全ての波長の信号値における最大値を１として正規化された比の数値の関数として表されることが多い。

【0043】

図１に戻り、撮像制御部１０２は、入射された光に対応してホログラム（真贋判定用ホログラム３０１及び色校正用ホログラム３０２の各々をいう）から出射される回折光を撮像部１０１が撮像する際、焦点深度、撮像素子の感度（例えば、ＩＳＯ（International Organization for Standardization）感度）などの撮像部１０１における撮像条件を制御する。

【0044】

露光制御部１０３は、撮像の露光の条件として、シャッタースピード、絞り値、照明光の強度などの撮像部１０１の撮像条件を制御する。また、露光制御部１０３は、色校正装置１の撮像するホログラムの回折光の明るさに対応し、撮像時において必要に応じて照明部１０４に対して撮像用の光（照明光）を調整して出射させるための発光指示を出力する。
照明部１０４は、通常の撮像対象に光を連続して照射する照明だけではなく、撮像対象に対して短時間に光を照射するフラッシュあるいはストロボ（登録商標）などと呼ばれる発光装置であってもよい。

【0045】

この照明部１０４は、露光制御部１０３からの発光指示に対応し、撮像する対象物に対して所定の強度の光を照射する。ここで、撮像制御部１０２は、撮像タイミングを示す制御信号を露光制御部１０３に対して供給（出力）する。これにより、露光制御部１０３は、撮像制御部１０２から供給（入力）される撮像タイミングを示す制御信号に同期して、上述したように、ホログラムに照射する照明光を出射させる発光指示を照明部１０４に対して出力する。

【0046】

観察角度推定部１０５は、ホログラムが撮像された撮像画像データの各々を撮像部１０１から順次入力する。そして、観察角度推定部１０５は、入力する撮像画像データが撮像された３次元空間において、撮像画像データの撮像を行った撮像部１０１の位置である観察位置（座標値）及び撮像部１０１の撮像方向の各々を座標変換式（後述）から求める。すなわち、観察角度推定部１０５は、求めた観察位置及び撮像方向から、各撮像画像データにおけるホログラムの観察角度を求める。なお、上記撮像方向は、撮像部１０１の撮像素子が対向する方向、すなわち撮像素子の光入射面に垂直な方向である。

【0047】

そして、観察角度推定部１０５は、撮像画像データに付与した撮像画像データそれぞれを識別する撮像画像データ識別情報とともに、求めた観察位置及び観察角度を含む撮像画像データ情報を画像データ記憶部１１０の校正用撮像画像データテーブルに対して書き込んで記憶させる。この観察角度により、入射された光に対してホログラムから出射されて、観察されるホログラムからの回折光の分光分布が異なる。

【0048】

本実施形態においては、ホログラムを所定の焦点距離にて、複数枚の撮像画像データを撮像部１０１により撮像する。ここで、撮像画像データの各々は、撮像する際の観察角度をそれぞれ異ならせて撮像する必要がある。観察角度推定部１０５は、この撮像された複数の撮像画像データから、上述したように、予め設定された座標変換式を用いることにより、３次元空間におけるホログラムを撮像した撮像画像データ各々の観察角度を推定している。

【0049】

観察角度推定部１０５の用いる座標変換式は、ホログラムによる色校正処理を行う前処理（色校正処理を行う準備）として、事前に複数枚の撮像画像データ（後述するキャリブレーションボードを撮像した撮像画像データ）から３次元空間を再生した際、複数の撮像画像データの２次元座標における画素の位置と３次元空間における座標位置とを対応付ける際に生成される式である。予め生成された座標変換式は、画像データ記憶部１１０に対して書き込んで記憶されている。

【0050】

図４は、画像データ記憶部１１０における校正用撮像画像データテーブルの構成例を示す図である。図４の校正用撮像画像データテーブルには、ホログラムの撮像画像に対応して、撮像画像データ識別情報と、この撮像画像データ識別情報に対応する撮像画像データの観察角度、観察位置及び撮像画像データアドレスの各々が書き込まれて記憶されている。ここで、撮像画像データ識別情報は、撮像画像データの各々を識別するための情報である。画像データ記憶部１１０は、１つの撮像対象を撮像する際の観察角度を異ならせて取得した複数の撮像画像データを記憶可能である。

【0051】

上記観察角度は、例えば、色校正用ホログラム３０２のいずれかの頂点あるいは座標点を３次元空間の座標系（以後、３次元座標系）における原点として、この色校正用ホログラム３０２を配置した場合に、撮像画像データを撮像した際における撮像部１０１の撮像方向と色校正用ホログラム３０２の表面に対する法線とのなす角度である。すなわち、上記観察角度は、上記撮像方向に延びる仮想の軸線と上記法線とのなす角度である。なお、本実施形態の色校正用ホログラム３０２の表面は、色校正用ホログラム３０２が設けられているクレジットカード３００の表面に平行している。観察位置は、３次元空間における撮像部１０１が色校正用ホログラム３０２の撮像を行った座標位置を示している。撮像画像データアドレスは、撮像画像データの各々が記憶されている画像データ記憶部１１０における領域のアドレスを示しており、撮像画像データを読み出す際のインデックスとなっている。

【0052】

図５は、ホログラムに対する撮像部１０１の観察角度を説明する図である。図５において、ホログラム色校正シート５００（あるいはクレジットカード３００）の表面に対して色校正用ホログラム３０２が設けられている。ホログラム色校正シート５００は矩形板状に形成されている。上記色校正用ホログラム３０２は、観察角度によって回折光が変化するホログラムである。すなわち、色校正用ホログラム３０２は、観察角度に対応した異なる周波数（言い換えれば、異なる波長）の回折光を発する。この色校正用ホログラム３０２は、例えば、回折格子からなり、回折光を金属箔によって反射する反射型ホログラムを用いることができる。色校正用ホログラム３０２の表面には波長依存性の少ない透過特性の保護フィルムを設けることができ、汚れに強い構造にすることができる。

【0053】

光源（照明ともいう）４００は、光の照射方向４００Ａと法線４５０とのなす角度である照射角度αにより、色校正用ホログラム３０２に対して、撮像用の光を照射する。この撮像用の光が入射されると、色校正用ホログラム３０２は所定の観察角度βにおいて所定の分光分布（波長）を持つ回折光を出射する。このため、照射角度α及び観察角度βの各々によって、色校正用ホログラム３０２から、照射光に対応して出射される回折光の分光分布が異なる。

【0054】

法線４５０は、ホログラム色校正シート５００の表面５００Ａに垂直な方向に延びる法線である。観察角度βは、撮像部１０１の撮像方向１０１Ａと法線４５０とのなす角度である。
ここで、例えば、観察角度推定部１０５は、法線４５０に平行な軸をｚ軸とし、ホログラム色校正シート５００の辺の各々がｘ軸及びｙ軸の各々と平行となるように、ホログラム色校正シートを３次元座標系において配置する。例えば、ホログラム色校正シート５００の各辺により形成される頂点のいずれかが、３次元座標系の原点Ｏと一致するように、３次元座標系において、ホログラム色校正シート５００をｘ軸及びｙ軸からなる２次元平面に配置する。このため、ホログラム色校正シート５００の厚さ方向がｚ軸に対して平行となる。このホログラム色校正シート５００の３次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、予め画像データ記憶部１１０に書き込まれて記憶されている。

【0055】

ここで、図１に示す真贋判定を行なう対象のクレジットカード３００の表面に対して、色校正用ホログラム３０２が配置されている場合、ホログラム色校正シート５００に対してと同様の処理をクレジットカード３００に対して行なう。また、このクレジットカード３００表面には、色校正用ホログラム３０２と隣接して、偽造防止媒体（撮像対象）としての真贋判定用ホログラム３０１が配置されている。
ホログラム色校正シート５００を用いる場合、撮像装置の光学系に対する分光感度を求める処理を行なう。その後、被写体３００Ａを撮像し、この撮像画像データが、求めた分光感度により校正される。

【0056】

一方、被写体３００Ａとホログラム色校正シート５００（色校正用ホログラム３０２）とが一括して撮像できる場合、色校正のための処理をユーザが意識して行なう必要はない。
すなわち、撮像画像データにおいて、被写体３００Ａとホログラム色校正シート５００との画像の位置が、座標変換式により検出される。そして、ホログラム色校正シート５００の画素のＲＧＢの色成分の各々により分光感度を求め、この分光感度を用いて被写体３００Ａの画素の色が校正される。したがって、ホログラム色校正シート５００を単独で色校正のために撮像する必要がなく、校正に用いる分光感度を求める処理をユーザが意識する必要はない。

【0057】

図１に戻り、観察角度推定部１０５は、各撮像画像データの観察角度を求める際、画像データ記憶部１１０から撮像画像データを読み出し、３次元座標系におけるクレジットカード３００（あるいはホログラム色校正シート５００）の３次元形状の各座標と、撮像画像データ（２次元座標系）の各画素（座標）とを、上記座標変換式により対応付けることにより、３次元空間の３次元座標系における撮像画像データの撮像位置と、この撮像位置からの撮像画像データの撮像方向を求める。このとき、観察角度推定部１０５は、すでに述べたように、３次元座標系においてクレジットカード３００の３次元形状のいずれかの頂点を原点とし、法線４５０がｚ軸と平行となり、各辺がｘ軸またはｙ軸と平行となるように、クレジットカード３００を３次元空間に配置する。

【0058】

そして、観察角度推定部１０５は、このクレジットカード３００の３次元形状を基準として、３次元座標系における撮像部１０１の撮像画像データの撮像位置、及び撮像方向を求める。これにより、観察角度推定部１０５は、法線４５０と撮像部１０１の撮像方向との成す観察角度βを求める。観察角度、観察位置を求めたら、撮像画像データを画像データ記憶部１１０の所定の領域に書き込んで記憶させるとともに、この所定の領域のアドレスである撮像画像データアドレスと、撮像画像データの撮像画像データ識別情報と、求めた観察角度、観察位置の各々を、画像データ記憶部１１０の校正用撮像画像データテーブルに対して書き込んで記憶させる。

【0059】

本実施形態においては、事前に撮像部１０１に対してカメラキャリブレーション(カメラ較正)が行われていることが前提として必要である。このカメラキャリブレーションとは、予め三次元形状が既知なキャリブレーションボードを撮像領域内で一回あるいは複数回撮像し、撮像された一枚あるいは複数の撮像画像データを用いて三次元空間の三次元座標系における座標点と、撮像画像データの２次元座標系における座標点（二次元ピクセル）の複数の座標点の対応関係を確定することである。これにより、撮像部１０１とキャリブレーションボードとの相対位置関係(以下、外部パラメタ)を示す座標変換式と、撮像部１０１の光学中心や各画素（２次元ピクセル）における光線入射方向ベクトル、レンズ歪みなど(以下、撮像部１０１の内部パラメタ)を推定する。

【0060】

すなわち、本実施形態においては、観察角度推定部１０５が撮像画像データの観察角度を推定するために、予め撮像部１０１で撮像した複数の異なる視点方向からキャリブレーションボードを撮像した２次元画像から、すなわち多視点の撮像画像データからグローバル座標系（３次元座標系）を再構成する。そして、同一ピクセルにおける再構成した３次元座標系における座標点と、撮像部１０１が撮像した撮像画像データの２次元座標系における座標点との対応関係を示す座標変換式を、カメラキャリブレーション時に求めておく。

【0061】

上述したように、本実施形態において、観察角度の推定は、事前に撮像部１０１に対してカメラキャリブレーション(カメラ較正)が行われており、色校正システムにおけるホログラム（真贋判定用ホログラム３０１及び色校正用ホログラム３０２の各々）の色校正処理の実行時に撮像部１０１の内部パラメタが既知であり、かつクレジットカード３００（あるいはホログラム色校正シート５００）及びホログラムの三次元形状が既知であることが前提である。これにより、ホログラムを複数の異なる位置から撮像して撮像画像データを取得し、上記座標変換式によって三次元座標系における座標点と撮像画像データの二次元座標系のピクセルとの複数の対応点情報を得て、この複数の対応点情報から撮像部１０１とホログラムの相対位置関係を推定できる。すなわち、ホログラムを撮像した際における撮像部１０１の観察位置及び観察角度（撮像方向）が推定できる。

【0062】

本実施形態において、例えばカメラキャリブレーションとしては、良く知られている手法の一つである、Z.Zhangによる解析手法(Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000)を適用して、撮像画像データを撮像した際の観察角度を推定することができる。ただし、上記Z.Zhangによる解析手法を適用して観察角度の推定を行う場合、色校正システムに入力する撮像画像データは、カメラキャリブレーション時に固定された焦点と同様の焦点（望ましくは同一の焦点）で撮像された画像データである必要がある。

【0063】

図１に戻り、回折光分光分布計算部１０６は、画像データ記憶部１１０における校正用撮像画像データテーブルから、観察角度推定部１０５が記録した撮像画像データの情報を順次読み込む。そして、回折光分光分布計算部１０６は、予め与えられている光源４００の放射する放射光の分光分布と、同じく予め与えられている観察位置及び観察角度に応じた色校正用ホログラム３０２の回折光特性から、観察角度推定部１０５が推定した観察位置及び観察角度の各々を用いて、観察角度毎の回折光の分光分布（回折光分光分布ともいう）を計算する。なお、光源４００の放射する放射光の分光分布と、観察位置及び観察角度に応じた色校正用ホログラム３０２の回折光特性とは、色校正装置１の内部または外部の記憶部（図示せず）に記憶されていてもよいし、画像データ記憶部１１０に記憶されていてもよい。
回折光分光分布計算部１０６は、異なる周波数の回折光の各々の回折光分光分布を求める。

【0064】

例えば、図５において色校正用ホログラム３０２がｘ軸方向に平行な溝方向の回折格子と金属箔からなる反射型ホログラムであり、光の照射方向４００Ａと撮像方向１０１Ａがいずれもｙｚ平面と平行である場合を考える。光源４００から色校正用ホログラム３０２に入射され撮像部１０１で観察される回折光は、光の照射角度α、撮像部１０１の観察角度β、色校正用ホログラム３０２における回折格子の空間周波数ｆ、回折光の次数ｎによって回折光（単一波長の光）の回折光波長λ_ｄが以下の（１）式で示す関係式で求められる。すなわち、このλ_ｄは回折光分光分布の波長を示している。

【0065】

【数1】

【0066】

図６Ａ，６Ｂは、回折光分光分布を求める（１）式における±の設定について説明する図である。図６Ａは、撮像部１０１の観察方向と、光源４００の照射方向が法線４５０を挟まず同一の方向である場合を示している。すなわち、図６Ａは、撮像部１０１と光源４００とが色校正用ホログラム３０２の撮像箇所の一方側に位置する場合を示す図である。この場合には、上記（１）式における±が＋と設定され、回折光波長λ_ｄが算出される。一方、図６Ｂは、撮像部１０１の観察方向と、光源４００の照射方向が法線４５０を挟んで反対側の場合を示している。すなわち、図６Ｂは、撮像部１０１と光源４００とが色校正用ホログラム３０２の撮像箇所を挟んで互いに逆側に位置する場合を示す図である。この場合には、上記（１）式における±が−と設定され、回折光波長λ_ｄが算出される。

【0067】

また、色校正用ホログラム３０２の出射する回折光の強度は、回折光波長λ_ｄにおける光源４００の放射光の強度に、色校正用ホログラム３０２の回折効率を乗じることで計算できる。回折光波長λ_ｄにおける光源４００の放射光の強度とは、光源４００の放射する光の分光分布における回折光波長λ_ｄと同一の波長（すなわち、λ_ｄ）を有する光の強度を示している。

【0068】

また、分光分布における波長の光の強度は、分光感度を推定する際に、分光分布の波長λ_ｄの取り得る範囲全体において正規化する。このため、光源４００の波長λ_ｄにおける強度を絶対値とする必要はなく、光源４００の分光分布の最大値に対する相対値（すなわち比率）でよい。
同様に、距離が伸びることによる光の減衰等により、光源４００の放射光の分光分布全体の強度が一様に低下する現象については考慮する必要がない。従って、回折光の強度は、光源４００の分光分布における放射光の強度と色校正用ホログラム３０２の回折効率特性とを求めておけば、容易に計算できる。

【0069】

以上説明したとおり、照射される光源４００の色校正用ホログラム３０２から出射される単一波長の光である回折光の波長及び強度の各々は、色校正用ホログラム３０２における回折格子の空間周波数及び回折効率、光源４００の光の照射角度α、撮像部１０１の観察角度β、光源４００の放射光の分光分布における各周波数の放射光の強度のそれぞれによって計算できる。これにより、後述するように、回折光分光分布計算部１０６は、放射光に対応して色校正用ホログラム３０２から出射される単一波長の回折光分光分布を計算することができる。
なお、光源４００及び撮像部１０１のレンズの大きさを考慮すると、実際に回折光分光分布を測定した場合、回折光は特定の波長付近の狭帯域において山形状の強度を持つ分光分布として測定される。

【0070】

図７は、色校正用ホログラム３０２から出射される単一波長の回折光分光分布の一例を示す図である。図７において、横軸は回折光の波長（Wavelength）を示し、縦軸は回折光の相対強度（Relative Intensity）を示している。
回折光は、図７に示すように、特定の波長付近の狭帯域において山形状の強度（相対強度）を持つ回折光分光分布として測定される。この回折光分光分布は、単一波長の光の分光分布として近似して、以降の分光感度を求める計算に用いることができる。山形状の強度を持つ回折光分光分布を用いて、後述する分光感度を計算しても、単一波長として近似できる狭帯域であれば、分光感度の計算結果に大きな影響、すなわち実際に単一波長の光を用いて計算した場合に比較して、色校正の精度に影響を与える大きさの誤差は生じない。上述した理由から、本実施形態においては、図７に示す回折光分光分布を単一波長の分光分布として色校正に用いている。

【0071】

また、回折光分光分布を求めるために撮像する回折光の次数は、回折光の強度が最も強い±１次が望ましい。また、光源４００以外から放射された環境光等がホログラムに入射すると、０次、１次回折光が観察される範囲が限定され、±２次以降の回折光は強度が低い。これにより、回折光が色として画像データにおける各画素の信号値として反映され難くなる。そのため、想定する光の照射角度αと主な撮像装置の観察角度βを考慮して、色校正用ホログラム３０２における回折格子の空間周波数を調整することにより、環境光の影響を受け難い設計にすることができる。
一方、環境光の影響が少ない状態において色校正用ホログラム３０２を撮像する等、撮像の条件次第では、色校正用ホログラム３０２から出射されるｎ次（ｎ≧２）の回折光でも、回折光分光分布の推定は可能である。

【0072】

そして、回折光分光分布計算部１０６は、計算した回折光の波長が可視光波長域内である場合に、撮像画像データを分光感度推定処理に用いることが可能な撮像画像データとして、その撮像画像データ識別情報に対応させて、撮像画像データアドレス及び回折光分光分布の各々を対応付けて、画像データ記憶部１１０における分光感度推定用撮像画像データテーブルに対して書き込んで記憶させる。

【0073】

図８は、画像データ記憶部１１０における分光感度推定用撮像画像データテーブルの構成例を示す図である。図８において、撮像画像データ識別情報は、図４の校正用撮像画像データテーブルと同様に、撮像画像データの各々を識別するための情報である。図８の撮像画像データアドレスは、撮像画像データの各々が記憶されている画像データ記憶部１１０における領域のアドレスを示しており、画像データ記憶部１１０から撮像画像データを読み出す際のインデックスとなっている。図８の回折光分光分布は、上記撮像画像データ識別情報の示す撮像画像データを撮像する際の観察角度に対応した、色校正用ホログラム３０２からの回折光分光分布の分光波長及びその分光波長における強度を示している。すなわち、画像データ記憶部１１０における分光感度推定用撮像画像データテーブルには、複数の撮像画像データ識別情報と、複数の撮像画像データアドレスと、複数の回折光分光分布の情報（分光波長及びその分光波長における強度）とが、各々対応付けられて保持される。

【0074】

図１に戻り、分光感度推定部１０７は、回折光分光分布計算部１０６が画像データ記憶部１１０に記録した回折光分光分布と、この回折光分光分布に対応する撮像画像データとの各々を用い、撮像部１０１の分光感度の推定を行なう。以下、分光感度推定部１０７が行なう分光感度の推定の処理を説明する。
この分光感度の推定において、ＲＡＷデータから得られる色成分ＲＧＢそれぞれの信号値をｃ_Ｒ、ｃ_Ｇ及びｃ_Ｂとする。また、撮像部１０１のＲＧＢの各々の波長帯域の分光感度を光の波長λの関数として、それぞれＳ_Ｒ（λ）、Ｓ_Ｇ（λ）、Ｓ_Ｂ（λ）とする。そして、撮像部１０１に入射される回折光の回折光分光分布を、光の波長λの関数としてＬ（λ）とした場合、以下に示す（２）式が成り立つ。

【0075】

【数2】

【0076】

（２）式において、例えば、信号値ｃ_Ｒは、撮像部１０１における色成分Ｒの光学系における分光感度Ｓ_Ｒ（λ）に対して回折光分光分布を乗算した関数を、色成分Ｒの波長帯域（λの範囲）において積分した結果として、分光感度推定部１０７により算出される。
他の信号値ｃ_Ｇ及び信号値ｃ_Ｂの各々も、上記信号値ｃ_Ｒと同様に、分光感度推定部１０７により算出される。

【0077】

また、コンピュータで計算処理が行えるように、上記（２）式における波長λを、所定の刻み幅の間隔の離散値とする。この波長λの離散値化により、ＲＧＢ色成分毎の色の感度を示す分光感度の関数Ｓ_Ｒ（λ）、Ｓ_Ｇ（λ）及びＳ_Ｂ（λ）の各々を、それぞれ行ベクトルＳ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂとし、入射される光の分光分布の関数Ｌ（λ）を列ベクトルＬとすることにより、（２）式を以下に示す（３）式として近似して表す。

【0078】

【数3】

【0079】

分光感度の行ベクトルＳ_Ｒ、Ｓ_Ｇ及びＳ_Ｂの各々の推定においては、既知の入射光の分光分布の列ベクトルＬと、この入射光を撮像部１０１で撮像した際におけるＲＡＷデータから得られるＲＧＢの各々の色成分の信号値ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂそれぞれの組み合わせを、所定数取得する。この所定数は、そして、行ベクトルＳ_Ｒ、Ｓ_Ｇ及びＳ_Ｂ（各色成分の分光感度）の各々は、一般的に、例えば、上記（３）式において、行ベクトルＳ_Ｒ、Ｓ_Ｇ及びＳ_Ｂ各々両辺に右からＬの逆行列をかける等の演算により推定が行なわれる。

【0080】

一方、本実施形態において、すでに述べたように、色校正用ホログラム３０２から入射される回折光は、単一波長の光で近似できる狭帯域の回折光分光分布を有している。すなわち、撮像部１０１に入射される回折光は、単一波長の光であるため、ある一つの波長λｉのみが光の強度を有する回折光分光分布となっている。この結果、（３）式においては、列ベクトルＬの各成分において、回折光の波長に対応する一つの波長λｉの成分のみで正の数値（光の強度）を示すことになる。そして、列ベクトルＬにおいて、上記波長λｉ以外の成分における波長λは、回折光分光分布に存在しないために全て「０」の数値となる。

【0081】

このように、列ベクトルＬのｉ行目の成分のみが正の数値となることにより、（３）式においては、右辺が、行ベクトルＳ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの各々のｉ列目（波長λｉに対応）の成分Ｓ_Ｒｉ、Ｓ_Ｇｉ、Ｓ_Ｂｉそれぞれと、列ベクトルＬのｉ行目の成分の波長λｉの数値Ｌｉ（波長λｉの回折光の強度の数値）との積、すなわちＳ_Ｒｉ×Ｌｉ、Ｓ_Ｇｉ×Ｌｉ、Ｓ_Ｂｉ×Ｌｉを並べた列ベクトルとなる。
したがって、数値Ｌｉにより、行ベクトルの信号値ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂの各々の波長λｉにおける数値を除算することにより、ＲＧＢ成分の各々の波長λｉにおける分光感度を得ることができる。すなわち、波長λｉにおいて入力した回折光の信号値ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂの各々を、波長λｉの回折光の強度を示す数値Ｌｉにより除算することにより、ＲＧＢ成分の各々の波長λｉにおける分光感度を得ることができる。ここで、波長λｉの分光感度Ｓ_Ｒｉ，Ｓ_Ｇｉ，Ｓ_Ｂｉの各々は、それぞれｃ_Ｒ／Ｌｉ，ｃ_Ｇ／Ｌｉ，ｃ_Ｂ／Ｌｉで求められる。

【0082】

そして、取得した所定数の様々な波長の回折光を用い、回折光の波長λｉ毎に、回折光の信号値ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂの各々を、波長λｉの回折光の強度の数値Ｌｉ（強度Ｌｉともいう）により除算し、波長λｉ毎に離散値としての分光感度Ｓ_Ｒｉ，Ｓ_Ｇｉ，Ｓ_Ｂｉそれぞれを求める。この所定の間隔（例えば４ｎｍ）毎に求めた離散値である分光感度Ｓ_Ｒｉ，Ｓ_Ｇｉ，Ｓ_Ｂｉにより、関数のフィッティング処理などを行ない、その波長λｉ間における信号値を求めて補間することにより、分光感度の関数Ｓ_Ｒ（λ）、Ｓ_Ｇ（λ）及びＳ_Ｂ（λ）の各々を推定する。ここで、回折光の強度Ｌｉは、光源の放射光の分光分布における波長λｉの強度に対して、色校正用ホログラム３０２の波長λｉにおける回折効率（回折効率特性）を乗じて算出された数値である。

【0083】

上述したように、分光感度推定部１０７は、画像データ記憶部１１０に記憶されている分光感度推定用撮像画像データテーブルを参照し、順次、撮像画像データアドレスと回折光分光分布を読み出す。そして、分光感度推定部１０７は、撮像画像データアドレスにより、画像データ記憶部１１０から撮像画像データを読み出し、この撮像画像における色校正用ホログラム３０２の撮像されている画素位置を座標変換式により求める。
分光感度推定部１０７は、色校正用ホログラム３０２に対応する画素からＲＧＢの各々の色成分の信号値（例えば（３）式のｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂに相当）を求める。

【0084】

そして、分光感度推定部１０７は、順次、ＲＧＢ分光感度推定用撮像画像データテーブルから読み出した波長λｉ毎に、回折光分光分布における波長λｉの回折光の強度Ｌｉにより、ＲＧＢの各々の色成分の波長λｉの信号値を除算し、ＲＧＢそれぞれの色成分の分光感度を求める。言い換えれば、分光感度推定部１０７は、ある波長の回折光の回折光分光分布と、当該波長の回折光の撮像画像データにおける信号値とから、当該波長の回折光における分光感度を求める。分光感度推定部１０７は、分光感度推定用撮像画像データテーブルにおける全ての撮像画像データに対する分光感度を求める処理が終了すると、波長λｉ間における信号値を補間し、生成される分光感度の関数Ｓ_Ｒ（λ）、Ｓ_Ｇ（λ）及びＳ_Ｂ（λ）の各々を、画像データ記憶部１１０に対して書き込んで記憶させる。

【0085】

色校正部１０８は、分光感度推定部１０７が推定した撮像部１０１の分光感度を用いて、撮像部１０１で撮像した撮像画像データの色を、他の標準的な撮像装置で撮像した撮像画像データの色に合うように画像の色の校正を行う。すなわち、色校正部１０８は、撮像部１０１で撮像した撮像画像データの、撮像部１０１と異なる標準的な撮像装置で撮像した撮像画像データに対する色の異なりを校正する。
本実施形態においては、分光感度推定部１０７が推定した分光感度Ｓ１を持つ撮像部１０１で撮像したＲＡＷデータをデモザイク処理のみで変換した撮像画像データＰ１を、撮像部１０１と異なる（例えば、標準的な）分光感度Ｓ２を持つ撮像装置で撮像したＲＡＷデータをデモザイク処理のみで変換した撮像画像データＰ２へと色変換する処理、すなわち分光感度Ｓ１と分光感度Ｓ２が既知の状態で、撮像画像データＰ１の信号値から撮像画像データＰ２の信号値に色変換を行うことを色校正と定義する。すなわち、分光感度Ｓ１が、画像データ記憶部１１０に記憶されている分光感度の関数Ｓ_Ｒ（λ）、Ｓ_Ｇ（λ）及びＳ_Ｂ（λ）の各々であり、分光感度Ｓ２が、標準的な撮像装置のＲＧＢの各々の色成分の分光感度の関数である。なお、標準的な撮像装置における分光感度の関数（分光感度Ｓ２）は、色校正装置１の内部または外部の記憶部（図示せず）に記憶されていてもよいよいし、画像データ記憶部１１０に記憶されていてもよい。

【0086】

上述した撮像画像データＰ１を撮像画像データＰ２とする色校正は、分光感度Ｓ１の撮像部１０１により撮像した被写体の撮像画像データＰ１におけるＲＧＢの各々の信号値が、分光感度Ｓ２の撮像装置で撮像した場合（撮像画像データＰ２の場合）に、どのようなＲＧＢの各々の信号値となるかを推定する処理である。例えば、撮像画像データＰ１及び撮像画像データＰ２の各々における被写体の同一の１画素に注目し、その１画素におけるＲＧＢの各々の色成分の信号値を、信号値Ｃ１、信号値Ｃ２それぞれとする。そして、被写体のその１画素における回折光分光分布をＬｓとした場合、分光感度Ｓ１、分光感度Ｓ２から、信号値Ｃ１及び信号値Ｃ２は以下の（４）式により表される。信号値Ｃ１及び信号値Ｃ２の各々は、それぞれＲＧＢの色成分毎の信号値である。

【0087】

【数4】

【0088】

すなわち、（４）式においては、信号値Ｃ１は回折光分光分布における光強度Ｌｓに分光感度Ｓ１を乗じた数値であり、信号値Ｃ２は分光分布における光強度Ｌｓに分光感度Ｓ２を乗じた数値であることが示されている。
すでに述べたように、撮像画像データＰ１から撮像画像データＰ２への色変換は、撮像画像データにおける全ての画素のＲＧＢの色成分の信号値Ｃ１の各々を、信号値Ｃ２それぞれへの変換を行うことと等価である。
例えば、分光感度Ｓ１の擬似逆行列をＳ１^＋とし、上記（４）式の２つの方程式から分光分布の光強度Ｌｓを消去することにより、以下に示す（５）式が成り立つ。

【0089】

【数5】

【0090】

上記（５）式に示されるように、撮像画像データＰ１におけるＲＧＢの色成分毎の信号値Ｃ１と、撮像画像データＰ２におけるＲＧＢの色成分毎の信号値Ｃ２との関係が既知の分光感度Ｓ１及び分光感度Ｓ２の各々により表され、撮像画像データＰ１の信号値Ｃ１から撮像画像データＰ２の信号値Ｃ２への変換が可能となる。これにより、撮像画像データＰ１から撮像画像データＰ２への各画素における色変換が容易に行える。

【0091】

表示部１０９は、例えば、液晶ディスプレイであり、自身の表示画面に対して撮像した撮像画像データＰ１の画像、あるいは推定した分光感度の関数を示すグラフなどを表示する。
画像データ記憶部１１０には、すでに説明したように、撮像画像データ、校正用撮像画像データテーブル及び分光感度推定用撮像画像データテーブルの各々が書き込まれて記憶されている。

【0092】

また、撮像制御部１０２は、撮像時において、色校正用ホログラム３０２を撮像する際の観察角度が予め設定された角度範囲に入っているか否かの判定を行う。ここで、角度範囲とは、色校正用ホログラム３０２において、異なる観察角度によって、それぞれ異なる回折光を観察することができる角度の範囲を示している。この角度範囲に観察角度が入っていない場合、対応する回折光が撮像できず、分光感度推定に用いることができない。
このとき、撮像制御部１０２は、撮像部１０１の撮像方向である観察角度を、観察角度推定部１０５に推定させる。そして、撮像制御部１０２は、観察角度推定部１０５が推定した観察角度が角度範囲に入っている場合に撮像処理における角度条件を満たし、一方、推定された観察角度が角度範囲に入っていない場合に撮像処理における角度条件を満たさないとする表示を表示部１０９の表示画面に表示し、ユーザに対して撮像部１０１の観察角度を角度範囲内の観察角度に調整することを促す。

【0093】

また、撮像制御部１０２は、撮像部１０１が撮像する際に、観察角度推定及び回折光の色の取得が可能な品質を有する撮像画像データを撮像する撮像条件を満足しているか否かの判定を行う。撮像条件として、撮像部１０１における焦点距離が、座標変換式を作成した際に用いられた焦点距離と同様か否かを検出する。そして、撮像制御部１０２は、現在設定されている焦点距離が座標変換式を作成した際に用いた焦点距離と同様の場合に撮像処理における撮像条件を満たし、一方、現在設定されている焦点距離が座標変換式を作成した際に用いた焦点距離と異なっている場合に撮像処理における撮像条件を満たさないとする表示を表示部１０９の表示画面に表示し、ユーザに対して焦点距離を調整することを促す。また、撮像条件における露光条件に、照明の有無あるいは照明の強度を必要に応じて加える構成としても良い。

【0094】

また、撮像制御部１０２は、撮像条件として、撮像部１０１における露光条件を設定する際、輝度ヒストグラムを生成する。この輝度ヒストグラムは、撮像画像データにおける画素の階調度の分布を示している。そして、撮像制御部１０２は、この輝度ヒストグラムを用いて、撮像画像データにおける階調度の分布が高階調度側あるいは低階調度側に偏っていないか否かの判定を行う。例えば、輝度ヒストグラムにおける階調度の分布が低階調度側に偏っている場合、すなわち、階調度が「０」から「２５５」の２５６段階で表現されており、撮像画像データにおける階調度「０」近傍の画素が多い場合、撮像画像データに黒つぶれが発生して回折光の色の取得が行えなくなる。一方、輝度ヒストグラムにおける階調度の分布が高階調度側に偏っている場合、すなわち撮像画像データにおける階調度「２５５」近傍の画素が多い場合、撮像画像データに白飛びが発生して回折光の色の取得が行えなくなる。

【0095】

このため、輝度ヒストグラムの分布が、階調度が「０」から「２５５」の範囲の中央近傍に存在するように、露光条件を設定する必要がある。
撮像制御部１０２は、輝度ヒストグラムの階調度の分布に基づき、照明の調整が必要か否かの判定を行う。撮像制御部１０２は、黒つぶれが発生することが推定され、輝度ヒストグラムの分布を高階調度側にシフトさせる照明の調整が必要な場合、露光制御部１０３に対して照明部１０４の撮像時における色校正用ホログラム３０２の照明を所定の強度で行わせる（例えばフラッシュ光を撮像方向に照射させる）。また、撮像制御部１０２は、色校正装置１が露光制御部１０３及び照明部１０４を有していない場合、ユーザに対して必要な光強度の照明を色校正用ホログラム３０２に対して照射することを促す表示を表示部１０９の表示画面に表示する。

【0096】

一方、撮像制御部１０２は、白飛びが発生することが推定され、輝度ヒストグラムの分布を低階調度側にシフトさせる照明の調整が必要な場合、露光制御部１０３に対して照明部１０４の撮像時における色校正用ホログラム３０２の照明を行わせないあるいは所定の強度で行わせる。また、撮像制御部１０２は、ユーザに対して必要な光強度の照明を、色校正用ホログラム３０２に対して照射するため、現在の色校正用ホログラム３０２周囲の照明の強度を低下させることを促す表示を表示部１０９の表示画面に表示する。

【0097】

上述の処理において、輝度ヒストグラムの分布状態と、分布状態に対応する露光条件や照明の強度などの制御条件とを記載した露光制御テーブルを作成し、画像データ記憶部１１０に対して予め書き込んでおく構成としても良い。この場合、撮像制御部１０２は、撮像する撮像画像データの輝度ヒストグラムのパターンに類似する輝度ヒストグラムを画像データ記憶部１１０における露光制御テーブルから検索し、撮像する撮像画像データの露光条件や照明の強度などの制御条件の情報を読み出し、この制御条件を上述したように表示部１０９の表示画面に表示する。

【0098】

また、露光制御部１０３に対して照度センサを設け、この照度センサにより測定される照度により、露光条件や照明の照度を設定するようにしても良い。ここで、照度と、照度に対応する露光条件や照明の強度などの制御条件とを記載した露光制御テーブルを作成し、画像データ記憶部１１０に対して予め書き込んでおく構成としても良い。この場合、撮像制御部１０２は、撮像画像データを撮像する際の照度に対応させて、画像データ記憶部１１０における露光制御テーブルから検索し、撮像する撮像画像データの露光条件や照明の強度などの制御条件の情報を読み出し、この制御条件を上述したように表示部１０９の表示画面に表示する。

【0099】

次に、図９は、第１の実施形態の色校正システムにおけるホログラム（色校正用ホログラム３０２）を用いた撮像装置の色校正の動作例を示すフローチャートである。ユーザが例えばパーソナルコンピュータにおいて色校正のアプリケーションを起動すると、このパーソナルコンピュータのメインメモリ上に色校正システムの各部の機能が展開される。そして、撮像部１０１を動画モードで起動し、撮像方向にある撮像対象の撮像を開始する。
以下の撮像画像データは、撮像部１０１が動画として撮像するフレーム単位の画像を示している。

【0100】

ステップＳ１１：
撮像制御部１０２は、撮像画像データにおける色校正用ホログラム３０２の撮像位置を抽出する。すなわち、撮像制御部１０２は、撮像部１０１の撮像範囲内におけるクレジットカード３００の形状を得る。そして、撮像制御部１０２は、得られたクレジットカード３００の形状と、予め記憶されているクレジットカード３００の３次元形状とを比較し、撮像部１０１の撮像範囲内における色校正用ホログラム３０２の領域を抽出する。このとき、撮像制御部１０２は、撮像方向の撮像画像とともに、クレジットカード３００の画像を入れる画像枠を表示部１０９に表示し、ある程度の撮像位置及び撮像角度にてユーザがクレジットカード３００を撮像するように促すようにしても良い。

【0101】

また、撮像制御部１０２は、色校正用ホログラム３０２の撮像方向、すなわち観察角度の推定処理を観察角度推定部１０５に行わせる。これにより、観察角度推定部１０５は、撮像部１０１の撮像範囲における撮像画像データから得られるクレジットカード３００の形状と、予め記憶されている３次元座標系におけるクレジットカード３００の３次元形状とを比較することにより、色校正用ホログラム３０２の観察位置及び観察角度を推定する。ここで、観察角度推定部１０５は、上記比較により、撮像部１０１がクレジットカード３００を撮像する撮像位置及び撮像方向を求める。そして、観察角度推定部１０５は、３次元座標系におけるクレジットカード３００の色校正用ホログラム３０２が添付されている面の法線と、撮像部１０１の撮像方向とのなす角度を観察角度として求め、観察位置とともに撮像制御部１０２に対して出力する。

【0102】

ステップＳ１２：
撮像制御部１０２は、観察角度推定部１０５から入力される撮像部１０１によるホログラムの観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っているか否かの判定を行う。
このとき、撮像制御部１０２は、撮像部１０１による色校正用ホログラム３０２の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っている場合、処理をステップＳ１４へ進める。
一方、撮像制御部１０２は、撮像部１０１による色校正用ホログラム３０２の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っていない場合、処理をステップＳ１３へ進める。

【0103】

また、撮像制御部１０２は、設定観察位置及び設定観察角度の判定に加えて焦点距離及び露光条件などの撮像条件の全てが、回折光の色取得が可能な撮像画像データが撮像できている条件であるか否かの判定を行うようにしても良い。このとき、撮像制御部１０２は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件である場合、処理をステップＳ１４へ進める。一方、撮像制御部１０２は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件でない場合、処理をステップＳ１３へ進める。

【0104】

ステップＳ１３：
撮像制御部１０２は、観察位置及び観察角度が回折光を撮像する条件を満たしていないことを表示部１０９に表示し、ユーザに調整を促す。ユーザは、表示部１０９に表示された指示に従って撮像部１０１の撮像方向及び位置の調整を行う。また、撮像制御部１０２は、撮像部１０１の焦点距離及び露光条件などの撮像条件の調整が必要な場合に表示部１０９に表示しても良い。その場合、ユーザは１０９に表示された指示に従って撮像部１０１の焦点距離及び露光条件などの撮像条件の調整を行う。

【0105】

ステップＳ１４：
回折光分光分布計算部１０６は、予め与えられた光源４００の放射光の分光分布と、同じく予め与えられた色校正用ホログラム３０２の空間周波数や回折効率といった回折光特性と、観察角度及び観察位置から、回折光分光分布を計算する。

【0106】

ステップＳ１５：
回折光分光分布計算部１０６は、画像データ記憶部１１０の所定の領域に対して、撮像部１０１が撮像している撮像画像データを書き込んで記憶させる。また、回折光分光分布計算部１０６は、画像データ記憶部１１０における撮像画像データを書き込んだ領域のアドレスである撮像画像データアドレスと回折光分光分布を画像データ記憶部１１０の分光感度推定用撮像画像テーブルに対して書き込んで記憶させる。

【0107】

ステップＳ１６：
撮像制御部１０２は、画像データ記憶部１１０の分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度推定に十分な種類数であるか判定する。十分な種類数であるかの判定基準は、分光感度推定用撮像画像テーブルに記憶されている波長の種類の数でも良いし、分光感度推定に必要な予め設定された波長における回折光分光分布が全て得られたかどうかでも良い。例えば、撮像制御部１０２は、可視波長域の波長帯域３８０ｎｍから７８０ｎｍまでを４ｎｍ毎の間隔で離散化した、１００個の波長λのデータが全て得られたか否かなどにより、分光感度の推定に十分な回折光分光分布が取得できたか否かの判定を行なう。

【0108】

そして、撮像制御部１０２は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に十分な種類数である場合、処理をステップＳ１８に進める。
一方、撮像制御部１０２は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に十分な種類数でない場合、処理をステップＳ１７に進める。

【0109】

ステップＳ１７：
撮像制御部１０２は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布と異なる回折光を撮像させる処理を行なう。すなわち、撮像制御部１０２は、観察角度を変更する指示を表示部１０９に表示し、ユーザに対してクレジットカード３００の撮像を行なう観察角度の変更を促す。そして、撮像制御部１０２は、処理をステップＳ１１に進める。

【0110】

ステップＳ１８：
分光感度推定部１０７は、画像データ記憶部１１０の分光感度推定用撮像画像テーブルに記憶されている撮像画像データアドレスと回折光分光分布を全て読み出す。また、分光感度推定部１０７は、撮像画像データアドレスにより撮像画像データを画像データ記憶部１１０から読み出す。

【0111】

そして、分光感度推定部１０７は、画像データ記憶部１１０から読み出した撮像画像データにおいて、色校正用ホログラム３０２の画素位置を、座標変換式により抽出する。分光感度推定部１０７は、色校正用ホログラム３０２の画素から回折光のＲＧＢの各々の色成分の信号値を取得し、それぞれ対応する波長の回折光分光分布と組み合わせて撮像部１０１の分光感度を推定する。

【0112】

ステップＳ１９：
色校正部１０８は、分光感度推定部１０７が推定した撮像部１０１の分光感度に基づき、撮像部１０１が撮像した撮像画像データＰ１を、標準的な撮像装置で撮像した撮像画像データＰ２の色に合うように色校正を行う。

【0113】

そして、図示しない真贋判定部は、標準的な撮像装置で撮像対象（真贋判定用ホログラム３０１）を撮像した際の回折光の参照パターン（真の回折光のパターン）を、画像データ記憶部１１０から、撮像画像データを撮像した際の観察角度に対応して読み出す。
また、上記真贋判定部は、すでに説明した分光感度推定部１０７が推定した分光感度により、撮像画像データにおける真贋判定用ホログラム３０１の画素領域のＲＧＢの各々の色成分の色校正を行なう。真贋判定部は、色校正を行なった撮像画像データの回折光のパターンと、読み出した上記参照パターンとの類似度を比較し、類似度が所定の閾値以上の場合に真と判定し、一方、類似度が所定の閾未満の場合に偽と判定する。上記参照パターンは、標準的な撮像装置で撮像した色によりパターンが形成されている。

【0114】

上述した構成により、本実施形態によれば、マクベスカラーチャートなどのカラーチャートを用いた場合と異なり、周囲の環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイル（分光感度関数）を生成することができる。これにより、本実施形態によれば、クレジットカード３００の表面に偽造防止媒体として設けられた真贋判定用ホログラム３０１の回折光の色を、標準的な撮像装置により撮像した場合の色に変換することができ、撮像部１０１の光学系の特性の影響を受けることが無くなるため、クレジットカード３００の真贋判定の精度を向上させることができる。

【0115】

一般的に、反射型のホログラムとしては、金属箔によって回折光を反射するレインボーホログラムやホログラムそのものの回折によって反射させるリップマンホログラムがある。フルカラーのホログラムは、表面の回折格子に入射した光が回折を起こして色を発色するため、放射光がある程度の分光分布を持った照明であれば、狭帯域の回折光分光分布を持った回折光を出射することが可能である。よって、設計によっては反射する光を波長分布レベルで調整し、任意の色彩（ＲＧＢの各々の色成分の回折光分光分布）を表現することができる（例えば、日本国特開平８−２６１８２７号公報、日本国特表平８−５００１９２号公報及び特開平３−２８００７８号公報を参照）。

【0116】

また、本実施形態によれば、クレジットカード３００を撮像部１０１により、動画で取得することにより、真贋判定用ホログラム３０１及び色校正用ホログラム３０２の各々の回折光を取得することができる。このため、ユーザが全く意識をせずに、色校正装置１は、色の校正を行なうための分光感度を色校正用ホログラム３０２により求める。そして、色校正装置１は、求めた分光感度に基づいて、真贋判定用ホログラム３０１の回折光の撮像画像データを、標準的な撮像装置で撮像した際の色に校正する。そして、真贋判定部は、校正された真贋判定用ホログラム３０１の回折光の撮像画像データと、同一の観察角度において標準的な撮像装置で撮像した際の回折光の参照パターンとを比較し、その類似度により真贋判定を行なうため、精度の高い真贋判定を行なうことが可能となる。

【0117】

また、本実施形態によれば、回折光のパターンの回折方向、すなわち観察角度をホログラムの空間周波数により、環境光の影響を避けるようにコントロールできる。さらに、本実施形態によれば、ホログラムの回折光が単一波長の光であることから、撮像部１０１の撮像素子を含む光学系の特性による分光感度を正確に推定することが可能となる。

【0118】

また、マクベスカラーチャートなどの一般的なカラーチャートは、表面が拡散反射特性を持っているため、環境光を含む全ての光源の影響を受ける。そのため、従来は遮蔽物等で各色票への光の当たり方が異ならないように注意する必要がある。また、光源の分光分布によっては条件等色現象が起こるため、カメラの色特性を正確に把握するために様々な分光反射率の色票を多数、例えば２４種類を並列に並べる必要があり、サイズが大きくなる。さらに、鏡面反射を避けるために粉体による塗装がされていることから汚れやすい。
しかしながら、本実施形態によれば、マクベスカラーチャートと比べ、撮像対象であるホログラムに保護フィルムを設けることができるため汚れに強く、回折格子からなる一つの領域で様々な色の回折光を取得可能なためサイズを小さくできる。

【0119】

また、本実施形態においては、クレジットカード３００に対し、真贋判定用ホログラム３０１及び色校正用ホログラム３０２の各々を、それぞれ独立したホログラムとして形成する構成例を示した。
しかしながら、一個のホログラムを、色校正に用いる回折光のパターンと真贋判定に用いる回折光のパターンとの各々を出射する色校正真贋判定ホログラムとして構成しても良い。すなわち、回折光のパターンが出射される観察角度範囲が、予め、色校正用の回折光のパターンの角度範囲と、真贋判定用の回折光のパターンの角度範囲との各々に設定されている。これにより、色校正真贋判定ホログラムにおける上記観察角度範囲内で撮像画像データを撮像することにより、色校正に用いる分光感度を求める回折光のパターンと、真贋判定に用いる回折光のパターンとの各々は、一括して得られる。

【0120】

＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図１０は、第２の実施形態による色校正システムの構成例を示すブロック図である。図１０において、色校正システム５Ａは、色校正装置１Ａ及び画像撮像装置３を備えている。色校正装置１Ａは、撮像制御部１０２、観察角度推定部１０５、回折光分光分布計算部１０６、分光感度推定部１０７、色校正部１０８、表示部１０９及び画像データ記憶部１１０を備えている。また、画像撮像装置３は、撮像部１０１、露光制御部１０３、照明部１０４を備えている。本実施形態においては、色校正装置１Ａと色校正用ホログラム３０２とにより、色校正システム５Ａが構成される。図１０において、第１の実施形態と同様の構成については同一の符号を付してある。

【0121】

本実施形態においては、色校正システム５Ａが第１の実施形態における撮像及び露光の機能を画像撮像装置３として、色校正装置１Ａから分離した構成となっている。これにより、汎用のデジタルカメラあるいは携帯端末（携帯電話やスマートフォン含む）などの色校正対象となる撮像装置を外部に接続した装置からコントロールでき、複数の撮像装置を取り扱うことも可能となる。
また、色校正装置１Ａはクラウド構成として、図示してはいないが、デジタルカメラあるいは携帯端末とインターネットなどの情報通信回線を用いて通信できるようにしてもよい。そして、色校正装置１Ａは、すでに述べた第１の実施形態と同様に、デジタルカメラあるいは携帯端末から送信される撮像画像データを用いて、当該撮像装置の色校正処理を行う構成としてもよい。
この第２の実施形態においても、上述した第１の実施形態と同様の作用効果を得ることができる。

【0122】

＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。本実施形態の説明において、前記第１実施形態と同様の構成要素に対しては同一の符号を付し、その説明を省略する。図１１は、第３の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。図１１において、色校正装置１Ｂは、撮像部１０１、撮像制御部１０２、露光制御部１０３、照明部１０４、観察角度推定部１０５、回折光分光分布計算部１０６、撮像動作指示部１１１、分光感度推定部１０７、色校正部１０８、表示部１０９及び画像データ記憶部１１０を備えている。色校正装置１Ｂと色校正用ホログラム３０２とにより、色校正システム５Ｂが構成される。

【0123】

図１１に示すように、撮像動作指示部１１１は、回折光分光分布計算部１０６が画像データ記憶部１１０に記憶した回折光分光分布の分光波長（単に、回折光分光分布と称する場合もある）を全て参照し、それらが撮像部１０１の分光感度を推定するために十分であるか否かの判定を行う。すなわち、撮像動作指示部１１１は、予め設定されている、分光感度推定を必要な精度で行うために必要な複数の設定回折光分光分布に各々対応する回折光分光分布が全て取得されたか否かの判定を行う。
図１２は、画像データ記憶部１１０に記憶されている回折光分光分布取得完了テーブルの構成例を示す図である。

【0124】

図１２に示す回折光分光分布取得完了テーブルは、設定回折光分光分布の欄と、この設定回折光分光分布に対応した完了フラグの欄とが設けられている。設定回折光分光分布は、分光感度推定を必要な精度で行うために必要な周期の設定回折光分光分布の分光波長が記載されている。例えば、設定回折光分光分布は、３８０ｎｍから７８０ｎｍを、１０ｎｍの周期で分割した、３８０ｎｍ、３９０ｎｍ、…、７７０ｎｍ、７８０ｎｍの分光波長として設定されている。完了フラグは、設定回折光分光分布の分光波長と一致する回折光分光分布の分光波長が撮像画像から取得された場合、取得された設定回折光分光分布の分光波長に対応する欄に書き込まれるフラグである。例えば、完了フラグは、取得された場合「１」であり、取得されていない場合「０」である。ここで、回折光分光分布取得完了テーブルにおいては、初期状態として全ての完了フラグが「０」とされている。

【0125】

図１１に戻り、撮像動作指示部１１１は、画像データ記憶部１１０の分光感度推定用撮像画像データテーブルにおける回折光分光分布を参照し、回折光分光分布取得完了テーブルの設定回折光分光分布に対応する回折光分光分布が取得されているか否かの検出（すなわち、設定回折光分光分布の分光波長に対応する分光波長の回折光分光分布が、分光感度推定用撮像画像データテーブルに記憶されているか否かの検出）を行う。
そして、撮像動作指示部１１１は、設定回折光分光分布の分光波長に対応する分光波長の回折光分光分布が取得されていることを検出すると、回折光分光分布取得完了テーブルにおけるこの設定回折光分光分布の分光波長に対応する完了フラグの欄に対して完了フラグを立てる、すなわち「０」から「１」にフラグを書き換える。

【0126】

また、撮像動作指示部１１１は、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致しているか否かの判定を行う際、設定回折光分光分布の分光波長を中心とした誤差範囲内、例えば３９０ｎｍ±２ｎｍに回折光分光分布の分光波長が含まれるか否かにより行う。このとき、撮像動作指示部１１１は、回折光分光分布の分光波長が設定回折光分光分布の分光波長を中心とした誤差範囲内に含まれる場合、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致していると判定する。一方、撮像動作指示部１１１は、回折光分光分布の分光波長が設定回折光分光分布の分光波長を中心とした誤差範囲内に含まれない場合、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致していないと判定する。また、撮像動作指示部１１１は、回折光分光分布取得完了テーブルの全ての完了フラグが「１」になっているか否かにより、分光感度の推定が行えるか否かの判定を行う。そして、撮像動作指示部１１１は、分光感度の推定が行えないと判定した場合、表示部１０９に対して、取得されていない回折光分光分布の分光波長の取得を促す通知を表示する。

【0127】

図１３は、撮像動作指示部１１１が表示部１０９の表示画面に表示する回折光分光分布の取得を促す通知の一例を示す図である。図１３において、撮像動作指示部１１１により、表示部１０９の表示画面１０９Ｓには、クレジットカード３００の画像を入れる画像枠１０９＿１が表示される。また、表示画面１０９Ｓには、撮像画像の撮像方向を移動させる矢印１０９＿２Ｕ及び矢印１０９＿２Ｄの各々が表示される。例えば、回折光分光分布の必要な取得範囲において、現在の撮像方向に対応する観察角度に対し、より角度の小さい観察角度の範囲の回折光分光分布の取得状況が不十分である場合、現在の撮像方向（観察位置）を上側に（クレジットカード３００から離れる方向に）移動させるため、矢印１０９＿２Ｕを点滅させる誘導表示を行ない、一方、より大きい観察角度の範囲の回折光分光分布の取得状況が不十分である場合、撮像画像の撮像方向（観察位置）を下側に（クレジットカード３００に近づく方向に）移動させるため、矢印１０９＿Ｄを点滅させる誘導表示を行なう。

【0128】

このとき、撮像動作指示部１１１は、取得できていない回折光分光分布を回折光分光分布取得完了テーブルから抽出し、この回折光分光分布に対応する観察角度を求め、現在の観察角度に対して、より大きい側の回折光分光分布が充足されていないか、あるいはより小さい側の回折光分光分布が充足されていないかの判定を行なう。
また、例えば、撮像画像を撮像する際における観察角度の変化速度が速く、必要な波長周期で回折光分光分布が取得できない場合、表示領域１０９＿３には、撮像画像を撮像する際における観察角度の変化速度を遅くするようにユーザに促すために、「撮像する方向をゆっくり変えて、撮像を再度行なってください」等との文字列の画像が、撮像動作指示部１１１により表示される。

【0129】

図１４は、撮像動作指示部１１１が表示部１０９の表示画面に表示する回折光分光分布の取得を促す通知の他の例を示す図である。図１４において、撮像動作指示部１１１により、表示部１０９の表示画面１０９Ｓには、図１３と同様に、クレジットカード３００の画像を入れる画像枠１０９＿１が表示される。表示領域１０９＿３には、図１３と同様に、撮像画像の再度の撮像を促す画像が表示される。取得観察角度確認領域１０９＿４は、取得されている回折光分光分布の分光波長に対応する観察角度と、取得されていない回折光分光分布の分光波長に対応する観察角度とを示している。図１４においては、たとえば、取得する必要のある回折光分光分布の分光波長に対応する観察角度の範囲において、取得されていない回折光分光分布の分光波長に対応する観察角度を示す位置を、点滅して表示させてフェイル領域１０９＿４Ｆとして示している。

【0130】

このとき、撮像動作指示部１１１は、取得できていない回折光分光分布の分光波長を回折光分光分布取得完了テーブルから抽出し、この回折光分光分布の分光波長に対応する観察角度を求める。そして、撮像動作指示部１１１は、表示画面１０９Ｓの表示領域１０９＿３において、求めた取得できていない回折光分光分布の分光波長の観察角度に対応する位置を点滅表示させて、フェイル領域１０９＿４Ｆとして表示する。
ここで、取得観察角度確認領域１０９＿４に対応して、現在の観察角度、すなわち撮像画像の撮像方向を示す矢印１０９＿５が表示されている。これにより、ユーザには、現在の撮像方向に対していずれの方向に取得すべき回折光分光分布の分光波長に対応する観察角度が存在するかが確認できる。ここで、例えば、表示領域１０９＿３には、撮像画像を再撮像させることをユーザに促すために、「矢印の表示が点滅表示している部分をなぞるように、点滅しなくなるまで、撮像する方向をゆっくり変えて、撮像を再度行なってください」等との文字列の画像が、撮像動作指示部１１１により表示される。

【0131】

また、上述の構成において、点滅表示ではなく、フェイル領域１０９＿４Ｆの部分の色を、取得観察角度確認領域１０９＿４の他の部分と異なる色で表示するようにしてもよい。例えば、フェイル領域１０９＿４Ｆの部分を赤色、取得観察角度確認領域１０９＿４の他の部分（回折光分光分布の分光波長が取得されている観察角度の部分）を緑色で表示する。このとき、例えば、表示領域１０９＿３には、撮像画像を再撮像させることをユーザに促すために、「矢印の表示が赤の表示部分をなぞるように、全てが緑色に変わるまで、撮像する方向をゆっくり変えて、撮像を再度行なってください」との文字列の画像が、撮像動作指示部１１１により表示される。

【0132】

分光感度推定部１０７は、撮像動作指示部１１１から、取得が必要な回折光分光分布が全て取得できたことを示す取得信号が供給（入力）されると、回折光分光分布計算部１０６が画像データ記憶部１１０に記録した回折光分光分布と、この回折光分光感度に対応する撮像画像データとの各々を用い、撮像部１０１の分光感度の推定を行なう。

【0133】

次に、図１５は、第３の実施形態の色校正システムにおけるホログラム（色校正用ホログラム３０２）を用いた撮像装置の色校正の動作例を示すフローチャートである。ユーザが例えばパーソナルコンピュータにおいて色校正のアプリケーションを起動すると、このパーソナルコンピュータのメインメモリ上に色校正システムの各部の機能が展開される。
そして、撮像部１０１を動画モードで起動し、撮像方向にある撮像対象の撮像を開始する。以下の撮像画像データは、撮像部１０１が動画として撮像するフレーム単位の画像を示している。

【0134】

ステップＳ２１：
撮像制御部１０２は、撮像画像データにおける色校正用ホログラム３０２の撮像位置を抽出する。すなわち、撮像制御部１０２は、撮像部１０１の撮像範囲内におけるクレジットカード３００の形状を得る。そして、撮像制御部１０２は、得られたクレジットカード３００の形状と、予め記憶されているクレジットカード３００の３次元形状とを比較し、撮像部１０１の撮像範囲内における色校正用ホログラム３０２の領域を抽出する。このとき、撮像制御部１０２は、撮像方向の撮像画像とともに、クレジットカード３００の画像を入れる画像枠を表示部１０９に表示し、ある程度の撮像位置及び撮像角度にてユーザがクレジットカード３００を撮像するように促すようにしても良い。

【0135】

また、撮像制御部１０２は、色校正用ホログラム３０２の撮像方向、すなわち観察角度の推定処理を観察角度推定部１０５に行わせる。これにより、観察角度推定部１０５は、撮像部１０１の撮像範囲における撮像画像データから得られるクレジットカード３００の形状と、予め記憶されている３次元座標系におけるクレジットカード３００の３次元形状とを比較することにより、色校正用ホログラム３０２の観察位置及び観察角度を推定する。ここで、観察角度推定部１０５は、上記比較により、撮像部１０１がクレジットカード３００を撮像する撮像位置及び撮像方向を求める。そして、観察角度推定部１０５は、３次元座標系におけるクレジットカード３００の色校正用ホログラム３０２が添付されている面の法線と、撮像部１０１の撮像方向とのなす角度を観察角度として求め、観察位置とともに撮像制御部１０２に対して出力する。

【0136】

ステップＳ２２：
撮像制御部１０２は、観察角度推定部１０５から入力される撮像部１０１によるホログラムの観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っているか否かの判定を行う。
このとき、撮像制御部１０２は、撮像部１０１による色校正用ホログラム３０２の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っている場合、処理をステップＳ２４へ進める。
一方、撮像制御部１０２は、撮像部１０１による色校正用ホログラム３０２の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っていない場合、処理をステップＳ２３へ進める。

【0137】

また、撮像制御部１０２は、設定観察位置及び設定観察角度の判定に加えて焦点距離及び露光条件などの撮像条件の全てが、回折光の色取得が可能な撮像画像データが撮像できている条件であるか否かの判定を行うようにしても良い。このとき、撮像制御部１０２は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件である場合、処理をステップＳ２４へ進める。一方、撮像制御部１０２は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件でない場合、処理をステップＳ２３へ進める。

【0138】

ステップＳ２３：
撮像制御部１０２は、観察位置及び観察角度が回折光を撮像する条件を満たしていないことを表示部１０９に表示し、ユーザに調整を促す。ユーザは、表示部１０９に表示された指示に従って撮像部１０１の撮像方向及び位置の調整を行う。また、撮像制御部１０２は、撮像部１０１の焦点距離及び露光条件などの撮像条件の調整が必要な場合に表示部１０９に表示しても良い。その場合、ユーザは１０８に表示された指示に従って撮像部１０１の焦点距離及び露光条件などの撮像条件の調整を行う。

【0139】

ステップＳ２４：
回折光分光分布計算部１０６は、予め与えられた光源４００の放射光の分光分布と、同じく予め与えられた色校正用ホログラム３０２の空間周波数や回折効率といった回折光特性と、観察角度及び観察位置から、回折光分光分布を計算する。

【0140】

ステップＳ２５：
回折光分光分布計算部１０６は、画像データ記憶部１１０の所定の領域に対して、撮像部１０１が撮像している撮像画像データを書き込んで記憶させる。また、回折光分光分布計算部１０６は、画像データ記憶部１１０における撮像画像データを書き込んだ領域のアドレスである撮像画像データアドレスと回折光分光分布を画像データ記憶部１１０の分光感度推定用撮像画像テーブルに対して書き込んで記憶させる。
撮像動作指示部１１１は、画像データ記憶部１１０の分光感度推定用撮像画像テーブルを参照して、取得された回折光分光分布の分光波長を抽出する。そして、撮像動作指示部１１１は、画像データ記憶部１１０の回折光分光分布取得完了テーブルを参照し、抽出した回折光分光分布の分光波長と一致する設定回折光分光分布の分光波長を検出し、その完了フラグ欄のフラグを立てる（すなわち、「０」から「１」に変更する）。

【0141】

ステップＳ２６：
撮像動作指示部１１１は、画像データ記憶部１１０の回折光分光分布取得完了テーブルを参照し、予め設定されている設定回折光分光分布の分光波長の完了フラグ欄の全てに、「１」が記載されているか否かの判定、すなわち、分光感度の推定に対して十分な回折光分光分布が取得されたか否かの判定を行なう。ここで、撮像動作指示部１１１は、例えば、３８０ｎｍから７８０ｎｍを、１０ｎｍの周期で分割して離散化された、３８０ｎｍ、３９０ｎｍ、…、７７０ｎｍ、７８０ｎｍの分光波長として設定された設定回折光分光分布の全ての分光波長の各々と一致する分光波長それぞれが回折光分光分布に含まれている否かの判定を行なう。すなわち、撮像動作指示部１１１は、取得された回折光分光分布が予め設定された設定回折光分光分布の分光波長の全てを含んでいるか否かの判定を行なう。

【0142】

上述したように、撮像動作指示部１１１は、画像データ記憶部１１０の分光感度推定用撮像画像テーブル及び回折光分光分布取得完了テーブルの各々を参照して、設定回折光分光分布の分光波長の各々が取得した回折光分光分布の分光波長に含まれているか否かにより、分光感度の推定に十分な回折光分光分布が取得できたか否かの判定を行なう。
このとき、撮像動作指示部１１１は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に必要な、設定回折光分光分布の分光波長の全てを含んでいる場合、処理をステップＳ２７に進める。一方、撮像制御部１０２は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に必要な、設定回折光分光分布の分光波長の全てを含んでいない場合、処理をステップＳ２９に進める。

【0143】

ステップＳ２７：
そして、分光感度推定部１０７は、画像データ記憶部１１０の分光感度推定用撮像画像テーブルに記憶されている撮像画像データアドレスと回折光分光分布を全て読み出す。また、分光感度推定部１０７は、撮像画像データアドレスにより撮像画像データを画像データ記憶部１１０から読み出す。分光感度推定部１０７は、画像データ記憶部１１０から読み出した撮像画像データにおいて、色校正用ホログラム３０２の画素位置を、座標変換式により抽出する。分光感度推定部１０７は、色校正用ホログラム３０２の画素から回折光のＲＧＢの各々の色成分の信号値を取得し、それぞれ対応する波長の回折光分光分布と組み合わせて撮像部１０１の分光感度を推定する。

【0144】

ステップＳ２８：
色校正部１０８は、分光感度推定部１０７が推定した撮像部１０１の分光感度に基づき、撮像部１０１が撮像した撮像画像データＰ１を、標準的な撮像装置で撮像した撮像画像データＰ２の色に合うように色校正を行う。

【0145】

ステップＳ２９：
撮像動作指示部１１１は、分光感度の推定に十分な回折光分光分布が取得できていない場合、設定回折光分光分布における取得されていない分光波長を取得するため、図１３あるいは図１４で示した撮像画像の再撮像を促す画像を表示部１０９の表示画面に対して表示する。
すなわち、撮像動作指示部１１１は、観察角度を変更する指示を表示部１０９に表示し、ユーザに対してクレジットカード３００の撮像を行なう観察角度の変更を促す。

【0146】

ステップＳ３０：
ユーザは、表示部１０９の表示画面に表示された画像に従い、撮像画像の撮像方向を調整、すなわち観察角度の調整を行なう。

【0147】

そして、図示しない真贋判定部は、標準的な撮像装置で撮像対象（真贋判定用ホログラム３０１）を撮像した際の回折光の参照パターン（真の回折光のパターン）を、画像データ記憶部１１０から、撮像画像データを撮像した際の観察角度に対応して読み出す。
また、上記真贋判定部は、すでに説明した分光感度推定部１０７が推定した分光感度により、撮像画像データにおける真贋判定用ホログラム３０１の画素領域のＲＧＢの各々の色成分の色校正を行なう。真贋判定部は、色校正を行なった撮像画像データの回折光のパターンと、読み出した上記参照パターンとの類似度を比較し、類似度が所定の閾値以上の場合に真と判定し、一方、類似度が所定の閾未満の場合に偽と判定する。上記参照パターンは、標準的な撮像装置で撮像した色によりパターンが形成されている。

【0148】

上述した構成により、上述した第１の実施形態と同様の作用効果を得ることができ、さらに本実施形態によれば、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得を行なうための撮像方向を、表示画面においてユーザに直感的に指示することにより、校正に用いる設定回折光分光分布の全ての分光波長を含む回折光分光分布を、ユーザに対して簡易な撮像処理を行なわせて取得することができ、色補正を行なうために用いるハードウェア特性のプロファイルの校正を容易に行なうことができる。
また、本実施形態によれば、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得において、校正に不足する分光波長が存在する場合、校正に必要な全てを取得するための撮像画像の撮像の仕方を通知するため、校正に必要な回折光分光波長の全ての分光波長を漏れなく得ることが可能となり、精度の高いハードウェア特性のプロファイルの校正を行なうことができる。
また、本実施形態によれば、校正に必要であるが取得されていない分光波長の存在を、ユーザにビジュアル的に画像表示して通知するため、意識的にユーザが不足している分光波長を認識して取得する動作を行なうため、校正に必要な回折光分光波長の全ての分光波長を漏れなく得ることが可能となり、精度の高いプロファイルの校正を行なうことができる。

【0149】

すなわち、ホログラム（例えば、色校正用ホログラム３０２）は観察角度によって観察される像または色が変化する特性を有している。このため、特定のパターンや色彩を観察できるよう設計したホログラムであっても、そのパターンや色彩を観察できる角度や位置が限られているため、ユーザがホログラムの特性を把握していない状態でカメラ等の撮像装置で撮像する場合、様々な方向から観察して目的のパターンや色彩が撮像できる状態になった時に撮像する必要があり、ユーザは容易に撮像できない場合がある。
また、ユーザがホログラムの特性を把握していても、目的のパターンや色彩が現在の観察角度及び観察位置からどのように動かせば観察できるかは、撮像装置と光源、及びホログラムの３次元的な位置関係を正確に把握している必要がある。このため、ホログラムから放射される各分光波長の光を撮像することは難しい。

【0150】

すでに述べたように、撮像装置の色校正に対しては、マクベスカラーチャートのように様々な色を撮像する必要がある。したがって、ホログラムから発せられる狭帯域の分光分布を持った反射光によって色校正を行う場合、ユーザは、狙った色、すなわち所定の分光波長の回折光を撮像することは困難である。このため、色校正のために多くの種類のホログラムを用い、それぞれ異なる色の反射光を一度に全て観察しようとする場合、多くのホログラムに対して目的の観察条件を全て満たす３次元位置から、各ホログラムから放射される所定の分光波長の回折光を撮像する必要があり、色校正のための回折光の撮像は非常に困難となる。また、観察角度によって色が変化するホログラムを、観察角度を変えながら様々な色を撮像して色校正する場合においても、仮に色校正に必要な色が全て撮像できていない場合、どの色が撮像できておらず色校正ができないかがユーザには分からないため、撮像装置を様々に動かす必要があり容易に色校正できない場合がある。このため、本実施形態においては、ユーザのホログラムの撮像を容易に行えるように、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得をユーザに直感的に指示する構成を用いている。

【0151】

上述したように、本実施形態においては、マクベスカラーチャートなどの拡散反射特性を持つ反射物に対して、光の回折現象を利用して発色する反射物としてホログラムを用いている。一般的に反射型のホログラムとしては金属箔によって回折光を反射するレインボーホログラムやホログラムそのものの回折によって反射させるリップマンホログラムがある。フルカラーのホログラムは表面の回折格子に入射した光が回折を起こして色を発色するため、ある程度の分光分布を持った照明であれば、狭帯域の回折光分光分布を持った反射光を返すことが可能である。このため、ホログラムの設計によっては、入射光に対して放射される回折光を波長分布レベルで調整し、任意の色彩（分光波長の光）を再現することができる。

【0152】

また、本実施形態においては、予め設定した設定回折光分光分布の分光波長が充足されているか否かの判定により、回折光分光分布が分光感度を推定するために十分であるか否かの判定を行なっていた。
しかしながら、設定回折光分光分布を設定せずに、回折光分光分布が分光感度を推定するために十分であるか否かを、例えば、画像データ記憶部１１０の分光感度推定用撮像画像テーブルを参照し、これまでに撮像した回折光分光分布における分光波長が可視波長域内において均一の周期毎に取得できているか否かに判定する構成としても良い。例えば、１０ｎｍ等で設定された周期で分光波長の領域を設定し、撮像動作指示部１１１は、各領域内で少なくとも１個以上の該当する分光波長の回折光が取得されていれは、分光感度の推定に十分な回折光分光分布が得られたと判定する。一方、撮像動作指示部１１１は、得られている回折光分光分布が分光感度の推定に十分でない、つまり回折光が撮像できていない分光波長の領域が存在する場合、その波長領域内の回折光を分光感の度推定に必要な回折光として求める。そして、撮像動作指示部１１１は、求めた分光波長の回折光を撮像するための観察角度を計算し、すでに述べたように撮像方向を指示することで、分光感の度推定に必要な分光波長の回折光をユーザが撮像できるように誘導する。

【0153】

＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。本実施形態の説明において、上記第１〜第３の実施形態と同様の構成要素に対しては同一の符号を付し、その説明を省略する。
図１６は、第４の実施形態による色校正システムの構成例を示すブロック図である。図１６において、色校正システム５Ｃは、色校正装置１Ｃ及び画像撮像装置３を備えている。色校正装置１Ｃは、撮像制御部１０２、観察角度推定部１０５、回折光分光分布計算部１０６、撮像動作指示部１１１、分光感度推定部１０７、色校正部１０８、表示部１０９及び画像データ記憶部１１０を備えている。また、画像撮像装置３は、撮像部１０１、露光制御部１０３、照明部１０４を備えている。本実施形態においては、色校正装置１Ｃと色校正用ホログラム３０２とにより、色校正システム５Ｃが構成される。図１６において、第３の実施形態と同様の構成については同一の符号を付してある。

【0154】

本実施形態においては、色校正システム５Ｃが第３の実施形態における撮像及び露光の機能を画像撮像装置３として、色校正装置１Ａから分離した構成となっている。これにより、汎用のデジタルカメラあるいは携帯端末（携帯電話やスマートフォン含む）などの色校正対象となる撮像装置を外部に接続した装置からコントロールでき、複数の撮像装置を取り扱うことも可能となる。
また、色校正装置１Ｃはクラウド構成として、図示してはいないが、デジタルカメラあるいは携帯端末とインターネットなどの情報通信回線を用いて通信できるようにしてもよい。そして、色校正装置１Ａは、すでに述べた第３の実施形態と同様に、デジタルカメラあるいは携帯端末から送信される撮像画像データを用いて、当該撮像装置の色校正処理を行う構成としてもよい。

【0155】

なお、本発明における図１の色校正装置１、図１０の色校正装置１Ａ、図１１の色校正装置１Ｂ及び図１６の色校正装置１Ｃの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより撮像装置間における撮像画像データの色校正の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含む。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持している媒体も含む。

【0156】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのプログラムであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるプログラム、いわゆる差分ファイル（差分プログラム）であっても良い。

【0157】

上記第１〜第４の実施形態では、観察角度推定部１０５が用いられているが、本発明の色校正装置や色校正システムが観察角度推定部１０５を備えない構成であってもよい。
観察角度推定部１０５は、撮像部１０１が撮像した撮像画像データから観察角度及び観察位置を推定しているが、撮像部１０１の現在の観察角度及び観察位置をセンサやエンコーダ等の検出機器によって取得可能である場合は、この検出機器が取得した観察角度及び観察位置を用いて、回折光分光分布計算部１０６が観察角度毎の回折光の分光分布を計算してもよい。

【符号の説明】

【0158】

１，１Ａ，１Ｂ，１Ｃ 色校正装置
２，３ 画像撮像装置
１０１ 撮像部（画像撮像装置）
１０２ 撮像制御部
１０３ 露光制御部
１０４ 照明部
１０５ 観察角度推定部
１０６ 回折光分光分布計算部
１０７ 分光感度推定部
１０８ 色校正部
１０９ 表示部
１１０ 画像データ記憶部
３００ クレジットカード
３０１ 真贋判定用ホログラム（偽造防止媒体、撮像対象）
３０２ 色校正用ホログラム
５００ ホログラム色校正シート

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】