特開 2025-14964 マルチバンド測色システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014964

(43)【公開日】2025-01-30

(54)【発明の名称】マルチバンド測色システム

(51)【国際特許分類】

   H04N 23/10 20230101AFI20250123BHJP

   G01J 3/52 20060101ALI20250123BHJP

   G01J 3/50 20060101ALI20250123BHJP

   H04N 23/60 20230101ALI20250123BHJP

【ＦＩ】

H04N23/10

G01J3/52

G01J3/50

H04N23/60 500

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023117971

(22)【出願日】2023-07-20

(71)【出願人】

【識別番号】522111622

【氏名又は名称】株式会社ＷｉｓＨ Ｌａｂ

(74)【代理人】

【識別番号】100090413

【弁理士】

【氏名又は名称】梶原 康稔

(72)【発明者】

【氏名】小宮 康宏

(72)【発明者】

【氏名】近藤 隆

(72)【発明者】

【氏名】山田 邦夫

(72)【発明者】

【氏名】田宮 公成

(72)【発明者】

【氏名】荒井 敏

【テーマコード（参考）】

2G020

5C122

【Ｆターム（参考）】

2G020AA08

2G020DA13

2G020DA22

2G020DA32

2G020DA34

2G020DA52

5C122DA25

5C122EA12

5C122FG02

5C122FH01

5C122FH02

5C122GG02

5C122GG17

5C122GG21

5C122HA88

5C122HB02

5C122HB06

5C122HB09

5C122HB10

(57)【要約】

【課題】 安価かつ容易にマルチバンド撮影を行い、被写体の色情報を高精度に検出するマルチバンド測色システムを提供する。
【解決手段】 商品撮影を行う被写体１４２を、背景布１４０の前に設置するとともに、近傍に色票１４４を置く。そして、照明制御部１２４により、白色LED光源１３２，RLED光源１３４，GLED光源１３６，BLED光源１３８が順次点灯・消灯して、連写モードにより撮像部１１０で、６枚の被写体１４２及び色票１４４の画像を撮像する。そして、白色LED光源１３２で得た画像から、Rバンド，Gバンド，Bバンドの画像成分を得るとともに、、RLED光源１３４，GLED光源１３６，BLED光源１３８から、Rバンド，Gバンド，Bバンドの成分を得る。これら６つのバンドの画像成分から、色票情報で補正した高精度の被写体１４２の色彩情報が検出される。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像光学系と、Rバンド，Gバンド，Bバンドの３つの分光感度の画像を取得するイメージセンサ部と、撮影を開始するためのシャッタボタンと、露光開始時の撮影トリガー信号を外部に出力するための撮影信号出力部と、撮影した画像を記録するための画像メモリを有し、シャッタボタンの押下で前記撮影トリガー信号を発する撮像部と、
前記撮像部のRバンド，Gバンド，Bバンドの分光感度領域のほぼ全波長域に発光スペクトルを有する白色光源と、発光した際にRバンド，Gバンド，Bバンドで最も高い信号値が得られるバンドの半値幅の波長領域内にピーク波長を持ち、かつ、そのバンドの半値幅よりも狭い半値幅の発光スペクトルを持つM種類の狭帯域光源とを有する光源部と、
撮影トリガー信号に連動して、前記光源部の光源の点灯または消灯を制御する光源制御部とを有しており、
最初に白色光源を、続いて、複数の狭帯域光源を、順次又は複数の狭帯域光源を同時に照射することで複数の画像を撮影し、白色光源で照射して撮影した画像と狭帯域光源を照射して撮影した画像からNバンド（N＝3＋M）の画像を生成するマルチバンド画像生成部と、
生成したマルチバンド画像から、XYZ情報，Lab情報，スペクトル情報，色再現画像のいずれかの色彩情報を検出する色変換処理部と、
を有する、マルチバンド測色システム。

【請求項2】

撮影被写体近傍に配置されており、撮影被写体に近い色特性を持った色票を撮影被写体と同一画像内に撮影するとともに、
撮影した画像の色票領域の輝度情報から、光源部の発光ばらつき補正を行う輝度補正部とを有することを特徴とする請求項１記載のマルチバンド測色システム。

【請求項3】

光源部と色票が内蔵され、被写体を撮影する測定窓と、撮影部に着脱するための脱着部を持つ照明ユニットを有することを特徴とした請求項２記載のマルチバンド測色システム。

【請求項4】

光源が発光した際にGバンドで最も高い信号値が得られる狭帯域光源は、他の狭帯域光源とは同時に発光させないことを特徴とする請求項１記載のマルチバンド測色システム。

【請求項5】

参照となる被写体を撮影した参照板画像と、そのときに作成した色変換のための色変換情報を記録した色変換情報記録部と、
前記参照板画像を用いてマルチバンド画像の画像ムラをバンド毎に補正する画像ムラ補正部と、
を有することを特徴とする請求項１記載のマルチバンド測色システム。

【請求項6】

カラースケールの色彩情報が記録されたカラースケール情報記録部と、
前記色変換処理部で得られた色彩情報からカラースケールを判定する色彩判定部と、
を有することを特徴とした請求項１記載のマルチバンド測色システム。

【請求項7】

異なる地点で撮影した画像から算出された色彩情報を比較し、各画像の色情報の差をLab色空間の差として算出する比較評価部を備えたことを特徴とした請求項１記載のマルチバンド測色システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各々異なる分光特性による４バンド以上の画像撮影が可能なマルチバンド画像撮影装置を用いて、被写体の色情報を高精度に取得するマルチバンド測色システムに関する。

【背景技術】

【0002】

従来より被写体の画像を撮影するためにはRed（赤色），Green（緑色），Blue（青色）の３バンドを用いるいわゆるRGBカメラが広く用いられてきたが、近年は被写体の色情報を高精度に検出するために、４バンド以上の画像の撮影が可能なマルチバンドカメラを用いて被写体の分光情報を画像として取得・記録する方法が提案されている。このような４バンド以上の画像撮影装置としては、例えば下記特許文献記載のものがある。

【0003】

まず、下記特許文献１記載の「画像処理システム」は、モノクロイメージャと、狭帯域の発光スペクトルとを有し各々のピーク波長が異なる複数のLED光源とを利用している。６種類のLED光源を順次点灯することで、容易にマルチバンド画像を撮影することができる。また、RGBの３バンドでなく６バンドを用いることで、被写体の分光スペクトルを推定して、被写体の色情報を高精度に検出することができる。

【0004】

次に、下記特許文献２の「画像処理システム」は、同文献中の図５，図６にあるような特殊な櫛型状の光学フィルタを用いることで、従来の標準的なRGB画像に加えて、狭帯域な分光特性を持つRGB画像を撮影し、これらによって、被写体の分光スペクトルを高精度に推定して被写体の色を正確に色再現したものである。標準的なRGB画像を１度の撮影で取得しているため、上述した特許文献１と異なり、モニタ表示用のRGB画像をディレイなく得ることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開WO2004/012461公報

【特許文献2】特許第4118916号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前記特許文献１の手法では、モニタに表示できるRGB画像信号を直接に得られないため、撮影時にモニタで撮影画像を観察・確認するためには、得られた６バンドの画像データを表示用のRGB画像データに変換することが必要である。このため、６バンドの撮影後に信号変換を行うことから、時間的なディレイ（遅延）が生じ、フレーミングやフォーカシングがやりにくいという欠点を有している。更に、狭帯域の発光スペクトルを有するLED光源は、通常の白色LED光源と比較して、特殊で利用される用途も少ないことから、高価となるといった不都合もある。

【0007】

また、特許文献１の手法では、同公報の図１にあるように、イメージャを２個用いるため、撮像装置が非常に高価になる。一方、同公報には、カメラ１個で実現できる構成として、図２３のようなストロボ光を用いて６バンドを得る方法も提案されており、この構成の場合には、装置全体が小型化でき、安価になるメリットがある。しかし、一般にストロボ光源は発光ばらつきが大きい。標準的なRGB画像は、環境光による安定照明で撮影できるが、狭帯域な分光特性を持つRGB画像は、発光輝度がばらつくストロボ光で撮影されるため、安定した色再現性能が得られない。

【0008】

加えて、前記特許文献のいずれにおいても、マルチバンド画像を得るためには、専用の光学フィルタを用いたり、複数のイメージセンサを用いたりするなど、専用の撮像装置が必要であり、市販のデジタルカメラに比較して非常に高価になるという課題がある。加えて、撮影する被写体画像の確認に時間遅れが生じたり、フレーミングやフォーカシング操作がやりにくいといった課題もある。

【0009】

本発明は、以上の点に着目したもので、その目的は、マルチバンド撮影を簡便に行うことである。他の目的は、被写体の色情報を高精度に検出することである。

【課題を解決するための手段】

【0010】

本発明のマルチバンド測色システムは、
連写機能を有する撮像手段，
白色光源と、帯域が異なる複数の狭帯域光源とで、被写体を照明する光源手段，
前記光源で被写体を照明して、前記撮像手段による連写により複数の画像を得るマルチバンド画像生成手段，
これによって得られたマルチバンド画像から被写体の色彩情報を得る色変換手段，
を備えたことを特徴とする。

【0011】

主要な形態の一つによれば、前記撮像手段が、前記被写体に近い色特性を持った色票を、該被写体と同一画像内に撮影して前記マルチバンド画像を得るとともに、前記色票の画像情報を利用して、前記光源手段の発光ばらつきの補正を行うことを特徴とする。

【0012】

他の形態によれば、均一な明るさ分布を有する参照板を撮像して得た参照板画像を用いて、前記被写体のマルチバンド画像の画像ムラをバンド毎に補正することを特徴とする。あるいは、前記狭帯域光源のうちの少なくとも２つを同時に発光させることを特徴とする。

【0013】

他の形態によれば、前記狭帯域光源が、Rバンド，Gバンド，Bバンドの分光感度を有する光源を含み、前記マルチバンド画像生成手段が、前記白色光源によって得た被写体の画像からRバンド，Gバンド，Bバンドの分光感度の画像を得るとともに、前記狭帯域光源によって得た被写体のRバンド，Gバンド，Bバンドの分光感度の画像を得て、これら２組のRバンド，Gバンド，Bバンドの画像から、前記色変換手段により前記被写体の色彩情報を得ることを特徴とする。

【0014】

更に他の形態によれば、前記色変換手段が、生成したマルチバンド画像から、XYZ情報，Lab情報，スペクトル情報，色再現画像のいずれかの色彩情報を検出することを特徴とする。本発明の前記及び他の目的，特徴，利点は、以下の詳細な説明及び添付図面から明瞭になろう。

【発明の効果】

【0015】

本発明によれば、連写撮影可能なデジタルカメラを用いて、白色光及び狭帯域光を順次照射して連写撮影することで、簡便に標準的なRGB画像と狭帯域画像を含むマルチバンド画像を取得することができる。また、被写体近傍に被写体色に近似した色票を配置し、この色票を被写体と同一画面内に撮影することで、照明の発光ばらつきを補正して、被写体の色情報を高精度に検出することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施例１の構成を示す。

【図2】前記実施例１における照明光のスペクトルを示す。

【図3】前記実施例１で撮影された画像のスペクトルを示す。

【図4】前記実施例１における撮影のシーケンスを示す。

【図5】前記実施例１における他の撮影のシーケンスを示す。

【図6】本発明の実施例２の構成を示す。

【図7】前記実施例２における照明ユニットの様子を示す。

【図8】前記実施例２における測色処理部の詳細を示す。

【図9】前記実施例２における撮影のシーケンスを示す。

【図10】前記実施例２における測色の例を示す。

【図11】前記実施例２で撮影された画像のスペクトルを示す。

【図12】前記実施例２における他の撮影のシーケンスを示す。

【図13】前記実施例２の他のシーケンスで撮影された画像のスペクトルを示す。

【図14】前記実施例における温度変化時のスペクトルの変化を示す。

【図15】本発明の実施例３の構成を示す。

【図16】前記実施例３における歯科のクラウンの測色例を示す。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための最良の形態を、実施例に基づいて詳細に説明する。

【実施例0018】

最初に、本発明の実施例１を、図１～図６を用いて説明する。本実施例では、スタジオにてカタログ等に掲載する商品画像の撮影を行う場合について説明する。衣料品，靴，帽子などは、ネットショップなどで販売されている。購入者は、パソコンやスマートフォンなどの画面を参照し、表示された商品の色を信頼して欲しい商品を注文する。ところが、納品された実際の商品を見て希望した色と異なると、商品の返品や交換などの原因となる。これは、商品を撮影した従来のRGBカメラでは微妙な色の違いを検出できず、実物に忠実な色を画面上に正確に表示することができなかったためである。購入者側には商品の返品・交換という余計な手間が発生し、販売業者側にはクレーム対応や送料の負担などが発生することとなる。本実施例では、被写体である商品をマルチバンド撮影することで、色情報を高精度に検出し、これによって商品の正確な色再現を画面上で実現する。

【0019】

＜構成＞ 図１には、本実施例の撮影システム１００の構成が示されている。同図において、撮影システム１００は、撮像部１１０，光源部１３０，測色処理部１５０を中心に構成されている。これらのうち、撮像部１１０は、一眼デジタルカメラのような市販のRGBカメラであり、交換式レンズなどの撮像光学系１１２，イメージセンサ１１４，シャッタボタン１１６，SDカード等の画像メモリ１１８，撮影信号出力部１２０，を備えており、シャッタボタン１１６を押下した時に被写体１４２を撮影し、RGB画像として画像メモリ１１８に記録する。被写体１４２は、色票１４４とともに、背景布１４０の前面に配置されている。色票１４４は、単色からなるシート状のもので、被写体１４２の近傍に配置されており、被写体１４２と色票１４４が同時に撮影されるように、撮像光学系１１２の焦点距離や撮影距離が調節されている。

【0020】

撮影信号出力部１２０は、例えばホットシューと呼ばれる外部ストロボ取付部のことで、シャッタボタン１１６が押下されたときに、撮影のトリガー信号が照明制御部１２４に出力されるようになっている。

【0021】

照明制御部１２４は、受信したトリガー信号に応じて、光源部に実装されている各光源の消灯と点灯を制御する。また、照明制御部１２４は、電源ボタン１２６を有しており、これをONすることで照明制御部１２４が起動し、光源部１３０が点灯するようになっている。

【0022】

光源部１３０は、イメージセンサのRバンド，Gバンド，Bバンドの各領域のほぼ全域に発光スペクトルを持つ白色LED光源１３２と、Rバンド，Gバンド，Bバンドのいずれかのバンドに発光スペクトルのピーク波長を有するM種類の狭帯域LED光源（本実施例ではM＝３）であるRLED１３４，GLED１３６，BLED１３８の３種類とを具備している。

【0023】

次に、測色処理部１５０は、マルチバンド画像生成部１５２，色変換情報記録部１５４，色変換処理部１６０を備えており、パソコンのソフトウエアとして実装されている。マルチバンド画像生成部１５２は、撮像部１１０で撮像されて画像メモリ１１８に記録された複数の撮影画像から、後述するように必要なバンドが選択されてNバンドのマルチバンド画像を生成する。色変換情報記録部１５４は、色変換処理部１６０における変換処理に必要な情報が記録されており、本実施例では、
ａ，事前に撮影された色票画像，
ｂ，そのときに作成された色変換係数，
が記録されている。

【0024】

色変換処理部１６０は、この色変換情報記録部１５４に記録された色票画像と色変換係数を利用して、表示画像等の色彩情報を算出する。色彩情報とは、例えば、XYZ情報，Lab情報，スペクトル情報，色再現画像などであり、XYZ算出部１６２，Lab算出部１６４，スペクトル算出部１６６，色再現画像作成部１６８でそれぞれ算出ないし作成される。
ａ，XYZ算出部１６２：色変換情報記録部１５４に記録された色変換係数を用いて、各画素または所定領域のXYZ三刺激値を求め、これをXYZ情報として出力する。XYZ三刺激値は、国際照明委員会（CIE）が1931年に定めた色の統一的な表示基準であるCIE XYZ色空間の座標である。正確な色再現を実現するためには、被写体のXYZ三刺激値を正しく求めることが必要である。
ｂ，Lab算出部１６４：XYZ三刺激値から、各画素または所定領域のLab値を算出し、Lab情報として出力する。Lab値は、Lab色空間の座標値で、Lは明るさ，aは赤方向、-aは緑方向，bは黄方向，-bは青方向を表す。CIE1931色空間の座標を非線形に圧縮したもので、Lが明るさ，aが赤み，bが黄色の強さを表している。
ｃ，スペクトル算出部１６６：色変換情報記録部１５４に記録された色変換係数を用いて、各画素または所定領域の分光反射スペクトルを算出し、スペクトル情報として出力する。
ｄ，色再現画像作成部１６８は、前記XYZ三刺激値を用いて、画素毎にsRGB規格の画像信号値を計算し、色再現画像として作成する。sRGBは、色空間の標準規格の一つで、主にパソコンやディスプレイ・プリンタなど一般的な情報機器が対応しており、 機器間で画像や映像をやり取りする際に、機種や装置による特性の違いを吸収して同じ色味を維持する規格である。sRGBに対応したモニタにsRGB規格の画像信号を表示することで正確な色再現が可能となる。

【0025】

色変換処理部１６０によって変換された表示画像は、標準的なRGB画像のフォーマットになっており、パソコンなどのディスプレイ１７０に出力表示される。

【0026】

次に、図２(A)は、撮像部１１０で撮像されるRGB画像の各バンドの分光感度を正規化して示している。横軸は波長であり、RGBの各バンドで可視光領域をカバーしている。このRGBの各バンドの分光感度は、撮像光学系１１２のレンズの分光透過率と、イメージセンサ１１４の分光感度から算出できる。図２(B)は、光源部１３０の狭帯域LED光源１３４～１３８の発光スペクトルを示している。白色LED光源１３２は可視光域全体に発光しているのに対して、狭帯域LED光源であるRLED１３４，GLED１３６，BLED１３８はピーク波長がRGBバンドの半値幅内にあり、更に、狭帯域LED光源１３４～１３８の半値幅は属するRGBバンドの半値幅以下になっている。

【0027】

これらを式で示すと、以下のようになる。RLED１３４，GLED１３６，BLED１３８のピーク波長をλ1，λ2，λ3とし、半値幅をそれぞれｈ1，ｈ2，ｈ3とし、RGB各バンドの半値幅となる波長をそれぞれｒ1，ｒ2，ｇ1，ｇ2，ｂ1，ｂ2とすれば、
ｂ1＜λ1＜ｂ2，ｈ1＜(ｂ2－ｂ1)
ｇ1＜λ2＜ｇ2，ｈ2＜(ｇ2－ｇ1)
ｒ1＜λ3＜ｒ2，ｈ3＜(ｒ2－ｒ1)
となる。

【0028】

そして、RLED１３４で照射した画像はRバンド、GLED１３６で照射した画像はGバンド、BLED１３８で照射した画像はBバンドを選択して利用することで、他の色バンドを用いるよりも高い信号値が得られ、SN比の高い画像が得ることができる。また、半値幅を、選択するRGBバンドの半値幅よりも小さくすることで、標準的なRGBに対して狭帯域な特性のRGB画像を得ることができる。狭帯域LED光源１３４～１３８における半値幅を、選択するバンドの半値幅の概ね1/2～1/3とすることで、高い色情報を得られることが実験的に確認されている。

【0029】

図３は、光源部１３０の各光源で撮影した場合に得られる画像の分光感度を示す。図３(A)は白色LED光源１３２を用いたときのRGB各バンドの分光感度である。白色LED光源１３２が可視光域全体にフラットな照明であれば、図２(A)に似た形状の分光感度となる。一方、狭帯域LED光源１３４～１３８の場合には、各LED光源で照射したときに、最も撮影強度が高く得られる一つのバンドしか有効な信号が得られない。そこで、RLED１３４はRバンド，GLED１３６はGバンド，BLED１３８はBバンドの信号を利用する。得られる分光感度は、それぞれ図３(D)，(C)，(B)に示すようになる。このようにして、白色LED光源１３２で照射して撮影したRGBの３バンドと、狭帯域LED光源１３４～１３８で照射して撮影した狭帯域画像の計６バンドをマルチバンド画像として得ることができ、これらのマルチバンド画像から正確な色情報の取得が可能となる。

【0030】

次に、本実施例における撮影シーケンスの一例を図４に示す。同図の横軸は時間で、トリガー信号と露光時間及び各光源の発光タイミングを示す。同図(A)が撮像部１１０から照明制御部１２４に対して出力されるトリガー信号を示し、順次発生・出力されるトリガー信号を、トリガー信号１，トリガー信号２，・・・としている。この実施例では、トリガー信号は６回出力される。

【0031】

同図(B)はイメージセンサ１１４の露光期間を示している。縦線が斜めになっているのはシャッタ幕が移動している期間を示しており、シャッタ幕が完全に開いた期間は上下の横線のみになっている。同図(C)～(F)に示すように、各LED光源１３２～１３８のいずれもトリガー信号で点灯し、所定時間ｔ1～ｔ4秒経過後に消灯する。この場合において、ｔ＜Ｔ（シャッタ全開時間）とすれば、シャッタが安全に開いた期間にのみ点灯するように制御され、シャッタ幕の移動期間中には点灯しないため、均一な露光ができる。なお、各LED光源１３２～１３８は、発光強度がそれぞれ異なることから、点灯時間ｔ1～ｔ5を調整することで、得られる画像の明るさを調整することができる。トリガー信号６では、各LED光源１３２～１３８が発光しない無発光の画像を撮影する。これは、環境光の画像を撮影するもので、この無発光の画像を各LED光源１３２～１３８を照射した画像から差し引くことで、環境光の影響を除去できる。

【0032】

なお、白色LED光源１３２は、照明制御部１２４の電源ボタン１２６がONになったときに点灯する。このため、白色LED光源１３２が被写体１４２を照射しており、最初のトリガー信号１が撮像部１１０から入力されるまでの期間に、フレーミングやフォーカシングを行うことができる（図４(G)参照）。そして、シャッタボタン１１６が半押しされたときに、フォーカスロックがかかり、露光動作に入る。また、無発光状態で露光が完了した後に、白色LED光源１３２が点灯し、最初の状態に戻る。

【0033】

＜作用＞ 次に、本実施例の作用・動作について説明する。図１に示すように、商品撮影を行う被写体１４２を、背景布１４０の前に設置するとともに、近傍に色票１４４を置く。撮像部１１０を三脚１２２などで固定した後、図示しない撮像部１１０の電源をONにして、
ａ，露出を「マニュアル」に、フォーカスを「自動（オート）」に、記録モードを「RAWデータ」に、それぞれ設定する。「RAWデータ」に設定するのは、撮影される画像がデータ圧縮されないことから、最も高画質の画像が得られるためである。
ｂ，撮影モードを「連写モード」に設定する。この「連写モード」は、例えば、ブラケット撮影とする。このブラケット撮影では、条件を変えながら、指定枚数だけ連写を行うものである。本実施例では６枚の画像を連写するように設定する。

【0034】

次に、照明制御部１２４の電源ボタン１２６をONにして、白色LED光源１３２を点灯させる。このときに、スタジオ内の部屋の照明を消灯しておく方が、環境光の影響を受けにくく、好ましい。次に撮影者は、撮像部１１０のLCDファインダやLCDモニタに映った被写体１４２を見ながら、フレーミングとフォーカシングを行う。フレーミングでは被写体１４２と色票１４４が同じ画角に入るように、被写体１４２や色票１４４の位置，撮像光学系１１２のズームを変更する。白色LED光源１３２で被写体を照射していることから、LCDファインダやLCDモニタで被写体像を実物と同じような色合いで確認でき、容易にフレーミングやフォーカシングが行える。

【0035】

以上のようにして、撮影準備が整ったところで、シャッタボタン１１６の押下を始める。シャッタボタン１１６が半押し状態になったときに、フォーカスロックがかかる。そして、シャッタボタン１１６が全押しされたときに、撮影のトリガー信号１～６が順次出力される。これにより、図４に示すシーケンスで、白色LED光源１３２，RLED光源１３４，GLED光源１３６，BLED光源１３８が順次点灯・消灯することで、
(1)トリガー信号1で、被写体１４２の一部に白色で照明した画像
(2)トリガー信号2で、被写体１４２の全域に白色LED光源１３２で照射した画像
(3)トリガー信号3で、被写体１４２の全域にRLED光源１３４で照射した画像
(4)トリガー信号4で、被写体１４２の全域にGLED光源１３６で照射した画像
(5)トリガー信号5で、被写体１４２の全域にBLED光源１３８で照射した画像
(6)トリガー信号6で、無発光で撮影した被写体１４２の画像
がそれぞれ撮影される。つまり、本実施例では、１回のシャッタ押下動作で、６枚の被写体１４２及び色票１４４の画像が撮像され、撮影画像が撮像部１１０から測色処理部１５０にそれぞれ出力される。

【0036】

トリガー信号1で撮影して得た画像は、白色LED光源１３２が不均一に照射されているため、利用することができない。このため、測色処理部１５０のマルチバンド画像生成部１５２では、
(1)トリガー信号2で白色LED光源１３２によって撮影した画像のRバンド⇒バンド１
(2)トリガー信号2で白色LED光源１３２によって撮影した画像のGバンド⇒バンド２
(3)トリガー信号2で白色LED光源１３２によって撮影した画像のBバンド⇒バンド３
(4)トリガー信号3でRLED光源１３４によって撮影した画像のRバンド⇒バンド４
(5)トリガー信号4でGLED光源１３６によって撮影した画像のGバンド⇒バンド５
(6)トリガー信号5でBLED光源１３８によって撮影した画像のBバンド⇒バンド６
のようにバンドを選択し、６バンドのマルチバンド画像が作成される。つまり、M種類（本実施例ではM＝3）の狭帯域LED光源を利用すると、Nバンド（N＝3＋M）のマルチバンド画像が作成される。

【0037】

このようなバンドの選択は、各LED光で被写体１４２を照射したときに、最も撮影強度が高く得られるバンドを選択している。RLED光源１３４で照射し撮影した画像は、RLED光源１３６のピーク波長がRバンドのピーク位置に近いため、各LED光源１３４～１３８の発光輝度が同じ場合には、GバンドやBバンドに比較して、Rバンドが最も高い信号値が得られる。同様にして、GLED光源１３６で照射して撮影した画像はGバンドが、BLED光源１３８で照射し撮影した画像はBバンドが選択される。なお、このマルチバンド画像生成のときに、無発光画像を減算して環境光の影響を除去しており、除去後のマルチバンド画像情報が、色変換処理部１６０に出力される。

【0038】

一方、色変換処理部１６０には、色変換情報記録部１５４に予め記録されている色票１４４の画像情報と、そのときに作成された色変換係数が、それぞれ出力される。色変換処理部１６０では、
ａ，マルチバンド画像内の色票領域の輝度値と、事前に記録された色票画像の輝度値を比較して、マルチバンド画像の輝度が補正され、
ｂ，更に、色変換係数を利用して色彩情報が算出される。

【0039】

色彩情報とは、上述したように、XYZ情報，Lab情報，スペクトル情報，色再現画像などであり、XYZ算出部１６２，Lab算出部１６４，スペクトル算出部１６６，色再現画像作成部１６８でそれぞれ算出ないし作成される。詳細は後述するが、sRGB規格の画像である。ディスプレイ１７０としてsRGB規格のものを利用することで、ディスプレイ１７０には被写体１４２に忠実な色で色再現された画像が表示される。

【0040】

＜効果＞ 以上のように、本実施例によれば、スタジオの商品撮影において、６バンドのマルチバンド撮影を行うことで、被写体１４２の色情報を高精度に検出でき、ディスプレイ１７０上において正確な色再現を実現できる。その結果、ネットショッピングでの色に対するクレームや返品を減らすことが期待できる。また、市販のデジタルカメラを撮像部１１０として用いることができ、安価にマルチバンド撮影を実現できる。マルチバンド撮影では、最初に白色LED光源１３２により撮影を行うことで、標準的なRGB画像で撮影準備が行えることから、フレーミングやフォーカシングが容易で使い勝手がよい。更に、事前に撮影した色票１４４の輝度値と実際に撮影した色票１４４の輝度値を利用することで、照明光源の発光ばらつきを補正することができ、被写体１４２の色情報を高精度に検出できる。

【0041】

なお、トリガー信号をもう一つ利用して、最後に白色の撮影を行うようにしてもよく、こうすることで、一連の連写撮影が完了した後に、撮像部１１０のLCDモニタには最後に撮影された白色LED光源１３２の画像が一定時間表示されるようになり、撮影者は撮影が順調に完了したことを知ることができる。

【0042】

＜変形例＞ 図５には、実施例１の変形例の撮影シーケンスが示されている。同図のように、上記実施例では、トリガー信号が合計６回出力され、６枚の画像が撮影された。連写の速度が20fpsの場合、撮影には6/20＝0.3秒かかったことになるが、できるだけ撮影時間を短縮するのが望ましい。また、上記実施例では、高画質化のためRAWデータで保存したが、RAW画像はデータ圧縮されておらず、保存メモリ容量も大きくなるので、できるだけ保存する画像数を少なくしたい。そこで、変形例として、撮影トリガーを１回少ない５回の例を説明する。

【0043】

図５に示すように、トリガー信号１で白色LED光源１３２を消灯せずに、そのまま露光に入り、トリガー信号１がきてからｔ1秒後に白色LED光源１３２を消灯する。狭帯域LED光源１３４～１３８は上記実施例と同じである。白色LED光源１３２は、露光前から点灯しており、シャッタ幕の開くときから露光が開始されている。このため、シャッタ幕が完全に閉まるまで白色LED光源１３２を点灯することで、画面で均一な露光ができる。シャッタ幕開閉には時間的誤差が生じやすいが、色票１４４による輝度補正により、多少の変動は補正が可能である。本変形例によれば、露光回数を減らすことができ、撮影時間の短縮と保存容量の削減が可能となる。

【実施例0044】

次に、図６～図１４を参照して実施例２を説明する。本実施例は、色検査に本発明を応用した例である。工業製品の色検査，食品の色によるグレード判定，植物の色による成長度合いの判定などでは、色検査のための専用のカラースケールが利用されている。例えば、稲作では、下記のような７色のカラースケールが用いられ、追肥の管理に利用されている。
https://www.zennoh.or.jp/members/pdf/gijyutu_2-06.pdf
また、歯科でのクラウン（義歯）製作では、下記のようにシェードガイドと呼ばれるカラースケールが利用されている。
https://smileteeth.jp/column/orthodontics_beginner/shade_guide/

【0045】

しかしながら、これらのカラースケールの判定には、人の経験の違いによる個人差で違いが出たり、観察場所の照明の違いで異なる色に見えて判定が異なったりといった曖昧さが課題になっている。加えて、従来のRGBカメラでは、色情報を正確に検出することができず、正しく判定することは困難である。前記歯科の例においてカラースケールで判定を間違えると、クラウン製作の場合には作り直しが生じ、不要な費用がかかることになる。本実施例では、このようなカラースケールの判定にマルチバンド撮影を応用することで、良好な色判定を行うようにしたものである。

【0046】

＜構成＞ 本実施例の構成を図６に示す。前記実施例１と同様ないし対応するものには同一の符号を用いている。前記実施例１と最も大きく異なる点は、光源部１３０と色票１４４が一体化された照明ユニット２１０を用いていることである。この照明ユニット２１０には、脱着部２１２があり、撮像部１１０に着脱可能に取り付けることができる。例えば、デジタルカメラの交換レンズには各種フィルタが装着できるようにフィルタ取付用のネジ溝があるが、このネジ溝を利用して照明ユニット２１０を取り付ける。あるいは、レンズキャップのように、左右からフィルタ枠を挟み込んで照明ユニット２１０を取り付けるようにしてもよい。

【0047】

照明ユニット２１０は、前面に被写体測定用の測定窓２２０があり、ここに被写体１４２を配置して撮影する。被写体１４２は、必ずしも平面でないため、外部から環境光が入ってくるが、僅かであり、後述するバイアス補正によりこの環境光の影響を除去することができる。撮影信号出力部１２０は、いわゆるホットシューであり、外付けストロボを取り付ける為の機構であるが、ここに照明制御部１２４を連結している。図７(A)は、照明ユニット２１０を取り付けて撮影される画像を示している。画面の中央付近には測定窓２２０があり、画面の下方には色票１４４が映るように構成されている。

【0048】

次に、測色処理部５００は、図８に詳細を示す構成となっている。同図において、マルチバンド画像生成部５１０のバイアス補正部５１２は、照明光源を発光せずに撮影した画像を照明光源を照射して撮影した画像から減算することで、環境光の影響を除去する。イメージセンサ１１４に固定パターンノイズがあれば、これを除去する効果もある。デモザイキング処理部５１４は、RGB画像を生成する処理部である。市販のデジタルカメラのイメージセンサは、通常はRGBの透過特性を持つオンチップフィルタとモノクロセンサで構成されているため、画素毎に撮影される信号はR,G,Bのどれか一つとなっている。全画素に対してR,G,B値を得るための処理がこのデモザイキング処理である。バンド選択部５１６では、上記実施例で説明したように、デモザイキング処理部５１４で得られたRGB画像から、照明に合わせた適切なバンドが選定されて、マルチバンド画像が生成される。

【0049】

次に、色変換処理部５２０について説明する。撮像部１１０のイメージセンサ１１４の分光特性，撮像光学系１１２の分光特性，照明ユニット２１０に内蔵する光源部１３０の各LEDの発光スペクトルは、製造ばらつきのため個体毎に特性が異なる。正確に色情報を検出するためには、撮像部１１０，照明ユニット２１０，光源部１３０のそれぞれの特性に合わせた色変換処理が必要となる。色変換情報記録部５３０には、色変換に関わるパラメータや画像などの情報が記録されている。本実施例では、色変換情報として、後述するように色票１４４を近傍においた参照板を撮影した画像と、事前に参照板を撮影した時に計算した色変換係数が記録されている。これらの色変換情報は、撮像部１１０と照明ユニット２１０の組み合わせ毎に記録するように構成し、撮像部１１０のシリアルNoである撮像部IDと、照明ユニット２１０のシリアルNoである照明ユニットIDを入力すると必要な色変換情報が出力されるようになっている。

【0050】

次に画像ムラ補正について説明する。照射する光源部１３０の光量分布は均一にするのは難しく、位置に応じて照明ムラが生じる。特に、複数の光源を用いていることから、この照明ムラは光源毎に異なる。また、撮像光学系１１２でも、光軸付近に比較して周辺では撮影される明るさが暗くなるシェーディングが生じる。そのため、撮影される画像には明るさが不均一となり、均一な明るさ分布を持つ被写体１４２を撮影しても、光源毎に異なる明るさのムラが生じる。これを補正するのが画像ムラ補正部５２２である。

【0051】

この画像ムラを行うために、事前に標準白色板などの均一な明るさ分布を持つ参照板を各光源で撮影して前記色変換情報記録部５３０に記憶し、その画像を用いて画像ムラを補正する。図７(B)は、参照板２２２を撮影した画像を示している。色変換情報記録部５３０には、この参照板２２２の画像が記録されており、この画像を用いて画像のムラがバンド毎に補正される。

【0052】

領域抽出部５２４は、図７(C)に示すように、被写体領域hreと色票領域preの画像を抽出する。抽出する被写体領域hreは、照明ユニット２１０自体の位置ズレの影響を考慮し、点線で示すように、測定窓２２０よりも若干小さくするのが好ましい。また、色票領域preも、同様に色票１４４よりも小さいサイズとすることが好ましい。かつ、照明ムラが縦方向に生じやすいことから、横長に領域を設定することが好ましい。加えて、照明ユニット２１０は、撮像部１１０に対して脱着できることから、取り付けた際に必ずしも同じ位置に取り着くとは限らない。つまり、イメージセンサ１１４上では、位置がずれて結像してしまう。この場合、参照板２２２の画像を撮像したものと領域がずれることになり、図７(A)と図７(B)の画像間で位置ズレが生じることがある。そこで、この位置ズレ量を予め検出して、領域抽出する前にこのずれを考慮して領域を抽出するようにしてもよい。

【0053】

次に、輝度補正部５２６は、光源部１３０の白色LED光源１３２，狭帯域LED光源１３４～１３８の発光ばらつきを補正するものである。輝度補正係数演算部５２８で算出されるバンド毎の輝度補正係数C(k)（k＝1～N，Nはバンド数）を被写体領域画像に乗算する。輝度補正係数演算部５２８では、事前に撮影された参照板画像から色票領域の画像を抽出し（図７(B)の色票領域pre）、この画像をバンド毎に平均し、Vpre(k)として演算する。ｋはバンドを表し、1～Nの整数となる（本実施例ではN＝6）。同様に領域抽出部５２４で得られた色票領域preの画像からバンド毎に平均し、得られた値をV(k)とすると、輝度補正係数C(k)は、
C(k)＝Vpre(k)/V(k)・・・・(k＝1～N)
で算出される。

【0054】

次に、色彩情報演算部５４０は、輝度補正されたマルチバンド画像から、各種の色彩情報を演算する。色彩情報とは、上述したように、XYZ情報，Lab情報，スペクトル情報，色再現画像などである。まず、XYZ演算部５４２では、色変換情報記録部５３０に記録された色変換係数を用いて、各画素または所定領域のXYZ三刺激値を求め、これをXYZ情報として出力する。XYZ三刺激値は、国際照明委員会（ＣＩＥ）が1931年に定めた色の統一的な表示基準であるCIE・XYZ色空間の座標である。正確な色再現を実現するためには、被写体のXYZ三刺激値を正しく求めることが必要である。

【0055】

Lab算出部５４４は、XYZ三刺激値から、各画素又は所定領域のLab値が算出され、Lab情報として出力する。Lab値は、Lab色空間の座標値で、
https://ja.wikipedia.org/wiki/CIE_1931_%E8%89%B2%E7%A9%BA%E9%96%93
の座標を非線形に圧縮したもので、Lが明るさ，aが赤み，bが黄色の強さを表している。

【0056】

スペクトル算出部５４６は、色変換情報記録部５３０に記録された色変換係数を用いて、各画素又は所定領域の分光反射スペクトルを算出し、スペクトル情報として出力する。

【0057】

色再現画像作成部５４８は、前記XYZ三刺激値を用いて、画素毎にsRGB規格の画像信号値を計算し、色再現画像として作成する。sRGBは、色空間の標準規格の一つで、主にパソコン，ディスプレイないしモニター，プリンタなど一般的な情報機器が対応しており、機器間で画像や映像をやり取りする際に、機種や装置による特性の違いを吸収して同じ色味を維持する規格である。sRGBに対応したディスプレイにsRGB規格の画像信号を表示することで、正確な色再現が可能となる。

【0058】

カラースケール情報記録部５６０は、各カラースケールに対応したLab値が予め記録されており、色彩判定部５６２は、Lab算出部５４４から得られたLab値とカラースケール情報記録部５６０に記録されているLab値を比較して最も近いカラースケールを選定し、色判定情報として出力する。そして、XYZ情報，Lab情報，スペクトル情報，色再現画像等の色彩情報は、いずれもsRGB規格対応のディスプレイ１７０に出力される。

【0059】

＜作用＞ 次に、本実施例の作用を、人の歯の色を測光する場合を例として説明する。撮影者は、撮像部１１０に照明ユニット２１０を取り付ける。そして、上記実施例１と同様に図示しない撮像部１１０の電源をONにして、露出を「マニュアル」に、フォーカスを「自動（オート）」に、記録モードを「RAWデータ」に、撮影モードを「連写モード」にそれぞれ設定する。本実施例では、３枚の画像を連写するように設定する。次に、照明制御部１２４の電源ボタン１２６をONにして、フレーミングとフォーカシングの動作を開始する。撮影者は、色を計測したい歯に照明ユニット２１０の先端を近づけ、図７(C)のような位置に撮像部１１０及び照明ユニット２１０を移動する。白色LED光源１３２で被写体を照射していることから、LCDファインダやLCDモニタで被写体像を実物と同じような色合いで確認でき、容易にフレーミングやフォーカシングを行うことができる。なお、照明ユニット２１０の先端にキャップのようなものを取り付けてもよい。患者の歯が直接照明ユニット２１０に接することがなくなり、衛生的になる。

【0060】

図９は、本実施例のタイミングチャートである。上記実施例１と同様に、狭帯域光としてRLED１３４，GLED１３６，BLED１３８の３種類を用い、これら狭帯域LED光源１３４～１３８を同時に発光する。これにより撮影した画像は、バイアス補正部５１２で無発光画像の減算が行われ、デモザイキング処理部５１４で各バンドの画像の全画素が生成される。

【0061】

バンド選択部５１６では、
(1)トリガー信号1で白色LED光源１３２によって撮影した画像のRバンド⇒バンド１
(2)トリガー信号1で白色LED光源１３２によって撮影した画像のGバンド⇒バンド２
(3)トリガー信号1で白色LED光源１３２によって撮影した画像のBバンド⇒バンド３
(4)トリガー信号2でRLED,GLED,BLED同時に照射して撮影した画像のRバンド⇒バンド４
(5)トリガー信号2でRLED,GLED,BLED同時に照射して撮影した画像のGバンド⇒バンド５
(6)トリガー信号2でRLED,GLED,BLED同時に照射して撮影した画像のBバンド⇒バンド６
により、マルチバンド画像を生成する。

【0062】

次に、画像ムラ補正部５２２では、色変換情報記録部５３０から読み出された参照板画像を用いて、照明光源の照明ムラや撮像光学系１１２のシェーディングで生じる画像ムラを補正する。画像ムラが補正された画像から、領域抽出部５２４では、図７(C)に示すように、被写体領域hreと色票領域preが抽出される。そして、図７(B)のように参照板画像からも色票領域preが抽出され、輝度補正係数演算部５２８にて、輝度補正係数C(k)が算出される。この輝度補正係数C(k)に基づき、輝度補正部５２６で被写体領域hreのマルチバンド画像が、バンド毎に輝度補正される。

【0063】

更に、色変換情報記録部５３０から読み出された色変換係数を利用して、XYZ演算部５４２では画素毎にXYZ刺激値が演算され、色再現画像作成部５４８ではこのXYZ三刺激値を用いて画素毎にsRGB規格の画像信号値が計算され、sRGB画像としてディスプレイ１７０に出力される。

【0064】

一方、Lab算出部５４４では、XYZ三刺激値から各画素又は所定領域Lab値が算出され、Lab情報として出力する。色彩判定部５６２では、Lab算出部５４４から得られたLab値とカラースケール情報記録部５６０に記録されているLab値を比較して、カラースケール情報記録部５６０に記録されているLab値と最も近いカラースケールを選定し、色判定情報として出力する。人の歯の場合には、カラースケールとしてシェードガイドが使われており、例えば、VITA社の「classic」というシェードガイドは、１６色のカラースケールを有している。そのため、色彩判定部５６２では、この１６色の中で最も近いLab値を持つシェードガイド番号が色判定情報として出力される。

【0065】

図１０に、ディスプレイ１７０の表示例を示す。同図(A)は色再現画像，同図(B)はスペクトル情報，同図(C)はXYZ三刺激値やLab値の測色情報，同図(D)は色判定情報をそれぞれ示している。この例では、色再現画像に所定領域を設定し、その所定領域を平均したデータに対して、スペクトル情報や測色情報、色判定情報を計算している。色判定情報については、Lab値が最も近いシェードガイドを第１候補、２番目に近いシェードガイドを第２候補、３番目に近いシェードガイドを第３候補として示している。同図中、ΔEはLab値の差であり、Lab空間でのユークリッド距離である。同図(A)の所定領域は、パソコンのマウスで選択して設定してもよいし、画像中の位置座標ｘ，ｙを指定してもよいし、歯の形状を認識して、その中央付近に設定するようにしてもよい。

【0066】

＜効果＞ 以上のように、本実施例によれば、カラースケールの判定において、人の経験の違いによる個人差や、観察場所の照明の違いなどの影響を受けずに、安定して精度よく色判定を行うことができる。また、撮影する画像は、わずかに３画像のみであり、上記実施例１と比較しても半分の枚数であり、撮影時間が短縮されるとともに、撮影画像の保存メモリ容量を大幅に削減できる。また、ディスプレイ１７０には、sRGB規格で正確に色再現された画像と、Lab情報やXYZ情報などの測色情報、更にはカラースケールの色判定情報が同一画面に表示できることから、歯科技工士などのクラウン製作者は、画像と数値情報を同時に見ながら効率的にクラウン製作を行うことができる。

【0067】

なお、本実施例では、ディスプレイ１７０に表示する色空間をsRGB規格としたが、より広い色空間をもつAdobe(登録商標) RGB規格など、他の色空間を用いていてもよい。さらに、色彩判定部ではΔEが小さい順に３数種類のカラースケールを選定したが、ΔL（明るさLの差）やΔa（赤みaの差）、Δb（黄色の強さbの差）を用いて小さい順に表示してもよい。

【0068】

＜変形例１＞ 前記実施例２の場合、３種類のLED光源であるRLED１３４，GLED１３６，LED3１３８を同時に発光させるたため、RGB各バンドの分光感度には、図１１に示すように、メインの波長ピークの他に小さなピーク（クロストーク）が生じてしまう。この場合、RLED１３４，GLED１３６，BLED１３８の発光強度がばらつきつくと、色票１４４を用いた輝度補正を行っても効果がない。そこで、図１２のように、Gバンドにピーク波長をもつ光源であるGLED１３６を、他の光源と同時には発光させずに、
ａ，トリガー信号1で白色LED光源１３２を発光，
ｂ，トリガー信号2でRLED１３４，BLED１３８を同時に発光，
ｃ，トリガー信号3でGLED１３６を発光，
させる。更には、RLED１３４のピーク波長をできるだけ短波長側に、BLED１３８のピーク波長をできるだけ長波長側に、それぞれ設定する。図１３(A)には、その様子が示されている。同図の点線は、図１１(A)に示した実施例２における光スペクトルであるが、本例では、図１３(A)に実線で示すようにピーク波長がシフトしている。このようにすると、図１３(B)～(D)にそれぞれ示すように、図１１(B)～(D)に示したクロストークがほとんど出現しない。このため、クロストークの影響が低減された撮影を行うことができ、各狭帯域LED光源１３４～１３８の発光強度がばらついても、輝度補正を良好に行うことができ、精度よく色情報を検出することができる。

【0069】

＜変形例２＞ 次に、変形例２について説明する。LED光源の発光スペクトルは、LED部分のバンドギャップ（Ｅg）で決まる。
波長＝プランク定数*光速／Ｅg
バンドギャップＥgは温度の関数であるため、発光するタイミング（時間）でLEDの温度が上昇し、発光する波長が変化する。つまり、撮影する周辺の気温により、発光する波長が変化する。図１４(A)は、その様子が示されており、被写体のスペクトルに対して、発光するLEDの波長が実線から点線に変化（シフト）する。事前の参照板撮影時と被写体撮影時で気温が全く同じということは考えにくいため、実際には本来期待される信号値とは異なる信号値で撮影されてしまうことになる。

【0070】

この場合に、色票１４４を撮影する被写体１４２と同じような色特性（つまり、同じような分光反射率）を持つものであれば、色票１４４を撮影した信号値V(k)も同じように変化することから、輝度補正部５２６の処理により、波長変化（波長シフト）を補正できることになる。してみると、照明ユニット２１０には、被写体１４２に色特性の近いものを選定することが非常に有効である。ここでいう被写体１４２に近い色特性とは、被写体１４２と分光反射が同じ形状であることが望ましいが、一般的にそのような色票１４４を選ぶことは難しいため、同系色を選定するのが現実的である。

【0071】

ただし、測定したい被写体１４２の色にはある程度幅があるのが一般的であり、一つの色票１４４で被写体１４２と特性が近いものを選定するのは難しい。そこで、図１４(B)のように、複数の色票１４４Ａ，１４２Ｂ，１４２Ｃを設置し、これらを撮影して処理時に選択するようにしてもよい。