特許 6813749 対象物の色を数値化する方法、信号処理装置、および撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6813749

(24)【登録日】2020年12月22日

(45)【発行日】2021年1月13日

(54)【発明の名称】対象物の色を数値化する方法、信号処理装置、および撮像システム

(51)【国際特許分類】

   H04N 9/04 20060101AFI20201228BHJP

   G01N 21/27 20060101ALI20201228BHJP

【ＦＩ】

   H04N9/04 B

   G01N21/27 A

【請求項の数】16

【全頁数】21

(21)【出願番号】特願2019-233932(P2019-233932)

(22)【出願日】2019年12月25日

【審査請求日】2020年7月10日

【早期審査対象出願】

(73)【特許権者】

【識別番号】592056687

【氏名又は名称】株式会社マイクロ・テクニカ

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(72)【発明者】

【氏名】尾方 巌

(72)【発明者】

【氏名】田中 肇

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１４−００７５２８（ＪＰ，Ａ）

【文献】 特開２０１２−１３３５９３（ＪＰ，Ａ）

【文献】 特開２００９−０２５８６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４

Ｇ０１Ｎ ２１／２７

(57)【特許請求の範囲】

【請求項1】

各々が１つ以上の色にそれぞれ対応する１つ以上の画素値を有する複数の画素を含む画像のデータを取得するステップと、
前記画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出するステップと、
抽出した前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値を決定するステップと、
前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和を計算するステップと、
前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値を決定して出力するステップと、
を含む、対象物の色を数値化する方法。

【請求項2】

前記１つ以上の色は、複数の色である、請求項１に記載の方法。

【請求項3】

前記複数の色は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）を含む、請求項２に記載の方法。

【請求項4】

前記差の程度を示す値の総和を計算するステップは、
前記ｎ個の画素ブロックの各々について、前記複数の色のそれぞれの画素値の代表値を、前記複数の色によって構成される第１の色空間とは異なる第２の色空間における複数の値に変換するステップと、
前記ｎ個の画素ブロックの各々について、前記複数の値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記複数の値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算するステップと、
を含み、
前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記複数の値のそれぞれの代表値である、
請求項２または３に記載の方法。

【請求項5】

前記１つ以上の色は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）を含み、
前記画像のデータは、対象物を撮像することによって生成された、各々が赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素値を有する複数の画素を含むＲＧＢ画像のデータであり、
前記１つ以上の色のそれぞれの画素値は、Ｒ、Ｇ、Ｂのそれぞれの画素値であり、
前記差の程度を示す値の総和を計算するステップは、
前記ｎ個の画素ブロックの各々について、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記Ｒ、Ｇ、Ｂによって構成される第１の色空間とは異なる第２の色空間における３つの値に変換するステップと、
前記ｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算するステップと、
を含み、
前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値である、
請求項１に記載の方法。

【請求項6】

前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの参照値が示す前記第２の色空間上での点との距離を計算するステップと、
前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力するステップと、をさらに含む、請求項５に記載の方法。

【請求項7】

前記３つの値のそれぞれの代表値を計算して出力するステップは、前記３つの値のそれぞれの代表値を、参照値として記録媒体に記録することをさらに含み、
前記方法は、さらに、
他の対象物を撮像することによって生成された他のＲＧＢ画像のデータを取得するステップと、
前記他のＲＧＢ画像から、他のｎ個の画素ブロックを抽出するステップと、
抽出した前記他のｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定するステップと、
前記他のｎ個の画素ブロックの各々について、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記第２の色空間における３つの値に変換するステップと、
前記他のｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記他のｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を計算するステップと、
前記他のｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値を計算するステップと、
前記他のｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの前記参照値が示す前記第２の色空間上での点との距離を計算するステップと、
前記距離に応じて、前記他の対象物の色の良否を判定し、判定結果を出力するステップと、
をさらに含む、請求項５に記載の方法。

【請求項8】

前記第２の色空間における前記３つの値は、Ｌ^＊ａ^＊ｂ^＊色空間におけるＬ^＊値、ａ^＊値、およびｂ^＊値である、請求項５から７のいずれかに記載の方法。

【請求項9】

前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記第２の色空間における前記３つの値に変換するときに使用される変換係数を、機械学習によって決定するステップをさらに含む、請求項５から８のいずれかに記載の方法。

【請求項10】

前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定するステップは、前記Ｒ、Ｇ、Ｂのそれぞれの画素値を平滑化して平均化するステップを含む、請求項５から９のいずれかに記載の方法。

【請求項11】

プロセッサと、
前記プロセッサによって実行されるコンピュータプログラムを格納するメモリと、
を備え、
前記コンピュータプログラムは、前記プロセッサに、
各々が１つ以上の色にそれぞれ対応する１つ以上の画素値を有する複数の画素を含む画像のデータを取得するステップと、
前記画像から、互いに離れたｎ個（ｎは３以上の整数）の画素をそれぞれ内包するｎ個の画素ブロックを抽出するステップと、
抽出した前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素
値の代表値を決定するステップと、
前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和を計算するステップと、
前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値を計算して出力するステップと、
を実行させる、信号処理装置。

【請求項12】

前記１つ以上の色は、複数の色である、請求項１１に記載の信号処理装置。

【請求項13】

前記複数の色は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）を含む、請求項１２に記載の信号処理装置。

【請求項14】

前記差の程度を示す値の総和を計算するステップは、
前記ｎ個の画素ブロックの各々について、前記複数の色のそれぞれの画素値の代表値を、前記複数の色によって構成される第１の色空間とは異なる第２の色空間における複数の値に変換するステップと、
前記ｎ個の画素ブロックの各々について、前記複数の値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記複数の値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算するステップと、
を含み、
前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記複数の値のそれぞれの代表値である、
請求項１２または１３に記載の信号処理装置。

【請求項15】

前記１つ以上の色は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）を含み、
前記画像のデータは、対象物を撮像することによって生成された、各々が赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素値を有する複数の画素を含むＲＧＢ画像のデータであり、
前記１つ以上の色のそれぞれの画素値は、Ｒ、Ｇ、Ｂのそれぞれの画素値であり、
前記差の程度を示す値の総和を計算するステップは、
前記ｎ個の画素ブロックの各々について、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記Ｒ、Ｇ、Ｂによって構成される第１の色空間とは異なる第２の色空間における３つの値に変換するステップと、
前記ｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算するステップと、
を含み、
前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値である、
請求項１１に記載の信号処理装置。

【請求項16】

請求項１１から１５のいずれかに記載の信号処理装置と、
対象物を撮像することによって前記画像のデータを生成する撮像装置と、
を備える撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象物の色を数値化する方法、信号処理装置、および撮像システムに関する。

【背景技術】

【0002】

従来、色彩の測定または評価を行うための種々の技術が開発されている。例えば、特許文献１から３は、対象物の色を測定または評価する技術の例を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−２０６７６０号公報

【特許文献2】特開２０１４−１３２２５７号公報

【特許文献3】特開２００９−２５８６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、表面の色彩が均一でない対象物の色を適切に評価するための新規な方法および装置を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様による対象物の色を数値化する方法は、各々が１つ以上の色にそれぞれ対応する１つ以上の画素値を有する複数の画素を含む画像のデータを取得するステップと、前記画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出するステップと、抽出した前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値を決定するステップと、前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和を計算するステップと、前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値を決定して出力するステップとを含む。

【0006】

上記の包括的な態様は、装置、システム、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせによって実現され得る。

【発明の効果】

【0007】

本開示の実施形態によれば、表面の色彩が均一でない対象物であっても色を適切に評価することが可能になる。

【図面の簡単な説明】

【0008】

【図1】本発明の例示的な実施形態における撮像システムの構成を模式的に示す図である。

【図2】反射型の照明装置が設けられた構成の一例を示す図である。

【図3】信号処理装置によって実行される処理の概要を示すフローチャートである。

【図4】ステップＳ１０における色登録処理の流れを示すフローチャートである。

【図5】画素ブロックの抽出処理の例を説明するための図である。

【図6】画素ブロックの抽出処理の例を説明するための図である。

【図7】Ｌ^＊ａ^＊ｂ^＊色空間上での複数の点の距離の総和の計算を説明するための図である。

【図8】Ｌ^＊ａ^＊ｂ^＊色空間上での複数の点の距離の総和の計算を説明するための図である。

【図9】Ｌ^＊ａ^＊ｂ^＊色空間上でのｎ個の点から、他の点との距離の総和が相対的に小さいｍ個の点の例を示す図である。

【図10】色判定処理の流れを示すフローチャートである。

【図11】良否判定の方法の例を示す図である。

【図12】統計データに基づく良否判定の例を示す概念図である。

【図13】マクベスカラーチェッカーを示す図である。

【図14】例示的な実施形態における係数調整方法による効果を示す図である。

【発明を実施するための形態】

【0009】

従来、色彩の測定や評価には、色彩計を用いた色彩測定、またはスペクトル測定器による分光分析などの方法が用いられてきた。これらの方法は、一般に、小さいスポット（例えば数ｍｍ以下）における色彩を測定する。そのため、表面の色彩が均一ではない対象物の色彩を高い精度で測定することが難しい。例えば、地紋や折り目などがある布地、紙（特に繊維が大きいもの）、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの色を高い精度で測定することは難しい。そのような対象物を測定する場合、計測点の位置がわずかに異なるだけで測定値が大きく異なる。そのため、上記のような対象物には、従来の測色方法では安定した測定結果を得ることができなかった。

【0010】

そこで、本発明者らは、表面の色が均一でない対象物の色を適切に数値化し、評価することを可能にするために、以下に説明する各実施形態の方法および装置を開発するに至った。以下、本開示の実施形態の概要を説明する。

【0011】

本開示のある実施形態による対象物の色を数値化する方法は、以下の（Ａ）から（Ｅ）のステップを含む。
（Ａ）各々が１つ以上の色にそれぞれ対応する１つ以上の画素値を有する複数の画素を含む画像のデータを取得する。
（Ｂ）前記画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出する。
（Ｃ）抽出した前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値を決定する。
（Ｄ）前記ｎ個の画素ブロックの各々について、前記１つ以上の色のそれぞれの画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和を計算する。
（Ｅ）前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値を決定して出力する。

【0012】

上記のステップ（Ｄ）における「差の程度を示す値」は、比較対象の２つの画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値の差そのものであってもよいし、当該画素値の代表値から変換された他の値同士の差であってもよい。上記のステップ（Ｅ）における「１つの色を示す値」は、前記ｍ個の画素ブロックにおける前記１つ以上の色のそれぞれの画素値の代表値の平均値であってもよいし、当該代表値に基づく計算によって得られる他の値であってもよい。

【0013】

上記のステップ（Ｅ）における１つの色を示す値は、対象物の色を識別するための識別データとして利用され得る。上記１つ以上の色は、単色であってもよいし、複数の色であってもよい。上記１つ以上の色が単色の場合、上記の方法により、対象物の濃淡の程度を１つの値で評価することができる。上記１つ以上の色が複数の色の場合、対象物の色彩を複数の値で評価することができる。上記複数の色は、例えば赤（Ｒ）、緑（Ｂ）、青（Ｂ）の三原色を含み得る。ただし、必ずしも三原色に限定されない。用途によっては、４色または５色などのマルチスペクトルの色の評価に上記方法を用いることもできる。ここで、便宜上「色」という表現を用いているが、本開示における「色」は、可視光の波長域に含まれる色に限定されず、例えば赤外または紫外などの不可視光の波長域も含む。

【0014】

上記の方法によれば、画像から抽出されたｎ個の画素ブロックから、互いに色または濃度が近いと推定されるｍ個の画素ブロックが選択される。そして、当該ｍ個の画素ブロックの、上記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値が、色の識別データとして出力される。このような処理により、色または濃度が均一でない対象物の色を適切に評価することが可能になる。

【0015】

前記１つ以上の色が複数の色である場合、前記差の程度を示す値の総和を計算するステップ（Ｄ）は、以下のステップを含み得る。
（Ｄ１）前記ｎ個の画素ブロックの各々について、前記複数の色のそれぞれの画素値の代表値を、前記複数の色によって構成される第１の色空間とは異なる第２の色空間における複数の値に変換する。
（Ｄ２）前記ｎ個の画素ブロックの各々について、前記複数の値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記複数の値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算する。

【0016】

前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記複数の値のそれぞれの代表値であり得る。

【0017】

上記の方法によれば、対象物の色彩をより適切に評価することができる。

【0018】

本開示の他の実施形態による対象物の色を数値化する方法は、以下の（ａ）から（ｆ）のステップを含む。
（ａ）対象物を撮像することによって生成された、各々が赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素値を有する複数の画素を含むＲＧＢ画像のデータを取得する。
（ｂ）前記ＲＧＢ画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出する。
（ｃ）抽出した前記ｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定する。
（ｄ）前記ｎ個の画素ブロックの各々について、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記Ｒ、Ｇ、Ｂによって構成される第１の色空間とは異なる第２の色空間における３つの値に変換する。
（ｅ）前記ｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を計算する。
（ｆ）前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記３つの値のそれぞれの代表値を計算して出力する。

【0019】

上記のステップ（ｆ）における第２の色空間における３つの値のそれぞれの代表値は、対象物の色を識別するための識別データとして利用される。上記３つの値のそれぞれの代表値は、例えば、ｍ個の画素ブロックにおける上記３つの値のそれぞれの平均値であり得る。上記の方法によれば、ＲＧＢ画像から抽出されたｎ個の画素ブロックから、互いに色が近いと推定されるｍ個の画素ブロックが選択される。そして、当該ｍ個の画素ブロックの、第２の色空間における３つの値のそれぞれの代表値が、色の識別データとして出力される。このような処理により、色が均一でない対象物の色を適切に評価することが可能になる。

【0020】

上記の方法は、例えば、同様の工程によって生産された製品の色の検査に使用され得る。そのような用途においては、まず、予め生産された製品（第１の対象物と称する）について、上記の方法によって識別データが参照用データとして予め記録媒体に記録される。次に、上記製品と同様の工程によって生産された第２の対象物について、上記と同様の方法によって識別データが生成される。生成された識別データと、予め記録された参照用データとを比較することにより、当該対象物の色の良否を判定することができる。

【0021】

そのような用途においては、上記の方法は、さらに以下のステップを含み得る。
（ｇ）前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値（例えば平均値）が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの参照値が示す前記第２の色空間上での点との距離を計算する。
（ｈ）前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力する。

【0022】

ステップ（ｇ）、（ｈ）により、予め記録された第１の対象物の色と、検査対象の第２の対象物との色の近似度に基づいて、第２の対象物の色の良否を判定することができる。色の良否は、例えば、良／不良の２値の値で評価されてもよいし、近似度に応じて３つ以上の値で評価されてもよい。

【0023】

上記の方法が対象物の色の登録時に使用される場合、前記３つの値のそれぞれの代表値を計算して出力するステップは、前記３つの値のそれぞれの代表値（例えば平均値）を、参照値として記録媒体に記録することをさらに含む。他の対象物の色の検査時には、前記方法は、さらに、以下のステップを含む。
（ａ’）他の対象物を撮像することによって生成された他のＲＧＢ画像のデータを取得する。
（ｂ’）前記他のＲＧＢ画像から、他のｎ個の画素ブロックを抽出する。
（ｃ’）抽出した前記他のｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定する。
（ｄ’）前記他のｎ個の画素ブロックの各々について、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記第２の色空間における３つの値に変換する。
（ｅ’）前記他のｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記他のｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を計算する。
（ｆ’）前記他のｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値を計算する。
（ｇ’）前記他のｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの前記参照値が示す前記第２の色空間上での点との距離を計算する。
（ｈ’）前記距離に応じて、前記他の対象物の色の良否を判定し、判定結果を出力する。

【0024】

前記第２の色空間における前記３つの値は、例えば、Ｌ^＊ａ^＊ｂ^＊色空間におけるＬ^＊値、ａ^＊値、およびｂ^＊値であり得る。Ｌ^＊ａ^＊ｂ^＊色空間は、人間の視覚を近似するように設計されている。このため、Ｌ^＊ａ^＊ｂ^＊色空間における距離の総和の小さい画素ブロックから順に選択することにより、より人間の視覚に近い数値化が可能となる。なお、色の数値化の目的によっては、必ずしも人間の視覚に近い必要はないため、第２の色空間はＬ^＊ａ^＊ｂ^＊色空間とは異なる色空間であってもよい。

【0025】

上記の方法は、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記第２の色空間における前記３つの値に変換するときに使用される変換係数を、機械学習によって決定するステップをさらに含んでいてもよい。

【0026】

前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定するステップは、前記Ｒ、Ｇ、Ｂのそれぞれの画素値を平滑化して平均化するステップを含んでいてもよい。

【0027】

本開示の他の実施形態による信号処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納するメモリと、を備える。前記コンピュータプログラムは、前記プロセッサに、上記の方法を実行させる。

【0028】

本開示の他の実施形態による撮像システムは、上記の信号処理装置と、前記対象物を撮像することによって前記ＲＧＢ画像のデータを生成する撮像装置とを備える。

【0029】

以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。なお、本願の図面に示される構造物の全体または一部分の形状および大きさは、現実の形状および大きさを制限するものではない。また、以下に説明する実施形態の構成を適宜組み合わせて、他の実施形態を構成してもよい。

【0030】

（実施形態）
［１．構成］
図１は、本発明の例示的な実施形態における撮像システム１００の構成を模式的に示す図である。このシステム１００は、対象物２３０の色を識別し、識別結果を出力する。対象物２３０は、例えば、地紋や折り目などがある布地、紙（特に繊維が大きいもの）、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの、表面の色が均一ではない物である。なお、対象物２３０は、色が均一ではない物に限定されず、任意の物が対象物２３０になり得る。対象物２３０は、例えば手作業または製造ラインによって量産される製品であり得る。その場合、製品ごとに色のばらつきが生じ得る。このため、生産された対象物２３０ごとに、本実施形態における色識別処理が実行され、色の良否の判定が行われる。以下の説明では、一例として、対象物２３０が地紋や折り目などがある布地であるものとする。

【0031】

システム１００は、信号処理装置１１０と、照明装置１２０と、撮像装置１４０と、制御装置１６０と、ディスプレイ２２０とを備えている。制御装置１６０は、信号処理装置１１０、照明装置１２０、および撮像装置１４０に接続されている。ディスプレイ２２０は、信号処理装置１１０に接続されている。

【0032】

この例における照明装置１２０は、対象物２３０を載置することが可能な発光面を有しており、発光面から可視光を発する。照明装置１２０は、例えば白色光を出射する複数の発光ダイオード（ＬＥＤ）のアレイによって実現され得る。ＬＥＤに限らず、例えば蛍光灯または有機発光素子などの光源によって照明装置１２０が実現されていてもよい。発光面は、対象物２３０を置くための台として機能する。照明装置１２０は、白色光を、対象物２３０の背面側から撮像装置１４０に向かって出射する。照明装置１２０が発する白色光は特に限定されないが、例えばＤ５０光源からの光のスペクトルに近い白色光が使用され得る。

【0033】

本実施形態のような透過型の照明装置１２０は、対象物２３０が布地や紙などの薄い物である場合に使用され得る。透過型の照明装置１２０に代えて、反射型の照明装置を設けてもよい。なお、照明装置１２０は、必要に応じて配置される。外部の照明または自然光などを利用できる場合には、照明装置１２０を設ける必要はない。

【0034】

撮像装置１４０は、可視光の波長域に感度を有するイメージセンサを備える。図１に示す例では、撮像装置１４０は、照明装置１２０から出射され、対象物２３０を透過した光を受ける位置に配置されている。撮像装置１４０は、対象物２３０を撮像して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の情報を有するＲＧＢ画像信号を出力する。撮像装置１４０は、典型的には、Ｒ、Ｇ、Ｂの３種類のカラーフィルタが画素ごとに配置されたイメージセンサを備える。撮像装置１４０が出力するＲＧＢ画像信号は、各画素がＲ、Ｇ、Ｂの３つの画素値を有する複数の画素を含む２次元のＲＧＢ画像のデータである。

【0035】

制御装置１６０は、制御装置１６０は、信号処理装置１１０、照明装置１２０、および撮像装置１４０を制御する装置である。制御装置１６０は、照明装置１２０による発光、撮像装置１４０による撮像、および信号処理装置１１０による信号処理のタイミングを制御する。制御装置１６０は、例えば汎用または専用のコンピュータである。

【0036】

信号処理装置１１０は、撮像装置１４０から出力された画像データを処理する装置である。信号処理装置１１０は、例えば汎用または専用のコンピュータである。信号処理装置１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ（処理回路）１１２と、メモリ１１４などの記録媒体と、入出力インタフェース（ＩＦ）１１６とを備えている。信号処理装置１１０は、撮像装置１４０から出力された画像信号を処理して対象物２３０の色を識別し、識別結果をディスプレイ２２０に出力する。この動作は、プロセッサ１１２がメモリ１１４に格納されたコンピュータプログラムを実行することによって実現される。

【0037】

制御装置１６０および信号処理装置１１０は、１台のコンピュータによって実現されていてもよい。信号処理装置１１０の機能の少なくとも一部が撮像システム１００から遠く離れた場所に設置されたコンピュータによって実行されてもよい。例えば、インターネットなどのネットワークを介して制御装置１６０に接続されたサーバコンピュータが、信号処理装置１１０の少なくとも一部の機能を実行してもよい。

【0038】

ディスプレイ２２０は、信号処理装置１１０からの指示により、色の識別結果を表示する。ディスプレイ２２０は、例えばＣＲＴ、液晶、または有機ＥＬなどのモニターである。

【0039】

図１に示す構成に代えて、図２に示す構成を採用してもよい。図２は、反射型の照明装置１２０が設けられた構成の一例を示す図である。この例では、照明装置１２０は、撮像装置１４０の近傍に配置されている。照明装置１２０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長域の光をそれぞれ発する３つの光源を備えている。各光源は、例えばＬＥＤ光源である。この例では、撮像装置１４０は、モノクロのイメージセンサを備えていてもよい。すなわち、イメージセンサは、画素ごとにＲ、Ｇ、Ｂのカラーフィルタを備えている必要はない。制御装置１６０は、照明装置１２０に、Ｒ、Ｇ、Ｂの光源を順次点灯させ、撮像装置１４０に、各色の画像を取得させる。そのようにして取得されたＲ、Ｇ、Ｂの３つの画像信号を合成することにより、画素ごとにＲ、Ｇ、Ｂの画素値を有するカラー画像のデータを生成することができる。

【0040】

［２．動作］
図３は、信号処理装置１１０によって実行される処理の概要を示すフローチャートである。本実施形態においては、対象物２３０の色の良否を判定する処理の事前準備として、対象物２３０の色の登録処理が行われる（ステップＳ１０）。この登録処理では、信号処理装置１１０は、後述する処理により、対象物２３０の色を示す数値を決定し、当該数値を参照値としてメモリ１１４などの記録媒体に記録する。登録処理が完了した後、色が登録された対象物２３０と同じ種類の対象物２３０の色判定処理（ステップＳ２０）が行われる。各処理の具体例を説明する。

【0041】

［２−１．色登録処理］
図４は、ステップＳ１０における色登録処理の流れを示すフローチャートである。信号処理装置１１０におけるプロセッサ１１２は、ステップＳ１０１からＳ１０７を実行することにより、対象物２３０の色を登録する。

【0042】

ステップＳ１０１に先立って、対象物２３０が撮像装置１４０によって撮影される。撮影は、環境光の影響を抑えるために、例えば暗室で行われ得る。この撮影により、撮像装置１４０から、対象物２３０のＲＧＢの画像データが出力され、信号処理装置１１０のメモリ１１４に記録される。

【0043】

ステップＳ１０１において、プロセッサ１１２は、撮像装置１４０によって生成されたＲＧＢ画像データをメモリ１１４から取得する。

【0044】

ステップＳ１０２において、プロセッサ１１２は、取得したＲＧＢ画像データから、複数（ｎ個）の画素ブロックを抽出する。抽出される画素ブロックの数ｎは、３以上の任意の数に設定され得る。ある例において、ｎは１００程度の数に設定され得る。

【0045】

図５および図６は、画素ブロックの抽出処理の例を説明するための図である。画素ブロックの抽出処理は、例えば以下のようにして行われ得る。
（１）ＲＧＢ画像の中から、ｎ個（例えば１００個）の点を選択する。図５は、ＲＧＢ画像３１０から選択されるｎ個の点の例を示している。図５における＋印は、選択される点を示している。図５における色の濃い領域２３０ｉは、対象物２３０を示す領域である。ｎ個の点は、図５に示すように縦方向および横方向のそれぞれについて一定の間隔で選択されてもよいし、ランダムに選択されてもよい。図５の例において、ｎ個の点の一部は、対象物を示す領域２３０ｉの内部にあり、残りの点は当該領域２３０ｉの外部にある。このように、選択されるｎ個の点の全てが対象物を示す領域２３０ｉの内部にある必要はない。
（２）選択されたｎ個の点のそれぞれを中心に、その周囲の一定の面積（例えば１００画素程度）の画素ブロックを抽出する。図６は、抽出されたｎ個の画素ブロックの例を示す図である。図６において、□印の領域が画素ブロックを示している。図６に示す例では、ｎ個の画素ブロックのいずれも、他の画素ブロックに重なっていないが、画素ブロック間で重なりが生じていてもよい。また、画素ブロックごとに大きさが異なっていてもよい。

【0046】

再び図４を参照する。

【0047】

ステップＳ１０３において、プロセッサ１１２は、各画素ブロックの画像を平滑化（または平均化）し、Ｒ、Ｇ、Ｂのそれぞれの色の代表値を決定する。例えば、各画素ブロックのＲ、Ｇ、Ｂそれぞれの画像データを、所定のサイズの平滑化フィルタを用いて平滑化することにより、各色の代表値を決定する。より具体的には、３×３画素または５×５画素などのサイズをもつ平均化フィルタ、加重平均化フィルタ、またはガウシアンフィルタなどの平滑化フィルタを用いて、各画素ブロックの画像データを平滑化できる。平滑化の処理は、複数回行われてもよい。平滑化を行うことにより、各画素ブロックのＲ、Ｇ、Ｂの値が平均化される。プロセッサ１１２は、画素ブロックごとに、Ｒ、Ｇ、Ｂのそれぞれについて、平均化された１つの値を代表値として決定する。なお、平滑化フィルタを用いる代わりに、単純に各画素ブロック内の複数の画素のＲ、Ｇ、Ｂのそれぞれの画素値の平均値を代表値としてもよい。ステップＳ１０３により、複数の画素ブロックの各々について、Ｒ、Ｇ、Ｂの平均化されたデータが得られる。

【0048】

ステップＳ１０５において、プロセッサ１１２は、ｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、ＣＩＥ−Ｌ^＊ａ^＊ｂ^＊表色系におけるＬ^＊、ａ^＊、ｂ^＊のデータに変換する。この変換は、例えば、以下のようにして行われる。プロセッサ１１２はまず、Ｒ、Ｇ、ＢのデータをＣＩＥ−ＸＹＺ表色系におけるＸ、Ｙ、Ｚのデータに変換する。この変換は、既知の変換行列を用いて行われる。例えば、赤、緑、青の値をそれぞれＲ、Ｇ、Ｂとして、以下の数１〜３の変換式によってＸ、Ｙ、Ｚの値が得られる。

【数1】

【数2】

【数3】

ここで変換係数Ｋ_１１、Ｋ_１２、Ｋ_１３、Ｋ_２１、Ｋ_２２、Ｋ_２３、Ｋ_３１、Ｋ_３２、Ｋ_３３は、撮像システムに依存して適切な値に設定される。

【0049】

次に、プロセッサ１１２は、Ｘ、Ｙ、Ｚのデータを、以下の数４〜６の変換式により、Ｌ^＊、ａ^＊、ｂ^＊のデータに変換する。

【数4】

【数5】

【数6】

ここで、変換係数Ｋｌ、Ｋａ、Ｋｂ、Ｏｌは、撮像システムに依存して適切な値に設定される。Ｘ_０、Ｙ_０、Ｚ_０は、標準光の下での標準白色の三刺激値を表す。

【0050】

このように、プロセッサ１１２は、各画素ブロックにおけるＲ、Ｇ、Ｂの値を、ＲＧＢ色空間とは異なるＬ^＊ａ^＊ｂ^＊色空間における３つの値Ｌ^＊、ａ^＊、ｂ^＊に変換する。以下、この３つの値をＬ^＊ａ^＊ｂ^＊データと称する。この変換により、色空間内での距離差を、方向によらず人間が知覚する色差に合わせることができる。

【0051】

ステップＳ１０５において、プロセッサ１１２は、ｎ個の画素ブロックの各々について、Ｌ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での点と、他の全ての画素ブロックにおけるＬ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での点との距離の総和を計算する。この処理について、図７および図８を参照して説明する。

【0052】

図７および図８は、ｎ個の画素ブロックのＬ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での複数の点の一例を模式的に示している。この例では簡単のため、ａからｅの５個の点が図示されている。図７には、点ａと、他の全ての点との距離が矢印で示されている。図８には、点ｂと、他の全ての点との距離が矢印で示されている。他の点ｃ、ｄ、ｅについても同様に、Ｌ^＊ａ^＊ｂ^＊色空間上での距離が規定される。プロセッサ１１２は、Ｌ^＊ａ^＊ｂ^＊色空間上のｎ個の点のそれぞれについて、他の全ての点との距離の総和を計算する。ｎ個の画素ブロックのうちのｉ番目（ｉは、１以上ｎ以下の整数）の画素ブロックのＬ^＊、ａ^＊、ｂ^＊の値をそれぞれＬ_ｉ、ａ_ｉ、ｂ_ｉとすると、プロセッサ１１２は、以下の数７で表される距離の総和Ｓｉを、全ての画素ブロックについて計算する。

【数7】

【0053】

ステップＳ１０６において、プロセッサ１１２は、ｎ個の画素ブロックの中から、ステップＳ１０５において計算した距離の総和が小さいものから順にｍ個（ｍは２以上ｎ未満の整数）の画素ブロックを選択する。ｍは、例えばｎの数十分の１から数分の１程度の数に設定され得る。ｎが例えば１００である場合、ｍは例えば２０程度の数に設定され得る。

【0054】

図９は、Ｌ^＊ａ^＊ｂ^＊色空間上でのｎ個の点から、他の点との距離の総和が相対的に小さいｍ個の点３２０の例を示す図である。図９に示すように、ステップＳ１０６により、他の点との距離の総和が相対的に大きい点が排除され、距離の総和が相対的に小さい一部の点３２０のみが残される。上記の処理により、Ｌ^＊ａ^＊ｂ^＊色空間上で点が密集した部分にあるｍ個の点のデータが採用される。色空間をＬ^＊ａ^＊ｂ^＊とすることで、効果的に近似色のみを抽出することができる。

【0055】

ステップＳ１０７において、プロセッサ１１２は、選択したｍ個の画素ブロックにおけるＬ^＊、ａ^＊、ｂ^＊のそれぞれの値の平均値を計算し、当該平均値をメモリ１１４に参照値として記録する。なお、平均値に代えて、ｍ個の画素ブロックにおけるＬ^＊、ａ^＊、ｂ^＊の値に基づいて決定される他の代表値を記録してもよい。ここで記録されるＬ^＊、ａ^＊、ｂ^＊の参照値を、それぞれＬ_ｒ、ａ_ｒ、ｂ_ｒとする。

【0056】

以上の処理により、対象物２３０の色の登録が完了する。記録された参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒは、その対象物２３０の基準色を表し、同種の他の対象物２３０の色の判定処理（ステップＳ２０）において参照される。

【0057】

［２−２．色判定処理］
続いて、図３に示すステップＳ２０の色判定処理を説明する。

【0058】

図１０は、色判定処理の流れを示すフローチャートである。色判定処理は、ステップＳ２０１からＳ２０９を含む。ステップＳ２０１からＳ２０７の処理は、それぞれ、図４に示すステップＳ１０１からＳ１０７の処理と同様である。このため、ステップＳ２０１からＳ２０７の処理の詳細な説明は省略する。プロセッサ１１２は、ステップＳ２０１からＳ２０７の処理により、検査対象の対象物２３０のＲＧＢ画像データから、Ｌ^＊、ａ^＊、ｂ^＊のそれぞれの平均値を計算する。この計算したＬ^＊、ａ^＊、ｂ^＊の平均値を、それぞれ測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍとする。その後、ステップＳ２０８およびＳ２０９において、測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍと、予め記録された参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒとの比較を行い、対象物２３０の色の良否を判定する。以下、ステップＳ２０８およびＳ２０９の処理をより詳細に説明する。

【0059】

ステップＳ２０８において、プロセッサ１１２は、ステップＳ２０７で計算したＬ^＊、ａ^＊、ｂ^＊のそれぞれの平均値Ｌ_ｍ、ａ_ｍ、ｂ_ｍが示すＬ^＊ａ^＊ｂ^＊色空間上での点と、予め記録されたＬ^＊、ａ^＊、ｂ^＊のそれぞれの参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒが示すＬ^＊ａ^＊ｂ^＊色空間上での点との距離を計算する。この距離は色差に相当し、ΔＥで表される。色差ΔＥは、以下の式によって計算される。

【数8】

【0060】

このように、本明細書において、２つの色の「色差」は、色空間における当該２つの色の距離を意味する。本実施形態のようにＲＧＢからＬ^＊ａ^＊ｂ^＊への変換が行われる場合、Ｌ^＊ａ^＊ｂ^＊色空間における距離ΔＥが色差に該当する。他の変換が行われる場合は、他の色空間における距離が色差として計算される。なお、ΔＥに代えて、（ΔＥ）^２を色差として用いてもよい。

【0061】

ステップＳ２０９において、プロセッサ１１２は、計算した距離ΔＥに応じて、対象物２３０の色の良否を判定し、判定結果を出力する。判定結果は、ディスプレイ２２０に表示される。ΔＥは一次元の数値であり、各次元の重みが均等になっているため色彩の差を表す数値として優れている。このため、ΔＥは基準色からの差異の測定および合否の判定に便利である。ΔＥの値のみをディスプレイ２２０に表示してもよい。しかし、この数値を基にいくつかの閾値を設けることで、合否判定またはクラス分けなどを行うことができる。例えば、ΔＥが閾値未満であれば「合格」、閾値以上であれば「不合格」とすることができる。あるいは、ΔＥが第１の閾値未満であれば「ランクＡ」、第１の閾値以上かつ第２の閾値未満であれば「ランクＢ」、第２の閾値以上第３の閾値未満であれば「ランクＣ」、といったクラス分けを行ってもよい。

【0062】

図１１は、良否判定の方法の例を示す図である。図１１の（ａ）は、ΔＥと１つの閾値との比較に基づく合否判定の例を示している。図１１の（ｂ）は、ΔＥと複数の閾値との比較に基づくランク判定の例を示している。（ａ）の例では、閾値を１．０とし、ΔＥ＜１．０であれば「合格（ＯＫ）」、ΔＥ≧１．０であれば「不合格（ＮＧ）」と判定される。（ｂ）の例では、３つの閾値０．５、１．０、および１．５が設定され、ΔＥ＜０．５であれば「ランクＡ」、０．５≦ΔＥ＜１．０であれば「ランクＢ」、１．０≦ΔＥ＜１．５であれば「ランクＣ」、ΔＥ＞１．５であれば「不合格（ＮＧ）」と判定される。閾値の数は４つ以上であってもよい。閾値の数が多いほど、より多くのクラスに分類することができる。

【0063】

上記の例において、各閾値を手動で設定してもよいが、各閾値の決定には様々な条件を考慮する必要があり、容易に決定できない場合がある。一方、本実施形態では、基準色を測定して登録する処理において、多くの点のデータが得られている。そのため、標準偏差などの統計データから、被測定物の色の許容差をあらかじめ知ることができる。したがって、標準偏差などの統計データに基づいて、各閾値を決定することができる。それにより、より適切な良否判定が可能になる。

【0064】

図１２は、統計データに基づく良否判定の例を示す概念図である。図１２には、ステップＳ１０４またはＳ２０４において得られた統計データ（すなわちｎ個のＬ^＊ａ^＊ｂ^＊データ）から決定された、Ｌ^＊ａ^＊ｂ^＊色空間中の２つの球３３０、３４０が例示されている。内側の球３３０は、例えばＬ^＊、ａ^＊、ｂ^＊のいずれかの統計データの標準偏差σを半径とする球であり得る。外側の球３４０は、例えばＬ^＊、ａ^＊、ｂ^＊のいずれかの統計データの標準偏差σの１．３倍を半径とする球であり得る。測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍが示す点が内側の球３３０の内部にあれば「高ランク品」、内側の球３３０の外部で且つ外側の球３４０の内部にあれば「低ランク品」、外側の球３４０の外部にあれば「不良品」といった判定が可能である。図１２の例では、２つの球３３０、３４０がＬ^＊ａ^＊ｂ^＊色空間中に規定されるが、１つまたは３つ以上の球または他の立体（例えば楕円体）が規定されてもよい。１つの立体が規定される場合、測定データの点が、当該立体の内部にあれば「良品」、外部にあれば「不良品」と判定できる。また、３つ以上の立体が規定される場合、４つ以上のクラスに被測定物を分類することができる。

【0065】

［２−３．変換係数の決定方法］
次に、前述の数１〜６における変換係数Ｋ１１、Ｋ１２、Ｋ１３、Ｋ２１、Ｋ２２、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３、Ｋｌ、Ｋａ、Ｋｂ、Ｏｌを決定する方法の例を説明する。本実施形態では、これらの変換係数を、誤差逆伝搬法などの機械学習アルゴリズムを利用して決定する。変換係数の決定は、図３に示す色登録処理の前に予め実行され得る。変換係数の決定には、予め複数の色見本を配列したカラーチャートが用いられ得る。例えば、図１３に示すマクベスカラーチェッカー（Macbeth Color Checker）が用いられ得る。マクベスカラーチェッカーでは、２４個の矩形の色見本が表のように２次元的に配列されている。各色見本の色は既知である。

【0066】

このようなカラーチャートを、実際に使用されるデバイスを用いて撮像し、その結果得られた色データが既知の色データと一致していればよい。しかし、通常、そのままの状態で一致することはなく、調整を行う必要がある。本実施形態では、この調整を、色空間の変換時に用いられる前述の数１〜６における各変換係数を変化させることによって行う。

【0067】

通常の方法では、多くの係数を多くの色に対して最適に調整することは難しい。このため、一般には、代表的な数色（例えば、赤、緑、青など）に限定して調整される。本実施形態では、この調整時に、誤差逆伝播法を用い、既知の多数の色について機械学習を行う。これにより、多くの色について、規定値または理論値に近似した測定を行うことができる。

【0068】

以下、この調整方法の一例を説明する。以下の説明において、処理の主体は、信号処理装置１１０におけるプロセッサ１１２である。
（ａ）まず、カラーチャートにおける１つの色見本について、撮像を行う。そして、図４に示すステップＳ１０１からＳ１０３と同様の処理を実行する。これにより、ｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂの各色の代表値が決定される。
（ｂ）次に、前述の数１〜６における各変換係数を仮の値に設定して、ステップＳ１０４からＳ１０７と同様の処理を実行する。これにより、Ｌ^＊、ａ^＊、ｂ^＊のそれぞれの値の代表値が得られる。これらの代表値を実測値と呼ぶ。
（ｃ）次に、Ｌ^＊、ａ^＊、ｂ^＊の実測値と、予め規定された当該色見本のＬ^＊、ａ^＊、ｂ^＊の値との誤差を計算する。誤差は、例えば前述の数８と同様の計算によって行われる。
（ｄ）上記の（ａ）から（ｃ）の処理を、カラーチャートの他の全ての色について順次実行する。これにより、色ごとに、Ｌ^＊、ａ^＊、ｂ^＊の実測値と規定値との誤差を計算する。
（ｅ）それぞれの色について得られた誤差の和または二乗和を算出する。
（ｆ）上記（ｂ）における色変換処理で使用される各係数を変化させる。

【0069】

上記（ａ）から（ｆ）の処理が繰り返し実行される。上記（ｆ）における各係数の調整は、、誤差逆伝搬法などの機械学習アルゴリズムを用いて実行される。上記（ｅ）で得られる誤差の和または二乗和が小さくなるように各係数が調整される。誤差の和または二乗和が最も小さくなるときに使用された係数を、ステップＳ１０４およびＳ２０４において実際に使用する係数として設定する。

【0070】

以上の処理により、色の識別精度を大幅に向上させることができる。図１４は、上記の係数調整方法による効果を示す図である。図１４は、機械学習を利用した場合と利用しなかった場合のそれぞれについての、マクベスカラーチェッカーの各色の実測値と規定値との誤差の例を示している。図１４に示すように、上記の機械学習を利用して各係数を調整することにより、各色の誤差を、数分の１以下に低減することができる。これにより、色の識別精度を大幅に向上させることができる。

【0071】

なお、本実施形態では、信号処理装置１１０のプロセッサ１１２が、上記の機械学習を利用した係数の調整を実行するが、この処理の一部または全部を外部のサーバが実行してもよい。そのようなサーバは、例えばインターネットなどのネットワークを介して信号処理装置１１０に接続されていてもよい。係数の決定を外部のサーバに実行させることにより、信号処理装置１１０の規模を小さくでき、撮像システム１００を小型化することができる。

【0072】

本実施形態では、信号処理装置１１０は、ＲＧＢ値からＸＹＺ値への変換を行い、さらにＬ^＊ａ^＊ｂ^＊値への変換を行い、計測されたＬ^＊ａ^＊ｂ^＊値と、予め登録されたＬ^＊ａ^＊ｂ^＊値とから計算される距離（すなわち色差）を計算する。しかし、Ｌ^＊ａ^＊ｂ^＊値への変換に限らず、他の色空間における値への変換を行ってもよい。例えば、ＸＹＺまたはＬ^＊ｕ^＊ｖ^＊などへの変換を行い、前述と同様の処理を適用してもよい。その場合、当該他の色空間における距離を色差として扱えばよい。

【0073】

［３．効果］
以上のように、本実施形態によれば、信号処理装置１１０は、対象物２３０の色の登録処理と、色判定処理とを行う。登録処理において、信号処理装置１１０は、撮像装置１４０から取得したＲＧＢ画像データが示す画像から、ｎ個の画素ブロックを決定し、画素ブロックごとにＲ、Ｇ、Ｂのそれぞれの画素値の代表値（例えば平均値）を決定する。そして、各画素ブロックについて、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、ＲＧＢ色空間とは異なる第２の色空間（例えばＬ^＊ａ^＊ｂ^＊色空間）における３つの値（例えばＬ^＊、ａ^＊、ｂ^＊値）に変換する。さらに、各画素ブロックについて、当該３つの値が示す第２の色空間上での点と、ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての当該３つの値が示す第２の色空間上での点との距離の総和を計算する。ｎ個の画素ブロックのうち、距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける上記３つの値のそれぞれの代表値（例えば平均値）を計算して参照値として出力する。以上の処理が、色の登録が必要な全ての対象物について実行され得る。色判定処理において、信号処理装置１１０は、被測定物である対象物についても上記と同様の方法で、第２の色空間における３つの値のそれぞれの代表値を測定値として計算する。そして、測定値が示す前記第２の色空間上での点と、予め記録された参照値が示す第２の色空間上での点との距離を計算する。信号処理装置は、当該距離に応じて、対象物の色の良否を判定し、判定結果を出力する。

【0074】

以上の処理によれば、ｎ個の画素ブロックのうち、距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける上記３つの値のそれぞれの代表値が計算される。これにより、ｎ個の画素ブロックのうち、色が類似する一部の画素ブロックのみが選択され、当該一部の画素ブロックのデータのみに基づいて上記３つの値の代表値が決定される。このような処理により、例えば地紋や折り目などがある布地や紙（特に繊維が大きいもの）などの、表面の色彩が均一ではない対象物の色の識別または評価をより正確に行うことができる。

【0075】

従来の色彩測定では、測定結果がＸＹＺ表色系またはＬａｂ表色系などの３次元以上の標準表色系で表現される場合が多かった。しかし、そのような表現は一般的に理解しにくく、対象物の色の評価が難しい。例えば製造現場の検査工程において製造物の色を測定し、測定結果に基づいて製造物の合否の判定を行う場合、従来の方法では合否の判定が難しく、また製造工程へのフィードバックも難しい。本実施形態によれば、対象物の色の良否の判定結果が、例えば「合格」、「不合格」、または、「ランクＡ」、「ランクＢ」、「ランクＣ」といったわかり易い態様で表示される。このため、製造物の色の評価を容易に行うことができ、例えば製造工程へのフィードバックが容易になる。

【0076】

また、本実施形態によれば、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、第２の色空間における３つの値に変換するときに使用される変換係数を、機械学習によって決定する。これにより、色の識別性能を大幅に向上させることができる。

【0077】

従来、精度が要求される色彩測定では、予め規定されたカラーフィルタを有するカメラ、または照明を使用することが要求される。例えばＲ、Ｇ、Ｂの３原色の撮影では、それぞれの色の波長が規定されており、国際照明委員会（Ｃｏｍｍｉｓｓｉｏｎ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’ｅｃｌａｉｒａｇｅ：ＣＩＥ）では、赤（Ｒ）：７００．０［ｎｍ］、緑（Ｇ）：５４６．１［ｎｍ］、青（Ｂ）：４３５．８［ｎｍ］と定められている。本来であれば、これらの前提条件のもとにＲＧＢからＸＹＺへの変換や、ＸＹＺからＬ^＊ａ^＊ｂ^＊への変換が行われる。

【0078】

本技術では、色彩の絶対値評価を目的としていないので、正確にこれらの規格に合わせる必然性はない。しかし、幅広い色彩の対象物を均一の感度で測定するためには、これらの標準的な波長による測定が望ましいといえる。

【0079】

一方で、一般的に使用されるＬＥＤやカメラなどの物理デバイスが、必ずしも規定値どおりの特性を持っているとは限らない。規定値に近いものは一般的に大型で高価になりやすく、特に限定されたコストやサイズの中では、理想的な理論値に近づけることは難しい。既知の色を実デバイスで撮影し、その結果に基づいて、変換式の各係数を補正する方法も考えられるが、パラメータが多く、多彩な色に合わせこむことは難しい。このため、代表的な色や使用頻度の高い色に限って行われている場合が多い。

【0080】

これに対し、本実施形態の方法では、誤差逆伝搬法などの機械学習アルゴリズムを利用して、各変換式の各係数が最適化される。このため、実際に使用されるデバイスに依存せずに最適な係数を決定することができる。

【0081】

［４．変形例］
次に、上記の実施形態の変形例を説明する。

【0082】

上記の実施形態では、画像として、対象物を撮像することによって生成された、各々がＲ、Ｇ、Ｂの３つの色にそれぞれ対応する３つの画素値を有する複数の画素を含むＲＧＢ画像が用いられる。しかし、画像は、ＲＧＢ画像に限らず、単色、２色、または４色以上の画像であってもよい。上記の実施形態では、各画素ブロックにおける各色の画素値の代表値が、Ｒ、Ｇ、Ｂによって構成される第１の色空間とは異なる第２の色空間（例えばＬ^＊ａ^＊ｂ^＊色空間など）に変換される。しかし、そのような変換処理を省略してもよい。その場合であっても、各画素ブロックについて、１つ以上の色のそれぞれの画素値の代表値と、ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての当該１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和が計算される。そして、ｎ個の画素ブロックのうち、当該差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値が決定される。このような処理により、対象物の色または濃度を適切に評価することができる。

【産業上の利用可能性】

【0083】

本開示の技術は、対象物の色を識別する用途に利用することができる。例えば、表面の色が不均一な製造物の色の検査に利用することができる。

【符号の説明】

【0084】

１００ 撮像システム
１１０ 信号処理装置
１１２ プロセッサ
１１４ メモリ
１１６ 入出力インタフェース
１２０ 照明装置
１４０ 撮像装置
１６０ 制御装置
２２０ ディスプレイ
２３０ 対象物

【要約】      （修正有）

【課題】表面の色彩が均一でない対象物の色を適切に評価する方法および装置を提供する。
【解決手段】対象物の色を数値化する方法は、各々が複数の色に対応する１つ以上の画素値を取得しＳ１０１、画像からｎ個の画素ブロックを抽出しＳ１０２、各画素ブロックについて、１つ以上の色のそれぞれの代表値を決定しＳ１０３、各画素ブロックについて、第２の色空間上で、１つ以上の色のそれぞれの画素値の代表値と、他の全ての画素ブロックについての１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和を計算しＳ１０５、ｎ個の画素ブロックのうち、差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値を決定して出力するＳ１０７。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】