特開 2022-186292 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186292

(43)【公開日】2022-12-15

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G01J 3/46 20060101AFI20221208BHJP

   G06T 7/90 20170101ALI20221208BHJP

【ＦＩ】

G01J3/46 Z

G06T7/90 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021094440

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】小澤 圭右

(72)【発明者】

【氏名】太刀岡 勇気

【テーマコード（参考）】

2G020

5L096

【Ｆターム（参考）】

2G020AA08

2G020DA13

2G020DA34

2G020DA45

5L096AA02

5L096AA06

5L096BA03

5L096BA18

5L096CA02

5L096DA02

5L096EA39

5L096EA41

5L096GA08

5L096JA05

(57)【要約】      （修正有）

【課題】基板等に塗布または含浸された色材の分布を適切に分析する装置を提供する。
【解決手段】画像処理装置１は、基板に塗布または含浸された色材の分布を分析する装置であって、基板の分光画像を取得する分光画像取得部１０と、色材が付加されていない基板の分光画像のデータを基板成分画像として記憶した記憶部１４と、分光画像取得部にて取得された分析対象の分光画像から基板成分画像を引いて、色材成分の分光画像である色材成分画像を生成する色材成分画像生成部１１と、色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算する色材量分布計算部１２と、色材量分布計算部にて計算された色材の存在分布量のデータを出力する出力部１３とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ベース部材に塗布または含浸された色材の分布を分析する装置であって、
前記ベース部材の分光画像を取得する分光画像取得部と、
色材が付加されていないベース部材の分光画像のデータをベース部材成分画像として記憶した記憶部と、
前記分光画像取得部にて取得された分析対象の分光画像から前記記憶部に記憶されたベース部材成分画像を引いて、色材成分の分光画像である色材成分画像を生成する色材成分画像生成部と、
前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算する色材量分布計算部と、
前記色材量分布計算部にて計算された色材の存在分布量のデータを出力する出力部と、
を備える画像処理装置。

【請求項2】

前記色材量分布計算部は、
初期値を変えて非負値行列因子分解を複数回行い、重みの分離度が最も高かった非負値行列因子分解の結果を、色材の存在分布量として採用する請求項１に記載の画像処理装置。

【請求項3】

前記色材量分布計算部は、固有吸収スペクトルと重みが非負値である条件の下で、（１）前記色材成分画像と色材の固有吸収スペクトルの線形和との差分と、（２）重みのスパース性を示す変数と、を含むエネルギー関数を最小にする最適化計算を行う請求項１に記載の画像処理装置。

【請求項4】

前記色材量分布計算部は、
前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、非負値行列因子分解によって得られた固有吸収スペクトルと重みを初期値とし、
固有吸収スペクトルと重みが非負値である条件の下で、（１）前記色材成分画像と色材の固有吸収スペクトルの線形和との差分と、（２）重みのスパース性を示す変数と、を含むエネルギー関数を最小にする最適化計算を行って非負値行列因子分解を行う請求項１に記載の画像処理装置。

【請求項5】

色材の固有吸収スペクトルの少なくとも一部を決定する固有吸収スペクトル決定部を備え、
前記色材量分布計算部は、決定された固有吸収スペクトルを固定値として、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解する請求項１から４のいずれかに記載の画像処理装置。

【請求項6】

前記固有吸収スペクトル決定部は、
前記分光画像を所定サイズの領域でスキャンして単一の色材からなる領域を求め、当該単一の色材からなる領域について非負値行列因子分解、または頂点成分分析（Vertex Component Analysis）を行って、色材の固有吸収成分を求める請求項５に記載の画像処理装置。

【請求項7】

前記色材の固有吸収スペクトルを記憶したデータベースを備え、
前記固有吸収スペクトル決定部は、前記データベースから前記色材の固有吸収スペクトルを読み出す請求項５に記載の画像処理装置。

【請求項8】

画像処理装置によって、ベース部材に塗布または含浸された色材の分布を分析する画像処理方法であって、
前記画像処理装置が、前記ベース部材の分光画像を取得するステップと、
前記画像処理装置が、記憶部から色材が付加されていないベース部材の分光画像のデータを読み出すステップと、
前記画像処理装置が、分析対象の分光画像から前記記憶部から読み出した分光画像を引いて、色材成分の分光画像である色材成分画像を生成するステップと、
前記画像処理装置が、前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算するステップと、
前記画像処理装置が、前記色材の存在分布量のデータを出力するステップと、
を備える画像処理方法。

【請求項9】

ベース部材に塗布または含浸された色材の分布を分析するためのプログラムであって、コンピュータに、
前記ベース部材の分光画像を取得するステップと、
記憶部から色材が付加されていないベース部材の分光画像のデータを読み出すステップと、
分析対象の分光画像から前記記憶部から読み出した分光画像を引いて、色材成分の分光画像である色材成分画像を生成するステップと、
前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算するステップと、
前記色材の存在分布量のデータを出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、基板等のベース部材に塗布または含浸された色材の存在量分布を推定する画像処理装置に関する。

【背景技術】

【0002】

色材や塗料はそれぞれ特有の吸収、透過または散乱、反射スペクトルをもつ。分光測定では物質からの透過または反射スペクトルを取得・解析するが、特に画像の各画素に分光スペクトルが記録されたものを分光画像と呼び、その撮像手段を総じて分光イメージングと呼ぶ。分光イメージングは、さらに、（１）プッシュブルームによる撮像、（２）レンズ前方に光透過フィルタを設置する撮像、（３）モザイクフィルタアレイを用いた撮像に大別される。

【0003】

工業の場における色検査において、色材・塗料ごとに成分分離できれば有用である。成分分離により、例えば、基板材上または基板材中に複数の色材が塗り重ねられた物体または埋め込まれた物体において、色むらや色のかすれなどを調べる際の定量化手段を実現できると期待される。一般に分光画像のスペクトルは多数の波長情報を持つため、色検査において分光画像を用いることとすれば、ＲＧＢカラー画像と比べて高度な成分分離が期待できる。

【0004】

リモートセンシング分野では各成分固有の反射スペクトルの線形和を仮定したモデルを用いた信号分離手法が用いられる。しかし、この技術は、図１０（ａ）に示すように、いくつかの物質固有の反射スペクトルが光線として混合して観測されるという仮定に基づく。これに対し、基板等に塗布された色材の場合は、図１０（ｂ）に示すように、重ね合わされた色材でスペクトルが吸収された光線が観測される。したがって、リモートセンシングの信号分離技術を適用すると正しくない色材分布が出力される。

【0005】

混合した油絵具の反射モデルとしてKubelka-Munk理論（以下、「ＫＭ理論」という）が知られている。このモデルでは各絵具固有の散乱、反射パラメータの重ね合わせで反射スペクトルを表す。非特許文献１は、ＫＭ理論を用いて南シナ海の航海図であるSelden Map of Chinaの緑色顔料の分類を行った研究結果が記載されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Abu Md Niamul Taufique, David W. Messinger,「Hyperspectral Pigment Analysis of Cultural Heritage Artifacts Using the Opaque Form of Kubelka-Munk Theory」Proc. SPIE 10986, Algorithms, Technologies, and Applications for Multispectral and Hyperspectral Imagery XXV, 1098611, 2019

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、ＫＭ理論では、パラメータの推定のために白色絵具の存在を仮定したり、複雑な前処理が必要とされることが多く、さらに色材内部での十分な散乱が生じる光学厚みが仮定されている。ＫＭ理論では、主に混ぜ合わせられた油絵具の混合量推定を目的としている。上記したような基材に塗布または含浸された色材は必ずしも混ぜ合わされておらず、基板材上または基板在中に薄く重なって存在するという違いがある。

【0008】

また、ＫＭ理論は、（１）プッシュブルームにより撮像された分光画像のように十分な観測チャンネル数を持つ分光画像に適用できるが、（２）レンズ前方に光透過フィルタを設置する撮像、または（３）モザイクフィルタアレイを用いた撮像による比較的観測チャンネル数が少ない分光画像の場合、観測チャネルに対して成分数の割合が大きい。この場合、ＫＭ理論が近似的に当てはまる対象であっても、成分分離は困難である。

【0009】

そこで、本発明は上記背景に鑑み、ベース部材に塗布または含浸された色材の分布を適切に分析する装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の画像処理装置は、ベース部材に塗布または含浸された色材の分布を分析する装置であって、前記ベース部材の分光画像を取得する分光画像取得部と、色材が付加されていないベース部材の分光画像のデータをベース部材成分画像として記憶した記憶部と、前記分光画像取得部にて取得された分析対象の分光画像から前記記憶部に記憶されたベース部材成分画像を引いて、色材成分の分光画像である色材成分画像を生成する色材成分画像生成部と、前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算する色材量分布計算部と、前記色材量分布計算部にて計算された色材の存在分布量のデータを出力する出力部とを備える。

【0011】

このように分析対象の分光画像からベース部材成分画像を引いて色材成分画像を生成し、非負値行列因子分解によって色材分光画像の色分離を行う構成により、色材固有の吸収スペクトルの線形和だけ入射光から減衰したものとして扱うことで、適切に色材分布を求めることができる。ベース部材とは、色材を塗布、含浸または包含できる構成であり、形状は平面に限られず、例えば、曲面を含んでいてもよい。また、ベース部材は固体でなくてもよく、液体であってもよい。なお、液体の場合には、ベース部材である液体を収容する容器を要する。

【0012】

本発明の画像処理装置において、前記色材量分布計算部は、初期値を変えて非負値行列因子分解を複数回行い、重みの分離度が最も高かった非負値行列因子分解の結果を、色材の存在分布量として採用してもよい。非負値行列因子分解は、初期値によって異なる解を与えるが、分離度が最も高かった結果を採用することで、色材の存在分布量を適切に求めることができる。

【0013】

本発明の画像処理装置において、前記色材量分布計算部は、固有吸収スペクトルと重みが非負値である条件の下で、（１）前記色材成分画像と色材の固有吸収スペクトルの線形和との差分と、（２）重みＷのスパース性を示す変数と、を含むエネルギー関数を最小にする最適化計算を行ってもよい。このように重みにスパース性を課すことにより、観測チャンネル数に比して色材数の割合が大きい場合にも、非負値行列因子分解を行うことができる。

【0014】

本発明の画像処理装置において、前記色材量分布計算部は、前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、非負値行列因子分解によって得られた固有吸収スペクトルと重みを初期値とし、固有吸収スペクトルと重みが非負値である条件の下で、（１）前記色材成分画像と色材の固有吸収スペクトルの線形和との差分と、（２）重みのスパース性を示す変数と、を含むエネルギー関数を最小にする最適化計算を行って非負値行列因子分解を行ってもよい。このように非負値行列因子分解により求めた固有吸収スペクトルと重みを初期値として用いることにより、効率良く最適化を行うことができる。

【0015】

本発明の画像処理装置は、色材の固有吸収スペクトルの少なくとも一部を決定する固有吸収スペクトル決定部を備え、前記色材量分布計算部は、決定された固有吸収スペクトルを固定値として、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解してもよい。この構成により、色材の固有吸収スペクトルを固定値として扱うことで、観測チャンネル数に比して色材数の割合が大きい場合にも、非負値行列因子分解を行うことができる。なお、色材の固有吸収スペクトルは、ベース部材に用いられている全ての色材について決定される必要はない。一部の固有吸収スペクトルが決定された場合には、当該決定された固有吸収スペクトルは固定値とし、未知の色材の固有吸収スペクトルを変数として、非負値行列因子分解を行う。

【0016】

本発明の画像処理装置において、前記固有吸収スペクトル決定部は、前記分光画像を所定サイズの領域でスキャンして単一の色材からなる領域を求め、当該単一の色材からなる領域について非負値行列因子分解、または頂点成分分析（Vertex Component Analysis）を行って、色材の固有吸収成分を求めてもよい。このように単一の色材を含む領域について非負値行列因子分解またはＶＣＡを行うことで、ベース部材全体として多数の色材が用いられている場合でも、当該一つの色材の固有吸収スペクトルを求めることができる。別の色材についても単一で用いられている領域を対象として分析を行って、当該色材の固有吸収スペクトルを求めることができる。

【0017】

本発明の画像処理装置は、前記色材の固有吸収スペクトルを記憶したデータベースを備え、前記固有吸収スペクトル決定部は、前記データベースから前記色材の固有吸収スペクトルを読み出してもよい。前記色材の固有吸収スペクトルは、あらかじめ別途の測定により求めておいてもよいし、用いられる色材の仕様から推定される値を用いてもよい。

【0018】

本発明の画像処理方法は、画像処理装置によって、ベース部材に塗布または含浸された色材の分布を分析する方法であって、前記画像処理装置が、前記ベース部材の分光画像を取得するステップと、前記画像処理装置が、記憶部から色材が付加されていないベース部材の分光画像のデータを読み出すステップと、前記画像処理装置が、分析対象の分光画像から前記記憶部から読み出した分光画像を引いて、色材成分の分光画像である色材成分画像を生成するステップと、前記画像処理装置が、前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算するステップと、前記画像処理装置が前記色材の存在分布量のデータを出力するステップとを備える。

【0019】

本発明のプログラムは、ベース部材に塗布または含浸された色材の分布を分析するためのプログラムであって、コンピュータに、前記ベース部材の分光画像を取得するステップと、記憶部から色材が付加されていないベース部材の分光画像のデータを読み出すステップと、分析対象の分光画像から前記記憶部から読み出した分光画像を引いて、色材成分の分光画像である色材成分画像を生成するステップと、前記色材成分画像を、色材の固有吸収スペクトルと固有吸収スペクトルの重みの線形和に非負値行列因子分解し、空間上の点ごとの色材の存在分布量を計算するステップと、前記色材の存在分布量のデータを出力するステップとを実行させる。

【発明の効果】

【0020】

本発明によれば、ベース部材に塗布または含浸された色材の色材量分布を適切に求めることができる。

【図面の簡単な説明】

【0021】

【図1】分光画像の例を示す図である。

【図2】第１の実施の形態の画像処理装置の構成を示す図である。

【図3】第１の実施の形態の画像処理装置によって生成する色材量分布の例を示す図である。

【図4】（ａ）色材画像のＩ_absを色材固有の吸収スペクトルＡとその線形和の重みＷで分解した模式図である。（ｂ）重みＷが空間上の分布を示すことを説明する模式図である。

【図5】第１の実施の形態の画像処理装置の動作を示す図である。

【図6】第２の実施の形態の画像処理装置の動作を示す図である。

【図7】第３の実施の形態の画像処理装置の構成を示す図である。

【図8】第３の実施の形態の画像処理装置の動作を示す図である。

【図9】第３の実施の形態の変形例に係る画像処理装置の構成を示す図である。

【図10】リモートセンシングとの違いを示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態に係る画像処理装置について図面を参照して説明する。画像処理装置は、基板の分光画像に基づいて基板に塗布された色材の分布を求める。本実施の形態では、ベース部材の例として基板を取り上げるが、基板以外をベース部材とした場合にも、画像処理装置によって色材の分布を求めることができる。

【0023】

本実施の形態では、モザイクフィルタアレイを用いた分光カメラにより撮影する、いわゆるスナップショット方式の撮影で得られた分光画像を用いる例を挙げるが、分光画像は、プッシュブルームによる撮像、または、レンズ前方に光透過フィルタを設置する撮像によって得られた画像であってもよい。

【0024】

図１は、分光画像の例を示す図である。分光画像は、縦Ｈ×横Ｌの空間画素を有する。図１では、各空間画素を太線で囲んで示している。分光画像は、図１に示すように、空間画素が繰り返し並んだ構成を有している。

【0025】

空間画素は、複数のバンドの分光情報を有する画素の集合である。図１に示す例では、１つの空間画素は、３×３＝９のバンド（ｆ１～ｆ９）の分光情報を有している。１つの空間画素が有するバンド数は９バンドに限られず、例えば、４×４＝１６バンドでもよいし、５×５＝２５バンドでもよい。一般的に表記すると、空間画素はｂ×ｂ＝Ｂバンドを有する。本実施の形態では分光画像のバンド数は固定しないが、色材の成分数よりも十分多い観測チャンネルを有することを仮定する。なお、空間画素は、縦横比が１：１でなくてもよい。分光画像は、あるバンドに着目すると１つの空間画素につき、１つしか値を持っていない。図１に示す例では、同じバンドのデータは３画素おきに存在し、各バンドに着目すると解像度は低い。各バンドについてみると解像度は、Ｈ×Ｌである。

【0026】

（第１の実施の形態）
図２は、第１の実施の形態の画像処理装置１の構成を示す図である。第１の実施の形態の画像処理装置１は、分光カメラ２０による撮影で得られた分光画像のデータの入力を受け付け、入力された分光画像に基づいて、基板に塗布された色材の色材量分布を求める機能を有している。

【0027】

図３は、第１の実施の形態の画像処理装置１によって生成する色材量分布の例を示す図である。画像処理装置１は、分光画像で用いられている色材１～色材Ｍを求めると共に、色材１～色材Ｍのそれぞれについて色材量の分布画像を生成する。分布画像の解像度はＨ×Ｌである。なお、色材１～色材Ｍのうち、その成分が０の色材については、分布画像は存在しない。

【0028】

図２に示すように、画像処理装置１は、分光画像取得部１０と、色材成分画像生成部１１と、色材量分布計算部１２と、出力部１３と、記憶部１４とを有している。分光画像取得部１０は、分光カメラ２０から送信される分光画像のデータを取得する機能を有する。画像処理装置１に入力する分光画像を撮影する分光カメラ２０は、イメージセンサ上に、モザイク状に配列した分光フィルタを搭載したカメラである。

【0029】

色材成分画像生成部１１は、分光画像取得部１０にて取得した分光画像から基板の分光画像の成分（本書で「基板成分画像」という。）を差し引いて、色材成分の分光画像を生成する機能を有する。色材成分画像生成部１１は、記憶部１４に記憶されているデータを用いる。記憶部１４は、分析対象の基板を撮影するときと同一光源環境下で基板を撮影した基板成分画像Ｉ_baseを記憶している。

【0030】

分析対象の分光画像Ｉ_objectは光源から放射される光が基板材上の色材に吸収されたのちに基板材で反射された結果が観察されるものと考えられる。色材の光吸収への寄与に対応する分光画像（本書で「色材成分画像」という。）Ｉ_absは、Ｉ_abs＝Ｉ_base－Ｉ_objectで求められる。色材成分画像生成部１１は、分光画像取得部１０で取得した分光画像から基板成分画像を引いて、色材成分の分光画像を生成する。

【0031】

色材量分布計算部１２は、色材成分の分光画像に基づいて色材の吸収スペクトルと色材の分布を求める。色材量分布計算部１２は、分光画像Ｉ_absを色材分布と色材固有の吸収スペクトルに分解することにより、色材量分布を求める。ここで、色材量分布の計算の考え方について説明する。

【0032】

色材画像Ｉ_absの各空間点ｘには吸収スペクトルが記録されている。これは、各色材の吸収スペクトルとその重みの線形和で表現できる。最大Ｍ種の色材（ｍ＝１，２，・・・，Ｍ）それぞれに固有の吸収スペクトルをＡ_m（λ）とし、空間点ｘにおける色材の非負量をｗ_m（ｘ）としたとき、次式（１）でかける。

【数1】

【0033】

Ｍ種の色材の成分のうち、一部の成分の分布を０とすることも可能とし、分布が０の成分は実際には分布していない過剰な基底として扱うことを許す。分光画像のサイズをＨ×Ｌ×Ｂ（Ｈは高さ、Ｌは幅、Ｂはチャンネル数）とし、Ｈ×Ｌだけの画素を並び替えて長さＨＬのベクトルとすれば、色材成分画像Ｉ_absはサイズＨＬ×Ｂの行列とみなせる。色材画像の行列Ｉ_absを色材固有の吸収スペクトルＡとその線形和の重みＷで分解するとＩ_abs＝ＷＡとかける。

【0034】

図４（ａ）は、色材成分画像Ｉ_absを、色材固有の吸収スペクトルＡとその線形和の重みＷで分解した模式図である。重みＷはサイズＨＬ×Ｍの行列であり、吸収スペクトルＡはサイズＭ×Ｂの行列である。色材の存在量分布を推定するためには、重みＷと吸収スペクトルＡを同時に推定し、重みＷを成分数Ｍ個だけの色材量分布画像に戻す。図４（ｂ）に示すように、重みＷの各列は色材ｉ（ｉ＝１，・・・，Ｍ）の空間位置ｘ（ｘ＝１，・・・，ＨＬ）に対応する色材ｉの固有吸収スペクトルの重みｗであるので、これをＨ×Ｌの二次元で表現すると、色材ｉの色材量分布に対応する。

【0035】

第１の実施の形態の色材量分布計算部１２は、色材画像Ｉ_absを非負値行列因子分解することで重みＷと吸収スペクトルＡを推定する。非負値行列因子分解は、例えば、Daniel D.Lee,他「Algorithms for Non-negative Matrix Factorization」（Advances in Neural Information Processing Systems, 13, 2001）に記載された方法を用いることができる。

【0036】

非負値行列因子分解では、初期値により出力が変わるため、色材量分布計算部１２は、初期値を変えて非負値行列因子分解を複数回試行して、最も色材分布の分離度が高かった分解結果を採用する。ここで「分離度」は色材ごとの分布が分離されている度合を表す指標である。図４（ｂ）で説明したとおり、各色材の分布は、重みＷの行列における各列ベクトルに該当する。したがって、重みＷの列ベクトルどうしの内積をとると、重なりが多い列ベクトルどうしでは内積が大きく、分離されている列ベクトルどうしでは内積が小さくなる。本実施の形態において「分離度」は、重みＷの各列ベクトル同士の内積の逆数で規定する。分離後の異なる色材の分布同士の重なりが小さい状況は、分離度が高い状況に対応する。

【0037】

色材量分布計算部１２は、非負値行列因子分解によって求めた重みＷを用いて各色材の分布画像を生成する。出力部１３は、色材量分布計算部１２にて求めた各色材の吸収スペクトルＡと各色材の分布画像のデータを出力する。

【0038】

図５は、第１の実施の形態の画像処理装置１の動作を示す図である。画像処理装置１は、分光カメラ２０にて撮影された基板の分光画像を取得する（Ｓ１０）。画像処理装置１は、分光画像から基板成分画像を差し引くことで色材成分画像を生成する（Ｓ１１）。続いて、画像処理装置１は、色材成分画像を固有吸収スペクトルＡと重みＷに非負値行列因子分解する。画像処理装置１は、固有吸収スペクトルＡ及び重みＷの初期値を変えて、複数回、非負値行列因子分解を行う（Ｓ１２）。画像処理装置１は、求めた複数の結果のうち、分離度が最も高かった分解結果を選択し（Ｓ１３）、選択された固有吸収スペクトルＡと重みＷを決定する。画像処理装置１は、固有吸収スペクトルとその分布データを出力する（Ｓ１４）。この際、分布データは、二次元の画像形式で出力する。

【0039】

本実施の形態の画像処理装置１は、分析対象の分光画像から基板の分光画像を引いて色材固有の色材成分画像を求め、色材成分画像を吸収スペクトルＡと重みＷの線形和に分解することで、吸収スペクトルと色材分布を適切に求めることができる。

【0040】

以上、第１の実施の形態の画像処理装置１について説明したが、上記した画像処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した画像処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0041】

（第２の実施の形態）
第２の実施の形態の画像処理装置について説明する。第２の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態の画像処理装置１と同じである（図２参照）。第２の実施の形態の画像処理装置の色材量分布計算部１２は、重みＷのスパース性を課して最適化計算を行う。スパース性を課した非負値行列因子分解は、例えば、Y. Li 他「The non-negative matrix factorization toolbox for biological data mining」（BMC Source Code for Biology and Medicine, vol 8, pp. 10, April 2013.）に記載されている。

【0042】

第２の実施の形態の色材量分布計算部１２は、次式（２）を最小化する重みＷと吸収スペクトルＡを求める。

【数2】

【0043】

式（２）の第２項が重みＷのスパース性を表現する変数である。μはスパース性を課す程度を調整するパラメータである。制約条件は、行列の各要素が非負値であることを表す。なお、式（２）では、重みＷのスパース性を示す変数として、Ｌ１ノルムを用いているが、重みＷのスパース性を促進するものであれば他の変数でもよい。

【0044】

図６は、第２の実施の形態の画像処理装置の動作を示す図である。画像処理装置は、分光カメラ２０にて撮影された基板の分光画像を取得する（Ｓ２０）。画像処理装置は、分光画像から基板成分画像を差し引くことで色材成分画像を生成する（Ｓ２１）。続いて、画像処理装置は、色材成分画像を固有吸収スペクトルＡと重みＷに非負値行列因子分解する（Ｓ２２）。画像処理装置は、非負値行列因子分解で求めた固有吸収スペクトルＡと重みＷを初期値として、上述した式（２）を最小化する最適化計算を行う（Ｓ２３）。画像処理装置は、固有吸収スペクトルとその分布データを出力する（Ｓ２４）。この際、分布データは、二次元の画像形式で出力する。

【0045】

以上、第２の実施の形態の画像処理装置の構成および動作を説明した。第２の実施の形態の画像処理装置も第１の実施の形態と同様に、色材成分画像を吸収スペクトルＡと重みＷの線形和に分解することで、吸収スペクトルと色材分布を適切に求めることができる。

【0046】

また、第２の実施の形態の画像処理装置は、非負値行列因子分解を行う際に、重みにスパース性を課しているので、観測チャンネル数に比して色材数の割合が大きい場合にも、適切な結果が得られる。また、式（２）は非凸の関数であるため出力は初期値に依存するが、本実施の形態では、初期値を非負値行列因子分解で求めているので適切な解を求めることができる。なお、初期値を求める方法は非負値行列因子分解に限定されず、別途の方法で初期値を求めてもよい。また、初期値を求めるステップＳ２２は省略することも可能である。

【0047】

（第３の実施の形態）
図７は、第３の実施の形態の画像処理装置３の構成を示す図である。第３の実施の形態の画像処理装置３の基本的な構成は第２の実施の形態の画像処理装置と同じであるが、固有吸収スペクトル決定部１５を備えている点が異なる。第３の実施の形態の画像処理装置３は、基板上の色材の固有吸収スペクトルを別途の手段により決定し、決定された固有吸収スペクトルを固定値として、最適化計算を行う。すなわち、第３の実施の形態の画像処理装置３は、次式（３）を最小化する重みＷを求める。次式においてＡ^＊は、固有吸収スペクトルが固定値であることを示す。

【数3】

【0048】

なお、すべての色材の固有吸収スペクトルが固定値である必要はなく、一部の固有吸収スペクトルだけを決定することができたときは、当該一部の固有吸収スペクトルを固定値として扱い、他の未知の固有吸収スペクトルＡを最適化してもよい。例えば、最大Ｍ種の色材（ｍ＝１，２，・・・，Ｍ）の固有の吸収スペクトルをＡ_m（λ）のうち、固有吸収スペクトル決定部１５によってｋ個の固有吸収スペクトルＡ₁（λ），・・・，Ａ_k（λ）が決定できた場合にはこれらを固定値とし、残りのＡ_k+1（λ），・・・，Ａ_m（λ）を未知の固有吸収スペクトルとして最適化を行ってもよい。

【0049】

ここで、固有吸収スペクトル決定部１５について説明する。固有吸収スペクトル決定部１５は、所定サイズの矩形領域で色材成分画像をスキャンし、行列核ノルムの小さい領域を検出する。ここでの核ノルムは、矩形内画素のスペクトルを列（または行）として画素を行（または列）に並べた行列のものをさす。行列核ノルムは行列ランクの凸緩和として知られるが、ここでは矩形内の色材数が少ないことを比較決定するために用いる。仮に観測ノイズがなく、かつ色材による吸収の線形和で色が決まる仮定が厳密に正しければ、色材がＭ個ある矩形内で計算したランクはＭである。実際のデータではこの仮定が厳密に正しくないことやノイズの影響により、矩形内で計算したランクは色材数よりも大きくなりうる。しかし、核ノルムはそうした影響の寄与を小さく見積もるため、その値が小さい矩形領域は色材数が少ないと期待できる。

【0050】

固有吸収スペクトル決定部１５は、行列核ノルムの小さい領域について非負値行列因子分解を行って、色材固有の吸収スペクトルを得る。この吸収スペクトルを列として、指定した色材数Ｍだけ並べた行列をＡ^＊とする。

【0051】

図８は、第３の実施の形態の画像処理装置３の動作を示す図である。画像処理装置３は、分光カメラ２０にて撮影された基板の分光画像を取得する（Ｓ３０）。画像処理装置３は、分光画像から基板成分画像を差し引くことで色材成分画像を生成する（Ｓ３１）。続いて、画像処理装置３は、色材成分画像を矩形領域でスキャンし、行列核ノルムの小さい矩形領域を選択し（Ｓ３２）、選択した矩形領域の固有吸収スペクトルを算出する（Ｓ３３）。画像処理装置３は、求めた固有吸収スペクトルを固定値Ａ^＊として、式（３）を最小にする重みＷを計算する（Ｓ３４）。上述したとおり、求められた固有吸収スペクトル以外の固有吸収スペクトルを未知の変数に含めて最適化計算を行ってもよい。画像処理装置３は、固有吸収スペクトルとその分布データを出力する（Ｓ３５）。この際、分布データは、二次元の画像形式で出力する。

【0052】

以上、第３の実施の形態の画像処理装置３の構成及び動作について説明した。第３の実施の形態の画像処理装置３は、式（３）を最小化する最適化計算により、吸収スペクトルと色材分布を適切に求めることができる。

【0053】

また、第３の実施の形態の画像処理装置３は、固有吸収スペクトル決定部１５にて求めた固有吸収スペクトルを固定値として最適化計算を行うので、観測チャンネル数に比して色材数の割合が大きい場合にも、適切に非負値行列因子分解を行うことができる。

【0054】

上記した実施の形態では、固有吸収スペクトル決定部１５は、所定サイズの矩形領域で色材成分画像をスキャンし、行列核ノルムの小さい領域を検出する例を説明したが、ユーザが目視により、単一色材の領域を判別することができる場合には、単一色材の領域の指定をユーザから受け付ける構成としてもよい。また、固有吸収スペクトル決定部１５は、色材固有の吸収スペクトルを得るために、行列核ノルムの小さい領域について非負値行列因子分解を行う例を挙げたが、非負値行列因子分解に代えて頂点成分分析（ＶＣＡ：Vertex Component Analysis）を用いてもよい。ＶＣＡについては、例えば、Jose M. P. Nascimento 他「Vertex component analysis: A fast algorithm to unmix hyperspectral data」（IEEE Transactions on Geoscience and Remote Sensing, 43(2):898-910, 2005.）に記載されている。

【0055】

上記した実施の形態では、固有吸収スペクトル決定部１５は色材成分画像から色材の固有の吸収スペクトルを決定したが、基材に塗布されている色材の固有吸収スペクトルを決定する手段はこれに限定されない。

【0056】

図９は、第３の実施の形態の変形例に係る画像処理装置４の構成を示す図である。この変形例では、対象物体からの光線をハーフミラー２１で分岐し、分光カメラ２０で分光画像を撮影すると共に、ポイント分光器またはラインスキャナ等の測定機器２２によって分光スペクトルを測定する。変形例に係る画像処理装置４は、測定機器２２によって別途測定した分光スペクトルのデータを用いて、直接的に固有吸収スペクトルを求めることができる。また、基材に用いられる色材の固有吸収スペクトルを別途測定し、その測定結果をデータベースとして保持しておいてもよい。色材量分布計算部１２は、データベースに記憶された固有吸収ベクトルを固定値として、色材量分布の計算を行ってもよい。なお、これらの方法においては、色材の固有吸収スペクトルを初期値として用いて、固有吸収スペクトルＡと重みＷの最適化を行ってもよい。

【0057】

以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明をしたが、本発明は上記した実施の形態に限定されるものではない。

【0058】

上記した実施の形態では、基板に塗布された色材の分布を分析する例を挙げたが、本発明は基板に含浸された色材の分布の分析にも適用できる。また、透明な基板に色が薄く塗り重ねられた対象の透過光を観察する場合にも適用できる。また、水で満たされたカラム中に色付きの油がいくつか落とされているような場合にも適用できる。また、カラム内の複数の液体物質が反応して変化する場合、例えば液体物質Ａと液体物質Ｂが反応して液体物質Ｃに変化するような場合に、液体物質Ａ～Ｃの混合状態の分布を求めることで、反応状態を推定することができる。

【産業上の利用可能性】

【0059】

本発明は、基板等のベース部材に塗布または含浸された色材の色材量分布を求める検査装置等として有用である。

【符号の説明】

【0060】

１，３，４ 画像処理装置
１０ 分光画像取得部
１１ 色材成分画像生成部
１２ 色材量分布計算部
１３ 出力部
１４ 記憶部
１５ 固有吸収スペクトル決定部
２０ 分光カメラ
２１ ハーフミラー
２２ 測定機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】