特許 7450917 マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法

(51)【国際特許分類】

   H04N 25/10 20230101AFI20240311BHJP

   H04N 23/20 20230101ALI20240311BHJP

   G01J 3/36 20060101ALI20240311BHJP

【ＦＩ】

H04N25/10

H04N23/20

G01J3/36

【請求項の数】 5

(21)【出願番号】P 2020041144

(22)【出願日】2020-03-10

(65)【公開番号】P2021145185

(43)【公開日】2021-09-24

【審査請求日】2023-02-10

(73)【特許権者】

【識別番号】000128131

【氏名又は名称】株式会社エヌテック

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】渡邊 透

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１０－０４３９７９（ＪＰ，Ａ）

【文献】特開２００９－２５８６１８（ＪＰ，Ａ）

【文献】特開２０１７－０９９４５５（ＪＰ，Ａ）

【文献】特開２０１９－１７４４８１（ＪＰ，Ａ）

【文献】特開２００８－１７０４３７（ＪＰ，Ａ）

【文献】特開２０１３－１０６２８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／１０

Ｈ０４Ｎ ２３／２０

Ｇ０１Ｊ ３／３６

(57)【特許請求の範囲】

【請求項1】

画素単位で複数の異なる透過率特性をもつカラーフィルタを有するイメージセンサを備えたマルチスペクトル画像撮像装置であって、
可視光波長領域内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域内で１領域または複数領域の透過領域を有する分光透過率特性をもち、前記イメージセンサと被写体との間の光路上に配置される光学フィルタと、
前記イメージセンサから出力される第１撮像信号を前記カラーフィルタの色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの第２撮像信号に変換する変換部とを備え、
複数バンドの前記第２撮像信号のうち少なくとも１バンドが、非可視光波長領域に感度をもち、
事前に与えられた基準となる被写体を撮像して得られる複数バンドの前記第２撮像信号に基づく画像中の特定領域を抽出する画像処理を行い、前記画像中の前記特定領域以外の全領域におけるバンドごとの前記第２撮像信号の積算値が、バンド間で等しくなるように、バンドごとの前記第２撮像信号の増幅率が設定されていることを特徴とするマルチスペクトル画像撮像装置。

【請求項2】

互いに異なる前記分光透過率特性をもつ複数の前記光学フィルタと、
複数の前記光学フィルタのうち前記光路上に配置される１つの光学フィルタを切り替える切替部と、
前記イメージセンサおよび前記切替部を制御する制御部とを備え、
前記制御部は、前記切替部を制御して前記光路上に配置される１つの前記光学フィルタを時分割で順次切り替えるとともに、前記イメージセンサに時分割で被写体を撮像させることにより、前記イメージセンサが複数の時分割画像ごとに前記第１撮像信号を出力し、
前記変換部は、複数の前記時分割画像ごとに、前記イメージセンサから出力される前記第１撮像信号をカラーフィルタ毎の撮像信号に分離し、分離された撮像信号間でマトリックス演算を行うことにより、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの前記第２撮像信号に変換し、
前記第２撮像信号のバンド数は、前記カラーフィルタの色数よりも多いことを特徴とする請求項１に記載のマルチスペクトル画像撮像装置。

【請求項3】

発光スペクトルが異なる複数の光源を備え、
複数の前記光源のうち同時に発光させる前記光源の数を前記複数よりも少なくして、１ショット撮像期間中にそれぞれの光強度を制御しつつ時分割に発光させることを特徴とする請求項１又は請求項２に記載のマルチスペクトル画像撮像装置。

【請求項4】

請求項１～請求項３のいずれか一項に記載のマルチスペクトル画像撮像装置と、
前記マルチスペクトル画像撮像装置が検査対象の被写体を撮像したときに出力した複数バンドの前記第２撮像信号に基づいて前記被写体を検査する検査処理部とを備えることを特徴とする検査装置。

【請求項5】

画素単位で複数の異なる透過率特性をもつカラーフィルタを有するイメージセンサを用いたマルチスペクトル画像撮像方法であって、
可視光波長領域内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域内で１領域または複数領域の透過領域を有する分光透過率特性をもつ光学フィルタが、前記イメージセンサと被写体との間の光路上に配置され、
前記イメージセンサが前記光学フィルタを通して被写体を撮像する撮像ステップと、
前記イメージセンサから出力される第１撮像信号を前記カラーフィルタの色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの第２撮像信号に変換する変換ステップと、
事前に与えられた基準となる被写体を撮像して得られる複数バンドの前記第２撮像信号に基づく画像中の特定領域を抽出する画像処理を行う画像処理ステップと、を備え、
複数バンドの前記第２撮像信号のうち少なくとも１バンドが、非可視光波長領域に感度をもち、
前記画像中の前記特定領域以外の全領域におけるバンドごとの前記第２撮像信号の積算値が、バンド間で等しくなるように、バンドごとの前記第２撮像信号の増幅率が設定されていることを特徴とするマルチスペクトル画像撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法に関する。

【背景技術】

【0002】

例えば、特許文献１～５には、マルチスペクトル画像撮像装置が開示されている。マルチスペクトル画像撮像装置は、撮像対象に分光感度特性の異なる複数バンドの画像を取得可能なマルチバンドカメラにより撮影を行うことで、マルチスペクトル画像を取得する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１８１０３８号公報

【文献】特開２０１０－１２２０８０号公報

【文献】特開２０１２－１３８６５２号公報

【文献】特開２００８－１３６２５１号公報

【文献】国際公開第２０１６／０３１９２２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のマルチスペクトル画像撮像装置においては、マルチバンドカメラの構造が複雑であるという課題がある。
本発明の目的は、被写体を撮像したマルチスペクトル画像を簡単な構成で取得できるマルチスペクトル画像撮像装置及びマルチスペクトル画像撮像方法を提供することにある。また、本発明の目的は、マルチスペクトル画像撮像装置により取得されたマルチスペクトル画像を基に被写体を検査する検査装置を提供することにある。

【課題を解決するための手段】

【0005】

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決するマルチスペクトル画像撮像装置は、画素単位で複数の異なる透過率特性をもつカラーフィルタを有するイメージセンサを備えたマルチスペクトル画像撮像装置であって、可視光波長領域内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域内で１領域または複数領域の透過領域を有する分光透過率特性をもち、前記イメージセンサと被写体との間の光路上に配置される光学フィルタと、前記イメージセンサから出力される第１撮像信号を前記カラーフィルタの色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの第２撮像信号に変換する変換部とを備え、複数バンドの前記第２撮像信号のうち少なくとも１バンドが、非可視光波長領域に感度をもつ。

【0006】

この構成によれば、１つの光学フィルタにつき複数のマルチスペクトル画像を生成できる。
上記マルチスペクトル画像撮像装置は、互いに異なる前記分光透過率特性をもつ複数の前記光学フィルタと、複数の前記光学フィルタのうち前記光路上に配置される１つの光学フィルタを切り替える切替部と、前記イメージセンサおよび前記切替部を制御する制御部とを備え、前記制御部は、前記切替部を制御して前記光路上に配置される１つの前記光学フィルタを時分割で順次切り替えるとともに、前記イメージセンサに時分割で被写体を撮像させることにより、前記イメージセンサが複数の時分割画像ごとに前記第１撮像信号を出力し、前記変換部は、複数の前記時分割画像ごとに、前記イメージセンサから出力される前記第１撮像信号をカラーフィルタ毎の撮像信号に分離し、分離された撮像信号間でマトリックス演算を行うことにより、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの前記第２撮像信号に変換する。前記第２撮像信号のバンド数は、前記カラーフィルタの色数よりも多くてもよい。

【0007】

この構成によれば、光学フィルタが切り替えられることで、イメージセンサは光学フィルタごとに時分割で被写体を撮像するので、カラーフィルタの色数より多いバンド数のマルチスペクトル画像を生成できる。

【0008】

上記マルチスペクトル画像撮像装置は、発光スペクトルが異なる複数の光源を備え、複数の前記光源のうち同時に発光させる前記光源の数を前記複数よりも少なくして、１ショット撮像期間中にそれぞれの光強度を制御しつつ時分割に発光させてもよい。

【0009】

この構成によれば、電源の最大許容電流を低く抑えつつ被写体に可視光波長領域及び非可視光波長領域の光を照射することができる。よって、非可視光波長領域に少なくとも１バンドを含む複数バンドのマルチスペクトル画像を取得できる。また、光学フィルタにより得られる複数バンドの分光感度特性を光源の発光スペクトルで補正することもでき、より自由度の高いとマルチスペクトル撮像特性を実現できる。

【0010】

上記マルチスペクトル画像撮像装置は、事前に与えられた基準となる被写体を撮像して得られる複数バンドの前記第２撮像信号に基づく画像中の特定領域を抽出する画像処理を行い、前記画像中の前記特定領域以外の全領域におけるバンドごとの前記第２撮像信号の積算値が、バンド間で等しくなるように、バンドごとの前記第２撮像信号の増幅率が設定されてもよい。

【0011】

この構成によれば、複数バンドのマルチスペクトル画像を疑似カラー画像として取得できる。例えば、表示部に表示された複数バンドのマルチスペクトル画像をユーザが疑似カラー画像として視認できる。

【0012】

上記課題を解決する検査装置は、上記マルチスペクトル画像撮像装置と、前記マルチスペクトル画像撮像装置が検査対象の被写体を撮像したときに出力した複数バンドの前記第２撮像信号に基づいて前記被写体を検査する検査処理部とを備える。

【0013】

この構成によれば、複数バンドのマルチスペクトル画像を用いて被写体を検査できる検査装置を簡単な構成で提供できる。
上記課題を解決するマルチスペクトル画像撮像方法は、画素単位で複数の異なる透過率特性をもつカラーフィルタを有するイメージセンサを用いたマルチスペクトル画像撮像方法であって、可視光波長領域内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域内で１領域または複数領域の透過領域を有する分光透過率特性をもつ光学フィルタが、前記イメージセンサと被写体との間の光路上に配置され、前記イメージセンサが前記光学フィルタを通して被写体を撮像する撮像ステップと、前記イメージセンサから出力される第１撮像信号を前記カラーフィルタの色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、前記カラーフィルタとは異なる撮像特性をもつ複数バンドの第２撮像信号に変換する変換ステップとを備え、複数バンドの前記第２撮像信号のうち少なくとも１バンドが、非可視光波長領域に感度をもつ。

【0014】

この方法によれば、マルチスペクトル画像撮像装置と同様の効果が得られる。

【発明の効果】

【0015】

本発明によれば、被写体を撮像したマルチスペクトル画像を簡単な構成で取得できる。

【図面の簡単な説明】

【0016】

【図1】第１実施形態における検査装置を備えた検査システムを示す模式図。

【図2】（ａ）は汎用のカラーカメラの構成図及び波長と相対感度との関係を示すグラフ、（ｂ）はＩＲカットフィルタを外したカラーカメラの構成図及び波長と相対強度との関係を示すグラフ。

【図3】カメラの構成図、及び波長と相対感度との関係を示すグラフ。

【図4】（ａ）は光学フィルタＦ１の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図5】第２撮像信号のバンドごとの相対感度を示すグラフ。

【図6】（ａ）は光学フィルタＦ２の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図7】（ａ）は第１撮像信号の色ごとの相対感度を示すグラフ、（ｂ）は第２撮像信号のバンドごとの相対感度を示すグラフ。

【図8】（ａ）は光学フィルタＦ３の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図9】（ａ）は第１撮像信号の色ごとの相対感度を示すグラフ、（ｂ）は第２撮像信号のバンドごとの相対感度を示すグラフ。

【図10】（ａ）は光学フィルタＦ４の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図11】（ａ）は第１撮像信号の色ごとの相対感度を示すグラフ、（ｂ）は第２撮像信号のバンドごとの相対感度を示すグラフ。

【図12】マルチスペクトル画像撮像装置の制御系の電気的構成を示すブロック図。

【図13】マルチスペクトル画像撮像制御を示すタイミングチャート。

【図14】検査装置の機能的構成を示すブロック図。

【図15】（ａ）は基準画像の特定領域を説明する模式図、（ｂ）は基準画像の特定領域以外の背景領域を基に増幅率を求める処理を説明する模式図。

【図16】第２実施形態における検査装置を備えた検査システムを示す模式図。

【図17】マルチスペクトル画像撮像装置の制御系の電気的構成を示すブロック図。

【図18】マルチスペクトル画像撮像制御を示すタイミングチャート。

【図19】（ａ），（ｂ）は第１及び第２フレームで撮像された第２撮像信号のフレームごとのバンドの相対感度をそれぞれ示すグラフ、（ｃ）は（ａ），（ｂ）に示される第２撮像信号を合成した６バンドの相対感度を示すグラフ。

【図20】変更例の撮像制御を示すタイミングチャート。

【発明を実施するための形態】

【0017】

（第１実施形態）
以下、マルチスペクトル画像撮像装置及びこのマルチスペクトル画像撮像装置を備えた検査装置について、図面を参照して説明する。

【0018】

図１に示す検査システム１０は、被写体である物品１２を撮像した画像を用いて物品１２の良否を検査する。検査システム１０は、物品１２が搬送される搬送装置１３と、搬送装置１３により搬送される物品１２を、カメラ３０で撮像した撮像結果に基づいて物品１２の良否を検査する検査装置１１とを備える。検査装置１１は、複数バンドのマルチスペクトル画像を生成するマルチスペクトル画像撮像装置１５と、マルチスペクトル画像を用いて検査する検査処理部７０とを備える。マルチスペクトル画像撮像装置１５は、搬送装置１３に搬送される被写体の一例である物品１２を撮像するカメラ３０と、カメラ３０と電気的に接続された制御処理部４０とを備える。制御処理部４０は、少なくとも一部が、コンピュータにより構成される。コンピュータは、入力装置と表示部とを備える。本実施形態では、搬送装置１３は、検査装置１１の制御系と通信可能に接続されている搬送系の制御部により駆動される。なお、制御処理部４０が、搬送装置１３を制御してもよい。

【0019】

図１に示すように、搬送装置１３は、物品１２を搬送するためのコンベヤ１６と、コンベヤ１６に載置されて搬送される物品１２を検知するセンサ１７と、検査装置１１の検査結果から不良品と判定された場合に良品の流れるラインから物品１２を排除する排出装置（図示略）とを備える。コンベヤ１６は、物品１２を搬送できれば、ベルトコンベヤ、ローラコンベヤ等でもよいし、物品１２を把持して搬送したり、物品１２を吊下する状態で搬送したりするものでもよい。排出装置は、物品１２を押し出して排除する構成、又はエアの力で物品１２を吹き飛ばして排除する構成でもよい。

【0020】

検査装置１１は、複数バンドのマルチスペクトル画像を生成するマルチスペクトル画像撮像装置１５と、複数バンドのマルチスペクトル画像を用いて物品１２の良否を検査する検査処理部７０と、マルチスペクトル画像及び検査結果を表示する表示部４１とを備える。検査装置１１は、マルチスペクトル画像撮像装置１５が検査対象の被写体である物品１２を撮像したときに出力した複数バンドの第２撮像信号Ｓ２に基づいて物品１２を検査する。表示部４１は、コンピュータに接続されたモニタでもよいし、操作盤に設けられたディスプレイでもよい。

【0021】

マルチスペクトル画像撮像装置１５は、物品１２に光を照射する照明部２０と、被写体である物品１２を撮像するカメラ３０と、制御処理部４０とを備える。制御処理部４０は、照明部２０及びカメラ３０を制御する制御部５０と、カメラ３０が撮像した撮像画像を複数バンドのマルチスペクトル画像に変換する変換部６０とを備える。変換部６０は、カメラ３０が撮像して得た第１撮像信号Ｓ１を、複数バンドのマルチスペクトル画像を表す第２撮像信号Ｓ２に変換する。

【0022】

検査処理部７０は、マルチスペクトル画像撮像装置１５を構成する変換部６０が生成した複数バンドのマルチスペクトル画像を用いて物品１２の良否を検査し、検査に用いられたマルチスペクトル画像及び検査結果を表示部４１に表示する。また、マルチスペクトル画像撮像装置１５は、変換部６０が生成した複数バンドのマルチスペクトル画像を表示部４１に表示する。

【0023】

図１、図３に示すように、カメラ３０は、光学フィルタ３１と、レンズ３２と、イメージセンサ３３とを備える。光学フィルタ３１は被写体である物品１２と、イメージセンサ３３との間の光路上に配置されている。図１に示す例では、光学フィルタ３１は、被写体である物品１２とレンズ３２との間に配置されているが、レンズ３２とイメージセンサ３３との間に配置されてもよい。

【0024】

イメージセンサ３３は、被写体である物品１２の像を光学フィルタ３１及びレンズ３２を通して受光し、その受光結果に応じた第１撮像信号Ｓ１を出力する。イメージセンサ３３が出力する第１撮像信号Ｓ１は、変換部６０に入力される。変換部６０は、第１撮像信号Ｓ１を複数バンドのマルチスペクトル画像を表す第２撮像信号Ｓ２に変換する。

【0025】

図１に示す検査処理部７０は、変換部６０が変換した第２撮像信号Ｓ２で表される複数バンドのマルチスペクトル画像を用いて被写体である物品１２の良否を検査する。複数バンドの第２撮像信号Ｓ２はマルチスペクトル画像を表示するための画像信号である。

【0026】

図１に示す照明部２０は、１種類の発光スペクトルをもつ単体の発光部であってもよいが、第１実施形態では、マルチスペクトルの特性、性能を改善するために、複数の発光部を用いる。照明部２０は、発光スペクトルが異なる複数の光源２１～２４を備える。本例の照明部２０は、第１光源２１、第２光源２２、第３光源２３及び第４光源２４を備える。複数の光源２１～２４は、例えばＬＥＤにより構成される。照明部２０は、発光スペクトルがそれぞれの異なる複数の光源２１～２４を組み合わせて構成される。制御部５０は、複数の光源２１～２４を発光させることにより、被写体である物品１２に向かって可視光及び近赤外光を含む照明光を照射させる。

【0027】

マルチスペクトル画像撮像装置１５は、画素単位で複数の異なる透過率特性をもつカラーフィルタ３４を有するイメージセンサ３３を備える。カラーフィルタ３４は、複数の異なる透過率特性をもつＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂを画素単位で配置して構成される。

【0028】

次に、図２（ａ），（ｂ）を参照して、カメラ３０が備えるイメージセンサ３３の構成について説明する。図２（ａ）は、ＲＧＢ画像を撮像する汎用のカラーカメラ２００である。カラーカメラ２００は、鏡筒３０ａに組み付けられたレンズ３２と、近赤外光を遮断する近赤外光カットフィルタ２０１（以下、ＩＲカットフィルタ２０１ともいう。）と、イメージセンサ３３とを備える。イメージセンサ３３は、Ｒフィルタ３４Ｒを透過したレッド光を受光し受光量に応じたＲ撮像信号を出力するＲ受光素子３３Ｒと、Ｇフィルタ３４Ｇを透過したグリーン光を受光し受光量に応じたＧ撮像信号を出力するＧ受光素子３３Ｇと、Ｂフィルタ３４Ｂを透過したブルー光を受光し受光量に応じたＢ撮像信号を出力するＢ受光素子３３Ｂとを備える。イメージセンサ３３において、Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、所定の配列で配置されている。

【0029】

このイメージセンサ３３は、近赤外光がカットされたＲＧＢ撮像特性を有する。Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、図２（ａ）のグラフで示されるそれぞれの波長帯の光に感度を有する。このグラフは、横軸が波長を示し、縦軸が相対感度を示す。Ｒ受光素子３３Ｒは、図２（ａ）におけるグラフに示されるレッド（Ｒ）の波長帯の光に高い感度を有する。Ｇ受光素子３３Ｇは、図２（ａ）におけるグラフに示されるグリーン（Ｇ）の波長帯の光に高い感度を有する。Ｂ受光素子３３Ｂは、図２（ａ）におけるグラフに示されるブルー（Ｂ）の波長帯の光に高い感度を有する。

【0030】

図２（ｂ）は、図２（ａ）に示す汎用のカラーカメラ２００からＩＲカットフィルタ２０１を除去したカラーカメラ２５０である。カラーカメラ２５０に内蔵されるイメージセンサ３３は、近赤外光がカットされず、近赤外光の波長帯域を含むＲＧＢ撮像特性を有する。Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、図２（ｂ）におけるグラフに示される可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡ（特に近赤外波長領域）の光に感度を有する。

【0031】

図３は、本実施形態のカメラ３０の模式的な構成を示す。図３に示すように、カメラ３０は、イメージセンサ３３と被写体である物品１２との間の光路上に光学フィルタ３１を備える。カメラ３０は、図２（ａ）に示すＩＲカットフィルタ２０１を備えていない。イメージセンサ３３は、図２（ａ）に示す汎用のカラーカメラ２００のものと同様の構成である。

【0032】

イメージセンサ３３そのものは、図２（ｂ）のグラフに示すように、可視光波長領域ＶＡと非可視光波長領域ＩＶＡに感度を有する。カメラ３０は、例えば、図２（ａ）に示す汎用のカラーカメラ２００からＩＲカットフィルタ２０１を除去したうえで、光学フィルタ３１を光路上に取り付けて構成される。なお、カメラ３０は、汎用のカラーカメラ２００をベースにする構成に限定されない。

【0033】

イメージセンサ３３を構成するカラーフィルタ３４は、ＲＧＢ原色フィルタであるが、Ｍｇ，Ｙｅ，Ｃｙの補色フィルタでもよい。また、ＲＧＢフィルタ又は補色フィルタに加え近赤外光を選択的に透過するＮＩＲフィルタが混在してもよい。さらに、ＲＧＢフィルタが、Ｒ，Ｇ１，Ｇ２，Ｂフィルタであったり、カラーフィルタ３４が補色フィルタと原色フィルタを組み合わせた構成であってもよい。さらに、組み合せるフィルタは、３種類以上であってもよい。

【0034】

光学フィルタ３１は、可視光波長領域ＶＡ内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域ＩＶＡ内で１領域または複数領域の透過領域を有する分光透過率特性をもつ。このような分光透過率特性を得るため、光学フィルタ３１は、１枚か、図３に示すように２枚の光学フィルタ３１Ａ，３１Ｂにより構成される。図３に示す光学フィルタ３１は、非可視光波長領域ＩＶＡ内で１領域または複数領域の透過領域を有するので、被写体である物品１２から光学フィルタ３１を透過した非可視光波長の光は、図３に示すイメージセンサ３３に受光される。本実施形態の光学フィルタ３１は、少なくとも近赤外光波長領域内の一部の波長帯の光を透過する。近赤外光波長領域は、波長が約８００～約２５００ｎｍの領域である。なお、１つの光学フィルタ３１を３枚以上で構成してもよいが、光透過率が低下して照明部２０の光量を高める必要があるので、省電力の観点から数は少ない方が好ましい。

【0035】

図４（ａ）は光学フィルタ３１の分光透過率特性の一例を示す。本実施形態では、光学フィルタ３１として、図４（ａ）に示す分光透過率特性を有する光学フィルタＦ１、図６（ａ）に示す分光透過率特性を有する光学フィルタＦ２、図８（ａ）に示す分光透過率特性を有する光学フィルタＦ３、及び図１０（ａ）に示す分光透過率特性を有する光学フィルタＦ４が用いられる。光学フィルタ３１は、検査対象である被写体において識別した物体の分光反射率特性の違いに応じて、検査に適した分光透過率特性を有するものが使用される。

【0036】

図４（ａ）に示す光学フィルタＦ１は、可視光波長領域ＶＡ内で波長約６２０ｎｍ以下の領域に遮断領域を有するとともに、波長約６２０ｎｍを超える領域に透過領域を有する分光透過率特性をもつ。非可視光波長領域ＩＶＡ内では図示される全域が透過領域となっている。光学フィルタＦ１は、少なくとも近赤外波長領域が透過領域となっている。

【0037】

図３に示すカメラ３０では、光学フィルタ３１が、図４（ａ）に示す分光透過率特性を有する光学フィルタＦ１である場合、光学フィルタＦ１によって、被写体である物品１２からの光のうち波長約６２０ｎｍ以下の光が遮断され、波長約６２０ｎｍを超える光が透過する。よって、イメージセンサ３３そのものが、図４（ｂ）に示す感度を有していても、イメージセンサ３３は、光学フィルタ３１により遮断された波長約６２０ｎｍ以下の光が受光されない。よって、図３のグラフに示すように、イメージセンサ３３は、約６２０ｎｍを超える波長領域に実質的な感度を有する。つまり、イメージセンサ３３は、波長約６２０ｎｍ以下の領域で感度をもたず、波長約６２０ｎｍを超える領域に感度を有する。

【0038】

図３に示すイメージセンサ３３を構成するＲ受光素子３３Ｒは、同図のグラフにＲで示されバンドの感度を有し、Ｇ受光素子３３ＧはＧで示されるバンドの感度を有し、Ｂ受光素子３３ＢはＢで示されるバンドの感度を有する。各受光素子３３Ｒ，３３Ｇ，３３Ｂは、光学フィルタ３１を透過した光のうち、カラーフィルタ３４の各フィルタ３４Ｒ，３４Ｇ，３４Ｂを透過した光をそれぞれの感度に応じて受光する。イメージセンサ３３は、各受光素子３３Ｒ，３３Ｇ，３３Ｂの受光量に応じたＲ値、Ｇ値、Ｂ値をもつ各撮像信号が、所定の配列パターンの順番でシリアルに並ぶ第１撮像信号Ｓ１を出力する。

【0039】

図５に示す変換部６０は、図３に示すイメージセンサ３３から入力した第１撮像信号Ｓ１のＲＧＢ値をＸＹＺ値に変換することで第２撮像信号Ｓ２を生成する。図５に示すグラフは、第２撮像信号Ｓ２を構成するＸＹＺ値で表される３バンドを示す。グラフの横軸が波長を示し、縦軸が相対感度を示す。

【0040】

図５に示すように、本実施形態では、第２撮像信号Ｓ２は、３バンドのうち少なくとも１つのバンドのピークが、可視光波長領域ＶＡよりも波長が長い近赤外光波長領域にある。特に本例では、２つのバンドのピークが、近赤外光波長領域にある。すなわち、変換部６０は、図３のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号に変換する。図５のグラフに示されるように、Ｘで示されるバンドは約８７０ｎｍにピークをもち、Ｙで示されるバンドは約７７０ｎｍにピークをもち、Ｚで示されるバンドは約６７０ｎｍにピークをもつ。ＸＹＺの３バンドで示される感度の各ピークは、他の２つのバンドの感度よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。

【0041】

図６（ａ）に示す光学フィルタＦ２は、透過率が０．１以下となる波長約５８０～７３０ｎｍの範囲に遮断領域を有するとともに、透過率が０．７以上となる波長約５２０ｎｍ以下と約７７０ｎｍ以上の範囲に透過領域を有する分光透過率特性をもつ。換言すれば、光学フィルタＦ２は、可視光波長領域ＶＡ内で波長約５８０～７００ｎｍの範囲に遮断領域を有するとともに、非可視光波長領域ＩＶＡ内で波長約７７０ｎｍ以上の範囲に透過領域を有する分光透過率特性をもつ。

【0042】

よって、イメージセンサ３３そのものが、図６（ｂ）に示すＲＧＢの３バンドの相対感度を有していても、図６（ａ）に示す光学フィルタＦ２の分光透過率特性により、イメージセンサ３３は、図７（ａ）のグラフに示す実質的な相対感度を有する。

【0043】

そして、変換部６０は、図７（ａ）のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号に変換する。
図７（ｂ）に示すように、第２撮像信号Ｓ２を構成する３バンドのＸＹＺのうち１つのバンドのピークが、非可視光波長領域ＩＶＡのうちの近赤外光波長領域にある。他の２つのバンドのピークが、可視光波長領域ＶＡにある。すなわち、図７（ｂ）のグラフに示されるように、Ｘのバンドは約７８０ｎｍにピークをもち、Ｙのバンドは約５３０ｎｍにピークをもち、Ｚのバンドは約４６０ｎｍにピークをもつ。ＸＹＺの３バンドで示される相対感度の各ピークは、それぞれのピークの波長で他の２つのバンドの相対感度の値よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。

【0044】

また、図８（ａ）に示す光学フィルタＦ３は、複数の波長帯に透過率が０．１以下となる遮断領域を有するとともに、複数の波長帯に透過率が０．７以上となる透過領域を有する分光透過率特性をもつ。換言すれば、光学フィルタＦ３は、可視光波長領域ＶＡ内で複数の遮断領域を有するとともに、非可視光波長領域ＩＶＡ内のうちの近赤外光波長領域に複数の透過領域を有する分光透過率特性をもつ。

【0045】

よって、イメージセンサ３３そのものが、図８（ｂ）に示すＲＧＢの３バンドの相対感度を有していても、図８（ａ）に示す光学フィルタＦ３の分光透過率特性により、イメージセンサ３３は、図９（ａ）のグラフに示す実質的な相対感度を有する。

【0046】

そして、変換部６０は、図９（ａ）のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号に変換する。
図９（ｂ）に示すように、第２撮像信号Ｓ２を構成する３バンドのＸＹＺのうち１つのバンドのピークが、非可視光波長領域ＩＶＡのうちの近赤外光波長領域にある。他の２つのバンドのピークが、可視光波長領域ＶＡにある。すなわち、図９（ｂ）のグラフに示されるように、Ｘのバンドは約９６０ｎｍにピークをもち、Ｙのバンドは約６７０ｎｍにピークをもち、Ｚのバンドは約５６０ｎｍにピークをもつ。ＸＹＺの３バンドで示される相対感度の各ピークは、それぞれのピークの波長で他の２つのバンドの相対感度の値よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。

【0047】

さらに、図１０（ａ）に示す光学フィルタＦ４は、複数の波長帯に透過率が０．１以下となる遮断領域を有するとともに、複数の波長帯に透過率が０．７以上となる透過領域を有する分光透過率特性をもつ。換言すれば、光学フィルタＦ４は、可視光波長領域ＶＡ内で複数の遮断領域を有するとともに、非可視光波長領域ＩＶＡ内のうちの近赤外光波長領域に複数の透過領域を有する分光透過率特性をもつ。

【0048】

よって、イメージセンサ３３そのものが、図１０（ｂ）に示すＲＧＢの３バンドの相対感度を有していても、図１０（ａ）に示す光学フィルタＦ４の分光透過率特性により、イメージセンサ３３は、図１１（ａ）のグラフに示す実質的な相対感度を有する。

【0049】

そして、変換部６０は、図１１（ａ）のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号に変換する。
図１１（ｂ）に示すように、第２撮像信号Ｓ２は、３バンドのうち１つのバンドのピークが、非可視光波長領域ＩＶＡのうちの近赤外光波長領域にある。他の２つのバンドのピークが、可視光波長領域ＶＡにある。すなわち、図１１（ｂ）のグラフに示されるように、Ｘのバンドは約８７０ｎｍにピークをもち、Ｙのバンドは約８００ｎｍにピークをもち、Ｚのバンドは約８３０ｎｍにピークをもつ。ＸＹＺの３バンドで示される相対感度の各ピークは、それぞれのピークの波長で他の２つのバンドの相対感度の値よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。

【0050】

次に、図１２を参照して、マルチスペクトル画像撮像装置１５の制御系の電気的構成を説明する。図１２に示すように、制御部５０は、発光制御部５１と、撮像制御部５２とを備える。発光制御部５１は、電源２５と電気的に接続され、電源２５から所定電圧の電力の供給を受ける。発光制御部５１は、照明部２０を構成する第１光源２１、第２光源２２、第３光源２３及び第４光源２４を時分割で発光させる発光制御を行う。

【0051】

撮像制御部５２は、センサ１７（図１参照）が物品１２を検知した検知信号に基づき撮像トリガ信号を入力する。撮像制御部５２は、撮像トリガ信号を入力すると、発光制御部５１に発光指令信号ＬＳを出力するとともに、イメージセンサ３３に撮像指令信号ＩＳを出力する。発光制御部５１は、発光指令信号ＬＳを入力すると、複数の光源２１～２４を時分割で組み合わせて発光させる。イメージセンサ３３は、撮像指令信号ＩＳを入力すると、撮像動作を行う。撮像動作の結果、イメージセンサ３３は、第１撮像信号Ｓ１を変換部６０に出力する。第１撮像信号Ｓ１は、ＲＧＢ撮像信号である。

【0052】

次に、図１３を参照して、マルチスペクトル画像撮像装置１５の動作タイミングを説明する。図１３は、被写体に対して１ショットの撮像が行われる過程で、複数の光源２１～２４を時分割で発光させる発光制御、使用される光学フィルタ３１、イメージセンサ３３の撮像動作の各タイミングを示す。

【0053】

カメラ３０は、１つの被写体を撮像する１ショットで、１つの光学フィルタ３１を通して１フレームの撮像を行う。また、照明部２０を構成する複数の光源２１～２４を、時分割で発光させることで、電源２５の許容最大電流値を超過せず、且つ必要な光強度の照明を得る。このとき、発光制御として、複数の光源２１～２４の発光タイミングの制御と、複数の光源２１～２４の個々に流れる電流値の制御とが行われる。１フレームの撮像過程で、第１光源２１、第２光源２２、第３光源２３及び第４光源２４の全てを時分割で発光させることで、可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡに発光スペクトルをもつ照明光が被写体に照射される。

【0054】

ここで、複数の光源の数をＪ個（但しＪ≧２）とすると、本例ではＪ＝４である。制御部５０は、Ｊ個の光源２１～２４を、同時に発光させる光源の数をＪ個よりも少なくして、１ショット撮像期間中にそれぞれの光強度を制御しつつ時分割に発光させる。マルチスペクトル画像撮像装置１５は、カメラ３０が１つの物品１２につき１フレームの撮像を行うことで、物品１２が撮像された３バンドのマルチスペクトル画像を取得する。なお、Ｊ＝１でもよい。光源が１つでも、マルチスペクトル撮像は成立する。

【0055】

次に、図１４を参照して、変換部６０及び検査処理部７０の構成を説明する。
図１４に示すように、光学フィルタ３１及びレンズ３２を通して物品１２の像がイメージセンサ３３の撮像面に結像される。イメージセンサ３３は物品１２の撮像結果として第１撮像信号Ｓ１を変換部６０に出力する。第１撮像信号Ｓ１は、各受光素子３３Ｒ，３３Ｇ，３３ＢからのＲ撮像信号（レッド信号）、Ｇ撮像信号（グリーン信号）及びＢ撮像信号（ブルー信号）を含むシリアル信号である。なお、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号を、単にＲ信号、Ｇ信号及びＢ信号ともいう。

【0056】

図１４に示すように、変換部６０は、ＲＧＢ分離部６１、ＸＹＺ変換部６２、ホワイトバランス部６３及び高輝度色抑圧部６４を備える。ＲＧＢ分離部６１は、イメージセンサ３３から入力した第１撮像信号Ｓ１を、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号に分離する。

【0057】

ＸＹＺ変換部６２は、ＲＧＢ分離部６１から入力したＲ信号、Ｇ信号及びＢ信号を、Ｘ信号、Ｙ信号及びＺ信号に変換する。詳しくは、ＸＹＺ変換部６２は、Ｒ信号、Ｇ信号及びＢ信号の信号値であるＲＧＢ値に対してマトリックス演算を施すことにより、Ｘ信号、Ｙ信号及びＺ信号に変換する。ＸＹＺ変換部６２には、マトリックス係数が与えられる。ここで、マトリックス演算に用いられるマトリックスは、３×３マトリックスである。ＸＹＺ変換部６２には、３×３マトリックスの係数が与えられる。

【0058】

ＸＹＺ変換部６２は、マトリックス係数を用いて特定される３×３マトリックスを、第１撮像信号Ｓ１のＲＧＢ値に対して乗算するマトリックス演算を行い、第１撮像信号Ｓ１のＲＧＢと異なる分光特性を持つＸＹＺで表される第２撮像信号Ｓ２に変換する。マトリックス係数は、第１撮像信号Ｓ１のＲＧＢを、第２撮像信号Ｓ２のＸＹＺに複数バンドに分光させるための係数である。

【0059】

ここで、第１撮像信号Ｓ１であるＲＧＢ信号を、第２撮像信号Ｓ２であるＸＹＺ信号に変換する計算式は、下記の（１）式で与えられる。

【0060】

【数1】

ここで、ａ１～ａ３，ｂ１～ｂ３，ｃ１～ｃ３はマトリックス係数であり、Ｇｘ，Ｇｙ，Ｇｚは増幅率である。

【0061】

ＸＹＺ変換部６２は、上記（１）式のうち、ＲＧＢ値に対して３×３マトリックスを乗算する演算処理を行う。ＸＹＺ変換部６２は、増幅率が乗算される前のＸＹＺ値をホワイトバランス部６３に出力する。

【0062】

ここで、イメージセンサ３３におけるカラーフィルタ３４の色数をｎ（但し、ｎは３以上の自然数）とする。ｎ個の撮像信号間で行うマトリックス演算は、ｎ×ｎマトリックス演算である。ｎ×ｎマトリックスには、第１撮像信号Ｓ１の色ごとの撮像信号を、ｎバンドの波長領域に分離可能なマトリックス係数が設定されている。本例では、第１撮像信号Ｓ１の色ごとの撮像信号は、Ｒ信号、Ｇ信号、Ｂ信号であり、色数ｎは「３」である（ｎ＝３）。つまり、ｎ×ｎマトリックスは、３×３マトリックスである。そして、３×３マトリックスには、３バンドの分離性を高くできるマトリックス係数が設定されている。

【0063】

例えば、図４（ａ）に示す光学フィルタＦ１が用いられる場合、図３から図５への変換のマトリックス演算に使用される３×３マトリックスの係数として、ａ１＝－０．０５、ａ２＝－０．１、ａ３＝１、ｂ１＝－０．２６、ｂ２＝２、ｂ３＝－１．５、ｃ１＝１、ｃ２＝－１．５、ｃ３＝０．４が与えられる。

【0064】

また、例えば、図６（ａ）に示す光学フィルタＦ２が用いられる場合、図７（ａ）から図７（ｂ）への変換のマトリックス演算に使用される３×３マトリックスの係数として、ａ１＝１、ａ２＝０、ａ３＝０、ｂ１＝－０．６、ｂ２＝１、ｂ３＝－０．１、ｃ１＝－０．２、ｃ２＝－０．４５、ｃ３＝１が与えられる。

【0065】

なお、ｎ×ｎマトリックス演算に限定されず、ｎ×ｍ（但しｍ≠ｎ）マトリックス演算でもよい。色数「３」である場合、３×３マトリックス演算に限定されず、３×４マトリックス演算を行って４バンドのマルチスペクトル画像を生成したり、３×２マトリックス演算を行って色数ｎよりも少ないバンド数のマルチスペクトル画像を生成してもよい。

【0066】

ホワイトバランス部６３は、ＸＹＺ変換部６２からのＸＹＺ値に、与えられたＸ増幅率Ｇｘ，Ｙ増幅率Ｇｙ，Ｚ増幅率Ｇｚをそれぞれ乗算する。ホワイトバランス部６３は、ＸＹＺ変換後のＸ値にＸ増幅率Ｇｘを乗算し、Ｙ値にＹ増幅率Ｇｙを乗算し、Ｚ値にＺ増幅率Ｇｚを乗算する。つまり、ホワイトバランス部６３は、上記（１）式において、増幅率Ｇｘ，Ｇｙ，Ｇｚをマトリックス係数とする１×３マトリックスを乗算する演算を行うことで、ホワイトバランスを調整する。ホワイトバランス部６３は、ホワイトバランスが調整されたＸＹＺ値を高輝度色抑圧部６４に出力する。なお、ホワイトバランスの調整は、１つの信号レベルを固定して他の２個の信号レベルを調整する方法でもよい。例えば、Ｙ信号を固定とし、Ｘ信号とＺ信号を調整してもよい。

【0067】

高輝度色抑圧部６４は、閾値以上の輝度を無彩色とみなしその部分の色を抑制する。こうして、変換部６０は、入力した第１撮像信号Ｓ１に対して、ＲＧＢ分離処理、ＸＹＺ変換処理、ホワイトバランス処理及び高輝度色抑圧処理を順次行うことで、ＸＹＺ疑似カラー画像を表現可能な第２撮像信号Ｓ２を出力する。変換部６０は、物品１２が撮像されたＸＹＺ疑似カラー画像とされた３バンドのマルチスペクトル画像を、検査処理部７０に出力する。

【0068】

次に、検査処理部７０について説明する。
検査処理部７０は、特定領域検出処理部７１と判定処理部７２とを備える。
特定領域検出処理部７１は、ＸＹＺ疑似カラー画像ＳＩにおいて、与えられたパラメータを基に特定領域ＥＡを検出する。ここで、特定領域ＥＡとは、物品１２の良否を判定する検査の対象となる検査対象領域を指す。特定領域検出処理部７１は、ＸＹＺ疑似カラー画像ＳＩ中の被写体領域において検出した特定領域ＥＡの数及び面積を算出する。詳しくは、特定領域検出処理部７１は、パラメータを基に検出した特定領域ＥＡの数を不図示のカウンターにより計数するとともに、検出した特定領域ＥＡの面積を求める。

【0069】

判定処理部７２は、与えられた閾値に基づいて、特定領域ＥＡの数及び面積から、物品１２の良否を検査する。判定処理部７２は、閾値として、特定領域ＥＡの数の判定に用いる数閾値と、面積の判定に用いる面積閾値とが与えられる。例えば、判定処理部７２は、面積閾値を超える特定領域ＥＡの数が数閾値を超えるか否かを判定する。あるいは、判定処理部７２は、特定領域の数が閾値を超え且つ各特定領域ＥＡの面積を合計した合計面積が面積閾値を超えらか否かを判定する。判定処理部７２は、検査の判定条件を満たせば、を良品と判定し、判定条件を満たさなければ、不良品と判定する。

【0070】

なお、判定処理部７２が、特定領域ＥＡを、数及び面積から良品か不良品かを判定する方法は、適宜変更できる。例えば、判定処理部７２は、面積閾値を超える特定領域ＥＡの数が数閾値を超えると、物品１２が良品であると判定したり、反対に不良品であると判定したりしてもよい。また、特定領域ＥＡの面積だけで物品１２の良否を判定したり、数だけで物品１２の良否を判定したりしてもよい。

【0071】

次に、Ｘ，Ｙ，Ｚの増幅率の設定方法について図１５を参照して説明する。
検査対象となる被写体である物品１２の標準画像を事前に撮像する。検査処理部７０は、例えば、パーソナルコンピュータの一部により構成される。例えば、検査員は、モニタ等の表示部４１に、図１５（ａ）に示す基準画像ＳＩを表示させる。検査員は、抽出したい特定領域ＥＡをマウス等のポインティングデバイスを用いてマニュアル操作で囲んで指定する。検査員は、抽出したい領域の特定が色のデータであれば、ＸＹＺの色度座標で表された色領域のうちどの領域の色を抽出したいかをマニュアル操作で指定する。パラメータは、ＸＹＺの色度座標で表された色領域のうちどの領域の色を抽出するのかを特定可能な色度座標閾値で与えられる。また、抽出したい領域の特定が、色ではなく差分であれば、パラメータは、差分のデータがどの領域を抽出したいかを特定可能な閾値で与えられる。ここでのＸＹＺは、正式な増幅率が決定される前に暫定で設定されたＸＹＺ増幅率により算出された値であり、ここで特定したパラメータも、暫定であり、特定領域ＥＡを抽出するためだけの閾値である。

【0072】

検査処理部７０は、特定領域ＥＡが指定されると、初期設定処理として、図１５（ｂ）に示す基準画像ＳＩ中の特定領域ＥＡ以外の領域である背景領域ＯＡを求める。そして、検査処理部７０は、背景領域ＯＡのＸ，Ｙ，Ｚ撮像信号別に領域内の値を加算して、各積分値ΣＸ，ΣＹ，ΣＺを求める。さらに、検査処理部７０は、ΣＸ＊Ｇｘ＝ΣＹ＊Ｇｙ＝ΣＺ＊Ｇｚを満たす増幅率Ｇｘ，Ｇｙ，Ｇｚを算出する。そして、検査処理部７０は、Ｘ，Ｙ，Ｚ信号の増幅率として、Ｇｘ，Ｇｙ，Ｇｚを初期設定する。なお、特定領域ＥＡは、良品と判定するための良領域でもよいし、不良品と判定するための不良領域でもよい。

【0073】

このように、事前に与えられた基準となる被写体である物品１２を撮像して得られる複数バンドの第２撮像信号Ｓ２を基に、検査処理部７０は、基準画像ＳＩ中の特定領域ＥＡを抽出する画像処理を行う。そして、検査処理部７０は、基準画像ＳＩ中の特定領域ＥＡ以外の背景領域ＯＡの全領域におけるバンドごとの撮像信号の積算値が、バンド間で等しくなるように、バンドごとの第２撮像信号Ｓ２の増幅率を算出し、バンドごとの第２撮像信号Ｓ２の増幅率として設定する。３×３マトリックスの係数、Ｘ，Ｙ，Ｚ増幅率Ｇｘ，Ｇｙ，Ｇｚ、パラメータ及び閾値は、不図示の記憶部に記憶される。なお、増幅率Ｇｘ，Ｇｙ，Ｇｚを算出する処理は、検査処理部７０に替え、変換部６０が行ってもよい。

【0074】

次に、マルチスペクトル画像撮像装置１５及び検査装置１１の作用について説明する。
図１に示すように、搬送装置１３のコンベヤ１６によって、被写体である物品１２が搬送される。センサ１７が物品１２を検知すると、トリガー信号が制御部５０に入力される。図１２に示すように、トリガー信号を入力した撮像制御部５２は、発光制御部５１に発光指令信号ＬＳを出力するとともにイメージセンサ３３に撮像指令信号ＩＳを出力する。

【0075】

図１３に示すように、発光制御部５１は、複数の光源２１～２４を、電源２５の許容最大電流値を超過しないように、時分割で発光させる。この照明過程において、第１光源２１、第２光源２２、第３光源２３及び第４光源２４の全てを時分割で発光させることで、可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡに発光スペクトルをもつ照明光を被写体である物品１２に照射する。

【0076】

また、イメージセンサ３３は、物品１２に対して光学フィルタ３１を通して１フレームの撮像を行う。イメージセンサ３３は、第１撮像信号Ｓ１を変換部６０に出力する。
変換部６０では、第１撮像信号Ｓ１をＲＧＢ分離し、分離したＲＧＢ値に３×３マトリックスを乗算することで、ＲＧＢ値をＸＹＺ値に変換する。このＸＹＺ値に増幅率Ｇｘ，Ｇｙ，Ｇｚを乗算することで、ホワイトバランスが調整されたＸＹＺ値が生成される。さらに、高輝度色抑圧部６４により、閾値以上の輝度を無彩色とみなしその部分の色を抑制する。こうして、変換部６０からＸＹＺ疑似カラー画像を表す第２撮像信号Ｓ２が検査処理部７０に出力される。

【0077】

検査処理部７０では、第２撮像信号Ｓ２に基づくＸＹＺ疑似カラー画像に対して、特定領域検出処理部７１が特定領域ＥＡを検出する。例えば、図１５（ａ）に示す基準画像ＳＩが、検査で撮像されたＸＹＺ疑似カラー画像とすると、特定領域検出処理部７１が特定領域ＥＡを検出する。詳しくは、特定領域検出処理部７１は、ＸＹＺの色度座標で表された色領域のうちパラメータで特定された色の領域を特定領域ＥＡとして検出する。あるいは、特定領域検出処理部７１は、パラメータが、色ではなく差分で与えられる場合、パラメータで特定された領域を特定領域ＥＡとして検出する。そして、特定領域検出処理部７１は、特定領域ＥＡの数を計数するとともに、特定領域ＥＡの面積を求める。

【0078】

判定処理部７２は、与えられた閾値を用いて特定領域ＥＡの検査対象値が閾値を超えるか否かを判定する。本例の判定処理部７２は、特定領域ＥＡの数と数閾値とを比較するとともに、特定領域ＥＡの面積と面積閾値とを比較することで、物品１２の良否を判定する。検査結果から物品１２が不良品である場合、排出装置を駆動して不良品の物品１２をコンベヤ１６上から排除する。

【0079】

本実施形態では、マルチスペクトル画像撮像方法が採用される。
マルチスペクトル画像撮像方法は、撮像ステップと変換ステップとを備える。撮像ステップでは、イメージセンサ３３が光学フィルタ３１を通して被写体である物品１２を撮像する。変換ステップでは、イメージセンサ３３から出力される第１撮像信号Ｓ１をカラーフィルタの色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、カラーフィルタとは異なる撮像特性をもつ複数バンドの第２撮像信号Ｓ２に変換する。複数バンドの第２撮像信号Ｓ２のうち少なくとも１バンドが、非可視光波長領域ＩＶＡに感度をもつ。

【0080】

以上、詳述した第１実施形態によれば、以下に示す効果が得られる。
（１）マルチスペクトル画像撮像装置１５は、画素単位で複数の異なる透過率特性をもつカラーフィルタ３４を有するイメージセンサ３３と、光学フィルタ３１と、変換部６０と、を備える。光学フィルタ３１は、可視光波長領域ＶＡ内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域ＩＶＡ内で１領域または複数領域の透過領域を有する分光透過率特性をもち、イメージセンサ３３と被写体である物品１２との間の光路上に配置される。変換部６０は、イメージセンサ３３から出力される第１撮像信号Ｓ１をカラーフィルタ３４の色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、カラーフィルタ３４とは異なる撮像特性をもつ複数バンドの第２撮像信号Ｓ２に変換する。複数バンドの第２撮像信号Ｓ２のうち少なくとも１バンドが、非可視光波長領域ＩＶＡに感度をもつ。よって、１つの光学フィルタ３１につき複数のマルチスペクトル画像を生成できる。また、光学フィルタ３１により得られる複数バンドの分光感度特性を光源２１～２４の発光スペクトルで補正することもでき、より自由度の高いとマルチスペクトル撮像特性を実現できる。

【0081】

（２）照明部２０は、発光スペクトルが異なる複数の光源２１～２４を備える。複数の光源２１～２４のうち同時に発光させる光源の数を複数よりも少なくして、１ショット撮像期間中にそれぞれの光強度を制御しつつ時分割に発光させる。よって、電源の最大許容電流を低く抑えつつ被写体に可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡの光を照射することができる。よって、非可視光波長領域ＩＶＡに少なくとも１バンドを含む複数バンドのマルチスペクトル画像を取得できる。また、光学フィルタ３１により得られる複数バンドの分光感度特性を光源２１～２４の発光スペクトルで補正することもでき、より自由度の高いとマルチスペクトル撮像特性を実現できる。

【0082】

（３）検査処理部７０は、事前に与えられた基準となる被写体を撮像して得られる複数バンドの第２撮像信号Ｓ２に基づく基準画像ＳＩ中の特定領域を抽出する画像処理を行う。基準画像ＳＩ中の特定領域ＥＡ以外の背景領域ＯＡの全領域におけるバンドごとの第２撮像信号Ｓ２の積算値が、バンド間で等しくなるように算出した増幅率Ｇｘ，Ｇｙ，Ｇｚが、バンドごとの第２撮像信号Ｓ２の増幅率として設定されている。よって、複数バンドのマルチスペクトル画像を疑似カラー画像として取得できる。例えば、表示部４１に表示された複数バンドのマルチスペクトル画像をユーザが疑似カラー画像として視認できる。

【0083】

（４）検査装置１１は、マルチスペクトル画像撮像装置１５と、マルチスペクトル画像撮像装置１５が検査対象の物品１２を撮像したときに出力した複数バンドの第２撮像信号Ｓ２に基づいて物品１２を検査する検査処理部７０とを備える。よって、複数バンドのマルチスペクトル画像を用いて被写体を検査できる検査装置１１を簡単な構成で提供できる。

【0084】

（５）画素単位で複数の異なる透過率特性をもつカラーフィルタ３４を有するイメージセンサ３３を用いたマルチスペクトル画像撮像方法である。可視光波長領域ＶＡ内で１領域または複数領域の遮断領域を有するとともに非可視光波長領域ＩＶＡ内で１領域または複数領域の透過領域を有する分光透過率特性をもつ光学フィルタ３１が、イメージセンサ３３と被写体との間の光路上に配置される。この方法は、イメージセンサ３３が光学フィルタ３１を通して物品１２を撮像する撮像ステップと、変換ステップとを備える。変換ステップでは、イメージセンサ３３から出力される第１撮像信号Ｓ１をカラーフィルタ３４の色ごとの撮像信号に分離し、分離された撮像信号間でマトリックス演算を行い、カラーフィルタ３４とは異なる撮像特性をもつ複数バンドの第２撮像信号Ｓ２に変換する。複数バンドの第２撮像信号Ｓ２のうち少なくとも１バンドが、非可視光波長領域ＩＶＡに感度をもつ。この方法によれば、マルチスペクトル画像撮像装置１５と同様の効果が得られる。

【0085】

（第２実施形態）
次に、図１６～図１９を参照して、第２実施形態について説明する。この第２実施形態では、１つの被写体に対して１フレームごとに光学フィルタ３１を切り替えて２フレームの撮像を行う点が、第１実施形態と異なる。１フレームにつき３ハンドの第２撮像信号Ｓ２を取得することにより、６バンドのマルチスペクトル画像を取得する。なお、検査装置１１は、その他の構成については、基本的に第１実施形態と同様の構成を有する。

【0086】

図１６、図１７に示すように、マルチスペクトル画像撮像装置１５は、光学フィルタ３１を切り替える切替部の一例としてのフィルタ切替部３６を備える。フィルタ切替部３６には、複数の光学フィルタ３１がセットされている。フィルタ切替部３６は、セットされた複数の光学フィルタ３１のうちイメージセンサ３３と被写体である物品１２との間に配置される１つを切り替える。図１では、切替対象の光学フィルタ３１が第１光学フィルタ３１１と第２光学フィルタ３１２との２つの例を示すが、２つに限定されず複数であればよい。例えば、切替対象の光学フィルタ３１は３つ、４つ、５つでもよい。フィルタ切替部３６には、切替対象の光学フィルタ３１として、光学フィルタＦ１～Ｆ４（図４（ａ）、図６（ａ）、図８（ａ）、図１０（ａ））のうち分光透過率特性の異なる複数が切替可能にセットされる。なお、１つの光学フィルタ３１は、１枚又は複数枚の光学フィルタ３１Ａ，３１Ｂ（図３参照）により構成されてもよい。

【0087】

図１７に示すように、制御部５０は、フィルタ切替部３６を制御するフィルタ選択制御部５３を備える。撮像制御部５２は、フィルタ切替部３６に切替指令信号ＦＳを出力する。フィルタ切替部３６は、切替指令信号ＦＳを入力すると、フィルタ切替部３６を切替制御し、指示された光学フィルタ３１をイメージセンサ３３と被写体との間の光路上の位置に配置する。

【0088】

図１８に示すように、撮像制御部５２は、１つの被写体を複数フレームで撮像する。例えば、撮像制御部５２は、１つの被写体に対して、第１フレームの撮像と第２フレームの撮像とを行う。撮像制御部５２は、１フレームの撮像を終える度に、フィルタ選択制御部５３に切替指令信号ＦＳを出力する。フィルタ選択制御部５３は、切替指令信号ＦＳを入力すると、フィルタ切替部３６を駆動させて第１光学フィルタ３１１から第２光学フィルタ３１２に切り替える。この結果、被写体とイメージセンサ３３との間の光路上に第２光学フィルタ３１２が配置される。撮像制御部５２は、イメージセンサ３３に第２フレームの撮像を行わせる。

【0089】

撮像時には、発光制御部５１が、第１光源２１と、第２光源２２、第３光源２３及び第４光源２４とを時分割で発光させる。これにより、必要な照明を電源２５の許容最大電流値を超過しないように時分割に配分する。図１８に示すように、例えば、第１フレームの撮像過程で、第１光源２１、第２光源２２及び第３光源２３を時分割で発光させる。この結果、可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡに発光スペクトルをもつ照明光が被写体である物品１２に照射される。また、第２フレームの撮像過程で、第１光源２１、第３光源２３及び第４光源２４を時分割で発光させる。この結果、可視光波長領域ＶＡ及び非可視光波長領域ＩＶＡに発光スペクトルをもつ照明光が被写体である物品１２に照射される。

【0090】

イメージセンサ３３は、第１フレームで撮像された第１撮像信号Ｓ１と、第２フレームで撮像された第１撮像信号Ｓ１を変換部６０に順次出力する。変換部６０内では、ＲＧＢ分離部６１が第１撮像信号Ｓ１をＲＧＢ分離し、ＸＹＺ変換部６２がマトリックス演算を行い、ホワイトバランス部６３が増幅率を乗算する処理などを行うことで、３バンドの第２撮像信号Ｓ２に変換する。第１フレームの撮像に基づく第２撮像信号Ｓ２は、例えば、図１９（ａ）に示すＸ１，Ｙ１，Ｚ１で表される３バンドの信号である。また、第２フレームの撮像に基づく第２撮像信号Ｓ２は、例えば、図１９（ｂ）に示すＸ２，Ｙ２，Ｚ２で表される３バンドの信号である。変換部６０は、３バンドずつの２種類の第２撮像信号Ｓ２を基に、図１９（ｃ）に示す６バンドの第２撮像信号Ｓ２として出力する。変換部６０は、６バンドの第２撮像信号Ｓ２に基づく６バンドのＸＹＺ疑似カラー画像を検査処理部７０に出力する。第２撮像信号Ｓ２のバンド数「６」は、光学フィルタ３１にカラーフィルタ３４の色数「３」よりも多い。つまり、本実施形態のマルチスペクトル画像撮像装置１５は、第１実施形態よりも、バンド数の多い第２撮像信号Ｓ２を取得できる。

【0091】

検査処理部７０は、６バンドのうち検査のうえで識別しやすい２バンドを選択して検査処理を行う。検査処理に用いるバンド数は、２バンドに限らず、３バンド、４バンド、５バンド、６バンドでもよい。２バンドの場合、検査処理部７０は、２バンドの差分に基づいて物品１２の良否を判定したり、最大のバンドと最小のバンドとの差分に基づいて物品１２の良否を判定したりする。また、４バンドの場合、検査処理部７０は、４バンドのうち、２つのバンドの和と、他の２つのバンドの和との比較又は差分に基づいて物品１２の良否を判定する。検査処理部７０は、６バンドのうち１バンドのみを用いて検査処理を行ってもよく、検査処理内容は他の適宜な方法を採用してもよい。

【0092】

第２実施形態によれば、前記第１実施形態と同様の効果に加え、以下の効果を得ることができる。
（６）互いに異なる分光透過率特性をもつ複数の光学フィルタ３１と、複数の光学フィルタ３１のうち光路上に配置される１つの光学フィルタ３１を切り替えるフィルタ切替部３６と、イメージセンサ３３及びフィルタ切替部３６を制御する制御部５０とを備える。制御部５０は、フィルタ切替部３６を制御して光路上に配置される１つの光学フィルタ３１を時分割で順次切り替えるとともに、イメージセンサ３３に時分割で被写体である物品１２を撮像させることにより、イメージセンサ３３が複数の時分割画像ごとに第１撮像信号Ｓ１を出力する。変換部６０は、複数の時分割画像ごとに、イメージセンサ３３から出力される第１撮像信号Ｓ１をカラーフィルタ３４の色毎の撮像信号に分離し、分離された撮像信号間でマトリックス演算を行うことにより、カラーフィルタ３４とは異なる撮像特性をもつ複数バンドの第２撮像信号Ｓ２に変換する。第２撮像信号Ｓ２のバンド数は、カラーフィルタ３４の色数よりも多い。よって、光学フィルタ３１が切り替えられることで、イメージセンサ３３は光学フィルタ３１ごとに時分割で被写体である物品１２を撮像するので、カラーフィルタ３４の色数より多いバンド数のマルチスペクトル画像を取得できる。例えば、検査精度を高めたり、検査できる被写体の種類が多くしたりすることができる。

【0093】

実施形態は、上記に限定されず、以下の態様に変更してもよい。
・図２０に示すように、カメラ３０による被写体の撮像を広ダイナミックレンジ処理で行ってもよい。カメラ３０で撮像するときに、被写体の明るさに合わせると、背景が飽和して真っ白になる。一方、背景の明るさに合わせると、被写体が真っ黒になる。そこで、図２０に示すように、１つの被写体に対して１つの光学フィルタ３１で照明の明るさを変えて２フレームで撮像を行う。第１フレームで第１光源２１、第２光源２２及び第３光源２３を時分割で発光させて照明を第１光強度で明るく設定し、被写体に合わせて撮像する。次に第２フレームで第１光源２１、第２光源２２、第３光源２３及び第４光源２４を時分割で発光させて第１光強度よりも弱い第２光強度で照明を暗くして背景を撮像する。なお、検査では、被写体である物品１２の一部が照明部２０からの直接の反射光により飽和してテカリが発生する場合がある。このテカリを防ぐための手段として広ダイナミック撮像を適用してもよい。

【0094】

・可視光波長領域と近赤外光波長領域とに透過領域を有する光学フィルタ３１を用いた場合、複数バンドの第２撮像信号Ｓ２のうち少なくとも１つのバンドが、近赤外光波長領域にあればよい。例えば、他のバンドが、可視光波長領域に限らず、中赤外光波長領域、遠赤外光波長領域、紫外光波長領域に感度をもってもよい。

【0095】

・複数バンドのピークがある波長領域が、近赤外光波長領域にない構成でもよい。複数バンドのピークがある波長領域が、中赤外光波長領域、遠赤外光波長領域、及び紫外光波長領域のうちいずれかである構成でもよい。

【0096】

・照明部２０を構成する第１光源２１、第２光源２２、第３光源２３及び第４光源２４を時分割で発光させる構成ではなく、一斉に発光させてもよい。
・カメラ３０を用いて光学フィルタ３１を通してイメージセンサ３３で撮像した第１撮像信号に基づく画像データ（例えばＲＧＢ画像データ）をＵＳＢメモリ等のリムーバブルメモリに保存する。そのリムーバブルメモリに保存された画像データをパーソナルコンピュータに読み取らせ、パーソナルコンピュータのＣＰＵ（変換部６０）がマトリックス演算を含む変換処理を行って複数バンドのマルチスペクトル画像を生成してもよい。つまり、撮像ステップを行う装置と、変換ステップを行う装置とが、別々の装置であってもよい。このようなマルチスペクトル画像撮像方法によっても、複数バンドのマルチスペクトル画像を取得できる。

【0097】

・増幅率及びパラメータのうち少なくとも一方を、検査処理部７０が算出する構成でもよいし、予め他のコンピュータで算出した値をマルチスペクトル画像撮像装置１５のメモリに書き込む構成でもよい。

【0098】

・イメージセンサ３３を構成するカラーフィルタ３４の色数は３色又は４色に限定されず、５色、６色、７色、８色でもよい。このうち少なくとも１色が可視光を透過せず非可視光を透過するフィルタであってもよい。例えば、近赤外光を透過するＮＩＲフィルタを含むカラーフィルタを備えたイメージセンサ３３であってもよい。

【0099】

・撮像対象又は検査対象とされる被写体の一例である物品１２は特に限定されない。物品１２は、例えば、ペットボトルや壜等の容器、食品、飲料物、電子部品、電化製品、日常用品、部品、部材、粉粒体又は液状等の原料などでもよい。物品１２はマルチスペクトル画像により良否を検査できるものであれば足りる。

【0100】

・被写体とされる物品１２は、近赤外領域などの非可視光波長領域ＩＶＡに少なくとも１つのバンドをもつ複数バンドのマルチスペクトル画像を用いて、可視光のみの下で撮像した画像では検査が困難な検査対象を検査できる物品であればよい。物品１２は、例えば、液体入りの容器や、果物や野菜などの食材、花等の植物、植物性又は動物性の半加工食品あるいは加工食品、生物などでもよい。

【0101】

・撮像対象又は検査対象は、物品１２に限らず、建物の写真、航空撮影の地形写真、空の写真、天体写真、顕微鏡写真などを検査対象としてもよい。
・第２実施形態のマルチスペクトル画像撮像装置１５を使用し、図１３に示すマルチスペクトル画像撮像制御を行ってもよいし、図２０に示すマルチスペクトル画像撮像制御を行ってもよい。

【0102】

・マルチスペクトル画像撮像装置１５は、検査処理部７０とは別の装置として構成してもよい。マルチスペクトル画像撮像装置１５を検査以外の用途で使用してもよい。
・イメージセンサ３３を構成するカラーフィルタの配列パターンは、ＲＧＢベイヤ配列に限らず、ストライプ配列など任意の配列パターンでもよい。

【0103】

・制御部５０、変換部６０及び検査処理部７０のうち少なくとも１つは、一部又は全部が、プログラムを実行するコンピュータよりなるソフトウェアにより構成されてもよいし、電子回路等のハードウェアにより構成されてもよい。

【0104】

（定義）
「少なくとも１バンドが、非可視光波長領域に感度をもつ」とは、少なくとも１バンドについては感度のピークが非可視光波長領域ＩＶＡにあることをいう。換言すれば、少なくとも１バンドについては感度のピークが、可視光波長よりも波長が長い領域と、可視光波長よりも波長が短い領域とのうち少なくとも一方の領域にあることをいう。ここで、「可視光波長よりも波長が長い領域」とは、近赤外光波長領域、中赤外光波長領域及び遠赤外光波長領域のうち少なくとも一方の領域を指す。また、「可視光波長よりも波長が短い領域」とは、紫外光波長領域を指す。

【符号の説明】

【0105】

１０…検査システム、１１…検査装置、１２…被写体の一例としての物品、１３…搬送装置、１５…マルチスペクトル画像撮像装置、１６…コンベヤ、１７…センサ、２０…照明部、２１…第１光源、２２…第２光源、２３…第３光源、２４…第４光源、２５…電源、３０…カメラ、３０ａ…鏡筒、３１，Ｆ１～Ｆ４…光学フィルタ、３１Ａ，３２Ｂ…光学フィルタ、３１１…第１光学フィルタ、３１２…第２光学フィルタ、３２…レンズ、３３…カラーイメージセンサ（イメージセンサ）、３３Ｒ…Ｒ受光素子、３３Ｇ…Ｇ受光素子、３３Ｂ…Ｂ受光素子、３４…カラーフィルタ、３４Ｒ…カラーフィルタの一例を構成するＲフィルタ、３４Ｇ…カラーフィルタの一例を構成するＧフィルタ、３４Ｂ…カラーフィルタの一例を構成するＢフィルタ、３６…切替部の一例であるフィルタ切替部、４０…制御処理部、４１…表示部、５０…制御部、５１…発光制御部、５２…撮像制御部、５３…フィルタ選択制御部、６０…変換部、６１…ＲＧＢ分離部、６２…ＸＹＺ変換部、６３…ホワイトバランス部、６４…高輝度色抑圧部、７０…検査処理部、７１…特定領域検出処理部、７２…判定処理部、Ｓ１…第１撮像信号、Ｓ２…第２撮像信号、ＶＡ…可視光波長領域、ＩＶＡ…非可視光波長領域、Ｇｘ，Ｇｙ，Ｇｚ…増幅率、ＬＳ…発光指令信号、ＩＳ…撮像指令信号、ＳＩ…基準画像、ＥＡ…特定領域、ＯＡ…非特定領域、ＦＳ…切替指令信号。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】