特許 7544358 撮像装置、検査装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】撮像装置、検査装置及び撮像方法

(51)【国際特許分類】

   H04N 23/56 20230101AFI20240827BHJP

   G01N 21/90 20060101ALI20240827BHJP

   G03B 11/00 20210101ALI20240827BHJP

   G03B 15/00 20210101ALI20240827BHJP

   H04N 23/55 20230101ALI20240827BHJP

   H04N 23/60 20230101ALI20240827BHJP

   H04N 23/12 20230101ALI20240827BHJP

   H04N 23/11 20230101ALI20240827BHJP

【ＦＩ】

H04N23/56

G01N21/90 A

G03B11/00

G03B15/00 T

H04N23/55

H04N23/60 500

H04N23/12

H04N23/11

【請求項の数】 8

(21)【出願番号】P 2020093584

(22)【出願日】2020-05-28

(65)【公開番号】P2021190802

(43)【公開日】2021-12-13

【審査請求日】2023-05-10

(73)【特許権者】

【識別番号】000128131

【氏名又は名称】株式会社エヌテック

(73)【特許権者】

【識別番号】000006884

【氏名又は名称】株式会社ヤクルト本社

(73)【特許権者】

【識別番号】593205831

【氏名又は名称】東邦商事株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】渡邊 透

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０１０－０４３９７９（ＪＰ，Ａ）

【文献】特開２０１１－０３３６４１（ＪＰ，Ａ）

【文献】特開２００５－１１９７０６（ＪＰ，Ａ）

【文献】特開２００９－０３９５１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５６

Ｇ０１Ｎ ２１／９０

Ｇ０３Ｂ １１／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

分光透過率特性の異なるＮバンド（但しＮは３以上の自然数）の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラと、
前記イメージセンサと被写体との間の光路上に配置されるフィルタと、
前記被写体に可視光領域に発光スペクトルを有した白色光を照射する白色光源と、
前記被写体に近赤外光領域に発光スペクトルを有し、かつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源と、
前記イメージセンサにより撮像された画像信号を前記Ｎバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号とを生成する変換部と
を備え、
前記イメージセンサは、可視光領域と近赤外領域とに感度をもつ複数の受光素子を有し、
前記フィルタは、複数の前記受光素子のうち一部の前記受光素子が近赤外領域に感度ピークを有するように、可視光領域における特定波長以下の光を遮断する遮断領域を有し、
前記変換部は、
前記イメージセンサにより撮像された画像信号をＲ信号、Ｇ信号、及び、Ｂ信号に分離し、
前記Ｂ信号のうち近赤外領域の成分を残すように、且つ、前記Ｂ信号のうち可視光領域の成分、前記Ｒ信号の成分、及び、前記Ｇ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、近赤外領域に分光感度をもつＸ信号を生成し、
前記Ｇ信号のうち可視光領域の成分を残すように、且つ、前記Ｇ信号のうち近赤外領域の成分、前記Ｒ信号の成分、及び、前記Ｂ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＹ信号を生成し、
前記Ｒ信号のうち可視光領域の成分を残すように、且つ、前記Ｒ信号のうち近赤外領域の成分、前記Ｇ信号の成分、及び、前記Ｂ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＺ信号を生成することを特徴とする撮像装置。

【請求項2】

前記カメラは、赤外光カットフィルタを除去した汎用カラーカメラであることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記Ｐバンドと前記Ｑバンドのうち複数バンドである少なくとも一方の画像信号については当該複数バンドの画像信号を基に疑似色によるカラー画像信号を生成することを特徴とする請求項１又は請求項２に記載の撮像装置。

【請求項4】

前記被写体において前記カメラに対向する側の面を正面、当該正面と反対側の面を背面とすると、
前記白色光源は前記被写体の正面を白色光で照明し、前記近赤外光源は前記被写体の背面から近赤外光を照射し、
前記カメラは、前記白色光が前記被写体の表面で反射した反射光と、前記被写体を透過した近赤外光とを受光することを特徴とする請求項１～請求項３のいずれか一項に記載の撮像装置。

【請求項5】

前記近赤外光源と前記被写体との間には、前記被写体の背景となる面を表面とする光学フィルタ部材を配置し、
前記光学フィルタ部材は、前記白色光源から前記表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、前記表面と反対側の面である裏面に前記近赤外光源から照射された近赤外を透過することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記白色光源と前記近赤外光源は、前記被写体における前記カメラと対向する側の面である正面に前記白色光と前記近赤外光とを照射する１つの光源により構成され、
前記光源は、白色光を照射する複数の発光部と近赤外光を照射する複数の発光部とが混在する配列で構成されることを特徴とする請求項１～請求項３のいずれか一項に記載の撮像装置。

【請求項7】

請求項１～請求項６のいずれか一項に記載の撮像装置と、
前記撮像装置が出力する可視光領域に分光感度をもつＰバンドの前記第１画像信号と、近赤外領域に分光感度をもつＱバンドの前記第２画像信号とに基づいて前記被写体を検査する検査処理部とを備えることを特徴とする検査装置。

【請求項8】

被写体をカメラで撮像して画像信号を生成する撮像方法であって、
白色光源が可視光領域に発光スペクトルを有した白色光を前記被写体に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を前記被写体に照射する光照射ステップと、
分光透過率特性の異なったＮバンド（但しＮは３以上の自然数）の分光光学フィルタを有するとともに、可視光領域と近赤外領域とに感度をもつ複数の受光素子を有するイメージセンサを備えるカメラが、前記イメージセンサと前記被写体との間の光路上に配置され、複数の前記受光素子のうち一部の前記受光素子が近赤外領域に感度ピークを有するように可視光領域における特定波長以下の光を遮断する遮断領域を有するフィルタを介して前記被写体を撮像する撮像ステップと、
前記イメージセンサにより撮像された画像信号を前記Ｎバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号とを生成する変換ステップとを備え、
前記変換ステップにおいて、
前記イメージセンサにより撮像された画像信号をＲ信号、Ｇ信号、及び、Ｂ信号に分離し、
前記Ｂ信号のうち近赤外領域の成分を残すように、且つ、前記Ｂ信号のうち可視光領域の成分、前記Ｒ信号の成分、及び、前記Ｇ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、近赤外領域に分光感度をもつＸ信号を生成し、
前記Ｇ信号のうち可視光領域の成分を残すように、且つ、前記Ｇ信号のうち近赤外領域の成分、前記Ｒ信号の成分、及び、前記Ｂ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＹ信号を生成し、
前記Ｒ信号のうち可視光領域の成分を残すように、且つ、前記Ｒ信号のうち近赤外領域の成分、前記Ｇ信号の成分、及び、前記Ｂ信号の成分を打ち消すように決定されたマトリックス係数を用いて、前記Ｒ信号、前記Ｇ信号、及び、前記Ｂ信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＺ信号を生成することを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を撮像する撮像装置、検査装置及び撮像方法に関する。

【背景技術】

【0002】

例えば、特許文献１～３には、可視光と近赤外光との両方を撮像できる撮像素子またはカメラモジュールが開示されている。例えば、特許文献１には、レンズの前面にＩＲカット特性を持ちかつ絞りを兼ね備えた構造のフィルタ部を配置した構造を有するカメラモジュールが開示されている。また、特許文献２には、読み取り対象書類のカラー画像を検出するための画素センサと不可視情報として記録された近赤外光を検出するための画素センサを同一基板上に形成した固体撮像装置が開示されている。

【0003】

特許文献３には、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する撮像装置が開示されている。撮像装置は、撮影レンズにより赤外光を含む被写体を表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部に取り込み、撮像信号処理部によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理を行なう。撮像部は、可視光用の３つのフィルタと近赤外光用の１つのフィルタを含む色フィルタ群と、可視光を検知する３つの画素と近赤外光を検知する１つの画素とを含む固体撮像素子とを有する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１８２２７０号公報

【文献】特開平１０－６５１３５号公報

【文献】特開２００７－５３７３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する装置では、可視光画像と近赤外画像とを撮像可能な特殊な撮像素子や特殊なカメラを用いる必要があるという課題がある。また、被写体の画像認識・検査において、可視光でのカラー画像と近赤外での白黒画像での画像処理が必要となった場合、通常、カラーカメラと白色照明と近赤外白黒カメラと近赤外照明の２セットの撮像システムが必要となる。また、上記２台カメラ構成の場合、各カメラから得られる画像は、被写体の位置が異なっているため、２台のカメラからの画像を共有して処理を行うためには、位置・画角補正などの処理が必要となる。なお、特許文献１～３に記載された、可視光と近赤外撮像ができる特殊撮像素子（特殊イメージセンサ）、特殊カメラでは、高価なうえ仕様選定の自由度が極めて少ない。

【0006】

本発明の目的は、被写体を同じ画角で撮像した可視光画像と近赤外画像とを簡単な構成で取得できる撮像装置及び撮像方法を提供することにある。また、本発明の目的は、撮像装置により取得された可視光画像と近赤外画像を基に被写体を検査する検査装置を提供することにある。

【課題を解決するための手段】

【0007】

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する撮像装置は、分光透過率特性の異なるＮバンド（但しＮは３以上の自然数）の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラと、前記イメージセンサと被写体との間の光路上に配置される光学バンドパスフィルタと、前記被写体に可視光領域に発光スペクトルを有した白色光を照射する白色光源と、前記被写体に近赤外光領域に発光スペクトルを有し、かつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源と、前記イメージセンサにより撮像された画像信号を前記Ｎバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号とを生成する変換部とを備える。

【0008】

この構成によれば、被写体を同じ画角で撮像した可視光画像と近赤外画像とを簡単な構成で取得できる。
上記撮像装置において、前記カメラは、赤外光カットフィルタを除去した汎用カラーカメラであってもよい。

【0009】

この構成によれば、カメラは汎用カラーカメラを利用するので、撮像装置の構成が簡単な構成で済む。
上記撮像装置において、前記Ｐバンドと前記Ｑバンドのうち複数バンドである少なくとも一方の画像信号については当該複数バンドの画像信号を基に疑似色によるカラー画像信号を生成してもよい。

【0010】

この構成によれば、複数バンドの画像信号については疑似色によるカラー画像で表示できるので、例えば、検査員が画像を見て行う検査や検査結果の確認がし易い。
上記撮像装置において、前記被写体において前記カメラに対向する側の面を正面、当該正面と反対側の面を背面とすると、前記白色光源は前記被写体の正面を白色光で照明し、前記近赤外光源は前記被写体の背面から近赤外光を照射し、前記カメラは、前記白色光が前記被写体の表面で反射した反射光と、前記被写体を透過した近赤外光とを受光してもよい。

【0011】

この構成によれば、撮像装置により、被写体の表面の画像と、近赤外光によって被写体を透過した透過光画像とを取得することができる。
上記撮像装置において、前記近赤外光源と前記被写体との間には、前記被写体の背景となる面を表面とする光学フィルタ部材を配置し、前記光学フィルタ部材は、前記白色光源から前記表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、前記表面と反対側の面である裏面に前記近赤外光源から照射された近赤外を透過してもよい。

【0012】

この構成によれば、被写体が撮像されるときの背景色を選択できるので、検査等に適した可視光画像と近赤外画像とを提供できる。
上記撮像装置において、前記白色光源と前記近赤外光源は、前記被写体における前記カメラと対向する側の面である正面に前記白色光と前記近赤外光とを照射する１つの光源により構成され、前記光源は、白色光を照射する複数の発光部と近赤外光を照射する複数の発光部とが混在する配列で構成されてもよい。

【0013】

この構成によれば、被写体の正面を撮像した可視光画像と近赤外画像とを取得できる。
上記課題を解決する検査装置は、上記撮像装置と、前記撮像装置が出力する可視光領域に分光感度をもつＰバンドの前記第１画像信号と、近赤外領域に分光感度をもつＱバンドの前記第２画像信号とに基づいて前記被写体を検査する検査処理部とを備える。

【0014】

この構成によれば、可視光画像と近赤外画像とで被写体を検査できるので、可視光検査だけでは得られない被写体の検査を行うことができる。
上記課題を解決する撮像方法は、被写体をカメラで撮像して画像信号を生成する撮像方法であって、白色光源が可視光領域に発光スペクトルを有した白色光を前記被写体に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ前記白色光源の発光スペクトル領域において発光スペクトルを持たない近赤外光を前記被写体に照射する光照射ステップと、分光透過率特性の異なったＮバンド（但しＮは３以上の自然数）の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサを備えるカメラが、前記イメージセンサと前記被写体との間の光路上に配置される光学バンドパスフィルタを介して前記被写体を撮像する撮像ステップと、前記イメージセンサにより撮像された画像信号を前記Ｎバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号とを生成する変換ステップとを備える。この方法によれば、上記撮像装置と同様の作用効果が得られる。

【発明の効果】

【0015】

本発明によれば、被写体を同じ画角で撮像した可視光画像と近赤外画像とを簡単な構成で取得できる。

【図面の簡単な説明】

【0016】

【図1】一実施形態における検査装置を備えた検査システムを示す模式図。

【図2】撮像装置の第１の構成を示す模式図。

【図3】撮像装置の第２の構成を示す模式図。

【図4】（ａ）は汎用のカラーカメラの構成図及び波長と相対感度との関係を示すグラフ、（ｂ）はＩＲカットフィルタを外したカラーカメラの構成図及び波長と相対感度との関係を示すグラフ。

【図5】第１実施例におけるカメラの構成図、及び波長と相対感度との関係を示すグラフ。

【図6】（ａ）は光学バンドパスフィルタＦ１の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図7】イメージセンサの色ごとの第１撮像信号に対してマトリックス演算を行って得られる第２撮像信号のバンドごとの相対感度を示すグラフ。

【図8】（ａ）は白色光源と近赤外光源を合わせた発光スペクトルを示すグラフ、（ｂ）は光学バンドパスフィルタを介したイメージセンサの色ごとの相対感度を示すグラフ。

【図9】（ａ）は白色光源と近赤外光源を光源とするイメージセンサの色ごとの相対感度を示すグラフ、（ｂ）は第２撮像信号のバンドごとの相対感度を示すグラフ。

【図10】第２実施例におけるカメラの構成図、及び波長と相対感度との関係を示すグラフ。

【図11】（ａ）は光学バンドパスフィルタＦ２の光透過率特性を示すグラフ、（ｂ）はイメージセンサの色ごとの相対感度を示すグラフ。

【図12】イメージセンサの色ごとの第１撮像信号に対してマトリックス演算を行って得られる第２撮像信号のバンドごとの相対感度を示すグラフ。

【図13】（ａ）は白色光源と近赤外光源を合わせた発光スペクトルを示すグラフ、（ｂ）は光学バンドパスフィルタを介したイメージセンサの色ごとの相対感度を示すグラフ。

【図14】（ａ）は白色光源と近赤外光源を光源とするイメージセンサの色ごとの相対感度を示すグラフ、（ｂ）は第２撮像信号のバンドごとの相対感度を示すグラフ。

【図15】検査装置の機能的構成を示すブロック図。

【図16】（ａ）は２チャンネル疑似カラー画像、（ｂ）は近赤外画像を示す図。

【図17】変更例における撮像装置の構成を示す模式図。

【図18】（ａ），（ｂ）は変更例における第２撮像信号のバンドごとの相対感度を示すグラフ。

【発明を実施するための形態】

【0017】

以下、撮像装置を備えた検査システムについて、図面を参照して説明する。
図１に示す検査システム１０は、被写体である物品１２を撮像した画像を用いて物品１２の良否を検査する。検査システム１０は、物品１２が搬送される搬送装置１３と、搬送装置１３により搬送される物品１２を、カメラ３０で撮像した撮像結果に基づいて物品１２の良否を検査する検査装置１１とを備える。検査装置１１は、複数バンドのマルチスペクトル画像を生成する撮像装置１５と、マルチスペクトル画像を用いて検査する検査処理部７０とを備える。撮像装置１５は、搬送装置１３に搬送される被写体の一例である物品１２を撮像するカメラ３０と、カメラ３０と電気的に接続された制御処理部４０とを備える。制御処理部４０は、少なくとも一部が、コンピュータにより構成される。コンピュータは、入力装置と表示部とを備える。本実施形態では、搬送装置１３は、検査装置１１の制御系と通信可能に接続されている搬送系の制御部により駆動される。なお、制御処理部４０が、搬送装置１３を制御してもよい。

【0018】

図１に示すように、搬送装置１３は、被写体の一例である物品１２を搬送するためのコンベヤ１６と、コンベヤ１６に載置されて搬送される物品１２を検知するセンサ１７と、検査装置１１の検査結果から不良品と判定された場合に良品の流れるラインから物品１２を排除する排出装置（図示略）とを備える。コンベヤ１６は、物品１２を搬送できれば、ベルトコンベヤ、ローラコンベヤ等でもよいし、物品１２を把持して搬送したり、物品１２を吊下する状態で搬送したりするものでもよい。排出装置は、物品１２を押し出して排除する構成、又はエアの力で物品１２を吹き飛ばして排除する構成でもよい。

【0019】

検査装置１１は、複数バンドのマルチスペクトル画像を生成する撮像装置１５と、複数バンドのマルチスペクトル画像を用いて物品１２の良否を検査する検査処理部７０と、マルチスペクトル画像及び検査結果を表示する表示部４１とを備える。検査装置１１は、撮像装置１５が検査対象の被写体である物品１２を撮像したときに出力した複数バンドの第２撮像信号Ｓ２を信号処理した画像に基づいて物品１２を検査する。表示部４１は、コンピュータに接続されたモニタでもよいし、操作盤に設けられたディスプレイでもよい。

【0020】

撮像装置１５は、物品１２に可視光領域に発光スペクトルを有する白色光を照射する白色光源２０と、物品１２に近赤外光領域に発光スペクトルを有する近赤外光を照射する近赤外光源２５と、被写体である物品１２を撮像するカメラ３０と、制御処理部４０とを備える。制御処理部４０は、白色光源２０、近赤外光源２５及びカメラ３０を制御する制御部５０と、カメラ３０が撮像した撮像画像を複数バンドのマルチスペクトル画像に変換する変換部６０と、変換部６０からの第２撮像信号Ｓ２に対して信号処理を行う信号処理部６５とを備える。変換部６０は、カメラ３０が撮像して得た第１撮像信号Ｓ１を、複数バンドのマルチスペクトル画像を表す第２撮像信号Ｓ２に変換する。本例では、第２撮像信号Ｓ２は、３バンドのマルチスペクトル画像を含む。信号処理部６５は、第２撮像信号Ｓ２のうち２バンドについては疑似色で表現される第１画像信号ＩＳ１に変換し、１バンドについては輝度が調整された第２画像信号ＩＳ２に変換する。

【0021】

検査処理部７０は、撮像装置１５を構成する変換部６０及び信号処理部６５が生成した２バンドの第１画像信号ＩＳ１と１バンドの第２画像信号ＩＳ２を用いて物品１２の良否を検査し、検査に用いられた２バンドの第１画像ＩＳ１及び１バンドの第２画像ＩＳ２と検査結果とを表示部４１に表示する。この場合、第１画像ＩＳ１及び第２画像ＩＳ２には、検査結果の強調表示などが重畳表示されてもよい。また、撮像装置１５は、変換部６０及び信号処理部６５が生成した２バンドの第１画像ＩＳ１及び１バンドの第２画像ＩＳ２を撮像結果として表示部４１に表示してもよい。

【0022】

図１～図３に示すように、カメラ３０は、光学バンドパスフィルタ３１と、レンズ３２と、カラーイメージセンサ３３（以下、単に「イメージセンサ３３」という。）とを備える。光学バンドパスフィルタ３１は被写体である物品１２と、イメージセンサ３３との間の光路上に配置されている。図１に示す例では、光学バンドパスフィルタ３１は、被写体である物品１２とレンズ３２との間に配置されているが、レンズ３２とイメージセンサ３３との間に配置されてもよい。

【0023】

イメージセンサ３３は、被写体である物品１２の像を光学バンドパスフィルタ３１及びレンズ３２を通して受光し、その受光結果に応じた第１撮像信号Ｓ１を出力する。イメージセンサ３３が出力する第１撮像信号Ｓ１は、変換部６０に入力される。変換部６０は、第１撮像信号Ｓ１を複数バンドのマルチスペクトル画像を表す第２撮像信号Ｓ２に変換する。

【0024】

変換部６０は、イメージセンサ３３により撮像された画像信号をＮバンド（但しＮは３以上の自然数）の信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号とを生成する。

【0025】

信号処理部６５は、Ｎバンド（但しＮは３以上の自然数）のマルチスペクトル画像を表す第２撮像信号Ｓ２のうちＭバンド（但しＭはＮ未満かつ２以上の自然数）については疑似色で表現される第１画像信号ＩＳ１に変換する。また、信号処理部６５は、第２撮像信号Ｓ２のうち残りのバンド数が１バンドであれば輝度を調整し、残りのバンド数が２バンド以上であれば疑似色で表現される処理を行う。これにより、信号処理部６５は、第２撮像信号Ｓ２を、第１画像信号ＩＳ１及び第２画像信号ＩＳ２に変換する。本実施形態では、Ｎバンドは３バンドなので、信号処理部６５は、残りの１バンドについては輝度を調整することで、第２画像信号ＩＳ２に変換する。

【0026】

図１に示す検査処理部７０は、変換部６０及び信号処理部６５が変換した第１画像信号ＩＳ１と第２画像信号ＩＳ２とを用いて被写体である物品１２の良否を検査する。本例では、第１画像信号ＩＳ１は２チャンネルの可視光画像であり、第２画像信号ＩＳ２は近赤外画像である。検査処理部７０は、１つの物品１２に対して１つのカメラ３０で同時に撮像された２チャンネルの可視光画像と近赤外画像とを用いて物品１２を検査する。２チャンネルの可視光画像と近赤外画像は、１つのカメラ３０で同時に撮像するため、撮像タイミング及び画角も同じである。

【0027】

本実施形態の撮像装置１５では、可視光撮像と近赤外撮像を同時に実施するために、白色光源２０と近赤外光源２５との２種類の光源を用意している。２種類の光源２０，２５に関する光源特性条件として、次の３つの条件を満たす。すなわち、（ａ）二つの光源２０，２５のそれぞれの発光特性が重なっていないこと、（ｂ）一つの光源は、可視光領域に発光特性をもつこと、（ｃ）他の一つの光源は、近赤外光領域に発光特性をもつこと、である。なお、白色光源２０は白色ＬＥＤよりなるので、白色光源２０から照射される白色光は、近赤外光を含まない。

【0028】

図１に示す白色光源２０は、可視光領域に発光スペクトルを有する光源である。白色光源２０は、可視光波長領域ＶＡにおいて発光スペクトルが異なる複数の発光部２１～２３を備える。本例の白色光源２０は、第１発光部２１、第２発光部２２及び第３発光部２３を備える。白色光源２０は、発光スペクトルがそれぞれの異なる複数の発光部２１～２３を組み合わせて構成される。複数の発光部２１～２３は、例えばＬＥＤにより構成される。本例では、第１発光部２１、第２発光部２２及び第３発光部２３は、それぞれ赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤよりなる。つまり、白色光源２０は、赤色波長領域の発光スペクトルと、緑色波長領域の発光スペクトルと、青色波長領域の発光スペクトルとを有する白色光を照射する。制御部５０は、複数の発光部２１～２３を発光させることにより、被写体である物品１２に向かって白色光を照射させる。なお、白色光源２０は、単体の発光部であってもよい。

【0029】

近赤外光源２５は、近赤外波長領域ＮＩＲＡに発光スペクトルを有し、かつ白色光源２０の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する（図８参照）。図１に示す例では、近赤外光源２５は、第１発光部２６及び第２発光部２７を備える。近赤外光源２５は、近赤外波長領域ＮＩＲＡに異なる発光スペクトルをそれぞれ有する複数種の発光部２６，２７を組み合わせて構成される。複数種の発光部２６，２７は、例えばＬＥＤにより構成される。なお、近赤外光源２５は、近赤外光領域に発光スペクトルを有し、かつ白色光源２０の発光スペクトル領域に発光スペクトルを持たない一種類のＬＥＤで構成してもよい。

【0030】

白色光源２０と近赤外光源２５とを合わせた発光スペクトルＬＳ（図８参照）は、光学バンドパスフィルタ３１の透過波長域において複数のピークを有する。ここで、図６（ａ）に示すグラフが、光学バンドパスフィルタ３１（Ｆ１）の透過波長域を示す。また、図１１（ａ）に示すグラフが、光学バンドパスフィルタ３１（Ｆ２）の透過波長域を示す。図８（ａ）に示すグラフが、白色光源２０と近赤外光源２５とを合わせた発光スペクトルＬＳを示す。図８（ａ）に示すグラフから分かるように、白色光源２０と近赤外光源２５とを合わせた発光スペクトルＬＳは、約４３０～７２０ｎｍの可視光波長領域に一部重なる２つのピークを有し、約８８０～１０００ｎｍの近赤外波長領域に１つのピークを有する。また、図６（ａ）のグラフから分かるように、光学バンドパスフィルタＦ１の透過波長域は、約５１０～５７０ｎｍの可視光波長領域と、約６００～７２０ｎｍの可視光波長領域と、約８５０～１０００ｎｍ以上の近赤外波長領域にある。よって、白色光源２０と前記近赤外光源２５とを合わせた発光スペクトルＬＳは、光学バンドパスフィルタ３１の透過波長域のうち、約５１０～５７０ｎｍの可視光波長領域に白色光源２０の発光スペクトルのピークを有し、約８５０～１０００ｎｍ以上の範囲の透過波長域に近赤外光源２５の発光スペクトルのピークを有する。

【0031】

図１に示す撮像装置１５は、画素単位で分光透過率特性の異なるＮバンド（但し、Ｎは３以上の自然数）をもつ分光光学フィルタの一例としてのカラーフィルタ３４（図５参照）を有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサ３３を備える。カラーフィルタ３４は、複数の異なる透過率特性をもつＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂを画素単位で配置して構成される。

【0032】

変換部６０は、イメージセンサ３３により撮像された撮像信号Ｓ１をＮバンドの信号ごとに分離する。そして、変換部６０は、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号ＭＳ１と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号ＭＳ２とを生成する。

【0033】

撮像装置１５は、図２に示す第１構成と、図３に示す第２構成との一方を採用する。
図２に示すように、白色光源２０は、被写体である物品１２の表面を照射する。カメラ３０は、物品の正面に照射された白色光のうち反射された可視光を撮像する。また、近赤外光源２５は、カメラ３０に対して被写体である物品１２を挟んだ反対側の位置に配置されている。カメラ３０は、近赤外光源２５から物品１２の背面から照射された近赤外光が物品１２を透過した透過光を撮像する。つまり、カメラ３０は、物品の表面を可視光が反射した像である可視光画像と、物品１２を近赤外光が透過した像である近赤外画像（透過画像）とを撮像する。なお、近赤外光源２５の物品１２と対向する表面は、所定色の単色を呈しており、物品１２を撮像するときの背景色となる。

【0034】

図３に示すように、被写体である物品１２と近赤外光源２５との間に光学フィルタ部材２９が配置されている。近赤外光源２５の表面が、所定色の単色であっても、物品１２を撮像するときの背景色となるその単色の色を選択することはできない。そのため、物品１２と近赤外光源２５との間に、光学フィルタ部材２９を配置している。光学フィルタ部材２９の物品１２と対向する表面は、所望の背景色となる単色を呈している。このため、物品１２が背景から浮き出た検査に適した画像を撮像できる。

【0035】

光学フィルタ部材２９は、白色光源２０から表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、表面と反対側の面である裏面に対して近赤外光源２５から照射された近赤外を透過する。

【0036】

光学フィルタ部材２９は、裏面からの少なくとも赤外光は透過して、表面からの白色光源２０による照明光では、特定の波長の光を反射する特性を持つ光学フィルタ、あるいはフィルムよりなる。光学フィルタ部材２９は、例えば、可視光カット部材である。可視光カット部材よりなる光学フィルタ部材２９の具体的な構成としては、可視光カットフィルムのみの構成、可視光カットフィルム及びフィルムの構成などが挙げられる。

【0037】

光学フィルタ部材２９は、可視光の透過率は低くその反射率が９０～１００％の範囲にあり、赤外光の透過率が９０～１００％の範囲にある。
光学フィルタ部材２９は、白色光源２０からの白色光のうち可視光領域の特定波長の可視光のみを反射し、照明用の光源や照明の治具が、被写体である物品１２の背景に映り込まないように、背景を特定色にしている。特定色としては、赤色、青色、緑色などの単色が挙げられる。また、背景の特定色は、可視光の全波長の光を反射する白色でもよいし、全波長を反射しない（吸収する）黒色でもよい。

【0038】

また、光学フィルタ部材２９の表面は、少なくとも特定波長の光を反射すればよい。例えば、光学フィルタ部材２９の表面は白色でもよい。つまり、光学フィルタ部材２９の表面は、白色光源２０が照射する白色光のうち可視光領域の全波長の光を反射してもよい。また、光学フィルタ部材２９の表面は、黒色でもよい。つまり、光学フィルタ部材２９の表面は、可視光領域の全波長の光を吸収する特性を有してもよい。

【0039】

次に、図４（ａ），（ｂ）を参照して、カメラ３０が備えるイメージセンサ３３の構成について説明する。図４（ａ）は、ＲＧＢ画像を撮像する汎用のカラーカメラ２００である。カラーカメラ２００は、鏡筒３０ａに組み付けられたレンズ３２と、近赤外光を遮断する近赤外光カットフィルタ２０１（以下、ＩＲカットフィルタ２０１ともいう。）と、イメージセンサ３３とを備える。イメージセンサ３３は、Ｒフィルタ３４Ｒを透過したレッド光を受光し受光量に応じたＲ撮像信号を出力するＲ受光素子３３Ｒと、Ｇフィルタ３４Ｇを透過したグリーン光を受光し受光量に応じたＧ撮像信号を出力するＧ受光素子３３Ｇと、Ｂフィルタ３４Ｂを透過したブルー光を受光し受光量に応じたＢ撮像信号を出力するＢ受光素子３３Ｂとを備える。イメージセンサ３３において、Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、所定の配列で配置されている。

【0040】

このイメージセンサ３３は、近赤外光がカットされたＲＧＢ撮像特性を有する。Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、図４（ａ）のグラフで示されるそれぞれの波長帯の光に感度を有する。このグラフは、横軸が波長を示し、縦軸が相対感度を示す。Ｒ受光素子３３Ｒは、図４（ａ）におけるグラフに示されるレッド（Ｒ）の波長帯の光に高い感度を有する。Ｇ受光素子３３Ｇは、図４（ａ）におけるグラフに示されるグリーン（Ｇ）の波長帯の光に高い感度を有する。Ｂ受光素子３３Ｂは、図４（ａ）におけるグラフに示されるブルー（Ｂ）の波長帯の光に高い感度を有する。

【0041】

図４（ｂ）は、図４（ａ）に示す汎用のカラーカメラ２００からＩＲカットフィルタ２０１を除去したカラーカメラ２５０である。カラーカメラ２５０に内蔵されるイメージセンサ３３は、近赤外光がカットされず、近赤外光の波長帯域を含むＲＧＢ撮像特性を有する。Ｒ受光素子３３Ｒ、Ｇ受光素子３３Ｇ及びＢ受光素子３３Ｂは、図４（ｂ）におけるグラフに示される可視光波長領域ＶＡ及び近赤外波長領域ＮＩＲＡ（特に近赤外波長領域）の光に感度を有する。

【0042】

図５は、本実施形態のカメラ３０の模式的な構成を示す。図５に示すように、カメラ３０は、イメージセンサ３３と被写体である物品１２との間の光路上に光学バンドパスフィルタ３１を備える。カメラ３０は、図４（ａ）に示すＩＲカットフィルタ２０１を備えていない。イメージセンサ３３は、図４（ａ）に示す汎用のカラーカメラ２００のものと同様の構成である。

【0043】

イメージセンサ３３そのものは、図４（ｂ）のグラフに示すように、可視光波長領域ＶＡと近赤外波長領域ＮＩＲＡに感度を有する。カメラ３０は、赤外カットフィルタを除去した汎用カラーカメラである。詳しくは、カメラ３０は、例えば、図４（ａ）に示す汎用のカラーカメラ２００からＩＲカットフィルタ２０１を除去したうえで、光学バンドパスフィルタ３１を光路上に取り付けて構成される。なお、カメラ３０は、汎用のカラーカメラ２００をベースにする構成に限定されない。

【0044】

イメージセンサ３３を構成するカラーフィルタ３４は、ＲＧＢ原色フィルタであるが、Ｍｇ，Ｙｅ，Ｃｙの補色フィルタでもよい。また、ＲＧＢフィルタ又は補色フィルタに加え近赤外光を選択的に透過するＮＩＲフィルタが混在してもよい。さらに、ＲＧＢフィルタが、Ｒ，Ｇ１，Ｇ２，Ｂフィルタであったり、カラーフィルタ３４が補色フィルタと原色フィルタを組み合わせた構成であったりしてもよい。さらに、組み合せるフィルタは、３種類以上であってもよい。

【0045】

光学バンドパスフィルタ３１は、可視光波長領域ＶＡ内で１領域または複数領域の遮断領域を有するとともに近赤外波長領域ＮＩＲＡ内で１領域または複数領域の透過領域を有する分光透過率特性をもつ。このような分光透過率特性を得るため、光学バンドパスフィルタ３１は、１枚か、図５に示すように２枚の光学バンドパスフィルタ３１Ａ，３１Ｂにより構成される。図５に示す光学バンドパスフィルタ３１は、近赤外波長領域ＮＩＲＡ内で１領域または複数領域の透過領域を有するので、被写体である物品１２から光学バンドパスフィルタ３１を透過した非可視光波長の光は、図５示すイメージセンサ３３に受光される。本実施形態の光学バンドパスフィルタ３１は、少なくとも近赤外波長領域ＮＩＲＡ内の一部の波長帯の光を透過する。近赤外波長領域ＮＩＲＡは、波長が約８００～約２５００ｎｍの領域である。なお、１つの光学バンドパスフィルタ３１を３枚以上で構成してもよいが、光透過率が低下して白色光源２０の光量を高める必要があるので、省電力の観点から数は少ない方が好ましい。

【0046】

光学バンドパスフィルタ３１は、検査対象である被写体において識別する物体の分光反射率特性の違いに応じて、検査に適した分光透過率特性を有するものが使用される。本実施形態では、光学バンドパスフィルタ３１が光学バンドパスフィルタＦ１（図６（ａ））である第１実施例の撮像装置１５と、光学バンドパスフィルタ３１が光学バンドパスフィルタＦ２（図１１（ａ））である第２実施例の撮像装置１５とを例示する。

【0047】

以下、第１実施例及び第２実施例について説明する。
（第１実施例）
まず、第１実施例について、図５～図９を参照して説明する。図６（ａ）に示す光学バンドパスフィルタＦ１は、複数の波長帯に透過率が１０％以下となる遮断領域を有するとともに、複数の波長帯に透過率が７０％以上となる透過領域を有する分光透過率特性をもつ。換言すれば、光学バンドパスフィルタＦ１は、可視光波長領域ＶＡ内で複数の遮断領域を有するとともに、近赤外波長領域ＮＩＲＡに透過領域を有する分光透過率特性をもつ。

【0048】

よって、イメージセンサ３３そのものが、図６（ｂ）に示すＲＧＢの３バンドの相対感度を有していても、図６（ａ）に示す光学バンドパスフィルタＦ１の分光透過率特性により、イメージセンサ３３は、図５のグラフに示す実質的な相対感度を有する。

【0049】

図５に示すイメージセンサ３３を構成するＲ受光素子３３Ｒは、同図のグラフにＲで示されバンドの感度を有し、Ｇ受光素子３３ＧはＧで示されるバンドの感度を有し、Ｂ受光素子３３ＢはＢで示されるバンドの感度を有する。各受光素子３３Ｒ，３３Ｇ，３３Ｂは、光学バンドパスフィルタＦ１を透過した光のうち、カラーフィルタ３４の各フィルタ３４Ｒ，３４Ｇ，３４Ｂを透過した光をそれぞれの感度に応じて受光する。イメージセンサ３３は、各受光素子３３Ｒ，３３Ｇ，３３Ｂの受光量に応じたＲ値、Ｇ値、Ｂ値をもつ各撮像信号が、所定の配列パターンの順番でシリアルに並ぶ第１撮像信号Ｓ１を出力する。

【0050】

図７は、第１撮像信号Ｓ１を変換部６０により変換して得られる第２撮像信号Ｓ２の相対感度特性を示す。発光スペクトルが全波長領域において相対値＝１となる理想光源を照射したときの第２撮像信号Ｓ２の相対感度特性に相当する。図７に示す変換部６０は、図５に示すイメージセンサ３３から入力した第１撮像信号Ｓ１のＲＧＢ値を、ＸＹＺ値に変換することで第２撮像信号Ｓ２を生成する。つまり、変換部６０は、図５のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号（図７）に変換する。図７に示すグラフは、第２撮像信号Ｓ２を構成するＸＹＺ値で表される３バンドを示す。グラフの横軸が波長を示し、縦軸が相対感度を示す。

【0051】

図７に示すように、第２撮像信号Ｓ２を構成する３バンドのＸＹＺのうち１つのバンドのピークが、近赤外波長領域ＮＩＲＡにある。他の２つのバンドのピークが、可視光波長領域ＶＡにある。詳しくは、図７のグラフに示されるように、Ｘのバンドは約８９０ｎｍにピークをもち、Ｙのバンドは約６２０ｎｍにピークをもち、Ｚのバンドは約５５０ｎｍにピークをもつ。ＸＹＺの３バンドで示される相対感度の各ピークは、それぞれのピークの波長域で他の２つのバンドの相対感度の値よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。しかし、Ｘのバンドは近赤外波長領域ＮＩＲＡにピークをもつものの、そのピークが小さい。

【0052】

図８（ａ）に示す白色光源２０と近赤外光源２５とを合わせた発光スペクトルの光が入射した場合、イメージセンサ３３は図８（ａ）に示す発光強度特性と図８（ｂ）に示す第１撮像信号Ｓ１の相対感度特性とが合成された結果として、イメージセンサ３３は第１撮像信号Ｓ１として図９（ａ）のグラフで示される３バンドのＲＧＢ信号を出力する。変換部６０は、図９（ａ）のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ図９（ｂ）に示す３バンドのＸＹＺ信号に変換する。

【0053】

図９（ｂ）のグラフに示されるように、Ｘのバンドは約９３０ｎｍにピークをもち、Ｙのバンドは約６２０ｎｍにピークをもち、Ｚのバンドは約５５０ｎｍにピークをもつ。ＸＹＺの３バンドで示される感度の各ピークは、他の２つのバンドの感度よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。ＹとＺの２バンドは可視光のバンドであり、Ｘのバンドは近赤外光のバンドである。可視光の２バンドＹ，Ｚと近赤外光の１バンドＸとは分離されている。

【0054】

（第２実施例）
次に、第２実施例について、図１０～図１４を参照して説明する。図１１（ａ）に示す光学バンドパスフィルタＦ２は、可視光波長領域ＶＡ内で波長約５２０ｎｍ以下の領域に遮断領域を有するとともに、波長約５２０ｎｍを超える領域に透過領域を有する分光透過率特性をもつ。近赤外波長領域ＮＩＲＡ内では図示される全域が透過領域となっている。光学バンドパスフィルタＦ２は、少なくとも近赤外波長領域が透過領域となっている。

【0055】

図１０に示すカメラ３０では、図１１（ａ）に示す分光透過率特性を有する光学バンドパスフィルタＦ２によって、被写体である物品１２からの光のうち波長約５２０ｎｍ以下の光が遮断され、波長約５２０ｎｍを超える光が透過する。よって、イメージセンサ３３そのものが、図１１（ｂ）に示す感度を有していても、イメージセンサ３３は、光学バンドパスフィルタ３１により遮断された波長約５２０ｎｍ以下の光が受光されない。よって、図１０のグラフに示すように、イメージセンサ３３は、約５２０ｎｍを超える波長領域に実質的な感度を有する。つまり、イメージセンサ３３は、波長約５２０ｎｍ以下の領域で感度をもたず、波長約５２０ｎｍを超える領域に感度を有する。

【0056】

図５に示すイメージセンサ３３を構成するＲ受光素子３３Ｒは、同図のグラフにＲで示されバンドの感度を有し、Ｇ受光素子３３ＧはＧで示されるバンドの感度を有し、Ｂ受光素子３３ＢはＢで示されるバンドの感度を有する。各受光素子３３Ｒ，３３Ｇ，３３Ｂは、光学バンドパスフィルタＦ２を透過した光のうち、カラーフィルタ３４の各フィルタ３４Ｒ，３４Ｇ，３４Ｂを透過した光をそれぞれの感度に応じて受光する。イメージセンサ３３は、各受光素子３３Ｒ，３３Ｇ，３３Ｂの受光量に応じたＲ値、Ｇ値、Ｂ値をもつ各撮像信号が、所定の配列パターンの順番でシリアルに並ぶ第１撮像信号Ｓ１を出力する。

【0057】

図１２は、第１撮像信号Ｓ１を変換部６０により変換して得られる第２撮像信号Ｓ２の相対感度特性を示す。図１２に示す変換部６０は、図１０に示すイメージセンサ３３から入力した第１撮像信号Ｓ１のＲＧＢ値をＸＹＺ値に変換することで第２撮像信号Ｓ２を生成する。すなわち、変換部６０は、図１０のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ３バンドのＸＹＺ信号に変換する。図１２に示すグラフは、第２撮像信号Ｓ２を構成するＸＹＺ値で表される３バンドを示す。グラフの横軸が波長を示し、縦軸が相対感度を示す。

【0058】

図１２に示すように、第２撮像信号Ｓ２は、３バンドのうち少なくとも１つのバンドのピークが、近赤外波長領域ＮＩＲＡにある。特に本例では、１つのバンドのピークが、近赤外波長領域ＮＩＲＡにある。詳しくは、図１２のグラフに示されるように、Ｘのバンドは約８３０ｎｍにピークをもち、Ｙのバンドは約６３０ｎｍにピークをもち、Ｚのバンドは約５５０ｎｍにピークをもつ。ＸＹＺの３バンドで示される感度の各ピークは、ピークの波長の位置で他の２つのバンドの感度よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。Ｘのバンドが近赤外領域にピークをもつものの、ＹとＺのバンドもそれぞれ一部が近赤外波長領域ＮＩＲＡに感度をもつ。この場合、第２撮像信号Ｓ２から、可視光画像と近赤外画像とに分離できない。つまり、可視光画像の中に近赤外画像が一部混在し、近赤外画像の中に可視光画像が一部混在する。このような画像は、可視光画像と近赤外画像とを分離して検査する用途には適していない。

【0059】

そこで、この第２実施例においても、図１３（ａ）に示す発光スペクトルを有する、白色光源２０（図１）と近赤外光源２５（図１）とを光源とする。これにより、図１３（ａ）に示す発光スペクトルをもつ入射光と、イメージセンサ３３の図１３（ｂ）のグラフで示されるＲＧＢの感度とにより、イメージセンサ３３は第１撮像信号Ｓ１として図１４（ａ）のグラフで示される３バンドのＲＧＢ信号を出力する。変換部６０は、図１４（ａ）のグラフで示される３バンドのＲＧＢ信号を、ＲＧＢ信号とは異なる波長帯に感度をもつ図１４（ｂ）に示す３バンドのＸＹＺ信号に変換する。

【0060】

図１４（ｂ）のグラフに示されるように、Ｘのバンドは約８６０ｎｍにピークをもち、Ｙのバンドは約６２０ｎｍにピークをもち、Ｚのバンドは約５５０ｎｍにピークをもつ。ＸＹＺの３バンドで示される感度の各ピークは、そのピークの波長の位置で他の２つのバンドの感度よりもそれぞれ高くなっており、ＸＹＺの各バンドは分離されている。Ｘのバンドは近赤外領域にピークをもつバンドであり、ＹとＺの２バンドは可視光領域にピークをもつバンドである。可視光領域の２バンドＹ，Ｚと近赤外領域の１バンドＸとは分離されている。このため、撮像装置から出力される可視光画像信号である第１画像信号ＭＳ１と、近赤外画像信号である第２画像信号ＭＳ２とに双方の波長帯域が重ならないように分離される。

【0061】

次に、図１５を参照して、変換部６０及び検査処理部７０の構成を説明する。
図１５に示すように、光学バンドパスフィルタ３１及びレンズ３２を通して物品１２の像がイメージセンサ３３の撮像面に結像される。イメージセンサ３３は物品１２の撮像結果として第１撮像信号Ｓ１を変換部６０に出力する。第１撮像信号Ｓ１は、各受光素子３３Ｒ，３３Ｇ，３３ＢからのＲ撮像信号（レッド信号）、Ｇ撮像信号（グリーン信号）及びＢ撮像信号（ブルー信号）を含むシリアル信号である。なお、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号を、単にＲ信号、Ｇ信号及びＢ信号ともいう。

【0062】

図１５に示すように、変換部６０は、ＲＧＢ分離部６１、ＸＹＺ変換部６２、増幅部６３及び不図示の高輝度色抑圧部を備える。ＲＧＢ分離部６１は、イメージセンサ３３から入力した第１撮像信号Ｓ１を、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号に分離する。

【0063】

ＸＹＺ変換部６２は、ＲＧＢ分離部６１から入力したＲ信号、Ｇ信号及びＢ信号を、Ｘ信号、Ｙ信号及びＺ信号に変換する。詳しくは、ＸＹＺ変換部６２は、Ｒ信号、Ｇ信号及びＢ信号の信号値であるＲＧＢ値に対してマトリックス演算を施すことにより、Ｘ信号、Ｙ信号及びＺ信号に変換する。ＸＹＺ変換部６２には、マトリックス係数が与えられる。ここで、マトリックス演算に用いられるマトリックスは、３×３マトリックスである。ＸＹＺ変換部６２には、３×３マトリックスの係数が与えられる。

【0064】

ＸＹＺ変換部６２は、マトリックス係数を用いて特定される３×３マトリックスを、第１撮像信号Ｓ１のＲＧＢ値に対して乗算するマトリックス演算を行い、第１撮像信号Ｓ１のＲＧＢと異なる分光特性を持つＸＹＺで表される第２撮像信号Ｓ２に変換する。マトリックス係数は、第１撮像信号Ｓ１のＲＧＢを、第２撮像信号Ｓ２のＸＹＺに複数バンドに分光させるための係数である。

【0065】

ここで、第１撮像信号Ｓ１であるＲＧＢ信号を、第２撮像信号Ｓ２であるＸＹＺ信号に変換する計算式は、下記の（１）式で与えられる。

【0066】

【数1】

ここで、ａ１～ａ３，ｂ１～ｂ３，ｃ１～ｃ３はマトリックス係数であり、Ｇｘ，Ｇｙ，Ｇｚは増幅率である。

【0067】

ＸＹＺ変換部６２は、上記（１）式のうち、ＲＧＢ値に対して３×３マトリックスを乗算する演算処理を行う。ＸＹＺ変換部６２は、増幅率が乗算される前のＸＹＺ値を増幅部６３に出力する。

【0068】

ここで、イメージセンサ３３におけるカラーフィルタ３４の色数をｎ（但し、ｎは３以上の自然数）とする。ｎ個の撮像信号間で行うマトリックス演算は、ｍ×ｎマトリックス演算（但し、ｍは２以上の自然数）である。ｍ×ｎマトリックスには、第１撮像信号Ｓ１の色ごとの撮像信号を、ｎバンドの波長領域に分離可能なマトリックス係数が設定されている。本例では、第１撮像信号Ｓ１の色ごとの撮像信号は、Ｒ信号、Ｇ信号、Ｂ信号であり、色数ｎは「３」である（ｎ＝３）。また、第２撮像信号Ｓ２は、Ｘ信号、Ｙ信号、Ｚ信号の３バンドであり、ｍ＝３である。つまり、ｍ×ｎマトリックスは、３×３マトリックスである。そして、３×３マトリックスには、３バンドの分離性を高くできるマトリックス係数が設定されている。

【0069】

例えば、図６（ａ）に示す透過特性を有する光学バンドパスフィルタＦ１が用いられる場合、図５から図７への変換のマトリックス演算、及び図９（ａ）から図９（ｂ）への変換のマトリックス演算に、次の３×３マトリックスの係数が与えられる。すなわち、３×３マトリックスの係数として、ａ１＝０、ａ２＝－０．１３、ａ３＝１、ｂ１＝１、ｂ２＝０．１、ｂ３＝－１．１５、ｃ１＝－０．２、ｃ２＝１、ｃ３＝－０．７が与えられる。

【0070】

なお、ｍ×ｎ（但しｍ≠ｎ）マトリックス演算でもよい。色数「３」である場合、３×３マトリックス演算に限定されず、３×４マトリックス演算を行って４バンドのマルチスペクトル画像を生成したり、３×２マトリックス演算を行って色数ｎよりも少ないバンド数のマルチスペクトル画像を生成したりしてもよい。

【0071】

増幅部６３は、ＸＹＺ変換部６２からのＸＹＺ値に、与えられたＸ増幅率Ｇｘ，Ｙ増幅率Ｇｙ，Ｚ増幅率Ｇｚをそれぞれ乗算する。増幅部６３は、ＸＹＺ変換後のＸ値にＸ増幅率Ｇｘを乗算し、Ｙ値にＹ増幅率Ｇｙを乗算し、Ｚ値にＺ増幅率Ｇｚを乗算する。つまり、増幅部６３は、上記（１）式において、増幅率Ｇｘ，Ｇｙ，Ｇｚをマトリックス係数とする１×３マトリックスを乗算する演算を行うことで、ＸＹＺのバンドを正規化する。増幅部６３は、正規化されたＸＹＺ値を、撮像信号Ｓ２として出力する。なお、正規化の処理は、１つの信号レベルを固定して他の２個の信号レベルを調整する方法でもよい。例えば、Ｙ信号を固定とし、Ｘ信号とＺ信号を調整してもよい。

【0072】

こうして、変換部６０は、入力した第１撮像信号Ｓ１に対して、ＲＧＢ分離処理、ＸＹＺ変換処理及び正規化処理を順次行うことで、第２撮像信号Ｓ２を出力する。変換部６０は、物品１２が撮像された３バンドのマルチスペクトル画像を、信号処理部６５に出力する。換言すれば、変換部６０は、第１撮像信号Ｓ１を第２撮像信号Ｓ２に変換する。第１撮像信号Ｓ１はＮバンドの画像信号である。第２撮像信号Ｓ２はＮバンドの画像信号である。つまり、変換部６０は、Ｎバンドの画像信号をＮバンドの画像信号に変換する。本例では、３バンドのＲＧＢ画像を、３バンドのＸＹＺ画像に変換する。こうして３バンドのマルチスペクトル画像を生成する。つまり、変換部６０は、第１撮像信号Ｓ１から、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号ＭＳ１と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号ＭＳ２とを生成する。

【0073】

撮像装置１５は、ＰバンドとＱバンドのうち複数バンドである少なくとも一方の画像信号については複数バンドの画像信号を基に疑似色の複数チャンネルのカラー画像信号を生成する信号処理部６５を備える。信号処理部６５は、第２撮像信号Ｓ２を構成するＮバンド（３バンド）のＸＹＺ画像を、ＰバンドとＱバンド（但しＱはＱ＝Ｎ－Ｐ）に分けて入力する。第２撮像信号Ｓ２が、３バンドである場合、信号処理部６５は、２バンドの第１画像信号ＭＳ１と１バンドの第２画像信号ＭＳ２とに分けて入力する。２バンドの第１画像信号ＭＳ１は可視光画像信号であり、１バンドの第２画像信号ＭＳ２は近赤外画像である。

【0074】

信号処理部６５は、複数バンドであるＰバンドの第１画像信号ＭＳ１を疑似カラー画像信号に変換する疑似カラー信号処理部６６と、１バンドの第２画像信号ＭＳ２の輝度値を調整する輝度信号処理部６７とを有する。疑似カラー信号処理部６６は、第１画像信号ＭＳ１を疑似カラーで表現される第１画像信号ＩＳ１を検査処理部７０に出力する。輝度信号処理部６７は、第２画像信号ＭＳ２の輝度値が調整された後の第２画像信号ＩＳ２を検査処理部７０に出力する。輝度信号処理部６７では、ガンマ補正などの非線形処理による輝度調整や、輪郭強調処理などを必要に応じて実施してもよい。

【0075】

図１６（ａ），（ｂ）は、撮像装置１５が撮像した画像を示す。図１６の例では、画像中の物品は２本の容器である。左側の容器は、半透明の合成樹脂製の容器であり、液体が収容されている。また、右側の容器は、透明ガラス容器に濃色（例えば黒色）の液体が収容されている。図１６（ａ）に示すように、第１画像信号ＩＳ１は、２チャンネル疑似カラー画像の信号である。このため、表示部４１には、第１画像が２チャンネルの疑似カラーで表示される。検査員は表示部４１の第１画像を見て色の違いにより視覚的に欠点等を視認できるので、物品１２を検査し易い。また、図１６（ｂ）に示すように、第２画像信号ＩＳ２は、物品１２を近赤外光が透過した透過画像の信号である。表示部４１には、第２画像が、同図に示すように物品１２の透過画像として表示される。このため、容器の内容物や容器中の液体に混入した異物を検査できる。右側の容器には液体中に針金を混入させているが、図１６（ａ）の可視光画像では視認できない針金等の異物を、図１６（ｂ）に示す近赤外画像では視認することができる。

【0076】

次に、検査処理部７０について説明する。
検査処理部７０は、撮像装置１５が出力する可視光領域に分光感度をもつＰバンドの第１画像信号ＩＳ１と、近赤外領域に分光感度をもつＱバンドの第２画像信号ＩＳ２とに基づいて被写体である物品１２を検査する。

【0077】

検査処理部７０は、可視光検査処理部７１と、近赤外検査処理部７２と、混合検査処理部７３とを備える。可視光検査処理部７１には第１画像信号ＩＳ１が入力され、近赤外検査処理部７２には第２画像信号ＩＳ２が入力され、さらに混合検査処理部７３には、第１画像信号ＩＳ１と第２画像信号ＩＳ２とが入力される。なお、混合検査処理部７３に入力される第１画像信号ＩＳ１と第２画像信号ＩＳ２は、２バンドの可視光画像信号と１バンドの近赤外画像信号である。

【0078】

可視光検査処理部７１は、可視光画像である第１画像信号ＩＳ１を基に物品１２を検査する。近赤外検査処理部７２は、近赤外画像である第２画像信号ＩＳ２を基に物品１２を検査する。混合検査処理部７３は、可視光の像と近赤外光との像である、第１画像信号ＩＳ１と第２画像信号ＩＳ２の双方を基に物品１２を検査する。例えば、可視光検査処理部７１は、疑似色画像信号である第１画像信号ＩＳ１に対して疑似色より色座標範囲を指定して特定色領域を抽出し、その特定色領域のサイズ及び数に基づき物品１２の良否を判定する。近赤外検査処理部７２は、輝度画像信号である第２画像信号ＩＳ２を輝度レベルの上下限閾値判定により二値化し、二値化の結果、抽出された検査対象領域のサイズ及び数に基づき、物品１２の良否を判定する。混合検査処理部７３は、疑似色画像信号である第１画像信号ＩＳ１により別途抽出した特定色領域と、輝度画像信号である第２画像信号ＩＳ２より別途抽出した閾値領域とのＡＮＤ演算結果として得られる共通領域のサイズ及び数に基づき、物品１２の良否を判定する。

【0079】

次に、撮像装置１５及び検査装置１１の作用について説明する。
図１に示すように、搬送装置１３のコンベヤ１６によって、被写体である物品１２が搬送される。センサ１７が物品１２を検知すると、トリガー信号が制御部５０に入力される。トリガー信号を入力した制御部５０は、発光指令信号を出力することで白色光源２０と近赤外光源２５とを発光させるとともに、イメージセンサ３３に撮像指令信号を出力することでイメージセンサ３３に撮像を行わせる。

【0080】

カメラ３０には、物品１２の表面で反射した可視光と、物品１２を透過した近赤外光とが、光学バンドパスフィルタ３１およびレンズ３２を通過して入射される。カメラ３０の内のイメージセンサ３３の撮像面には、物品１２の表面で反射した可視光の像と、物品１２を透過した近赤外光の像とが結像する。イメージセンサ３３は、物品１２に対して光学バンドパスフィルタ３１を通して１フレームの撮像を行う。イメージセンサ３３は、第１撮像信号Ｓ１を変換部６０に出力する。

【0081】

変換部６０では、第１撮像信号Ｓ１をＲＧＢ分離し、分離したＲＧＢ値に３×３マトリックスを乗算することで、ＲＧＢ値をＸＹＺ値に変換する。このＸＹＺ値に増幅率Ｇｘ，Ｇｙ，Ｇｚを乗算することで、正規化されたＸＹＺ値が生成される。こうして、変換部６０から３バンドのマルチスペクトル画像を含む第２撮像信号Ｓ２が出力される。第２撮像信号Ｓ２は信号処理部６５へ出力される。換言すれば、変換部６０は、第１撮像信号Ｓ１から、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号ＭＳ１と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号ＭＳ２とを生成する。

【0082】

信号処理部６５では、ＰバンドとＱバンドのうち複数バンドである少なくとも一方の画像信号については複数バンドの画像信号を基に疑似色の複数チャンネルのカラー画像信号を生成する。信号処理部６５は、第２撮像信号Ｓ２を構成するＮバンド（３バンド）のＸＹＺ画像を、ＰバンドとＱバンド（但しＱはＱ＝Ｎ－Ｐ）に分けて入力する。第２撮像信号Ｓ２が、３バンドである場合、２バンドの第１画像信号ＭＳ１は疑似カラー信号処理部６６に入力され、１バンドの第２画像信号ＭＳ２は輝度信号処理部６７に入力される。本例では、第１画像信号ＭＳ１は可視光画像信号であり、第２画像信号ＭＳ２は近赤外画像である。

【0083】

疑似カラー信号処理部６６は、２バンドの第１画像信号ＭＳ１を疑似カラー画像信号に変換する。また、輝度信号処理部６７は、１バンドの第２画像信号ＭＳ２の輝度値を調整する。この結果、信号処理部６５から検査処理部７０へ第１画像信号ＩＳ１及び第２画像信号ＩＳ２が出力される。第１画像信号ＩＳ１は、図１６（ａ）に示す２チャンネル疑似カラー画像の信号である。第２画像信号ＩＳ２は、図１６（ｂ）に示す近赤外画像の信号である。

【0084】

検査処理部７０では、可視光検査処理部７１が、可視光画像である第１画像信号ＩＳ１を基に物品１２を検査する。また、近赤外検査処理部７２が、近赤外画像である第２画像信号ＩＳ２を基に物品１２を検査する。また、混合検査処理部７３では、第１画像信号ＩＳ１と第２画像信号ＩＳ２の両信号を基にして物品１２を検査する。

【0085】

各検査処理部７１～７３は、物品１２の良否を判定する。検査結果から物品１２が不良品である場合、排出装置を駆動して不良品の物品１２をコンベヤ１６上から排除する。
本実施形態では、撮像方法が採用される。撮像方法は、照射ステップと撮像ステップと変換ステップとを備える。撮像ステップでは、白色光源２０が可視光領域に発光スペクトルを有した白色光を被写体としての物品１２に照射するとともに近赤外光源が近赤外光領域に発光スペクトルを有しかつ白色光源２０の発光スペクトル領域において発光スペクトルをもたない近赤外光を被写体としての物品１２に照射する。撮像ステップでは、分光透過率特性の異なったＮバンド（但しＮは３以上の自然数）の分光光学フィルタの一例としてのカラーフィルタ３４を有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサ３３を備えるカメラ３０が、イメージセンサ３３と物品１２との間の光路上に配置される光学バンドパスフィルタ３１（Ｆ１，Ｆ２）を介して物品１２を撮像する。変換ステップでは、イメージセンサ３３により撮像された画像信号をＮバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンド（但しＰはＮ未満の自然数）の第１画像信号ＭＳ１と、近赤外領域に分光感度をもつＱバンド（但しＱはＱ＝Ｎ－Ｐ）の第２画像信号ＭＳ２とを生成する。

【0086】

以上、詳述した第１実施形態によれば、以下に示す効果が得られる。
（１）分光透過率特性の異なるＮバンド（但しＮは３以上の自然数）の分光光学フィルタを有するとともに可視光領域と近赤外領域とに感度をもつイメージセンサ３３を備えるカメラ３０と、イメージセンサ３３と被写体としての物品１２との間の光路上に配置される光学バンドパスフィルタ３１とを備える。物品１２に可視光領域に発光スペクトルを有した白色光を照射する白色光源２０と、物品１２に近赤外光領域に発光スペクトルを有し、かつ白色光源２０の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する近赤外光源２５とを備える。また、撮像装置１５は、イメージセンサ３３により撮像された画像信号をＮバンドの信号ごとに分離し、分離したＮバンドの画像信号に対してマトリックス演算を行うことにより、可視光領域に分光感度をもつＰバンドの第１画像信号と、近赤外領域に分光感度をもつＱバンドの第２画像信号とを生成する変換部６０を備える。よって、物品１２を同じ画角で撮像した可視光画像と近赤外画像とを簡単な構成で同時に１台のカメラ３０で取得できる。

【0087】

（２）カメラ３０は、赤外光カットフィルタを除去した汎用カラーカメラである。よって、カメラ３０は汎用カラーカメラを利用するので、撮像装置１５の構成が簡単な構成で済む。ところで、通常、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する撮像装置では、可視光画像及び近赤外画像を撮像可能な特殊撮像素子や特殊なカメラを用いる。これに対して、本実施形態の撮像装置１５によれば、カメラ３０は汎用カラーカメラを利用するので、特殊撮像素子や特殊なカメラを用いなくて済む。また、被写体の画像認識・検査において、可視光でのカラー画像と近赤外での白黒画像での画像処理が必要となった場合、通常、カラーカメラと白色照明と近赤外白黒カメラと近赤外照明の２セットの撮像システムが必要となる。２台カメラ構成の場合、各カメラから得られる画像は、被写体の位置が異なるため、２台のカメラからの画像を共有して処理を行うためには、位置・画角補正などの処理が必要となる。これに対して、本実施形態の撮像装置１５によれば、１台のカメラ３０で可視光画像と近赤外画像とを取得するため、位置・画角補正などの処理が不要となるこのため、撮像装置１５が簡単な構成で済むことに加え、処理も比較簡単で済む。また、可視光撮像と近赤外撮像とが可能な特殊撮像素子や特殊カメラを備える従来の撮像装置は、高価なうえ仕様選定の自由度が極めて少ない。これに対して、本実施形態の撮像装置１５は、汎用カラーカメラを利用するので、撮像装置１５が比較的安価なうえ仕様選定の自由度が高い。

【0088】

（３）ＰバンドとＱバンドのうち複数バンドである少なくとも一方の画像信号については複数バンドの画像信号を基に疑似色の複数チャンネルのカラー画像信号を生成する。よって、複数バンドの画像信号については疑似色の複数チャンネルのカラー画像で表示できるので、例えば、検査員が画像を見て行う検査や検査結果の確認がし易い。

【0089】

（４）白色光源２０は、可視光波長域の異なる複数の可視光光源を組み合わせて構成され、あるいは、近赤外光源２５は、赤外光波長域の異なる複数の近赤外光源２５を組み合わせて構成される。白色光源２０と近赤外光源２５とを合わせた発光スペクトルは、光学バンドパスフィルタ３１の透過波長域において複数のピークを有する。よって、可視光画像と近赤外画像とを分離し易くなり、検査等に適した画像を提供できる。

【0090】

（５）物品１２においてカメラ３０に対向する側の面を正面、正面と反対側の面を背面とすると、白色光源２０は物品１２の正面を白色光で照明し、近赤外光源２５は物品１２の背面から近赤外光を照射する。カメラ３０は、白色光が物品１２の表面で反射した反射光と、物品１２を透過した近赤外光とを受光する。よって、撮像装置１５により、物品１２の表面の画像と、近赤外光によって物品１２を透過した透過光画像とを取得することができる。

【0091】

（６）近赤外光源２５と物品１２との間には、物品１２の背景となる面を表面とする光学フィルタ部材２９を配置する。光学フィルタ部材２９は、白色光源２０から表面に照射された白色光のうち可視光領域の少なくとも特定波長の光を反射するか可視光領域の光を吸収するとともに、表面と反対側の面である裏面に近赤外光源２５から照射された近赤外を透過する。よって、物品が撮像されるときの背景色を選択できるので、検査等に適した可視光画像と近赤外画像とを提供できる。

【0092】

（７）検査装置１１は、撮像装置１５と、撮像装置１５が出力する可視光領域に分光感度をもつＰバンドの第１画像信号と、近赤外領域に分光感度をもつＱバンドの第２画像信号とに基づいて物品１２を検査する検査処理部を備える。よって、可視光画像と近赤外画像とで物品１２を検査できるので、可視光画像で検査する可視光検査だけでは得られない物品１２の検査を行うことができる。

【0093】

（８）物品１２をカメラ３０で撮像して画像信号を生成する撮像方法は、光照射ステップと撮像ステップと変換ステップとを備えるので、上記（１）に記載の撮像装置１５と同様の作用効果が得られる。

【0094】

実施形態は、上記に限定されず、以下の態様に変更してもよい。
・撮像装置１５の構成は、図２及び図３に示す構成に限定されない。例えば、図１７に示すように、被写体である物品１２の正面側から物品１２の正面に向かって可視光及び近赤外光を照射する光源８０を備える構成でもよい。光源８０は、可視光波長領域ＶＡにおいて発光スペクトルが異なる複数の発光部２１～２３を備える。複数の発光部２１～２３は、前記実施形態における白色光源２０を構成する、第１発光部２１、第２発光部２２及び第３発光部２３と同じである。例えば、複数の発光部２１～２３は、ＬＥＤよりなり、それぞれ赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤよりなる。さらに、光源８０は、近赤外波長領域ＮＩＲＡに発光スペクトルを有し、かつ発光部２１～２３の発光スペクトル領域において発光スペクトルを持たない近赤外光を照射する第１発光部２６及び第２発光部２７を備える。複数種の発光部２６，２７は、例えばＬＥＤにより構成される。

【0095】

この変更例では、白色光源と近赤外光源は、被写体としての物品１２におけるカメラ３０と対向する側の面である正面に白色光と近赤外光とを照射する１つの光源８０により構成される。そして、光源８０は、白色光を照射する複数の発光部２１～２３と、近赤外光を照射する複数の発光部２６，２７とが混在する配列で構成される。

【0096】

図１７に示す例では、１台の光源８０に、白色用のＬＥＤよりなる発光部２１～２３と、近赤外光用のＬＥＤよりなる発光部２６，２７が均等に配置される。このため、白色用のＬＥＤよりなる発光部２１～２３の隣に近赤外光用のＬＥＤよりなる発光部２６，２７が配置される。なお、この変更例では、光源８０のうち白色光を照射する発光部２１～２３により、白色光源の一例が構成され、近赤外光を照射する発光部２６，２７により近赤外光源の一例が構成される。このように、物品１２の正面に白色光と近赤外光とを照射する構成では、白色光源と可視光光源とは、必ずしも別体である必要はなく、１つの光源８０により構成されてもよい。但し、図１７において、光源８０に替え、白色光源２０と近赤外光源２５とを隣接配置した構成や、物品１２の正面から白色光及び近赤外光を照射可能な限りにおいて白色光源２０と近赤外光源２５とを離して配置した構成を採用してもよい。

【0097】

物品１２の表面にはインクを用いた印刷が施されている。印刷に用いられるインクは赤外光を反射するインクを含む。図１７に示す撮像装置１５を有する検査装置１１は、被写体に印刷された赤外光を反射するインクを検査する。なお、物品１２はその表面に、可視光を反射するインクと赤外光を反射するインクとが混合されたインクを用いて印刷された印刷領域を有する構成でもよいし、可視光を反射するインクを用いて印刷された第１の印刷領域と、近赤外光を反射するインクを用いて印刷された第２の印刷領域とを有する構成でもよい。また、物品１２はその表面に近赤外光を反射する部分を有するフィルムが熱溶着または接着剤で貼られた構成でもよい。

【0098】

光源８０から物品１２の正面に照射された可視光は、物品１２の表面で反射してカメラ３０に入射する。また、光源８０から物品１２の表面に照射された近赤外光は、物品１２の表面で反射してカメラ３０に入射する。この変更例では、物品１２の表面で反射した近赤外光がカメラ３０に入射することで、物品１２の表面又は物品１２の透過した内部に存在する、可視光を反射しないが近赤外光を反射する部分を検査できる。

【0099】

このように、物品１２の表面で反射した近赤外光を撮像する撮像装置１５においても、カメラ３０に接続された変換部６０及び信号処理部６５は、前記実施形態と同様の処理を行う。そして、検査処理部７０は、撮像装置１５が出力した第１画像信号ＩＳ１及び第２画像信号ＩＳ２に基づいて物品１２の表面又は物品１２の内部を構成する近赤外光を反射する部分を検査することができる。また、この変更例では、１つの光源８０を用いるため、可視光画像と近赤外画像は、物品１２に対して同じ向きから光が照射された画像として取得される。例えば、光の照射角の異なる２つの画像を用いて検査する場合、照射角の違いにより適切な検査が行われなくなる場合がある。これに対して、この変更例では、可視光画像と近赤外画像とを併せて又は比較して物品１２の検査結果を得る場合、適切な検査を行うことができる。

【0100】

・マトリックス演算に使用される３×３マトリックスの係数は、前記実施形態の値に限定されない。例えば、第２実施例において、３×３マトリックスの係数を変更して、３×３マトリックスの係数として、ａ１＝０．０５、ａ２＝－０．２、ａ３＝１、ｂ１＝１、ｂ２＝０．２、ｂ３＝－１、ｃ１＝０．１５、ｃ２＝０．８、ｃ３＝－０．９を与える。

【0101】

この場合、図１２に替えて、図１８（ａ）に示すＸＹＺ撮像特性が得られ、これにより、図１４（ｂ）に替えて、図１８（ｂ）に示すＸＹＺ出力特性が得られる。図１８（ｂ）に示すように、可視光画像と近赤外画像とが混在した第１画像ＩＳ１と、近赤外画像である第２画像ＩＳ２とが得られる。このように、可視光画像と近赤外画像とに分けられる構成に限らず、第１画像ＩＳ１と第２画像ＩＳ２とのうち少なくとも一方が可視光画像と近赤外画像とが混在した画像であってもよい。

【0102】

・前記実施形態及び図１７に示す変更例において、白色光源を構成する発光部の種類は３種類に限定されず、白色光を照射可能であれば、４種類以上または２種類あるいは１種類でもよい。また、近赤外光源を構成する発光部の種類は２種類に限定されず、近赤外光を照射可能であれば、３種類以上または１種類でもよい。

【0103】

・前記実施形態では、可視光２バンド、赤外光１バンドとしたが、逆でもよい。つまり、可視光１バンド、赤外光２バンドでもよい。つまり、前記実施形態では、Ｎ＝３の場合においてＰ＝２かつＱ＝１としたが、Ｐ＝１かつＱ＝２としてもよい。この場合、２バンドの第２画像信号を基に疑似色の２チャンネルのカラー画像信号を生成してもよい。

【0104】

・Ｎ値は、Ｎ＝３に限定されず、Ｎ＝４でもよい。例えば、原色のカラーフィルタを有するカラーカメラの場合、Ｒ，Ｇ１，Ｇ２，Ｂの４色でもよい。また、補色のカラーフィルタを有するカラーカメラでもよく、補色が、イエロー、シアン、マゼンタ、グリーンの４色でもよい。

【0105】

・Ｎ色が４色であってＰ＝２かつＱ＝２である場合、２バンドの第１画像信号を基に疑似色の２チャンネルのカラー画像信号を生成するとともに、２バンドの第２画像信号を基に疑似色の２チャンネルのカラー画像信号を生成してもよい。

【0106】

・前記実施形態では、疑似色を作成したが、疑似色を作成しない構成も可能である。例えば、モニタに検査画像を表示させる構成でなければ、必ずしも疑似色を作成することは必須ではない。

【0107】

・白色光源２０と近赤外光源２５とを一斉に発光させるのではなく、時分割で発光させる構成でもよい。
・カメラ３０を用いて光学バンドパスフィルタ３１を通してイメージセンサ３３で撮像した第１撮像信号に基づく画像データ（例えばＲＧＢ画像データ）をＵＳＢメモリ等のリムーバブルメモリに保存する。そのリムーバブルメモリに保存された画像データをパーソナルコンピュータに読み取らせ、パーソナルコンピュータのＣＰＵ（変換部６０）がマトリックス演算を含む変換処理を行って複数バンドのマルチスペクトル画像を生成してもよい。つまり、撮像ステップを行う装置と、変換ステップを行う装置とが、別々の装置であってもよい。このような撮像方法によっても、複数バンドのマルチスペクトル画像を取得できる。

【0108】

・増幅率及びパラメータのうち少なくとも一方を、検査処理部７０が算出する構成でもよいし、予め他のコンピュータで算出した値を撮像装置１５のメモリに書き込む構成でもよい。

【0109】

・撮像装置１５は、検査の使用に限定されない。例えば、撮像装置１５をロボットの目に使用し、ロボットが可視光と赤外光の画像を区別して認識する構成でもよい。
・撮像装置１５が出力した画像を検査員が視認して検査する構成でもよい。

【0110】

・被写体の背面から可視光（例えば白色光）を照射してもよい。
・イメージセンサ３３を構成するカラーフィルタ３４の色数は３色又は４色に限定されず、５色、６色、７色、８色でもよい。このうち少なくとも１色が可視光を透過せず非可視光を透過するフィルタであってもよい。例えば、近赤外光を透過するＮＩＲフィルタを含むカラーフィルタを備えたイメージセンサ３３であってもよい。

【0111】

・撮像対象又は検査対象とされる被写体の一例である物品１２は特に限定されない。物品１２は、例えば、ペットボトルや壜等の容器、食品、飲料物、電子部品、電化製品、日常用品、部品、部材、粉粒体又は液状等の原料などでもよい。物品１２はマルチスペクトル画像により良否を検査できるものであれば足りる。

【0112】

・被写体とされる物品１２は、近赤外波長領域ＮＩＲＡに少なくとも１つのバンドをもつ複数バンドのマルチスペクトル画像を用いて、可視光のみの下で撮像した画像では検査が困難な検査対象を検査できる物品であればよい。物品１２は、例えば、液体入りの容器や、果物や野菜などの食材、花等の植物、植物性又は動物性の半加工食品あるいは加工食品、生物などでもよい。

【0113】

・撮像対象又は検査対象は、物品１２に限らず、建物の写真、航空撮影の地形写真、空の写真、天体写真、顕微鏡写真などを検査対象としてもよい。
・撮像装置１５は、検査処理部７０とは別の装置として構成してもよい。撮像装置１５を検査以外の用途で使用してもよい。

【0114】

・イメージセンサ３３を構成するカラーフィルタの配列パターンは、ＲＧＢベイヤ配列に限らず、ストライプ配列など任意の配列パターンでもよい。
・制御部５０、変換部６０及び検査処理部７０のうち少なくとも１つは、一部又は全部が、プログラムを実行するコンピュータよりなるソフトウェアにより構成されてもよいし、電子回路等のハードウェアにより構成されてもよい。

【符号の説明】

【0115】

１０…検査システム、１１…検査装置、１２…被写体の一例としての物品、１３…搬送装置、１５…撮像装置、１６…コンベヤ、１７…センサ、２０…白色光源、２１…第１発光部、２２…第２発光部、２３…第３発光部、２５…近赤外光源、２６…第１発光部、２７…第２発光部、２９…光学フィルタ部材、３０…カメラ、３０ａ…鏡筒、３１，Ｆ１，Ｆ２…光学バンドパスフィルタ、３１Ａ，３２Ｂ…光学バンドパスフィルタ、３２…レンズ、３３…カラーイメージセンサ（イメージセンサ）、３３Ｒ…Ｒ受光素子、３３Ｇ…Ｇ受光素子、３３Ｂ…Ｂ受光素子、３４…分光光学フィルタの一例としてのカラーフィルタ、３４Ｒ…Ｒフィルタ、３４Ｇ…Ｇフィルタ、３４Ｂ…Ｂフィルタ、４０…制御処理部、４１…表示部、５０…制御部、６０…変換部、６１…ＲＧＢ分離部、６２…ＸＹＺ変換部、６３…増幅部、７０…検査処理部、７１…可視光検査処理部、７２…近赤外検査処理部、７３…混合検査処理部、８０…光源、２０１…赤外光カットフィルタ（ＩＲカットフィルタ）、ＬＳ…発光スペクトル、Ｓ１…第１撮像信号、Ｓ２…第２撮像信号、ＭＳ１…第１画像信号、ＭＳ２…第２画像信号、ＩＳ１…第１画像信号、ＩＳ２…第２画像信号、ＶＡ…可視光波長領域、ＮＩＲＡ…近赤外波長領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】