(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036460
(43)【公開日】2023-03-14
(54)【発明の名称】撮像装置、検査装置及び撮像方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20230307BHJP
H04N 23/56 20230101ALI20230307BHJP
H04N 25/10 20230101ALI20230307BHJP
【FI】
H04N5/232 290
H04N5/225 600
H04N9/07 A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021143524
(22)【出願日】2021-09-02
(71)【出願人】
【識別番号】000128131
【氏名又は名称】株式会社エヌテック
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】渡邊 透
【テーマコード(参考)】
5C065
5C122
【Fターム(参考)】
5C065BB30
5C065BB41
5C065BB48
5C065CC01
5C065DD01
5C065EE03
5C122DA12
5C122EA55
5C122FA08
5C122FB16
5C122FC01
5C122FC02
5C122FC10
5C122FH18
5C122GG01
5C122GG04
5C122HA88
5C122HB02
5C122HB07
5C122HB10
(57)【要約】
【課題】被写体のマルチスペクトル画像を簡単な構成で取得できる撮像装置、検査装置及び撮像方法を提供する。
【解決手段】撮像装置11は、センサ部31Sを有するカラーイメージセンサ31と、発光特性の異なるN種(N≧2)の光源21~23と、制御部40と、隣接画素混合処理部51と、リサンプリング処理部52と、再配列処理部53とを備える。制御部40は、M種(Mは2≦M≦N)の光源21~23を時分割で発光させることでカラーイメージセンサ31にM回の撮像を行わせる。隣接画素混合処理部51は、センサ部31Sから出力されるM枚のフレームに対して隣接画素混合処理をフレームごとに行う。リサンプリング処理部52は、隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理をフレームごとに行う。再配列処理部53は、リサンプリング処理された複数フレーム分の画素データを1フレーム内の画素に再配列する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像装置であって、
前記被写体を撮像するセンサ部を有するカラーイメージセンサと、
前記被写体を照明する発光特性の異なるN種(但し、Nは2以上の自然数)の光源と、
前記N種のうちM種(但し、Mは2≦M≦Nを満たす自然数)の前記光源を時分割で発光させることで前記カラーイメージセンサにM回の撮像を行わせる制御部と、
前記センサ部から出力されるM枚のフレームに対して隣接画素混合処理を前記フレームごとに行う隣接画素混合処理部と、
前記隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理をフレームごとに施すリサンプリング処理部と、
前記リサンプリング処理が施された複数フレーム分の画素データを1フレーム内の画素に再配列する再配列処理部と
を備えることを特徴とする撮像装置。
【請求項2】
前記カラーイメージセンサの前記センサ部から出力される前記フレームに相当する撮像信号を処理する信号処理部を備え、
前記隣接画素混合処理部は、前記カラーイメージセンサと前記信号処理部とのうち少なくとも前記信号処理部に備えられ、
前記複数のフレームに対して前記フレームごとに前記カラーイメージセンサと前記信号処理部のうちいずれか一方、または双方を選択し、選択した一方、または双方が備える前記隣接画素混合処理部が前記フレームごとに前記隣接画素混合処理を行い、
前記隣接画素混合処理では、混合する隣接画素を前記フレームごとに選択することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記カラーイメージセンサを構成するカラーフィルタの画素の配列がベイヤ配列であり、
前記再配列処理部は、前記複数フレーム分の前記画素データを1フレーム内に前記ベイヤ配列と同じ3色4画素配列で再配列することを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記カラーイメージセンサを構成するカラーフィルタの画素の配列がベイヤ配列であり、
前記制御部は、発光特性の異なる前記光源の光で前記被写体を順次照明することで前記カラーイメージセンサに時分割で複数回の撮像を行わせ、
前記複数のフレームに対して前記フレームごとに前記隣接画素混合処理及び前記リサンプリング処理を行って得られた4フレーム分の前記画素データを1フレーム内に前記ベイヤ配列と同じ4画素を単位とする4色4画素配列で再配列する再配列処理を前記再配列処理部が行うことにより、4バンドの1フレーム撮像データを生成することを特徴とする請求項1~請求項3のいずれか一項に記載の撮像装置。
【請求項5】
前記N種の光源は、可視光を照射可能な光源と、近赤外光を照射可能な光源とを含み、
前記制御部は、前記N種の光源のうちモードに応じた前記M種の光源を選択し、選択した前記M種の光源を時分割に発光させることにより前記カラーイメージセンサに時分割で複数回の撮像を行わせ、
前記再配列処理部は、選択された前記モードに応じた種類の1フレーム撮像データを出力し、
前記モードには、可視光から近赤外光までの光波長領域内に波長を有する疑似色の画素データを1バンド以上含む3バンド又は4バンドの1フレーム撮像データを出力するモードと、RGB画素データのうち少なくとも1色の画素データと近赤外光画素データとを含む3バンド又は4バンドの1フレーム撮像データを出力するモードとのうち少なくとも一方が含まれることを特徴とする請求項1~請求項4のいずれか一項に記載の撮像装置。
【請求項6】
前記N種の光源は、前記カラーイメージセンサの全感度波長領域をカバー可能な可視光光源及び近赤外光光源を含み、
前記制御部は、前記N種の光源のうちモードに応じた前記M種の光源を選択し、選択した前記M種の光源を時分割で発光させることにより前記カラーイメージセンサに時分割で撮像させて複数のフレームを出力させ、
前記再配列処理部は、次のフレーム内に前フレームの撮像時の前記光源の残光が入り込むことによる当該残光の次フレームへの影響を低減する補正をフレーム間の演算処理により行うことを特徴とする請求項1~請求項5のいずれか一項に記載の撮像装置。
【請求項7】
請求項1~請求項6のいずれか一項に記載の撮像装置と、
前記撮像装置が出力する画像に基づいて前記被写体を検査する検査処理部と
を備えることを特徴とする検査装置。
【請求項8】
被写体を撮像する撮像方法であって、
発光特性の異なる複数の光源を順次発光させて前記被写体を時分割で照明する照明ステップと、
時分割で照明された前記被写体をカラーイメージセンサに時分割で撮像させて複数のフレームを取得する撮像ステップと、
前記複数のフレームに対して隣接画素混合処理を前記フレームごとに行う隣接画素混合処理ステップと、
前記隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理を前記フレームごとに施すリサンプリング処理ステップと、
前記リサンプリング処理が施された複数フレーム分の画素データを1フレーム内の画素に再配列する再配列処理ステップと
を含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像する撮像装置、検査装置及び撮像方法に関する。
【背景技術】
【0002】
工場等の製造現場では、製造工程や検査工程を含む後工程でカメラを備えた撮像装置が使用される場合がある。通常、白黒カメラ又はカラーカメラを備えた撮像装置が使用される。この場合、白黒カメラ又はカラーカメラを用いて被写体を撮像し、得られた白黒画像又はカラー画像に基づいて被写体に所定の処理を施したり被写体の検査等を行ったりする。しかし、白黒画像やカラー画像以外にも、特定周波数の光を照射して被写体を撮像することで得られる疑似色画像又は近赤外画像を用いると、白黒画像やカラー画像では得られない被写体の特定の特徴が観察可能になる。そのため、撮像する用途に応じて被写体の疑似色画像又は近赤外画像が用いられる。
【0003】
例えば、特許文献1~3には、可視光と近赤外光との両方を撮像できる撮像素子またはカメラモジュールが開示されている。特許文献1には、カラー画像や赤外光画像、あるいは両者を合成した混在画像を取得できる撮像装置が開示されている。この撮像装置の撮像部は、可視光用の3つのフィルタと近赤外光用の1つのフィルタを含む色フィルタ群と、可視光を検知する3つの画素と近赤外光を検知する1つの画素とを含む固体撮像素子とを有する。また、特許文献2には、読み取り対象書類のカラー画像を検出するための画素センサと不可視情報として記録された近赤外光を検出するための画素センサを同一基板上に形成した固体撮像装置が開示されている。さらに、特許文献3には、レンズの前面にIRカット特性を持ちかつ絞りを兼ね備えた構造のフィルタ部を配置した構造を有するカメラモジュールが開示されている。
【0004】
また、マルチスペクトルカメラを備える撮像装置が使用される場合もある。マルチスペクトルカメラであれば、白黒画像、カラー画像、疑似色画像、近赤外画像が得られる。また、マルチスペクトルカメラであれば、疑似色画像、近赤外画像を取得するときの光周波数も調整可能である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-53731号公報
【特許文献2】特開平10-65135号公報
【特許文献3】特開2002-182270号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮像する目的によって、白黒画像、カラー画像、疑似色画像、近赤外画像が必要になる。白黒画像とカラー画像は1台の汎用のカラーカメラで撮像して取得できる。また、特許文献1~3に記載の特殊な固体撮像装置(イメージセンサ)や特殊なカメラモジュール等を用いれば、カラー画像と近赤外画像を取得できるが、特殊な撮像装置となるため、カメラを含む撮像装置が高額になる。また、マルチスペクトルカメラを備える撮像装置は、構造が複雑でさらに高額になる。このため、例えば、工場等の製造現場での製造工程や検査工程で被写体の画像を取得する目的で使用するには撮像装置が高額になり、製品の製造コストの上昇の原因となる。
【0007】
また、カラー画像以外の疑似色で撮像された疑似色画像や近赤外画像などが必要な場合、汎用のカラーカメラに替えまたは加え、特殊な固体撮像装置や特殊なカメラモジュールを含むカメラが必要になる。このため、複数台のカメラを備えた撮像装置が必要になる。したがって、汎用のカラーカメラ等の安価な1台のカメラを用いて、カラー画像以外の疑似色画像又は近赤外画像等のマルチスペクトル画像を取得できる比較的安価な撮像装置が要望されている。
【課題を解決するための手段】
【0008】
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する撮像装置は、被写体を撮像する撮像装置であって、前記被写体を撮像するセンサ部を有するカラーイメージセンサと、前記被写体を照明する発光特性の異なるN種(但し、Nは2以上の自然数)の光源と、前記N種のうちM種(但し、Mは2≦M≦Nを満たす自然数)の前記光源を時分割で発光させることで前記カラーイメージセンサにM回の撮像を行わせる制御部と、前記センサ部から出力されるM枚のフレームに対して隣接画素混合処理を前記フレームごとに行う隣接画素混合処理部と、前記隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理をフレームごとに行うリサンプリング処理部と、前記リサンプリング処理された複数フレーム分の画素データを1フレーム内の画素に再配列する再配列処理部とを備える。
【0009】
この構成によれば、1つの汎用のカラーイメージセンサを用いて被写体を撮像することで、マルチスペクトル画像を取得できる。よって、被写体のマルチスペクトル画像を簡単な構成で取得できる。
【0010】
上記撮像装置において、前記カラーイメージセンサの前記センサ部から出力される前記フレームに相当する撮像信号を処理する信号処理部を備え、前記隣接画素混合処理部は、前記カラーイメージセンサと前記信号処理部とのうち少なくとも前記信号処理部に備えられ、前記複数のフレームに対して前記フレームごとに前記カラーイメージセンサと前記信号処理部のうちいずれか一方、または双方を選択し、選択した一方、または双方が備える前記隣接画素混合処理部が前記フレームごとに前記隣接画素混合処理を行い、前記隣接画素混合処理では、混合する隣接画素を前記フレームごとに選択してもよい。
【0011】
この構成によれば、カラーイメージセンサから撮像信号が出力される所要時間が短く済み、高速処理が可能になると共に、カラーイメージセンサの隣接画素混合処理機能に制限がある場合、あるいは、機能を有していない場合でも、隣接画素混合処理を行うことができ、解像度特性の劣化を低減するリサンプリング処理、再配列処理を実施できる。
【0012】
上記撮像装置において、前記カラーイメージセンサを構成するカラーフィルタの画素の配列がベイヤ配列であり、前記再配列処理部は、前記複数フレーム分の前記画素データを1フレーム内に前記ベイヤ配列と同じ3色4画素配列で再配列してもよい。
【0013】
この構成によれば、ベイヤ配列等の汎用の画素配列が採用されたカラーイメージセンサを有するカラーカメラに対しては、カラーカメラから出力される撮像信号(フレーム)を、複数の色別の画像に変換するための汎用の画素配列変換部(例えば、ベイヤ配列変換部)が提供されている。このため、複数フレーム分の画素データを1フレーム内にベイヤ配列と同じの3色4画素配列で再配列して1フレーム撮像データを生成することで、この1フレーム撮像データを複数の色別の画像に変換するときに既存する汎用の画素配列変換部を利用できる。
【0014】
上記撮像装置において、前記カラーイメージセンサを構成するカラーフィルタの画素の配列がベイヤ配列であり、前記制御部は、発光特性の異なる前記光源の光で前記被写体を順次照明することで前記カラーイメージセンサに時分割で複数回の撮像を行わせ、前記複数のフレームに対して前記フレームごとに前記隣接画素混合処理及び前記リサンプリング処理を行って得られた4フレーム分の前記画素データを1フレーム内に前記ベイヤ配列と同じ4画素を単位とする4色4画素配列で再配列する再配列処理を前記再配列処理部が行うことにより、4バンドの1フレーム撮像データを生成してもよい。
【0015】
この構成によれば、ベイヤ配列の色数である「3」よりも多いバンド数である4バンドの1フレーム撮像データを取得できる。
上記撮像装置において、前記N種の光源は、可視光を照射可能な光源と、近赤外光を照射可能な光源とを含み、前記制御部は、前記N種の光源のうちモードに応じた前記M種の光源を選択し、選択した前記M種の光源を時分割に発光させることにより前記カラーイメージセンサに時分割で複数回の撮像を行わせ、前記再配列処理部は、選択された前記モードに応じた種類の1フレーム撮像データを出力し、前記モードには、可視光から近赤外光までの光波長領域内に波長を有する疑似色の画素データを1バンド以上含む3バンド又は4バンドの1フレーム撮像データを出力するモードと、RGB画素データのうち少なくとも1色の画素データと近赤外光画素データとを含む3バンド又は4バンドの1フレーム撮像データを出力するモードとのうち少なくとも一方が含まれてもよい。
【0016】
この構成によれば、撮像装置は、疑似色を1バンド以上含む3又は4バンドの1フレーム撮像データと、RGBのうち少なくとも1色の画素データと近赤外光画素データとを含む3バンド又は4バンドの1フレーム撮像データとのうち少なくとも一方を出力できる。1つの汎用のカラーイメージセンサを内蔵する1台の汎用のカラーカメラを備える撮像装置を用いて、疑似色又は近赤外光のバンドを1バンド以上含む3バンド又は4バンドの1フレーム撮像データから、光学的特性の異なる複数(複数バンド)の画像を取得できる。
【0017】
上記撮像装置において、前記N種の光源は、前記カラーイメージセンサの全感度波長領域をカバー可能な可視光光源及び近赤外光光源を含み、前記制御部は、前記N種の光源のうちモードに応じた前記M種の光源を選択し、選択した前記M種の光源を時分割で発光させることにより前記カラーイメージセンサに時分割で撮像させて複数のフレームを出力させ、前記再配列処理部は、次のフレーム内に前フレームの撮像時の前記光源の残光が入り込むことによる当該残光の次フレームへの影響を低減する補正をフレーム間の演算処理により行ってもよい。
【0018】
この構成によれば、前フレームの照明の次フレームへの影響を低減でき、発光波長の混ざりがない波長分離精度の高い画像を出力できる。
上記課題を解決する検査装置は、上記撮像装置と、前記撮像装置が出力する画像に基づいて前記被写体を検査する検査処理部とを備える。
【0019】
この構成によれば、複数種の撮像画像を用いて被写体に対して種々の検査を行うことができる。
上記課題を解決する撮像方法は、被写体を撮像する撮像方法であって、発光特性の異なる複数の光源を順次発光させて前記被写体を時分割で照明する照明ステップと、時分割で照明された前記被写体をカラーイメージセンサに時分割で撮像させて複数のフレームを取得する撮像ステップと、前記複数のフレームに対して隣接画素混合処理を前記フレームごとに行う隣接画素混合処理ステップと、前記隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理を前記フレームごとに行うリサンプリング処理ステップと、前記リサンプリング処理された複数フレーム分の画素データを1フレーム内の画素に再配列する再配列処理ステップとを含む。
【0020】
この撮像方法によれば、被写体のマルチスペクトル画像を簡単な構成で取得できる。
【発明の効果】
【0021】
本発明によれば、1つの汎用のカラーイメージセンサを用いて被写体を撮像することで、マルチスペクトル画像を取得できる。
【図面の簡単な説明】
【0022】
【
図1】第1実施形態における撮像装置を示す模式図である。
【
図2】IRカットフィルタを外したカラーカメラを備えた撮像装置を示す構成図である。
【
図3】(a)~(f)は、撮像装置のモードごとの出力画像について説明する説明図である。
【
図7】(a),(b)は、それぞれ異なる照明部とイメージセンサの各種の特性を示す3つのグラフをそれぞれ示す。
【
図8】第1実施例の撮像から画像出力までの処理の流れを示す模式図である。
【
図9】撮像から画像出力までの処理を示す模式構成図である。
【
図10】(a)~(g)は、再配列の対象となる4枚の画像を生成するために必要な一部の画像処理を説明する各画像と、4枚の画像から1フレーム撮像データIxyzを生成するための画素の再配列の仕方を説明する模式図である。
【
図11】(a)は比較例、(b)は第1実施例のそれぞれ撮像から画像出力までの処理を示すタイミングチャートである。
【
図12】第2実施例の撮像から画像出力までの処理の流れを示す模式図である。
【
図13】撮像から画像出力までの処理を示す模式構成図である。
【
図14】(a)~(l)は、再配列の対象となる4枚の画像を生成するために必要な一部の画像処理を説明する各画像と、4枚の画像から1フレーム撮像データIxzgbを生成するための画素の再配列の仕方を説明する模式図である。
【
図15】撮像から画像出力までの処理を示すタイミングチャートである。
【
図16】第3実施例の撮像から画像出力までの処理の流れを示す模式図である。
【
図17】撮像から画像出力までの処理を示すタイミングチャートである。
【
図18】第5実施例の撮像から画像出力までの処理の流れを示す模式図である。
【
図19】撮像から画像出力までの処理を示すタイミングチャートである。
【
図20】第2実施形態の信号処理部の構成を示すブロック図である。
【
図21】第2実施形態のタイミングチャートである。
【発明を実施するための形態】
【0023】
(第1実施形態)
以下、撮像装置及び撮像装置を備えた検査装置について図面を参照して説明する。
<撮像装置の概略構成>
図1に示す撮像装置11は、被写体12を撮像して画像を出力する装置である。撮像装置11は、被写体12を照明する照明部20と、被写体12を撮像するカラーイメージセンサ31(以下、単に「イメージセンサ31」ともいう。)と、被写体12からの光を集光させるレンズ32とを備える。さらに、撮像装置11は、照明部20及びイメージセンサ31等を制御する制御部40と、イメージセンサ31から出力される撮像信号S1に対して画像処理を施す画像処理部50とを備える。照明部20は、発光特性の異なるN種(但し、Nは2以上の自然数)の光源21~23を含む。
図1では、一例として、N種が3種(N=3)の例を示しているが、Nは2以上の自然数であればよく、N=2又はN=4でもよい。
【0024】
制御部40は、N種のうちM種(但し、Mは2≦M≦Nを満たす自然数)の光源21~23を時分割で発光させることで、カラーイメージセンサ31にM種の異なる光が照射された被写体12を時分割でM回撮像させる。イメージセンサ31は、M枚のフレームに相当する撮像信号S1を出力する。
【0025】
カラーイメージセンサ31は、R受光素子33R、G受光素子33G及びB受光素子33Bよりなる3種の画素(ピクセル)を備える。3種の受光素子33R,33G,33Bは、それぞれ赤色光(R光)、緑色光(G光)、青色光(B光)を受光可能である。本例のイメージセンサ31は、3種の受光素子33R,33G,33Bが、例えば、4画素正方単位領域に3色4画素(RGGB)で配列されたベイヤ配列を採用する。
【0026】
カラーイメージセンサ31は、レンズ32を通して被写体12の像を受光し、その受光結果に応じた撮像信号S1を出力する。撮像信号S1は、M枚のフレームに相当する。イメージセンサ31が出力する撮像信号S1は、画像処理部50に入力される。
【0027】
図1に示すように、撮像装置11は、作業者が複数のモードの中から選択したモードに応じた撮像形式で撮像した画像を出力する構成でもよい。例えば、
図1に示す制御部40は、モード設定部41、トリガ制御部42及び選択部43を備える。モード設定部41は、作業者が入力部75(
図4参照)を操作して選択したモードを設定する。モード設定部41は、モードを指定するモード信号MSをトリガ制御部42及び選択部43に出力する。
【0028】
トリガ制御部42は、光源21~23に発光開始タイミングのトリガとなる発光制御信号LCと、光源21~23の発光タイミングに合わせた撮像タイミングでイメージセンサ31に撮像(露光)を開始させるトリガとなる撮像制御信号ICとを出力する。トリガ制御部42は、N種の光源21~23のうちモード信号MSで指定されたモードに応じたM種の光源21~23を、発光制御信号LCをトリガとして時分割で発光させる発光制御を行う。また、トリガ制御部42は、撮像制御信号ICをトリガとして、光源21~23の発光タイミングに合わせた撮像タイミングでイメージセンサ31に所定の露光時間でM回撮像させる撮像制御を行う。被写体12に対するM回の発光とM回の撮像とにより、イメージセンサ31からM枚のフレームに相当する撮像信号S1が出力される。
【0029】
画像処理部50は、撮像信号S1に基づくM枚のフレームに各種の画像処理を施す。画像処理部50は、画像処理の結果として、複数枚(k枚)のフレームの各画素データが1フレーム内に所定の画素配列で再配列された複数バンド(kバンド)の1フレーム撮像データIxyzを生成し出力する。ここで、本例のkは、M≦k≦4を満たす自然数である。
【0030】
また、撮像装置11は、画素配列変換部55を備えてもよい。画素配列変換部55は、所定の画素配列の複数バンド(kバンド)の1フレーム撮像データIxyzを、色別のk枚の画像データに変換する。ここでいう色とは、可視光のうちRGB以外の色に限らず、近赤外光を表現する疑似色も含まれる。
【0031】
図1に示す画像処理部50は、隣接画素混合処理部51、リサンプリング処理部52及び再配列処理部53を備える。なお、
図1では、イメージセンサ31は、撮像素子の部分であるセンサ部31Sのみを示す。また、
図1では、イメージセンサ31と隣接画素混合処理部51は別体として描いているが、イメージセンサ31は、そのセンサ部31Sが出力する撮像信号S1に対して隣接画素混合処理を行う隣接画素混合処理部51の少なくとも一部を備える構成であってもよい。また、センサ部31Sが隣接画素混合処理部51の少なくとも一部を備える構成であってもよい。
【0032】
選択部43は、選択設定信号に基づいてイメージセンサ31と画像処理部50に対して処理モードの選択及びパラメータ設定を行う。撮像装置11に使用されるイメージセンサ31には、隣接画素混合処理部51を備えるものや、隣接画素混合処理部51を備えないものがある。また、イメージセンサ31は、隣接画素混合処理部51を備える場合、その機能に制限があるものもあれば、制限がないものもある。作業者は、撮像装置11に使用されるイメージセンサ31における隣接画素混合処理部51の有無及びその機能制限の有無に応じて、イメージセンサ31及び画像処理部50に行わせる処理を選択する設定を行う。作業者が入力部75を操作してこの処理の選択をした結果として選択設定信号が選択部43に入力される。
【0033】
選択部43は、作業者が入力部75(
図4参照)を操作して行った選択設定に基づく選択設定信号及びモード信号MSから決まる露光信号ESをイメージセンサ31に出力する。露光信号ESは、M回の撮像(露光)ごとに露光時間を指定する信号である。
【0034】
選択部43は、画像処理部50に対してビニング信号BS及びシフト信号PSを与える。ビニング信号BSは、フレームごとに隣接画素混合処理を指示する信号である。ビニング信号BSには、混合すべき隣接画素を指定する水平・垂直画素数が含まれる。また、シフト信号PSは、リサンプリング処理部52に対してフレームごとに画素をシフトさせる位相(ビニング位相)を指示する信号である。フレームごとに画素を指定の位相へシフトさせる位相シフト処理は、隣接画素混合処理で混合すべき隣接画素の組合せの選択により行われる。なお、選択部43から画像処理部50へは、信号BS,PS以外にもモード設定信号を含む複数の設定信号(図示略)が入力される。
【0035】
隣接画素混合処理部51は、センサ部31SからのM枚のフレーム(撮像信号S1)に対して隣接画素混合処理(ビニング処理)をフレームごとに行う。ここで、隣接画素混合処理とは、複数の画素の電荷を統合して1つの画素として出力することで感度を増強する処理である。但し、混合される隣接画素の数を倍率とするビニング倍率の数値に応じて出力解像度が低下する。例えば、イメージセンサ31の出力である1色4画素を1色1画素にビニング処理することで、ビニング処理前に対して1/4の露光時間で同等の感度が得られる。このため、イメージセンサ31の露光時間は、1/4で済む。換言すれば、同じ色(波長)の光を受光するK画素(但し、Kは2以上の自然数)を、隣接画素混合処理(ビニング処理)すると、同等の感度を得るために必要な露光時間は、1/Kで済む。
【0036】
リサンプリング処理部52は、フレームに対して画素の中心位置である位相をシフトするリサンプリング処理をフレームごとに行う。リサンプリング処理部52は、リサンプリング処理を行うために1フレーム当たりの画素数を上げるアップサンプリング処理機能及び1フレーム当たりの画素数を下げるダウンサンプリング処理機能を備える。ダウンサンプリング処理機能が隣接画素混合処理部51の少なくとも一部を構成してもよい。つまり、隣接画素混合処理部51とリサンプリング処理部52は、少なくとも一部が同じ処理部により構成されてもよい。
【0037】
再配列処理部53は、隣接画素混合処理及び位相シフト処理後の複数のフレームを入力し、複数フレーム分の画素データ(画素値)を1フレーム内の画素に所定画素配列で再配列する。再配列処理部53は、隣接画素混合が施されたk枚のフレームの画素データを1フレーム内に所定画素配列で再配列した処理結果として、kバンドの1フレーム撮像データIxyzを出力する。k=3である場合、隣接画素混合が施された3枚のフレームの画素データを1フレーム内に所定画素配列の一例としてベイヤ配列と同様の3色4画素配列で再配列する。
図1の例では、画像処理部50からは、再配列処理により生成された3バンドの1フレーム撮像データIxyzが出力される。なお、以下では、1フレーム撮像データを、1フレーム画像ともいう。
【0038】
画素配列変換部55は、画像処理部50から出力された複数バンドの1フレーム画像Ixyzを、複数枚(複数バンド)の単色の画像SIiに変換する。ここで、SIiの添字iは、i=1,2,…,kであり、kはバンド数である。すなわち、画素配列変換部55は、kバンドの1フレーム画像Ixyzをk枚の単色の画像SI1~SIkに変換する機能を有する。例えば、3バンドの1フレーム画像Ixyzは、画素配列変換部55により、X疑似色画像SI1、Y疑似色画像SI2、Z疑似色画像SI3のk枚(例えば3枚)に変換される。
【0039】
一般に、汎用カラーカメラでは、イメージセンサ31にベイヤ配列が多く用いられる。このため、汎用カラーカメラで撮像して得られたベイヤ配列3バンドの1フレームカラー画像を、RGB単色の複数の画像(R画像、G画像、B画像)に変換可能な既存の画素配列変換部55は入手しやすい。本実施形態の画像処理部50は、既存の画素配列変換部55を利用できるように、例えば、ベイヤ配列と同じ4画素を1単位とする所定画素配列で複数バンドの1フレーム画像を生成する。なお、本明細書では、所定画素配列についてベイヤ配列という場合,RGGB3色4画素の画素配列に限らず、3色4画素の同じ画素配列を指してもベイヤ配列という場合がある。本実施形態では、画素配列変換部55は、例えば、ベイヤ配列の1フレーム画像を複数枚の単色の画像に変換するベイヤ配列変換部である。なお、画素配列変換部55は、ベイヤ配列変換部に限らず、ベイヤ配列以外の他の形式の所定画素配列の1フレーム画像を、複数枚の単色の画像に変換する画像分離変換機能を有するものであればよい。
【0040】
<カメラ及びPCの概略構成>
次に、
図2を参照して、撮像装置11を構成するカラーカメラ30及びパーソナルコンピュータ70(以下「PC70」ともいう。)の概略構成について説明する。
図2に示すカラーカメラ30(以下、単に「カメラ30」ともいう。)は、汎用のカラーカメラをベースとし、
図2に二点鎖線で示すIRカットフィルタ35が除去されている。イメージセンサ31は、近赤外光がカットされず、可視光及び近赤外光の波長帯域の光に対して撮像可能な感度を有する。
【0041】
カメラ30は、鏡筒30aに組み付けられたレンズ32と、前述のイメージセンサ31とを備える。イメージセンサ31は、センサ部31Sを備える。センサ部31Sは、カラーフィルタ34を備える。カラーフィルタ34は、本例では、ベイヤ配列されたRフィルタ34R、Gフィルタ34G及びBフィルタ34Bを備える。
【0042】
センサ部31Sは、R受光素子33Rと、G受光素子33Gと、B受光素子33Bとを備える。R受光素子33Rは、Rフィルタ34Rを透過した光(主にレッド光)を受光し受光量に応じたR撮像信号を出力する。G受光素子33Gは、Gフィルタ34Gを透過した光(主にグリーン光)を受光し受光量に応じたG撮像信号を出力する。B受光素子33Bは、Bフィルタ34Bを透過した光(主にブルー光)を受光し受光量に応じたB撮像信号を出力する。受光素子33R,33G,33G,33Bは、RGGBの3色4画素を1単位とするベイヤ配列で配置されている。なお、センサ部31Sを構成する受光素子33R,33G,33Bは、イメージセンサ31の画素(ピクセル)とも言える。
【0043】
次に、
図2を参照して、隣接画素混合処理部51の構成について説明する。撮像装置11は、イメージセンサ31のセンサ部31Sから出力されるフレームに相当する撮像信号を処理する信号処理部60を備える。信号処理部60は、カメラ30とPC70のうち少なくとも一方に備えられている。隣接画素混合処理部51は、イメージセンサ31と信号処理部60とのうち少なくとも一方に備えられている。本実施形態では、隣接画素混合処理部51は、イメージセンサ31と信号処理部60とのうち少なくとも信号処理部60に備えられている。
【0044】
図2に示すように、隣接画素混合処理部51は、カメラ30の構成にも依存する。隣接画素混合処理部51は、イメージセンサ31に内蔵された隣接画素混合処理部51Sと、信号処理部60に内蔵された隣接画素混合処理部51Dとを含んでもよい。
【0045】
イメージセンサ31内の隣接画素混合処理部51Sは、センサ部31Sに内蔵された隣接画素混合処理部51Sと、イメージセンサ31のチップに実装された隣接画素混合処理部51Sとの少なくとも一方であればよい。センサ部31Sに内蔵された隣接画素混合処理部51Sは、隣接する複数の受光素子(画素)分の電荷を混合して1画素分として出力することで、隣接画素混合処理された撮像信号S1をセンサ部31Sから出力する。このように、隣接画素混合処理部51Sは、センサ部31Sを構成する多数の受光素子(画素)に蓄えられた1回の撮像分の電荷の群をフレームとし、このフレームごとに隣接する複数画素分の電荷を混合して出力する処理を隣接画素混合処理として行う。隣接画素混合処理部51Sは、この隣接画素混合処理によって混合した電荷に相当するアナログ値を有する撮像信号S1をイメージセンサ31から出力させる。一方、イメージセンサ31のチップに実装された隣接画素混合処理部51Sは、信号処理部60内の隣接画素混合処理部51Dとほぼ同様の処理を行う集積回路により構成される。隣接画素混合処理部51Sは、センサメーカにより提供される。隣接画素混合処理部51Sの機能を提供するか否かは、採用するカメラ30の設計仕様に依存する。
【0046】
信号処理部60に内蔵される隣接画素混合処理部51Dは、例えば集積回路である。カメラ30内の信号処理部60に実装される隣接画素混合処理部51Dは、カメラメーカにより提供される。カメラ30が隣接画素混合処理部51Dを備えるか否かは、採用するカメラ30の構成に依存する。PC70内の信号処理部60に実装される隣接画素混合処理部51Dは、例えば、撮像装置11の製造メーカにより提供される。
【0047】
図2に示すように、隣接画素混合処理部51には、主に3つの形態がある。第1の形態では、イメージセンサ31は、センサ部31Sとチップとのうち少なくとも一方に実装された隣接画素混合処理部51Sを備える。そして、カメラ30とPC70とのうち少なくとも一方に備えられた信号処理部60が、隣接画素混合処理部51Dを実装している。信号処理部60は、カメラ30とPC70とのいずれか一方に備えられれば足りる。
【0048】
前述のとおり、カメラ30には、センサ部31Sが隣接画素混合処理部51Sを内蔵するものと内蔵しないものとがある。また、センサ部31Sに内蔵されていても隣接画素混合処理部51Sに機能の制限がある場合がある。このため、第1の形態では、イメージセンサ31と信号処理部60とのうち少なくとも信号処理部60に隣接画素混合処理部51Dが備えられた構成とする。信号処理部60が隣接画素混合処理部51Dを備えることで、イメージセンサ31内の隣接画素混合処理部51Sの有無又はその機能制限の有無に関わらず、センサ部31Sから出力されたM枚のフレームに対して隣接画素混合処理を施すことが可能である。
【0049】
本実施形態では、特に、第1の形態として、センサ部31Sに内蔵された隣接画素混合処理部51Sと、PC70内の信号処理部60に実装された隣接画素混合処理部51Dとを少なくとも備える。撮像装置11の製造メーカは、カメラ30の構成に関わらず必要な隣接画素混合処理を実施可能な信号処理部60を、PC70に実装する。センサ部31Sが隣接画素混合処理部51Sを備える場合、この隣接画素混合処理部51Sに、隣接画素混合処理を優先して行わせる。これは、センサ部31S内の隣接画素混合処理部51Sにより隣接画素混合処理がなされると、その処理後の画素に比較的高い感度が得られるうえ、1フレーム当たりの画素数を削減して撮像信号の出力に要する出力時間の短縮が可能だからである。
【0050】
第2の形態は、メージセンサ31が隣接画素混合処理部51Sを備えず、信号処理部60が隣接画素混合処理部51Dを備える形態である。第3の形態は、イメージセンサ31が隣接画素混合処理部51Sを備え、信号処理部60が隣接画素混合処理部51Dを備えない形態である。
【0051】
<撮像装置の出力画像>
次に、
図3を参照して、画像処理部50がモードに応じて出力する画像について説明する。画像処理部50は、
図3(a)~(d)のうち少なくとも1つの画像を出力可能である。なお、
図3(e),(f)は、従来の汎用カラーカメラでも出力可能な画像である。すなわち、
図3(e),(f)は、比較例の画像である。
図3(e)は、ベイヤ配列1フレームのRGB画像Irgbであり、
図3(f)は、白黒画像Iwbである。
【0052】
図3(a)は、第1モードのときに画像処理部50が出力する3バンド1フレーム画像Ixyzである。この1フレーム画像Ixyzは、1フレームの中にX画素、Y画素及びZ画素の3色の画素が、ベイヤ配列と同様の3色4画素の配列で配置された1フレーム撮像データである。この3バンド1フレーム画像Ixyzは、画素配列変換部55によって、3枚の疑似カラー画像により構成される3バンド疑似カラー画像(X,Y,Z画像)に変換される。
【0053】
図3(b)は、第2モードのときに画像処理部50が出力する4バンド1フレーム画像Ixzgbである。この1フレーム画像Ixzgbは、1フレームの中にX画素、Z画素、G画素及びB画素の4色の画素が、ベイヤ配列の1単位と同様の正方4画素の各画素に割り当てられた4色4画素配列の1フレーム撮像データである。この4バンド1フレーム画像Ixzgbは、画素配列変換部55によって、2枚の疑似カラー画像(X画像、Z画像)と2枚のカラー画像(G画像、B画像)により構成される4バンド画像(X,R,G,B画像)に変換される。
【0054】
図3(c)は、第3モードのときに画像処理部50が出力する4バンド1フレーム画像Ixrgbである。この1フレーム画像Ixrgbは、1フレームの中にX画素、R画素、G画素及びB画素の4色の画素が、ベイヤ配列の1単位と同様の正方4画素に割り当てられた4バンドの1フレーム撮像データである。この4バンド1フレーム画像Ixrgbは、画素配列変換部55によって、1枚の疑似カラー画像(X画像)と3枚のカラー画像(R画像、G画像、B画像)により構成される4バンド画像(X,R,G,B画像)に変換される。
【0055】
図3(d)は、第4モードのときに画像処理部50が出力する画像であり、1枚の3バンド1フレーム画像Ixyzと1枚のベイヤ配列1フレームのRGB画像Irgbとを含む。この3バンド1フレーム画像Ixyzは、
図3(a)と同様の1フレーム撮像データである。この3バンド1フレーム画像Ixyzは、画素配列変換部55によって、3枚の疑似カラー画像により構成される3バンド疑似カラー画像に変換される。RGB画像Irgbは、画素配列変換部55によって、3枚のカラー画像(R画像、G画像、B画像)に変換される。
【0056】
なお、本実施形態の画像処理部50は、
図3(e)に示すベイヤ配列1フレームのRGB画像Irgbと、
図3(f)に示す白黒画像Iwbとを、それぞれ第5モード及び第6モードのときに出力可能である。また、本実施形態の特徴である画像処理部50の第1~第4モードに応じた各画像処理の詳細については、後述する第1~第5実施例で説明する。
【0057】
<信号処理部を異なる位置に備える撮像装置の構成>
次に、
図4及び
図5を参照して、撮像装置11の具体的な構成について説明する。
図4、
図5は、撮像装置11を検査装置10に適用した例を示している。
図4は、前述した信号処理部60がPC70に内蔵された第1構成の例である。また、
図5は、信号処理部60がカメラ30及びPC70に内蔵された第2構成の例である。なお、信号処理部60は、カメラ30のみに内蔵されてもよい。
【0058】
図4、
図5に示す信号処理部60は、FPGA(field-programmable gate array)により構成される。FPGAは、製造後に購入者や設計者が構成を設定できる集積回路である。PLD(プログラマブルロジックデバイス)の一種であり、現場でプログラム可能なゲートアレイである。なお、信号処理部60は、ASIC(Application Specific Integrated Circuit)により構成されてもよい。また、FPGAは、CPUコアや周辺回路を組み込んだ構成でもよい。
【0059】
以下、
図4を参照して、撮像装置11及び検査装置10の基本的な構成について説明する。
図4に示すように、照明部20は、第1光源21と、第2光源22と、第3光源23とを備える。第1光源21は、例えば、RGB光と異なる周波数帯域に発光スペクトルを有するX光を発光可能である。第2光源22は、例えば、RGB光及びX光と異なる周波数帯域に発光スペクトルを有するY光を発光可能である。第3光源23は、例えば、RGB光、X光及びY光と異なる周波数帯域に発光スペクトルを有するZ光を発光可能である。つまり、第1~第3光源21~23は、互いに異なる周波数帯域の発光スペクトルを有するX光、Y光及びZ光をそれぞれ発光可能である。
【0060】
なお、照明部20を構成する光源の種類は、3種に限定されず、N種であればよい。ここで、Nは、2以上の自然数である。
図4、
図5に示す例は、N=3の例である。また、N種の光源のすべてを時分割の発光に用いる必要はなく、N種の光源のうちモードに応じて選択したM種の光源を用いて時分割の発光を行ってもよい。ここで、Mは、2≦M≦Nを満たす自然数である。なお、X光、Y光、Z光を時分割で発光させて撮像を行う場合、N=Mである。
【0061】
照明部20は、3種の光源21~23以外の他の光源を含む構成でもよい。照明部20は、例えば、RGB光をそれぞれ発光する3種の光源(R光源、G光源及びB光源)を含んでもよい。照明部20は、例えば、白色光を発光可能な白色光源22Wを含んでもよい。この場合、白色光源22Wは、RGB光を同時に発光可能なR光源、G光源及びB光源により構成されてもよい。このように、本実施形態では、時分割で複数回に分けて発光されるときの1回分の発光に用いられる1種の光源は、同時に発光する複数の光源により構成されてもよい。この場合、1種の光源は、これを構成する複数の光源の個々の発光スペクトルを全て合わせた発光スペクトルを有する。なお、本実施形態の第1光源21(X光源)は、X光として近赤外光を発光可能な近赤外光源である。
【0062】
このように、照明部20は、可視光周波数帯域及び近赤外周波数帯域の範囲内に、それぞれが周波数帯域の異なる発光スペクトルを有する少なくとも2種の光源を含む構成であればよい。例えば、N=2でもよいし、N=4でもよい。
【0063】
また、複数種の光源21~23は、被写体12に対して光を照射可能であれば、被写体12とカラーカメラ30に対する位置関係は特に限定されない。撮像して得たい画像に応じて光源の位置を設定してもよい。例えば、被写体12に対して正面から光を照射してその反射光の像をカメラ30で撮像する場合、光源は、カメラ30側から被写体12に対して光を照射可能な位置に配置される。また、例えば、被写体12が光透過性の部分を有し、被写体12を透過した透過光の像をカメラ30で撮像する場合、光源は、被写体12を挟んでカメラ30と反対側の位置に配置される。このように、照明部20は、複数種の光源21~23の位置は適宜設定でき、それぞれが1つの照明体に組み込まれた構成でもよいし、それぞれが異なる位置に離れて配置される構成でもよい。
【0064】
また、
図4、
図5に示すように、PC70は、CPU71(Central Processing Unit)、画像入力ボード72、VRAM73(Video RAM)及び検査処理部74を備える。PC70は、キーボード等の入力部75及びモニタ等の表示部76を備える。
【0065】
制御部40(
図1参照)は、CPU71及び画像入力ボード72の一部により構成される。CPU71は、センサ(図示略)からの検知信号に基づき信号処理部60に照明部20及びカメラ30を制御する制御信号を出力させる。また、画像入力ボード72は、カメラ30から入力したフレームに相当する撮像データや信号処理部60から出力された画像データをVRAM73に記憶する。検査処理部74は、VRAM73に一時記憶された画像データに基づいて被写体12を検査する。なお、検査処理部74に替えて、画像解析部(図示略)とし、画像解析部による画像解析結果に基づいて被写体12に対して所定の処理を施す構成としてもよい。画像解析部としては、被写体12に形成されたマーク又は特異な形状を画像の解析により検出し、検出位置を基準位置として被写体12の所定位置に対し所定の処理を施す構成などが挙げられる。所定の処理としては、加工処理(レーザー加工処理等)、印字処理、マーキング処理、加熱処理、紫外線照射処理、把持処理などの種々の処理が挙げられる。
【0066】
<信号処理部60の詳細な構成>
次に、
図6を参照して、信号処理部60の詳細な構成について説明する。
図6に示す信号処理部60は、前述したFPGAにより構成される。
【0067】
図6に示すように、信号処理部60は、時分割の撮像によりシリアルで入力されるM枚のフレーム(撮像信号)を同期して処理するために、先に入力されたフレームを一時的に記憶する複数(例えば(M-1)個)のフレームメモリ61,62を備える。
図6は、Mが最大3まで対応可能な構成の例であり、信号処理部60は、第1フレームメモリ61と第2フレームメモリ62とを備える。なお、フレームメモリの数を3個以上とし、M=4以上に対応できる構成としてもよい。
【0068】
また、信号処理部60は、隣接画素混合処理部51Dと、リサンプリング処理部52と、再配列処理部53とを備える。隣接画素混合処理部51Dは、イメージセンサ31内に隣接画素混合処理部51Sを備えない構成や、隣接画素混合処理部51Sに機能制限がある場合でも、センサ部31Sから出力されるM枚のフレームすべてに隣接画素混合処理を施すことができるように設けられている。この点で、隣接画素混合処理部51Dは、隣接画素混合処理部51の一部を構成する。
【0069】
カメラ30から信号処理部60へは、M枚のフレームがシリアルで送信される。M枚のフレームは、先に入力されたフレームがフレームメモリ61,62の両方又は一方に順次記憶されることで、最後(M枚目)のフレームが入力されたタイミングで一緒にリサンプリング処理部52に入力される。なお、フレームメモリ61,62は、信号処理部60のうちFPGAの外に配置されてもよい。
【0070】
リサンプリング処理部52は、第1セレクタ63と、4つのアップサンプリング処理部64と、4つの後段ローパスフィルタ65(以下、「後段LPF65」と記す。)とを備える。さらに、リサンプリング処理部52は、第2セレクタ66と、4つの前段ローパスフィルタ67(以下、「前段LPF67」と記す。)と、4つのダウンサンプリング処理部68とを備える。本実施形態では、隣接画素混合処理部51Dは、4つの前段ローパスフィルタ67(以下、「前段LPF67」と記す。)と、4つのダウンサンプリング処理部68とにより構成される。すなわち、隣接画素混合処理部51の一部である隣接画素混合処理部51Dは、リサンプリング処理部52の一部でもある。
【0071】
第1セレクタ63の選択対象である4つのアップサンプリング処理部64は、それぞれと直列に接続された4つの後段LPF65を介して第2セレクタ66に接続されている。また、第2セレクタ66の選択対象である4つの前段LPF67は、それぞれと直列に接続された4つのダウンサンプリング処理部68を介して再配列処理部53に接続されている。
【0072】
4つのアップサンプリング処理部64は、画素数を上げるためのアップサンプリング処理を行う。アップサンプリング処理部64は、1フレーム当たりの画素数(画素数/フレーム)を2倍又は4倍に上げて各画素の中心位置である位相をシフトさせる位相シフトを可能にする。ここで、イメージセンサ31内の隣接画素混合処理部51Sが位相シフト機能を備えない場合、隣接画素混合処理部51Sによる隣接画素混合処理が施されたフレームに対して位相シフト処理を施す必要がある。そのためには、隣接画素混合処理が施されたフレームの画素数を上げる必要がある。このため、リサンプリング処理部52はアップサンプリング処理部64を備える。なお、アップサンプリング処理部64には、モード設定信号により指定されたモードに応じた処理係数が個々に設定される。
【0073】
4つの後段LPF65は、アップサンプリング処理後のフレームから、イメージセンサ31の2画素周期に等しい周期の第1周波数を超える高周波数成分を除去する。
4つの前段LPF67は、後段LPF65により第1周波数を超える高周波成分が除去されたフレームから、イメージセンサ31の4画素周期に等しい周期の第2周波数を超える高周波数成分を除去する。なお、後段LPF65及び前段LPF67には、モード設定信号により指定されたモードに応じた処理係数が個々に設定される。
【0074】
ダウンサンプリング処理部68は、フレームの画素数を削減するダウンサンプリング処理を行う。ダウンサンプリング処理部68は、ダウンサンプリングの位相を選択することによりアップサンプリング処理前の各画素の位相をシフトすることが可能である。すなわち、ダウンサンプリング処理により混合すべき隣接4画素の組合せの選択によって、隣接混合処理後の画素の位相を選択可能である。ダウンサンプリング処理部68は、シフト信号PSに基づき選択された組合せの隣接4画素を混合する隣接4画素混合処理を行うことにより、位相シフト処理を一緒に行う。このとき、ダウンサンプリング処理部68に隣接4画素混合処理を行わせるかどうかは、選択部43からの設定信号に基づくON/OFFの指令より個々に指示される。なお、ダウンサンプリング処理部68には、モード設定信号により指定されたモードに応じた処理係数が個々に設定される。
【0075】
再配列処理部53は、カメラ30内の隣接画素混合処理部51S又は信号処理部60内の隣接画素混合処理部51Dによって隣接4画素混合処理された複数枚(4枚)のフレームを入力する。再配列処理部53は、入力した複数枚のフレームの画素データ(画素値)を、1フレーム内に所定画素配列で再配列する再配列処理を行う。本実施形態では、所定画素配列は、信号処理部60により生成される1フレーム撮像データ(1フレーム画像)のバンド数によって異なる。例えば、1フレーム画像が3バンドである場合の所定画素配列は、ベイヤ配列と同様の3色4画素の画素配列である。例えば、XYZの3色である場合、3色がRGBであるときのベイヤ配列RGGBの4画素に替えて、3色をXYZとしたときのベイヤ配列と同様の画素配列であるXYYZの4画素に配列される。また、例えば、1フレーム画像が4バンドである場合の所定画素配列は、ベイヤ配列と同様の4画素に4色の画素が配列される4色4画素の画素配列である。このように、所定画素配列を、3色4画素又は4色4画素の画素配列とすることで、画素配列変換部55(
図1、
図3を参照)として既存のベイヤ配列変換部を採用できる。なお、再配列処理部53が再配列すべき所定画素配列は、選択部43(
図1参照)から信号処理部60に入力される設定信号に基づき指定される。
【0076】
図6では、再配列処理部53が第1モード時に3バンド1フレーム画像Ixyzを出力する例を示している。再配列処理部53は、そのときのモードに応じた
図3(a)~(d)に示される3バンド又は4バンドの1フレーム画像である1フレーム撮像データを出力する。また、リサンプリング処理部52は、ビニング信号BS及びシフト信号PS等に基づく設定値の選択により、入力したフレームに何も処理を施すことなくそのまま再配列処理部53に伝送する機能を有する。詳しくは、選択部43からの設定信号に基づきアップサンプリング処理部64のON/OFF、ダウンサンプリング処理部68のON/OFFが選択される。リサンプリング処理部52は、例えば、処理係数の選択によって、イメージセンサ31内の隣接画素混合処理部51Sにより必要な隣接4画素混合処理及び位相シフト処理が施されたフレームをそのまま通過させる機能を有する。なお、この機能は、各セレクタ63,66が、アップサンプリング処理部64、後段LPF65、前段LPF67及びダウンサンプリング処理部68を経由しない4列の信号経路の選択が可能な構成でもよい。また、
図5に示す第2構成では、カメラ30内の信号処理部60は、再配列処理部53を備えなくてもよい。
【0077】
<照明部20とイメージセンサ31の特性>
次に、
図7を参照して、光源21~23及びイメージセンサ31の特性について説明する。本実施形態では、照明部20は、
図7(a)に示す発光特性を有する光源21~23を含む構成と、
図7(b)に示す発光特性を有する光源21~23を含む構成とがある。
図7(a)は、光源21~23が、X光を発光可能なX光源21、Y光を発光可能なY光源22、Z光を発光可能なZ光源23である例である。また、
図7(b)は、光源21~23が、X光を発光可能なX光源21、白色光(「W光」とも記す。)を発光可能な白色光源22W(「W光源22W」とも記す。)、Z光を発光可能なZ光源23Zである例である。なお、
図7(a)に示す発光スペクトルを有するX光源21、Y光源22、Z光源23と、
図7(b)に示す発光スペクトル特性を有するW光源22W、Z光源23Zとを含む照明部20であってもよい。
【0078】
図7(a),(b)は、それぞれ異なる照明部20とイメージセンサ31との特性を示す。
図7(a),(b)において、左のグラフは、複数の光源21~23の発光スペクトルを示す。中央のグラフは、イメージセンサ31の分光感度を示す。この分光感度は、隣接4画素混合した画素に対する分光感度を示す。また、右のグラフは、上記照明により撮像する場合のイメージセンサ31の撮像信号の分光出力特性を示す。
【0079】
図7(a)の左のグラフは、X光源21、Y光源22、Z光源23の発光スペクトルを示す。このグラフにおいて、横軸は波長(nm)、縦軸が発光強度である。X光源21のX光は、830~980nmの波長帯域で0.3以上の発光強度を有する。Y光源22のY光は、620~660nmの波長帯域で0.3以上の発光強度を有する。Z光源23のZ光は、510~560nmの波長帯域で0.3以上の発光強度を有する。
【0080】
図7(a)の中央のグラフ中の感度曲線Sで示されるように、イメージセンサ31の隣接4画素混合した画素を画素単位とするときの分光感度は、可視光から近赤外光までの広い範囲の光に対して所定値(例えば0.2)以上の相対感度を有する。このグラフにおいて、横軸は波長(nm)、縦軸は相対感度を示す。イメージセンサ31がIRカットフィルタ35を除去したカラーカメラ30に備えられる構成であるため、イメージセンサ31は、可視光から近赤外光までの範囲である可視光波長領域VA及び近赤外波長領域NIRAの広い範囲の光に対して例えば0.2以上の相対感度を有する。詳しくは、イメージセンサ31は、400~950nmの波長帯域において、相対強度が例えば0.2以上となる分光感度を有する。特に、480~890nmの波長帯域において相対感度が0.5以上となる分光感度を有する。なお、イメージセンサ31は、可視光波長領域VA及び近赤外波長領域NIRAの範囲の光に対して、例えば0.1以上の相対感度があればよい。
【0081】
このため、可視光から近赤外光までの広い範囲内に発光スペクトルの波長帯域を有する光源21~23の光であれば、その光を受光したイメージセンサ31は、0.2以上の相対出力で撮像信号を出力できる。
【0082】
そのため、X光源21のX光、Y光源22のY光、Z光源23のZ光が、イメージセンサ31を露光したとき、
図7(a)の左のグラフに示すX光、Y光、Z光の分光出力特性が得られる。X光、Y光、Z光の分光出力特性は、
図7(a)に左のグラフで示された光源21~23の発光スペクトルと、イメージセンサ31の相対感度との積として示される。
【0083】
すなわち、
図7(a)の右のグラフは、イメージセンサ31の相対出力を示す。このグラフにおいて、横軸は波長(nm)、縦軸は相対出力を示す。イメージセンサ31は、約890nmにピークを有するX光と、約670nmにピークを有するY光と、約560nmにピークを有するZ光とを含む分光出力特性を有する。イメージセンサ31は、X光、Y光、Z光に対して、0.2以上の相対出力が得られる。特に、この例では、X光、Y光、Z光に対して0.5以上の相対出力が得られる。
【0084】
次に、
図7(b)について説明する。
図7(b)の左のグラフは、X光源21、W光源22W、Z光源23Zの発光スペクトルを示す。X光源21のX光は、830~880nmの波長帯域で0.3以上の発光強度を有する。W光源22WのW光は、450~660nmの波長帯域で0.3以上の発光強度を有する。Z光は、930~980nmの波長帯域で0.3以上の発光強度を有する。
【0085】
図7(b)の中央のグラフに示すように、イメージセンサ31の隣接4画素混合した画素を1画素とみなす画素単位での分光感度は、可視光から近赤外光までの広い範囲の光に対して所定値(例えば0.2)以上の相対感度を有する。このイメージセンサ31の分光感度は、
図7(a)に示されるものと同様である。
【0086】
そのため、X光源21のX光、W光源22WのW光、Z光源23ZのZ光が、イメージセンサ31を露光したとき、
図7(b)の左のグラフに示すX光、W光、Z光の分光出力特性が得られる。X光、W光、Z光の分光出力特性は、
図7(b)に左のグラフで示された光源21,22W,23ZのX光、W光、Z光の発光スペクトルと、イメージセンサ31の相対感度との積として示される。
【0087】
すなわち、
図7(b)の右のグラフに示されるように、約890nmにピークを有するX光と、約500nm及び600nmに2つのピークを有するW光と、約960nmにピークを有するZ光とを含む分光出力特性を有する。イメージセンサ31は、X光、W光、Z光に対して、0.2以上の相対出力が得られる。
【0088】
以下、第1~第5実施例について説明する。第1~第4実施例は、隣接画素混合処理部51がイメージセンサ31に内蔵された構成の例である。第1実施例は、ベイヤ配列と同様の3色4画素配列の3バンド1フレーム画像Ixyzを生成する第1モードの例である。第2実施例は、4色4画素配列の4バンド1フレーム画像Ixzgbを生成する第2モードの例である。第3実施例は、4色4画素配列の4バンド1フレーム画像Ixrgbを生成する第3モードの例である。第4実施例は、3色4画素配列の3バンド1フレーム画像Ixyzとベイヤ配列1フレームのRGB画像Irgbとを生成する第4モードの例である。第5実施例は、隣接画素混合処理部51がイメージセンサ31に備えられておらず、信号処理部60に備えられた構成の例であり、第1モードの例で説明する。
【0089】
(第1実施例)
まず、
図8~
図11を参照して、3色4画素配列の3バンド1フレーム画像Ixyzを生成する第1モードの例である第1実施例について説明する。第1実施例の照明部20は、X光源21、Y光源22及びZ光源23を有する。イメージセンサ31内の隣接画素混合処理部51に機能の制限がないため、イメージセンサ31は、隣接2画素混合処理、隣接4画素混合処理及び位相シフト機能に対応している。
【0090】
図8は、カラーカメラ30の撮像から、画像処理部50が画像を出力するまでのタイミングチャートを示す。
図8では、横軸が時間である。
図8において上から順番に、照明部20の時分割発光タイミング、照明部20により露光されるイメージセンサ31、イメージセンサ31から出力される出力画像(センサ出力画像)、FPGA画像処理を示す。FPGA画像処理は、信号処理部60を構成するFPGAが実行する画像処理である。
【0091】
照明部20は、第1~第3光源21~23として、
図7(a)に示されるX光を照射可能なX光源21、Y光を照射可能なY光源22、Z光を照射可能なZ光源23が使用される。制御部40は、イメージセンサ31内の隣接画素混合処理部51に対して、センサ部31Sから順次入力する複数の撮像信号(M枚のフレーム)に隣接画素混合処理を施すことを指示する。このとき、制御部40は、混合すべき隣接画素の指定と、ビニング倍率の指定とを行う。
【0092】
図8に示すように、制御部40は、X光源21、Y光源22、Z光源23を順番に時分割で発光させる発光制御を行う。制御部40は、イメージセンサ31に対して、光源21~23の時分割での発光タイミングに合わせた所定の露光期間で露光させる撮像制御を行う。
【0093】
図8に示すように、イメージセンサ31からは、フレームIX、フレームIY0、フレームIZが順次出力される。最初に出力されるフレームIXは、センサ部31SからX光の露光の結果として出力されるX撮像信号に対してイメージセンサ31内の隣接画素混合処理部51が隣接4画素混合処理(4画素ビニング処理)を行った結果として出力される。
【0094】
2番目に出力されるフレームIY0は、センサ部31SからY光の露光の結果として出力されるY撮像信号に対してイメージセンサ31内の隣接画素混合処理部51が隣接2画素混合処理(2画素ビニング処理)を行った結果として出力される。この例では、水平方向に隣接する2画素に対して隣接2画素混合処理が行われる。イメージセンサ31内の隣接画素混合処理部51は、ビニング処理と、ビニング(隣接画素混合)された画素の位相(中心位置)をシフトさせる位相シフト機能も備える。この位相シフト機能によって、水平方向の2画素ビニングされた画素は、1行(1ライン)おきの行単位で180度(1画素分)だけ画素位置がシフトされる。
【0095】
3番目に出力されるフレームIZは、センサ部31SからZ光の露光の結果として出力されるZ撮像信号に対してイメージセンサ31内の隣接画素混合処理部51が隣接4画素混合処理(4画素ビニング処理)を行った結果として出力される。また、イメージセンサ31が備える位相シフト機能によって、水平方向及び垂直方向に元の1画素分ずつシフトする仕様で4画素ビニングされて出力される。
【0096】
図8に示すFPGA画像処理で、隣接2画素混合処理後のフレームIY0は、アップサンプリングされてフレームIYFに変換される。そして、フレームIYFに対して、水平方向への位相シフト処理を伴う隣接4画素混合処理と、垂直方向への位相シフト処理を伴う隣接4画素混合処理とがそれぞれ別々に施される。この結果、水平方向に元の1画素分の位相のシフトで隣接4画素混合されたY画像IY1と、垂直方向に元の1画素分の位相のシフトで隣接4画素混合されたY画像IY2とが生成される。FPGA画像処理において4枚のフレームIZ,IX,IY1,IY2を生成するまでの処理が、リサンプリング処理に相当する。
【0097】
そして、4枚のフレームIZ,IX,IY1,IY2の各画素値(画素データ)を、
図8に矢印で示す再配列先である対応する画素に再配列することで、1フレーム撮像データIxyzを生成する。本例では、4枚のフレームIZ,IX,IY1,IY2の各画素値を、ベイヤ配列と同様の3色4画素配列に対応した画素位置に割り当てる画素の再配列処理を行うことで、3色4画素配列の1フレーム撮像データIxyzを生成する。
【0098】
<第1実施例の画像処理>
次に、
図9を参照して、制御部40の制御及び画像処理部50の画像処理について詳細に説明する。
【0099】
作業者は、予めPC70の入力部75を操作して必要な入力情報をPC70に入力している。PC70は、入力情報に基づいて、トリガ設定、ビニング設定、露光時間設定、信号処理設定を行う。搬送されて撮像位置に近づいた被写体12を不図示のセンサが検知すると、この検知に基づく撮像トリガが
図9に示す信号処理部60内のトリガ制御部42に入力される。トリガ制御部42は、光源21~23に対して撮像トリガに基づく発光制御信号LCを出力するとともに、イメージセンサ31に対して撮像トリガに基づく撮像制御信号ICを出力する。この結果、X光源21、Y光源22及びZ光源23が時分割で順次発光する。イメージセンサ31のセンサ部31Sは、被写体12からのX光、Y光、Z光により順次露光される。詳しくは、センサ部31Sは、X光の露光により蓄積された電荷に基づくX撮像信号、Y光の露光により蓄積された電荷に基づくY撮像信号、Z光の露光により蓄積された電荷に基づくZ撮像信号を順次出力する。
【0100】
図9に示すように、選択部43は、ビニング設定部44と露光時間設定部45とを備える。ビニング設定部44は、作業者が設定したビニング設定に基づいてビニングに関する設定内容を設定する。本例のビニング設定部44は、ビニング信号BSをイメージセンサ31に出力することで、センサ部31Sから出力されるX,Y,Z撮像信号に対して施すべきビニング処理の内容をイメージセンサ31内の隣接画素混合処理部51に指示する。
【0101】
また、露光時間設定部45は、露光時間設定に基づく露光時間を指示する露光信号ESをイメージセンサ31に出力する。露光時間は、時分割で発光される発光単位ごとにその発光による露光で生成される撮像信号に対するビニング処理の内容に応じて設定される。例えば、隣接2画素混合処理(2画素ビニング処理)が行われる場合、混合される2画素により1画素に比べ2倍の光を単位時間に受光できるので、露光時間は1/2で済む。また、隣接4画素混合処理(4画素ビニング処理)が行われる場合、混合される4画素により1画素に比べ4倍の光を単位時間に受光できるので、露光時間は1/4で済む。
【0102】
イメージセンサ31のセンサ部31Sは、X光源21が発光している1回目の発光期間内の所定の露光時間でX光を露光し、X撮像信号を出力する。次のY光源22が発光している2回目の発光期間内の所定の露光時間でセンサ部31SはY光を露光し、Y撮像信号を出力する。さらに、次のZ光源23が発光している3回目の発光期間内の所定の露光時間でセンサ部31SはZ光を露光し、Z撮像信号を出力する。
【0103】
センサ部31Sから出力されたX撮像信号、Y撮像信号及びZ撮像信号は、同じイメージセンサ31内の隣接画素混合処理部51Sに順次入力される。隣接画素混合処理部51Sは、入力したX撮像信号、Y撮像信号及びZ撮像信号に対して隣接画素混合処理を含む所定処理を順次施す。詳しくは、隣接画素混合処理部51Sは、X撮像信号に対して隣接4画素混合処理を行って隣接4画素が混合されてフレーム画素数が1/4になったX画像(フレームX)を出力する。次に、隣接画素混合処理部51Sは、Y撮像信号に対して1ライン単位で交互に水平方向への位相シフトの有無を変えて水平隣接2画素混合処理を行うことでフレーム画素数が1/2になったY画像(フレームY)を出力する。さらに、隣接画素混合処理部51Sは、Z撮像信号に対して隣接4画素混合処理及び位相シフト処理を行って画素の中心位置である位相を水平方向及び垂直方向にシフトさせたフレーム画素数が1/4のZ画像(フレームZ)を出力する(
図8参照)。
【0104】
ここで、画素の位相シフトは、M枚(例えば3枚)の画像(フレーム)X,Y,Zの画素データを1フレーム内にベイヤ配列と同様の3色4画素配列で再配列できるように予め画素の位相(中心座標)を再配列先の位相にシフトさせておくために行われる。こうして隣接画素混合処理及び必要に応じて位相シフト処理が施されたX画像、Y画像及びZ画像は、イメージセンサ31から信号処理部60へ順次出力される。信号処理部60内では、隣接4画素混合されたX画像は、フレームメモリ61,62に書き込まれ、Z画像の出力まで保持される。
【0105】
Y画像は、フレームメモリ61に一時保持された後、画像処理の開始タイミングになると、フレームメモリ61から読み出され、アップサンプリング処理部64、後段LPF65及び前段LPF67によりY画像に画像処理が施される。さらに、前段LPF67から出力されたY画像が別々のダウンサンプリング処理部68で画像処理が施されることで、別々のダウンサンプリング処理部68からそれぞれY画像Y1,Y2を出力する。
【0106】
再配列処理部53は、同じタイミングで入力される画像X,Y1,Y2,Zの各画素値(画素データ)を、4画素1単位のベイヤ配列に対応した画素位置に再配列することで、3色4画素配列の3バンド1フレーム画像Ixyzを生成し出力する。
【0107】
ここで、
図10を参照して、
図9における画像処理部50内に示す(a)~(g)の各段階で生成される画像(フレーム)及び画像を生成する画像処理について説明する。
図10(a)は、イメージセンサ31から信号処理部60へ入力された隣接4画素混合処理されたX画像IX(フレームIX)である。X画像IXは、隣接4画素混合処理後の画像なので、イメージセンサ31の解像度に対してフレーム画素数が1/4になった画像である。
【0108】
図10(b)は、水平隣接2画素混合処理されたY画像IY0(フレームIY0)である。1ラインごとに交互に水平方向に1画素分だけシフトするように水平隣接2画素混合処理されたY画像IY0である。Y画像IY0は、隣接2画素混合処理された画像であるので、イメージセンサ31の解像度よりもフレーム画素数が1/2になった画像である。
【0109】
次の
図10(c)は、Y画像IY0にアップサンプリング処理部64によるアップサンプリング処理が施されることで生成されたY画像IYUである。Y画像IYUは、アップサンプリング処理によりフレーム画素数が2倍に設定された画像データになる。但し、水平1画素ごとの画像データには、ゼロ値が挿入されているため、解像度は変わらない。
【0110】
図10(d)は、Y画像IYUに対して後段LPF65による後段LPF処理が施されることで生成されたY画像IYFである。このY画像IYFは、2つのダウンサンプリング処理部68に入力され、それぞれのY画像IYFに個別にダウンサンプリング処理が施されることで、
図10(e)に示すY画像IY1と、
図10(f)に示すY画像IY2とが生成される。Y画像IY1とY画像IY2は、元のY画像IY0に対してフレーム画素数が1/2、Y画像IYFに対してフレーム画素数が1/4の画像である。
【0111】
ここで、
図10(a),(e),(f),(g)に示すように、X画像IX、Y画像IY1,IY2、Z画像IZの各画素内に数字で示す画素値が得られたとする。画像IX,IY1,IY2,IZの各画素は、ベイヤ配列に対応した画素位置にシフトされている。詳しくは、
図10(a),(e),(f),(g)に示される格子状の破線が、イメージセンサ31の画素に対応する元の画素の位置である。画像IX,IY1,IY2,IZの各画素は、ベイヤ配列と同じ3色4画素配列に再配列した場合に画素間の中心位置関係が崩れないように位相をシフトさせている。すなわち、
図10(a)に示すX画像IXは、画素の位相のシフトなしである。
図10(e)に示すY画像IY1は、水平方向にX画像IXに対してイメージセンサ31の1画素分だけ画素の位相をシフトしている。
図10(c)に示すY画像IY2は、垂直方向にX画像IXに対してイメージセンサ31の1画素分だけ画素の位相をシフトしている。さらに、
図10(d)に示すZ画像IZは、水平方向及び垂直方向にX画像IXに対してイメージセンサ31の1画素分ずつ画素の位相をシフトしている。そして、4つの画像IX,IY1,IY2,IZのすべての画素は、それぞれ位相(中心座標)が異なっている。
【0112】
そして、4つの画像IX,IY1,IY2,IZのすべての画素の画素値を、再配列先の1フレーム内のベイヤ配列に対応した画素位置に割り当てることで、XYZ画素データの位置関係が損なわれることなく画素の再配列が行われる。こうして、
図10に示す3バンド1フレーム画像Ixyzが生成される。
【0113】
次に、
図11を参照して、第1実施例の撮像装置11のタイミングチャートについて説明する。
図11において、横軸が時間軸である。
図11(a)は、汎用のカラーカメラを備える比較例の撮像装置のタイミングチャートを示す。
図11(b)は、第1実施例の撮像装置11のタイミングチャートを示す。
【0114】
まず、
図11(a)を参照して比較例の撮像装置について説明する。
図11(a)に示すように、撮像トリガTrgを入力すると、光源により白色光(W光)が被写体に照射され、その被写体をイメージセンサが撮像する。この撮像のためにイメージセンサは所定の露光時間に亘り露光される。イメージセンサを内蔵する汎用のカラーカメラからRGBカラー画像が出力される。
【0115】
この比較例の撮像装置がRGBカラー画像を出力するまでに要する所要時間Trgbは、イメージセンサの露光時間Texpと、イメージセンサからの画像の出力時間Toutとの和でおおよそ与えられる。つまり、所要時間Trgbは、Trgb=Texp+Toutである。
【0116】
次に、
図11(b)を参照して、第1実施例の撮像装置11について説明する。
図11(b)に示すように、撮像トリガTrg_x,Trg_y,Trg_zを順次入力すると、照明部20を構成する光源21~23が時分割で発光し、被写体12にX光、Y光、Z光が順次照射される。
【0117】
イメージセンサ31は、X光、Y光、Z光の発光タイミングに合わせて被写体12を順次撮像する。すなわち、イメージセンサ31は、X光の発光期間内の所定の露光時間Texp_xで露光され、続いてY光の発光期間内の所定の露光時間Texp_yで露光され、さらにZ光の発光期間内の所定の露光時間Texp_zで露光される。センサ部31Sから出力される撮像信号S1に対して画素混合処理が施される構成なので、画素混合の対象となる画素数(2画素又は4画素)で1画素に必要な受光量が得られればよい。そのため、画素混合処理の対象となる光の照射で撮像する際の必要な露光時間は、画素混合する画素数をPとすると、比較例の露光時間Texpに対して1/Pで済む。
図11(b)の例では、Texp_y=2*Texp_xの関係にある。そのため、Texp_x=Texp/4、Texp_y=Texp/2、Texp_z=Texp/4の関係にある。
【0118】
また、X画像とZ画像は、隣接4画素混合処理により比較例に比べフレーム画素数が1/4の画像に変換されており、そのデータ量は比較例の1/4である。また、Y画像は、隣接2画素混合処理により比較例よりも低解像度の画像に変換されており、そのデータ量は比較例の1/2である。
【0119】
図11(b)のセンサ出力画像に示されるように、イメージセンサ31からX画像、Y画像、Z画像が順次出力される。このとき、X画像、Y画像、Z画像の出力に要する出力時間は、各画像のデータ量に依存する。このため、出力時間は、Tout_x=Tout/4、Tout_y=Tout/2、Tout_z=Tout/4の関係にある。
【0120】
出力されたX画像はフレームメモリ61,62に順次書き込まれ、Y画像はフレームメモリ61に書き込まれ、Z画像の出力タイミングに同期してフレームメモリ61,62からX画像とY画像が出力される。そして、X画像、Y画像、Z画像に対して同じタイミングで画像処理が施される。この結果、画像処理とほぼ同じタイミングで、信号処理部60(FPGA)から3色4画素配列の3バンド1フレーム画像Ixyzが出力される。
【0121】
第1実施例の撮像装置11の所要時間Txyzは、Txyz=Texp_x+Texp_y+Tout_y+Tout_zでおおよそ与えられる。ここで、Texp_x=Texp/4、Texp_y=Texp/2であり、Tout_y=Tout/2、Tout_z=Tout/4である。このため、Txyz<Trgbとなり、第1実施例の撮像装置11の所要時間Txyzは、比較例の撮像装置の所要時間Trgbよりも短く済む。
【0122】
第1実施例において、Y画像IY0を生成するための水平2画素混合機能がイメージセンサ31に搭載されていない場合の対応例を以下に説明する。
Y画像IY1と同一の隣接4画素混合処理を行った画像をイメージセンサ31に生成させる。このフレーム画素数が1/4になったY画像IY1をアップサンプリング処理により、フレーム画素数を元の画素数に戻してY画像IYFと等価な画像を生成する。その後は、第1実施例と同様な処理でY画像IY1,IY2を生成し、さらに再配列処理を行うことにより1フレーム画像Ixyzを生成し出力する。
【0123】
この場合、Y画像IY1のイメージセンサ31からの出力時間を第1実施例よりも1/2に短縮でき、再配列後の1フレーム画像Ixyzを生成するまでのトータル処理に要する所要時間Txyzをさらに短縮することができる。
【0124】
(第2実施例)
次に、第2実施例について、
図12~
図15を参照して説明する。第2実施例は、第2モードの例であり、4色4画素配列の4バンド1フレーム画像Ixzgbを生成する。イメージセンサ31は4画素混合処理に対応しているが、位相シフト機能には対応していない。使用する光源21~23は、
図7(b)の発光スペクトル特性を有するX光源21、W光源22W、Z光源23Zである。
【0125】
図12、
図13に示すように、照明部20は、制御部40からの発光制御信号LCの撮像トリガに基づきX光源21、W光源22W及びZ光源23Zをこの順で時分割で発光させる。イメージセンサ31は、X光、W光及びZ光が順次照射された被写体12を発光タイミングに合わせて3回(M=3)撮像(露光)する。センサ部31Sからは、4画素混合されたX画像IX、画素混合されていないRGB画像Irgb及び4画素混合されたZ画像IZ0が順次出力される。信号処理部60において、X画像IXは2つのフレームメモリ61,62に順次書込みされ、RGB画像Irgbは1つのフレームメモリ61に書込みされる。なお、2つのフレームメモリ61,62を並列に配置し、X画像IXを第1フレームメモリ61に書込み、RGB画像Irgbを第2フレームメモリ62に書き込む構成でもよい。
【0126】
3つの画像が揃うタイミングで、信号処理部60は、RGB画像Irgbに隣接4画素混合処理及び位相シフト処理を施すことでG画像IG及びB画像IBを生成する。また、Z画像IZ0に水平方向及び垂直方向に1画素分ずつ位相をシフトさせる位相シフト処理が施されることで、Z画像IZが生成される。
【0127】
詳しくは、RGB画像Irgbから、アップサンプリング処理及び後段LPFによりフレーム画素数を4倍にアップしたG画像IGF及び同じくフレーム画素数を4倍にアップしたB画像IBFが生成される。さらに、G画像IGFとB画像IBFにそれぞれ異なる2つの信号経路を通って前段LPF及びダウンサンプリング処理が施されることで、水平方向に1画素分だけ位相をシフトさせたG画像IGと、垂直方向に1画素分だけ位相をシフトさせたB画像IBとが生成される。また、Z画像IZ0はアップサンプリング処理及び後段LPFによりフレーム画素数を4倍にアップしたZ画像IZFが生成される。さらに、Z画像IZFに前段LPF及びダウンサンプリング処理が施されることで、X画像IXに対して、水平方向及び垂直方向にイメージセンサ31の1画素分ずつ位相をシフトさせたフレーム画素数がX画像IXと等しいZ画像IZが生成される。
【0128】
そして、信号処理部60内の再配列処理部53が、4つの画像IX,IG,IB,IZの各画素の画素値(画素データ)を、それぞれの位相に応じた1フレーム上の位置座標に順番に配列する。これにより、4つの画像IX,IG,IB,IZの各画素データが1フレーム内に所定画素配列(4色4画素配列)で再配列された4バンド1フレーム画像Ixzgbが生成され、信号処理部60から出力される。
【0129】
<第2実施例の画像処理>
次に、
図13を参照して、制御部40の制御及び画像処理部50の画像処理について詳細に説明する。
図13に示す信号処理部60は、第2実施例で使用される構成のみ図示されている。このため、
図13では、アップサンプリング処理部64及びダウンサンプリング処理部68がOFFになる信号経路から、これらの処理部64,68等の図示を省略している。
【0130】
センサ部31Sでは時分割でM回の撮像が行われる。イメージセンサ31に搭載された隣接画素混合処理部51S(
図2参照)はセンサ部31Sの撮像信号S1に対して必要に応じて隣接画素混合処理を施す。イメージセンサ31からは撮像信号S1に相当するM枚の画像として、X画像、RGB画像、Z画像がシリアルで信号処理部60に順次入力される。
【0131】
イメージセンサ31から信号処理部60にシリアルで入力されたM枚のフレームは、
図12に示すように、隣接画素混合処理が施されたX画像IX、隣接画素混合処理が施されていないRGB画像Irgb、及び隣接画素混合処理が施されたZ画像IZ0である。X画像IXは、隣接画素混合処理及び位相シフト処理が不要である。RGB画像Irgbは、隣接画素混合処理及び位相シフト処理が必要である。Z画像IZ0は、隣接画素混合処理済みの画像であるが、位相シフト処理が必要である。そのため、Z画像IZ0は、位相シフト処理を目的とする隣接画素混合処理が必要である。
【0132】
このため、
図13に示すように、X画像は、フレームメモリ61,62への書込みを経て再配列処理部53に入力される。RGB画像は、フレームメモリ61に一時保持された後、2つの信号経路を通ってアップサンプリング処理部64、後段LPF65、前段LPF67及びダウンサンプリング処理部68により画像処理が施される。この結果、RGB画像から、それぞれX画像IXに対してそれぞれ水平方向及び垂直方向にイメージセンサ31の1画素分だけ位相がシフトした状態で隣接4画素混合されたG画像とB画像とが生成され、再配列処理部53に入力される。また、Z画像には、アップサンプリング処理部64、後段LPF65、前段LPF67及びダウンサンプリング処理部68により画像処理が施される。この画像処理によって、Z画像は、X画像IXに対して水平方向及び垂直方向にイメージセンサ31の1画素分ずつ位相がシフトした隣接4画素混合されたZ画像に変換される。
【0133】
再配列処理部53は、同じタイミングで入力されるX画像、G画像、B画像、Z画像の各画素データ(画素値)を、1フレーム内に所定画素配列(4色4画素配列)で再配列する。この結果、再配列処理部53は、4バンド1フレーム画像Ixzgbを生成し出力する。
【0134】
ここで、
図14を参照して、
図13における画像処理部50内に示す(a)~(l)の各段階で生成される画像(フレーム)及び画像を生成する画像処理について説明する。
図14(a)は、イメージセンサ31から信号処理部60へ入力された隣接4画素混合処理されたX画像IX(フレームIX)である。
【0135】
図14(b)は、RGB画像Irgbである。
次の
図14(c)は、RGB画像Irgbにアップサンプリング処理が施されて各画素のうちG画素の画素値が抽出されたフレーム画素数がイメージセンサ31の画素数と等しいG画像IGUである。
【0136】
図14(d)は、G画像IGUに後段LPF処理を施すことで生成されるG画像IGFである。G画像IGFは、フレーム画素数がイメージセンサ31の画素数と等しい画像である。
【0137】
図14(e)は、このG画像IGFに、前段LPF処理及びダウンサンプリング処理が施されることで、水平方向に位相がX画像IXに対してイメージセンサ31の1画素分だけシフトした状態で隣接4画素混合されたフレーム画素数がイメージセンサ31の画素数の1/4のG画像IGである。
【0138】
また、
図14(f)は、RGBカラー画像Irgbにアップサンプリング処理が施されて各画素のうちB画素の画素値が抽出されたフレーム画素数がイメージセンサ31の画素数と等しいB画像IBUである。
【0139】
図14(g)は、B画像IBUに対して後段LPF処理が施されたB画像IBFである。B画像IBFは、フレーム画素数がイメージセンサ31の画素数と等しい画像である。
図14(h)は、このB画像IBFに、前段LPF処理及びダウンサンプリング処理が施されることで、垂直方向に位相がX画像IXに対してイメージセンサ31の1画素分だけシフトした状態で隣接4画素混合されることで生成されたB画像IBである。B画像IBは、フレーム画素数がイメージセンサ31の画素数の1/4の画像である。
【0140】
また、
図14(i)は、イメージセンサ31から信号処理部60へ入力された隣接4画素混合されたZ画像IZ0である。
図14(j)は、Z画像IZ0にアップサンプリング処理が施されてフレーム画素数がイメージセンサ31の画素数と等しいZ画像IZUである。
【0141】
図14(k)は、Z画像IZUに対して後段LPF処理が施されることで生成されるZ画像IZFである。Z画像IZFは、フレーム画素数がイメージセンサ画素数と等しい画像である。
【0142】
図14(l)は、このZ画像IZFに、前段LPF処理及びダウンサンプリング処理が施されることで、水平方向及び垂直方向に位相がX画像IXに対してイメージセンサ31の1画素分ずつシフトした状態で隣接4画素混合されることで生成されたZ画像IZである。Z画像IZは、フレーム画素数がイメージセンサ31の画素数の1/4の画像である。
【0143】
ここで、
図14(a),(e),(h),(l)に示すように、X画像IX、G画像IG、B画像IB、Z画像IZの各画素内に数字で示す画素値(画素データ)が得られたとする。画像IX,IG,IB,IZの各画素は、それぞれの画素中心位置がシフトされている。詳しくは、
図14(a),(e),(h),(l)に示される格子状の破線が、イメージセンサ31の画素に対応する元の画素の位置である。画像IX,IG,IB,IZの各画素は、4色4画素配列に再配列した場合に各画素の中心位置関係が崩れないように位相をシフトさせている。4つの画像IX,IG,IB,IZのすべての画素は、それぞれ位相(中心座標)が異なっている。
【0144】
そして、4つの画像IX,IG,IB,IZのすべての画素の画素値を、再配列先の1フレーム内のベイヤ配列に対応した画素位置に割り当てることで、画素データの再配列が行われる。こうして、
図14に示す4バンド1フレーム画像Ixzgbが生成される。
【0145】
図15に示すように、1フレーム画像Ixzgbの生成に要する所要時間Txzgbは、RGBカラー画像を生成する比較例の所要時間Trgbよりも少し長くなる。これは、露光時間Texp_wが、Texp_xの約4倍を要し、出力時間Tout_wがTout_xの約4倍を要することに起因する。但し、所要時間Txzgbは、比較例の所要時間Trgbの1.5倍未満である。
【0146】
照明部20を構成する複数の光源のうち少なくともW光源22Wの発光強度を個々に調整した場合には、露光時間Texp_w=4*Texp_xの関係がなくなり、Texp_w=Texp_xと設定することも可能になる。この場合、所要時間Txzgbを比較例の所要時間Trgbよりも短縮できる。
【0147】
(第3実施例)
次に、第3実施例について、
図16、
図17を参照して説明する。第3実施例は、第3モードの例であり、4色4画素配列の4バンド1フレーム画像Ixrgbを生成する。イメージセンサ31は4画素混合処理に対応しているが、位相シフト機能には対応していない例である。使用するのは2種(M=2)の光源21,22であり、詳しくは、
図7(b)の発光スペクトル特性を有するX光源21、W光源22Wである。
【0148】
図16、
図17に示すように、照明部20は、制御部40からの発光制御信号LCの撮像トリガに基づきX光源21、W光源22Wをこの順で時分割で発光させる。イメージセンサ31は、X光、W光が順次照射された被写体12を発光タイミングに合わせて2回(M=2)撮像(露光)する。センサ部31Sからは、4画素混合されたX画像IX、画素混合されていないRGB画像Irgbが順次出力される。信号処理部60は、X画像IXをフレームメモリ61に書き込む。
【0149】
2つの画像が揃うタイミングで、信号処理部60は、RGB画像Irgbに隣接4画素混合処理及び位相シフト処理を施すことで、G画像IG、B画像IB及びR画像IRを生成する。詳しくは、RGB画像Irgbが信号処理部60の3つの信号経路を通るときに、各RGB画像Irgbにアップサンプリング及び後段LPFの各処理が施されることで、それぞれフレーム画素数がイメージセンサ31の画素数と等しいG画像IGF、B画像IBF及びR画像IRFが生成される。
【0150】
さらにG画像IGF、B画像IBF及びR画像IRFがそれぞれ異なる3つの信号経路を通るときにそれぞれに前段LPF及びダウンサンプリングの各処理が施される。この結果、それぞれ異なる方向にX画像IXに対して位相がシフトした状態で隣接4画素混合されたG画像IGと、B画像IBと、R画像IRとが生成される。G画像IGは、X画像IXに対して水平方向にイメージセンサ31の1画素分だけ位相がシフトした状態で隣接4画素混合された画像である。B画像IBは、X画像IXに対して垂直方向にイメージセンサ31の1画素分だけ位相がシフトした状態で隣接4画素混合された画像である。R画像IRは、X画像IXに対して水平方向及び垂直方向にイメージセンサ31の1画素分ずつ位相がシフトした状態で隣接4画素混合された画像である。
【0151】
そして、再配列処理部53が、4つの画像IX,IG,IB,IRの各画素の画素値(画素データ)を、それぞれの位相に応じた1フレーム内の座標位置に順番に再配列する。これにより、4つの画像IX,IG,IB,IRの各画素が1フレーム内に4色4画素配列で再配列された4バンド1フレーム画像Ixrgbが生成され、信号処理部60から出力される。
【0152】
図17に示すように、1フレーム画像Ixrgbの生成に要する所要時間Txrgbは、RGBカラー画像を生成する比較例の所要時間Trgbよりも少し長くなる。これは、露光時間Texp_wが、Texp_xの約4倍を要し、出力時間Tout_wがTout_xの約4倍を要することに起因する。但し、所要時間Txrgbは、比較例の所要時間Trgbの1.5倍未満である。照明部20を構成する複数の光源のうち少なくとも光源22Wの発光強度を個々に調整した場合には、露光時間Texp_w=4*Texp_xの関係がなくなり、Texp_w=Texp_xと設定することも可能になる。この場合、所要時間Txrgbを比較例の所要時間Trgbよりも短縮できる。
【0153】
(第4実施例)
次に、第4モードにおいて、信号処理部60が
図3(d)に示す3バンド1フレーム画像Ixyz及びRGB画像Irgbを出力する第4実施例について説明する。
【0154】
第1実施例において、
図1、
図4、
図5に示す照明部20に白色光を発光可能なW光源22Wを追加する。制御部40は、X光源21、Y光源22、Z光源23及びW光源22Wを時分割で発光させてイメージセンサ31に4回の撮像を行わせる。信号処理部60は、イメージセンサ31から入力したRGB画像Irgbを、第1実施例と同様の画像処理により生成した3バンド1フレーム画像Ixyz(
図8を参照)と同時に出力させる。
【0155】
(第5実施例)
次に、第5実施例について、
図18、
図19を参照して説明する。第5実施例は、第1実施例と同様の第1モードの例であるが、イメージセンサ31が隣接画素混合処理部51Sを備えておらず、信号処理部60が隣接画素混合処理及び位相シフト処理を行う例である。この実施例の撮像装置11は、イメージセンサ31のセンサ部31Sから出力されるフレームに相当する撮像信号に処理を施す信号処理部60を備える。隣接画素混合処理部51は、カメラ30と信号処理部60とのうち少なくとも信号処理部60に備えられる。つまり、
図2において、隣接画素混合処理部51が、カメラ30内の信号処理部60とPC70内の信号処理部60とのうち少なくとも一方に備えられた例である。カメラ30が信号処理部60を備えない場合、PC70が信号処理部60を備える。
【0156】
制御部40は、複数のフレームごとに信号処理部60が備える隣接画素混合処理部51Dに隣接画素混合処理を行わせる。隣接画素混合処理部51Dは、フレームごとに選択された隣接画素混合処理を施す。
【0157】
本実施例では、制御部40により信号処理部60が選択され、センサ部31Sから出力される複数のフレームに対して信号処理部60内の隣接画素混合処理部51がフレームごとに隣接画素混合処理を施す。
【0158】
図18、
図19に示すように、照明部20は、制御部40からの発光制御信号LCの撮像トリガに基づきX光源21、Y光源22及びZ光源23をこの順で時分割で発光させる。イメージセンサ31は、X光、Y光及びZ光が順次照射された被写体12を発光タイミングに合わせて3回(M=3)撮像(露光)する。センサ部31Sからは、それぞれ隣接画素混合されていないX画像IXrgb、Y画像IYrgb及びZ画像IZrgbが順次出力される。信号処理部60は、X画像IXrgbを2つのフレームメモリ61,62に順次書込みされ、Y画像IYrgbを1つのフレームメモリ61に書き込む。
【0159】
3つの画像が揃ったタイミングで、信号処理部60が、3つの画像IXrgb,IYrgb,IZrgbに画像処理を施す。3つの画像IXrgb,IYrgb,IZrgbがそれぞれ異なる3つの信号経路を通ってそれぞれアップサンプリング処理部64に入力される。フレーム画素数はイメージセンサ31の画素数と同じなので、アップサンプリング処理なしでそのまま出力される。次に、後段LPF65によりイメージセンサ31の2画素周期以上の周波数成分が除去される。この結果、X画像IXF、Y画像IYF、Z画像IZFが生成される。これら3つの画像IXF,IYF,IZFは、それぞれ前段LPF67を経由してダウンサンプリング処理部68に入力される。ダウンサンプリング処理部68では、隣接画素混合処理によりフレーム画素数が1/4に削減される。この結果、X画像IXFからX画像IXが生成され、Y画像IYFから2つのY画像IY1,IY2が生成され、Z画像IZFからZ画像IZが生成される。
【0160】
そして、再配列処理部53が、4つの画像IX,IY1,IY2,IZの各画素データ(画素値)を、1フレーム内に3色4画素配列で再配列する。これにより、3バンド1フレーム画像Ixyzが生成され、信号処理部60から出力される。
【0161】
図19に示すように、1フレーム画像Ixyzの生成に要する所要時間Txyzは、RGB画像を生成する比較例の所要時間Trgbの約2倍を要する。これは、露光時間Texp_x,Texp_y,Texp_zが、それぞれ第1実施例の露光時間Texp_xの約4倍を要し、出力時間Tout_x,Tout_y,Tout_zが第1実施例の出力時間Tout_xの約4倍を要することに起因する。このように所要時間Txyzが比較例よりも長くなるものの、撮像装置11によって、1台のカメラ30で撮像した被写体12のマルチバンド画像を取得できる。なお、照明部20を構成する複数の光源21~23の発光強度を個々に調整可能な構成とし、発光強度を上げる調整により所要時間Txrgbを短縮してもよい。
【0162】
(実施形態の作用)
次に、撮像装置11及び検査装置10の作用について説明する。
図1に示すように、例えば、搬送された被写体12がセンサにより検知されると、この検知に基づき制御部40は照明部20を構成する発光特性の異なるN種(N≧2)の光源のうちモードに応じたM種(2≦M≦N)の光源を時分割で発光させる(発光ステップ)。また、制御部40は、M種の光源21~23の発光タイミングに合わせてイメージセンサ31にM回撮像(露光)させて複数のフレームに相当する撮像信号S1を取得する(撮像ステップ)。この撮像信号S1はイメージセンサ31のセンサ部31Sからが出力される。
【0163】
M枚のフレームに対してイメージセンサ31と信号処理部60とのうちモード及び設定等に応じて選択された一方又は両方で、隣接画素混合処理部51による隣接画素混合処理が施される。隣接画素混合処理部51は、複数のフレームに対して隣接画素混合処理をフレームごとに行う(隣接画素混合処理ステップ)。さらに、隣接画素混合処理後のM枚のフレームに対して、リサンプリング処理部52によるリサンプリング処理が施される。リサンプリング処理では、隣接画素混合処理後のフレームに対して画素の中心位置がシフトされる(リサンプリング処理ステップ)。次に、リサンプリング処理後のM枚のフレームに対して再配列処理部53による再配列処理が施される。再配列処理では、リサンプリング処理が施された複数フレーム分の画素データ(画素値)が1フレーム内に所定画素配列で再配列される(再配列処理ステップ)。こうして、信号処理部60からは、1フレーム撮像データとして複数バンド1フレーム画像が出力される。
【0164】
例えば、第1モード時は信号処理部60から3バンド1フレーム画像Ixyz(第1、第5実施例)が出力される。第2モード時は信号処理部60から4バンド1フレーム画像Ixzgb(第2実施例)が出力される。第3モード時は信号処理部60から4バンド1フレーム画像Ixrgb(第3実施例)が出力される。第4モード時は信号処理部60から1フレーム画像Ixyz及びRGB画像Irgb(第4実施例)が出力される。
【0165】
信号処理部60からの複数バンド1フレーム画像は、画素配列変換部55に出力される。画素配列変換部55は、kバンド1フレーム画像(k≧2)を複数枚(k枚)の画像に変換する。k枚の画像は、マルチスペクトル画像である。k枚の画像は、VRAM73(
図4、
図4参照)に一時保存される。
【0166】
被写体12が製造工場等で扱われる物品である場合、撮像装置11は、種々の装置に適用される。
図1に示す例では、撮像装置11は、検査装置10に適用される。画素配列変換部55により変換されたk枚の画像は、VRAM73から読み出されて検査処理部74に送られる。検査処理部74は、撮像装置11から入力するk枚の画像に基づいて被写体12を検査する。k枚の画像のうち少なくとも1枚の画像は、RGBカラー画像では検査できない内容を検査できる。少なくとも1枚の画像とは、RGB以外の光周波数を有するX光、Y光、Z光で撮像された画像等を指す。特に、
図7(a)に示されるX光、
図7(b)に示されるX光、Z光は、近赤外光である。
【0167】
以上、詳述した第1実施形態によれば、以下に示す効果が得られる。
(1-1)撮像装置11は、被写体12を撮像するセンサ部31Sを有するカラーイメージセンサ31と、被写体12を照明する発光特性の異なるN種(但し、Nは2以上の自然数)の光源21~23と、制御部40とを備える。制御部40は、N種のうちM種(但し、Mは2≦M≦Nを満たす自然数)の光源21~23を時分割で発光させることでカラーイメージセンサ31にM回の撮像を行わせる。さらに、撮像装置11は、隣接画素混合処理部51と、リサンプリング処理部52と、再配列処理部53とを備える。隣接画素混合処理部51は、センサ部31Sから出力されるM枚のフレームに対して隣接画素混合処理をフレームごとに行う。リサンプリング処理部52は、隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理をフレームごとに行う。再配列処理部53は、リサンプリング処理された複数フレーム分の画素データを1フレーム内に所定画素配列で再配列する。この構成によれば、1つの汎用のカラーイメージセンサ31を用いて被写体12を撮像することで、マルチスペクトル画像を取得できる。よって、被写体12のマルチスペクトル画像を簡単な構成で取得できる。例えば、汎用のカラーイメージセンサ31を備えたカラーカメラ30によって、RGBカラー撮像、白黒撮像に加え、マルチスペクトル撮像が可能である。例えば、時分割撮像ではない通常のRGBカラー画像も出力させることができるので、既存の検査処理との互換性を保つこともできる。よって、既存の装置と互換性のある構成で、既存の装置で得られる画像特性とは異なったマルチスペクトル画像特性を選択することができ、装置特性の変更が容易となる。
【0168】
(1-2)カラーイメージセンサ31のセンサ部31Sから出力されるフレームに相当する撮像信号S1を処理する信号処理部60を備える。隣接画素混合処理部51は、カラーイメージセンサ31と信号処理部60とのうち少なくとも信号処理部60に備えられる。複数のフレームに対してフレームごとにカラーイメージセンサ31と信号処理部60のうちいずれか一方、または双方を選択し、選択した一方、または双方が備える隣接画素混合処理部51がフレームごとに隣接画素混合処理を行う。隣接画素混合処理では、混合する隣接画素をフレームごとに選択する。この構成によれば、カラーイメージセンサ31から撮像信号S1が出力される所要時間が短く済むことで、高速処理が可能になる。また、カラーイメージセンサ31の隣接画素混合処理機能に制限がある場合、あるいは、隣接画素混合処理機能を有していない場合でも、隣接画素混合処理、解像度特性の劣化を低減するリサンプリング処理、再配置処理を実施できる。
【0169】
(1-3)カラーイメージセンサ31を構成するカラーフィルタ34の画素配列がベイヤ配列である。再配列処理部53は、複数フレーム分の画素データを1フレーム内にベイヤ配列と同じ3色4画素配列で再配列する。ベイヤ配列等の汎用の画素配列が採用されたカラーイメージセンサ31を有するカラーカメラ30に対しては、カラーカメラ30から出力される撮像信号(フレーム)を複数の色別の画像に変換するための汎用の画素配列変換部55(例えば、ベイヤ配列変換部)が提供されている。このため、複数フレーム分の画素データを1フレーム内にベイヤ配列と同じ3色4画素配列で再配列することで1フレーム撮像データの一例である3バンド1フレーム画像Ixyz等を生成する。よって、3バンド1フレーム画像Ixyz等を3枚の画像SI1~SI3に変換するときに既存の画素配列変換部55を利用できる。
【0170】
(1-4)カラーイメージセンサ31を構成するカラーフィルタ34の画素の配列がベイヤ配列である。制御部40は、発光特性の異なる光源21~23の光で被写体12を順次照明することでカラーイメージセンサ31に時分割で複数回の撮像を行わせる。カラーイメージセンサ31のセンサ部31Sから出力される複数のフレームに対してフレームごとに隣接画素混合処理及びリサンプリング処理を行う。これらの処理を行って得られた4フレーム分の画素データを1フレーム内にベイヤ配列と同じ4画素を単位とする4色4画素配列で再配列する再配列処理を再配列処理部53が行うことにより、4バンドの1フレーム撮像データを生成する。この構成によれば、ベイヤ配列の色数である「3」よりも多いバンド数である4バンドの1フレーム撮像データを取得できる。
【0171】
(1-5)N種の光源21~23等は、可視光を照射可能な光源22,23,22Wと、近赤外光を照射可能な光源21,23Zとのうち複数の光源を含む。制御部40は、N種の光源21~23等のうちモードに応じたM種の光源を選択し、選択したM種の光源を時分割に発光させることによりカラーイメージセンサ31に時分割で複数回の撮像を行わせる。再配列処理部53は、選択されたモードに応じた種類の1フレーム撮像データを出力する。モードには、可視光から近赤外光までの光波長領域内に波長を有する疑似色の画素データを1バンド以上含む3バンド又は4バンドの1フレーム撮像データを出力するモードと、RGB画素データのうち少なくとも1色の画素データと近赤外光画素データとを含む3バンド又は4バンドの1フレーム撮像データを出力するモードとのうち少なくとも一方が含まれる。この構成によれば、撮像装置11は、疑似色を1バンド以上含む3又は4バンドの1フレーム撮像データと、RGBのうち少なくとも1色の画素データと近赤外光画素データとを含む3バンド又は4バンドの1フレーム撮像データとのうち少なくとも一方を出力できる。1つの汎用のカラーイメージセンサ31を内蔵する1台の汎用のカラーカメラ30を備える撮像装置11を用いて、疑似色又は近赤外光のバンドを1バンド以上含む3バンド又は4バンドの1フレーム撮像データから、光学的特性の異なる複数種の画像SI1~SIkを取得できる。
【0172】
例えば、第1、第4及び第5実施例によれば、X,Y,Z疑似色画像の画素データを含む1フレーム撮像データの一例として3バンド1フレーム画像Ixyzを取得できる。第2実施例によれば、G,B画素データとX,Z疑似色画像の画素データとを含む1フレーム撮像データの一例として4バンド1フレーム画像Ixzgbを取得できる。第3実施例によれば、RGB画素データとX疑似色画像の画素データとを含む1フレーム撮像データの一例として4バンド1フレーム画像Ixrgbを取得できる。第1~第5実施例の3バンド又は4バンドの1フレーム画像Ixyz,Ixzgb,Ixrgbを画素配列変換部55により変換することで、3枚又は4枚の画像SI1~SIkを取得できる。
【0173】
(1-6)検査装置10は、撮像装置11と、撮像装置11が出力する画像に基づいて被写体12を検査する検査処理部74とを備える。この構成によれば、複数種の撮像画像を用いて被写体12に対して種々の検査を行うことができる。
【0174】
(1-7)被写体12を撮像する撮像方法は、照明ステップと、撮像ステップと、隣接画素混合処理ステップと、リサンプリング処理ステップと、再配列処理ステップとを含む。照明ステップでは、発光特性の異なる複数の光源21~23を順次発光させて被写体12を時分割で照明する。撮像ステップでは、時分割で照明された被写体12をカラーイメージセンサ31に時分割で撮像させて複数のフレームを取得する。隣接画素混合処理ステップでは、複数のフレームに対して隣接画素混合処理をフレームごとに行う。リサンプリング処理ステップでは、隣接画素混合処理後のフレームに対して画素の中心位置をシフトするリサンプリング処理をフレームごとに行う。再配列処理ステップでは、リサンプリング処理された複数フレーム分の画素データを1フレーム内に所定画素配列で再配列する。この撮像方法によれば、1つの撮像装置11を用いて被写体12を撮像することで、光学的特性の異なる複数種の撮像画像を取得することができる。
【0175】
(1-8)第1~第5実施例によれば、イメージセンサ31に内蔵された隣接画素混合処理部51SによりM枚のフレームのうち少なくとも1つのフレームに対して隣接画素混合処理を行う。このため、センサ部31Sの露光時間および画像出力時間を同じ撮像条件での全画素撮像よりも短縮でき、高速なフレームレートを実現できる。よって、イメージセンサ31が時分割で複数回の撮像を行う構成である割に、所要時間Txyz,Txzgb,Txrgbが短く済む。
【0176】
(1-9)時分割撮像で取得された複数のフレームを信号処理部60により処理・合成し、複数フレーム分の画素データを1フレーム内に所定画素配列で再配列して複数バンド1フレーム画像を生成し出力する。よって、時分割撮像を意識することなく、従来処理と互換性のある疑似カラー処理及び検査処理を行うことができる。
【0177】
(1-10)照明部20を構成するN種の光源21~23等のうちの時分割で発光させる光源の切り替え、及び信号処理部60の設定変更だけで、マルチスペクトル撮像特性を変更することができる。
【0178】
(1-11)信号処理部60がM枚のフレーム(画像)のうち少なくとも1つのフレームに対して施す、リサンプリング処理、位相シフト処理及び再配列処理により、隣接4画素混合処理(4画素ビニング処理)による解像度特性の劣化を低減させることができる。
【0179】
(第2実施形態)
次に、
図20、
図21を参照して第2実施形態について説明する。時分割発光で複数回撮像する場合、前の撮像時の光が次の撮像時の画像に入る場合がある。この対策として、第2実施形態では、画像処理によって前の撮像時の光の影響分を除去する。なお、
図20、
図21では、第1モードの例を示すが、他のモードでも基本的に同様である。
【0180】
図20に示すように、信号処理部60は、入力したM種のフレーム(撮像信号)にマトリックス演算を施すマトリックス演算部69を備える。マトリックス演算部69は、3×3マトリックスを用いて演算し、そのマトリックスの係数には、前の撮像で照明された光(例えば、X光)の成分をマトリックス演算で除去可能な値が設定される。マトリックス演算によるフレーム間の演算処理で補正が行われ、前の撮像により残った光の成分が撮像信号から除去される。
【0181】
マトリックス演算部69から出力された撮像信号である、例えば、X画像、Y画像、Z画像がリサンプリング処理部52に入力される。リサンプリング処理部52は、X画像、Y画像、Z画像に対して第1実施例と同様の画像処理を行って、X画像IX、Y画像IY1,IY2、Z画像IZを生成する。再配列処理部53は、X画像IX、Y画像IY1,IY2、Z画像IZの各画素データを、1フレーム内に3色4画素配列で再配列して、3バンド1フレーム画像Ixyzを生成する。
【0182】
図21に示すように、X光源21の発光を停止しても、X光はしばらく残る。そのため、Y光の発光が開始されて次の撮像が開始されたときは、Y光にX光が少し混在する。2回目の撮像開始初期にイメージセンサ31はY光だけでなくX光によっても露光される。そのため、センサ出力画像であるY画像に、割合pでX光の影響が入る。つまり、Y画像の画素値がX光の影響を受けた分だけ大きくなる。このY画像を画像Y+p*Xとする。メモリ書込みされたX画像と画像Y+p*Xは、Z画像が出力されるタイミングでフレームメモリ61,62から読み出され、各画像について画像処理X,Y,Zが施される。
【0183】
このとき、リサンプリング処理部52でリサンプリング処理が行われる前に、X画像と画像Y+p*XとZ画像に対して、マトリックス演算部69により3×3マトリックス演算が施される。この結果、Y画像についてはその画素値がX光の影響を受けた割合pの分だけ小さな値に補正される。つまり、Y画像の画素値Y+p*XからX光の成分p*Xが除去される。
【0184】
マトリックス演算部69は、例えば、FPGAの一部として構成される。よって、シャッタを備えた特殊な照明部20を必要とせず、高品質な1フレーム撮像データの一例である複数バンド1フレーム画像Ixyz等を取得できる。
【0185】
(2-1)N種の光源21~23等は、カラーイメージセンサ31の全感度波長領域をカバー可能な可視光光源である光源22,22W,23Z及び近赤外光光源である光源21,23Zを含む。制御部40は、N種の光源21~23等のうちモードに応じたM種の光源を選択し、選択したM種の光源を時分割で発光させることによりカラーイメージセンサ31に時分割で撮像させて複数のフレームを出力させる。再配列処理部53は、次のフレーム内に前フレームに対する光源の残光が入り込むことによる当該残光の次フレームへの影響を低減する補正をフレーム間の演算処理により行う。この構成によれば、前フレームの照明の残光による次フレームへの影響を低減でき、発光波長の混ざりがない波長分離精度の高い画像を出力できる。
【0186】
実施形態は、上記に限定されず、以下の態様に変更してもよい。
・前記第1実施例において、隣接画素混合処理の位相シフト機能が搭載されていない場合は、次の対応例を採用できる。以下、この対応例を、第1実施例の
図8、
図10及び第2実施例の
図12~
図15等を参考にして説明する。第1実施例において、イメージセンサ31に隣接2画素混合処理機能及び位相シフト機能がない場合、イメージセンサ31からの出力は、X画像、Y画像、Z画像ともにX画像IX(
図12を参照)と同じ隣接4画素混合された画素構成になる。ここで、イメージセンサ31からの出力であるY画像をY画像IY0とする。
【0187】
この場合、第2実施例でのイメージセンサ31から出力される画像IX,IZ0と同様の関係になり、Z画像IZ0からZ画像IZFを経てZ画像IZを生成できる。このIZ0に対する処理と同種の処理をY画像IY0に対して施すことにより、Y画像IY0からY画像IYF(
図8、
図10)を生成できる。そして、Y画像IYFに対して第1実施例と同様に水平方向と垂直方向にそれぞれイメージセンサ31の1画素分ずつの位相のシフトを伴う隣接4画素画素混合処理を施すことにより、Y画像IY1,IY2を生成できる。そして、第1実施例と同様に、X画像IX、画素の位相をシフトしたZ画像IZ,Y画像IY1,IY2の各画素データを、1フレーム内に3色4画素配列で再配列すれば、3バンド1フレーム画像Ixyzを得ることができる。
【0188】
・第2実施形態において、前の撮像時の光が次の撮像時の画像に入ることを抑制する対策として、照明部20にシャッタを設けてもよい。撮像装置11は、光源21~23ごとに光路を開閉する複数のシャッタを備える。制御部40は、発光制御信号LCに基づいて光源21~23の発光及び各シャッタの開閉を制御する。照明部20は、発光制御信号LCで指示された1つの光源を発光させるとともに、複数のシャッタのうち発光対象の光源に対応する1つのシャッタを発光開始時に開き、発光終了時に閉じる。
【0189】
・撮像装置11の構成は、上記各実施形態の構成に限定されない。例えば、複数のモードを備えず、1つのモードに応じた複数バンド1フレーム画像の出力のみ行う撮像装置11であってもよい。
【0190】
・リサンプリング処理部52が行うリサンプリング処理は、最近隣内挿法(ニアレストネイバー)、共一次内挿法(バイリニア)、三次たたみ込み内挿法(バイキュービック)でもよい。
【0191】
・隣接画素混合処理部51Dが、リサンプリング処理部52の一部である構成に限定されず、別々の処理部であってもよい。
・照明部20を構成する複数(N種)の光源21~23等の配置位置は、適宜変更できる。例えば、複数(N種)の光源を隣接配置した構成でもよいし、被写体12の正面から照射してカメラ30が反射光を受光可能な位置と、被写体12を透過した透過光をカメラ30が受光可能な位置とに複数の光源を離して配置した構成でもよい。
【0192】
・照明部20を構成するN種の光源は、2種、3種又は4種に限定されず、5種以上でもよい。また、M種は、2種、3種又は4種に限定されず、5種以上でもよい。ここで、Mは、M<Nであってもよい。また、Mは、ベイヤ配列の色数と同数の「3」や、ベイヤ配列の画素数の「4」に限定されず、M=2、M=5でもよい。この場合、複数フレーム分の画素データをベイヤ配列以外の所定画素配列で再配列してもよい。
【0193】
・M種の光源がすべて近赤外光源でもよい。また、M種の光源すべてが可視光領域の光のうちRGB以外の光を発光可能な光源でもよい。なお、M種のうち少なくとも1種の光源が、R光、G光、B光およびこれらの3種の光の組合せの光以外の光を発光可能な光源であれば足りる。
【0194】
・信号処理部60は、再配列処理部53のみを備える構成でもよい。例えば、第1実施例において、イメージセンサ31の隣接画素混合処理部51Sが、X画像IX、Y画像IY1(又はIY2)、及びZ画像IZを生成する。再配列処理部53は、3つの画像IX,IY1(又はIY2),IZの各画素データをベイヤ配列と同様の4画素のうちの3画素に再配列する。この場合、4画素のうちの不使用の1画素には画素データが再配列されないか、ダミーの画素値が配列されてもよい。この構成では、隣接画素混合処理部51及びリサンプリング処理部52は、イメージセンサ31に内蔵される。
【0195】
・時分割発光のうちの1つの発光が、複数の光源を組み合わせて同時に発光させるものであってもよい。
・光源は、その発光した光を光学バンドパスフィルタを通して被写体12に照射することにより、所望の周波数の発光スペクトルを有する光を発光可能な構成でもよい。
【0196】
・イメージセンサ31を備えるカラーカメラ30で撮像した撮像信号に基づく画像(例えば、X画像、Y画像及びZ画像)のデータをUSBメモリ等のリムーバブルメモリに保存する。そのリムーバブルメモリに保存された画像データをパーソナルコンピュータに読み取らせ、パーソナルコンピュータの信号処理部60がX画像、Y画像及びZ画像に画像処理を施して、複数バンドの1フレーム撮像データを生成してもよい。つまり、撮像ステップを行うカメラ30を備える装置と、画像処理ステップを行う信号処理部60を備える装置とが、別々の装置でもよい。この撮像方法によっても、複数バンドの1フレーム撮像データを取得できる。
【0197】
・イメージセンサ31を構成するカラーフィルタ34の配列パターンは、RGBベイヤ配列に限らず、ストライプ配列など任意の配列パターンでもよい。また、イメージセンサ31を構成するカラーフィルタ34の色数は3色に限定されず、4色や5色でもよい。
【0198】
・補色のカラーフィルタ34を有するカラーイメージセンサ31を備えたカラーカメラ30でもよい。この場合、カラーフィルタ34は、RGB原色フィルタに替え、マゼンタ(Mg),イエロー(Ye),シアン(Cy)の補色フィルタでもよい。補色は、イエロー、シアン、マゼンタ、グリーンの4色でもよい。さらに、カラーフィルタ34が補色フィルタと原色フィルタを組み合わせた構成であってもよい。
【0199】
・撮像装置11の適用範囲は、検査装置に限定されず、製造過程で使用される各種装置に適用してもよい。例えば、位置決め、付着物や異物の除去、部品の組み付け等を行う各種の装置に撮像装置11を用いてもよい。
【0200】
・撮像装置11をロボットの目に使用し、ロボットが撮像装置11から出力される複数バンド1フレーム画像に基づいて被写体12を認識する構成でもよい。
・撮像装置11が出力した複数バンド1フレーム画像を画素配列変換部55で変換した複数の画像を検査員が視認して被写体12に対する処理又は検査を行う構成でもよい。
【0201】
・被写体12は、例えば、容器、食品、飲料物、電子部品、電化製品、日常用品、部品、部材、粉粒体又は液状等の原料などでもよい。また、被写体12は、例えば、液体入りの容器や、果物や野菜などの食材、花等の植物、植物性又は動物性の半加工食品あるいは加工食品、生物などでもよい。また、被写体を撮像する写真(画像)は、建物の写真、航空撮影の地形写真、空又は天体の写真、顕微鏡写真などであってもよい。
【0202】
・制御部40、画像処理部50及び検査処理部74のうち少なくとも1つは、一部又は全部が、プログラムを実行するコンピュータよりなるソフトウェアにより構成されてもよいし、電子回路等のハードウェアにより構成されてもよい。画像処理部50の少なくとも一部は、FPGA等のハードウェアに限定されない。
【符号の説明】
【0203】
10…検査装置、11…撮像装置、12…被写体、20…照明部、21…光源の一例としての第1光源(X光源)、22…光源の一例としての第2光源(Y光源)、23…光源の一例としての第3光源(Z光源)、22W…光源の一例としての白色光源(W光源)、23Z…光源の一例としてのZ光源、30…カラーカメラ(カメラ)、30a…鏡筒、31…カラーイメージセンサ(イメージセンサ)、31S…センサ部、32…レンズ、33R…R受光素子、33G…G受光素子、33B…B受光素子、34…カラーフィルタ、34R…Rフィルタ、34G…Gフィルタ、34B…Bフィルタ、35…IRカットフィルタ、40…制御部、41…モード設定部、42…トリガ制御部、43…選択部、44…ビニング設定部、45…露光時間設定部、50…画像処理部、51,51S,51D…隣接画素混合処理部、52…リサンプリング処理部、53…再配列処理部、55…画素配列変換部、60…信号処理部、61…第1フレームメモリ(フレームメモリ)、62…第2フレームメモリ(フレームメモリ)、63…第1セレクタ、64…アップサンプリング処理部、65…後段LPF、66…第2セレクタ、67…前段LPF、68…ダウンサンプリング処理部、70…PC、71…CPU、72…画像入力ボード、73…VRAM、74…検査処理部、75…入力部、76…表示部、S1…撮像信号(フレーム)、IC…撮像制御信号、PS…シフト信号、VA…可視光波長領域、NIRA…近赤外波長領域、S…感度曲線、Ixyz…1フレーム撮像データの一例としての3バンド1フレーム画像、Ixzgb…1フレーム撮像データの一例としての4バンド1フレーム画像、Ixrgb…1フレーム撮像データの一例としての4バンド1フレーム画像、Ixyz…1フレーム撮像データの一例としての3バンド1フレーム画像、Irgb…RGB画像、Iwb…白黒画像、SI1…X疑似色画像、SI2…Y疑似色画像、SI3…Z疑似色画像、IX…X画像(フレーム)、IY0…Y画像(フレーム)、IY1…Y画像(フレーム)、IY2…Y画像(フレーム)、IZ…Z画像(フレーム)、IZ0…Z画像(フレーム)、IG…G画像(フレーム)、IB…B画像(フレーム)、IR…R画像(フレーム)、Irgb…RGB画像(フレーム)、IXrgb…X画像(フレーム)、IYrgb…Y画像(フレーム)、IZrgb…Z画像(フレーム)、Txyz,Txzgb,Txrgb…所要時間、Texp,Texp_x,Texp_y,Texp_z…露光時間、Tout,Tout_x,Tout_y,Tout_z…出力時間。