特許 7162878 撮像装置、及び撮像装置を用いた被写体の検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】撮像装置、及び撮像装置を用いた被写体の検査方法

(51)【国際特許分類】

   H04N 9/09 20060101AFI20221024BHJP

【ＦＩ】

H04N9/09 A

【請求項の数】 6

(21)【出願番号】P 2018215579

(22)【出願日】2018-11-16

(65)【公開番号】P2020088438

(43)【公開日】2020-06-04

【審査請求日】2021-11-11

(73)【特許権者】

【識別番号】392025696

【氏名又は名称】株式会社ジェイエイアイコーポレーション

(74)【代理人】

【識別番号】100112874

【弁理士】

【氏名又は名称】渡邊 薫

(72)【発明者】

【氏名】渡部 雅夫

(72)【発明者】

【氏名】田島 芳雄

(72)【発明者】

【氏名】勝又 徹

(72)【発明者】

【氏名】高野 光司

(72)【発明者】

【氏名】高橋 信一

(72)【発明者】

【氏名】黒瀧 俊輔

(72)【発明者】

【氏名】高橋 宏明

【審査官】豊田 好一

(56)【参考文献】

【文献】国際公開第２０１２／０６７０２８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０４２７３１（ＷＯ，Ａ１）

【文献】特開２０１２－０２７７７３（ＪＰ，Ａ）

【文献】国際公開第２０１７／０２９７８４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／０９

(57)【特許請求の範囲】

【請求項1】

不可視光線を照射する光源と、
前記不可視光線及び可視光線を含む光が照射された被写体を撮像する撮像部と、
処理回路と、
を備え、
前記処理回路は、
前記被写体が撮像された前記不可視光線の撮像画像から、前記被写体の所定の部位における位置に対する高さ情報を取得する高さ取得部と、
前記被写体が撮像された撮像画像から、前記被写体の所定の部位における位置に対する色情報を取得する色取得部と、
前記高さ情報と前記色情報とに基づいて、前記高さ情報と前記色情報の同一の前記位置に対する前記高さ情報に前記色情報をマッピングさせて合成する合成部と、
を有し、
前記高さ情報に前記色情報をマッピングさせた合成画像に、被写体の検査を実行する 、撮像装置。

【請求項2】

前記撮像部が、
入射された前記光を前記不可視光線と前記可視光線とに分光するプリズムと、
前記不可視光線に分光された光を撮像する不可視光センサと、
前記可視光線に分光された光を撮像する可視光センサと、
を備える、請求項１に記載の撮像装置。

【請求項3】

前記不可視光センサで撮像された撮像画像に基づいて、前記高さ取得部が前記高さ情報を取得し、
前記可視光センサで撮像された撮像画像に基づいて、前記色取得部が前記色情報を取得する、請求項２に記載の撮像装置。

【請求項4】

前記被写体の前記高さ情報に前記色情報をマッピングさせた合成画像を出力する出力部を、更に備える、請求項１乃至３のいずれか１つに記載の撮像装置。

【請求項5】

前記被写体がベルトコンベアに載置され、
前記撮像部が、前記ベルトコンベアに載置された前記被写体を撮像する、請求項１乃至４のいずれか１つに記載の撮像装置。

【請求項6】

不可視光線を照射する光源と、前記不可視光線及び可視光線を含む光が照射された被写体を撮像する撮像部と、を備える、撮像装置を用いた被写体の検査方法であって、
処理回路が、前記被写体が撮像された前記不可視光線の撮像画像から、前記被写体の所定の部位における位置に対する高さ情報を取得するステップと、
前記処理回路が、前記被写体が撮像された撮像画像から、前記被写体の所定の部位における位置に対する色情報を取得するステップと、
前記処理回路が、前記高さ情報と前記色情報とに基づいて、前記高さ情報と前記色情報の同一の前記位置に対する前記高さ情報に前記色情報をマッピングさせて合成するステップと、
前記処理回路が、前記高さ情報に前記色情報をマッピングした前記被写体の合成画像に、被写体の検査を実行するステップと、
を含む、撮像装置を用いた被写体の検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に、被写体を撮像して、その被写体の検査に用いる撮像装置の技術に関する。

【背景技術】

【0002】

従来から、３次元計測カメラにおいて、レーザを使用したレーザ切断法という３Ｄ（３-dimension）計測が知られている。３Ｄ計測は、３次元計測カメラにより被写体の高さ情報を取得して、高さを計測する方法である。

【0003】

従来の３Ｄ計測では、高さ情報のみ取得することができ、色情報を同時に取得することができなかったため、３次元計測カメラとは別のカメラで、別途、色情報だけ取得して、色の計測や検査に用いられていた。

【0004】

そのため、３Ｄ計測では、高さ情報だけでなく色情報も同時に取得し、被写体の形状に色が付された画像を取得したいというニーズがあった。そこで、例えば、近赤外線（ＮＩＲ）撮像センサと可視撮像センサとを用いてＮＩＲ画像と可視画像を取得して、ピクセル視差を計算し、ＮＩＲ画像を可視画像に位置合わせするマルチスペクトル撮像システムが検討されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１５－５０２０５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＮＩＲ画像と可視画像とを位置合わせする場合、２つのカメラでそれぞれ別々に被写体を撮像する必要があり、視差の計算が難しく、かつ計算量が膨大であった。また、計算量が膨大になると、精度が欠けてしまい、リアルタイムに検査を実行することができないという問題もあった。そのため、ＮＩＲ画像に基づく高さ情報の検査と、可視画像に基づく色情報の検査とを同時に実施することが難しかった。

【0007】

そこで、本発明は、このような課題に鑑みてなされたものであり、高さ情報の検査と色情報の検査とを同時に実行することができる、撮像装置を提供することを主目的とする。

【課題を解決するための手段】

【0008】

本発明者は、上述の目的を解決するために鋭意研究を行った結果、被写体の外形（形状）に色情報をマッピングすることにより、高さ情報の検査と色情報の検査とを同時に実行することに成功し、本発明を完成するに至った。

【0009】

すなわち、本発明では、不可視光線を照射する光源と、前記不可視光線及び可視光線を含む光が照射された被写体を撮像する撮像部と、処理回路と、を備え、前記処理回路は、
前記被写体が撮像された前記不可視光線の撮像画像から、前記被写体の所定の部位における位置に対する高さ情報を取得する高さ取得部と、前記被写体が撮像された撮像画像から、前記被写体の所定の部位における位置に対する色情報を取得する色取得部と、前記高さ情報と前記色情報とに基づいて、前記高さ情報と前記色情報の同一の前記位置に対する前記高さ情報に前記色情報をマッピングさせて合成する合成部と、を有し、前記高さ情報に前記色情報をマッピングさせた合成画像に、被写体の検査を実行する、撮像装置を提供する。

【0010】

また、本発明では、不可視光線を照射する光源と、前記不可視光線及び可視光線を含む光が照射された被写体を撮像する撮像部と、を備える、撮像装置を用いた被写体の検査方法であって、処理回路が、前記被写体が撮像された前記不可視光線の撮像画像から、前記被写体の所定の部位における位置に対する高さ情報を取得するステップと、前記処理回路が、前記被写体が撮像された撮像画像から、前記被写体の所定の部位における位置に対する色情報を取得するステップと、前記処理回路が、前記高さ情報と前記色情報とに基づいて、前記高さ情報と前記色情報の同一の前記位置に対する前記高さ情報に前記色情報をマッピングさせて合成するステップと、前記処理回路が、前記高さ情報に前記色情報をマッピングした前記被写体の合成画像に、被写体の検査を実行するステップと、を含む、撮像装置を用いた被写体の検査方法を提供する。

【発明の効果】

【0011】

本発明によれば、高さ情報の検査と色情報の検査とを同時に実行することができる。なお、本発明の効果は、必ずしも上記の効果に限定されるものではなく、本発明に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0012】

【図1】本発明に係る第１の実施形態の撮像システムのブロック図である。

【図2】本発明に係る第１の実施形態の撮像装置の撮像部の構成を示すブロック図である。

【図3】本発明に係る第１の実施形態の撮像システムが、被写体であるリンゴを撮像している状態を示した説明図である。

【図4】光切断法を用いて、被写体であるリンゴの高さ情報を取得する概念を示す説明図である。

【図5】被写体であるリンゴの色情報を取得する概念を示す説明図である。

【図6】リンゴＡＰの合成画像ＡＰＣＩを示した説明図である。

【図7】本発明に係る第２の実施形態の撮像システムが、ベルトコンベアに載置されたリンゴを撮像し、被写体の検査をしている状態を示す説明図である。

【図8】４チャンネルにより構成された撮像装置の撮像部の構成を示したブロック図である。

【図9】入射される光を同時に分光しない撮像部の構成の例を示したブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための好適な形態について図面を参照しながら説明する。なお、以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

【0014】

＜１．第１の実施形態（撮像装置の例１）＞
図１に、本発明に係る第１の実施形態の撮像システム３００のブロック図を示す。図１は、本発明に係る第１の実施形態の撮像システム３００のブロック図である。

【0015】

［構成］
第１の実施形態の撮像システム３００は、光源１００と、撮像装置２００とを備えている。なお、撮像システム３００は、光源１００と撮像装置２００とを備えているが、撮像装置２００が光源１００を有するようにしてもよい。この場合、光源１００を備える撮像装置２００が、撮像システム３００を構成することができる。

【0016】

光源１００は、ライン状の不可視光線を照射する。不可視光線とは、可視光以外の光線であって、紫外線や赤外線等が該当する。例えば、近赤外線で使用することができる波長は、７００ｎｍ～９５０ｎｍである。このため、光源１００は、７００ｎｍ～９５０ｎｍの領域の波長のレーザ光源を使用することができる。また、照射する光は、特に限定されるものではなく、例えば、レーザ光やスリット光であってもよい。

【0017】

撮像装置２００は、撮像部２１０、処理回路２２０、記憶回路２３０、入力回路２４０、ディスプレイ２５０、画像記憶回路２６０、及び内部バス２７０を備えて構成されている。

【0018】

図２に、本発明に係る第１の実施形態の撮像装置２００の撮像部２１０の構成を示すブロック図を示す。図２は、撮像部２１０の構成を示すブロック図である。

【0019】

撮像部２１０は、不可視光線が照射された被写体を撮像する。撮像部２１０は、例えば、プリズムＰＳ１と、可視光センサ２１１と、不可視光センサ２１２とを有する。プリズムＰＳ１は、入射された光を同時に不可視光線と可視域光線とに分光する。可視光センサ２１１は、可視光線に分光された光を撮像する。不可視光センサ２１２は、不可視光線に分光された光を撮像する。可視光センサ２１１は、例えば、カラーセンサを用いて撮像し、不可視光センサ２１２は、例えば、白黒センサを用いて撮像する。カラーセンサは、例えば、原色フィルタを使用したベイヤータイプのセンサを使用することができる。

【0020】

第１の実施形態では、可視域光線から色情報を取得するため、高さ情報を取得する場合には、可視域光線に影響を与えないレーザ光源を使用する。なお、図２では、プリズムＰＳ１が、可視光センサ２１１と不可視光センサ２１２の２チャンネルにより構成されているが、これに限定されるものではない。プリズムＰＳ１の他の構成については、図８及び図９を用いて後述する。

【0021】

処理回路２２０は、プログラムをメモリ（記憶回路２３０）から読み出し、実行することにより、プログラムに対応する機能を実現するプロセッサである。具体的には、処理回路２２０（プロセッサ）は、読み出したプログラムを実行することによって、高さ取得部２２１、色取得部２２２、及び合成部２２３の機能を実現する。

【0022】

高さ取得部２２１は、被写体が撮像された不可視光線の撮像画像から、被写体の所定の部位における位置に対する高さ情報を取得する機能を有している。例えば、高さ取得部２２１は、不可視光センサ２１２で撮像された撮像画像に基づいて、被写体の所定の部位における底面からの高さ情報を取得する。

【0023】

色取得部２２２は、被写体が撮像された撮像画像から、被写体の所定の部位における位置に対する色情報を取得する機能を有している。例えば、色取得部２２２は、可視光センサ２１１で撮像された撮像画像に基づいて、被写体の所定の部位における色情報を取得する。

【0024】

合成部２２３は、高さ情報と前記色情報とに基づいて、高さ情報と色情報の同一の位置に対する高さ情報に色情報をマッピングさせて合成する機能を有している。

【0025】

なお、処理回路２２０が構成するプロセッサという文言は、例えば、専用又は汎用のＣＰＵ（Central Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）などの回路を意味する。

【0026】

プロセッサは、メモリに保存された、もしくはプロセッサの回路内に直接組み込まれたプログラムを読み出し、実行することで各機能を実現する。プロセッサが複数設けられた場合、プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは、図１の記憶回路２３０が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。

【0027】

入力回路２４０は、操作者によって操作が可能な操作ボタン、キーボード、ポインティングデバイス（マウスなど）などの入力デバイスからの信号を入力する回路であり、ここでは入力デバイス自体も入力回路２４０に含まれるものとする。この場合、操作に従った入力信号が、入力回路２４０から処理回路２２０に送られる。

【0028】

ディスプレイ２５０は、撮像部２１０によって撮像された撮像画像を表示する機能を備える表示装置である。ディスプレイ２５０は、図示しない画像合成回路、ＶＲＡＭ（Video Random Access Memory）および画面等を含んでいる。ディスプレイ２５０は、例えば、液晶ディスプレイで構成される。例えば、ディスプレイ２５０は、出力部に該当し、被写体の高さ情報に色情報をマッピングさせた合成画像を出力することができる。

【0029】

なお、出力部は、ディスプレイ２５０に限定されるものではなく、例えば、プリンターも出力部に該当する。この場合、プリンターは、被写体の高さ情報に色情報をマッピングさせた合成画像を紙で出力することができる。また、出力部は、被写体の高さ情報に色情報をマッピングさせた合成画像をファイルで出力させ、画像記憶回路２６０に記憶させるようにしてもよい。

【0030】

記憶回路２３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＨＤＤ（Hard Disk Drive）等を含む記憶装置により構成されている。記憶回路２３０は、ＩＰＬ（Initial Program Loading）、ＢＩＯＳ（Basic Input／Output System）及びデータを記憶したり、処理回路２３０のワークメモリとして使用されたり、または、データを一時的に記憶する場合に用いられる。ＨＤＤは、撮像装置２００にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる。）やデータを記憶する記憶装置である。また、操作者に対するディスプレイ２５０への情報の表示にグラフィックを多用し、基礎的な操作を入力回路２４０によって行なうことができるＧＵＩ（Graphical User Interface）を、ＯＳに提供することもできる。

【0031】

画像記憶回路２６０は、例えば、処理回路２２０の合成部２２３で合成した撮像画像（即ち、被写体の同一の位置に対する高さ情報に色情報をマッピングさせた画像）を記憶するようになっている。画像記憶回路２６０は、例えば、ＲＡＭ、ＨＤＤ等を含む記憶回路によって構成される。

【0032】

内部バス２７０は、処理回路２２０によって撮像装置２００が統括制御されるように、各構成要素に接続されている。内部バス２７０は、例えば、撮像装置２００内で、データや信号を伝達するための回路により構成される。

【0033】

［動作］
次に、図３乃至図６を用いて、第１の実施形態の撮像システム３００の動作について、詳しく説明する。

【0034】

図３は、本発明に係る第１の実施形態の撮像システム３００が、被写体であるリンゴＡＰを撮像している状態を示した説明図である。

【0035】

図３に示すように、リンゴＡＰは、ベルトコンベアＢＣに載置され、方向Ｓに沿って搬送されている。撮像システム３００の光源１００は、所定の位置で、ベルトコンベアＢＣに不可視光線を照射している。撮像システム３００の撮像装置２００は、光源１００が照射する対象を撮像するようになっており、例えば、ベルトコンベアＢＣに載置されて、搬送されるリンゴＡＰを撮像する。

【0036】

撮像装置２００は、不可視光線が照射されたリンゴＡＰを撮像する。この場合、撮像装置２００は、高さ取得部２２１において、リンゴＡＰが撮像された不可視光線の撮像画像から、リンゴＡＰの所定の部位における位置に対する高さ情報を取得する。

【0037】

図４に、被写体であるリンゴＡＰＩＶの高さ情報を取得する概念を示す。図４は、光切断法を用いて、被写体であるリンゴＡＰＩＶの高さ情報を取得する概念を示す説明図である。

【0038】

撮像装置２００は、不可視光線が照射されたリンゴＡＰを撮像部２１０により撮像して、撮像画像（リンゴＡＰＩＶ）を取得し、レーザ切断法により高さ情報を取得する。この場合、例えば、リンゴＡＰが搭載されたベルトコンベアＢＣの面、即ち、リンゴＡＰの底の部分を高さの基準とする。そして、不可視光線が照射したリンゴＡＰの表面の部分が所定の部位となり、リンゴＡＰの底の部分から不可視光線が照射されたリンゴＡＰの表面までが、高さ情報ｈとなる。これにより、被写体（リンゴＡＰ）の所定の部位における位置とは、例えば、リンゴＡＰの底を基準にして、不可視光線が照射されている位置とすることができる。具体的には、リンゴＡＰの果梗に不可視光線が照射されている場合には、リンゴＡＰの果梗が所定の部位となり、撮像装置２００は、照射されたリンゴＡＰの果梗の位置に対する高さ情報を取得することができる。

【0039】

図４に示すように、撮像装置２００の処理回路２２０の高さ取得部２２１は、リンゴＡＰが撮像された不可視光線の撮像画像（リンゴＡＰＩＶ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する高さ情報ｈを取得する。なお、不可視光線でリンゴＡＰに照射しているため、撮像装置２００は、撮像部２１０のカラー画像の撮像には影響を与えることなく、リンゴＡＰの高さ情報ｈを取得することができる。なお、高さ情報ｈは、被写体であるリンゴＡＰの底の部分から垂直方向の距離に相当する。

【0040】

また、撮像装置２００は、撮像部２１０により同時に撮像された被写体（リンゴＡＰ）の撮像画像（リンゴＡＰＩＶ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する色情報を取得するようになっている。この場合、撮像装置２００は、色取得部２２２において、被写体（リンゴＡＰ）が撮像されたの撮像画像（リンゴＡＰＩＶ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する色情報を取得する。

【0041】

図５に、被写体であるリンゴＡＰの色情報を取得する概念を示す。図５は、被写体であるリンゴＡＰの色情報を取得する概念を示す説明図である。

【0042】

図５に示すように、撮像装置２００は、被写体（リンゴＡＰ）の色情報を取得する。撮像装置２００の処理回路２２０の色取得部２２２は、被写体（リンゴＡＰ）が撮像されたの撮像画像（リンゴＡＰＶＩ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する色情報を取得する。この場合、色取得部２２２は、可視光センサで撮像された撮像画像（リンゴＡＰＶＩ）に基づいて、色情報を取得する。

【0043】

次に、処理回路２２０の合成部２２３は、高さ情報と色情報とに基づいて、高さ情報と色情報の被写体（リンゴＡＰ）の同一の位置に対する高さ情報に色情報をマッピングさせて合成する。

【0044】

図６に、被写体（リンゴＡＰ）の高さ情報と色情報とに基づいて、被写体（リンゴＡＰ）における同一の位置に対する高さ情報に色情報をマッピングさせた合成図を示す。図６は、リンゴＡＰの合成画像ＡＰＣＩを示した説明図である。

【0045】

図６に示すように、処理回路２２０の合成部２２３は、被写体（リンゴＡＰ）の位置に対する高さ情報に色情報をマッピングし、被写体（リンゴＡＰ）の合成画像（リンゴＡＰＣＩ）を生成することができる。例えば、処理回路２２０の合成部２２３は、不可視光線が照射された被写体（リンゴＡＰ）の位置において、高さ情報に色情報をマッピングする。

【0046】

これにより、撮像装置２００のディスプレイ２５０は、被写体（リンゴＡＰ）の高さ情報に色情報をマッピングさせた合成画像（リンゴＡＰＣＩ）を出力することができる。なお、撮像装置２００は、合成画像（リンゴＡＰＣＩ）をプリンタ(図示しない)から紙で出力してもよい。

【0047】

また、出力フォーマットは、特に限定されるものではなく、例えば、ＲＧＢと高さを合わせた４チャンネルの信号として出力するようにしてもよい。また、色空間についても、ＲＧＢに限定されるものではなく、例えば、色相、彩度、明度からなるＨＳＶモデルや、色相、彩度、輝度からなるＨＳＩモデル、及びＬａｂ色空間に変換して出力するようにしてもよい。

【0048】

以上説明したように、本発明に係る第１の実施形態の撮像システム３００は、光源１００と、撮像装置２００とを備えている。光源１００は、不可視光線を照射する。撮像装置２００は、撮像部２１０が、不可視光線が照射された被写体（リンゴＡＰ）を撮像する。撮像装置２００の処理回路２２０は、被写体（リンゴＡＰ）が撮像された不可視光線の撮像画像（リンゴＡＰＩＶ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する高さ情報を取得するとともに、被写体（リンゴＡＰ）の撮像画像（リンゴＡＰＶＩ）から、被写体（リンゴＡＰ）の所定の部位における位置に対する色情報を取得する。また、処理回路２２０は、高さ情報と色情報とに基づいて、被写体（リンゴＡＰ）の同一の位置に対する高さ情報に色情報をマッピングさせて合成する。

【0049】

これにより、第１の実施形態の撮像システム３００は、被写体（リンゴＡＰ）の外形（形状）に色情報をマッピングすることにより、高さ情報の検査と色情報の検査とを同時に実行することができる。

【0050】

＜２．第２の実施形態（撮像装置を用いた被写体の検査方法の例）＞
本発明に係る第２の実施形態の撮像装置を用いた被写体の検査方法は、不可視光線を照射する光源と、不可視光線が照射された被写体を撮像する撮像部とを備える撮像装置を用いた被写体の検査方法であって、処理回路が、被写体が撮像された不可視光線の撮像画像から、被写体の所定の部位における位置に対する高さ情報を取得するステップと、処理回路が、被写体が撮像された撮像画像から、被写体の所定の部位における位置に対する色情報を取得するステップと、処理回路が、高さ情報と色情報とに基づいて、高さ情報と色情報の同一の位置に対する高さ情報に色情報をマッピングさせて合成するステップと、処理回路が、高さ情報に色情報をマッピングした被写体の合成画像に、被写体の検査を実行するステップと、を含む、撮像装置を用いた被写体の検査方法である。

【0051】

本発明に係る第２の実施形態の撮像装置を用いた被写体の検査方法よれば、被写体の外形（形状）に色情報をマッピングすることにより、高さ情報の検査と色情報の検査とを同時に実行することができる。

【0052】

図７に、本発明に係る第２の実施形態の撮像システム３００において、撮像装置２００がベルトコンベアＢＣに載置された被写体（リンゴＡＰ）を撮像し、被写体（リンゴＡＰ）の検査をしている状態を示す。図７は、本発明に係る第２の実施形態の撮像システム３００において、撮像装置２００がベルトコンベアＢＣに載置された被写体（リンゴＡＰ）を撮像し、被写体の検査をしている状態を示す説明図である。

【0053】

図７に示すように、撮像システム３００は、光源１００と、撮像装置２００とを備えている。なお、撮像システム３００は、光源１００と撮像装置２００とを備えているが、撮像装置２００が光源１００を有するようにしてもよい。この場合、光源１００を備える撮像装置２００が、撮像システム３００を構成することができる。

【0054】

撮像装置２００を用いた被写体の検査方法は、まず、処理回路２２０が、被写体（リンゴＡＰ）が撮像された不可視光線の撮像画像から、被写体（リンゴＡＰ）の所定の部位における位置に対する高さ情報を取得する。なお、高さ情報は、被写体（リンゴＡＰ）の底を基準とし、その底の垂直方向の距離を高さ情報とする。そして、処理回路２２０が、被写体（リンゴＡＰ）が撮像された撮像画像から、被写体（リンゴＡＰ）の所定の部位における位置に対する色情報を取得する。なお、被写体（リンゴＡＰ）の所定の部位における位置とは、不可視光線が照射された被写体（リンゴＡＰ）の位置とすることができる。次に、処理回路２２０が、高さ情報と色情報とに基づいて、被写体（リンゴＡＰ）の同一の位置に対する高さ情報に色情報をマッピングさせて合成する。そして、処理回路２２０が、高さ情報に色情報をマッピングした被写体（リンゴＡＰ）の合成画像に、被写体（リンゴＡＰ）の検査を実行する、撮像装置による検査方法である。

【0055】

例えば、移動体であるベルトコンベアＢＣに被写体であるリンゴＡＰが載置され、撮像装置２００は、ベルトコンベアＢＣの移動に伴って、リンゴＡＰを順番に撮像する。そして、撮像装置２００は、ベルトコンベアＢＣの移動に伴って、リンゴＡＰ１、リンゴＡＰ２・・・と、順に検査を実行する。

【0056】

この場合、撮像装置２００は、例えば、リンゴＡＰ１、リンゴＡＰ２のそれぞれの高さ情報に基づいて、表面の凹凸を検査したり、リンゴＡＰ１、リンゴＡＰ２のそれぞれの色情報から、表面の一部に変色がないか検査することができる。

【0057】

また、被写体は、特に限定されるものではなく、例えば、焼き菓子やクッキーなどであってもよい。この場合、例えば、焼き菓子やクッキーの表面の凹部の検査に適用することができる。また、被写体を自動車とした場合には、車の表面の色の検査にも適用することができる。この場合、車の表面の色ムラの検査をすることができる。このように、３次元的な形状の検査とその色を検査とを同時に行うことができる。

【0058】

さらに、物品の形状において色の検査を同時に行うこともでき、例えば、印刷面の一部に凸部を有する印刷ずれなどの検査にも適用することができる。この場合、凸部の頂点の形状が印刷ずれをしていないか判定し、印刷ずれを生じている場合は、不良品と判定することができる。また、例えば、被写体の形状の外形に凹部の形状が含まれている場合は、不良品と判定する一方、表面の色が汚れている程度なら良品と判定することもできる。

【0059】

このように、被写体の形状において、表面の凹凸の有無や程度を検査したり、被写体の色の検査を同時に実行することができる。

【0060】

以上説明したように、本発明に係る第２の実施形態の撮像装置２００を用いた被写体の検査方法によれば、被写体（リンゴＡＰ）の外形（形状）に色情報をマッピングすることにより、高さ情報の検査と色情報の検査とを同時に実行することができる。

【0061】

また、本発明に係る第１及び第２の実施形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

【0062】

例えば、第１の実施形態の撮像装置２００の撮像部２１０は、可視光センサ２１１と不可視光センサ２１２の２チャンネルにより構成されていた。撮像部２１０は、これに限定されるものではなく、例えば、可視光センサ２１２が３チャンネルにより構成され、撮像部２１０が４チャネルにより構成されていてもよい。

【0063】

図８は、４チャンネルにより構成された撮像装置２００の撮像部２１０ａの構成を示したブロック図を示す。

【0064】

図８に示すように、撮像部２１０ａは、可視光センサ２１１が、３つのラインセンサにより構成される。可視光センサ２１１は、ラインセンサ毎に、赤（Ｒ）、緑（Ｇ）、及び青（Ｇ）のうち何れかのフィルタを備えている。例えば、赤（Ｒ）のフィルタを有するラインセンサをラインセンサＲとし、緑（Ｇ）のフィルタを有するラインセンサをラインセンサＧとし、青（Ｇ）のフィルタを有するラインセンサをラインセンサＢとする。プリズムＰＳ２は、撮像部２１０のプリズムＰＳ１と同様に、入射された光を同時に不可視光線と可視光線に分光することができる。

【0065】

このように、撮像部は４チャンネルにより構成される撮像部２１０ａであってもよい。また、プリズムは、入射される光を同時に分光しない形態であってもよい。

【0066】

図９は、入射される光を同時に分光しない撮像部２１０ｂの構成の例を示したブロック図である。

【0067】

撮像部２１０ｂのプリズムＰＳ３は、入射された光を不可視光線に分光するミラーＭ１を有している。プリズムＰＳ３は、ミラーＭ１で分光した不可視光線をミラーＭ２に反射させ、不可視光センサ２１２で撮像させる。また、プリズムＰＳ３は、入射された可視光線を赤（Ｒ）、緑（Ｇ）、及び青（Ｇ）に分光する。可視光センサ２１１は、赤（Ｒ）のフィルタを有するラインセンサＲ、緑（Ｇ）のフィルタを有するラインセンサＧ、青（Ｇ）のフィルタを有するラインセンサＢを有している。

【0068】

このように、撮像部は、可視域と不可視域とに分光することができるプリズムを用いることにより、高さ情報と色情報を取得することができるので、プリズムの種類には、特に限定されるものではない。

【0069】

また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

【0070】

例えば、第１及び第２の実施形態では、撮像装置２００は、ディスプレイ２５０、及び画像記憶回路２６０を備えて構成されていたが、本実施の形態は、これに限定されるものではない。例えば、撮像装置２００は、ディスプレイ２５０、及び画像記憶回路２６０を有さず、有線や無線のネットワークを介して、別体のディスプレイや外部の画像記憶回路を備えるようにしてもよい。この場合、撮像装置２００は、画像記憶回路２６０に記憶させるべき撮像画像を、外部の画像記憶回路に記憶させたり、別体のディスプレイにその撮像画像を表示させることができる。

【符号の説明】

【0071】

１００ 光源
２００ 撮像装置
２１０ 撮像部
２２０ 処理回路
２２１ 高さ取得部
２２２ 色取得部
２２３ 合成部
２３０ 記憶回路
２５０ ディスプレイ
２６０ 画像記憶回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】