(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】外観検査システム、及び外観検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20231127BHJP
G01N 21/95 20060101ALI20231127BHJP
【FI】
G01N21/88 Z
G01N21/95 Z
(21)【出願番号】P 2019163341
(22)【出願日】2019-09-06
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(73)【特許権者】
【識別番号】000252182
【氏名又は名称】六甲バター株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】田中 勇記
(72)【発明者】
【氏名】福原 貴成
(72)【発明者】
【氏名】村松 陽太郎
(72)【発明者】
【氏名】徳岡 篤
(72)【発明者】
【氏名】小泉 忠
(72)【発明者】
【氏名】泰中 仁志
【審査官】田中 洋介
(56)【参考文献】
【文献】特開2019-135461(JP,A)
【文献】特開2017-009523(JP,A)
【文献】特開2001-255275(JP,A)
【文献】特開2017-190962(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-21/958
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
検査対象物の一主面に対して、前記一主面と平行な第1軸周りに第1角度の入射角度で光を照射する第1照明部と、
前記第1照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第1撮像部と、
前記第1撮像部によって撮像された画像に含まれる前記検査対象物の形状と、表面の状態とに基づいて、前記検査対象物の良否を判別する判別部と
を備え、
前記第1角度は、前記一主面の法線方向を0度としたとき、50度以上70度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第1照明部が照射する前記光の照射方向とが、前記一主面の法線方向から見て第2角度をなし、前記第2角度は、15度以上25度以下であり、
前記判別部は、第1撮像部によって撮像された前記画像に含まれる前記検査対象物の3面の画像に基づいて、前記検査対象物の良否を判別
し、
前記検査対象物はアルミ箔に包装された製品であり、
前記第1照明部が照射する光の色は、青色である、外観検査システム。
【請求項2】
前記検査対象物の前記一主面に対して、前記第1軸と同軸または平行な第2軸周りに、前記第1照明部とは反対側から第1a角度の入射角度で光を照射する第2照明部と、
前記第2照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第2撮像部と
を備え、
前記判別部は、前記第1撮像部と、前記第2撮像部とによって撮像された画像に基づいて、前記検査対象物の良否を判別し、
前記一主面の対向する前記二辺と、前記第2照明部が照射する前記光の照明方向とが前記一主面の法線方向から見て前記第2角度をなす、請求項1に記載の外観検査システム。
【請求項3】
前記検査対象物が載置された面に対して、前記一主面と平行かつ前記第1軸と垂直な第3軸周りに15度以上25度以下の入射角度で光を照射する第3照明部
を備え、
前記一主面の対向する前記二辺とは異なる二辺と、前記第3照明部が照射する前記光の照射方向とが前記一主面の法線方向から見て第3角度をなし、前記第3角度は、65度以上75度以下である、請求項1又は請求項2に記載の外観検査システム。
【請求項4】
前記検査対象物が載置された面に対して、前記第3軸と平行な第4軸周りに、前記第3照明部とは反対側から15度以上25度以下の入射角度で光を照射する第4照明部
を備え、
前記一主面の対向する前記二辺とは異なる二辺と、前記第4照明部が照射する前記光の照射方向とが前記一主面の法線方向から見て第4角度をなし、前記第4角度は、65度以上75度以下である、請求項3に記載の外観検査システム。
【請求項5】
前記第1角度は、前記一主面の法線方向を0度としたとき、55度以上65度以下である、請求項1から請求項4のいずれか一項に記載の外観検査システム。
【請求項6】
検査対象物の一主面に対して、前記一主面と平行な第1軸周りに第1角度の入射角度で光を照射するステップと、
前記光を照射するステップで照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、
前記撮像するステップによって撮像された画像に含まれる前記検査対象物の形状と、表面の状態とに基づいて、前記検査対象物の良否を判別するステップと
を有し、
前記第1角度は、前記一主面の法線方向を0度としたとき、50度以上70度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記光を照射するステップで照射する前記光の照射方向とが前記一主面の法線方向から見て第2角度をなし、
前記第2角度は、15度以上25度以下であり、
前記判別するステップでは、前記撮像するステップによって撮像された前記画像に含まれる前記検査対象物の3面の画像に基づいて、前記検査対象物の良否を判別
し、
前記検査対象物はアルミ箔に包装された製品であり、
前記光を照射するステップで照射する光の色は、青色である、外観検査システムが実行する外観検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観検査システム、及び外観検査方法に関する。
【背景技術】
【0002】
チーズ等の食品は、アルミ箔などの主に樹脂を基材とした包装材料にて包装される。アルミ箔に包装されたチーズ等は、固化していない状態で、目視検査が行われ、冷却装置、乾燥装置等の固化装置に搬入される。アルミ箔に包装されたチーズ等は、その固化装置の内部で、コンベアにより搬送されつつ固化される。固化されたチーズ等は、撮像され、撮像された対象物を画像認識させることによって、検品作業が行われる。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている(例えば、特許文献1参照)。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
目視検査では、検品対象の良否を判断する基準が、人によって異なるため、目視検査の結果にばらつきが生じる。また、目視検査では、熟練者の経験値を、他者と共有し難い。
撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供することである。
【課題を解決するための手段】
【0005】
(1)本発明の一態様は、検査対象物の一主面に対して、前記一主面と平行な第1軸周りに第1角度の入射角度で光を照射する第1照明部と、前記第1照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第1撮像部と、前記第1撮像部によって撮像された画像に含まれる前記検査対象物の形状と、表面の状態とに基づいて、前記検査対象物の良否を判別する判別部とを備え、前記第1角度は、前記一主面の法線方向を0度としたとき、50度以上70度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第1照明部が照射する前記光の照射方向とが、前記一主面の法線方向から見て第2角度をなし、前記第2角度は、15度以上25度以下であり、前記判別部は、第1撮像部によって撮像された前記画像に含まれる前記検査対象物の3面の画像に基づいて、前記検査対象物の良否を判別し、前記検査対象物はアルミ箔に包装された製品であり、前記第1照明部が照射する光の色は、青色である、外観検査システムである。
(2)本発明の一態様は、前記検査対象物の前記一主面に対して、前記第1軸と同軸または平行な第2軸周りに、前記第1照明部とは反対側から前記第1角度の入射角度で光を照射する第2照明部と、前記第2照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第2撮像部とを備え、前記判別部は、前記第1撮像部と、前記第2撮像部とによって撮像された画像に基づいて、前記検査対象物の良否を判別し、前記一主面の対向する前記二辺と、前記第2照明部が照射する前記光の照明方向とが、前
記一主面の法線方向から見て前記第2角度をなす、上記(1)に記載の外観検査システムである。
(3)本発明の一態様は、前記検査対象物の前記一主面に対して、前記検査対象物が載置された面に対して、前記一主面と平行かつ前記第1軸と垂直な第3軸周りに15度以上25度以下の入射角度で光を照射する第3照明部を備え、前記一主面の対向する前記二辺とは異なる二辺と、前記第3照明部が照射する前記光の照射方向とが、前記一主面の法線方向から見て第3角度をなし、前記第3角度は、65度以上75度以下である、上記(1)又上記(2)に記載の外観検査システムである。
(4)本発明の一態様は、前記検査対象物の前記一主面に対して、前記検査対象物が載置された面に対して、前記第3軸と平行な第4軸周りに、前記第3照明部とは反対側から15度以上25度以下の入射角度で光を照射する第4照明部を備え、前記一主面の対向する前記二辺とは異なる二辺と、前記第4照明部が照射する前記光の照射方向とが、前記一主面の法線方向から見て第4角度をなし、前記第4角度は、65度以上75度以下である、上記(3)に記載の外観検査システムである。
(5)本発明の一態様は、前記第1角度は、前記一主面の法線方向を0度としたとき、55度以上65度以下である、上記(1)から上記(4)のいずれか一項に記載の外観検査システムである。
【0006】
(6)本発明の一態様は、検査対象物の一主面に対して、前記一主面と平行な第1軸周りに第1角度の入射角度で光を照射するステップと、前記光を照射するステップで照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、前記撮像するステップによって撮像された画像に含まれる前記検査対象物の形状と、表面の状態とに基づいて、前記検査対象物の良否を判別するステップとを有し、前記第1角度は、前記一主面の法線方向を0度としたとき、50度以上70度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記光を照射するステップで照射する前記光の照射方向とが、前記一主面の法線方向から見て第2角度をなし、前記第2角度は、15度以上25度以下であり、前記判別するステップでは、前記撮像するステップによって撮像された前記画像に含まれる前記検査対象物の3面の画像に基づいて、前記検査対象物の良否を判別し、前記検査対象物はアルミ箔に包装された製品であり、前記光を照射するステップで照射する光の色は、青色である、外観検査システムが実行する外観検査方法である。
【発明の効果】
【0007】
本発明によれば、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できるという効果が得られる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係る外観検査システムの一例を示す図である。
【
図4】本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。
【
図5】本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。
【
図6】本実施形態に係る外観検査システムの動作の一例を示すシーケンスチャートである。
【
図7】本実施形態の変形例1に係る外観検査システムの一例を示す図である。
【
図8】本実施形態の変形例1に係る外観検査システムの制御装置の一例を示すブロック図である。
【
図9】本実施形態の変形例1に係る外観検査システムの動作の一例を示すシーケンスチャートである。
【
図10】本実施形態の変形例2に係る外観検査システムの一例を示す図である。
【
図11】本実施形態の変形例2に係る外観検査システムにおける照明部の配置の一例を示す図である。
【
図12】本実施形態の変形例2に係る外観検査システムの制御装置の一例を示すブロック図である。
【
図13】本実施形態の変形例2に係る外観検査システムにおける製品の載置の一例を示す図である。
【
図14】本実施形態の変形例2に係る外観検査システムの動作の一例を示すシーケンスチャートである。
【発明を実施するための形態】
【0009】
次に、本実施形態の外観検査システム、及び外観検査方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
【0010】
(実施形態)
(外観検査システム)
図1は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークW(検査対象物)の外観検査、つまりワークWの形状と、表面の状態とに基づいて、ワークWの良否を判断する。外観検査システムは、外観検査の開始タイミングを規定する検査開始トリガ信号を生成する。外観検査システムは、この検査開始トリガ信号に基づいて、ワークWを照明し、照明したワークWを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークWの良否を判別する。本実施形態では、ワークWの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
外観検査システム100は、ベルトコンベアBCと、照明部102と、撮像部103と、制御装置150とを備える。制御装置150は、ベルトコンベアBCと、照明部102と、撮像部103と接続される。ベルトコンベアBCは、制御装置150によって制御される。ベルトコンベアBCは、輪状にした幅広のベルトを台車の上で回転させ、その上に製品101を載置して移動させる。
図1では、水平面を構成する互いに垂直である2軸をX軸とY軸とし、水平面に垂直な方向をZ軸とする。製品101は、ベルトコンベアBCによって、X軸の正の方向に移動する。製品101の移動方向を矢印で示す。
【0011】
次に、製品101について説明する。
図2は、製品の一例を示す図である。製品101はアルミ箔に包装されたチーズであるため、その表面は、アルミ箔である。このため、製品101の表面は、光沢があり、光を照射した場合に、その光が反射する場合がある。また、製品101は、アルミ箔を折り、溶融したチーズを注入することで成型する。このため、製品101の形状は、アルミ箔の折り目などによる凹凸を有する。
図1に戻り説明を続ける。
照明部102は、制御装置150によって制御される。照明部102は、製品101に光を照射する。照明部102が照射する光の色の一例は、青色である。製品101において、X軸とY軸とからなる平面に平行な面を、一主面とする。照明部102は、一主面と平行な第1軸周りに、第1角度θ1の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第1角度θ1の一例は、50度以上70度以下であり、より好ましくは、55度以上65度以下である。本実施形態では、第1角度θ1を50度とした場合について説明を続ける。
図3は、照明部の一例を示す図である。照明部102は、筐体1022と、発光ダイオード(light emitting diode: LED)1024-1からLED1024-N(Nは、N>0の整数)と、光透過部材1026とを備える。直方体の部材に、直方体の貫通孔を形成することによって、筐体1022が作製される。筐体1022の貫通孔の内側に、LED1024-1からLED1024-Nが設置される。光透過部材1026は、筐体1022の貫通孔の開口部の少なくとも一方を覆うように設けられ、LED1024-1からLED1024-Nの各々が発光した光を透過する。
図1に戻り説明を続ける。
【0012】
撮像部103は、制御装置150によって制御される。撮像部103は、製品101を撮像する。撮像部103は、照明部102が照射した光を、製品101が反射することによって得られる反射光を受光することによって撮像する。撮像部103は、複数の受光素子と、集光系光学系とを有している。受光素子は、集光系光学系を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサである。集光系光学系は、外部から入射する光を集光するための光学系である。具体的には、集光系光学系は、一以上の光学レンズを有している。撮像部103は、照明部102が照射した光を、製品101が反射した反射光を受光素子が受光できる位置に設置される。撮像部103は、撮像することによって得られる画像(以下「検査用の画像」という)を示す情報を、制御装置150に出力する。
図4は、本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置150は、CPU(Central Processing Unit)等のプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、CPU等のプロセッサ、プログラムを格納するROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、及びタイマー等の電子回路を備える。なお、制御装置150の少なくとも一部は、LSI(Large Scale Integration)等の集積回路であってもよい。制御装置150は、処理部152と、取得部154と、画像処理部156と、判別部158と、出力部160として機能する。
【0013】
処理部152は、ベルトコンベアBCを制御することによって、ベルトコンベアBCに載置された製品101を、X軸の正の方向に、搬送する。
図5は、本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。製品101の一主面の短辺の二辺と、照明部102が光を照射する方向とのなす角度が、一主面の法線方向から見て第2角度θ2となるように載置される。第2角度θ2の一例は、15度以上25度以下であり、より好ましくは、17.5度以上22.5度以下である。本実施形態では、第2角度θ2が、20度である場合について説明を続ける。
図4に戻り説明を続ける。
処理部152が、ベルトコンベアBCを制御することによって、製品101の一主面の中心が、位置Pと一致する。ここで、位置Pの一例は、照明部102と位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1角度θ1となる位置である。処理部152は、製品101の一主面の中心が、位置Pと一致する前に、照明部102を制御することによって、製品101に光を照射させる。処理部152は、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103に、製品101を撮像させる。取得部154は、撮像部103が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156に出力する。
【0014】
画像処理部156は、取得部154が出力した検査用の画像を示す情報を取得する。画像処理部156は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156は、取得した製品101の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158に出力する。
ベルトコンベアBCに製品101が、製品101の一主面の短辺の二辺と、照明部102が光を照射する方向とのなす角度が、第2角度θ2となるように載置されているため、検査用の画像には、製品101の3面の画像(上面、短辺を含む側面、長辺を含む側面)が含まれている。さらに、製品101の表面は銀色で、光沢を有するため、撮像部103が撮像するときに、製品101には青色の光が照射される。製品101に対して、照明部102が所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品101に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品101の画像は、コントラストが高く、はっきりする。
判別部158は、画像処理部156が出力した複数の分割画像の各々の良否を、判別する。例えば、判別部158は、複数の分割画像の各々の良否を、その分割画像の製品101の画像における位置ごとに教師なし学習を行うことによって判別する。判別部158は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品101の良否を判別する。判別部158は、製品101の良否の判別結果を、出力部160に出力する。
出力部160は、判別部158が出力した製品101の良否の判別結果を取得し、取得した製品101の判別結果を出力する。例えば、出力部160は、表示装置(図示なし)に、製品101の良否の判別結果を出力してもよい。また、製品101の良否の判別結果に基づいて、不良品を、製品101の生産ラインから除去してもよい。
【0015】
(外観検査システムの動作)
図6は、本実施形態に係る外観検査システムの動作の一例を示すシーケンスチャートである。ベルトコンベアBCに、製品101が、載置された後の動作について説明する。
(ステップS1)
制御装置150の処理部152は、ベルトコンベアBCにベルトを回転させるための制御信号を出力する。
(ステップS2)
ベルトコンベアBCは、制御装置150が出力した制御信号に基づいて動作する。ベルトコンベアBCは、製品101を搬送する。
(ステップS3)
制御装置150の処理部152は、照明部102に発光させるための制御信号を出力する。
(ステップS4)
照明部102は、制御装置150が出力した制御信号に基づいて、発光する。照明部102が発光することによって、製品101に光が照射される。
(ステップS5)
制御装置150の処理部152は、撮像部103に製品101を撮像させるための制御信号を出力する。
(ステップS6)
撮像部103は、制御装置150が出力した制御信号に基づいて、製品101を撮像する。
(ステップS7)
撮像部103は、製品101を撮像することによって得られた検査用の画像を示す情報を、制御装置150に出力する。
(ステップS8)
制御装置150の取得部154は、撮像部103が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部156に出力する。画像処理部156は、取得部154が出力した検査用の画像を示す情報を取得する。画像処理部156は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156は、取得した製品101の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158に出力する。
(ステップS9)
制御装置150の判別部158は、画像処理部156が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部158は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品101の良否を判別する。判別部158は、製品101の良否の判別結果を、出力部160に出力する。
(ステップS10)
出力部160は、判別部158が出力した製品101の良否の判別結果を取得し、取得した製品101の判別結果を出力する。
【0016】
前述した実施形態では、製品101に、青色の光が照射される場合について説明したが、この例に限られない。例えば、製品101の表面の色と、光を反射する程度とのいずれか一方又は両方に基づいて、青色以外の色の光が照射されてもよい。
本実施形態に係る外観検査システムによれば、 検査対象物(実施形態では製品101)の一主面に対して、一主面と平行な第1軸周りに第1角度の入射角度で光を照射する第1照明部(実施形態では、照明部102)と、第1照明部によって照射された検査対象物を、入射角度に対する反射角度で撮像する第1撮像部(実施形態では、撮像部103)と、第1撮像部によって撮像された画像に基づいて、検査対象物の良否を判別する判別部(実施形態では、判別部158)とを備える。第1角度は、一主面の法線方向を0度としたとき、50度以上70度以下であり、検査対象物は、直方体であり、一主面の対向する二辺と、第1照明部が照射する光の照射方向とが、一主面の法線方向から見て第2角度をなし、第2角度は、15度以上25度以下である。このように構成することによって、撮像部が撮像した画像に含まれる検査対象物のコントラストを高く、はっきりできるため、エッジ強調フィルタ処理を省略でき、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。さらに、撮像部によって撮像された画像に検査対象物の三面を含ませることができるため、撮影装置と、照明装置とを増加させることなく実現できる。
【0017】
(変形例1)
(外観検査システム)
図7は、本実施形態の変形例1に係る外観検査システムの一例を示す図である。外観検査システム100aは、ベルトコンベアBCと、照明部102と、撮像部103と、撮像部104と、照明部105と、制御装置150aとを備える。制御装置150aは、ベルトコンベアBCと、照明部102と、撮像部103と、撮像部104と、照明部105と接続される。ベルトコンベアBCは、制御装置150aによって制御される。
照明部105は、制御装置150aによって制御される。照明部105は、製品101に光を照射する。照明部105が照射する光の色の一例は、青色である。照明部105は、一主面に対して、第1軸と同軸または平行な第2軸周りに、照明部102とは反対側から第1a角度θ1aの入射角度で光を照射する。一主面の法線方向を0度とした場合に、第1a角度θ1aの一例は、50度以上70度以下であり、より好ましくは、55度以上65度以下である。本実施形態では、第1a角度θ1aを50度とした場合について説明を続ける。照明部105の一例は、
図3を適用できる。
【0018】
撮像部103は、制御装置150aによって制御される。撮像部103は、製品101を撮像する。撮像部103は、照明部102の貫通孔に設けられた光透過部材1026を介して、製品101を撮像する。撮像部104は、撮像部103と同様の構成であり、制御装置150aによって制御される。撮像部104は、照明部102の貫通孔に設けられた光透過部材1026を介して、製品101を撮像する。撮像部104は、照明部105が照射した光を、製品101が反射することによって得られる反射光を受光することによって撮像する。撮像部104は、照明部105が照射した光を、製品101が反射した反射光を受光素子が受光する位置に設置される。撮像部104は、撮像することによって得られる検査用の画像を示す情報を、制御装置150aに出力する。
【0019】
図8は、本実施形態の変形例1に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置150aの構成は、制御装置150と同様である。制御装置150aは、処理部152aと、取得部154aと、画像処理部156aと、判別部158aと、出力部160として機能する。
処理部152aは、ベルトコンベアBCを制御することによって、ベルトコンベアBCに載置された製品101を、X軸の正の方向に、搬送する。処理部152aが、ベルトコンベアBCを制御することによって、製品101の一主面の中心が、位置Pと一致する。ここで、位置Pの一例は、照明部102と位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1角度θ1となる位置である。また、位置Pの一例は、照明部105と位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1a角度θ1aとなる位置であってもよい。処理部152aは、製品101の一主面の中心が、位置Pと一致する前に、照明部102と、照明部105とを制御することによって、製品101に光を照射させる。処理部152aは、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103と、撮像部104とに、製品101を撮像させる。
取得部154aは、撮像部103が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156aに出力する。取得部154aは、撮像部104が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156aに出力する。
画像処理部156aは、取得部154aが出力した撮像部103が撮像した検査用の画像を示す情報を取得する。画像処理部156aは、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156aは、取得部154aが出力した撮像部104が撮像した検査用の画像を示す情報を取得する。画像処理部156aは、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156aは、取得した製品101の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158aに出力する。
判別部158aは、画像処理部156aが出力した複数の分割画像の各々の良否を判別する。例えば、判別部158aは、複数の分割画像の各々の良否を、その分割画像の製品101の画像における位置ごとに教師なし学習を行うことによって判別する。判別部158aは、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品101の良否を判別する。判別部158aは、製品101の良否の判別結果を、出力部160に出力する。
【0020】
(外観検査システムの動作)
図9は、本実施形態の変形例1に係る外観検査システムの動作の一例を示すシーケンスチャートである。ベルトコンベアBCに、製品101が、載置された後の動作について説明する。ステップS11からステップS12は、
図6を参照して説明したステップS1からステップS2を適用できる。
(ステップS13)
制御装置150aの処理部152aは、照明部102に発光させるための制御信号を出力する。制御装置150aの処理部152aは、照明部105に発光させるための制御信号を出力する。
(ステップS14)
照明部102は、制御装置150aが出力した制御信号に基づいて、発光する。照明部102が発光することによって、製品101に光が照射される。
(ステップS15)
照明部105は、制御装置150aが出力した制御信号に基づいて、発光する。照明部105が発光することによって、製品101に光が照射される。
【0021】
(ステップS16)
制御装置150aの処理部152aは、撮像部103に製品101を撮像させるための制御信号を出力する。制御装置150aの処理部152aは、撮像部104に製品101を撮像させるための制御信号を出力する。
(ステップS17)
撮像部103は、制御装置150aが出力した制御信号に基づいて、製品101を撮像する。
(ステップS18)
撮像部104は、制御装置150aが出力した制御信号に基づいて、製品101を撮像する。
(ステップS19)
撮像部103は、製品101を撮像することによって得られた検査用の画像を示す情報を、制御装置150aに出力する。撮像部103は、製品101を撮像することによって得られた検査用の画像を示す情報を、制御装置150aに出力する。
(ステップS20)
制御装置150aの取得部154aは、撮像部103と撮像部104との各々が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部156aに出力する。画像処理部156aは、取得部154aが出力した撮像部103と撮像部104との各々が撮像した検査用の画像を示す情報を取得する。画像処理部156aは、取得した複数の検査用の画像を示す情報の各々に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を複数取得する。画像処理部156は、取得した製品101の複数の画像の各々を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158に出力する。ステップS21からステップS22は、
図6を参照して説明したステップS9からステップS10を適用できる。
【0022】
前述した実施形態の変形例1では、製品101に、青色の光が照射される場合について説明したが、この例に限られない。照明部102が照射する光の色と、照明部105が照射する光の色とが異なってもよい。
本実施形態の変形例に係る外観検査システムによれば、外観検査システム100に、検査対象物の一主面に対して、第1軸と同軸または平行な第2軸周りに、第1照明部とは反対側から第1角度の入射角度で光を照射する第2照明部(実施形態では、照明部105)と、第2照明部によって照射された検査対象物を、入射角度に対する反射角度で撮像する第2撮像部(実施形態では、撮像部104)とを備える。判別部は、第1撮像部と、第2撮像部とによって撮像された画像に基づいて、検査対象物の良否を判別し、一主面の対向する二辺と、第2照明部が照射する光の照明方向とが、一主面の法線方向から見て第2角度をなす。このように構成することによって、外観検査システム100の効果に加え、検査対象の画像の数を増加できるため、検査対象物の検品作業における精度を向上できる。
【0023】
(変形例2)
(外観検査システム)
図10は、本実施形態の変形例2に係る外観検査システムの一例を示す図である。外観検査システム100bは、ベルトコンベアBCと、照明部102と、撮像部103と、照明部107と、照明部108と、制御装置150bとを備える。制御装置150bは、ベルトコンベアBCと、照明部102と、撮像部103と、照明部107と、照明部108と接続される。
図11は、本実施形態の変形例2に係る外観検査システムにおける照明部の配置の一例を示す図である。
図11において、照明部102と、撮像部103とは省略されている。照明部107は、制御装置150bによって制御される。照明部107は、製品101に光を照射する。照明部107が照射する光の色の一例は、青色である。照明部107は、製品101が載置された面に対して、一主面と平行かつ第1軸と垂直な第3軸周りに、第3角度θ3の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第3角度θ3の一例は、15度以上25度以下であり、より好ましくは、17.5度以上22.5度以下である。本実施形態では、第3角度θ3を20度とした場合について説明を続ける。照明部107の一例は、複数のLEDをX方向に並べたものである。
照明部108は、制御装置150bによって制御される。照明部108は、製品101に光を照射する。照明部107が照射する光の色の一例は、青色である。照明部108は、製品101が載置された面に対して、第3軸と平行な第4軸周りに、照明部107とは反対側から、第3角度θ3の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第3角度θ3の一例は、15度以上25度以下であり、より好ましくは、17.5度以上22.5度以下である。本実施形態では、第3角度θ3を20度とした場合について説明を続ける。照明部108の一例は、複数のLEDをX方向に並べたものである。
【0024】
図12は、本実施形態の変形例2に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置150bは、制御装置150と同様の構成である。制御装置150bは、処理部152bと、取得部154と、画像処理部156と、判別部158と、出力部160として機能する。
処理部152bは、ベルトコンベアBCを制御することによって、ベルトコンベアBCに載置された製品101を、X軸の正の方向に、搬送する。
図13は、本実施形態の変形例2に係る外観検査システムにおける製品の載置の一例を示す図である。製品101の一主面の短辺の二辺と、照明部102が光を照射する方向とのなす角度が、一主面の法線方向から見て、第2角度θ2となるように載置される。また、製品101の一主面の長辺の二辺と、照明部107と、照明部108とが光を照射する方向とのなす角度が、一主面の法線方向から見て第4角度θ4となるように載置される。第4角度θ4の一例は、65度以上75度以下であり、より好ましくは、67.5度以上72.5度以下である。本実施形態では、第4角度θ4が、70度である場合について説明を続ける。
図12に戻り説明を続ける。
処理部152bが、ベルトコンベアBCを制御することによって、製品101の一主面の中心が、位置Pと一致する。処理部152bは、製品101の一主面の中心が、位置Pと一致する前に、照明部102と、照明部107と、照明部108とを制御することによって、製品101に光を照射させる。処理部152bは、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103とに、製品101を撮像させる。
【0025】
(外観検査システムの動作)
図14は、本実施形態の変形例2に係る外観検査システムの動作の一例を示すシーケンスチャートである。ここでは、ベルトコンベアBCに、製品101が、載置された後の動作について説明する。ステップS31からステップS32は、
図6を参照して説明したステップS1からステップS2を適用できる。
(ステップS33)
制御装置150bの処理部152bは、照明部102に発光させるための制御信号を出力する。制御装置150bの処理部152bは、照明部107に発光させるための制御信号を出力する。制御装置150bの処理部152bは、照明部108に発光させるための制御信号を出力する。
(ステップS34)
照明部102は、制御装置150bが出力した制御信号に基づいて、発光する。照明部102が発光することによって、製品101に光が照射される。
(ステップS35)
照明部107は、制御装置150bが出力した制御信号に基づいて、発光する。照明部107が発光することによって、製品101に光が照射される。
(ステップS36)
照明部108は、制御装置150bが出力した制御信号に基づいて、発光する。照明部108が発光することによって、製品101に光が照射される。ステップS37からステップS42は、
図6を参照して説明したステップ5からステップS10を適用できる。
【0026】
前述した実施形態の変形例2では、製品101に、青色の光が照射される場合について説明したが、この例に限られない。例えば、照明部102が照射する光の色と、照明部107が照射する光の色と、照明部108が照射する光の色とが異なっていてもよい。
前述した実施形態の変形例2では、外観検査システム100に、照明部107と、照明部108とを適用した場合について説明したが、この限りでない。例えば、外観検査システム100に、照明部107と、照明部108とのいずれか一方又は両方を適用してもよい。また、例えば、外観検査システム100aに、照明部107と、照明部108とのいずれか一方又は両方を適用してもよい。
本実施形態の変形例2に係る外観検査システムによれば、外観検査システム100に、検査対象物が載置された面に対して、一主面と平行かつ第1軸と垂直な第3軸周りに15度以上25度以下の入射角度で光を照射する第3照明部(実施形態では、照明部107)を備える。一主面の対向する二辺とは異なる二辺と、第3照明部が照射する光の照射方向とが一主面の法線方向から見て第3角度をなし、第3角度は、65度以上75度以下である。このように構成することによって、外観検査システム100の効果に加え、第3照明部によって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
また、検査対象物が載置された面に対して、第3軸と平行な第4軸周りに、第3照明部とは反対側から15度以上25度以下の入射角度で光を照射する第4照明部(実施形態では、照明部108)を備える。一主面の対向する二辺とは異なる二辺と、第4照明部が照射する光の照射方向とが一主面の法線方向から見て第4角度をなし、第4角度は、65度以上75度以下である。このように構成することによって、外観検査システム100の効果に加え、第4照明部によって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
【0027】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0028】
100、100a、100b…外観検査システム、101…製品、102、105、107、108…照明部、103、104…撮像部、150、150a、150b…制御装置、152、152a、152b…処理部、154、154a…取得部、156、156a…画像処理部、158、158a…判別部、160…出力部