(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-23
(45)【発行日】2023-08-31
(54)【発明の名称】外観検査システム、及び外観検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20230824BHJP
B07C 5/342 20060101ALI20230824BHJP
【FI】
G01N21/88 Z
B07C5/342
(21)【出願番号】P 2019163356
(22)【出願日】2019-09-06
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(73)【特許権者】
【識別番号】000252182
【氏名又は名称】六甲バター株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】田中 勇記
(72)【発明者】
【氏名】福原 貴成
(72)【発明者】
【氏名】村松 陽太郎
(72)【発明者】
【氏名】徳岡 篤
(72)【発明者】
【氏名】小泉 忠
(72)【発明者】
【氏名】泰中 仁志
【審査官】田中 洋介
(56)【参考文献】
【文献】特開2017-170400(JP,A)
【文献】特開2017-072411(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-21/958
B07C 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、
前記検査対象物を撮像する撮像部と、
第1センサーが第1位置で検査対象物を検出した時間である第1センサー検出時間と、第2センサーが第2位置で前記検査対象物を検出した時間である第2センサー検出時間とに基づいて、前記検査対象物が前記第1位置と前記第2位置との間を通過するのに要した時間である通過時間を導出する処理部と、
前記撮像部が撮像した前記検査対象物の画像に基づいて、前記検査対象物が良品であるか不良品であるかを判別する判別部と、
前記処理部が導出した前記通過時間に基づいて、前記検査対象物の不良品を排出する排出部に前記検査対象物を排出させるタイミングである排出タイミングを導出し、導出した前記タイミングに基づいて、前記排出部に前記検査対象物の不良品を排出させる制御部と
を備え
、
前記検査対象物の表面は、凹凸を有し、光沢があり、光を照射した場合にその光が反射し、
前記検査対象物の前記画像には、前記検査対象物の3面の画像が含まれる、外観検査システム。
【請求項2】
前記制御部は、前記排出タイミングに基づいて、前記判別部によって不良品であると判別された前記検査対象物を排出するための制御信号を、前記排出部に出力し、
前記排出部は、前記制御部が出力した前記制御信号に基づいて、前記検査対象物の不良品を排出する、請求項1に記載の外観検査システム。
【請求項3】
前記処理部は、前記通過時間に基づいて、前記撮像部に前記検査対象物を撮像させるためのタイミングである撮像タイミングを導出し、導出した前記撮像タイミングに基づいて、前記撮像部に前記検査対象物を撮像させるための制御信号を出力する、請求項2に記載の外観検査システム。
【請求項4】
前記制御部は、前記通過時間に撮像タイミング調整用の係数を乗算することによって、前記撮像タイミングを導出し、前記通過時間に排出タイミング調整用の係数を乗算することによって、前記排出タイミングを導出する、請求項3に記載の外観検査システム。
【請求項5】
前記検査対象物の画像から前記検査対象物の部分を取得し、取得した前記検査対象物の部分を複数に分割し、複数の分割画像を取得する画像処理部
をさらに備え、
前記判別部は、前記画像処理部が取得した複数の前記分割画像に基づいて、複数の前記分割画像の各々の良否を、前記分割画像の前記検査対象物の前記画像における位置ごとに教師なし学習を行うことによって判別する、請求項1から請求項4のいずれか一項に記載の外観検査システム。
【請求項6】
前記検査対象物に青色の光を照射する第1照明部
をさらに備え、
水平面を構成する互いに垂直である2軸をX軸とY軸とし、前記検査対象物は前記X軸の方向に移動し、前記検査対象物の前記X軸と前記Y軸とからなる平面に平行な面を一主面とした場合に、前記処理部は、前記検査対象物の前記一主面の中心が所定の位置と一致する前に、前記第1照明部に光を照射させ、
前記検査対象物に光を照射させた状態で、前記検査対象物の前記一主面の中心が、所定の前記位置と一致するタイミングで、前記撮像部に、前記検査対象物を撮像させ、
所定の前記位置は、前記第1照明部と所定の前記位置とを結んだ線と、所定の前記位置から前記一主面の法線方向にのばした線とのなす角度が、50度以上70度以下となる位置である、請求項1から請求項5のいずれか一項に記載の外観検査システム。
【請求項7】
前記検査対象物に青色の光を照射する第2照明部
をさらに備え、
水平面を構成する互いに垂直である2軸をX軸とY軸とし、前記検査対象物は前記X軸の方向に移動し、前記検査対象物の前記X軸と前記Y軸とからなる平面に平行な面を一主面とした場合に、前記第2照明部は、前記一主面の法線方向を0度とした場合に、15度以上25度以下の入射角度で光を照射する、請求項1から請求項6のいずれか一項に記載の外観検査システム。
【請求項8】
検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、
第1センサーが第1位置で検査対象物を検出した時間である第1センサー検出時間と、第2センサーが第2位置で前記検査対象物を検出した時間である第2センサー検出時間とに基づいて、前記検査対象物が前記第1位置と前記第2位置との間を通過するのに要した時間である通過時間を導出するステップと、
前記検査対象物を撮像する撮像部が撮像した前記検査対象物の画像に基づいて、前記検査対象物が良品であるか不良品であるかを判別するステップと、
前記導出するステップで導出した前記通過時間に基づいて、前記検査対象物の不良品を排出する排出部に前記検査対象物を排出させるタイミングである排出タイミングを導出し、導出した前記タイミングに基づいて、前記排出部に前記検査対象物の不良品を排出させるステップと
を有
し、
前記検査対象物の表面は、凹凸を有し、光沢があり、光を照射した場合にその光が反射し、
前記検査対象物の前記画像には、前記検査対象物の3面の画像が含まれる、外観検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観検査システム、及び外観検査方法に関する。
【背景技術】
【0002】
チーズ等の食品は、アルミ箔などの主に樹脂を基材とした包装材料にて包装される。アルミ箔に包装されたチーズ等は、固化していない状態で、目視検査が行われ、冷却装置、乾燥装置等の固化装置に搬入される。アルミ箔に包装されたチーズ等は、その固化装置の内部で、コンベアにより搬送されつつ固化される。固化されたチーズ等は、撮像され、撮像された対象物を画像認識させることによって、検品作業が行われる。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている(例えば、特許文献1参照)。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
目視検査では、検品対象の良否を判断する基準が、人によって異なるため、目視検査の結果にばらつきが生じる。また、目視検査では、熟練者の経験値を、他者と共有し難い。
外観検査装置で撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、外観検査装置で撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
また、製品は、複数のベルトコンベアを経由して、外観検査装置へ搬送される。このため、複数のベルトコンベアの各々を経由する際に、製品がベルトコンベア上を滑ってしまい、一定の周期で、製品が外部検査装置に搬送されない場合がある。仮に、不良品であると判定された製品の排出を、製品がベルトコンベアに載置されるタイミングに基づいて設定した場合に、不良品であると判定された製品が、排出できない場合がある。
本発明は、このような事情に鑑みてなされたものであり、その目的は、検査対象物の画像を用いて、検査対象物の良否を判別する外観検査システムにおいて、不良品であると判定された製品を排出できる外観検査システム、及び外観検査方法を提供することである。
【課題を解決するための手段】
【0005】
(1)本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、前記検査対象物を撮像する撮像部と、第1センサーが第1位置で検査対象物を検出した時間である第1センサー検出時間と、第2センサーが第2位置で前記検査対象物を検出した時間である第2センサー検出時間とに基づいて、前記検査対象物が前記第1位置と前記第2位置との間を通過するのに要した時間である通過時間を導出する処理部と、前記撮像部が撮像した前記検査対象物の画像に基づいて、前記検査対象物が良品であるか不良品であるかを判別する判別部と、前記処理部が導出した前記通過時間に基づいて、前記検査対象物の不良品を排出する排出部に前記検査対象物を排出させるタイミングである排出タイミングを導出し、導出した前記タイミングに基づいて、前記排出部に前記検査対象物の不良品を排出させる制御部とを備え、前記検査対象物の表面は、凹凸を有し、光沢があり、光を照射した場合にその光が反射し、前記検査対象物の前記画像には、前記検査対象物の3面の画像が含まれる、外観検査システムである。
(2)本発明の一態様は、前記制御部は、前記排出タイミングに基づいて、前記判別部によって不良品であると判別された前記検査対象物を排出するための制御信号を、前記排出部に出力し、前記排出部は、前記制御部が出力した前記制御信号に基づいて、前記検査対象物の不良品を排出する、上記(1)に記載の外観検査システムである。
(3)本発明の一態様は、前記制御部は、前記通過時間に基づいて、前記撮像部に前記検査対象物を撮像させるためのタイミングである撮像タイミングを導出し、導出した前記撮像タイミングに基づいて、前記撮像部に前記検査対象物を撮像させるための制御信号を出力する、上記(2)に記載の外観検査システムである。
(4)本発明の一態様は、前記制御部は、前記通過時間に撮像タイミング調整用の係数を乗算することによって、前記撮像タイミングを導出し、前記通過時間に排出タイミング調整用の係数を乗算することによって、前記排出タイミングを導出する、上記(3)に記載の外観検査システムである。
(5)本発明の一態様は、前記検査対象物の画像から前記検査対象物の部分を取得し、取得した前記検査対象物の部分を複数に分割し、複数の分割画像を取得する画像処理部をさらに備え、前記判別部は、前記画像処理部が取得した複数の前記分割画像に基づいて、複数の前記分割画像の各々の良否を、前記分割画像の前記検査対象物の前記画像における位置ごとに教師なし学習を行うことによって判別する、上記(1)から上記(4)のいずれか一項に記載の外観検査システムである。
(6)本発明の一態様は、前記検査対象物に青色の光を照射する第1照明部をさらに備え、水平面を構成する互いに垂直である2軸をX軸とY軸とし、前記検査対象物は前記X軸の方向に移動し、前記検査対象物の前記X軸と前記Y軸とからなる平面に平行な面を一主面とした場合に、前記処理部は、前記検査対象物の前記一主面の中心が所定の位置と一致する前に、前記第1照明部に光を照射させ、前記検査対象物に光を照射させた状態で、前記検査対象物の前記一主面の中心が、所定の前記位置と一致するタイミングで、前記撮像部に、前記検査対象物を撮像させ、所定の前記位置は、前記第1照明部と所定の前記位置とを結んだ線と、所定の前記位置から前記一主面の法線方向にのばした線とのなす角度が、50度以上70度以下となる位置である、上記(1)から上記(4)のいずれか一項に記載の外観検査システムである。
(7)本発明の一態様は、前記検査対象物に青色の光を照射する第2照明部をさらに備え、水平面を構成する互いに垂直である2軸をX軸とY軸とし、前記検査対象物は前記X軸の方向に移動し、前記検査対象物の前記X軸と前記Y軸とからなる平面に平行な面を一主面とした場合に、前記第2照明部は、前記一主面の法線方向を0度とした場合に、15度以上25度以下の入射角度で光を照射する、上記(1)から上記(5)のいずれか一項に記載の外観検査システムである。
【0006】
(8)本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、第1センサーが第1位置で検査対象物を検出した時間である第1センサー検出時間と、第2センサーが第2位置で前記検査対象物を検出した時間である第2センサー検出時間とに基づいて、前記検査対象物が前記第1位置と前記第2位置との間を通過するのに要した時間である通過時間を導出するステップと、前記検査対象物を撮像する撮像部が撮像した前記検査対象物の画像に基づいて、前記検査対象物が良品であるか不良品であるかを判別するステップと、前記導出するステップで導出した前記通過時間に基づいて、前記検査対象物の不良品を排出する排出部に前記検査対象物を排出させるタイミングである排出タイミングを導出し、導出した前記タイミングに基づいて、前記排出部に前記検査対象物の不良品を排出させるステップとを有し、前記検査対象物の表面は、凹凸を有し、光沢があり、光を照射した場合にその光が反射し、前記検査対象物の前記画像には、前記検査対象物の3面の画像が含まれる、外観検査方法である。
【発明の効果】
【0007】
本発明によれば、検査対象物の画像を用いて、検査対象物の良否を判別する外観検査システムにおいて、不良品であると判定された製品を排出できるという効果が得られる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係る外観検査システムの一例を示す図である。
【
図3】、本発明の実施形態に係る外観検査システムにおける照明部の一例を示す図である。
【
図4】本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。
【
図5】本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。
【
図6】本実施形態に係る外観検査システムの動作の一例を示すシーケンスチャートである。
【
図7】本実施形態に係る外観検査システムの動作の一例を示す図である。
【
図8】本実施形態の変形例1に係る外観検査システムの一例を示す図である。
【
図9】本実施形態の変形例2に係る外観検査システムの一例を示す図である。
【
図10】本実施形態の変形例2に係る外観検査システムにおける照明部の配置の一例を示す図である。
【
図11】本実施形態の変形例2に係る外観検査システムにおける製品の載置の一例を示す図である。
【発明を実施するための形態】
【0009】
次に、本実施形態の外観検査システム、及び外観検査方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
【0010】
(実施形態)
(外観検査システム)
図1は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークW(検査対象物)の外観検査、つまりワークWの形状と、表面の状態とに基づいて、ワークWの良否を判断する。外観検査システムは、ベルトコンベアに載置されたワークが撮像される位置より前の異なる2点の各々を通過する時刻を検出する。外観検査システムは、検出した2点の各々を通過する時刻に基づいて、2点の間を通過するのに要した時間である通過時間Tsを導出する。外観検査システムは、導出した通過時間Tsに基づいて、撮像部にワークを撮像させるタイミングである撮像タイミングを導出する。外観検査システムは、導出した撮像タイミングに基づいて、ワークWを照明し、照明したワークWを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークWが良品であるか不良品であるかを判別する。外観検査システムは、ワークWが不良品であると判別した場合に、通過時間Tsに基づいて、ワークWを排出する排出部にワークWを排出させるタイミングである排出タイミングを導出する。外観検査システムは、導出した排出タイミングに基づいて、排出部に不良品と判別されたワークWを排出させる。本実施形態では、ワークWの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
【0011】
外観検査システム100は、ベルトコンベアBC-1と、ベルトコンベアBC-2aと、ベルトコンベアBC-2bと、ベルトコンベアBC-2cと、ベルトコンベアBC-2dとを備える。外観検査システム100は、センサー110aと、センサー120aと、センサー110bと、センサー120bと、センサー110cと、センサー120cと、
センサー110dと、センサー120dとを備える。外観検査システム100は、照明部102aと、照明部102bと、照明部102cと、照明部102dと、撮像部103aと、撮像部103bと、撮像部103cと、撮像部103dと、排出部130aと、排出部130bと、排出部130cと、排出エリア140aと、排出エリア140bと、排出エリア140cと、排出エリア140dと、制御装置150とを備える。
第1検査ラインは、ベルトコンベアBC-2aと、センサー110aと、センサー120aと、照明部102aと、撮像部103aと、排出部130aと、排出エリア140aとを含む。2検査ラインは、ベルトコンベアBC-2bと、センサー110bと、センサー120bと、照明部102bと、撮像部103bと、排出部130bと、排出エリア140bとを含む。第3検査ラインは、ベルトコンベアBC-2cと、センサー110cと、センサー120cと、照明部102cと、撮像部103cと、排出部130cと、排出エリア140cとを含む。第4検査ラインは、ベルトコンベアBC-2dと、センサー110dと、センサー120dと、照明部102dと、撮像部103dと、排出部130dと、排出エリア140dとを含む。
制御装置150は、ベルトコンベアBC-1と、ベルトコンベアBC-2aと、ベルトコンベアBC-2bと、ベルトコンベアBC-2cと、ベルトコンベアBC-2dと、センサー110aと、センサー110bと、センサー110cと、センサー110dと接続される。制御装置150は、センサー120aと、センサー120bと、センサー120cと、センサー120dと、照明部102aと、照明部102bと、照明部102cと、照明部102dと接続される。制御装置150は、撮像部103aと、撮像部103bと、撮像部103cと、撮像部103dと、排出部130aと、排出部130bと、排出部130cと、排出部130dと接続される。
図1では、制御装置150と、センサー110aと、センサー120aと、照明部102aと、撮像部103aと、排出部130aとの間の接続が示され、それ以外の接続については省略されている。
【0012】
第1検査ラインから第4検査ラインは同様の構成であるため、一例として、第1検査ラインについて説明する。つまり、第2検査ラインから第4検査ラインは、第1検査ラインを適用できる。ベルトコンベアBC-1は、制御装置150によって制御される。ベルトコンベアBC-1は、輪状にした幅広のベルトを台車の上で回転させ、その上に製品101を載置して移動させる。
図1では、水平面を構成する互いに垂直である2軸をX軸とY軸とし、水平面に垂直な方向をZ軸とする。複数の製品101の各々は、ベルトコンベアBC-1によって、X軸の正の方向に移動する。複数の製品101の各々の移動方向を矢印で示す。コンベアBC-1によって搬送される複数の製品101の各々は、ベルトコンベアBC-2aと、ベルトコンベアBC-2bと、ベルトコンベアBC-2cと、ベルトコンベアBC-2dとのうち、ベルトコンベアBC-2aに搬送されることによって、第1検査ラインに搬送される。
ベルトコンベアBC-2aに搬送された製品101は、ベルトコンベアBC-2a上で、センサー110aに検出される。センサー110aの一例は、光電センサーである。センサー110aは、製品101を検出した場合に、センサー110aのIDと、製品101を検出したことを示す情報と、製品101を検出した時刻を示す情報である第1時刻情報とを含む第1検出通知情報を作成し、作成した第1検出通知情報を、制御装置150に出力する。ベルトコンベアBC-2aに搬送された製品101は、センサー110aに検出された後に、センサー120aに検出される。センサー120aの一例は、光電センサーである。センサー120aは、製品101を検出した場合に、センサー120aのIDと、製品101を検出したことを示す情報と、製品101を検出した時刻を示す情報である第2時刻情報とを含む第2検出通知情報を作成し、作成した第2検出通知情報を、制御装置150に出力する。
【0013】
ここで、製品101について説明する。
図2は、製品の一例を示す図である。製品101はアルミ箔に包装されたチーズであるため、その表面は、アルミ箔である。このため、製品101の表面は、光沢があり、光を照射した場合に、その光が反射する場合がある。また、製品101は、アルミ箔を折り、溶融したチーズを注入することで成型する。このため、製品101の形状は、アルミ箔の折り目などによる凹凸を有する。
図1に戻り説明を続ける。照明部102aは、制御装置150によって制御される。照明部102aは、製品101に光を照射する。照明部102aが照射する光の色の一例は、青色である。
図3は、本発明の実施形態に係る外観検査システムにおける照明部の一例を示す図である。製品101において、X軸とY軸とからなる平面に平行な面を、一主面とする。照明部102aは、一主面と平行な第1軸周りに、第1角度θ1の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第1角度θ1の一例は、50度以上70度以下であり、より好ましくは、55度以上65度以下である。本実施形態では、第1角度θ1を50度とした場合について説明を続ける。
図1に戻り説明を続ける。
【0014】
撮像部103aは、制御装置150によって制御される。撮像部103aは、製品101を撮像する。撮像部103aは、照明部102aが照射した光を、製品101が反射することによって得られる反射光を受光することによって撮像する。撮像部103aは、複数の受光素子と、集光系光学系とを有している。受光素子は、集光系光学系を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサである。集光系光学系は、外部から入射する光を集光するための光学系である。具体的には、集光系光学系は、一以上の光学レンズを有している。撮像部103aは、照明部102aが照射した光を、製品101が反射した反射光を受光素子が受光できる位置に設置される。撮像部103aは、撮像することによって得られる画像(以下「検査用の画像」という)を示す情報を、制御装置150に出力する。排出部130aは、制御装置150によって制御される。排出部130aは、製品101を排出する。排出部130aは、制御装置150が不良品と判別した製品101を、排出エリア140aに排出する。
【0015】
図4は、本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置150は、CPU(Central Processing Unit)等のプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、CPU等のプロセッサ、プログラムを格納するROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、及びタイマー等の電子回路を備える。なお、制御装置150の少なくとも一部は、LSI(Large Scale Integration)等の集積回路であってもよい。制御装置150は、処理部152と、取得部154と、画像処理部156と、判別部158と、制御部160として機能する。
処理部152は、ベルトコンベアBC-1を制御することによって、ベルトコンベアBC-1に載置された製品101を、X軸の正の方向に搬送する。処理部152は、ベルトコンベアBC-2aを制御することによって、ベルトコンベアBC-1の後に、ベルトコンベアBC-2aに載置された製品101を、X軸の正の方向に、搬送する。処理部152は、センサー110aが出力した第1検出通知情報と、センサー120aが出力した第2検出通知情報とを取得する。処理部152は、取得した第1検出通知情報に含まれるセンサー110aのIDと、製品101を検出したことを示す情報と、第1時刻情報とを取得する。処理部152は、取得した第2検出通知情報に含まれるセンサー120aのIDと、製品101を検出したことを示す情報と、第2時刻情報とを取得する。処理部152は、取得した第1時刻情報と第2時刻情報とに基づいて、第1時刻から第2時刻が経過するまでの経過時間Tsを導出する。処理部152は、導出した経過時間Tsに撮像タイミング調整用の係数W1を乗算することによって、撮像タイミングを導出する。撮像タイミング調整用の係数W1は、予め設定される。処理部152は、導出した経過時間Tsを示す情報を制御部160に出力する。処理部152は、導出した撮像タイミングに基づいて、その撮像タイミングで、撮像部103aが製品101を撮像できるように、照明部102aに光を照射させる。具体的には、処理部152は、撮像タイミングの直前までの時間に、照明部102aに光を照射させるための制御情報を出力する。処理部152は、撮像タイミングに、撮像部103aに撮像させるための制御信号を出力する。
【0016】
図5は、本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。製品101の一主面の短辺の二辺と、照明部102aが光を照射する方向とのなす角度が、一主面の法線方向から見て第2角度θ2となるように載置される。第2角度θ2の一例は15度以上25度以下であり、より好ましくは17.5度以上22.5度以下である。本実施形態では、第2角度θ2が20度である場合について説明を続ける。
図4に戻り説明を続ける。
処理部152が、ベルトコンベアBC-2aを制御することによって、製品101の一主面の中心が、位置Pと一致する。位置Pの一例は、照明部102aと位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1角度θ1となる位置である。処理部152は、製品101の一主面の中心が、位置Pと一致する前に、照明部102を制御することによって、製品101に光を照射させる。処理部152は、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103に、製品101を撮像させる。取得部154は、撮像部103が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156に出力する。
【0017】
画像処理部156は、取得部154が出力した検査用の画像を示す情報を取得する。画像処理部156は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156は、取得した製品101の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158に出力する。
ベルトコンベアBC-2aに製品101が、製品101の一主面の短辺の二辺と、照明部102が光を照射する方向とのなす角度が、一主面の法線方向から見て第2角度θ2となるように載置されているため、検査用の画像には、製品101の3面の画像(上面、短辺を含む側面、長辺を含む側面)が含まれている。さらに、製品101の表面は銀色で、光沢を有するため、撮像部103が撮像するときに、製品101には青色の光が照射される。製品101に対して、照明部102aが所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品101に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品101の画像は、コントラストが高く、はっきりする。
判別部158は、画像処理部156が出力した複数の分割画像の各々の良否を、判別する。例えば、判別部158は、複数の分割画像の各々の良否を、その分割画像の製品101の画像における位置ごとに教師なし学習を行うことによって判別する。判別部158は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品101が良品であるか不良品であるかを判別する。判別部158は、製品101が不良品であると判別した場合に、不良品と判別されたことを示す情報を、制御部160に出力する。
制御部160は、処理部152が出力した経過時間Tsを示す情報を取得する。制御部160は、判別部158が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Tsに基づいて、排出部130aに不良品と判別された製品101を排出させるタイミングである排出タイミングを導出する。具体的には、制御部160は、経過時間Tsに排出タイミング調整用の係数W2を乗算することによって、排出タイミングを導出する。ここで、排出タイミング調整用の係数W2は、予め設定される。制御部160は、導出した排出タイミングに基づいて、その排出タイミングで、不良品と判別された製品101が排出エリア140aに排出されるように、排出部130aに制御信号を出力する。
【0018】
(外観検査システムの動作)
図6は、本実施形態に係る外観検査システムの動作の一例を示すシーケンスチャートである。
図7は、本実施形態に係る外観検査システムの動作の一例を示す図である。ベルトコンベアBC-2aに、製品101が、載置された後の動作について説明する。
(ステップS1)
処理部152は、ベルトコンベアBC-2aにベルトを回転させるための制御信号を出力する。
(ステップS2)
ベルトコンベアBC-2aは、制御装置150が出力した制御信号に基づいて動作する。ベルトコンベアBC-2aは、製品101を搬送する。
(ステップS3)
センサー110aは、製品101を検出する。
(ステップS4)
センサー110aは、センサー110aのIDと、製品101を検出したことを示す情報と、第1時刻情報とを含む第1検出通知情報を作成する。
(ステップS5)
センサー110aは、作成した第1検出通知情報を、制御装置150に出力する。
【0019】
(ステップS6)
センサー120aは、製品101を検出する。
(ステップS7)
センサー120aは、センサー120aのIDと、製品101を検出したことを示す情報と、第2時刻情報とを含む第2検出通知情報を作成する。
(ステップS8)
センサー120aは、作成した第2検出通知情報を、制御装置150に出力する。
(ステップS9)
処理部152は、センサー110aが出力した第1検出通知情報と、センサー120aが出力した第2検出通知情報とを取得する。処理部152は、取得した第1検出通知情報に含まれるセンサー110aのIDと、製品101を検出したことを示す情報と、第1時刻情報とを取得する。処理部152は、取得した第2検出通知情報に含まれるセンサー120aのIDと、製品101を検出したことを示す情報と、第2時刻情報とを取得する。処理部152は、取得した第1時刻情報と第2時刻情報とに基づいて、第1時刻から第2時刻が経過するまでの経過時間Tsを導出する。処理部152は、経過時間Tsに撮像タイミング調整用の係数W1を乗算することによって、撮像タイミングを導出する。
(ステップS10)
処理部152は、撮像タイミングの直前までの時間に、照明部102aに光を照射させるための制御情報を出力する。
【0020】
(ステップS11)
照明部102aは、制御装置150が出力した制御信号に基づいて、発光する。照明部102aが発光することによって、製品101に光が照射される。
(ステップS12)
処理部152は、撮像タイミングに、撮像部103aに撮像させるための制御信号を出力する。
(ステップS13)
撮像部103aは、制御装置150が出力した制御信号に基づいて、製品101を撮像する。
(ステップS14)
撮像部103aは、製品101を撮像することによって得られた検査用の画像を示す情報を、制御装置150に出力する。
(ステップS15)
取得部154は、撮像部103aが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部156に出力する。画像処理部156は、取得部154が出力した検査用の画像を示す情報を取得する。画像処理部156は、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品101の部分を切り出すことによって、製品101の画像を取得する。画像処理部156は、取得した製品101の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、判別部158に出力する。
【0021】
(ステップS16)
判別部158は、画像処理部156が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部158は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品101が良品であるか不良品であるかを判別する。判別部158は、製品101が不良品であると判別した場合に、不良品と判別されたことを示す情報を、制御部160に出力する。ここで、制御装置150は、パトライト(登録商標)(図示なし)を点灯してもよい。
(ステップS17)
判別部158は、製品101が良品であると判別した場合に、製品101が良品であることを示す情報を出力する。
(ステップS18)
制御部160は、処理部152が出力した経過時間Tsを示す情報を取得する。制御部160は、判別部158が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Tsに基づいて、排出部130aに不良品と判別された製品101を排出させるタイミングである排出タイミングを導出する。
(ステップS19)
制御部160は、導出した排出タイミングに基づいて、不良品と判別された製品101が排出エリア140aに排出されるように、排出部130aに制御信号を出力する。
(ステップS20)
排出部130aは、制御部160が出力した制御情報に基づいて、不良品と判別された製品101を、排出エリア140aに排出する。
【0022】
前述した実施形態において、製品101の表面の色と、光を反射する程度とのいずれか一方又は両方に基づいて、青色以外の色の光が照射されてもよい。
本実施形態に係る外観検査システムによれば、検査対象物(実施形態では製品101)の画像を用いて、検査対象物の良否を判別する外観検査システムであって、第1センサー(実施形態ではセンサー110)が第1位置で検査対象物を検出した時間である第1センサー検出時間と、第2センサー(実施形態ではセンサー120)が第2位置で検査対象物を検出した時間である第2センサー検出時間とに基づいて、検査対象物が第1位置と第2位置との間を通過するのに要した通過時間Tsを導出する処理部と、導出した通過時間に基づいて、排出部に検査対象物を排出させるタイミングである排出タイミングを導出し、導出したタイミングに基づいて、排出部に検査対象物の不良品を排出させる制御部とを備える。このように構成することによって、検査対象物が第1位置と第2位置との間を通過するのに要した通過時間に基づいて、排出部に不良品と判別された検査対象物を排出させる排出タイミングを導出できるため、不良品であると判定された製品を排出できる。
【0023】
(変形例1)
(外観検査システム)
図8は、本実施形態の変形例1に係る外観検査システムの一例を示す図である。外観検査システム100aは、外観検査システム100に、撮像部104aと、照明部105aとを備える。制御装置150は、撮像部104aと、照明部105aと接続される。照明部105aは、制御装置150によって制御される。照明部105aは、製品101に光を照射する。照明部105aが照射する光の色の一例は、青色である。照明部105aは、一主面に対して、第1軸と同軸または平行な第2軸周りに、照明部102とは反対側から第1a角度θ1aの入射角度で光を照射する。一主面の法線方向を0度とした場合に、第1a角度θ1aの一例は、50度以上70度以下であり、より好ましくは、55度以上65度以下である。本変形例では、第1a角度θ1aを50度とした場合について説明を続ける。照明部105aの一例は、
図3を適用できる。撮像部103aは、制御装置150によって制御される。撮像部103aは、製品101を撮像する。撮像部104aは、撮像部103aと同様の構成であり、制御装置150によって制御される。撮像部104aは、製品101を撮像する。撮像部104aは、照明部105aが照射した光を、製品101が反射することによって得られる反射光を受光することによって撮像する。撮像部104aは、照明部105aが照射した光を、製品101が反射した反射光を受光素子が受光する位置に設置される。撮像部104aは、撮像することによって得られる検査用の画像を示す情報を、制御装置150に出力する。
本実施形態の変形例1に係る外観検査システムの制御装置の一例は、
図4を適用できる。ただし、処理部152は、導出した撮像タイミングに基づいて、その撮像タイミングで、撮像部103aと撮像部104aとが製品101を撮像できるように、照明部102aと照明部105aとに光を照射させる。具体的には、処理部152は、撮像タイミングの直前までの時間に、照明部102aと照明部105aとに光を照射させるための制御情報を出力する。処理部152は、撮像タイミングに、撮像部103aと、撮像部104aとに撮像させるための制御信号を出力する。処理部152が、ベルトコンベアBCを制御することによって、製品101の一主面の中心が、位置Pと一致する。ここで、位置Pの一例は、照明部102aと位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1角度θ1となる位置である。また、位置Pの一例は、照明部105と位置Pとを結んだ線と、位置Pから一主面の法線方向にのばした線とのなす角度が、第1a角度θ1aとなる位置であってもよい。処理部152は、製品101の一主面の中心が、位置Pと一致する前に、照明部102aと、照明部105aとを制御することによって、製品101に光を照射させる。処理部152は、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103aと、撮像部104aとに、製品101を撮像させる。取得部154は、撮像部103aが出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156に出力する。取得部154は、撮像部104aが出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部156に出力する。
前述した実施形態の変形例1において、照明部102が照射する光の色と、照明部105が照射する光の色とが異なってもよい。前述した実施形態の変形例1においては、第1検査ラインについて説明したが、第2検査ラインから第4検査ラインにも適用できる。本実施形態の変形例に係る外観検査システムによれば、外観検査システム100の効果に加え、検査対象の画像の数を増加できるため、検査対象物の検品作業における精度を向上できる。
【0024】
(変形例2)
(外観検査システム)
図9は、本実施形態の変形例2に係る外観検査システムの一例を示す図である。外観検査システム100bは、ベルトコンベアBC-2aと、照明部102aと、撮像部104aと、照明部107aと、照明部108aと、制御装置150とを備える。制御装置150は、ベルトコンベアBC-2aと、照明部102aと、撮像部103aと、照明部107aと、照明部108aと接続される。
図10は、本実施形態の変形例2に係る外観検査システムにおける照明部の配置の一例を示す図である。
図10において、照明部102aと、撮像部103aとは省略されている。照明部107aは、制御装置150によって制御される。照明部107aは、製品101に光を照射する。照明部107aが照射する光の色の一例は、青色である。照明部107aは、製品101が載置された面に対して、一主面と平行かつ第1軸と垂直な第3軸周りに、第3角度θ3の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第3角度θ3の一例は、15度以上25度以下であり、より好ましくは、17.5度以上22.5度以下である。本実施形態では、第3角度θ3を20度とした場合について説明を続ける。照明部107aの一例は、複数のLEDをX方向に並べたものである。照明部108aは、制御装置150によって制御される。照明部108aは、製品101に光を照射する。照明部108aが照射する光の色の一例は、青色である。照明部108aは、製品101が載置された面に対して、第3軸と平行な第4軸周りに、照明部107aとは反対側から、第3角度θ3の入射角度で光を照射する。一主面の法線方向を0度とした場合に、第3角度θ3の一例は、15度以上25度以下であり、より好ましくは、17.5度以上22.5度以下である。本変形例では、第3角度θ3を20度とした場合について説明を続ける。照明部108aの一例は、複数のLEDをX方向に並べたものである。
【0025】
本実施形態の変形例2に係る外観検査システムの制御装置の一例を示すブロック図は、
図4を適用できる。
図11は、本実施形態の変形例2に係る外観検査システムにおける製品の載置の一例を示す図である。製品101の一主面の短辺の二辺と、照明部102aが光を照射する方向とのなす角度が、一主面の法線方向から見て、第2角度θ2となるように載置される。また、製品101の一主面の長辺の二辺と、照明部107aと、照明部108aとが光を照射する方向とのなす角度が、一主面の法線方向から見て、第4角度θ4となるように載置される。第4角度θ4の一例は、65度以上75度以下であり、より好ましくは、67.5度以上72.5度以下である。本変形例2では、第4角度θ4が、70度である場合について説明を続ける。処理部152が、ベルトコンベアBC-2aを制御することによって、製品101の一主面の中心が、位置Pと一致する。処理部152は、製品101の一主面の中心が、位置Pと一致する前に、照明部102aと、照明部107aと、照明部108aとを制御することによって、製品101に光を照射させる。処理部152は、製品101に光を照射させた状態で、製品101の一主面の中心が、位置Pと一致するタイミングで、撮像部103aに、製品101を撮像させる。
【0026】
前述した実施形態の変形例2において、照明部102aが照射する光の色と、照明部107aが照射する光の色と、照明部108aが照射する光の色とが異なっていてもよい。
前述した実施形態の変形例1においては、第1検査ラインについて説明したが、第2検査ラインから第4検査ラインにも適用できる。前述した実施形態の変形例2において、外観検査システム100に、照明部107aと、照明部108aとのいずれか一方又は両方を適用してもよい。また、例えば、外観検査システム100aに、照明部107aと、照明部108aとのいずれか一方又は両方を適用してもよい。本実施形態の変形例2に係る外観検査システムによれば、外観検査システム100の効果に加え、照明部107aによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。また、外観検査システム100の効果に加え、照明部108aによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
【0027】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0028】
100、100a、100b…外観検査システム、101…製品、102a、105a、107a、108a…照明部、103a、104a…撮像部、150…制御装置、152…処理部、154…取得部、156…画像処理部、158…判別部、160…制御部