▶ 清水建設株式会社の特許一覧 ▶ 六甲バター株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】外観検査システム、及び外観検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20231128BHJP
【ＦＩ】
G01N21/88 J
【請求項の数】
4
(21)【出願番号】P 2019163358
(22)【出願日】2019-09-06
(65)【公開番号】P2021042994
(43)【公開日】2021-03-18
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(73)【特許権者】
【識別番号】000252182
【氏名又は名称】六甲バター株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】田中 勇記
(72)【発明者】
【氏名】福原 貴成
(72)【発明者】
【氏名】村松 陽太郎
(72)【発明者】
【氏名】徳岡 篤
(72)【発明者】
【氏名】小泉 忠
(72)【発明者】
【氏名】泰中 仁志
【審査官】田中 洋介
(56)【参考文献】
【文献】特開２０１９－１３５４６１（ＪＰ，Ａ）
【文献】特開２０１７－１９０９６２（ＪＰ，Ａ）
【文献】特開２０１８－２０５１６３（ＪＰ，Ａ）
【文献】特開２０１７－００９５２３（ＪＰ，Ａ）
【文献】特開２００１－２５５２７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４－２１／９５８
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－４０／２０
Ｇ０１Ｂ １１／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射する第１照明部と、
前記第１照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第１撮像部と、
前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射する第２照明部と、
前記第２照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第２撮像部と、
前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の複数の前記画像の各々を複数に分割することによって複数の分割画像を取得する画像処理部と、
複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、
前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部と
を備え、
前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下であり、
前記画像処理部は、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、
前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、
前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである、外観検査システム。
【請求項2】
前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、請求項１に記載の外観検査システム。
【請求項3】
前記第１角度は、前記一主面の法線方向を０度としたとき、５５度以上６５度以下である、請求項１又は請求項２に記載の外観検査システム。
【請求項4】
検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、第１照明部が、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射するステップと、
第１撮像部が、前記第１照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、
第２照明部が、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射するステップと、
第２撮像部が、第２照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、
前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、
複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、
前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップと
を有し、
前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下であり、
前記取得するステップでは、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、
前記判別するステップでは、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、
前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである、外観検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観検査システム、及び外観検査方法に関する。
【背景技術】
【0002】
チーズ等の食品は、アルミ箔などの主に樹脂を基材とした包装材料にて包装される。アルミ箔に包装されたチーズ等は、固化していない状態で、目視検査が行われ、冷却装置、乾燥装置等の固化装置に搬入される。アルミ箔に包装されたチーズ等は、その固化装置の内部で、コンベアにより搬送されつつ固化される。固化されたチーズ等は、撮像され、撮像された対象物を画像認識させることによって、検品作業が行われる。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている（例えば、特許文献１参照）。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている（例えば、特許文献１参照）。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－４１０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
目視検査では、検品対象の良否を判断する基準が、人によって異なるため、目視検査の結果にばらつきが生じる。また、目視検査では、熟練者の経験値を、他者と共有し難い。
撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供することである。
撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供することである。
【課題を解決するための手段】
【0005】
（１）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射する第１照明部と、前記第１照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第１撮像部と、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射する第２照明部と、前記第２照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第２撮像部と、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の複数の前記画像の各々を複数に分割することによって複数の分割画像を取得する画像処理部と、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部とを備え、前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下である、外観検査システムであり、前記画像処理部は、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである。
（２）本発明の一態様は、前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、上記（１）に記載の外観検査システムである。
（３）本発明の一態様は、前記第１角度は、前記一主面の法線方向を０度としたとき、５５度以上６５度以下である、上記（１）又は上記（２）に記載の外観検査システムである。
（２）本発明の一態様は、前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、上記（１）に記載の外観検査システムである。
（３）本発明の一態様は、前記第１角度は、前記一主面の法線方向を０度としたとき、５５度以上６５度以下である、上記（１）又は上記（２）に記載の外観検査システムである。
【0006】
（４）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、第１照明部が、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射するステップと、第１撮像部が、前記第１照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、第２照明部が、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射するステップと、第２撮像部が、第２照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップとを有し、前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下である、外観検査方法であり、前記取得するステップでは、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、前記判別するステップでは、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである。
【発明の効果】
【0007】
本発明によれば、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できるという効果が得られる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係る外観検査システムの一例を示す図。
【図2】製品の一例を示す図。
【図3】本実施形態に係る外観検査システムにおける照明部の一例を示す図。
【図4】本実施形態に係る外観検査システムの制御装置の一例を示すブロック図。
【図5】本実施形態に係る外観検査システムにおける製品の載置の一例を示す図。
【図6】本実施形態に係る外観検査システムの制御装置の処理の例１を示す図。
【図7】本実施形態に係る外観検査システムの制御装置の処理の例２を示す図。
【図8】判定スコア閾値の設定例を示す図。
【図9】本実施形態に係る外観検査システムの動作の例１を示すシーケンス図。
【図10】本実施形態に係る外観検査システムの動作の一例を示す図。
【図11】本実施形態に係る外観検査システムの動作の例２を示すシーケンス図。
【図12】本実施形態に係る外観検査システムの動作の例３を示すシーケンス図。
【図13】変形例に係る外観検査システムの一例を示す図。
【図14】変形例に係る外観検査システムにおける照明部の配置の一例を示す図。
【図15】変形例に係る外観検査システムにおける製品の載置の一例を示す図。
【発明を実施するための形態】
【0009】
次に、本実施形態の外観検査システム、及び外観検査方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0010】
（実施形態）
図１は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークＷ（検査対象物）の外観検査、ワークＷの形状と、表面の状態とに基づいて、ワークＷの良否を判断する。外観検査システムは、ベルトコンベアに載置されたワークが撮像される位置より前の異なる２点の各々を通過する時刻を検出する。外観検査システムは、検出した２点の各々を通過する時刻に基づいて、２点の間を通過するのに要した時間である通過時間Ｔｓを導出する。外観検査システムは、導出した通過時間Ｔｓに基づいて、撮像部にワークを撮像させるタイミングである撮像タイミングを導出する。外観検査システムは、導出した撮像タイミングに基づいて、ワークＷを照明し、照明したワークＷを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークＷが良品であるか不良品であるかを判別する。外観検査システムは、ワークＷが不良品であると判別した場合に、通過時間Ｔｓに基づいて、ワークＷを排出する排出部にワークＷを排出させるタイミングである排出タイミングを導出する。外観検査システムは、導出した排出タイミングに基づいて、排出部に不良品と判別されたワークＷを排出させる。以下、ワークＷの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
図１は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークＷ（検査対象物）の外観検査、ワークＷの形状と、表面の状態とに基づいて、ワークＷの良否を判断する。外観検査システムは、ベルトコンベアに載置されたワークが撮像される位置より前の異なる２点の各々を通過する時刻を検出する。外観検査システムは、検出した２点の各々を通過する時刻に基づいて、２点の間を通過するのに要した時間である通過時間Ｔｓを導出する。外観検査システムは、導出した通過時間Ｔｓに基づいて、撮像部にワークを撮像させるタイミングである撮像タイミングを導出する。外観検査システムは、導出した撮像タイミングに基づいて、ワークＷを照明し、照明したワークＷを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークＷが良品であるか不良品であるかを判別する。外観検査システムは、ワークＷが不良品であると判別した場合に、通過時間Ｔｓに基づいて、ワークＷを排出する排出部にワークＷを排出させるタイミングである排出タイミングを導出する。外観検査システムは、導出した排出タイミングに基づいて、排出部に不良品と判別されたワークＷを排出させる。以下、ワークＷの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
【0011】
外観検査システム１００は、ベルトコンベアＢＣ－１と、ベルトコンベアＢＣ－２ａと、ベルトコンベアＢＣ－２ｂと、ベルトコンベアＢＣ－２ｃと、ベルトコンベアＢＣ－２ｄとを備える。外観検査システム１００は、センサー１１０ａと、センサー１２０ａと、センサー１１０ｂと、センサー１２０ｂと、センサー１１０ｃと、センサー１２０ｃと、センサー１１０ｄと、センサー１２０ｄとを備える。外観検査システム１００は、照明部１０２ａと、照明部１０２ｂと、照明部１０２ｃと、照明部１０２ｄと、照明部１０５ａと、照明部１０５ｂと、照明部１０５ｃと、照明部１０５ｄと、撮像部１０３ａと、撮像部１０３ｂと、撮像部１０３ｃと、撮像部１０３ｄと、撮像部１０４ａと、撮像部１０４ｂと、撮像部１０４ｃと、撮像部１０４ｄと、排出部１３０ａと、排出部１３０ｂと、排出部１３０ｃと、排出部１３０ｄと、排出エリア１４０ａと、排出エリア１４０ｂと、排出エリア１４０ｃと、排出エリア１４０ｄと、制御装置１５０とを備える。
第１検査ラインは、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、排出部１３０ａと、排出エリア１４０ａとを含む。第２検査ラインは、ベルトコンベアＢＣ－２ｂと、センサー１１０ｂと、センサー１２０ｂと、照明部１０２ｂと、撮像部１０３ｂと、撮像部１０４ｂと、照明部１０５ｂと、排出部１３０ｂと、排出エリア１４０ｂとを含む。第３検査ラインは、ベルトコンベアＢＣ－２ｃと、センサー１１０ｃと、センサー１２０ｃと、照明部１０２ｃと、撮像部１０３ｃと、撮像部１０４ｃと、照明部１０５ｃと、排出部１３０ｃと、排出エリア１４０ｃとを含む。第４検査ラインは、ベルトコンベアＢＣ－２ｄと、センサー１１０ｄと、センサー１２０ｄと、照明部１０２ｄと、撮像部１０３ｄと、撮像部１０４ｄと、照明部１０５ｄと、排出部１３０ｄと、排出エリア１４０ｄとを含む。第１検査ラインから第４検査ラインは同様の構成であるため、第１検査ラインについて説明する。第２検査ラインから第４検査ラインは、第１検査ラインを適用できる。制御装置１５０は、ベルトコンベアＢＣ－１と、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、照明部１０５ａと、撮像部１０３ａと、撮像部１０４ａと、排出部１３０ａと接続される。図１では、第１検査ラインについての接続が示され、それ以外の接続については省略されている。
第１検査ラインは、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、排出部１３０ａと、排出エリア１４０ａとを含む。第２検査ラインは、ベルトコンベアＢＣ－２ｂと、センサー１１０ｂと、センサー１２０ｂと、照明部１０２ｂと、撮像部１０３ｂと、撮像部１０４ｂと、照明部１０５ｂと、排出部１３０ｂと、排出エリア１４０ｂとを含む。第３検査ラインは、ベルトコンベアＢＣ－２ｃと、センサー１１０ｃと、センサー１２０ｃと、照明部１０２ｃと、撮像部１０３ｃと、撮像部１０４ｃと、照明部１０５ｃと、排出部１３０ｃと、排出エリア１４０ｃとを含む。第４検査ラインは、ベルトコンベアＢＣ－２ｄと、センサー１１０ｄと、センサー１２０ｄと、照明部１０２ｄと、撮像部１０３ｄと、撮像部１０４ｄと、照明部１０５ｄと、排出部１３０ｄと、排出エリア１４０ｄとを含む。第１検査ラインから第４検査ラインは同様の構成であるため、第１検査ラインについて説明する。第２検査ラインから第４検査ラインは、第１検査ラインを適用できる。制御装置１５０は、ベルトコンベアＢＣ－１と、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、照明部１０５ａと、撮像部１０３ａと、撮像部１０４ａと、排出部１３０ａと接続される。図１では、第１検査ラインについての接続が示され、それ以外の接続については省略されている。
【0012】
ベルトコンベアＢＣ－１は、制御装置１５０によって制御される。ベルトコンベアＢＣ－１は、輪状にした幅広のベルトを台車の上で回転させ、その上に製品１０１を載置して移動させる。水平面を構成する互いに垂直である２軸をＸ軸とＹ軸とし、水平面に垂直な方向をＺ軸とする。複数の製品１０１の各々は、ベルトコンベアＢＣ－１によって、Ｘ軸の正の方向に移動する。複数の製品１０１の各々の移動方向を矢印で示す。コンベアＢＣ－１によって搬送される複数の製品１０１の各々は、ベルトコンベアＢＣ－２ａからベルトコンベアＢＣ－２ｄのうち、ベルトコンベアＢＣ－２ａに搬送されることによって、第１検査ラインに搬送される。
ベルトコンベアＢＣ－２ａに搬送された製品１０１は、ベルトコンベアＢＣ－２ａ上で、センサー１１０ａに検出される。センサー１１０ａは、製品１０１を検出した場合に、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第１時刻情報とを含む第１検出通知情報を作成し、作成した第１検出通知情報を、制御装置１５０に出力する。ベルトコンベアＢＣ－２ａに搬送された製品１０１は、センサー１１０ａに検出された後に、センサー１２０ａに検出される。センサー１２０ａは、製品１０１を検出した場合に、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第２時刻情報とを含む第２検出通知情報を作成し、作成した第２検出通知情報を、制御装置１５０に出力する。センサー１１０ａと、センサー１２０ａとの一例は、光電センサーである。
ベルトコンベアＢＣ－２ａに搬送された製品１０１は、ベルトコンベアＢＣ－２ａ上で、センサー１１０ａに検出される。センサー１１０ａは、製品１０１を検出した場合に、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第１時刻情報とを含む第１検出通知情報を作成し、作成した第１検出通知情報を、制御装置１５０に出力する。ベルトコンベアＢＣ－２ａに搬送された製品１０１は、センサー１１０ａに検出された後に、センサー１２０ａに検出される。センサー１２０ａは、製品１０１を検出した場合に、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第２時刻情報とを含む第２検出通知情報を作成し、作成した第２検出通知情報を、制御装置１５０に出力する。センサー１１０ａと、センサー１２０ａとの一例は、光電センサーである。
【0013】
図２は、製品の一例を示す図である。製品１０１はアルミ箔に包装されたチーズであるため、その表面はアルミ箔である。このため、製品１０１の表面は、光沢があり、光を照射した場合に、その光が反射する場合がある。また、製品１０１は、アルミ箔を折り、溶融したチーズを注入することで成型する。このため、製品１０１の形状は、アルミ箔の折り目などによる凹凸を有する。図１に戻り説明を続ける。
照明部１０２ａと照明部１０５ａとは、制御装置１５０によって制御される。照明部１０２ａと照明部１０５ａとは、製品１０１に光を照射する。照明部１０２ａと照明部１０５ａとが照射する光の色の一例は、青色である。図３は、本実施形態に係る外観検査システムにおける照明部の一例を示す図である。製品１０１において、Ｘ軸とＹ軸とからなる平面に平行な面を、一主面とする。照明部１０２ａは、一主面と平行な第１軸周りに、第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。照明部１０５ａは、一主面に対して、第１軸と同軸または平行な第２軸周りに、照明部１０２ａとは反対側から第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。以下、第１角度θ１を５０度として説明を続ける。図１に戻り説明を続ける。
照明部１０２ａと照明部１０５ａとは、制御装置１５０によって制御される。照明部１０２ａと照明部１０５ａとは、製品１０１に光を照射する。照明部１０２ａと照明部１０５ａとが照射する光の色の一例は、青色である。図３は、本実施形態に係る外観検査システムにおける照明部の一例を示す図である。製品１０１において、Ｘ軸とＹ軸とからなる平面に平行な面を、一主面とする。照明部１０２ａは、一主面と平行な第１軸周りに、第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。照明部１０５ａは、一主面に対して、第１軸と同軸または平行な第２軸周りに、照明部１０２ａとは反対側から第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。以下、第１角度θ１を５０度として説明を続ける。図１に戻り説明を続ける。
【0014】
撮像部１０３ａと撮像部１０４ａとは、制御装置１５０によって制御される。撮像部１０３ａと撮像部１０４ａとは、製品１０１を撮像する。撮像部１０３ａは、照明部１０２ａが照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０４ａは、照明部１０５ａが照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０３ａと撮像部１０４ａとは、複数の受光素子と、集光系光学系とを有している。受光素子は、集光系光学系を通して得られた光の強度を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子からなるイメージセンサである。集光系光学系は、外部から入射する光を集光するための光学系である。具体的には、集光系光学系は、一以上の光学レンズを有している。撮像部１０３ａは、照明部１０２ａが照射した光を、製品１０１が反射した反射光を受光素子が受光できる位置に設置される。撮像部１０４ａは、照明部１０５ａが照射した光を、製品１０１が反射した反射光を受光素子が受光できる位置に設置される。撮像部１０３ａと、撮像部１０４ａとは、撮像することによって得られる画像（以下「検査用の画像」という）を示す情報を、制御装置１５０に出力する。
【0015】
図４は、本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置１５０は、ＣＰＵ（Central Processing Unit）等のプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、ＣＰＵ等のプロセッサ、プログラムを格納するＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、及びタイマー等の電子回路を備える。なお、制御装置１５０の少なくとも一部は、ＬＳＩ（Large Scale Integration）等の集積回路であってもよい。制御装置１５０は、処理部１５２と、取得部１５４と、画像処理部１５６と、学習部１５７と、判別部１５８と、出力部１６０として機能する。
処理部１５２は、ベルトコンベアＢＣ－１を制御することによって、ベルトコンベアＢＣ－１に載置された製品１０１を、Ｘ軸の正の方向に搬送する。処理部１５２は、ベルトコンベアＢＣ－２ａを制御することによって、ベルトコンベアＢＣ－１の後に、ベルトコンベアＢＣ－２ａに載置された製品１０１を、Ｘ軸の正の方向に、搬送する。処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得し、第２検出通知情報に含まれる第２時刻情報を取得し、取得した第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、導出した経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。撮像タイミング調整用の係数Ｗ１は、予め設定される。処理部１５２は、経過時間Ｔｓを示す情報を出力部１６０に出力する。処理部１５２は、撮像タイミングに基づいて、その撮像タイミングで、撮像部１０３ａと撮像部１０４ａとが製品１０１を撮像できるように、照明部１０２ａと照明部１０５ａに光を照射させる。処理部１５２は、撮像タイミングの直前までの間に、照明部１０２ａと照明部１０５ａに光を照射させるための制御情報を出力する。処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
処理部１５２は、ベルトコンベアＢＣ－１を制御することによって、ベルトコンベアＢＣ－１に載置された製品１０１を、Ｘ軸の正の方向に搬送する。処理部１５２は、ベルトコンベアＢＣ－２ａを制御することによって、ベルトコンベアＢＣ－１の後に、ベルトコンベアＢＣ－２ａに載置された製品１０１を、Ｘ軸の正の方向に、搬送する。処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得し、第２検出通知情報に含まれる第２時刻情報を取得し、取得した第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、導出した経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。撮像タイミング調整用の係数Ｗ１は、予め設定される。処理部１５２は、経過時間Ｔｓを示す情報を出力部１６０に出力する。処理部１５２は、撮像タイミングに基づいて、その撮像タイミングで、撮像部１０３ａと撮像部１０４ａとが製品１０１を撮像できるように、照明部１０２ａと照明部１０５ａに光を照射させる。処理部１５２は、撮像タイミングの直前までの間に、照明部１０２ａと照明部１０５ａに光を照射させるための制御情報を出力する。処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
【0016】
図５は、本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置される。第２角度θ２の一例は１５度以上２５度以下であり、より好ましくは１７．５度以上２２．５度以下である。以下、第２角度θ２が２０度として説明を続ける。図４に戻り説明を続ける。処理部１５２が、ベルトコンベアＢＣ－２ａを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。位置Ｐの一例は、照明部１０２ａと位置Ｐとを結んだ線と、位置Ｐから一主面の法線方向にのばした線とのなす角度が、第１角度θ１となる位置である。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２ａと照明部１０５ａとを制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３ａと撮像部１０４ａとに、製品１０１を撮像させる。取得部１５４は、撮像部１０３ａと撮像部１０４ａとの各々が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部１５６に出力する。
【0017】
図６は、本実施形態に係る外観検査システムの制御装置の処理の例１を示す図である。画像処理部１５６は、取得部１５４が出力した複数の検査用の画像を示す情報を取得する。ここでは、二枚の画像を取得した場合について説明を続ける。画像処理部１５６は、取得した複数の検査用の画像を示す情報の各々に基づいて、複数の検査用の画像の各々から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する（１）。画像処理部１５６は、取得した製品１０１の複数の画像の各々を複数に分割し、分割することによって得られる複数の分割画像の各々を取得する（２）。画像処理部１５６は、製品１０１の画像に基づいて、ピクセル数が４％から６％の面積で分割する。以下、一例として、製品１０１の画像を、４×４の１６分割する場合について説明を続ける。
ベルトコンベアＢＣ－２ａに製品１０１が、製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置されているため、検査用の複数の画像の各々には、製品１０１の３面の画像（上面、短辺を含む側面、長辺を含む側面）が含まれている。さらに、製品１０１の表面は銀色で、光沢を有するため、撮像部１０３ａと撮像部１０４ａとの各々が撮像するときに、製品１０１には青色の光が照射される。製品１０１に対して、照明部１０２ａと照明部１０５ａとが所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品１０１に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品１０１の画像は、コントラストが高く、はっきりする。
ベルトコンベアＢＣ－２ａに製品１０１が、製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置されているため、検査用の複数の画像の各々には、製品１０１の３面の画像（上面、短辺を含む側面、長辺を含む側面）が含まれている。さらに、製品１０１の表面は銀色で、光沢を有するため、撮像部１０３ａと撮像部１０４ａとの各々が撮像するときに、製品１０１には青色の光が照射される。製品１０１に対して、照明部１０２ａと照明部１０５ａとが所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品１０１に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品１０１の画像は、コントラストが高く、はっきりする。
【0018】
複数の分割画像の各々を使用して、学習モデルを生成する場合と、生成した学習モデルを使用して、製品１０１の良否を判定する場合とに分けて説明を続ける。
学習モデルを生成する場合について、図６を参照して引き続き説明する。画像処理部１５６は、取得した複数の分割画像を、学習部１５７に出力する。学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像の各々を使用して、変分オートエンコーダなどのオートエンコーダによって、複数の学習モデルを生成する。学習部１５７が、製品１０１の画像を分割した数と同数の学習モデルを生成する場合について説明を続ける。画像処理部１５６によって、製品１０１の画像が、４×４の１６分割されるため、分割することによって得られた複数の分割画像の各々に対応する学習モデルを生成する。変分オートエンコーダは、教師なし学習器として機能する。変分オートエンコーダは、複数の製品１０１の画像の各々に対応する複数の分割画像が入力されると、各分割画像に表された製品１０１のピクセルの位置の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再現画像」という）を出力する（（３）－（４））。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の和を、画素数で割ることによって得られる平均値の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成平均値画像」という）を生成する。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の２乗平均と平均の２乗との差によって得られる分散の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成分散画像」という）を生成する。学習部１５７は、生成した再構成平均値画像と、再構成分散画像とに基づいて、各１６区分区画（３２×３２＝１０２４）の最大値を、その区画の異常値とする。学習部１５７は、複数の分割画像の各々と、各分割画像に表された製品１０１を再構成した画像とに基づいて、所定の損失関数を最小にするようにモデルのパラメータを最適化することにより、入力されたデータを学習する。学習部１５７は、生成した学習モデルを、判別部１５８へ出力する。
学習モデルを生成する場合について、図６を参照して引き続き説明する。画像処理部１５６は、取得した複数の分割画像を、学習部１５７に出力する。学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像の各々を使用して、変分オートエンコーダなどのオートエンコーダによって、複数の学習モデルを生成する。学習部１５７が、製品１０１の画像を分割した数と同数の学習モデルを生成する場合について説明を続ける。画像処理部１５６によって、製品１０１の画像が、４×４の１６分割されるため、分割することによって得られた複数の分割画像の各々に対応する学習モデルを生成する。変分オートエンコーダは、教師なし学習器として機能する。変分オートエンコーダは、複数の製品１０１の画像の各々に対応する複数の分割画像が入力されると、各分割画像に表された製品１０１のピクセルの位置の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再現画像」という）を出力する（（３）－（４））。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の和を、画素数で割ることによって得られる平均値の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成平均値画像」という）を生成する。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の２乗平均と平均の２乗との差によって得られる分散の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成分散画像」という）を生成する。学習部１５７は、生成した再構成平均値画像と、再構成分散画像とに基づいて、各１６区分区画（３２×３２＝１０２４）の最大値を、その区画の異常値とする。学習部１５７は、複数の分割画像の各々と、各分割画像に表された製品１０１を再構成した画像とに基づいて、所定の損失関数を最小にするようにモデルのパラメータを最適化することにより、入力されたデータを学習する。学習部１５７は、生成した学習モデルを、判別部１５８へ出力する。
【0019】
製品の良否を判定する場合について、図７を参照して説明する。図７は、本実施形態に係る外観検査システムの制御装置の処理の例２を示す図である。（１）から（３）は、図６を参照して説明した（１）－（３）と同様である。画像処理部１５６は、取得した分割画像の各々を、判別部１５８に出力する。判別部１５８は、学習部１５７が出力した学習モデルを取得し、取得した学習モデルを記憶する。判別部１５８は、取得した学習モデルを用いて、画像処理部１５６が出力した複数の分割画像の各々を再現した画像である再現画像を複数生成する（４）。判別部１５８は、複数の分割画像の各々と複数の再現画像の各々とに基づいて、複数の分割画像の各々と複数の再現画像の各々とを比較することによって、分割画像に対する再現画像の再現精度を導出する。具体的には、判別部１５８は、交差エントロピー、カルバックライブラ情報量、マハラノビス距離をベースとした評価関数を使用することによって、再現精度を導出する。判別部１５８は、複数の分割画像の各々の再現精度の導出結果に基づいて、製品１０１の不具合を判定する（５）。図５の（５）には、複数の分割画像のうち、再現精度の導出結果が閾値未満である分割画像が太線で示され、再現精度の導出結果が閾値以上である分割画像が破線で示されている。つまり、図５の（５）では、１６個の分割画像のうち、５個の分割画像が再現精度の導出結果が閾値未満であると評価されている。この場合、判別部１５８は、一例として、製品１０１の不具合を示す指標（以下「判定スコア」という）を、０．３１２５（５／１６）に基づいて導出する。判別部１５８は、導出した判定スコアに基づいて、製品１０１が良品であるか不良品であるかを判別する。判別部１５８は、判定スコアが判定スコア閾値以上である場合には良品であると判定し、閾値未満である場合には不良品であると判定する。図８は、判定スコア閾値の設定例を示す図である。図８は、重欠点品（不良品）の製品とＯＫ品（良品）の製品との分布を示す。横軸は判定スコアであり、縦軸は尤度である。図８に示されるように、判定スコア閾値の一例は、重欠点品とＯＫ品との分布が重複する判定スコアに設定される。判別部１５８は、製品１０１が不良品であると判別した場合に、不良品と判別されたことを示す情報を、出力部１６０に出力する。図４に戻り説明を続ける。
出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。具体的には、出力部１６０は、経過時間Ｔｓに排出タイミング調整用の係数Ｗ２を乗算することによって、排出タイミングを導出する。排出タイミング調整用の係数Ｗ２は、予め設定される。出力部１６０は、導出した排出タイミングに基づいて、その排出タイミングで、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。具体的には、出力部１６０は、経過時間Ｔｓに排出タイミング調整用の係数Ｗ２を乗算することによって、排出タイミングを導出する。排出タイミング調整用の係数Ｗ２は、予め設定される。出力部１６０は、導出した排出タイミングに基づいて、その排出タイミングで、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
【0020】
図９は、本実施形態に係る外観検査システムの動作の例１を示すシーケンス図である。図１０は、本実施形態に係る外観検査システムの動作の一例を示す図である。ベルトコンベアＢＣ－２ａに製品１０１が載置された後に、撮像タイミングを導出する場合について説明する。
（ステップＳ１） 処理部１５２は、ベルトコンベアＢＣ－２ａにベルトを回転させるための制御信号を出力する。
（ステップＳ２） ベルトコンベアＢＣ－２ａは、制御装置１５０が出力した制御信号に基づいて動作する。ベルトコンベアＢＣ－２ａは、製品１０１を搬送する。
（ステップＳ３） センサー１１０ａは、製品１０１を検出する。
（ステップＳ４） センサー１１０ａは、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、第１時刻情報とを含む第１検出通知情報を作成する。
（ステップＳ５） センサー１１０ａは、作成した第１検出通知情報を、制御装置１５０に出力する。
（ステップＳ６） センサー１２０ａは、製品１０１を検出する。
（ステップＳ７） センサー１２０ａは、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、第２時刻情報とを含む第２検出通知情報を作成する。
（ステップＳ８） センサー１２０ａは、作成した第２検出通知情報を、制御装置１５０に出力する。
（ステップＳ９） 処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得する。処理部１５２は、第２検出通知情報に含まれる第２時刻情報を取得する。処理部１５２は、第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。
（ステップＳ１） 処理部１５２は、ベルトコンベアＢＣ－２ａにベルトを回転させるための制御信号を出力する。
（ステップＳ２） ベルトコンベアＢＣ－２ａは、制御装置１５０が出力した制御信号に基づいて動作する。ベルトコンベアＢＣ－２ａは、製品１０１を搬送する。
（ステップＳ３） センサー１１０ａは、製品１０１を検出する。
（ステップＳ４） センサー１１０ａは、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、第１時刻情報とを含む第１検出通知情報を作成する。
（ステップＳ５） センサー１１０ａは、作成した第１検出通知情報を、制御装置１５０に出力する。
（ステップＳ６） センサー１２０ａは、製品１０１を検出する。
（ステップＳ７） センサー１２０ａは、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、第２時刻情報とを含む第２検出通知情報を作成する。
（ステップＳ８） センサー１２０ａは、作成した第２検出通知情報を、制御装置１５０に出力する。
（ステップＳ９） 処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得する。処理部１５２は、第２検出通知情報に含まれる第２時刻情報を取得する。処理部１５２は、第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。
【0021】
図１１は、本実施形態に係る外観検査システムの動作の例２を示すシーケンス図である。学習モデルを生成する場合について、図１０と図１１とを参照して説明する。
（ステップＳ１１） 処理部１５２は、撮像タイミングに基づいて、照明部１０２ａと照明部１０５ａとに光を照射させるための制御情報を出力する。
（ステップＳ１２） 照明部１０２ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１３） 照明部１０５ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０５ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１４） 処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
（ステップＳ１５） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１６） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１７） 撮像部１０３ａと撮像部１０４ａとは、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。
（ステップＳ１８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、学習部１５７に出力する。
（ステップＳ１９） 学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像を使用して、変分オートエンコーダによって、複数の学習モデルを生成する。学習部１５７は、学習モデルを、判別部１５８へ出力する。
（ステップＳ１１） 処理部１５２は、撮像タイミングに基づいて、照明部１０２ａと照明部１０５ａとに光を照射させるための制御情報を出力する。
（ステップＳ１２） 照明部１０２ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１３） 照明部１０５ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０５ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１４） 処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
（ステップＳ１５） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１６） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１７） 撮像部１０３ａと撮像部１０４ａとは、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。
（ステップＳ１８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、学習部１５７に出力する。
（ステップＳ１９） 学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像を使用して、変分オートエンコーダによって、複数の学習モデルを生成する。学習部１５７は、学習モデルを、判別部１５８へ出力する。
【0022】
図１２は、本実施形態に係る外観検査システムの動作の例３を示すシーケンス図である。図９のステップＳ１からＳ９の動作の後に、製品１０１の良否を判定する動作について説明する。ステップＳ２１からＳ２７の処理は、図１１のステップＳ１１からＳ１７の処理を適用できる。
（ステップＳ２８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割によって得られる複数の分割画像の各々を、判別部１５８に出力する。
（ステップＳ２９） 判別部１５８は、画像処理部１５６が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部１５８は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品１０１が良品であるか不良品であるかを判別する。判別部１５８は、製品１０１が不良品であると判別した場合に、不良品と判別されたことを示す情報を、出力部１６０に出力する。ここで、制御装置１５０は、パトライト（登録商標）（図示なし）を点灯してもよい。
（ステップＳ３０） 判別部１５８は、製品１０１が良品であると判別した場合に、製品１０１が良品であることを示す情報を出力する。
（ステップＳ３１） 出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。
（ステップＳ３２） 出力部１６０は、導出した排出タイミングに基づいて、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
（ステップＳ３３） 排出部１３０ａは、出力部１６０が出力した制御情報に基づいて、不良品と判別された製品１０１を、排出エリア１４０ａに排出する。
（ステップＳ２８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割によって得られる複数の分割画像の各々を、判別部１５８に出力する。
（ステップＳ２９） 判別部１５８は、画像処理部１５６が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部１５８は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品１０１が良品であるか不良品であるかを判別する。判別部１５８は、製品１０１が不良品であると判別した場合に、不良品と判別されたことを示す情報を、出力部１６０に出力する。ここで、制御装置１５０は、パトライト（登録商標）（図示なし）を点灯してもよい。
（ステップＳ３０） 判別部１５８は、製品１０１が良品であると判別した場合に、製品１０１が良品であることを示す情報を出力する。
（ステップＳ３１） 出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。
（ステップＳ３２） 出力部１６０は、導出した排出タイミングに基づいて、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
（ステップＳ３３） 排出部１３０ａは、出力部１６０が出力した制御情報に基づいて、不良品と判別された製品１０１を、排出エリア１４０ａに排出する。
【0023】
前述した実施形態において、製品１０１の表面の色と、光を反射する程度とのいずれか一方又は両方に基づいて、青色以外の色の光が照射されてもよい。
本実施形態に係る外観検査システムによれば、撮像部が撮像した画像に含まれる検査対象物のコントラストを高く、はっきりできるため、エッジ強調フィルタ処理を省略でき、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。さらに、撮像部によって撮像された画像には検査対象物の三面を含むため、撮影装置と、照明装置とを増加させることなく実現できる。検査対象物の画像を複数に分割し、複数の分割画像の各々に対応する学習モデルに基づいて、複数の分割画像の各々の判定を行うため、検査対象物の画像を複数に分割しない場合よりも、微細な不具合箇所を検出できる。このため、検品作業における精度を向上できる。
本実施形態に係る外観検査システムによれば、撮像部が撮像した画像に含まれる検査対象物のコントラストを高く、はっきりできるため、エッジ強調フィルタ処理を省略でき、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。さらに、撮像部によって撮像された画像には検査対象物の三面を含むため、撮影装置と、照明装置とを増加させることなく実現できる。検査対象物の画像を複数に分割し、複数の分割画像の各々に対応する学習モデルに基づいて、複数の分割画像の各々の判定を行うため、検査対象物の画像を複数に分割しない場合よりも、微細な不具合箇所を検出できる。このため、検品作業における精度を向上できる。
【0024】
（変形例）
図１３は、本実施形態の変形例に係る外観検査システムの一例を示す図である。外観検査システム１００ａは、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと、制御装置１５０とを備える。制御装置１５０は、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと接続される。図１４は、本実施形態の変形例に係る外観検査システムにおける照明部の配置の一例を示す図である。図１４において、照明部１０２ａと撮像部１０３ａと撮像部１０４ａと照明部１０５ａとは省略されている。照明部１０７ａと、照明部１０８ａとは、制御装置１５０によって制御される。照明部１０７ａと、照明部１０８ａとは、製品１０１に光を照射する。照明部１０７ａと、照明部１０８ａとが照射する光の色の一例は、青色である。照明部１０７ａは、製品１０１が載置された面に対して、一主面と平行かつ第１軸と垂直な第３軸周りに、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は１５度以上２５度以下であり、より好ましくは１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０８ａは、製品１０１が載置された面に対して、第３軸と平行な第４軸周りに、照明部１０７ａとは反対側から、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０７ａと、照明部１０８ａとの一例は、複数のＬＥＤをＸ方向に並べたものである。
図１３は、本実施形態の変形例に係る外観検査システムの一例を示す図である。外観検査システム１００ａは、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと、制御装置１５０とを備える。制御装置１５０は、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと接続される。図１４は、本実施形態の変形例に係る外観検査システムにおける照明部の配置の一例を示す図である。図１４において、照明部１０２ａと撮像部１０３ａと撮像部１０４ａと照明部１０５ａとは省略されている。照明部１０７ａと、照明部１０８ａとは、制御装置１５０によって制御される。照明部１０７ａと、照明部１０８ａとは、製品１０１に光を照射する。照明部１０７ａと、照明部１０８ａとが照射する光の色の一例は、青色である。照明部１０７ａは、製品１０１が載置された面に対して、一主面と平行かつ第１軸と垂直な第３軸周りに、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は１５度以上２５度以下であり、より好ましくは１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０８ａは、製品１０１が載置された面に対して、第３軸と平行な第４軸周りに、照明部１０７ａとは反対側から、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０７ａと、照明部１０８ａとの一例は、複数のＬＥＤをＸ方向に並べたものである。
【0025】
変形例に係る外観検査システムの制御装置の一例は、図４を適用できる。図１５は、本実施形態の変形例に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て、第２角度θ２となるように載置される。製品１０１の一主面の長辺の二辺と、照明部１０７ａと、照明部１０８ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て、第４角度θ４となるように載置される。第４角度θ４の一例は６５度以上７５度以下であり、より好ましくは６７．５度以上７２．５度以下である。以下、第４角度θ４が、７０度であるとして説明を続ける。処理部１５２が、ベルトコンベアＢＣ－２ａを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａとを制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３ａと、撮像部１０４ａとに、製品１０１を撮像させる。
【0026】
変形例において、照明部１０２ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａとの各々が照射する光の色が異なっていてもよい。変形例においては、第１検査ラインについて説明したが、第２検査ラインから第４検査ラインにも適用できる。変形例において、外観検査システム１００に、照明部１０７ａと、照明部１０８ａとのいずれか一方を適用してもよい。
変形例に係る外観検査システムによれば、外観検査システム１００の効果に加え、照明部１０７ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。また、外観検査システム１００の効果に加え、照明部１０８ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
変形例に係る外観検査システムによれば、外観検査システム１００の効果に加え、照明部１０７ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。また、外観検査システム１００の効果に加え、照明部１０８ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
【0027】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0028】
１００、１００ａ…外観検査システム、１０１…製品、１０２ａ、１０５ａ、１０７ａ、１０８ａ…照明部、１０３ａ、１０４ａ…撮像部、１１０ａ…センサー、１２０ａ…センサー、１３０ａ…排出部、１４０ａ…排出エリア、１５０…制御装置、１５２…処理部、１５４…取得部、１５６…画像処理部、１５７…学習部、１５８…判別部、１６０…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】