特許 6626057 検査装置及び検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6626057

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】検査装置及び検査システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20191216BHJP

【ＦＩ】

   G01N21/88 J

【請求項の数】10

【全頁数】22

(21)【出願番号】特願2017-186914(P2017-186914)

(22)【出願日】2017年9月27日

(65)【公開番号】特開2019-60780(P2019-60780A)

(43)【公開日】2019年4月18日

【審査請求日】2018年12月21日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】並木 勇太

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２０１０−２２３９３２（ＪＰ，Ａ）

【文献】 特開２０１７−１４２７３９（ＪＰ，Ａ）

【文献】 特開２０１４−１７８２２９（ＪＰ，Ａ）

【文献】 国際公開第２００７／１４１８５７（ＷＯ，Ａ１）

【文献】 米国特許第０４９２２３３８（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ ９／４０

(57)【特許請求の範囲】

【請求項1】

検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、を備え、
前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
前記検査装置は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類を環境情報として取得する環境情報取得部を更に備え、
前記プログラム生成部は、前記環境情報に基づいて前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、
検査装置。

【請求項2】

検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、を備え、
前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
前記検査装置は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢を環境情報として取得する環境情報取得部を更に備え、
前記プログラム生成部は、前記環境情報に基づいて前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、
検査装置。

【請求項3】

検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、
前記目視検査の際の環境に関する環境情報を取得する環境情報取得部と、
前記目視検査を前記検査用撮像装置を用いて自動化するための検査システムの設計値をラベルとして取得する構築用ラベル取得部と、
前記視線情報取得部で取得された視線情報と、前記対象物情報取得部で取得された対象物情報と、前記環境情報取得部で取得された環境情報とを入力データとし、前記構築用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する構築用機械学習部と、を備え、
前記構築用機械学習部は、学習した学習モデルに従って、前記目視検査の際の、前記視線情報取得部で取得された視線情報、前記対象物情報取得部で取得された対象物情報、及び前記環境情報取得部で取得された環境情報に基づいて検査システムの設計値を出力する、検査装置。

【請求項4】

前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
前記プログラム生成部は、
前記構築用機械学習部を含み、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定すると共に、
前記構築用機械学習部で学習した学習モデルに基づいて、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項３に記載の検査装置。

【請求項5】

前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含み、
前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項４に記載の検査装置。

【請求項6】

前記検査システムの設計値は、前記検査用撮像装置の種類、配置位置及び姿勢、前記検査用撮像装置の光学レンズの種類、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢、前記検査支援ロボットの動作プログラム、及び検査プログラムのうちの少なくとも１つを含み、
前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項４又は５に記載の検査装置。

【請求項7】

前記検査システムの設計値に含まれる動作プログラムは、前記プログラム生成部で生成された動作プログラムが修正された修正動作プログラムである、請求項６に記載の検査装置。

【請求項8】

前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部を更に備え、
前記環境情報は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを含む、請求項４〜７の何れか１項に記載の検査装置。

【請求項9】

前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部を更に備え、
前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含む、請求項４〜８の何れか１項に記載の検査装置。

【請求項10】

請求項１〜９の何れか１項に記載の検査装置と、
検査対象物を撮像する検査用撮像装置と、
検査者が前記検査対象物の目視検査を行う際に、前記検査者の視線情報のために前記検査者を撮像する視線用撮像装置と、
前記目視検査の際に、前記検査対象物の対象物情報のために前記検査対象物を撮像する対象物用撮像装置と、
前記検査対象物又は前記検査用撮像装置を保持し、前記検査対象物と前記検査用撮像装置との相対位置を制御する検査支援ロボットと、
前記検査装置で生成される検査実施プログラムにおける前記検査支援ロボットの動作プログラムに従って前記検査支援ロボットを制御するロボット制御装置と、
前記検査対象物を照らす照明装置と、を備える検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置で撮像された検査対象物の画像に基づいて検査対象物の検査を行う検査装置及び検査システムに関する。

【背景技術】

【0002】

検査支援ロボットを用いて検査対象物と撮像装置との相対位置を自動で制御し、撮像装置で撮像された検査対象物の画像に基づいて検査対象物の検査（例えば、欠陥の有無）を自動で行う検査システムがある。このような検査システムを構築する際、検査対象物と撮像装置との位置関係及び使用する撮像装置の種類、検査対象物と照明装置との位置関係及び使用する照明装置の種類、検査支援ロボットの動作プログラム、及び検査プログラム等の設計値を設計する必要がある。特許文献１及び２には、このような検査システムにおいて検査システムを構築する手法が開示されている。

【0003】

特許文献１及び２に記載の検査システムでは、検査対象物のＣＡＤデータに基づいて表示装置の画面上に仮想の検査対象物を表示し、検査者が、仮想の検査対象物の表示画像を撮像装置で撮像した検査画像と仮想して検査箇所を指定する。この検査箇所の指定に基づいて、撮像装置の位置が求められる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−５２９２６号公報

【特許文献2】特開２００６−２６０２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

検査システムを構築する際、上述した設計値を検査対象物の種類ごとに設計するのは手間がかかるし、知識のない検査者にとっては難しい。

【0006】

本発明は、検査システムを簡易かつ自動で構築する検査装置及び検査システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１） 本発明に係る検査装置（例えば、後述の検査装置１０，１０Ａ，１０Ｂ）は、検査用撮像装置（例えば、後述の検査用視覚センサ４）で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部（例えば、後述の視線情報取得部１１）と、前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部（例えば、後述の対象物情報取得部１６）と、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部（例えば、後述のプログラム生成部２８）と、を備える。

【0008】

（２） （１）に記載の検査装置において、前記プログラム生成部は、同一タイミングで取得された前記視線情報と前記対象物情報との複数の組のデータに基づいて、前記検査対象物の検査箇所を特定してもよい。

【0009】

（３） （１）又は（２）に記載の検査装置において、前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボット（例えば、後述の検査支援ロボット５０）を用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含んでもよい。

【0010】

（４） （１）から（３）のいずれかに記載の検査装置において、前記検査実施プログラムは、前記用撮像装置を用いて撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査プログラムを含んでもよい。

【0011】

（５） （３）に記載の検査装置は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを環境情報として取得する環境情報取得部（例えば、後述の環境情報取得部２２）を更に備え、前記プログラム生成部は、前記環境情報に基づいて前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。

【0012】

（６） （３）又は（５）に記載の検査装置は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを環境情報として取得する環境情報取得部（例えば、後述の環境情報取得部２２）を更に備え、前記プログラム生成部は、前記環境情報に基づいて前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。

【0013】

（７） （３）に記載の検査装置は、前記検査用撮像装置で撮像された前記検査対象物の検査箇所の画像を取得する画像取得部（例えば、後述の画像取得部１７）と、前記画像取得部で取得された画像に付与するラベルであって、前記目視検査の際の前記検査対象物の検査箇所の検査結果を示すラベルを取得する検査用ラベル取得部（例えば、後述の検査用ラベル取得部３２）と、前記画像取得部で取得された画像を入力データとし、前記検査用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する検査用機械学習部（例えば、後述の検査用機械学習部３４）と、を更に備え、前記検査用機械学習部は、学習した学習モデルに従って、前記画像取得部で取得された画像に基づいて前記検査対象物の検査を行ってもよい。

【0014】

（８） （１）から（３）のいずれかに記載の検査装置は、前記目視検査の際の環境に関する環境情報を取得する環境情報取得部（例えば、後述の環境情報取得部２２）と、前記目視検査を前記検査用撮像装置を用いて自動化するための検査システムの設計値をラベルとして取得する構築用ラベル取得部（例えば、後述の構築用ラベル取得部）と、前記視線情報取得部で取得された視線情報と、前記対象物情報取得部で取得された対象物情報と、前記環境情報取得部で取得された環境情報とを入力データとし、前記構築用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する構築用機械学習部（例えば、後述の構築用機械学習部２６）と、を更に備え、前記構築用機械学習部は、学習した学習モデルに従って、前記目視検査の際の、前記視線情報取得部で取得された視線情報、前記対象物情報取得部で取得された対象物情報、及び前記環境情報取得部で取得された環境情報に基づいて検査システムの設計値を出力してもよい。

【0015】

（９） （８）に記載の検査装置において、前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、前記プログラム生成部は、前記構築用機械学習部を含み、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、前記構築用機械学習部で学習した学習モデルに基づいて、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。

【0016】

（１０） （９）に記載の検査装置において、前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含み、前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。

【0017】

（１１） （９）又は（１０）に記載の検査装置において、前記検査システムの設計値は、前記検査用撮像装置の種類、配置位置及び姿勢、前記検査用撮像装置の光学レンズの種類、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢、前記検査支援ロボットの動作プログラム、及び検査プログラムのうちの少なくとも１つを含み、前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。

【0018】

（１２） （１１）に記載の検査装置において、前記検査システムの設計値に含まれる動作プログラムは、前記プログラム生成部で生成された動作プログラムが修正された修正動作プログラムであってもよい。

【0019】

（１３） （９）から（１２）のいずれかに記載の検査装置は、前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部（例えば、後述の環境情報出力部３０）を更に備え、前記環境情報は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを含んでもよい。

【0020】

（１４） （９）から（１３）のいずれかに記載の検査装置は、前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部（例えば、後述の環境情報出力部３０）を更に備え、前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含んでもよい。

【0021】

（１５） 本発明に係る検査システム（例えば、後述の検査システム１Ａ，１Ｂ）は、（１）から（１４）のいずれかに記載の検査装置と、検査対象物を撮像する検査用撮像装置（例えば、後述の検査用視覚センサ４）と、検査者が前記検査対象物の目視検査を行う際に、前記検査者の視線情報のために前記検査者を撮像する視線用撮像装置（例えば、後述の視線用視覚センサ５）と、前記目視検査の際に、前記検査対象物の対象物情報のために前記検査対象物を撮像する対象物用撮像装置（例えば、後述の対象物用撮像装置４Ａ）と、前記検査対象物又は前記検査用撮像装置を保持し、前記検査対象物と前記検査用撮像装置との相対位置を制御する検査支援ロボット（例えば、後述の検査支援ロボット５０）と、前記検査装置で生成される検査実施プログラムにおける前記検査支援ロボットの動作プログラムに従って前記検査支援ロボットを制御するロボット制御装置（例えば、後述のロボット制御装置）と、前記検査対象物を照らす照明装置（例えば、後述の照明装置６）と、を備える。

【発明の効果】

【0022】

本発明によれば、検査システムを簡易かつ自動で構築する検査装置及び検査システムを提供することができる。

【図面の簡単な説明】

【0023】

【図1A】本実施形態に係る検査システムの構成を示す図である。

【図1B】本実施形態に係る他の検査システムの構成を示す図である。

【図2】第１実施形態に係る検査装置の構成を示す図である。

【図3】目視検査を説明するための模式図である。

【図4】検査対象物の注視範囲を示す模式図である。

【図5】第１実施形態に係る検査装置による検査システム構築のための機械学習動作を示すフローチャートである。

【図6】第１実施形態に係る検査装置による検査システムの構築動作を示すフローチャートである。

【図7】第１実施形態に係る検査装置による検査のための機械学習動作を示すフローチャートである。

【図8】第１実施形態に係る検査装置による検査動作を示すフローチャートである。

【図9A】目視検査の際の検査者と、検査対象物と、照明装置との位置関係の一例を示す図である。

【図9B】目視検査の際の検査者と、検査対象物と、照明装置との位置関係の他の例を示す図である。

【図10】第２実施形態に係る検査装置の構成を示す図である。

【図11】第２実施形態に係る検査装置による検査システムの構築動作を示すフローチャートである。

【図12】目視検査を説明するための模式図である。

【発明を実施するための形態】

【0024】

以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

【0025】

図１Ａは、本実施形態に係る検査システムの構成を示す図であり、図１Ｂは、本実施形態に係る他の検査システムの構成を示す図である。これらの検査システム１Ａ，１Ｂは、例えば、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥（例えば、表面の傷又は異物付着）の有無を検査するシステムである。

【0026】

図１Ａに示す検査システム１Ａは、検査用視覚センサ４と、照明装置６と、検査装置１０と、検査支援ロボット５０と、ロボット制御装置６０とを備える。
検査用視覚センサ４は、検査対象物２を撮像し、撮像した検査対象物２の画像を検査装置１０に提供する。検査用視覚センサ４は、内蔵する光学レンズの種類を交換可能になっている。照明装置６は、検査対象物２を照らす。
検査支援ロボット５０は、アーム５２におけるハンドで検査対象物２を把持する。ロボット制御装置６０は、検査支援ロボットの動作プログラムを実行し、検査支援ロボット５０を制御して、検査対象物２の位置、姿勢を制御する。
このように、検査システム１Ａでは、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を固定とし、検査対象物２の位置、姿勢を制御することにより、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査装置１０は、検査プログラムを実行し、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥の有無を検査し、その検査結果を外部に出力する。
本実施形態では、検査支援ロボットの動作プログラムと検査装置の検査プログラムによって、検査実施プログラムを構成する。

【0027】

一方、図１Ｂに示す検査システム１Ｂは、図１Ａに示す検査システム１Ａにおいて、検査支援ロボット５０が検査対象物２に代えて検査用視覚センサ４及び照明装置６を保持する点で検査システム１Ａと異なる。
検査支援ロボット５０は、アーム５２の先端に検査用視覚センサ４及び照明装置６を保持する。ロボット制御装置６０は、検査支援ロボットの動作プログラムを実行し、検査支援ロボット５０を制御して、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を制御する。
このように、検査システム１Ｂでは、検査対象物２の位置、姿勢を固定とし、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を制御することにより、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
以下、検査装置１０について詳細に説明する。

【0028】

図２は、第１実施形態の検査装置の構成を示す図である。図２に示す検査装置１０Ａは、図１Ａの検査システム１Ａ及び図１Ｂの検査システム１Ｂにおける検査装置１０に対応する。

【0029】

検査装置１０Ａは、検査者３が検査対象物２の欠陥の検査を目視で行う目視検査を、視線用視覚センサ５を用いて自動化するための検査システムの構築を自動で行う。具体的には、検査装置１０Ａは、図３に示すように、検査者３が検査対象物２の欠陥の目視検査を行う際に、視線用視覚センサ５で撮像された検査者３の目付近の画像、及び、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を用いて、検査システムの構築を自動で行う。

【0030】

対象物用視覚センサ４Ａは、検査対象物２を撮像し、撮像した検査対象物２の画像を検査装置１０Ａに提供する。
なお、本実施形態では、検査用視覚センサ４が対象物用視覚センサ４Ａを兼用する形態を例示するが、対象物用視覚センサ４Ａは検査用視覚センサ４と別の視覚センサであってもよい。

【0031】

視線用視覚センサ５は、検査者３の目付近を撮像し、撮像した検査者３の目付近の画像を検査装置１０Ａに提供する。
なお、本実施形態では、検査者３の目付近と検査対象物２とを２つの視覚センサでそれぞれ撮像したが、検査者３の目付近と検査対象物２とを１つの視覚センサで撮像してもよい。

【0032】

また、検査装置１０Ａは、検査システムの構築後、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥の検査を自動で行う。

【0033】

検査装置１０Ａは、視線情報取得部１１と、対象物情報取得部１６と、環境情報取得部２２と、構築用ラベル取得部２４と、構築用機械学習部２６を含むプログラム生成部２８と、環境情報出力部３０と、検査用ラベル取得部３２と、検査用機械学習部３４と、記憶部４０とを備える。

【0034】

視線情報取得部１１は、画像取得部１２と画像処理部１３とを有する。画像取得部１２は、例えば通信インタフェースであり、視線用視覚センサ５で撮像された画像を受信する。画像処理部１３は、受信した画像を画像処理して、図３に示すように、検査者３の眼球の位置を視線の起点として求めると共に、検査者３の視線方向を求める。
また、視線情報取得部１１における画像取得部（通信インタフェース）１２は、図４に示すように、目視検査の際の検査対象物２の注視範囲であって、検査者により予め入力される注視範囲（固定値）を受信する。なお、視線情報取得部１１は、視線の起点と検査対象物２との距離に応じて注視範囲の大きさを変更してもよい。
これにより、視線情報取得部１１は、検査者３が検査対象物２の欠陥の目視検査を行う際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する。

【0035】

対象物情報取得部１６は、画像取得部１７と画像処理部１８とを有する。画像取得部１７は、例えば通信インタフェースであり、対象物用視覚センサ４Ａで撮像された画像を受信する。画像処理部１８は、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を求める。なお、対象物情報取得部１６は、ＣＡＤ情報を受信し、ＣＡＤ情報に基づいて検査対象物２の形状を求めてもよい。また、検査対象物２の位置が固定であれば、対象物情報取得部１６における画像取得部（通信インタフェース）１７は、検査者により予め入力される検査対象物２の位置、姿勢（固定値）を受信してもよい。
これにより、対象物情報取得部１６は、検査者が検査対象物２の目視検査を行う際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する。

【0036】

視線情報取得部１１及び対象物情報取得部１６は、視線用視覚センサ５及び対象物用視覚センサ４Ａで同一のタイミングに撮像された画像から視線情報及び対象物情報を取得する。本実施例では、視線情報及び対象物情報を取得するタイミングは、検査者３が与えるものとする。例えば、検査者３が所定の操作ボタンを押したタイミングでもよいし、検査者３が目を数秒つむるなどの予め定められたジェスチャーをしたときでもよい。
視線情報取得部１１、対象物情報取得部１６、及び後述する環境情報取得部２２で取得される位置姿勢は同じ座標系上で表現されるものとする。そのためには、視線用視覚センサ１１、対象物視覚センサ１６の相対位置関係は既知である必要がある。

【0037】

環境情報取得部２２は、目視検査の際の環境に関する環境情報として、照明装置６の種類、配置位置及び姿勢を取得する。環境情報は、例えば検査者により入力されてもよいし、検査システムの設計時の情報（例えば、後述する検査システムの設計値）から取得してもよい。

【0038】

構築用ラベル取得部２４は、目視検査を、検査用視覚センサ４を用いて自動化するための検査システムの設計値をラベルとして取得する。検査システムの設計値は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを含む。

【0039】

同一タイミングで取得された視線情報と、対象物情報と、環境情報と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。

【0040】

構築用機械学習部２６は、機械学習時、記憶部４０に一旦記憶されている視線情報と、対象物情報と、環境情報と、ラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、構築用機械学習部２６は、視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとし、ラベルを教師データとして、学習モデルを学習する。視線情報と対象物情報の代わりに注視箇所を入力データとしてもよい。注視箇所は次のように求められる。同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。注視点は検査者３の視線と検査対象物２の表面が交差する点として求めることができる。更に注視点の周りに注視範囲を設ければ、それが注視箇所となる。
また、構築用機械学習部２６は、検査システム構築時、学習した学習モデルに従って、目視検査の際の、視線情報取得部１１で取得された視線情報、対象物情報取得部１６で取得された対象物情報、及び環境情報取得部２２で取得された環境情報に基づいて、検査システムの設計値を出力する。
構築用機械学習部２６は、例えば多層ニューラルネットワークを含むニューラルネットワークにより構築された学習モデルに従って機械学習が行われる。入力層、出力層、そして中間層を含むニューラルネットワークにより構築された学習モデルは適宜の方式を用いることができる。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ）を適用することもできる。

【0041】

更に、構築用機械学習部２６は、機械学習時、検査支援ロボットの動作プログラムをラベルとして加え学習することができる。そのようにした場合、プログラム生成部２８は、構築用機械学習部２６で新たに取得した視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとして学習した学習モデルで推論を行い、検査支援ロボットの動作プログラムを出力できる。出力された検査支援ロボットの動作プログラムは、出力された検査システムの設計値に基づき構築される検査システムで使用することできる。
また、構築用機械学習部２６は、機械学習時、検査装置の検査プログラムをラベルとして加え学習することができる。そのようにした場合、プログラム生成部２８は、構築用機械学習部２６で新たに取得した視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとして学習した学習モデルで推論を行い、検査装置の検査プログラムを出力できる。出力された検査装置の検査プログラムは、出力された検査システムの設計値に基づき構築される検査システムで使用することできる。

【0042】

環境情報出力部３０は、構築用機械学習部２６から出力された検査システムの設計値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に関する情報を出力する。これにより、検査システムを構築する人は、検査用視覚センサ４、検査用視覚センサ４内の適切な光学レンズ、及び照明装置６を準備することができる。

【0043】

検査用ラベル取得部３２は、画像取得部１７で取得された検査対象物２の検査箇所の画像に付与するラベルであって、検査者による目視検査の際に検査対象物２の検査箇所の欠陥の有無の検査結果（例えば、ＯＫ（欠陥無）又はＮＧ（欠陥有））を示すラベルを取得する。検査結果は、視線情報の取得と同じタイミングで付与してもよいし、全て視線情報を取得したあとで、検査箇所の画像を見ながら付与してもよい。

【0044】

同一タイミングで取得された検査対象物２の検査箇所の画像と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。

【0045】

検査用機械学習部３４は、機械学習時、記憶部４０に一旦記憶されている検査対象物２の検査箇所の画像とラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、検査用機械学習部３４は、画像取得部１７で取得された検査対象物２の検査箇所の画像を入力データとし、検査用ラベル取得部３２で取得されたラベルを教師データとして、学習モデルを学習する。学習モデルは、例えば検査プログラムに含まれる。
また、検査用機械学習部３４は、検査時、学習した学習モデルに従って、画像取得部１７で取得された画像に基づいて、検査対象物２の検査箇所の欠陥の有無の検査結果を出力する。

【0046】

記憶部４０は、構築用機械学習部２６の学習のための学習データ、及び検査用機械学習部３４の学習のための学習データを記憶する。記憶部４０は、例えばＥＥＰＲＯＭ等の書き換え可能なメモリである。

【0047】

上述した検査装置１０Ａ（及び、後述する検査装置１０Ｂ）における視線情報取得部１１の画像処理部１３、対象物情報取得部１６の画像処理部１８、環境情報取得部２２、構築用ラベル取得部２４、構築用機械学習部２６、プログラム生成部２８、環境情報出力部３０、検査用ラベル取得部３２、及び検査用機械学習部３４は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の演算プロセッサで構成される。検査装置１０Ａ（及び、後述する検査装置１０Ｂ）の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。検査装置１０Ａ（及び、後述する検査装置１０Ｂ）の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。

【0048】

次に、図３〜図５を参照して、本実施形態の検査装置１０Ａによる検査システム構築のための機械学習動作について説明する。図５は、本実施形態の検査装置１０Ａによる検査システム構築のための機械学習動作を示すフローチャートである。

【0049】

まず、図３に示すように、検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。検査対象物２は、固定されていてもよいし、検査者３により把持されていてもよい。
このとき、検査者は、目視検査の際の環境情報として、照明装置６の種類、配置位置及び姿勢を、検査装置１０Ａに入力する。
また、検査者は、目視検査を検査用視覚センサ４を用いて自動化するための検査システムの設計値として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを、検査装置１０Ａに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。

【0050】

視線情報取得部１１は、視線用視覚センサ５で撮像された検査者の目付近の画像を受信し、受信した画像を画像処理して、検査者３の視線の起点、視線方向を求める。また、視線情報取得部１１は、検査者により予め入力される注視範囲（固定値）を受信する。これにより、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する（Ｓ１）。
このとき、対象物情報取得部１６は、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を受信し、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を含む対象物情報を求める。これにより、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ２）。
視線情報取得部１１及び対象物情報取得部１６は、視線用視覚センサ５及び対象物用視覚センサ４Ａで同一のタイミングに撮像された画像から視線情報及び対象物情報を取得する。

【0051】

また、環境情報取得部２２は、検査者により入力された照明装置６の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ３）。
また、構築用ラベル取得部２４は、検査者により入力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラム（検査システムの設計値）をラベルとして取得する（Ｓ４）。
同一タイミングで取得された視線情報と、対象物情報と、環境情報と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。

【0052】

次に、構築用機械学習部２６は、記憶部４０に一旦記憶されている視線情報と、対象物情報と、環境情報と、ラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、構築用機械学習部２６は、視線情報と、対象物情報と、環境情報とを入力データとし、ラベルを教師データとして、学習モデルを学習する（Ｓ５）。
目視検査の際の検査対象物２の検査箇所が複数ある場合、検査箇所ごとに上述した動作が行われる。

【0053】

なお、構築用ラベル取得部２４がラベルとして取得する検査システムの設計値における検査支援ロボットの動作プログラムは、後述する検査システム構築時にプログラム生成部２８で生成された検査支援ロボットの動作プログラムが検査者により修正された修正動作プログラムであってもよい。すなわち、図５の検査システム構築のための機械学習動作と、後述する図６の検査システムの構築動作とを行って生成された検査支援ロボットの動作プログラムを修正し、再度、図５の検査システム構築のための機械学習動作と図６の検査システムの構築動作とを行って、より適切な検査支援ロボットの動作プログラムを生成してもよい。

【0054】

次に、図３、図４及び図６を参照して、本実施形態の検査装置１０Ａによる検査システムの構築動作について説明する。図６は、本実施形態の検査装置１０Ａによる検査システムの構築動作を示すフローチャートである。

【0055】

上述した検査システム構築のための機械学習終了後、図３に示すように、新たに検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。
このとき、検査者は、目視検査の際の環境情報として、照明装置６の種類、配置位置及び姿勢を、検査装置１０Ａに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。

【0056】

視線情報取得部１１は、視線用視覚センサ５で撮像された検査者の目付近の画像を受信し、受信した画像を画像処理して、検査者３の視線の起点、視線方向を求める。また、視線情報取得部１１は、検査者により予め入力される注視範囲（固定値）を受信する。これにより、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する（Ｓ１１）。
このとき、対象物情報取得部１６は、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を受信し、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を含む対象物情報を求める。これにより、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ１２）。
また、環境情報取得部２２は、検査者により入力された照明装置の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ１３）。

【0057】

次に、構築用機械学習部２６は、学習した学習モデルに従って、視線情報取得部１１で取得された視線情報、対象物情報取得部１６で取得された対象物情報、及び環境情報取得部２２で取得された環境情報に基づいて、検査システムの設計値を出力する。換言すれば、構築用機械学習部２６は、検査システムの設計値として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを出力する（Ｓ１４）。

【0058】

次に、構築用機械学習部２６（プログラム生成部２８）は、同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。（Ｓ１５）。

【0059】

次に、プログラム生成部２８は、構築用機械学習部２６で学習した学習モデルで推論を行い、検査支援ロボットの動作プログラムを生成する。具体的には、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて適切な視野及び距離で撮像するように、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する（Ｓ１６）。検査対象物２と検査用視覚センサ４との相対位置は、検査対象物２が適切な大きさで撮像されるように制御されてもよいし、検査対象物２が一定の大きさで撮像されるように制御されてもよい。

【0060】

また、プログラム生成部２８は、構築用機械学習部２６で学習した学習モデルで推論を行い、検査装置の検査プログラムを生成する。具体的には、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する（Ｓ１７）。
検査対象物２の検査箇所が複数ある場合、プログラム生成部２８は、全ての検査箇所を順に検査するように、検査支援ロボットの動作プログラム、及び検査プログラムを生成する。検査の順序は、検査者が目視検査した順序であってもよいし、或いは何らかの指標が良くなる（例えば、検査支援ロボットの移動距離が最小になる）順序であってもよい。

【0061】

このとき、環境情報出力部３０は、構築用機械学習部２６で出力された検査システムの設定値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に関する情報を出力する（Ｓ１８）。これにより、検査者は、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び照明装置６を準備することができる。

【0062】

次に、図７を参照して、本実施形態の検査装置１０Ａによる検査のための機械学習動作について説明する。図７は、本実施形態の検査装置１０Ａによる検査のための機械学習動作を示すフローチャートである。

【0063】

検査システムの構築後、環境情報出力部３０で出力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に基づいて、検査者が検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び照明装置６を準備及び設置する。
ロボット制御装置６０は、プログラム生成部２８で生成された検査支援ロボットの動作プログラムを実行することにより検査支援ロボット５０を駆動制御し、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査用視覚センサ４は、検査対象物２の検査箇所を撮像する。
また、検査者は、目視検査の際に検査対象物２の検査箇所の欠陥の有無の検査結果（例えば、ＯＫ（欠陥無）又はＮＧ（欠陥有））を検査装置１０Ａに入力する。

【0064】

画像取得部１７は、検査用視覚センサ４で撮像された検査対象物２の検査箇所の画像を取得する（Ｓ２１）。
また、検査用ラベル取得部３２は、画像取得部１７で取得された検査対象物２の検査箇所の画像に付与するラベルであって、検査者により入力された目視検査の際の検査対象物の検査箇所の欠陥の有無の検査結果（ＯＫ、ＮＧ）を示すラベルを取得する（Ｓ２２）。
検査用ラベル取得部３２が検査対象物２の検査箇所のラベルを取得するタイミングで、画像取得部１７が検査対象物２のその検査箇所の画像を取得してもよい。或いは、検査用ラベル取得部３２が検査対象物２の全ての検査箇所のラベルを取得し終えた後に、構築された検査システムにて自動で、検査対象物２の全ての検査箇所の画像を取得してもよい。
取得された検査対象物２の検査箇所の画像と、ラベルとの組の集合であるデータは、学習データとして記憶部４０に一旦記憶される。

【0065】

検査用機械学習部３４は、記憶部４０に一旦記憶されている検査対象物２の検査箇所の画像とラベルとの組の集合である学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、検査用機械学習部３４は、画像取得部１７で取得された検査対象物２の検査箇所の画像を入力データとし、検査用ラベル取得部３２で取得されたラベルを教師データとして、学習モデルを学習する（Ｓ２３）。

【0066】

次に、図８を参照して、本実施形態の検査装置１０Ａによる検査動作について説明する。図８は、本実施形態の検査装置１０Ａによる検査動作を示すフローチャートである。

【0067】

検査のための機械学習終了後、ロボット制御装置６０は、新たに検査支援ロボットの動作プログラムを実行することにより検査支援ロボット５０を駆動制御し、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査用視覚センサ４は、検査対象物２の検査箇所を撮像する。

【0068】

画像取得部１７は、検査用視覚センサ４で撮像された検査対象物２の検査箇所の画像を取得する（Ｓ３１）。
次に、検査用機械学習部３４は、学習した学習モデルに従って、画像取得部１７で取得された検査対象物２の検査箇所の画像に基づいて、検査対象物２の検査箇所の欠陥の有無の検査結果を出力する（Ｓ３２）。

【0069】

以上説明したように、第１実施形態の検査装置１０Ａ及び検査システム１Ａ，１Ｂによれば、検査者３が検査対象物２の目視検査を行う際に、視線情報取得部１１は、検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得し（図３及び図４）、対象物情報取得部１６は、検査対象物の位置、姿勢、及び形状を含む対象物情報を取得し、環境情報取得部２２は、照明装置６の種類、配置位置及び姿勢を含む環境情報を取得する。また、構築用ラベル取得部２４は、目視検査を検査用視覚センサ４を用いて自動化するための検査システムの設計値（検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査プログラム）を、ラベルとして取得する。構築用機械学習部２６は、機械学習時、取得された視線情報、対象物情報及び環境情報を入力データとし、ラベルを教師データとして学習モデルを学習し、機械学習終了後（検査システム構築時）、目視検査の際に取得された視線情報、対象物情報及び環境情報に基づいて検査システムの設計値を出力する。構築用機械学習部２６（プログラム生成部２８）は、同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。そして、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。また、プログラム生成部２８は、検査用視覚センサ４を用いて撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。これにより、検査システムを簡易かつ自動で構築することができる。

【0070】

また、第１実施形態の検査装置１０Ａ及び検査システム１Ａ，１Ｂによれば、検査システム構築時、環境情報出力部３０は、構築用機械学習部２６から出力された検査システムの設計値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢に関する情報を出力する。
これにより、検査者は、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び、照明装置６を準備することができる。

【0071】

（第２実施形態）
第１実施形態では、検査システムを構築するために機械学習を行った。第２実施形態では、機械学習を行わずに検査システムを構築する。

【0072】

図１０は、第２実施形態に係る検査装置の構成を示す図である。図１０に示す検査装置１０Ｂは、図１Ａに示す検査システム１Ａ及び図１Ｂに示す検査システム１Ｂにおける検査装置１０に対応する。検査装置１０Ｂは、図２に示す検査装置１０Ａにおいて、構築用ラベル取得部２４、構築用機械学習部２６、及び環境情報出力部３０を備えない点で第１実施形態と異なる。

【0073】

環境情報取得部２２は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を、環境情報として取得する。これらの環境情報は、検査者により入力される。

【0074】

プログラム生成部２８は、目視検査の際に同一タイミングで取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。注視点は検査者３の視線と検査対象物２の表面が交差する点として求めることができる。更に注視点の周りに注視範囲を設ければ、それが注視箇所となる。
プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。検査用視覚センサ４の種類や光学レンズの種類が予め取得できていれば、検査用視覚センサ４と検査対象物２の距離をどの程度にすれば、検査範囲全体が撮像画像に映るか、または、ピントが合うかどうかということを判定することできる。
また、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。検査プログラムは予め定められたルールに従って生成してもよし、教師あり学習または教師無し学習により判別を行う検査プログラムを生成してもよい。例えば、検査箇所に丸穴が存在すれば、穴の径をはかる検査プログラムを生成するようにすることができる。

【0075】

次に、図３、図４及び図１１を参照して、本実施形態の検査装置１０Ｂによる検査システムの構築動作について説明する。図１１は、本実施形態の検査装置１０Ｂによる検査システムの構築動作を示すフローチャートである。

【0076】

まず、図３に示すように、検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。
このとき、検査者は、目視検査の際の環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を、検査装置１０Ｂに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。

【0077】

上述した図６のステップＳ１１及びＳ１２と同一の動作が行われ、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得し（Ｓ１１）、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ１２）。
また、環境情報取得部２２は、検査者により入力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ４３）。

【0078】

次に、プログラム生成部２８は、目視検査の際に取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する（Ｓ４５）。

【0079】

次に、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて適切な視野及び距離で撮像するように、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する（Ｓ４６）。

【0080】

また、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する（Ｓ４７）。
検査対象物２の検査箇所が複数ある場合、プログラム生成部２８は、全ての検査箇所を順に検査するように、検査支援ロボットの動作プログラム、及び検査プログラムを生成する。

【0081】

本実施形態の検査装置１０Ｂによる検査のための機械学習動作は、上述した図７のステップＳ２１〜Ｓ２３と同一であり、本実施形態の検査装置１０Ｂによる検査動作は、上述した図８のステップＳ３１〜Ｓ３２と同一である。

【0082】

以上説明したように、第２実施形態の検査装置１０Ｂ及び検査システム１Ａ，１Ｂによれば、検査者３が検査対象物２の目視検査を行う際に、視線情報取得部１１は、検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得し（図３及び図４）、対象物情報取得部１６は、検査対象物の位置、姿勢、及び形状を含む対象物情報を取得し、環境情報取得部２２は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を含む環境情報を取得する。プログラム生成部２８は、目視検査の際に取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。そして、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。また、プログラム生成部２８は、検査用視覚センサ４を用いて撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。これにより、検査システムを簡易かつ自動で構築することができる。

【0083】

なお、第２実施形態の検査装置１０Ｂ及び検査システム１Ａ，１Ｂでは、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢等の環境情報を予め決定し、決定した環境情報を検査装置１０Ｂの環境情報取得部２２に入力することとなる。したがって、検査者は、この環境情報に基づいて、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び、照明装置６を準備すればよい。
ここで、目視検査の際、検査者は、検査対象物２の検査箇所の表面に存在する欠陥（キズ又はムラなど）が認識しやすくなるように、検査対象物２を、照明装置６からの入射光に対して適切な角度傾けることがある。このような環境情報に基づいて、プログラム生成部２８は、検査用視覚センサ４と、検査対象物２と、照明装置６との位置関係を、目視検査の際のそれらの位置関係と同じになるようにプログラムを生成する。この点について、以下に詳説する。

【0084】

図９Ａに示すように、目視検査の際、検査者３は、検査対象物２を、照明装置６からの入射光に対して適切な角度傾けて、検査対象物２の検査箇所から適切な反射光を得られるようにする。これにより、検査対象物２の検査箇所の表面に存在する欠陥（キズ又はムラなど）が認識しやすくなる。
検査用視覚センサ４で検査対象物２を撮像する際にも、検査用視覚センサ４と、検査対象物２と、照明装置６との位置関係を、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係と同じようにすることによって、上述同様の効果が得られると考えられる。すなわち、検査しやすい画像を撮像することができると考えられる。
更に、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を容易に実現するために、検査装置１０Ｂは図２において上述したように環境情報出力部３０を備え、照明装置６の種類を環境情報出力部３０が出力することもできる。例えば、図９Ｂに示す目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を、図１Ａ又は図１Ｂに示す検査システム１Ａ，１Ｂで実現する場合、照明装置６として、目視検査の際に使用した照明装置とは異なるローアングル照明装置を環境情報出力部３０が出力する。環境情報出力部３０で出力された照明装置を検査者が準備することにより、検査用視覚センサ４で検査対象物２を撮像する際にも、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を容易に実現することができ、更には検査の効率を向上させることができる。

【0085】

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【0086】

例えば、上述した実施形態では、検査対象物２の欠陥の有無（例えば、表面の傷又は異物付着）を検査する検査装置及び検査システムを例示したが、本発明の特徴は、視覚センサ等の撮像装置で撮像された検査対象物の画像に基づいて検査対象物の種々の検査を行う種々の検査システムに適用可能である。
また、本発明の特徴は、検査対象物２の欠陥の有無の検査（ＯＫ（欠陥無）又はＮＧ（欠陥有））を行う検査装置に限定されず、検査対象物２に欠陥が存在する確率を求める検査装置、検査対象物２の欠陥位置を出力する検査装置等の種々の検査装置に適用可能である（機械学習部の教師データを変更することにより、出力する検査結果を変更することができる）。

【0087】

また、上述した実施形態では、目視検査の際の検査者の視線情報、及び検査対象物の対象物情報を取得するために視覚センサを備える検査システムを例示したが、検査システムは、視覚センサに代えて、３次元センサ等の種々の撮像装置を備えてもよい。

【0088】

また、上述した実施形態では、検査システムは、図３に示す視線用視覚センサ５に代えて、図１１に示す透過型のヘッドマウントディスプレイ５を備えてもよい。
ヘッドマウントディスプレイ５は、検査者３の眼球の位置、及び視線方向を特定する機能を有する。また、ヘッドマウントディスプレイ５は、ディスプレイ上に注視範囲を表示する機能を有し、この注視範囲の大きさや形状を検査者３の操作により変更する機能を有する。ヘッドマウントディスプレイ５は、特定した検査者３の眼球の位置及び視線方向、並びに検査者が設定したディスプレイ上の注視範囲を出力する。
これにより、視線情報取得部１１は、検査者３が検査対象物２の欠陥の目視検査を行う際の、検査者３の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する。
視線情報を取得するタイミングは、検査者が何らかの操作を行ったタイミングであってもよいし、検査者が所定時間以上注視したタイミングであってもよい。
ヘッドマウントディスプレイ５を用いる場合、検出された検査対象物２の欠陥の位置又は種類をヘッドマウントディスプレイ５上にサジェストしてもよい。
更にヘッドマウントディスプレイ５には対象物用視覚センサ４Ａが搭載されていてもよい。検査対象物の検査箇所は、検査者の顔が向いた方向にあるはずである。そのため、ヘッドマウントディスプレイ５上の対象物視覚センサ４Ａは検査箇所の撮像を行いやすいというメリットがある。

【0089】

また、上述した実施形態では、視線情報取得部１１及び対象物情報取得部１６が画像取得部１２，１７と画像処理部１３，１８とを備える形態を例示したが、視線情報取得部及び対象物情報取得部は画像処理部を備えない形態であってもよい。
この場合、視線情報取得部の画像取得部は、視線用視覚センサ５における画像処理部で求められた視線情報を取得すればよく、対象物情報取得部の画像取得部は、対象物用視覚センサ４における画像処理部で求められた対象物情報を取得すればよい。

【0090】

また、上述した実施形態では、検査対象物２に複数の検査箇所がある場合、検査箇所ごとに異なる機械学習部を構築してもよい。

【符号の説明】

【0091】

１Ａ，１Ｂ 検査システム
２ 検査対象物
３ 検査者
４ 検査用視覚センサ
４Ａ 対象物用視覚センサ（対象物用撮像装置）
５ 視線用視覚センサ（視線用撮像装置）
６ 照明装置
１０，１０Ａ，１０Ｂ 検査装置
１１ 視線情報取得部
１２ 画像取得部
１３ 画像処理部
１６ 対象物情報取得部
１７ 画像取得部
１８ 画像処理部
２２ 環境情報取得部
２４ 構築用ラベル取得部
２６ 構築用機械学習部
２８ プログラム生成部
３０ 環境情報出力部
３２ 検査用ラベル取得部
３４ 検査用機械学習部
４０ 記憶部
５０ 検査支援ロボット
５２ アーム
６０ ロボット制御装置

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】