ホーム > 特許ランキング > 株式会社プロテリアル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】検査装置、検査方法、位置決め方法、およびプログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20240730BHJP
G01N 21/88 20060101ALI20240730BHJP
【ＦＩ】
B25J13/08 A
G01N21/88 Z
【請求項の数】
16
(21)【出願番号】P 2021532783
(86)(22)【出願日】2020-07-02
(86)【国際出願番号】 JP2020026010
(87)【国際公開番号】W WO2021010181
(87)【国際公開日】2021-01-21
【審査請求日】2023-06-26
(31)【優先権主張番号】P 2019131635
(32)【優先日】2019-07-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000005083
【氏名又は名称】株式会社プロテリアル
(74)【代理人】
【識別番号】100096091
【弁理士】
【氏名又は名称】井上 誠一
(72)【発明者】
【氏名】西 雄一
(72)【発明者】
【氏名】染次 孝博
(72)【発明者】
【氏名】園田 真志
(72)【発明者】
【氏名】西村 崇善
(72)【発明者】
【氏名】榎本 敦子
(72)【発明者】
【氏名】中須 信昭
【審査官】松浦 陽
(56)【参考文献】
【文献】特開２０１８－１９４５４２（ＪＰ，Ａ）
【文献】特開２０１８－００４３１０（ＪＰ，Ａ）
【文献】特開２００７－２４８２４１（ＪＰ，Ａ）
【文献】特開２００７－２４０４３４（ＪＰ，Ａ）
【文献】特開２０１５－０８５４９３（ＪＰ，Ａ）
【文献】特開２０１９－００２７８８（ＪＰ，Ａ）
【文献】特開２００８－２９２４３０（ＪＰ，Ａ）
【文献】特開２００１－２５５２７９（ＪＰ，Ａ）
【文献】特開２０１７－０６２１５４（ＪＰ，Ａ）
【文献】国際公開第２０１５／００８３７３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ － ２１／０２
Ｇ０１Ｎ ２１／８８
(57)【特許請求の範囲】
【請求項1】
検査対象物を把持する把持用ロボットアームと、測定センサと、前記検査対象物の形状データに検査対象とする検査部位を設定する検査部位設定部と、
前記検査対象物の形状データに基づいて前記検査対象物に対する前記測定センサの測定位置を算出する測定位置算出部と、
前記測定位置に基づいて前記把持用ロボットアームの軌道を生成する軌道生成部と、
前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うロボット制御部と、
位置決め後、前記測定センサにより前記検査対象物の測定を行う測定部と、
測定されたデータに基づいて前記検査対象物の検査を行う検査部と、
を備え、
前記測定位置算出部は、
前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成する幾何生成部と、
前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定する測定候補位置設定部と、
設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出する測定可能領域算出部と、
算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定する測定位置選定部と、
を含む
検査装置。
【請求項2】
前記測定センサは、測定用ロボットアームに設けられ、前記軌道生成部は、経路計画法を用いて、干渉を回避した前記把持用ロボットアームおよび前記測定用ロボットアームの軌道を生成し、
前記ロボット制御部は、前記軌道に基づいて前記把持用ロボットアームおよび前記測定用ロボットアームの動作を制御し、前記検査対象物および前記測定センサの位置決めを行う
請求項１に記載の検査装置。
【請求項3】
前記幾何生成部は、前記形状データを包含する多面体を生成し、前記測定候補位置設定部は、前記多面体の各面の法線方向上に前記測定候補位置を設定する
請求項１または請求項２に記載の検査装置。
【請求項4】
前記測定位置選定部は、全ての検査部位が測定され、かつ、測定数が最小となるように測定位置を選定する請求項１から請求項３のいずれかに記載の検査装置。
【請求項5】
前記検査部位設定部により設定された検査部位に対して検査対象とする欠陥種類を設定する検査仕様設定部と、を更に備える請求項１から請求項４のいずれかに記載の検査装置。
【請求項6】
前記検査仕様設定部は、前記欠陥種類の欠陥の有害／無害を判定するための基準である限度基準をさらに設定し、前記検査部は、測定されたデータと前記欠陥種類の限度基準とを照合することで、前記検査対象物の検査を行う
請求項５に記載の検査装置。
【請求項7】
前記測定部は、前記欠陥種類に応じた照明条件により前記検査対象物の測定を行う請求項５または請求項６に記載の検査装置。
【請求項8】
前記測定部は、前記検査対象物の２次元画像を測定する第１測定部と、
前記検査対象物の３次元形状を測定する第２測定部と、を含み、
前記検査部は、
前記第１測定部により測定された２次元画像に基づいて、前記検査対象物の欠陥候補を抽出する第１検査部と、
前記第２測定部により測定された３次元形状に基づいて、抽出された前記欠陥候補の形状検査を行う第２検査部と、を含む
請求項１から請求項７のいずれかに記載の検査装置。
【請求項9】
前記検査部の検査結果を表示する表示部と、を更に備える請求項１から請求項８のいずれかに記載の検査装置。
【請求項10】
前記ロボット制御部は、前記把持用ロボットアームが把持する前記検査対象物を、他の把持用ロボットアームに把持させるように制御する請求項１から請求項９のいずれかに記載の検査装置。
【請求項11】
前記測定位置選定部は、ある測定候補位置を測定位置として選定する際に、当該測定候補位置の測定可能領域の全領域が、既に選定された測定位置の測定可能領域を統合した統合領域に含まれる場合には、当該測定候補位置は測定位置として選定しないことを特徴とする請求項１から請求項１０のいずれかに記載の検査装置。
【請求項12】
前記測定センサはカメラであり、半球状に配置された複数の照明と、半球の頂点上方に配置され、球中心方向を向く前記カメラと、から構成される光学系を備え、
欠陥種類ごとに、前記半球状に配置された複数の照明のうち、どの照明を点灯させるかの照明条件が設定されており、
前記測定部は、ある測定位置に位置決め後、当該測定位置で測定する欠陥種類に応じた前記照明条件に基づき、前記照明を点灯したうえで、前記カメラによる測定を行う
ことを特徴とする請求項１から請求項１１のいずれかに記載の検査装置。
【請求項13】
欠陥種類ごとに用意された欠陥あり／なしの良否画像データに基づき学習させた深層学習器が記憶部に記憶されており、前記測定部は、前記検査対象物の２次元画像を測定し、
前記検査部は、前記深層学習器を用いて、前記２次元画像から欠陥候補を抽出する
ことを特徴とする請求項１から請求項１２のいずれかに記載の検査装置。
【請求項14】
コンピュータが、検査対象物の形状データに検査対象とする検査部位を設定するステップと、
前記検査対象物の形状データに基づいて前記検査対象物に対する測定センサの測定位置を算出するステップと、
前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成するステップと、
前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うステップと、
位置決め後、前記測定センサにより前記検査対象物の測定を行うステップと、
測定されたデータに基づいて前記検査対象物の検査を行うステップと、
を実行し、
前記測定位置を算出するステップは、
前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成するステップと、
前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定するステップと、
設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出するステップと、
算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定するステップと、
を実行する
検査方法。
【請求項15】
コンピュータを、検査対象物の形状データに検査対象とする検査部位を設定する検査部位設定部、
検査対象物の形状データに基づいて前記検査対象物に対する測定センサの測定位置を算出する測定位置算出部、
前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成する軌道生成部、
前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うロボット制御部、
位置決め後、前記測定センサにより前記検査対象物の測定を行う測定部、
測定されたデータに基づいて前記検査対象物の検査を行う検査部、
として機能させ、
前記測定位置算出部は、
前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成する幾何生成部と、
前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定する測定候補位置設定部と、
設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出する測定可能領域算出部と、
算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定する測定位置選定部と、
を含む
プログラム。
【請求項16】
コンピュータが、検査対象物の形状データに検査対象とする検査部位を設定するステップと、
前記検査対象物の形状データに基づいて前記検査対象物に対する測定位置を算出するステップと、
前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成するステップと、
前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うステップと、
を実行し、
前記測定位置を算出するステップは、
前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成するステップと、
前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定するステップと、
設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出するステップと、
算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定するステップと、
を実行する
位置決め方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査装置、検査方法、位置決め方法、およびプログラムに関する。
【背景技術】
【0002】
従来から、製品の製造ライン等では、カメラ等のセンサとロボットアームを組み合わせた検査装置により、製品のキズや欠けなどの外観検査の自動化が進められている。
【0003】
例えば、特許文献１には、複数個のカメラが設けられたロボットアームから構成される検査装置が開示されており、複数個のカメラで撮像した検査対象物を撮像データに基づいて検査対象物の良否を判定することで、製品の検査をばらつきなく高い品質で行うことを可能としている。
【0004】
また特許文献２には、センサユニットが装着されたロボットアームから構成される検査装置と、検査対象物を保持する保持具が装着されたロボットアームから構成される検査冶具と、制御ユニットとを備えた外観検査システムにより、検査対象物の外観検査を行う外観検査方法が開示されている。特に、コンピュータによる検査対象の外観異常の自動抽出と、作業者による外観異常箇所の良否判定とを組み合わせた外観検査方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０１５／０１１７８２号公報
【文献】特開２０１８－５９８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１、２では、プログラミングペンダント等により、検査対象物の形状や検査項目ごとにロボットアームの動作を教示する必要があるため、検査を実施するまでの準備に多大な工数がかかり、非効率であった。
【0007】
本開示は、前述した問題点に鑑みてなされたものであり、ロボットアームの教示作業を必要としない検査装置等を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一実施形態によれば、検査対象物を把持する把持用ロボットアームと、測定センサと、前記検査対象物の形状データに検査対象とする検査部位を設定する検査部位設定部と、前記検査対象物の形状データに基づいて前記検査対象物に対する前記測定センサの測定位置を算出する測定位置算出部と、前記測定位置に基づいて前記把持用ロボットアームの軌道を生成する軌道生成部と、前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うロボット制御部と、位置決め後、前記測定センサにより前記検査対象物の測定を行う測定部と、測定されたデータに基づいて前記検査対象物の検査を行う検査部と、を備え、前記測定位置算出部は、前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成する幾何生成部と、前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定する測定候補位置設定部と、設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出する測定可能領域算出部と、算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定する測定位置選定部と、を含む検査装置が提供される。
【0009】
また本開示の一実施形態によれば、コンピュータが、検査対象物の形状データに検査対象とする検査部位を設定するステップと、前記検査対象物の形状データに基づいて前記検査対象物に対する測定センサの測定位置を算出するステップと、前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成するステップと、前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うステップと、位置決め後、前記測定センサにより前記検査対象物の測定を行うステップと、測定されたデータに基づいて前記検査対象物の検査を行うステップと、を実行し、前記測定位置を算出するステップは、前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成するステップと、前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定するステップと、設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出するステップと、算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定するステップと、を実行する検査方法が提供される。
【0010】
また本開示の一実施形態によれば、コンピュータを、検査対象物の形状データに検査対象とする検査部位を設定する検査部位設定部、検査対象物の形状データに基づいて前記検査対象物に対する測定センサの測定位置を算出する測定位置算出部、前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成する軌道生成部、前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うロボット制御部、位置決め後、前記測定センサにより前記検査対象物の測定を行う測定部、測定されたデータに基づいて前記検査対象物の検査を行う検査部、として機能させ、前記測定位置算出部は、前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成する幾何生成部と、前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定する測定候補位置設定部と、設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出する測定可能領域算出部と、算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定する測定位置選定部と、
を含むプログラムが提供される。
を含むプログラムが提供される。
【0011】
また本開示の一実施形態によれば、コンピュータが、検査対象物の形状データに検査対象とする検査部位を設定するステップと、前記検査対象物の形状データに基づいて前記検査対象物に対する測定位置を算出するステップと、前記測定位置に基づいて前記検査対象物を把持する把持用ロボットアームの軌道を生成するステップと、前記軌道に基づいて前記把持用ロボットアームの動作を制御し、前記検査対象物の位置決めを行うステップと、を実行し、前記測定位置を算出するステップは、前記形状データを包含し、かつ、前記形状データの各方向を規定可能な幾何形状を生成するステップと、前記幾何形状により規定される各方向ごとに複数の測定候補位置を設定するステップと、設定された各測定候補位置について、前記形状データにおける各測定可能領域を算出するステップと、算出された各測定可能領域に基づいて、全ての前記検査部位が測定されるように、前記測定候補位置の中から、測定位置を選定するステップと、を実行する位置決め方法が提供される。
【発明の効果】
【0012】
本開示によれば、ロボットアームの教示作業を必要としない検査装置等が提供される。
【図面の簡単な説明】
【0013】
【図1】検査装置１の全体構成の例を示す図
【図2】２Ｄ光学系４２の例を示す図
【図3】２Ｄ光学系４２の例を示す図
【図4】制御装置６のハードウェア構成の例を示すブロック図
【図5】制御装置６の機能構成の例を示すブロック図
【図6】検査処理の概要を示す図
【図7】検査部位８０、検査仕様９を設定する処理の流れを示すフローチャート
【図8】形状データ８の例を示す図
【図9】検査部位８０を設定する例を示す図
【図10】検査仕様９を設定する例を示す図
【図11】測定位置１０を算出する処理の流れを示すフローチャート
【図12】幾何形状８１（多面体）の例を示す図
【図13】幾何形状８１（球面グリッド）の例を示す図
【図14】測定候補位置１０１を設定する例を示す図
【図15】各測定候補位置１０１の測定可能領域Ｐ１が統合される様子を示す図
【図16】測定検査テーブル１００の例を示す図
【図17】検査の全体の流れを示す図
【図18】検査装置１が実行する検査動作の流れを示すフローチャート
【図19】測定・検査処理の流れを示すフローチャート
【図20】欠陥候補７１の抽出例を示す図
【図21】欠陥箇所の表示例を示す図
【図22】不良品発生率の推移グラフを示す図
【図23】製造工程パラメータから予測した不良発生率と実際の不良発生率との相関関係を示す相関解析結果の表示例を示す図
【図24】検査装置１Ａの全体構成の例を示す図
【発明を実施するための形態】
【0014】
以下図面に基づいて、本開示の実施形態（以下、「本実施形態」と表記）を詳細に説明する。
【0015】
（１．検査装置１の構成）
図１は、本実施形態の検査装置１の全体構成を示す図である。検査装置１は、検査対象物７の外観検査を行う装置であり、主に、供給機構２、把持機構３、測定機構４、排出機構５、および制御装置６から構成される。
図１は、本実施形態の検査装置１の全体構成を示す図である。検査装置１は、検査対象物７の外観検査を行う装置であり、主に、供給機構２、把持機構３、測定機構４、排出機構５、および制御装置６から構成される。
【0016】
供給機構２は、検査対象物７を供給するためのコンベア２１と検査対象物７の位置および姿勢を認識するためのビジョンセンサ２２から構成される。ビジョンセンサ２２は、コンベア２１の上方に配置され、コンベア２１上の検査対象物７の位置および姿勢を認識する。認識された検査対象物７の位置および姿勢に基づいて、把持用ロボットアーム３１ａまたは３１ｂにより検査対象物７が把持される。
【0017】
なお、供給機構２は、図の例に限定されない。例えば、供給機構２が、検査対象物７が山積みされたコンテナ（不図示）とコンテナの上方に配置されたビジョンセンサ２２から構成されてもよい。この場合、ビジョンセンサ２２により検査対象物７の位置および姿勢が認識され、把持用ロボットアーム３１ａまたは３１ｂにより検査対象物７が把持される。
【0018】
また、供給機構２が、検査対象物７を一定の姿勢で整列したトレー（不図示）で構成されてもよい。この場合、検査対象物７の位置および姿勢があらかじめ既知であるため、ビジョンセンサ２２を設ける必要がない。すなわち、ビジョンセンサ２２なしで、検査対象物７が把持用ロボットアーム３１ａまたは３１ｂにより把持される。
【0019】
また、供給機構２が、パーツフィーダ（不図示）で構成されてもよい。この場合も、検査対象物７が一定の姿勢で整列されるため、ビジョンセンサ２２なしで検査対象物７が把持用ロボットアーム３１ａまたは３１ｂにより把持される。
【0020】
把持機構３は、支柱１８の両側部に双腕状に配置された多関節型（例えば６軸）のロボットアーム（把持用ロボットアーム３１ａおよび３１ｂ）から構成される。把持用ロボットアーム３１ａ、３１ｂは、それぞれ、アーム部３１１ａ、３１１ｂとハンド部３１２ａ、３１２ｂを備える。ハンド部３１２ａ、３１２ｂは、アーム部３１１ａ、３１１ｂの先端に設けられる。
【0021】
ハンド部３１２ａ、３１２ｂは、検査対象物７を把持可能な構造であればどのような形態でもよいが、ハンド部３１２ａ、３１２ｂにより把持された状態で、検査対象物７の半分以上が露出する構造であることが望ましい。ハンド部３１２ａ、３１２ｂをこのような構造とすれば、把持用ロボットアーム３１ａ、３１ｂ間での一度の持ち替え動作で、検査対象物７の全面を測定することができる。ハンド部３１２ａ、３１２ｂとして、挟持タイプのもの、吸着タイプのものなどを採用できる。
【0022】
なお、本開示において、把持用ロボットアーム３１ａまたは３１ｂを、把持用ロボットアーム３１と表記する場合がある。この場合、把持用ロボットアーム３１のアーム部はアーム部３１１、ハンド部はハンド部３１２と表記する。
【0023】
測定機構４は、支柱１８の上部に配置された多関節型（例えば６軸）のロボットアーム（測定用ロボットアーム４１）と、２次元光学系（以下「２Ｄ光学系４２」と表記）と、３次元センサ（以下「３Ｄセンサ４５」と表記）とから構成される。２Ｄ光学系４２および３Ｄセンサ４５は、例えば、測定用ロボットアーム４１の先端部に直接、または他の部材を介して固定される。
【0024】
図２、３は、２Ｄ光学系４２を示す図である。図２は２Ｄ光学系４２の斜視図であり、図３は２Ｄ光学系４２の中心におけるＸＺ断面図である。図２、３に示すように、２Ｄ光学系４２は、本体４３ａおよびレンズ４３ｂからなるカメラ４３と、半球状に複数配置された照明４４から構成される。カメラ４３は半球の頂点上方に配置され、検査対象物７を撮像する。
【0025】
カメラ４３（本体４３ａ）には、例えば、ＣＣＤ（Charge Coupled
Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide
Semiconductor）イメージセンサ等の撮像センサが搭載されている。照明４４は、例えば白色ＬＥＤである。検査対象物７の撮像時に、照明４４の点灯が切り替えられ、照明角度の異なる２次元画像を取得することができる。なお、カメラ４３は複数配置されてもよい。
Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide
Semiconductor）イメージセンサ等の撮像センサが搭載されている。照明４４は、例えば白色ＬＥＤである。検査対象物７の撮像時に、照明４４の点灯が切り替えられ、照明角度の異なる２次元画像を取得することができる。なお、カメラ４３は複数配置されてもよい。
【0026】
３Ｄセンサ４５は、検査対象物７の３次元形状を測定するセンサである。３Ｄセンサ４５は、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブ方式のステレオカメラ、タイムオブフライト法を用いる機器など、任意の領域の３次元データを測定できるものであればよい。
なお、カメラ４３や３Ｄセンサ４５は、本開示における測定センサの一例である。
なお、カメラ４３や３Ｄセンサ４５は、本開示における測定センサの一例である。
【0027】
排出機構５は、検査対象物７を排出するためのコンベア５１から構成される。検査対象物７の検査の合否や欠陥の種類で分類できるように、コンベア５１を複数設けても良い。
【0028】
【0029】
（２．制御装置６のハードウェア構成）
図４は、制御装置６のハードウェア構成を示すブロック図である。図に示すように、制御装置６は、制御部６１、記憶部６２、通信部６３、入力部６４、モニタ６５、周辺機器Ｉ／Ｆ部６６、ＵＰＳ６７等が、バス６９を介して接続される汎用のコンピュータで実現される。但し、これに限ることなく、用途、目的に応じて様々な構成を採ることが可能である。
図４は、制御装置６のハードウェア構成を示すブロック図である。図に示すように、制御装置６は、制御部６１、記憶部６２、通信部６３、入力部６４、モニタ６５、周辺機器Ｉ／Ｆ部６６、ＵＰＳ６７等が、バス６９を介して接続される汎用のコンピュータで実現される。但し、これに限ることなく、用途、目的に応じて様々な構成を採ることが可能である。
【0030】
制御部６１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部６２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス６９を介して接続された各装置を駆動制御し、制御装置６が行う後述する処理を実現する。
【0031】
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部６２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部６１が各種処理を行う為に使用するワークエリアを備える。
【0032】
記憶部６２は、ＨＤＤ（Hard Disk Drive）等であり、制御部６１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部６１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種処理を実行する。
【0033】
本実施形態では、記憶部６２には、検査対象物７の形状データ８（例えば、ＣＡＤデータ）が記憶されている。また、記憶部６２には、ＲＯＳ（Robot Operation System）が構築されており、ＲＯＳのシミュレータ機能を用いることで、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を自動生成することが可能となっている。
【0034】
また、記憶部６２には、光学系シミュレータが構築されており、検査対象物７の形状データ８と光学系の条件を入力することで、形状データ８における測定可能領域Ｐ（撮像範囲）を算出することが可能となっている。また、記憶部６２には、検査時に使用される学習済みの深層学習器７２があらかじめ記憶されている。
【0035】
通信部６３は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【0036】
入力部６４は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部６４を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。モニタ６５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部６４及びモニタ６５は、タッチパネルディスプレイのように、一体となっていてもよい。
【0037】
周辺機器Ｉ／Ｆ（Interface）部６６は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部６６を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部６６は、ＵＳＢ（Universal Serial Bus）やＬＡＮやＩＥＥＥ１３９４やＲＳ－２３２Ｃ等によって構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。制御装置６は、周辺機器Ｉ／Ｆ（Interface）部６６を介して、コンベア２１、コンベア５１、ビジョンセンサ２２、把持用ロボットアーム３１、測定用ロボットアーム４１、２Ｄ光学系４２、３Ｄセンサ４５等と接続される。
【0038】
ＵＰＳ６７は、停電などによって電力が断たれた場合にも電力を供給し続ける無停電電源装置である。
バス６９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
バス６９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【0039】
制御装置６は、１台のコンピュータで構成されてもよいし、複数のコンピュータが協働して検査装置１の動作を実行するように構成されてもよい。以下の説明では、簡素な構成例として、制御装置６が１台のコンピュータで構成される例を説明する。
【0040】
（３．制御装置６の機能構成）
図５は、制御装置６の機能構成を示すブロック図である。図に示すように、制御装置６は、コンベア制御部１１、ワーク認識部１２、ロボット制御部１３、動作設定部１４、測定部１５、検査部１６、およびデータ表示部１７の各機能から構成される。
図５は、制御装置６の機能構成を示すブロック図である。図に示すように、制御装置６は、コンベア制御部１１、ワーク認識部１２、ロボット制御部１３、動作設定部１４、測定部１５、検査部１６、およびデータ表示部１７の各機能から構成される。
【0041】
コンベア制御部１１は、コンベア２１、５１の駆動部に制御命令を送り、コンベア２１、５１の動作制御をおこなう。具体的には、コンベア制御部１１は、未検査の検査対象物７が載置されたコンベア２１を供給方向（図１のＸ方向）に動作させ、検査対象物７をビジョンセンサ２２の下部まで供給する。また、検査終了後、コンベア制御部１１は、検査済みの検査対象物７が載置されたコンベア５１を排出方向（図１のＸ方向）に動作させ、検査対象物７を排出する。
【0042】
ワーク認識部１２は、ビジョンセンサ２２により、ビジョンセンサ２２の下部に供給された検査対象物７の位置および姿勢を認識する。認識された検査対象物７の位置および姿勢に基づいて、把持用ロボットアーム３１が動作制御され、ハンド部３１２により検査対象物７が把持される。
【0043】
ロボット制御部１３は、把持用ロボットアーム３１および測定用ロボットアーム４１の各関節の駆動部に制御命令を送り、把持用ロボットアーム３１および測定用ロボットアーム４１の動作を制御する。
【0044】
具体的には、ロボット制御部１３は、後述する軌道生成部１４３により生成される軌道に基づいて、把持用ロボットアーム３１のハンド部３１２をコンベア２１上のピッキング位置まで移動させるとともに、検査対象物７の予め決められた位置をハンド部３１２で把持させるように制御する。これにより、コンベア２１上の検査対象物７がピッキングされる。
【0045】
また、ロボット制御部１３は、検査対象物７の把持後（ピッキング後）、後述する軌道生成部１４３により生成される軌道に基づいて、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を制御し、検査対象物７およびカメラ４３の位置決めを行う。検査対象物７およびカメラ４３の位置決め後、検査対象物７の測定が行われる。
【0046】
また、ロボット制御部１３は、検査対象物７を、把持用ロボットアーム３１ａのハンド部３１２ａと把持用ロボットアーム３１ｂのハンド部３１２ｂとの間で持ち替えるように制御する。例えば、測定位置１０毎に、把持用ロボットアーム３１ａ、３１ｂのいずれで検査対象物７を把持するかのルールをあらかじめ定めておき、制御部６１は、このルールに基づいて、持ち替え動作を行う。
【0047】
また、ロボット制御部１３は、検査対象物７の検査終了後、後述する軌道生成部１４３により生成される軌道に基づいて、把持用ロボットアーム３１のハンド部３１２をコンベア５１上のリリース位置まで移動させるとともに、検査対象物７のハンド部３１２による把持状態を解除する。これにより、コンベア５１上に検査済みの検査対象物７がリリースされる。
【0048】
動作設定部１４は、把持用ロボットアーム３１および測定用ロボットアーム４１の動作制御に必要な設定を行う。動作設定部１４は、図５に示すように、検査部位設定部１４０、検査仕様設定部１４１、測定位置算出部１４２（幾何生成部１４２ａ、測定候補位置設定部１４２ｂ、測定可能領域算出部１４２ｃ、測定位置選定部１４２ｄ）、および軌道生成部１４３から構成される。
【0049】
検査部位設定部１４０は、検査対象物７の形状データ８（例えば、ＣＡＤデータ）を記憶部６２から読込み、形状データ８に対して、検査対象とする検査部位８０を設定する。
【0050】
検査仕様設定部１４１は、検査部位設定部１４０により設定された各検査部位８０に対して検査仕様９を設定する。検査仕様９は、欠陥種類９１および欠陥仕様９２の情報を含む。欠陥種類９１とは、「凸」欠陥、「凹」欠陥、バリなど、検査対象とする欠陥の種類を示す。欠陥仕様９２とは、各欠陥の限度基準であり、各欠陥の有害／無害を判定するための基準として使用される。
【0051】
【0052】
測定位置算出部１４２は、形状データ８に基づいて検査対象物７の測定位置１０を算出する。測定位置１０とは、形状データ８（検査対象物７）に対するカメラ４３の相対的な位置であり、例えば、形状データ８（検査対象物７）の中心を原点としたカメラ４３の位置座標である。測定位置算出部１４２は、形状データ８に設定された全ての検査部位８０がカメラ４３により測定（撮像）されるように、形状データ８の周りに測定位置１０を複数算出する。この測定位置１０に基づいて把持用ロボットアーム３１および測定用ロボットアーム４１の軌道が自動生成される。
【0053】
図５に示すように、測定位置算出部１４２は、幾何生成部１４２ａ、測定候補位置設定部１４２ｂ、測定可能領域算出部１４２ｃ、および測定位置選定部１４２ｄから構成される。
【0054】
幾何生成部１４２ａは、形状データ８を包含し、かつ、形状データ８の各方向を規定可能な幾何形状８１を生成する。
【0055】
測定候補位置設定部１４２ｂは、幾何形状８１により規定される各方向に１以上の測定候補位置１０１を設定する。
【0056】
測定可能領域算出部１４２ｃは、測定候補位置設定部１４２ｂにより設定された各測定候補位置１０１について、光学系シミュレータにより、形状データ８における測定可能領域Ｐを算出する。
【0057】
測定位置選定部１４２ｄは、各測定候補位置１０１の測定可能領域Ｐに基づいて、測定候補位置１０１の中から測定位置１０を選定する。例えば、測定位置選定部１４２ｄは、全ての検査部位８０（検査対象領域）が測定され、かつ、測定数が最小となるように測定位置１０を選定する。
【0058】
【0059】
軌道生成部１４３は、ＲＯＳ上に検査装置１や周辺設備のＣＡＤモデルを構築したうえで、ＰＲＭ（Probabilistic Roadmap Planner）法やＲＲＴ（Rapidly
exploring Random Tree）法などの経路計画法（Motion Planning）を用いて、干渉を回避した把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を生成する。
exploring Random Tree）法などの経路計画法（Motion Planning）を用いて、干渉を回避した把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を生成する。
【0060】
具体的には、軌道生成部１４３は、ワーク認識部１２により認識した検査対象物７の位置および姿勢に基づいて、検査対象物７のピッキング位置（ハンド部３１２の目標位置および目標姿勢）を算出し、ピッキング位置に基づいて、把持用ロボットアーム３１の軌道を生成する。この軌道によって、把持用ロボットアーム３１を制御することで、コンベア２１上の検査対象物７が把持用ロボットアーム３１のハンド部３１２により把持（ピッキング）される。
【0061】
また、軌道生成部１４３は、測定位置算出部１４２により算出された測定位置１０に基づいて、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を生成する。具体的には、軌道生成部１４３は、検査対象物７に対するカメラ４３の相対的な位置が、測定位置算出部１４２により算出された測定位置１０となるように、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を生成する。この軌道によって、把持用ロボットアーム３１および測定用ロボットアーム４１を制御することで、検査対象物７およびカメラ４３が測定ポイントへ位置決めされる。これにより、プログラミングペンダント等による教示なしで検査対象物７の測定・検査を行うことができ、効率性の高い検査が実現される。
【0062】
また、軌道生成部１４３は、検査終了後、検査対象物７のリリース位置（ハンド部３１２の目標位置および目標姿勢）に基づいて、把持用ロボットアーム３１の軌道を生成する。この軌道によって、把持用ロボットアーム３１を制御することで、コンベア５１上に検査済みの検査対象物７がリリースされる。
【0063】
測定部１５は、検査対象物７およびカメラ４３の位置決め後、検査対象物７の測定を行う。
図５に示すように、測定部１５は、第１測定部１５１および第２測定部１５２から構成される。
図５に示すように、測定部１５は、第１測定部１５１および第２測定部１５２から構成される。
【0064】
第１測定部１５１は、２Ｄ光学系４２に測定指示を送り、検査対象物７の２次元画像データＤ１を測定する。
【0065】
第２測定部１５２は、３Ｄセンサ４５に測定指示を送り、検査対象物７の３次元形状データＤ２を測定（形状測定）する。
【0066】
検査部１６は、測定部１５（１５１、１５２）により測定された測定データに基づいて検査対象物７の検査を行う。
図５に示すように、検査部１６は、第１検査部１６１および第２検査部１６２から構成される。
図５に示すように、検査部１６は、第１検査部１６１および第２検査部１６２から構成される。
【0067】
第１検査部１６１は、第１測定部１５１により測定された検査対象物７の２次元画像データＤ１に基づいて、欠陥候補７１を抽出する。
【0068】
本実施形態では、第１検査部１６１は、機械学習の一種である深層学習（Deep
Learning）により学習させた深層学習器７２を用いて、欠陥候補７１を抽出する。深層学習器７２は、欠陥の種類ごとに用意された欠陥あり／なしの良否画像データ（学習データ）に基づき学習させた識別器であり、あらかじめ記憶部６２に記憶されている。深層学習手法としては、ＳｅｇＮｅｔやＲｅｓＮｅｔ、あるいはＳｅｇＮｅｔとＲｅｓＮｅｔを併用した手法などが利用できるが、これら手法に限定されない。
Learning）により学習させた深層学習器７２を用いて、欠陥候補７１を抽出する。深層学習器７２は、欠陥の種類ごとに用意された欠陥あり／なしの良否画像データ（学習データ）に基づき学習させた識別器であり、あらかじめ記憶部６２に記憶されている。深層学習手法としては、ＳｅｇＮｅｔやＲｅｓＮｅｔ、あるいはＳｅｇＮｅｔとＲｅｓＮｅｔを併用した手法などが利用できるが、これら手法に限定されない。
【0069】
第２検査部１６２は、第２測定部１５２により測定された検査対象物７の３次元形状データＤ２に基づいて、第１検査部１６１により抽出された欠陥候補７１の箇所の詳細な形状検査（寸法検査）を行い、最終的な欠陥の有害／無害を判定する。
【0070】
図６は、検査処理の概要を示す図である。図に示すように、まず、深層学習器７２を用いて２次元画像データＤ１から欠陥候補７１を抽出し（第１検査）、欠陥候補７１が抽出されなかった場合には、検査対象物を「良」（欠陥なし）と判定する。一方、欠陥候補７１が抽出された場合には、さらに３次元形状データＤ２により欠陥候補７１の箇所の形状検査（寸法検査）を行い（第２検査）、欠陥候補７１の箇所の欠陥仕様９２と照合することで、最終的な良否判定を行う。
【0071】
（４．検査部位、検査仕様の設定）
図７～図１０を参照して、検査に先立ち、検査対象物７の形状データ８に対して検査対象とする検査部位８０、および検査仕様９（欠陥種類９１、欠陥仕様９２）を設定する処理を説明する。
図７～図１０を参照して、検査に先立ち、検査対象物７の形状データ８に対して検査対象とする検査部位８０、および検査仕様９（欠陥種類９１、欠陥仕様９２）を設定する処理を説明する。
【0072】
図７は、検査部位８０、および検査仕様９を設定する処理の流れを示すフローチャートである。
制御装置６の制御部６１は、まず、検査対象物７の形状データ８を記憶部６２から読込み、モニタ６５に表示する（ステップＳ１）。
図８は、検査対象物７（継手）の形状データ８の例を示す。
制御装置６の制御部６１は、まず、検査対象物７の形状データ８を記憶部６２から読込み、モニタ６５に表示する（ステップＳ１）。
図８は、検査対象物７（継手）の形状データ８の例を示す。
【0073】
続いて、制御部６１（検査部位設定部１４０）は、モニタ６５上に表示された形状データ８に対して、検査対象とする検査部位８０を設定する（ステップＳ２）。この設定は入力部６４を介したユーザ操作により行われる。例えば、図９の例のように、ユーザは、形状データ８（配管継手のＣＡＤデータ）に対して、検査部位８０として検査部位８０ａ（継手本体部の外面）、および検査部位８０ｂ（継手端部の外面）を設定する。
【0074】
続いて、制御部６１（検査仕様設定部１４１）は、ステップＳ２において設定された各検査部位８０に対して、検査仕様９（欠陥種類９１、欠陥仕様９２）の設定を受け付ける（ステップＳ３）。例えば、図１０に示すように、検査部位８０ａ（継手本体部の外面）の検査仕様９ａ（欠陥種類９１、欠陥仕様９２）として、検査仕様９ａ－１（「凸」、「Φ３．０ｍｍ、高さ２．０ｍｍ」）および検査仕様９ａ－２（「凹」、「Φ３．０ｍｍ、深さ１．０ｍｍ」）を設定する。
【0075】
また、検査部位８０ｂ（継手端部の外面）の検査仕様９ｂ（欠陥種類９１、欠陥仕様９２）として、検査仕様９ｂ－１（「凸」、「Φ３．０ｍｍ、高さ２．０ｍｍ」）、検査仕様９ｂ－２（「凹」、「Φ３．０ｍｍ、深さ１．０ｍｍ」）、および検査仕様９ｂ－３（「バリ」、「０．５Ｈ×２Ｌ（ｍｍ）」）を設定する。
【0076】
後述するように、制御装置６は、ステップＳ２において設定された検査部位８０が全て測定されるように、測定位置１０を選定（算出）する。また、制御装置６は、ステップＳ３において設定した各検査部位８０の検査仕様９（欠陥種類９１、欠陥仕様９２）に基づいて、検査対象物７の良否判定を行う。
【0077】
（５．測定位置の算出）
図１１～図１５を参照して、検査対象物７の測定位置１０を算出する処理を説明する。ここで算出された測定位置１０に基づいて、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道が生成される。
図１１～図１５を参照して、検査対象物７の測定位置１０を算出する処理を説明する。ここで算出された測定位置１０に基づいて、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道が生成される。
【0078】
図１１は、測定位置１０を算出する処理の流れを示すフローチャートである。
まず、制御装置６の制御部６１（幾何生成部１４２ａ）は、検査対象物７の形状データ８を包含し、かつ、形状データ８の各方向を規定可能な幾何形状８１を生成する（ステップＳ１１）。例えば、図１２に示すような形状データ８を包含する多面体８１や、図１３に示すような形状データ８を包含する球面グリッド８１などを生成する。
まず、制御装置６の制御部６１（幾何生成部１４２ａ）は、検査対象物７の形状データ８を包含し、かつ、形状データ８の各方向を規定可能な幾何形状８１を生成する（ステップＳ１１）。例えば、図１２に示すような形状データ８を包含する多面体８１や、図１３に示すような形状データ８を包含する球面グリッド８１などを生成する。
【0079】
多面体（図１２）の場合には、形状データ８の各方向が、多面体の各面の向き（面の法線方向）によって規定される。球面グリッド（図１３）の場合には、形状データ８の各方向が、各グリッド線の交点の方向によって規定される。本実施形態では、制御部６１（幾何生成部１４２ａ）は、図１２の多面体８１を生成するものとして説明する。多面体８１は、例えば、正１２面体や正２０面体であるが、これらに限定されない。
【0080】
続いて、制御部６１（測定候補位置設定部１４２ｂ）は、幾何形状８１により規定される各方向に１以上の測定候補位置１０１を設定する（ステップＳ１２）。本実施形態では、制御部６１は、多面体８１（幾何形状８１）の各面８２の中心８３を通る面法線８４上に１以上の測定候補位置１０１（カメラ４３の位置座標）を設定する。なお、測定候補位置１０１に設置される各カメラ４３の撮像方向は、面８２に垂直な方向とする。つまり、各カメラ４３の撮像中心は、各面８２の中心８３となる。
【0081】
図１４は、多面体８１（正２０面体）のある面８２の中心８３を通る面法線８４上に測定候補位置１０１を設定する例を示す。図の例では、面法線８４上に３つの測定候補位置１０１が設定されている。測定候補位置１０１は、カメラ４３の視野範囲、被写体深度、作動距離などの光学的条件に基づいて適宜設定される。
【0082】
制御部６１（測定候補位置設定部１４２ｂ）は、多面体８１の全ての面８２について測定候補位置１０１を設定する。例えば、図１４の正２０面体の各面８２毎にそれぞれ３点の測定候補位置１０１を設定した場合、計６０点の測定候補位置１０１が設定される。
【0083】
続いて、制御部６１（測定可能領域算出部１４２ｃ）は、ステップＳ１２において設定された各測定候補位置１０１について、光学系シミュレータを用いて、形状データ８における測定可能領域Ｐを算出する（ステップＳ１３）。
【0084】
そして、制御部６１（測定位置選定部１４２ｄ）は、ステップＳ１３において算出された各測定候補位置１０１の測定可能領域Ｐに基づいて、全ての検査部位８０（検査対象領域）が測定され、かつ、測定数が最小となる測定位置１０を測定候補位置１０１の中から選定する（ステップＳ１４）。
【0085】
例えば、制御部６１（測定位置選定部１４２ｄ）は、全ての測定候補位置１０１の中から、ランダムな順序で測定候補位置１０１を一つずつ選択していき、選択された測定候補位置１０１の測定可能領域Ｐを統合していく。測定可能領域Ｐが統合された領域を統合領域Ｒと呼ぶ。そして、制御部６１は、統合領域Ｒが全ての検査部位（検査対象領域）を網羅（包含）した段階で測定候補位置１０１の選択を打ち切り、それまでに選択された測定候補位置１０１を測定位置１０として選定する。
【0086】
図１５を用いて具体的に説明する。例えば、図１５に示すように、測定候補位置１０１ａ、１０１ｂ、１０１ｃの順序でランダムに選択された場合、統合領域ＲがＲ１、Ｒ２、Ｒ３と順次生成される。ここで統合領域Ｒ１は測定候補位置１０１ａの測定可能領域Ｐ１と等価であり、統合領域Ｒ２は統合領域Ｒ１に測定候補位置１０１ｂの測定可能領域Ｐ２を統合した領域であり、Ｒ３は統合領域Ｒ２に測定候補位置１０１ｃの測定可能領域Ｐ３を統合した領域である。
【0087】
以降同様に、測定候補位置１０１の選択および測定可能領域Ｐの統合（統合領域Ｒの拡張）を順次繰り返していき、統合領域Ｒが全ての検査部位８０（検査対象領域）を網羅（包含）した段階で測定候補位置１０１の選択を打ち切り、それまでに選択された測定候補位置１０１を測定位置１０として選定する。なお、選択した測定候補位置１０１の測定可能領域Ｐの全領域が、それまでに生成された統合領域Ｒに含まれる場合には、別の測定候補位置１０１を選択し直す。すなわち、既に測定された領域を重複して測定してしまうことがないように測定位置１０が選定される。
【0088】
また仮に、全ての測定候補位置１０１の測定可能領域Ｐを統合した統合領域Ｒが、全ての検査部位（検査対象領域）を網羅できなかった場合には、制御部６１は、面数を増やした多面体８１（方向分解能を上げた多面体８１）を生成し直し、ステップＳ１１～Ｓ１４の処理を再度実行する。
【0089】
図１６は、ステップＳ１４において選定された測定位置１０に紐づけて各種検査情報等を保持する測定検査テーブル１００を示す。測定検査テーブル１００には、測定順に整列された各測定位置１０（測定位置１０－１、１０－２、…）に紐づけて、各測定位置１０における検査部位８０、欠陥種類９１、欠陥仕様９２、照明条件９３、第１測定データ９４、第２測定データ９５、検査結果９６の情報が保持される。
【0090】
検査部位８０は、図７のステップＳ１において設定した検査部位８０のうち、各測定位置１０の測定可能領域Ｐに含まれる検査部位８０（各測定位置１０で測定・検査可能な検査部位）である。欠陥種類９１、欠陥仕様９２は、図７のステップＳ２において設定した検査部位８０に紐づく欠陥種類９１、欠陥仕様９２である。
【0091】
照明条件９３とは、測定時に、どの照明４４を点灯させるかの条件であり、例えば、欠陥種類９１の種類（「凸」「凹」「バリ」…）に応じて予め定められている。
【0092】
第１測定データ９４、第２測定データ９５には、測定実行後に測定データの保存先情報が記録される。検査結果９６には、検査実行後に検査結果の情報が記録される。
【0093】
【0094】
図１７は、検査装置１の動作の概要を示す。まず、図１７（ａ）のように、検査装置１は、把持用ロボットアーム３１の軌道を制御し、コンベア２１上の検査対象物７を把持（ピッキング）する。続いて、図１７（ｂ）のように、検査装置１は、把持用ロボットアーム３１と測定用ロボットアーム４１の軌道を制御し、検査対象物７を測定ポイントまで移動する。ここで、検査対象物７の検査部位を全て測定するため、検査装置１は、検査対象物７とカメラ４３の位置関係を変えながら、複数回測定を行う。また、図１７（ｃ）のように、検査装置１は、必要に応じて、把持用ロボットアーム３１ａ、３１ｂ間で検査対象物７の持ち替えを行う。検査終了後、図１７（ｄ）のように、検査装置１は、把持用ロボットアーム３１の軌道を制御し、コンベア５１上に検査対象物７をリリースする。
【0095】
図１８のフローチャートを参照して、検査装置１（制御装置６）の動作の詳細を説明する。
【0096】
まず、制御装置６の制御部６１（コンベア制御部１１）は、未検査の検査対象物７が載置されたコンベア２１を稼働制御し、ビジョンセンサ２２の下部まで検査対象物７を供給する（ステップＳ２１）。
【0097】
続いて、制御部６１（ワーク認識部１２）は、ビジョンセンサ２２により、ステップＳ２１において供給された検査対象物７の位置および姿勢を認識する（ステップＳ２２）。
【0098】
続いて、制御部６１（ロボット制御部１３）は、ステップＳ１２において認識した検査対象物７の位置および姿勢に基づいて、把持用ロボットアーム３１（３１ａまたは３１ｂ）を移動させ、ハンド部３１２で検査対象物７を把持させるように制御する（ステップＳ２３）。
【0099】
具体的には、まず、制御部６１（軌道生成部１４３）は、ステップＳ２２において認識した検査対象物７の位置および姿勢に基づいて、検査対象物７を把持可能なハンド部３１２の目標位置および目標姿勢を算出し、算出したハンド部３１２の目標位置および目標姿勢に基づいて、把持用ロボットアーム３１の軌道を生成する。
【0100】
そして、制御部６１（ロボット制御部１３）は、生成された軌道に基づいて、把持用ロボットアーム３１の軌道を制御するとともに、検査対象物７の予め決められた位置をハンド部３１２で把持させるように制御する。これにより、検査対象物７が把持用ロボットアーム３１によりピッキングされる。
【0101】
続いて、制御部６１（ロボット制御部１３）は、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を制御し、測定ポイントへ検査対象物７およびカメラ４３を位置決めする（ステップＳ２４）。
【0102】
具体的には、まず、制御部６１（軌道生成部１４３）は、検査対象物７に対するカメラ４３の相対的な位置が、測定検査テーブル１００（図１６参照）の測定位置１０（最初の測定では測定位置１０－１）となるように、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道計算を行い、軌道を生成する。
【0103】
ここで、測定位置１０は、検査対象物７に対するカメラ４３の相対的な位置でしかないため、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道が一意に定まらない。そのため、制御部６１（軌道生成部１４３）は、検査対象物７に対するカメラ４３の相対的な位置が測定位置１０となるような把持用ロボットアーム３１および測定用ロボットアーム４１の軌道の中から、所定の条件を満たす軌道を一意に決定する。所定の条件を満たす軌道とは、例えば、把持用ロボットアーム３１および測定用ロボットアーム４１の平均移動量が最小となる軌道、把持用ロボットアーム３１および測定用ロボットアーム４１の平均移動時間が最小となる軌道、などである。
【0104】
そして、制御部６１（ロボット制御部１３）は、生成された軌道に基づいて、把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を制御し、検査対象物７およびカメラ４３の位置決めを行う。
【0105】
続いて、制御部６１（測定部１５、検査部１６）は、検査対象物７の測定・検査を実行する（ステップＳ２５）。
【0106】
ここで、図１９のフローチャートを参照して、測定・検査の処理を説明する。
【0107】
まず、制御部６１（第１測定部１５１）は、２Ｄ光学系４２に測定指示を送り、検査対象物７の２次元画像データＤ１を測定する（ステップＳ４１）。具体的には、制御部６１は、測定検査テーブル１００を参照して、該当する測定位置１０で検査可能な検査部位８０について、欠陥種類９１ごとに測定を行う。この際、制御部６１は、各欠陥種類９１に応じて照明条件９３を切り替えてもよい。
【0108】
例えば、図１６を参照すると、測定位置１０－１における検査部位８０は「部位Ａ」であり、検査対象とする欠陥種類９１は「凸」欠陥および「凹」欠陥である。また、「凸」欠陥の検査に適した照明条件９３は「条件１」、「凹」欠陥の検査に適した照明条件９３は「条件２」である。したがって、制御部６１（第１測定部１５１）は、「部位Ａ」において「凸」欠陥の測定を行う場合、照明条件９３「条件１」に基づき照明４４を点灯したうえで、カメラ４３による測定を行う。また、「部位Ａ」において「凹」欠陥の測定を行う場合、照明条件９３「条件２」に基づき照明４４を点灯したうえで、カメラ４３による測定を行う。
【0109】
なお、欠陥種類９１に依らず、制御部６１（第１測定部）は、決められた照明４４を点灯（例えば全ての照明４４を点灯）して測定を行ってもよいし、照明４４の点灯を一つずつ切り替えながら測定を行ってもよい。後者の場合、照明角度が異なる照明数分の２次元画像が得られる。
【0110】
制御部６１（第１測定部１５１）は、測定された検査対象物７の２次元画像データＤ１（測定データ）を記憶部６２に保存し、測定検査テーブル１００の第１測定データ９４に保存先情報を記録する。
【0111】
続いて、制御部６１（第１検査部１６１）は、ステップＳ４１において測定された検査対象物７の２次元画像データＤ１を深層学習器７２に入力し、２次元画像データＤ１から欠陥候補７１を抽出する（ステップＳ４２）。
【0112】
図２０は、欠陥候補７１の抽出例を示す。図２０（ａ）は検査対象物７のカメラ４３による撮影画像であり、図２０（ｂ）は深層学習により得られる欠陥の度合いをコンターマップ（等高線図）で描画した画像（図２０（ａ）の撮影画像にコンターマップを重畳した画像）である。図２０（ｂ）に示すように、例えば、欠陥の度合いが所定の閾値を超える箇所が、欠陥候補７１（７１ａ、７１ｂ、７１ｃ）として抽出される。
【0113】
ステップＳ４２において欠陥候補７１が抽出されなかった場合には（ステップＳ４３；Ｎｏ）、制御部６１（第１検査部１６１）は、検査対象物７を「良」（欠陥なし）と判定し、検査結果を測定検査テーブル１００の検査結果９６欄に記録する（ステップＳ４６）。
【0114】
ステップＳ４２において欠陥候補７１が抽出された場合には（ステップＳ４３；Ｙｅｓ）、制御部６１（第２測定部１５２）は、３Ｄセンサ４５に測定指示を送り、検査対象物７の３次元形状データＤ２を測定し（ステップＳ４４）、測定された３次元形状データＤ２を記憶部６２に保存し、測定検査テーブル１００の第２測定データ９５に保存先情報を記録する。なお、３Ｄセンサ４５による測定を行う際、制御部６１は、把持用ロボットアーム３１または測定用ロボットアーム４１を制御し、検査対象物７に対する３Ｄセンサ４５の測定位置を調整してもよい。
【0115】
続いて、制御部６１（第２検査部１６２）は、ステップＳ４４において測定された検査対象物７の３次元形状データＤ２に基づいて、ステップＳ４２において抽出された欠陥候補７１の箇所の形状検査（寸法検査）を行い、良否を判定する。
【0116】
例えば、図１６の測定位置１０－１における２次元画像データＤ１から「凸」欠陥の欠陥候補７１が抽出されたとする。この場合、制御部６１（第２検査部１６２）は、３次元形状データＤ２から欠陥候補７１（「凸」欠陥）の形状を認識し、測定検査テーブル１００の欠陥仕様９２「φ３．０ｍｍ、高さ２．０ｍｍ」と照合することで、形状検査（寸法検査）を行う。例えば、制御部６１（第２検査部１６２）は、欠陥候補７１のφ（直径）が３．０ｍｍ以上、かつ、高さが２．０ｍｍ以上であると認識した場合、「否」（「凸」欠陥あり）と判定し、それ以外の場合は「良」（「凸」欠陥なし）と判定する。
【0117】
そして、制御部６１（第２検査部１６２）は、検査結果を測定検査テーブル１００の検査結果９６欄に記録する（ステップＳ４６）。
【0118】
図１８のフローチャートの説明に戻る。
全ての検査が終了していない場合（ステップＳ２６；Ｎｏ）、制御部６１は、次の測定・検査を行うにあたり、検査対象物７の把持用ロボットアーム３１ａ、３１ｂ間での持ち替えが必要か否かを判断する（ステップＳ２７）。
全ての検査が終了していない場合（ステップＳ２６；Ｎｏ）、制御部６１は、次の測定・検査を行うにあたり、検査対象物７の把持用ロボットアーム３１ａ、３１ｂ間での持ち替えが必要か否かを判断する（ステップＳ２７）。
【0119】
例えば、測定位置１０毎に、把持用ロボットアーム３１ａ、３１ｂのいずれで検査対象物７を把持するかのルールをあらかじめ定めておき、制御部６１は、このルールに基づいて、持ち替えが必要か否かを判断する。
【0120】
持ち替えが不要な場合、制御部６１は、ステップＳ２４へ戻り、次の測定ポイントへ把持用ロボットアーム３１および測定用ロボットアーム４１を移動させる。
【0121】
一方、持ち替えが必要な場合（ステップＳ２７；Ｙｅｓ）、制御部６１（ロボット制御部１３）は、検査対象物７を、把持用ロボットアーム３１ａのハンド部３１２ａと把持用ロボットアーム３１ｂのハンド部３１２ｂとの間で持ち替えるように制御する（ステップＳ２８）。
【0122】
例えば、検査対象物７を、把持用ロボットアーム３１ａのハンド部３１２ａから把持用ロボットアーム３１ｂのハンド部３１２ｂに持ち替えるとする。この場合、制御部６１は、まず、把持用ロボットアーム３１ａのハンド部３１２ａと把持用ロボットアーム３１ｂのハンド部３１２ｂがあらかじめ決められた持ち替え時の位置および姿勢となるように、把持用ロボットアーム３１ａと把持用ロボットアーム３１ｂの軌道を制御し、ハンド部３１２ａとハンド部３１２ｂを位置決めする。
【0123】
続いて、制御部６１は、検査対象物７の予め決められた位置をハンド部３１２ｂで把持させ、ハンド部３１２ｂによる把持後、ハンド部３１２ａの把持を解除する。これにより、ハンド部３１２ａ、３１２ｂ間での検査対象物７の持ち替えが行われる。
【0124】
そして検査対象物７の持ち替え後、ステップＳ２４へ戻り、制御部６１（ロボット制御部１３）は、持ち替え後の把持用ロボットアーム３１および測定用ロボットアーム４１を次の測定ポイントへ移動させ、検査対象物７およびカメラ４３の位置決めを行う。
【0125】
上記したステップ２４～ステップＳ２８の処理は、全ての検査が終了するまで（ステップＳ２６；Ｙｅｓ）、繰り返し実行される。
【0126】
検査対象物７の検査終了後、制御部６１（ロボット制御部１３）は、検査対象物７を把持している把持用ロボットアーム３１をコンベア５１上の把持解除位置まで移動させるとともに、ハンド部３１２を制御し、検査対象物７の把持状態を解除する（ステップＳ２９）。これにより、コンベア５１上に検査済みの検査対象物７がリリースされる。そして、制御部６１（コンベア制御部１１）は、検査済みの検査対象物７が載置されたコンベア５１を動作制御し、検査対象物７を排出する。
【0127】
最後に、制御部６１（データ表示部１７）は、検査対象物７の検査結果に関する情報をモニタ６７に表示する。例えば、制御部６１は、図２１に示すように、欠陥箇所を明示した撮影画像を表示する。また、制御部６１は、図２２に示すように、日ごとの不良品発生率の推移グラフを表示したり、図２３に示すように、製造工程パラメータから予測した不良発生率と実際の不良発生率との相関関係を示す相関解析結果などを表示してもよい。
【0128】
以上、図面を参照しながら、本実施形態について説明した。本実施形態の検査装置１は、検査対象物７を把持する把持用ロボットアーム３１と、カメラ４３が設けられた測定用ロボットアーム４１と、制御装置６と、を備える。特に、制御装置６は、検査対象物７の形状データ８に基づいて、検査対象物７に対するカメラ４３の測定位置１０を算出し、測定位置１０に基づいて把持用ロボットアーム３１および測定用ロボットアーム４１の軌道を生成する。そして、制御装置６は、生成した軌道に基づいて把持用ロボットアーム３１および測定用ロボットアーム４１の動作を制御し、検査対象物７およびカメラ４３の測定ポイントへの位置決めを行う。
【0129】
このように、検査対象物７の形状データ８（ＣＡＤデータ等）から算出された測定位置１０に基づいて、把持用ロボットアーム３１および測定用ロボットアームの軌道を自動生成することで、従来のように、プログラミングペンダント等による教示なしで検査対象物７の測定・検査を行うことができ、効率性の高い検査を実現することが可能となる。
【0130】
また、本実施形態によれば、全ての検査部位８０が測定されるように測定位置１０が算出される。具体的には、形状データ８を包含する多面体８１を生成し、多面体８１の各面８２の中心８３を通る面法線８４上に１以上の測定候補位置１０１を設定し、各測定候補位置１０１の測定可能領域Ｐに基づいて、全ての検査部位８０（検査対象領域）が測定され、かつ、測定数が最小となる測定位置１０を選定する。これにより、全ての検査部位８０を測定するための最適な測定位置１０が自動で決定される。
【0131】
また、本実施形態によれば、形状データ８の各検査部位８０に検査対象とする欠陥種類９１や欠陥仕様９２などの検査仕様９を紐づけて設定しておく。これにより、検査対象物７の良否判定を検査仕様９に基づいて効率的に行うことができる。
【0132】
また、本実施形態によれば、検査対象物７の測定・検査を２段階で実行する。すなわち、深層学習器７２を用いて２次元画像データＤ１から欠陥候補７１を抽出し（第１検査）、欠陥候補７１が抽出されなかった場合には、検査対象物を「良」（欠陥なし）と判定する。一方、欠陥候補７１が抽出された場合には、さらに３次元形状データＤ２に基づいて欠陥候補７１の箇所の形状検査（寸法検査）を行い（第２検査）、最終的な良否判定を行う。
【0133】
従来、あらかじめ抽出した欠陥の画像特徴量に基づいて欠陥を認識・分類するためのルールを作り込み、このルールに基づいて欠陥候補を抽出することが良く行われていた。しかし、このようなルールベースのアルゴリズムでは、欠陥の形態やアイテム、ワーク形状など、個々の条件ごとにパラメータや閾値の調整が必要となる。さらに、検査装置の立上調整時や運用後も、見逃しや過検出を低減するためにパラメータの調整作業を繰り返すなど、非常に多くの工数がかかる。また、判定精度は検査者の技量に依存し、アルゴリズムの作り込みにも限界があるため、複雑な検査対象物であるほど十分な判定精度が得られなかった。
【0134】
この点、本実施形態では、欠陥候補抽出に深層学習を適用することで、煩雑なパラメータ調整や閾値調整が不要となり、開発工数を大幅に削減できる。しかし、深層学習だけでは、欠陥の寸法、深さ、高さなどの数値データを得ることが難しく、また、内部の処理がブラックボックスであるため、深層学習により得られた結果について、技術的な根拠を示すことが難しいという問題がある。
【0135】
そのため、本実施形態では、深層学習により欠陥候補が抽出された場合、該欠陥候補についてさらに形状検査（寸法検査）を行い、最終的な良否判定を行う。形状検査（寸法検査）は、欠陥候補の寸法、深さ、高さなどの数値データに基づいて実施されるため、検査結果についての技術的な根拠が明確になる。なお、形状検査のみで検査を行うことも可能であるが、３Ｄセンサ４５による３次元形状測定は測定時間がかかるため、本実施形態では、１回目の測定・検査により２次元画像に基づく網羅的な検査を行い、２回目の測定・検査により３次元形状に基づく詳細な形状検査（寸法検査）を行う２段階の測定・検査方法を採用した。
【0136】
以上、添付図面を参照しながら、本開示に係る検査装置１等の好適な実施形態について説明したが、本開示はかかる例に限定されない。
【0137】
例えば、図２４に示すように、２Ｄ光学系４２および３Ｄセンサ４５は検査装置１Ａの検査台１９等に固定されてもよい。この場合、測定用ロボットアーム４１の軌道制御が不要となる。すなわち、図１８のステップＳ２３において、制御装置６の制御部６１（軌道生成部１４３）は、検査対象物７に対するカメラ４３の相対的な位置が、測定位置１０となるように、把持用ロボットアーム３１の軌道を生成する。そして、制御部６１（ロボット制御部１３）は、生成された軌道に基づいて、把持用ロボットアーム３１の軌道を制御し、検査対象物７の位置決めを行う。
【0138】
また、測定用ロボットアーム４１の先端部に、３Ｄスキャナおよびトラッキングマーカを搭載し、制御部６１が、トラッキングマーカの動作をトラッキングシステムで追跡することで、検査対象物７の立体形状を測定するように構成してもよい。
【0139】
その他当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【符号の説明】
【0140】
１ ：検査装置
２ ：供給機構
２Ｄ ：測定用ロボットアーム
３ ：把持機構
４ ：測定機構
５ ：排出機構
６ ：制御装置
７ ：検査対象物
８ ：形状データ
９ ：検査仕様
１０ ：測定位置
１１ ：コンベア制御部
１２ ：ワーク認識部
１３ ：ロボット制御部
１４ ：動作設定部
１５ ：測定部
１６ ：検査部
１７ ：データ表示部
２１ ：コンベア
３１ ：把持用ロボットアーム
３１ａ ：把持用ロボットアーム
３１ｂ ：把持用ロボットアーム
４１ ：測定用ロボットアーム
４２ ：２Ｄ光学系
４３ ：カメラ
４４ ：照明
４５ ：３Ｄセンサ
５１ ：コンベア
７１ ：欠陥候補
７２ ：深層学習器
８０ ：検査部位
８０ａ ：検査部位
８０ｂ ：検査部位
８１ ：幾何形状
８１ ：球面グリッド
８１ ：多面体
８２ ：面
８３ ：中心
８４ ：面法線
９１ ：欠陥種類
９２ ：欠陥仕様
９３ ：照明条件
９４ ：第１測定データ
９５ ：第２測定データ
９６ ：検査結果
１００ ：測定検査テーブル
１０１ ：測定候補位置
１０１ａ ：測定候補位置
１０１ｂ ：測定候補位置
１０１ｃ ：測定候補位置
１４０ ：検査部位設定部
１４１ ：検査仕様設定部
１４２ ：測定位置算出部
１４２ａ ：幾何生成部
１４２ｂ ：測定候補位置設定部
１４２ｃ ：測定可能領域算出部
１４２ｄ ：測定位置選定部
１４３ ：軌道生成部
１５１ ：第１測定部
１５２ ：第２測定部
１６１ ：第１検査部
１６２ ：第２検査部
３１１ ：アーム部
３１１ａ ：アーム部
３１１ｂ ：アーム部
３１２ ：ハンド部
３１２ａ ：ハンド部
３１２ｂ ：ハンド部
Ｄ１ ：２次元画像データ
Ｄ２ ：３次元形状データ
Ｐ ：測定可能領域
Ｐ１ ：測定可能領域
Ｐ２ ：測定可能領域
Ｐ３ ：測定可能領域
Ｒ ：統合領域
Ｒ１ ：統合領域
Ｒ２ ：統合領域
２ ：供給機構
２Ｄ ：測定用ロボットアーム
３ ：把持機構
４ ：測定機構
５ ：排出機構
６ ：制御装置
７ ：検査対象物
８ ：形状データ
９ ：検査仕様
１０ ：測定位置
１１ ：コンベア制御部
１２ ：ワーク認識部
１３ ：ロボット制御部
１４ ：動作設定部
１５ ：測定部
１６ ：検査部
１７ ：データ表示部
２１ ：コンベア
３１ ：把持用ロボットアーム
３１ａ ：把持用ロボットアーム
３１ｂ ：把持用ロボットアーム
４１ ：測定用ロボットアーム
４２ ：２Ｄ光学系
４３ ：カメラ
４４ ：照明
４５ ：３Ｄセンサ
５１ ：コンベア
７１ ：欠陥候補
７２ ：深層学習器
８０ ：検査部位
８０ａ ：検査部位
８０ｂ ：検査部位
８１ ：幾何形状
８１ ：球面グリッド
８１ ：多面体
８２ ：面
８３ ：中心
８４ ：面法線
９１ ：欠陥種類
９２ ：欠陥仕様
９３ ：照明条件
９４ ：第１測定データ
９５ ：第２測定データ
９６ ：検査結果
１００ ：測定検査テーブル
１０１ ：測定候補位置
１０１ａ ：測定候補位置
１０１ｂ ：測定候補位置
１０１ｃ ：測定候補位置
１４０ ：検査部位設定部
１４１ ：検査仕様設定部
１４２ ：測定位置算出部
１４２ａ ：幾何生成部
１４２ｂ ：測定候補位置設定部
１４２ｃ ：測定可能領域算出部
１４２ｄ ：測定位置選定部
１４３ ：軌道生成部
１５１ ：第１測定部
１５２ ：第２測定部
１６１ ：第１検査部
１６２ ：第２検査部
３１１ ：アーム部
３１１ａ ：アーム部
３１１ｂ ：アーム部
３１２ ：ハンド部
３１２ａ ：ハンド部
３１２ｂ ：ハンド部
Ｄ１ ：２次元画像データ
Ｄ２ ：３次元形状データ
Ｐ ：測定可能領域
Ｐ１ ：測定可能領域
Ｐ２ ：測定可能領域
Ｐ３ ：測定可能領域
Ｒ ：統合領域
Ｒ１ ：統合領域
Ｒ２ ：統合領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】