特開 2022-39888 検査システムおよび検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022039888

(43)【公開日】2022-03-10

(54)【発明の名称】検査システムおよび検査方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220303BHJP

   B25J 13/08 20060101ALI20220303BHJP

【ＦＩ】

G06T7/00 610

B25J13/08 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2020192673

(22)【出願日】2020-11-19

(31)【優先権主張番号】P 2020144273

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006220

【氏名又は名称】ミツミ電機株式会社

(74)【代理人】

【識別番号】100091627

【弁理士】

【氏名又は名称】朝比 一夫

(74)【代理人】

【識別番号】100173691

【弁理士】

【氏名又は名称】高橋 康久

(74)【代理人】

【識別番号】100091292

【弁理士】

【氏名又は名称】増田 達哉

(74)【代理人】

【識別番号】100137095

【弁理士】

【氏名又は名称】江部 武史

(72)【発明者】

【氏名】森本 一幸

(72)【発明者】

【氏名】図斉 賢治

(72)【発明者】

【氏名】福冨 健智

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707BS03

3C707DS01

3C707KS05

3C707KT01

3C707KT05

3C707KT11

3C707LT12

3C707LV19

3C707MT04

5L096BA03

5L096BA05

5L096CA02

5L096EA14

5L096EA43

5L096FA09

5L096FA25

5L096GA08

(57)【要約】

【課題】ワークに対する作業の成否を正確に判別することができる検査システムおよび検査方法を提供する。
【解決手段】検査システム１００は、ワーク３に対する作業を実行するためのロボット１と、カメラ２と、ロボット１およびカメラ２を制御するための制御装置４と、を含む。制御装置４は、ワーク３に対して作業を実行する前に、ワーク３の作業前画像を取得し、さらに、ワーク３に対して作業を実行した後、ワーク３の作業後画像を取得し、作業前画像内の複数の特徴点の位置と、作業後画像内の対応する複数の特徴点との位置がそれぞれ一致するよう、作業前画像および作業後画像の少なくとも一方に対して画像補正処理を実行し、作業前画像と作業後画像との差分を抽出することにより、差分画像を取得し、差分画像に基づいて、ワーク３に対する作業の成否を判別するよう構成されている。
【選択図】図１０

【特許請求の範囲】

【請求項1】

ワークに対する作業を実行するためのロボットと、
前記ワークを撮影可能に設けられたカメラと、
前記ロボットおよび前記カメラを制御するための制御装置と、を含み、
前記制御装置は、
前記ロボットを駆動して前記ワークに対して前記作業を実行する前に、前記カメラを駆動して前記ワークの作業前画像を取得し、さらに、前記ロボットを駆動して前記ワークに対して前記作業を実行した後に、前記カメラを駆動して前記ワークの作業後画像を取得し、
前記作業前画像内の複数の特徴点と、前記作業前画像内の前記複数の特徴点にそれぞれ対応する前記作業後画像内の複数の特徴点とを特定し、互いに対応付けられた前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得するための特徴点マッチングを実行し、
前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点の位置と、前記作業後画像内の対応する前記特徴点との位置がそれぞれ一致するよう、前記作業前画像および前記作業後画像の少なくとも一方に対して画像補正処理を実行し、
前記画像補正処理を実行した後に、前記作業前画像と前記作業後画像との差分を抽出することにより、差分画像を取得し、
前記差分画像に基づいて、前記ワークに対する前記作業の成否を判別する、よう構成されていることを特徴とする検査システム。

【請求項2】

前記作業前画像および前記作業後画像の少なくとも一方に対して実行される前記画像補正処理は、アフィン変換またはホモグラフィー変換である請求項１に記載の検査システム。

【請求項3】

前記制御装置は、前記差分画像を二値化し、前記二値化された差分画像の画素値の合計に基づいて、前記ワークに対する前記作業の成否を判別するよう構成されている請求項１または２に記載の検査システム。

【請求項4】

前記制御装置は、前記画像補正処理を実行した後、前記作業前画像および前記作業後画像のそれぞれの検査領域を切り出し、前記作業前画像の前記検査領域と前記作業後画像の前記検査領域との差分を抽出することにより、前記差分画像を取得するよう構成されている請求項１ないし３のいずれかに記載の検査システム。

【請求項5】

前記制御装置は、前記特徴点マッチングを実行した後、前記リストから、信頼性の低い特徴点ペアを除外するための除外処理を実行するよう構成されている請求項１ないし４のいずれかに記載の検査システム。

【請求項6】

前記除外処理は、前記リストに含まれる前記複数の特徴点ペアの前記作業前画像内の前記複数の特徴点同士の角度と、前記リストに含まれる前記複数の特徴点ペアの前記作業後画像内の前記複数の特徴点同士の角度との角度差に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する請求項５に記載の検査システム。

【請求項7】

前記除外処理は、前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点との間のユークリッド距離を算出し、さらに、前記算出された前記ユークリッド距離に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する請求項５または６に記載の検査システム。

【請求項8】

前記除外処理は、前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点との間の角度を算出し、さらに、前記算出された前記角度に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する請求項５ないし７のいずれかに記載の検査システム。

【請求項9】

前記ロボットは、前記ワークに対する前記作業を実行するための作業部と、前記ワークと前記作業部との相対位置を変化させるための可動部と、を備えており、
前記ワークに対する前記作業を実行するために前記ロボットの前記可動部によって前記ワークと前記作業部との前記相対位置を変化させた際に、前記カメラと前記ワークとの相対位置が変化する請求項１ないし８のいずれかに記載の検査システム。

【請求項10】

前記ロボットは、前記ワークを載置するためのワークテーブルをさらに備えており、
前記ワークテーブルの作業面をＸＹ平面としたとき、前記可動部は、Ｘ軸方向に移動可能なＸ軸可動部と、を含んでおり、
前記作業部および前記カメラは、前記Ｘ軸可動部によって前記Ｘ軸方向に移動可能に設けられている請求項９に記載の検査システム。

【請求項11】

前記可動部は、Ｚ軸方向に移動可能なＺ軸可動部をさらに含んでおり、
前記Ｚ軸可動部は、前記Ｘ軸可動部に取り付けられており、
前記作業部および前記カメラは、前記Ｚ軸可動部に取り付けられ、これにより、前記Ｘ軸方向および前記Ｚ軸方向に移動可能である請求項１０に記載の検査システム。

【請求項12】

ロボットによるワークに対する作業の成否を、カメラを用いて判別するための検査方法であって、
前記ロボットを駆動して前記ワークに対して前記作業を実行する前に、前記カメラを駆動して前記ワークの作業前画像を取得し、さらに、前記ロボットを駆動して前記ワークに対して前記作業を実行した後に、前記カメラを駆動して前記ワークの作業後画像を取得する工程と、
前記作業前画像内の複数の特徴点と、前記作業前画像内の前記複数の特徴点にそれぞれ対応する前記作業後画像内の複数の特徴点とを特定し、互いに対応付けられた前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得する特徴点マッチングを実行する工程と、
前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点の位置と、前記作業後画像内の対応する前記特徴点との位置がそれぞれ一致するよう、前記作業前画像および前記作業後画像の少なくとも一方に対して画像補正処理を実行する工程と、
前記作業前画像と前記作業後画像との差分を抽出することにより、差分画像を取得する工程と、
前記差分画像に基づいて、前記ワークに対する前記作業の成否を判別する工程と、を含むことを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、ロボットを用いたワークに対する作業の成否を判別するための検査システムおよび検査方法であって、より具体的には、カメラを用いて、ワークに対する作業を実行する前のワークの作業前画像と、ワークに対する作業を実行した後のワークの作業後画像と、を取得し、作業前画像と作業後画像との差分を抽出することにより取得された差分画像に基づいて、ロボットを用いたワークに対する作業の成否を判別するための検査システムおよび検査方法に関する。

【背景技術】

【0002】

近年、工場の生産ラインにおいて、作業の自動化・無人化を図るため、組立や加工用の産業用ロボットが広く用いられている。産業用ロボットは、工場の生産ラインにおいて、作業対象物（これを「ワーク」という）に対する所定の作業、例えば、部品の取り付け、液体材料の塗布や切削等の加工等を行う。このような産業用ロボットは、ロボットアームや可動ステージ等の可動部と、ワークに対する所定の作業を実行するための作業部（例えば、ピックアップハンド、ノズル）とを備えており、可動部によって作業部とワークとの相対位置を制御することにより、ワークに対する所定の作業を実現する。

【0003】

また、このような産業用ロボットを用いる場合、ワークに対する作業の成否を検査することが広く行われている。例えば、ワークの所定のワークポイントに対する部品の取り付け、液体材料の塗布、切削等が、位置ズレなく実行されたか否かが、ワークの画像に基づいて検査される。このような検査において、カメラを用いて、ワークに対する作業を実行する前のワークの作業前画像と、ワークに対する作業を実行した後のワークの作業後画像とを取得し、両画像の差分を抽出することにより差分画像を取得し、該差分画像に基づいてワークに対する作業の成否が判別される。差分画像を参照することにより、例えば、部品の取り付け位置や液体材料の塗布の面積（塗布量）等の実際に実行された作業に関する情報を取得することができる。このような実際に実行された作業に関する情報に基づいて、ワークに対する作業の成否を判別することができる。

【0004】

また、作業が正確に実行されたサンプルワークを撮影することにより事前に取得されたマスター画像と、検査対象のワークの作業後画像との差分を抽出することにより差分画像を取得し、該差分画像に基づいて、検査対象のワークに対する作業の成否を判別する技術も知られている。しかしながら、この場合、製造誤差や組立誤差等に起因するサンプルワークに対する検査対象のワークのサイズや形状の差のような、ワークに対する作業以外の要因に起因する差分も抽出される。そのため、ワークに対する作業の成否のみを精度良く判別したい場合には、ワークに対する作業に起因する差分のみが抽出される、ワークの作業前画像および作業後画像から取得された差分画像を用いることが好ましい。

【0005】

ワークの作業前画像および作業後画像から取得された差分画像を用いた検査は、産業用ロボットを用いたＦＡ分野において非常に有益であるが、差分画像を得る際、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置とが正確に一致していなければならない。特に、産業用ロボットを用いたＦＡ分野においては、ワークが非常に小型の精密部品であることが多く、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレの許容公差が非常に小さい。

【0006】

作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを小さくするため、ワークの作業後画像を取得する際に、産業用ロボットを制御することによって、ワークに対するカメラの相対位置を調整することが広く行われている。しかしながら、この場合、ワークに対するカメラの相対位置の位置補正の精度は、産業用ロボット自身の位置出し精度や制御分解能に依存するため、高い位置出し精度を期待することができない。例えば、許容公差は、μｍ以下の単位である場合が多いのに対し、産業用ロボット自身の位置出し精度や制御分解能は、数μｍ～数十μｍのレベルである場合が多い。この場合、産業用ロボットを制御しても、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを許容公差以下にすることは非常に困難である。また、ワークに対する作業中にワークの位置が変化し、ロボットの治具に対するワークの位置ズレが生じた場合には、産業用ロボットを制御したとしても、位置補正を実行することができない。

【0007】

このような問題に対し、２つの画像から差分画像を取得する際に、ブロックマッチング技術を用いて、２つの画像間の位置ズレを検出し、検出された位置ズレに基づいて、一方または双方の画像のＸＹ方向の位置補正を行う技術が知られている（特許文献１参照）。特許文献１が開示する技術では、２つの画像のそれぞれを複数のブロックに分割し、２つの画像の各ブロック中の対応する特徴点を特徴点マッチングにより特定することにより２つの画像の各ブロック中に対応する特徴点間の位置ズレ量を検出し、さらに、検出された対応する特徴点間の位置ズレ量に基づいて、一方または双方の画像のＸＹ方向の位置補正が実行される。このような特許文献１が開示する技術は、差分画像を取得するために比較される２つの画像を取得するためのカメラの被写体に対する姿勢や向きの違いによる、画像変形が発生していないことを前提としている。すなわち、特許文献１が開示する技術を用いた位置補正を用いるためには、２つの画像を取得するためのカメラの被写体に対する姿勢や向きが、一定であるという条件を満たす必要がある。

【0008】

図１には、被写体（図示の例ではカニ）に対するカメラの姿勢や向きを様々に変化させて、被写体を撮影した場合に得られるカメラ画像５００の変形の複数の例が示されている。図１に示されているように、カメラの姿勢や向きに応じて、カメラ画像５００の変形の状態は、変化する。例えば、図１に示されているように、長方形の被写体が、平行四辺形や台形になる変形が生じる。特許文献１が開示する技術は、このような被写体に対するカメラの姿勢や向きの違いに起因する画像変形の影響を考慮していない。そのため、差分画像を得るために比較される２つの画像の変形が互いに異なっている場合には、特許文献１が開示する技術を用いることができない。

【0009】

しかしながら、産業用ロボットを用いたＦＡ分野においては、ワークに対する作業を実行した際に、カメラの回転ズレやチルトズレが発生し、ワークに対するカメラの姿勢や向きが変化したり、ワークテーブル上でワークが位置ズレしたり、傾いたりするケースが存在する。このような場合、ワークの作業前画像および作業後画像の変形が互いに異なってしまう。そのため、特許文献１が開示するような２つの画像のＸＹ方向の位置補正を行う位置補正技術を、産業用ロボットを用いるＦＡ分野で用いたとしても、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを正確に補正することができず、ワークに対する作業の成否を正確に判別することができないという問題があった。

【0010】

また、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを正確に補正するためには、作業前画像内の複数の特徴点と、作業前画像内の複数の特徴点にそれぞれ対応する作業後画像内の特徴点とを、特徴点マッチングによって正確に特定する必要がある。特徴点マッチングの精度を高めるため、特許文献２は、比較される２つの画像のそれぞれに含まれる複数の特徴点間の距離や角度を含む特徴ベクトルを検出し、検出された特徴ベクトルを利用することにより、比較される２つの画像の対応する特徴点を正確に検出する技術を開示している。しかしながら、特許文献２が開示するような従来技術を用いたとしても、誤った特徴点マッチングが行われてしまうという問題があった。このような誤った特徴点マッチングは、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを正確に補正し、ワークに対する作業の成否を正確に判別することを困難にしてしまう。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１３－１８６５６２号公報

【特許文献2】特開２０１９－１０１９７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は、上記従来の問題点を鑑みたものであり、その目的は、ワークの作業前画像および作業後画像の変形が互いに異なっている場合であっても、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを正確に補正し、ワークに対する作業の成否を正確に判別することができる検査システムおよび検査方法を提供することにある。

【課題を解決するための手段】

【0013】

このような目的は、以下の（１）～（１２）の本発明により達成される。
（１）ワークに対する作業を実行するためのロボットと、
前記ワークを撮影可能に設けられたカメラと、
前記ロボットおよび前記カメラを制御するための制御装置と、を含み、
前記制御装置は、
前記ロボットを駆動して前記ワークに対して前記作業を実行する前に、前記カメラを駆動して前記ワークの作業前画像を取得し、さらに、前記ロボットを駆動して前記ワークに対して前記作業を実行した後に、前記カメラを駆動して前記ワークの作業後画像を取得し、
前記作業前画像内の複数の特徴点と、前記作業前画像内の前記複数の特徴点にそれぞれ対応する前記作業後画像内の複数の特徴点とを特定し、互いに対応付けられた前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得するための特徴点マッチングを実行し、
前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点の位置と、前記作業後画像内の対応する前記特徴点との位置がそれぞれ一致するよう、前記作業前画像および前記作業後画像の少なくとも一方に対して画像補正処理を実行し、
前記画像補正処理を実行した後に、前記作業前画像と前記作業後画像との差分を抽出することにより、差分画像を取得し、
前記差分画像に基づいて、前記ワークに対する前記作業の成否を判別する、よう構成されていることを特徴とする検査システム。

【0014】

（２）前記作業前画像および前記作業後画像の少なくとも一方に対して実行される前記画像補正処理は、アフィン変換またはホモグラフィー変換である上記（１）に記載の検査システム。

【0015】

（３）前記制御装置は、前記差分画像を二値化し、前記二値化された差分画像の画素値の合計に基づいて、前記ワークに対する前記作業の成否を判別するよう構成されている上記（１）または（２）に記載の検査システム。

【0016】

（４）前記制御装置は、前記画像補正処理を実行した後、前記作業前画像および前記作業後画像のそれぞれの検査領域を切り出し、前記作業前画像の前記検査領域と前記作業後画像の前記検査領域との差分を抽出することにより、前記差分画像を取得するよう構成されている上記（１）ないし（３）のいずれかに記載の検査システム。

【0017】

（５）前記制御装置は、前記特徴点マッチングを実行した後、前記リストから、信頼性の低い特徴点ペアを除外するための除外処理を実行するよう構成されている上記（１）ないし（４）のいずれかに記載の検査システム。

【0018】

（６）前記除外処理は、前記リストに含まれる前記複数の特徴点ペアの前記作業前画像内の前記複数の特徴点同士の角度と、前記リストに含まれる前記複数の特徴点ペアの前記作業後画像内の前記複数の特徴点同士の角度との角度差に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する上記（５）に記載の検査システム。

【0019】

（７）前記除外処理は、前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点との間のユークリッド距離を算出し、さらに、前記算出された前記ユークリッド距離に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する（５）または（６）に記載の検査システム。

【0020】

（８）前記除外処理は、前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点との間の角度を算出し、さらに、前記算出された前記角度に基づいて、前記信頼性の低い特徴点ペアを判別し、前記リストから前記信頼性の低い特徴点ペアを除外する上記（５）ないし（７）のいずれかに記載の検査システム。

【0021】

（９）前記ロボットは、前記ワークに対する前記作業を実行するための作業部と、前記ワークと前記作業部との相対位置を変化させるための可動部と、を備えており、
前記ワークに対する前記作業を実行するために前記ロボットの前記可動部によって前記ワークと前記作業部との前記相対位置を変化させた際に、前記カメラと前記ワークとの相対位置が変化する上記（１）ないし（８）のいずれかに記載の検査システム。

【0022】

（１０）前記ロボットは、前記ワークを載置するためのワークテーブルをさらに備えており、
前記ワークテーブルの作業面をＸＹ平面としたとき、前記可動部は、Ｘ軸方向に移動可能なＸ軸可動部と、を含んでおり、
前記作業部および前記カメラは、前記Ｘ軸可動部によって前記Ｘ軸方向に移動可能に設けられている上記（９）に記載の検査システム。

【0023】

（１１）前記可動部は、Ｚ軸方向に移動可能なＺ軸可動部をさらに含んでおり、
前記Ｚ軸可動部は、前記Ｘ軸可動部に取り付けられており、
前記作業部および前記カメラは、前記Ｚ軸可動部に取り付けられ、これにより、前記Ｘ軸方向および前記Ｚ軸方向に移動可能である上記（１０）に記載の検査システム。

【0024】

（１２）ロボットによるワークに対する作業の成否を、カメラを用いて判別するための検査方法であって、
前記ロボットを駆動して前記ワークに対して前記作業を実行する前に、前記カメラを駆動して前記ワークの作業前画像を取得し、さらに、前記ロボットを駆動して前記ワークに対して前記作業を実行した後に、前記カメラを駆動して前記ワークの作業後画像を取得する工程と、
前記作業前画像内の複数の特徴点と、前記作業前画像内の前記複数の特徴点にそれぞれ対応する前記作業後画像内の複数の特徴点とを特定し、互いに対応付けられた前記作業前画像内の前記特徴点と前記作業後画像内の前記特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得する特徴点マッチングを実行する工程と、
前記リストに含まれる前記複数の特徴点ペアのそれぞれの前記作業前画像内の前記特徴点の位置と、前記作業後画像内の対応する前記特徴点との位置がそれぞれ一致するよう、前記作業前画像および前記作業後画像の少なくとも一方に対して画像補正処理を実行する工程と、
前記作業前画像と前記作業後画像との差分を抽出することにより、差分画像を取得する工程と、
前記差分画像に基づいて、前記ワークに対する前記作業の成否を判別する工程と、を含むことを特徴とする検査方法。

【発明の効果】

【0025】

本発明によれば、ワークの作業前画像および作業後画像の変形が互いに異なっている場合であっても、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレを正確に補正し、ワークに対する作業の成否を正確に判別することができる。

【0026】

また、本発明においては、特徴点ペアのリストを取得するための特徴点マッチングが実行された後、取得された特徴点ペアのリストから信頼性の低い特徴点ペアを除外するための除外処理が実行される。そのため、作業前画像中におけるワークの各要素の位置と、作業後画像中におけるワークの対応する各要素の位置との間の位置ズレをより正確に補正し、ワークに対する作業の成否を正確に判別することができる。

【図面の簡単な説明】

【0027】

【図1】被写体に対するカメラの姿勢や向きに応じて変化するカメラ画像の変形を説明するための図である。

【図2】本発明の検査システムを概略的に示すブロック図である。

【図3】図２に示すロボット、カメラ、およびワークを示す斜視図である。

【図4】図３中のカメラの周辺領域の拡大図である。

【図5】ワークの作業前画像の一例を示す図である。

【図6】図２に示す制御装置を概略的に示すブロック図である。

【図7】特徴点ペアのリストから、信頼性の低い特徴点ペアを除外するための除外処理を説明するための図である。

【図8】特徴点ペアのリストから、信頼性の低い特徴点ペアを除外するための別の除外処理を説明するための図である。

【図9】作業前画像および作業後画像から差分画像を得るための処理を説明するための図である。

【図10】本発明の検査方法を示すフローチャートである。

【発明を実施するための形態】

【0028】

以下、本発明の検査システムおよび検査方法を、添付図面に示す好適な実施形態に基づいて、説明する。なお、以下で参照する各図は、本発明の説明のために用意された模式的な図である。図面に示された各構成要素の寸法（長さ、幅、厚さ等）は、必ずしも実際の寸法を反映したものではない。また、各図において、同一または対応する要素には、同じ参照番号が付されている。以下の説明において、各図のＺ軸の正方向を「上側」といい、Ｚ軸の負方向を「下側」ということがある。

【0029】

最初に、図２～図９を参照して、本発明の検査システムを詳述する。図２は、本発明の検査システムを概略的に示すブロック図である。図３は、図２に示すロボット、カメラ、およびワークを示す斜視図である。図４は、図３中のカメラの周辺領域の拡大図である。図５は、ワークの作業前画像の一例を示す図である。図６は、図２に示す制御装置を概略的に示すブロック図である。図７は、特徴点ペアのリストから、信頼性の低い特徴点ペアを除外するための除外処理を説明するための図である。図８は、特徴点ペアのリストから、信頼性の低い特徴点ペアを除外するための別の除外処理を説明するための図である。図９は、作業前画像および作業後画像から差分画像を得るための処理を説明するための図である。

【0030】

＜検査システム１００＞
図２に概略的に示されている検査システム１００は、ロボット１によって実行されるワーク３に対する作業の成否を判別するために用いられる。検査システム１００は、ロボット１と、カメラ２と、ロボット１のワークテーブル１１上に載置されたワーク３と、ロボット１およびカメラ２の制御を行うための制御装置４と、を含んでいる。

【0031】

ロボット１は、ワークテーブル１１上に載置されたワーク３に対して、部品の取り付け、塗布や切削等の加工等の所定の作業を行う機能を有している。典型的には、ロボット１は、ワーク３（例えば、回路基板や精密部品）に対して精密作業を行い、プロダクトまたは仕掛品を得るための産業用ロボットである。ロボット１は、ワークテーブル１１と、ワークテーブル１１上に載置されたワーク３に対する作業を実行するための作業部１２と、ワークテーブル１１上に載置されたワーク３と作業部１２との相対位置を変化させるための可動部１３と、を備えている。

【0032】

図３に示されているように、ワークテーブル１１は、平板状の部材であり、その上に作業部１２によって作業が施されるワーク３が載置される。作業部１２は、ワークテーブル１１上に載置されたワーク３に対して所定の作業を実行するために用いられる。ワーク３に対して実行すべき作業の内容に応じて、様々なツールを、作業部１２として用いることができる。例えば、ワーク３に対して熱硬化性樹脂等の接着剤の塗布を行う場合には、ノズルを作業部１２として用いることができ、ワーク３に対して部品の組み付けを行う場合には、ピックアップハンドを作業部１２として用いることができる。

【0033】

作業部１２は、図示しない配線によって制御装置４に接続されており、制御装置４からの制御に応じて、所定の動作を実行する。例えば、作業部１２がノズルである場合には、作業部１２は、制御装置４からの制御に応じて、ノズル内部に充填された液体材料（例えば、熱硬化性樹脂等の接着剤）をワーク３に対して塗布する動作を実行する。以下、作業部１２は、制御装置４からの制御に応じて、液体材料をワーク３の１つ以上のワークポイント３２（作業対象点、図５参照）に対して塗布するためのノズルであるとして説明を提供するが、上述のように作業部１２はノズルに限られない点に留意されたい。制御装置４からの制御に応じて、可動部１３が駆動され、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置が調整された後、制御装置４は、作業部１２に対して制御信号を送信し、作業部１２は、ワーク３に対して自身の内部に充填された液体材料を、ワーク３のワークポイント３２のいずれか１つに対して吐出する。

【0034】

可動部１３は、ロボット１の土台として機能するベース１３１と、ベース１３１の上方にベース１３１の上面とは離間して設けられたＸ軸可動部１３Ｘと、ベース１３１の上面上に設けられたＹ軸可動部１３Ｙと、Ｘ軸可動部１３Ｘに取り付けられたＺ軸可動部１３Ｚと、を備えている。

【0035】

Ｘ軸可動部１３Ｘは、図示しない配線によって制御装置４に接続されており、制御装置４からの制御に応じて、Ｘ軸ステージ１３３Ｘを、図３中のＸ軸方向に沿ってスライド移動させる機能を有している。Ｘ軸可動部１３Ｘは、ベース１３１のＸ軸方向の両端側にそれぞれ立設するよう設けられた一対の脚部１３１Ｘと、ベース１３１の上面から離間し、一対の脚部１３１Ｘの間を架橋するよう設けられ、図中のＸ軸に沿って延伸するＸ軸レール１３２Ｘと、Ｘ軸レール１３２Ｘ上をスライド移動可能に設けられた箱形のＸ軸ステージ１３３Ｘと、Ｘ軸ステージ１３３Ｘをスライド移動させるためのステッピングモーター等のＸ軸アクチュエーター（図示せず）と、を備えている。制御装置４からＸ軸アクチュエーターに制御信号が送信されると、Ｘ軸アクチュエーターが制御信号に応じて駆動し、Ｘ軸ステージ１３３Ｘを、Ｘ軸レール１３２Ｘ上でスライド移動させる。

【0036】

Ｙ軸可動部１３Ｙは、図示しない配線によって制御装置４に接続されており、制御装置４からの制御に応じて、Ｙ軸ステージ１３２Ｙを、図３中のＹ軸方向に沿ってスライド移動させる機能を有している。Ｙ軸可動部１３Ｙは、ベース１３１の上面上に設けられ、図中のＹ軸に沿って延伸するＹ軸レール１３１Ｙと、Ｙ軸レール１３１Ｙ上をスライド移動可能に設けられた平板状のＹ軸ステージ１３２Ｙと、Ｙ軸ステージ１３２Ｙをスライド移動させるためのステッピングモーター等のＹ軸アクチュエーター（図示せず）と、を備えている。制御装置４からＹ軸アクチュエーターに制御信号が送信されると、Ｙ軸アクチュエーターが制御信号に応じて駆動し、Ｙ軸ステージ１３２ＹをＹ軸レール１３１Ｙ上でスライド移動させる。また、図３に示されているように、ワークテーブル１１の面およびＹ軸ステージ１３２Ｙの面は、図中のＸＹ平面と一致している。また、ロボット１のワークテーブル１１が、Ｙ軸ステージ１３２Ｙ上に固定されている。

【0037】

Ｚ軸可動部１３Ｚは、図示しない配線によって制御装置４に接続されており、制御装置４からの制御に応じて、Ｚ軸ステージ１３１Ｚを、図３中のＺ軸方向に沿ってスライド移動させる機能を有している。Ｚ軸可動部１３Ｚは、Ｘ軸可動部１３ＸのＸ軸ステージ１３３Ｘ上に設けられた平板状のＺ軸ステージ１３１Ｚと、Ｚ軸ステージ１３１Ｚをスライド移動させるためのステッピングモーター等のＺ軸アクチュエーター（図示せず）と、を備えている。制御装置４からＺ軸アクチュエーターに制御信号が送信されると、Ｚ軸アクチュエーターが制御信号に応じて駆動し、Ｚ軸ステージ１３１ＺをＸ軸ステージ１３３Ｘ上で、Ｚ軸方向に沿ってスライド移動させる。また、図３に示されているように、Ｚ軸ステージ１３１Ｚの面方向は、図中のＸＺ平面と一致している。また、作業部１２およびカメラ２が、固定具によって、Ｚ軸ステージ１３１Ｚの面上に固定されている。

【0038】

このように図示の形態では、ワークテーブル１１は、Ｙ軸可動部１３ＹのＹ軸ステージ１３２Ｙ上に取り付けられている。一方、Ｚ軸可動部１３ＺのＺ軸ステージ１３１Ｚは、Ｘ軸可動部１３ＸのＸ軸ステージ１３３Ｘに取り付けられており、さらに、作業部１２およびカメラ２が、Ｚ軸ステージ１３１Ｚに取り付けられている。したがって、制御装置４は、可動部１３のＸ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚを駆動することにより、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置を変更することができる。なお、制御装置４によって、ロボット１のＸ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚが駆動されていない初期状態の作業部１２およびカメラ２の位置を初期位置という。

【0039】

カメラ２は、ワークテーブル１１の上方において、ワークテーブル１１上に載置されたワーク３を撮影可能に設けられた任意の撮像デバイスである。図３に示されているように、カメラ２は、可動部１３のＺ軸可動部１３ＺのＺ軸ステージ１３１Ｚに取り付けられている。カメラ２は、図示しない配線によって制御装置４に接続されており、作業部１２とワークテーブル１１を含むカメラ画像をリアルタイムで取得し、取得したカメラ画像を制御装置４に送信する。制御装置４は、カメラ２から送信されたカメラ画像を参照することにより、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置をリアルタイムで確認することができる。したがって、カメラ２は、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置を観察するための視覚センサーとして機能する。

【0040】

図４は、図３中のカメラ２の周辺領域の拡大図を示している。なお、図４中においてカメラ２の先端から下方に向けて放射状に延伸する点線は、カメラ２の視野を表現している。図４に示されているように、カメラ２は、カメラ２の視野内に常に、ワーク３に対する作業を実行する作業部１２の先端部１２１が位置するような向きおよび位置で、Ｚ軸ステージ１３１Ｚに取り付けられている。このように、カメラ２および作業部１２の双方がＺ軸ステージ１３１Ｚに取り付けられているため、カメラ２と作業部１２との相対位置は常に一定である。また、作業部１２の先端部１２１は、作業部１２がノズルである場合には、液滴を吐出するノズル先端であり、作業部１２がピックアップハンドである場合には、ワーク３を把持するハンド先端部である。

【0041】

このような構成により、ロボット１がワーク３に対する作業を実行する際にカメラ２によってリアルタイムで取得されるカメラ画像は、作業部１２の先端部１２１とワークテーブル１１上のワーク３を常に含んでいる。そのため、制御装置４は、カメラ画像を参照することにより、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置をリアルタイムで直接確認することができ、作業部１２とワークテーブル１１上に載置されたワーク３との相対位置の制御をより正確に実行することができる。

【0042】

また、後述するように、本発明の検査システム１００では、カメラ２は、ロボット１によるワーク３に対する作業が実行される前にワーク３を撮影することにより、ワーク３の作業前画像を取得し、さらに、ロボット１によるワーク３に対する作業が実行された後にワーク３を撮影することにより、ワーク３の作業後画像を取得するよう、制御装置４によって制御される。カメラ２によって取得されるワーク３の作業前画像および作業後画像は、ロボット１がワーク３に対する作業の成否を判別するための検査に利用される。

【0043】

なお、カメラ２は、可動部１３のＺ軸可動部１３ＺのＺ軸ステージ１３１Ｚに取り付けられているので、作業部１２によるワーク３に対する作業を実行するために、制御装置４が可動部１３のＸ軸可動部１３ＸおよびＺ軸可動部１３Ｚを駆動し、ワーク３と作業部１２との相対位置を変化させた際には、カメラ２とワーク３との相対位置も変化する。このように、本発明の検査システム１００において、ワークテーブル１１上に載置されたワーク３に対するカメラ２の姿勢および向きは一定ではない。そのため、ロボット１によるワーク３に対する作業を実行した後に、制御装置４がロボット１の可動部１３を駆動させ、作業部１２およびカメラ２を初期位置に戻したとしても、可動部１３の制御分解能や作業中におけるワーク３の作業中の位置ズレや傾き等の複数の要因によって、ワーク３に対するカメラ２の姿勢や向きは、作業部１２によるワーク３に対する作業を実行する前とは異なってしまう。そのため、ロボット１によるワーク３に対する作業が実行される前に取得されるワーク３の作業前画像の変形と、ロボット１によるワーク３に対する作業が実行された後に取得されるワーク３の作業後画像の変形とが異なっている。後述するように、本発明の検査システム１００は、このようなワーク３の作業前画像および作業後画像の変形が互いに異なっていたとしても、ワーク３の作業前画像および作業後画像の位置合わせを正確に実行することができるよう構成されている。

【0044】

図５は、ワーク３の作業前画像の一例を示している。図５に示されている例では、ワーク３は、ロボット１の作業部１２によって接着剤等の液体材料が塗布される精密部品である。ワーク３は、作業前画像と作業後画像との位置合わせのための画像補正処理を実行するための特徴点として利用可能な複数（図示の例では、４つ）の基準マーカー３１と、接着剤等の液体材料が塗布される１つ以上のワークポイント３２と、を含んでいる。

【0045】

複数の基準マーカー３１は、作業前画像と作業後画像との位置合わせを行うために作業前画像および作業後画像の少なくとも一方に対して実行される画像補正処理において、作業前画像と作業後画像との位置合わせのための特徴点として利用可能な部分である。図示の形態において、複数の基準マーカー３１のそれぞれは、カメラ２によって取得される作業前画像と作業後画像内において高いコントラストで表示されるよう、ワーク３の上面に形成された黒点である。後述するように、作業前画像と作業後画像との位置合わせのために実行される画像補正処理を実行するためには、作業前画像内の複数の特徴点と、作業後画像内の対応する複数の特徴点とを、特定する必要がある。作業前画像および作業後画像内の特徴点としては、典型的には、ワーク３のエッジ部分、特に四隅のエッジ部分が利用されるが、カメラ２の撮影条件等によっては、ワーク３のエッジ部分が作業前画像および作業後画像内に鮮明に表示されていない場合が発生し得る。このような場合、作業前画像と作業後画像内において高いコントラストで表示される複数の基準マーカー３１が、作業前画像および作業後画像内の特徴点として利用されることが好ましい。後述するように、本発明の検査システム１００においては、作業前画像内における複数の特徴点の位置と、作業後画像内における対応する複数の特徴点の位置とがそれぞれ一致するよう、作業前画像および作業後画像の少なくとも一方に対して画像補正処理が実行される。

【0046】

ワーク３の作業前画像および作業後画像の変形が互いに異なっている場合、従来技術の欄において述べたような、ワーク３の作業前画像および作業後画像の少なくとも一方に対するＸＹ方向の位置補正を行うと、作業前画像内における任意の１つの特徴点の位置と、作業後画像内における対応する１つの特徴点の位置とを一致させることができるが、作業前画像内におけるその他の複数の特徴点の位置と、作業後画像内における対応する複数の特徴点の位置とを一致させることはできない。本発明の検査システム１００においては、ワーク３の作業前画像および作業後画像の変形が互いに異なっていたとしても、作業前画像内における複数の特徴点の位置と、作業後画像内における対応する複数の特徴点の位置とがそれぞれ一致するよう、作業前画像および作業後画像の少なくとも一方に対して画像補正処理が実行される。

【0047】

１つ以上のワークポイント３２は、ロボット１の作業部１２による作業が実行されるべき箇所である。図示の例では、６つのワークポイント３２のそれぞれに、作業部１２によって、所定の量の液体材料が塗布される。ワークポイント３２の数と位置は事前に設定されており、制御装置４は、カメラ２によって取得されるカメラ画像を参照することにより、複数のワークポイント３２のそれぞれの位置を特定することができる。例えば、制御装置４は、既知のパターン認識アルゴリズム等の任意の対象認識技術を用いてカメラ画像内の任意の基準マーカー３１の位置を特定し、特定された基準マーカー３１と事前に設定された位置関係にある領域をワークポイント３２として特定することができる。

【0048】

図６には、制御装置４のブロック図が示されている。制御装置４は、ロボット１の各コンポーネント（具体的には、作業部１２および可動部１３）およびカメラ２に接続されている。制御装置４は、ロボット１の各コンポーネントおよびカメラ２を制御する機能を有している。制御装置４は、単体のデバイスとして実施されていてもよいし、デスクトップコンピューター、ラップトップコンピューター、ノートパソコン、ワークステーション、タブレット型コンピューター、携帯電話、スマートフォン、ＰＤＡ、ウェアラブル端末、サーバー等の任意の演算デバイス内において実施されていてもよい。

【0049】

図６に示されているように、制御装置４は、制御装置４の動作を実行するための１つ以上のプロセッサー４１と、制御装置４への入力および制御装置４からの出力を実行するためのＩ／Ｏ（インプット／アウトプット）インターフェース４２と、制御装置４の処理を実行するために用いられるデータ４４およびモジュール４５を保存している１つ以上のメモリー４３と、を備えている。

【0050】

１つ以上のプロセッサー４１は、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントロールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、プロセッサー４１は、メモリー４３内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、演算、信号操作および制御を実行するよう構成されている。

【0051】

Ｉ／Ｏインターフェース４２は、ウェブインターフェース、グラフィカルユーザーインターフェース（ＧＵＩ）等の様々なソフトウェアインターフェースおよびハードウェアインターフェースを含む。例えば、Ｉ／Ｏインターフェース４２は、キーボード、マウス、タッチパネルディスプレイ、外部メモリー、プリンター、ディスプレイのような周辺デバイスのためのインターフェースである。Ｉ／Ｏインターフェース４２は、キーボード、マウス、タッチパネルディスプレイのような入力デバイスを用いた制御装置４への入力およびディスプレイ、プリンター、外部メモリー等の外部デバイスへの制御装置４からの出力を可能とする。また、Ｉ／Ｏインターフェース４２は、制御装置４が、インターネット等のネットワークを介して、外部に設けられたウェブサーバーやデータサーバーのような任意の外部デバイスと通信を行うことを可能としてもよい。

【0052】

メモリー４３は、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、ソリッドステートドライブ、ＳＤカード、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含むコンピューター可読媒体である。

【0053】

メモリー４３は、プロセッサー４１と通信可能に接続されており、プロセッサー４１により実行可能な複数のモジュール４５、および、複数のモジュール４５による処理に必要なデータ４４を保存している。また、メモリー４３は、複数のモジュール４５の１つ以上によって受信、処理、生成されたデータや、複数のモジュール４５による処理を実行するために必要なデータを一時保存する機能を備えている。

【0054】

データ４４は、ワーク３の作業前画像および作業後画像のそれぞれから、ロボット１のワーク３に対する作業の成否を判別するために必要な検査領域を切り出すための検査領域情報４４１と、ワーク３の作業前画像と作業後画像との差分を抽出することにより得られた差分画像に基づいて、ワーク３に対する作業の成否を判別するために用いられる成否判別条件４４２と、制御装置４の処理を実行するために必要な任意の数のその他データ４４３と、を含んでいる。

【0055】

検査領域情報４４１は、ワーク３の作業前画像および作業後画像のそれぞれから切り取られる検査領域を特定するための情報である。具体的には、検査領域情報４４１は、検査領域の開始点座標（ｘ_１、ｙ_１）と、検査領域のｘ方向およびｙ方向の幅（ｘ＿ｌｅｎｇｔｈ、ｙ＿ｌｅｎｇｔｈ）または検査領域の終了点座標（ｘ_２、ｙ_２）を含む。制御装置４は、検査領域情報４４１に従って、ワーク３の作業前画像から、開始点座標（ｘ_１、ｙ_１）、ｘ方向およびｙ方向の幅（ｘ＿ｌｅｎｇｔｈ、ｙ＿ｌｅｎｇｔｈ）または終了点座標（ｘ_２、ｙ_２）から特定される領域を切り出し、作業前画像の検査領域を取得する。同様に、制御装置４は、検査領域情報４４１に従って、ワーク３の作業後画像から、開始点座標（ｘ_１、ｙ_１）、ｘ方向およびｙ方向の幅（ｘ＿ｌｅｎｇｔｈ、ｙ＿ｌｅｎｇｔｈ）または終了点座標（ｘ_２、ｙ_２）から特定される領域を切り出し、作業後画像の検査領域を取得する。

【0056】

検査領域情報４４１は、検査システム１００のユーザーまたは管理者によって、適宜設定可能である。例えば、検査システム１００のユーザーまたは管理者は、作業前画像および作業後画像の検査領域に、ワーク３の全てのワークポイント３２が含まれるように、検査領域情報４４１を設定してもよいし、作業前画像および作業後画像の検査領域に、ワーク３の任意の１つ以上のワークポイント３２が含まれるように、検査領域情報４４１を設定してもよい。作業前画像および作業後画像の検査領域に、ワーク３の複数のワークポイント３２が含まれる場合には、検査システム１００は、個々のワークポイント３２に対する作業が成功したか否かを個別には判別せず、検査領域に含まれる複数のワークポイント３２のそれぞれに対する作業が、全体として成功したか否かを判別する。一方、作業前画像および作業後画像の検査領域に、ワーク３の１つのワークポイント３２が含まれる場合には、検査システム１００は、該１つのワークポイント３２に対する作業が、成功したか否かを判別する。

【0057】

成否判別条件４４２は、作業前画像と作業後画像との差分を抽出することにより得られた差分画像に基づいて、ロボット１によるワーク３に対する作業の成否を判別するために用いられる条件である。後述するように、ロボット１によるワーク３に対する作業の成否を判別する際には、差分画像は二値化される。したがって、二値化された差分画像において、作業前画像と作業後画像との相違部分の画素値の値は、１（白色）となっており、作業前画像と作業後画像との共通部分の画素値の値は、０（黒色）となっている。したがって、二値化された差分画像の白色部分（画素値が１の部分）が、作業前画像と作業後画像との相違部分となる。

【0058】

ワーク３の１つ以上のワークポイント３２に対して液体材料の塗布や部品の取り付け等の作業を行う場合、検査領域情報４４１によって特定された検査領域内における作業前画像と作業後画像との相違部分の面積を、ロボット１によるワーク３に対する作業の成否を判断する際の基準として利用することができる。例えば、作業前画像と作業後画像との相違部分の面積が所定の下限しきい値より小さい場合、ワーク３のワークポイント３２に対して、液体材料が塗布されていない、液体材料の塗布量が少ない、または、部品が取り付けられていない等のエラーが発生している。一方、作業前画像と作業後画像との相違部分の面積が所定の上限しきい値より大きい場合、ワーク３のワークポイント３２に対して、液体材料が必要以上に塗布されている、または、異なった部品が取り付けられている等のエラーが発生している。

【0059】

作業前画像と作業後画像との相違部分の面積は、二値化された差分画像の画素値の合計（白色部分の合計画素数）に等しいので、二値化された差分画像の画素値の合計が、所定の下限しきい値と上限しきい値とによって規定される範囲内にあるか否かで、ロボット１によるワーク３に対する作業の成否を判別することができる。したがって、成否判別条件４４２は、二値化された差分画像の画素値の合計の下限しきい値および上限しきい値である。成否判別条件４４２は、ロボット１によるワーク３に対する作業の内容、検査領域の大きさ等に応じて、検査システム１００のユーザーまたは管理者によって適宜設定される。

【0060】

モジュール４５は、ルーティーン、アプリケーション、プログラム、アルゴリズム、ライブラリー、オブジェクト、コンポーネント、データ構造、またはこれらの組み合わせ等のプロセッサー４１により実行可能なコンピューター可読命令である。

【0061】

モジュール４５は、カメラ２を制御するためのカメラ制御モジュール４５１と、ロボット１を制御するためのロボット制御モジュール４５２と、ワーク３の作業前画像内の複数の特徴点と、ワーク３の作業前画像内の複数の特徴点にそれぞれ対応するワーク３の作業後画像内の複数の特徴点とを特定し、互いに対応付けられた作業前画像内の特徴点と作業後画像内の特徴点とからそれぞれ構成される複数の特徴点ペアのリストを取得するための特徴点マッチングを実行する特徴点マッチングモジュール４５３と、特徴点ペアのリストから信頼性の低い特徴点ペアを除外するための除外処理を実行する除外モジュール４５４と、ワーク３の作業前画像と作業後画像との位置合わせを行うために、ワーク３の作業前画像および作業後画像の少なくとも一方に対して画像補正処理を実行するための画像補正モジュール４５５と、画像補正処理を実行した後に、ワーク３の作業前画像と作業後画像との差分を抽出することにより、差分画像を取得するための差分画像作成モジュール４５６と、差分画像に基づいて、ロボット１によるワーク３に対する作業の成否を判別するための検査モジュール４５７と、制御装置４が提供する機能を補うための任意の数のその他モジュール４５８と、を含んでいる。

【0062】

カメラ制御モジュール４５１は、カメラ２を駆動し、カメラ画像を取得する機能を有している。カメラ制御モジュール４５１によって取得および補正されたカメラ画像は、メモリー４３内に一時的に保存され、制御装置４の各モジュールによって用いられる。特に、カメラ制御モジュール４５１は、ロボット１によるワーク３に対する作業を実行する前にワーク３を撮影することにより、ワーク３の作業前画像を取得し、さらに、ロボット１によるワーク３に対する作業を実行した後にワーク３を撮影することにより、ワーク３の作業後画像を取得するために、制御装置４によって用いられる。

【0063】

ロボット制御モジュール４５２は、ロボット１を制御する機能を有している。より具体的には、ロボット制御モジュール４５２は、ロボット１の可動部１３を駆動させ、ロボット１の作業部１２とワークテーブル１１上のワーク３との相対位置を変化させる機能と、作業部１２を駆動させ、ワーク３に対して所定の作業を実行する機能と、を有している。

【0064】

ロボット制御モジュール４５２は、可動部１３のＸ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚをそれぞれ独立に駆動させることができる。ロボット制御モジュール４５２は、カメラ２によって取得されるカメラ画像を参照し、ワーク３の複数のワークポイント３２のそれぞれの位置を特定する。その後、ロボット制御モジュール４５２は、ロボット１の作業部１２とワークテーブル１１上のワーク３の任意の１つのワークポイント３２との相対位置を変化させるために、可動部１３のＸ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚのそれぞれの駆動の目標量を決定し、Ｘ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚのそれぞれ用の出力値を決定する。その後、ロボット制御モジュール４５２は、可動部１３のＸ軸可動部１３ＸおよびＹ軸可動部１３Ｙに対して、決定した出力値を出力し、可動部１３のＸ軸可動部１３ＸおよびＹ軸可動部１３Ｙをそれぞれ独立に駆動させ、作業部１２とワーク３との相対位置を、ワーク３の１つのワークポイント３２に対する作業を実行するために適切な所定の状態とする。

【0065】

より具体的には、ロボット制御モジュール４５２は、最初に、Ｘ軸可動部１３ＸおよびＹ軸可動部１３Ｙを駆動し、作業部１２の先端部１２１とワーク３の１つのワークポイント３２との相対位置がアプローチ条件を満たすようにする。なお、ここでいう「アプローチ条件」とは、作業部１２の先端部１２１とワーク３の１つのワークポイント３２とのＸＹ平面上での相対位置が、ロボット制御モジュール４５２がＺ軸可動部１３Ｚを駆動し、作業部１２の先端部１２１をワーク３の１つのワークポイント３２に向かってアプローチさせるために適した条件にあるか否かを判断するための条件である。例えば、アプローチ条件は、カメラ２が取得したカメラ画像内における作業部１２の先端部１２１とワーク３の１つのワークポイント３２との離間距離、ワーク３の１つのワークポイント３２に対する作業部１２の先端部１２１の角度等である。アプローチ条件は、作業部１２の形状、作業部１２が行う作業の種類、ワーク３の形状、大きさ等に応じて事前に設定されている。このように、ロボット制御モジュール４５２は、Ｘ軸可動部１３ＸおよびＹ軸可動部１３Ｙを駆動し、作業部１２の先端部１２１とワーク３の１つのワークポイント３２との相対位置がアプローチ条件を満たすようにする。

【0066】

その後、ロボット制御モジュール４５２は、Ｚ軸可動部１３Ｚを駆動し、作業部１２の先端部１２１をワーク３の１つのワークポイント３２に対してアプローチさせ、作業部１２の先端部１２１を、ワーク３の１つのワークポイント３２に接触または近接させる。その後、ロボット制御モジュール４５２は、作業部１２を駆動し、ワーク３の１つのワークポイント３２に対して所定の作業を行う。ワーク３の１つのワークポイント３２に対する所定の作業が終了した後、ロボット制御モジュール４５２は、ワーク３の別のワークポイント３２に対する作業を実行するために、可動部１３および作業部１２を駆動する。ロボット１によるワーク３の全てのワークポイント３２に対する作業が終了すると、ロボット制御モジュール４５２によって、作業部１２が初期位置に戻される。この際、ロボット１の可動部１３のＺ軸可動部１３Ｚに取り付けられているカメラ２も、初期位置に戻される。この状態において、カメラ制御モジュール４５１がカメラ２を駆動し、ワーク３の作業後画像を取得する。

【0067】

特徴点マッチングモジュール４５３は、ワーク３の作業前画像内の複数の特徴点と、ワーク３の作業前画像内の複数の特徴点にそれぞれ対応するワーク３の作業後画像内の複数の特徴点とを特定し、互いに対応付けられた作業前画像内の特徴点と作業後画像内の特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得するための特徴点マッチングを実行する機能を有している。ここでいう、特徴点ペアとは、作業前画像内の任意の１つの特徴点と、これに対応する作業後画像内の特徴点とから構成されるペアである。特徴点マッチングモジュール４５３は、特徴点マッチングの分野において既知の任意の特徴点マッチングアルゴリズム、例えば、ＳＩＦＴ、ＳＵＲＦ、ＡＫＡＺＥ、ＯＲＢ等を用いて、ワーク３の作業前画像内の複数の特徴点と、ワーク３の作業前画像内の複数の特徴点にそれぞれ対応するワーク３の作業後画像内の複数の特徴点とを特定し、複数の特徴点ペアのリストを取得することができる。

【0068】

典型的には、特徴点マッチングモジュール４５３は、最初に、キャニーエッジ検出（Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）等の任意のエッジ抽出方法を用いて、ワーク３の作業前画像内の複数の特徴点と、ワーク３の作業後画像内の複数の特徴点とを検出する。この際、作業前画像および作業後画像のそれぞれ内のワーク３の四隅のエッジ部および複数の基準マーカー３１が、特徴点として検出されることが好ましい。その後、特徴点マッチングモジュール４５３は、作業前画像内の任意の特徴点と、作業後画像内の全ての特徴点のそれぞれとの類似度の算出を行い、最も高い類似度を有する作業後画像内の特徴点を、作業前画像内の任意の特徴点に対応する作業後画像内の特徴点であると特定する。次に、特徴点マッチングモジュール４５３は、作業前画像内の任意の特徴点と、特定された作業後画像内の対応する特徴点とを対応付けて、１組の特徴点ペアを構成する。この特徴点ペアの構成を、作業前画像内の全ての特徴点に対して実行し、特徴点ペアの第１の仮リストを取得する。このような特徴点ペアのリストの取得は、特徴点マッチングの分野において、総当たりマッチング（Ｂｒｕｔｅ Ｆｏｒｃｅ Ｍａｔｃｈｉｎｇ）と称され、ハミング距離等の既知の方法で算出される任意の類似度を利用して実行される。

【0069】

次に、特徴点マッチングモジュール４５３は、作業前画像内の全ての特徴点に対して実行した前述の総当たりマッチングを、作業後画像内の全ての特徴点に対して実行し、複数の特徴点ペアの第２の仮リストを取得する。その後、特徴点マッチングモジュール４５３は、特徴点ペアの第１の仮リストと、特徴点ペアの第２の仮リストとを比較し（このような比較は、特徴点マッチングの分野において、「クロスチェック」と称される）、複数の特徴点ペアの第１の仮リストと、複数の特徴点ペアの第２の仮リストとで一致する特徴点ペアのみで、複数の特徴点ペアのリストを作成する。特徴点マッチングモジュール４５３によって取得された複数の特徴点ペアのリストは、メモリー４３内に一時保存される。

【0070】

除外モジュール４５４は、特徴点マッチングモジュール４５３によって取得された複数の特徴点ペアのリストから、信頼性の低い特徴点ペアを除外するための除外処理を実行する機能を有している。除外モジュール４５４によって実行される除外処理は、（１）特徴点ペアのリストに含まれる複数の特徴点ペアの作業前画像内の複数の特徴点同士の角度と、特徴点ペアのリストに含まれる複数の特徴点ペアの作業後画像内の複数の特徴点同士の角度との角度差に基づいて、信頼性の低い特徴点ペアを判別し、特徴点ペアのリストから信頼性の低い特徴点ペアを除外する第１の除外処理と、（２）特徴点ペアのリストに含まれる複数の特徴点ペアのそれぞれの作業前画像内の特徴点と作業後画像内の特徴点との間のユークリッド距離を算出し、さらに、算出されたユークリッド距離に基づいて、信頼性の低い特徴点ペアを判別し、特徴点ペアのリストから信頼性の低い特徴点ペアを除外する第２の除外処理と、（３）特徴点ペアのリストに含まれる複数の特徴点ペアのそれぞれの作業前画像内の特徴点と作業後画像内の特徴点との間の角度を算出し、さらに、算出された角度に基づいて、信頼性の低い特徴点ペアを判別し、特徴点ペアのリストから信頼性の低い特徴点ペアを除外する第３の除外処理と、を含む。

【0071】

図７は、第１の除外処理を説明するための図である。図８は、第２の除外処理および第３の除外処理を説明するための図である。なお、図７および図８中においては、図の見易さのため、作業前画像および作業後画像のそれぞれ内にＭ字状の被写体が含まれているものとする。検査システム１００を実際に運用する際には、作業前画像および作業後画像のそれぞれ内にワーク３が含まれる点に注意されたい。図７に示されているような作業前画像および作業後画像に対して、特徴点マッチングモジュール４５３による特徴点マッチングが実行されると、例えば、図７および図８中において丸印でマークされているような複数の特徴点ＦＰが検出される。図７および図８中において、特徴点ＦＰ_１ｎは、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストに含まれる第ｎ番目の特徴点ペアを構成する作業前画像内の特徴点を表し、特徴点ＦＰ_２ｎは、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストに含まれる第ｎ番目の特徴点ペアを構成する作業後画像内の特徴点を表す。したがって、特徴点ペアのリストに含まれる第ｎ番目の特徴点ペアは、互いに対応付けられた作業前画像内の特徴点ＦＰ_１ｎおよび作業後画像内の特徴点ＦＰ_２ｎから構成される。

【0072】

最初に、図７を参照して、第１の除外処理を詳述する。第１の除外処理において、作業前画像内の各特徴点ＦＰ_１ｎの他の特徴点ＦＰ_１ｍのそれぞれに対する角度θ_１ｎｍが下記式（１）によって算出され、各特徴点ＦＰ_１ｎの他の特徴点ＦＰ_１ｍに対する角度の集合Θ_１ｎ＝（θ_１ｎ０，θ_１ｎ１，θ_１ｎ２，．．．，θ_{１ｎｍ－１}，θ_１ｎｍ）が取得される。

【0073】

【数1】

ここで、ｎおよびｍは、０以上の整数（ｎ≠ｍ）であり、ｘ_１ｎおよびｙ_１ｎは、第ｎ番目の特徴点ペアの特徴点ＦＰ_１ｎの作業前画像内におけるｘ座標およびｙ座標であり、ｘ_１ｍおよびｙ_１ｍは、第ｍ番目の特徴点ペアの特徴点ＦＰ_１ｍの作業前画像内におけるｘ座標およびｙ座標であり、θ_１ｎｍは、第ｎ番目の特徴点ペアの特徴点ＦＰ_１ｎの第ｍ番目の特徴点ペアの特徴点ＦＰ_１ｍに対する角度である。

【0074】

次に、作業後画像内の各特徴点ＦＰ_２ｎの他の特徴点ＦＰ_２ｍのそれぞれに対する角度θ_２ｎｍが下記式（２）によって算出され、各特徴点ＦＰ_２ｎの他の特徴点ＦＰ_２ｍに対する角度の集合Θ_２ｎ＝（θ_２ｎ０，θ_２ｎ１，θ_２ｎ２，．．．，θ_{２ｎｍ－１}，θ_２ｎｍ）が取得される。

【0075】

【数2】

ここで、ｎおよびｍは、０以上の整数（ｎ≠ｍ）であり、ｘ_２ｍおよびｙ_２ｍは、特徴点ペアのリストに含まれる第ｍ番目の特徴点ペアの特徴点ＦＰ_２ｍの作業後画像内におけるｘ座標およびｙ座標であり、ｘ_２ｎおよびｙ_２ｎは、特徴点ペアのリストに含まれる第ｎ番目の特徴点ペアの特徴点ＦＰ_２ｎの作業後画像内におけるｘ座標およびｙ座標であり、θ_２ｎｍは、第ｎ番目の特徴点ペアの特徴点ＦＰ_２ｎの第ｍ番目の特徴点ペアの特徴点ＦＰ_２ｍに対する角度である。

【0076】

次に、下記式（３）にしたがって、複数の特徴点ペアの作業前画像内の複数の特徴点ＦＰ_１ｎ同士の角度θ_１ｎｍと、複数の特徴点ペアの作業前画像内の複数の特徴点ＦＰ_１ｎ同士の角度θ_２ｎｍとの角度差Δθ_ｎｍが計算され、特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎ＝（Δθ_ｎ０，Δθ_ｎ１，．．．，Δθ_{ｎｍ－１，}Δθ_ｎｍ）と、全ての特徴点ペアの角度差Δθ_ｎｍを含む集合ΔΘ＝（ΔΘ_０，ΔΘ_１，．．．，ΔΘ_ｎ－１，ΔΘ_ｎ）が取得される。

【0077】

【数3】

ここで、Δθ_ｎｍは、作業前画像内の第ｎ番目の特徴点ペアの特徴点ＦＰ_１ｎの作業前画像内の第ｍ番目の特徴点ペアの特徴点ＦＰ_１ｍに対する角度と、作業後画像内の第ｎ番目の特徴点ペアの特徴点ＦＰ_２ｎの作業後画像内の第ｍ番目の特徴点ＦＰ_２ｍに対する角度との角度差である。

【0078】

次に、各特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎ＝（Δθ_ｎ０，Δθ_ｎ１，．．．，Δθ_{ｎｍ－１，}Δθ_ｎｍ）の第一四分位数（２５パーセンタイル）、第三四分位数（７５パーセンタイル）、および第三四分位数から第一四分位数を引いた四分位範囲（＝第三四分位数－第一四分位数）が算出され、メモリー４３内に一時的に保存される。次に、各特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎから、自身の第一四分位数、第三四分位数、および四分位範囲から算出された（第一四分位数－１．５×四分位範囲）未満の角度差Δθ_ｎｍと、（第一四分位数＋１．５×四分位範囲）を超える角度差Δθ_ｎｍを、外れ値として除外する。次に、外れ値が除外された各特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎの中央値（５０パーセンタイル）が算出され、特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎのそれぞれ（ΔΘ_０，ΔΘ_１，．．．，ΔΘ_ｎ－１，ΔΘ_ｎのそれぞれ）の中央値がメモリー４３内に一時保存される。以下、外れ値が除外された各特徴点ペアの角度差Δθ_ｎｍの集合ΔΘ_ｎの中央値を、各特徴点ペアの角度差Δθ_ｎｍの中央値という。

【0079】

次に、集合ΔΘを構成する全ての特徴点ペアの角度差Δθ_ｎｍの第一四分位数、第三四分位数、および第三四分位数から第一四分位数を引いた四分位範囲が算出され、メモリー４３内に一時的に保存される。その後、集合ΔΘから、（第一四分位数－１．５×四分位範囲）未満の角度差Δθ_ｎｍと、（第一四分位数＋１．５×四分位範囲）を超える角度差Δθ_ｎｍを、外れ値として除外する。次に、外れ値が除外された集合ΔΘを構成する全ての特徴点ペアの角度差Δθ_ｎｍの中央値および標準偏差σ_θが算出され、メモリー４３内に一時保存される。以下、外れ値が除外された集合ΔΘを構成する全ての特徴点ペアの角度差Δθ_ｎｍの中央値および標準偏差σ_θを、それぞれ、全ての特徴点ペアの角度差Δθ_ｎｍの中央値および標準偏差σ_θという。

【0080】

作業前画像内の特徴点ＦＰ_１ｎと作業後画像内の特徴点ＦＰ_２ｎのマッチングが正しくなされている場合、作業前画像と作業後画像の変形が互いに異なっていたとしても、作業前画像内の特徴点ＦＰ_１ｎの他の特徴点ＦＰ_１ｍに対する角度と、作業後画像内の特徴点ＦＰ_２ｎの他の特徴点ＦＰ_２ｍに対する角度との角度差Δθ_ｎｍは、ある一定の値から大きく変化しない。したがって、第ｎ番目の特徴点ペアの角度差Δθ_ｎｍの中央値が、全ての特徴点ペアの角度差Δθ_ｎｍの中央値と大きく異なっている場合、第ｎ番目の特徴点ペアが、誤ったマッチング結果によって得られたものである可能性が高く、信頼性の低い特徴点ペアであると判断することができる。例えば、第１番目の特徴点ペアの角度差Δθ_１ｍの中央値が、全ての特徴点ペアの角度差Δθ_ｎｍの中央値と大きく異なっている場合、第１番目の特徴点ペアが、信頼性の低い特徴点ペアであると判断することができる。したがって、各特徴点ペアの角度差Δθ_ｎｍの中央値と、全ての特徴点ペアの角度差Δθ_ｎｍの中央値とを比較することにより、信頼性の低いマッチングペアを判別することができる。

【0081】

第１の除外処理は、各特徴点ペアの角度差Δθ_ｎｍの中央値と、全ての特徴点ペアの角度差Δθ_ｎｍの中央値とを比較することにより、信頼性の低いマッチングペアを判別する。具体的には、各特徴点ペアの角度差Δθ_ｎｍの中央値が、全ての特徴点ペアの角度差Δθ_ｎｍの中央値±Ｎσ_θ（ここで、Ｎは、１以上の整数であり、必要に応じて適宜設定される。）の範囲内にあるか否かが判別される。角度差Δθ_ｎｍの中央値が該範囲外である特徴点ペアが、信頼性の低い特徴点ペアであるとして、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから除外される。このようにして、第１の除外処理は、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから、信頼性の低い特徴点ペアを除外する。

【0082】

次に、図８を参照して、第２の除外処理を詳述する。第２の除外処理において、各特徴点ペアを構成する作業前画像内の特徴点ＦＰ_１ｎと作業後画像内の特徴点ＦＰ_２ｎとの間のユークリッド距離ｄ_ｎが、下記式（４）によって算出され、ユークリッド距離ｄ_ｎの集合Ｄ＝（ｄ_０，ｄ_１，．．．，ｄ_ｎ－１，ｄ_ｎ）が取得され、メモリー４３内に一時保存される。

【0083】

【数4】

ここで、αおよびβは、同一平面状において作業前画像と作業後画像が重ならないようにするために、作業後画像内の特徴点ＦＰ_２ｎのｘ座標およびｙ座標にそれぞれ加算される任意の定数である。また、ｄ_ｎは、特徴点ペアを構成する互いに対応付けられた特徴点同士のユークリッド距離である。例えば、ユークリッド距離ｄ_１は、第１番目の特徴点ペアの作業前画像内の特徴点ＦＰ_１１と作業後画像内の特徴点ＦＰ_２１との間のユークリッド距離である。

【0084】

次に、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄから、特徴点ペアのユークリッド距離ｄ_ｎの第一四分位数、第三四分位数、および第三四分位数から第一四分位数を引いた四分位範囲が算出され、メモリー４３内に一時的に保存される。次に、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄから、（第一四分位数－１．５×四分位範囲）未満のユークリッド距離ｄ_ｎと、（第一四分位数＋１．５×四分位範囲）を超えるユークリッド距離ｄ_ｎを、外れ値として除外する。次に、外れ値が除外された特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄの中央値および標準偏差σ_ｄが算出され、メモリー４３内に一時保存される。

【0085】

作業前画像内の特徴点ＦＰ_１ｎと作業後画像内の特徴点ＦＰ_２ｎのマッチングが正しくなされている場合、作業前画像と作業後画像の変形が互いに異なっていたとしても、作業前画像内の特徴点ＦＰ_１ｎと、作業後画像内の特徴点ＦＰ_２ｎとの間のユークリッド距離ｄ_ｎは、ある一定の値から大きく変化しない。したがって、特徴点ペアのユークリッド距離ｄ_ｎが、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄの中央値と大きく異なっている場合、そのような特徴点ペアは、誤ったマッチング結果によって得られたものである可能性が高く、信頼性の低い特徴点ペアであると判断することができる。したがって、各特徴点ペアのユークリッド距離ｄ_ｎと、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄの中央値とを比較することにより、信頼性の低いマッチングペアを判別することができる。

【0086】

第２の除外処理は、各特徴点ペアのユークリッド距離ｄ_ｎと、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄの中央値とを比較することにより、信頼性の低いマッチングペアを判別している。具体的には、各特徴点ペアのユークリッド距離ｄ_ｎが、特徴点ペアのユークリッド距離ｄ_ｎの集合Ｄの中央値±Ｎσ_ｄ（ここで、Ｎは、１以上の整数であり、必要に応じて適宜設定される。）の範囲内にあるか否かが判別される。該範囲外のユークリッド距離ｄ_ｎを有する特徴点ペアが、信頼性の低い特徴点ペアであるとして、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから除外される。このようにして、第２の除外処理は、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから、信頼性の低い特徴点ペアを除外する。

【0087】

次に、第３の除外処理を詳述する。第３の除外処理において、各特徴点ペアを構成する作業前画像内の特徴点ＦＰ_１ｎと作業後画像内の特徴点ＦＰ_２ｎとの間の角度φ_ｎが、下記式（５）によって算出され、ユークリッド距離φ_ｎの集合Φ＝（φ_０，φ_１，．．．，φ_ｎ－１，φ_ｎ）が取得され、メモリー４３内に一時保存される。

【0088】

【数5】

ここで、φ_ｎは、特徴点ペアを構成する互いに対応付けられた特徴点同士の角度である。例えば、角度φ_１は、第１番目の特徴点ペアの作業前画像内の特徴点ＦＰ_１１と作業後画像内の特徴点ＦＰ_２１との間の角度である。

【0089】

次に、特徴点ペアの角度φ_ｎの集合Φから、特徴点ペアの角度φ_ｎの第一四分位数、第三四分位数、および第三四分位数から第一四分位数を引いた四分位範囲が算出され、メモリー４３内に一時的に保存される。次に、特徴点ペアの角度φ_ｎの集合Φから、（第一四分位数－１．５×四分位範囲）未満の角度φ_ｎと、（第一四分位数＋１．５×四分位範囲）を超える角度φ_ｎを、外れ値として除外する。次に、外れ値が除外された特徴点ペアの角度φ_ｎの集合Φの中央値および標準偏差σ_φが算出され、メモリー４３内に一時保存される。

【0090】

作業前画像内の特徴点ＦＰ_１ｎと作業後画像内の特徴点ＦＰ_２ｎのマッチングが正しくなされている場合、作業前画像と作業後画像の変形が互いに異なっていたとしても、作業前画像内の特徴点ＦＰ_１ｎと、作業後画像内の特徴点ＦＰ_２ｎとの間の角度φ_ｎは、ある一定の値から大きく変化しない。したがって、特徴点ペアの角度φ_ｎが、特徴点ペアの角度φ_ｎの集合Φの中央値と大きく異なっている場合、そのような特徴点ペアは、誤ったマッチング結果によって得られたものである可能性が高く、信頼性の低い特徴点ペアであると判断することができる。したがって、各特徴点ペアの角度φ_ｎと、特徴点ペアの角度φ_ｎの集合Φの中央値とを比較することにより、信頼性の低いマッチングペアを判別することができる。

【0091】

第３の除外処理では、各特徴点ペアの角度φ_ｎと、特徴点ペアの角度φ_ｎの集合Φの中央値とを比較することにより、信頼性の低いマッチングペアを判別している。具体的には、各特徴点ペアの角度φ_ｎが、特徴点ペアの角度φ_ｎの集合Φの中央値±Ｎσ_φ（ここで、Ｎは、１以上の整数であり、必要に応じて適宜設定される。）の範囲内にあるか否かが判別される。該範囲外の角度φ_ｎを有する特徴点ペアが、信頼性の低い特徴点ペアであるとして、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから除外される。このようにして、第３の除外処理は、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから、信頼性の低い特徴点ペアを除外する。

【0092】

除外モジュール４５４は、上述した第１の除外処理、第２の除外処理、および第３の除外処理の少なくとも１つを実行することにより、特徴点マッチングモジュール４５３によって取得された特徴点ペアのリストから、信頼性の低い特徴点ペアを除外することができる。

【0093】

画像補正モジュール４５５は、ワーク３の作業前画像と作業後画像との位置合わせを実行するために、ワーク３の作業前画像および作業後画像の少なくとも一方に対して画像補正処理を実行する機能を有している。より具体的には、画像補正モジュール４５５は、特徴点マッチングモジュール４５３によって取得され、さらに、除外モジュール４５４によって信頼性の低いマッチングペアが除外された特徴点ペアのリストに含まれる特徴点ペアのワーク３の作業前画像中に含まれるワーク３の複数の特徴点の位置と、ワーク３の作業後画像中に含まれるワーク３の対応する複数の特徴点の位置とが一致するように、ワーク３の作業前画像および作業後画像の少なくとも一方に対して、アフィン変換またはホモグラフィー変換を実行する。アフィン変換およびホモグラフィー変換を用いることにより、画像の二次元的な位置補正（すなわち、ＸＹ平面での位置シフトやサイズ変換）だけでなく、画像の３次元的な位置補正を実行することができる。

【0094】

前述したように、ワーク３の作業前画像および作業後画像の変形が互いに異なっている場合、ワーク３の作業前画像および作業後画像の少なくとも一方に対するＸＹ方向の位置補正を行っただけでは、作業前画像内における複数の特徴点の位置と、作業後画像内における対応する複数の特徴点の位置とを一致させることができない。一方、ワーク３の作業前画像および作業後画像の変形が互いに異なっている場合であっても、ワーク３の作業前画像および作業後画像の少なくとも一方に対して適切にアフィン変換またはホモグラフィー変換を実行することにより、作業前画像内における複数の特徴点の位置と、作業後画像内における対応する複数の特徴点の位置とを一致させることができる。

【0095】

画像処理分野においてよく知られているように、画像のアフィン変換は、画像の線形変換（回転、拡大縮小、せん断変換）と平行移動の組み合わせであり、長方形の画像を平行四辺形の画像に変形させることができる。ワーク３の作業前画像と作業後画像の位置合わせを行うため、画像補正モジュール４５５は、ワーク３の作業前画像における３点以上の特徴点の位置と、ワーク３の作業後画像における対応する３点以上の特徴点の位置とが一致するように、ワーク３の作業前画像および作業後画像の少なくとも一方に対してアフィン変換を実行する。アフィン変換は、画像処理分野においてよく知られているように、変換前の座標をアフィン変換後の座標に変換する行列式を用いて実行される。本発明の検査システム１００においては、ワーク３の作業前画像における３点以上の特徴点の位置と、ワーク３の作業後画像における対応する３点以上の特徴点の位置とを一致させるための行列式が算出され、該行列式を用いて、ワーク３の作業前画像および作業後画像の少なくとも一方に対してアフィン変換が実行される。ワーク３の作業前画像と作業後画像の位置合わせのために、ワーク３の作業前画像および作業後画像の少なくとも一方に対する画像補正が、アフィン変換で十分な場合には、画像補正モジュール４５５は、アフィン変換を用いて、ワーク３の作業前画像および作業後画像の少なくとも一方を補正する。

【0096】

一方、画像のホモグラフィー変換は、アフィン変換を拡張したものであり、アフィン変換の機能に加えて、アフィン変換が対応できない長方形の画像から台形の画像への変換を実行することができる。ワーク３の作業前画像と作業後画像の位置合わせを行うため、画像補正モジュール４５５は、ワーク３の作業前画像における４点以上の特徴点の位置と、ワーク３の作業後画像における対応する４点以上の特徴点の位置とが一致するように、ワーク３の作業前画像および作業後画像の少なくとも一方に対してホモグラフィー変換を実行する。アフィン変換と同様に、ホモグラフィー変換は、変換前の座標をホモグラフィー変換後の座標に変換する行列式（ホモグラフィ行列）を用いて実行される。本発明の検査システム１００においては、ワーク３の作業前画像における４点以上の特徴点の位置と、ワーク３の作業後画像における対応する４点以上の特徴点の位置とを一致させるための行列式が算出され、該行列式を用いて、ワーク３の作業前画像および作業後画像の少なくとも一方に対してホモグラフィー変換が実行される。ワーク３の作業前画像および作業後画像の少なくとも一方に対する画像補正が、アフィン変換で不十分な場合には、画像補正モジュール４５５は、ホモグラフィー変換を用いて、ワーク３の作業前画像および作業後画像の少なくとも一方を補正する。画像補正モジュール４５５が、アフィン変換とホモグラフィー変換のいずれを、ワーク３の作業前画像および作業後画像の少なくとも一方に実行するかは、検査システム１００のユーザーまたは管理者によって適宜事前に設定される。

【0097】

画像補正モジュール４５５は、上述のようなアフィン変換またはホモグラフィー変換を用いて、ワーク３の作業前画像中に含まれるワーク３の複数の特徴点の位置と、ワーク３の作業後画像中に含まれるワーク３の対応する複数の特徴点の位置とが一致するように、ワーク３の作業前画像および作業後画像の少なくとも一方を補正する。画像補正モジュール４５５によるワーク３の作業前画像および作業後画像の少なくとも一方に対する画像補正処理によって位置合わせされたワーク３の作業前画像および作業後画像は、メモリー４３内に一時的に保存され、差分画像を作成するために用いられる。

【0098】

差分画像作成モジュール４５６は、画像補正モジュール４５５によって位置合わせされたワーク３の作業前画像と作業後画像との差分を抽出することにより、差分画像を取得する機能を有している。図９には、差分画像作成モジュール４５６によって実行される差分画像抽出処理の概要が示されている。図９に示されているように、最初に、差分画像作成モジュール４５６は、メモリー４３内に保存されている検査領域情報４４１を参照して、ワーク３の作業前画像および作業後画像のそれぞれの検査領域を切り出す。その後、差分画像作成モジュール４５６は、作業前画像の検査領域と作業後の検査領域との差分を抽出し、差分画像を取得する。より具体的には、差分画像作成モジュール４５６は、作業前画像の検査領域の画素の値の絶対値と、作業後画像の検査領域の対応する画素の値の絶対値との差分の絶対値を得ることによって、差分画像を作成する。その後、差分画像作成モジュール４５６は、作成された差分画像に対して、適切なしきい値を用いた二値化処理を施し、二値化された差分画像を取得する。図９に示されているように、二値化された差分画像内において、作業前画像と作業後画像との相違部分の画素値の値は、１（白色）となっており、作業前画像と作業後画像との共通部分の画素値の値は、０（黒色）となっている。このような二値化された差分画像は、メモリー４３内に一時保存され、ロボット１によるワーク３に対する作業の成否を判別するために用いられる。

【0099】

検査モジュール４５７は、差分画像作成モジュール４５６によって作成された差分画像に基づいて、ロボット１によるワーク３に対する作業の成否を判別する機能を有している。より具体的には、検査モジュール４５７は、最初に、差分画像作成モジュール４５６によって作成された二値化された差分画像の画素値の合計（白色部分の画素の合計数）を算出する。次に、検査モジュール４５７は、メモリー４３内に保存されている成否判別条件４４２を参照し、算出した二値化された差分画像の画素値の合計（白色部分の画素の合計数）が、成否判別条件４４２の下限しきい値と上限しきい値とによって規定される範囲内であるか否かを判別する。

【0100】

算出した二値化された差分画像の画素値の合計が、下限しきい値と上限しきい値によって規定される範囲内である場合には、検査モジュール４５７は、ロボット１によるワーク３に対する作業が成功したと判断する。一方、算出した二値化された差分画像の画素値の合計が、下限しきい値と上限しきい値によって規定される範囲内ではない場合には、検査モジュール４５７は、ロボット１によるワーク３に対する作業が失敗したと判断する。その後、検査モジュール４５７は、Ｉ／Ｏインターフェース４２を用いて、判断結果を検査システム１００のユーザーまたは管理者に通知する。これにより、ロボット１によるワーク３に対する作業が失敗した場合には、検査システム１００のユーザーまたは管理者は、ロボット１の点検等の適切な措置を取ることができる。

【0101】

このように、本発明の検査システム１００においては、ワーク３の作業前画像内の複数の特徴点の位置と、ワーク３の作業後画像内の対応する複数の特徴点との位置がそれぞれ一致するよう、ワーク３の作業前画像および作業後画像の少なくとも一方に対して画像補正処理（アフィン変換またはホモグラフィー変換）が実行される。そのため、ワーク３に対するカメラ２の姿勢や向きの違いに起因して、ワーク３の作業前画像および作業後画像の変形が互いに異なっている場合であっても、作業前画像中におけるワーク３の各要素の位置と、作業後画像中におけるワーク３の対応する各要素の位置との間の位置ズレを正確に補正し、ワーク３に対する作業の成否を正確に判別することができる。

【0102】

＜検査方法Ｓ１００＞
上述した検査システム１００を用いて本発明の検査方法が実行される。以下、図１０を参照して、本発明の検査方法を詳述する。図１０は、本発明の検査方法を示すフローチャートである。

【0103】

検査方法Ｓ１００は、検査システム１００のユーザーまたは管理者が、制御装置４に対してワーク３に対する所定の作業を開始するための操作を実行すると、開始される。最初に、工程Ｓ１１０において、制御装置４のプロセッサー４１は、カメラ制御モジュール４５１を用いてカメラ２を駆動し、ワークテーブル１１上に載置されているワーク３を撮影し、ワーク３の作業前画像を取得する。

【0104】

次に、工程Ｓ１２０において、制御装置４のプロセッサー４１は、ロボット制御モジュール４５２を用いて、ロボット１の可動部１３および作業部１２を駆動し、ワーク３に対する作業を実行する。具体的には、ロボット制御モジュール４５２は、最初に、工程Ｓ１１０において取得されたワーク３の作業前画像を参照し、作業前画像内の作業部１２の先端部１２１およびワーク３のワークポイント３２のそれぞれの位置を特定する。その後、ロボット制御モジュール４５２は、ロボット１の作業部１２とワーク３の任意の１つのワークポイント３２との相対位置を変化させるために、可動部１３のＸ軸可動部１３Ｘ、Ｙ軸可動部１３Ｙ、およびＺ軸可動部１３Ｚのそれぞれの駆動の目標量を決定する。その後、ロボット制御モジュール４５２は、Ｘ軸可動部１３ＸおよびＹ軸可動部１３Ｙに対して、決定した出力値を出力し、Ｘ軸可動部１３ＸおよびＹ軸可動部１３Ｙをそれぞれ独立に駆動させ、作業部１２とワーク３との相対位置を、ワーク３の１つのワークポイント３２に対する作業を実行するために適切な所定の状態とする。

【0105】

その後、ロボット制御モジュール４５２は、Ｚ軸可動部１３Ｚに対して決定した出力値を出力し、Ｚ軸可動部１３Ｚを駆動し、作業部１２の先端部１２１をワーク３の１つのワークポイント３２に対してアプローチさせ、作業部１２の先端部１２１を、ワーク３の１つのワークポイント３２に接触または近接させる。その後、ロボット制御モジュール４５２は、作業部１２を駆動し、ワーク３の１つのワークポイント３２に対して所定の作業を行う。ワーク３の１つのワークポイント３２に対する所定の作業が終了した後、ロボット制御モジュール４５２は、ワーク３の別のワークポイント３２に対する作業を実行するために、可動部１３および作業部１２を駆動する。ロボット１によるワーク３の全てのワークポイント３２に対する作業が終了すると、ロボット制御モジュール４５２によって、作業部１２が初期位置に戻される。この際、ロボット１の可動部１３のＺ軸可動部１３Ｚに取り付けられているカメラ２も、初期位置に戻される。

【0106】

次に、工程Ｓ１３０において、制御装置４のプロセッサー４１は、カメラ制御モジュール４５１を用いて、カメラ２を駆動し、ワーク３の作業後画像を取得する。工程Ｓ１４０において、制御装置４のプロセッサー４１は、特徴点マッチングモジュール４５３を用いて、ワーク３の作業前画像内の複数の特徴点と、ワーク３の作業前画像内の複数の特徴点にそれぞれ対応するワーク３の作業後画像内の複数の特徴点とを特定し、互いに対応付けられた作業前画像内の特徴点と作業後画像内の特徴点からそれぞれ構成される複数の特徴点ペアのリストを取得するための特徴点マッチングを実行する。この際、作業前画像および作業後画像のそれぞれ内のワーク３の四隅のエッジ部および複数の基準マーカー３１が、特徴点として検出されることが好ましい。

【0107】

次に、工程Ｓ１５０において、制御装置４のプロセッサー４１は、除外モジュール４５４を用いて、前述した第１の除外処理、第２の除外処理、および第３の除外処理の少なくとも１つを実行することにより、工程Ｓ１４０において取得された複数の特徴点ペアのリストから、信頼性の低い特徴点ペアを除外する。なお、工程Ｓ１５０において、第１の除外処理、第２の除外処理、および第３の除外処理の２つ以上が実行される場合の第１の除外処理、第２の除外処理、および第３の除外処理の実行順は特に限定されない。例えば、工程Ｓ１５０において、第１の除外処理、第２の除外処理、および第３の除外処理の全てが実行される場合、第１の除外処理、第２の除外処理、および第３の除外処理の順で、第１の除外処理、第２の除外処理、および第３の除外処理が実行されてもよい。

【0108】

工程Ｓ１６０において、工程Ｓ１４０において取得され、さらに、工程Ｓ１５０において信頼性の低い特徴点ペアが除外された特徴点ペアのリストに含まれるワーク３の作業前画像中のワーク３の複数の特徴点の位置と、ワーク３の作業後画像中のワーク３の対応する複数の特徴点の位置とが一致するように、ワーク３の作業前画像および作業後画像の少なくとも一方に対して、アフィン変換またはホモグラフィー変換を実行する。画像補正モジュール４５５によるワーク３の作業前画像および作業後画像の少なくとも一方に対する画像補正処理によって位置合わせされたワーク３の作業前画像および作業後画像は、メモリー４３内に一時的に保存され、差分画像を作成するために用いられる。なお、画像補正モジュール４５５が、アフィン変換とホモグラフィー変換のいずれを、ワーク３の作業前画像および作業後画像の少なくとも一方に実行するかは、検査システム１００のユーザーまたは管理者によって適宜事前に設定されている。

【0109】

工程Ｓ１７０において、制御装置４のプロセッサー４１は、差分画像作成モジュール４５６を用いて、画像補正モジュール４５５によって位置合わせされたワーク３の作業前画像と作業後画像との差分を抽出することにより、差分画像を取得する。より具体的には、差分画像作成モジュール４５６は、メモリー４３内に保存されている検査領域情報４４１を参照して、ワーク３の作業前画像および作業後画像のそれぞれの検査領域を切り出す。その後、差分画像作成モジュール４５６は、作業前画像の検査領域の画素の値の絶対値と、作業後画像の検査領域の対応する画素の値の絶対値との差分の絶対値を得ることによって、差分画像を作成する。その後、差分画像作成モジュール４５６は、作成された差分画像に対して、適切なしきい値を用いた二値化処理を施し、二値化された差分画像を取得する。二値化された差分画像は、メモリー４３内に一時保存され、ロボット１によるワーク３に対する作業の成否を判別するために用いられる。

【0110】

工程Ｓ１８０において、制御装置４のプロセッサー４１は、検査モジュール４５７を用いて、ロボット１によるワーク３に対する作業の成否を判別する。より具体的には、検査モジュール４５７は、最初に、差分画像作成モジュール４５６によって作成された二値化された差分画像の画素値の合計（白色部分の画素の合計数）を算出する。次に、検査モジュール４５７は、メモリー４３内に保存されている成否判別条件４４２を参照し、算出した二値化された差分画像の画素値の合計（白色部分の画素の合計数）が、成否判別条件４４２の下限しきい値と上限しきい値とによって規定される範囲内であるか否かを判別する。

【0111】

算出した二値化された差分画像の画素値の合計が、下限しきい値と上限しきい値とによって規定される範囲内である場合には、検査モジュール４５７は、ロボット１によるワーク３に対する作業が成功したと判断する。一方、算出した二値化された差分画像の画素値の合計が、下限しきい値と上限しきい値とによって規定される範囲内ではない場合には、検査モジュール４５７は、ロボット１によるワーク３に対する作業が失敗したと判断する。その後、検査モジュール４５７は、Ｉ／Ｏインターフェース４２を用いて、判断結果を検査システム１００のユーザーまたは管理者に通知する。これにより、ロボット１によるワーク３に対する作業が失敗した場合には、検査システム１００のユーザーまたは管理者は、ロボット１の点検等の適切な措置を取ることができる。その後、検査方法Ｓ１００は終了する。

【0112】

以上、本発明の検査システムおよび検査方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各コンポーネントの構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の構成に任意の構成のものを付加することができる。

【0113】

本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の検査システムおよび検査方法の構成の変更を実行可能であろうし、変更された構成を有する検査システムおよび検査方法もまた、本発明の範囲内である。

【0114】

また、図１０に示された検査方法の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合わされ、または、任意の工程が削除される態様も、本発明の範囲内である。

【符号の説明】

【0115】

１…ロボット １１…ワークテーブル １２…作業部 １２１…先端部 １３…可動部 １３１…ベース １３Ｘ…Ｘ軸可動部 １３１Ｘ…脚部 １３２Ｘ…Ｘ軸レール １３３Ｘ…Ｘ軸ステージ １３Ｙ…Ｙ軸可動部 １３１Ｙ…Ｙ軸レール １３２Ｙ…Ｙ軸ステージ １３Ｚ…Ｚ軸可動部 １３１Ｚ…Ｚ軸ステージ ２…カメラ ３…ワーク ３１…基準マーカー ３２…ワークポイント ４…制御装置 ４１…プロセッサー ４２…Ｉ／Ｏインターフェース ４３…メモリー ４４…データ ４４１…検査領域情報 ４４２…成否判別条件 ４４３…その他データ ４５…モジュール ４５１…カメラ制御モジュール ４５２…ロボット制御モジュール ４５３…特徴点マッチングモジュール ４５４…除外モジュール ４５５…画像補正モジュール ４５６…差分画像作成モジュール ４５７…検査モジュール ４５８…その他モジュール １００…検査システム ５００…カメラ画像 Ｓ１００…検査方法 Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ１８０…工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】