特許 7189988 ビジョンシステムの３次元校正のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】ビジョンシステムの３次元校正のためのシステム及び方法

(51)【国際特許分類】

   B25J 19/04 20060101AFI20221207BHJP

   B25J 13/08 20060101ALI20221207BHJP

   B25J 9/10 20060101ALI20221207BHJP

【ＦＩ】

B25J19/04

B25J13/08 A

B25J9/10 A

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2021041907

(22)【出願日】2021-03-15

(65)【公開番号】P2021146499

(43)【公開日】2021-09-27

【審査請求日】2021-03-15

(31)【優先権主張番号】62/991,430

(32)【優先日】2020-03-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/198,333

(32)【優先日】2021-03-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504382671

【氏名又は名称】コグネックス・コーポレイション

(74)【代理人】

【識別番号】100119378

【弁理士】

【氏名又は名称】栗原 弘幸

(72)【発明者】

【氏名】ワン，シャオガン

(72)【発明者】

【氏名】ビアン，ユクン

(72)【発明者】

【氏名】スン，リ

(72)【発明者】

【氏名】リ，デイヴィッド ワイ．

【審査官】松浦 陽

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１４２１７１（ＵＳ，Ａ１）

【文献】特表２０１３－５２６４２３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９５０９６（ＷＯ，Ａ１）

【文献】特開２０１６－０５２６９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００３２５３７（ＵＳ，Ａ１）

【文献】特開２０１８－０１２１８４（ＪＰ，Ａ）

【文献】特開２０１９－１９５８８５（ＪＰ，Ａ）

【文献】特表２００１－５１５２３６（ＪＰ，Ａ）

【文献】特開２０１０－２６１９５５（ＪＰ，Ａ）

【文献】特表２０１５－５３０２７６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２２２８２４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

３Ｄ作業空間に関してビジョンシステムを校正するためのシステムであって、
画像データを受信して画像データにビジョンシステムツールを適用するビジョンシステムプロセッサと、
それぞれ複数の相互に異なる変位に複数の表面を有する多層３Ｄ校正ターゲットであって、前記複数の表面はそれぞれ表面上に別個の校正パターンを有し、前記多層３Ｄ校正ターゲットは第１の空間的位置から第２の空間的位置へと移動させられる、前記多層３Ｄ校正ターゲットと、
前記ビジョンシステムツールを使用して前記画像データを分析し、（ａ）前記第１の空間的位置における前記ビジョンシステムによって撮像された前記複数の表面間の変位量と、（ｂ）前記第２の空間的位置における変位量と、の差を計算して結果を提供する決定プロセスと、
を含む前記システム。

【請求項2】

前記多層３Ｄ校正ターゲットはロボットエンドエフェクタ上に配置されている、請求項１に記載のシステム。

【請求項3】

視覚誘導型ロボット（ＶＧＲ）制御信号が前記ビジョンシステムプロセッサとロボットエンドエフェクタ用のコントローラとの間で送信される、請求項２に記載のシステム。

【請求項4】

前記多層３Ｄ校正ターゲットの複数の表面は、主表面と、そこから突出する複数の隆起した表面を含む、請求項１に記載のシステム。

【請求項5】

前記複数の隆起した表面の側面は、前記主表面の側面に対して非直交角度に配置された複数の矩形プレートを含む、請求項４に記載のシステム。

【請求項6】

前記複数の表面は、それぞれチェッカーボードパターンを画定する校正パターンを有し、前記チェッカーボードパターンは、校正パターン内の位置に関連する情報を含む１以上のＩＤコードが埋め込まれている、請求項１に記載のシステム。

【請求項7】

前記結果を使用して、第１の面と第２の面との間の平行性を決定する、請求項１に記載のシステム。

【請求項8】

さらに、ビジョンシステムプロセッサに作動的に接続されたカメラアセンブリを含み、前記カメラアセンブリは非テレセントリックである光学アセンブリを有しており、前記多層３Ｄ校正ターゲットを移動し、前記多層３Ｄ校正ターゲットを移動する前と後に閉ループ２Ｄアライメントプロセスが適用される、請求項１に記載のシステム。

【請求項9】

ビジョンシステムを３Ｄ作業空間に対して校正する方法であって、
それぞれ複数の相互に異なる変位に複数の表面を有する多層３Ｄ校正ターゲットであって、前記複数の表面はそれぞれ表面上に別個の校正パターンを有し、前記多層３Ｄ校正ターゲットは第１の空間的位置から第２の空間的位置へと移動させられる、前記多層３Ｄ校正ターゲットを提供するステップと、
前記多層３Ｄ校正ターゲットを含む画像データを受信して前記画像データにビジョンシステムツールを適用するステップと、
前記ビジョンシステムツールを使用して画像データを分析し、（ａ）前記第１の空間的位置における前記ビジョンシステムによって撮像された前記複数の表面間の変位量と、（ｂ）前記第２の空間的位置における変位量と、の差を計算して結果を提供するステップと、
を含む前記方法。

【請求項10】

さらに、前記多層３Ｄ校正ターゲットをロボットエンドエフェクタ上に配置することを含む、請求項９に記載の方法。

【請求項11】

前記多層３Ｄ校正ターゲットの複数の表面は、主表面と、そこから突出する複数の隆起した表面を含む、請求項９に記載の方法。

【請求項12】

複数の隆起した表面の側面が、前記主表面の側面に対して非直交角度に配置された複数の矩形プレートを画定する、請求項１１に記載の方法。

【請求項13】

前記複数の表面は、それぞれチェッカーボードパターンを画定する校正パターンを有し、前記チェッカーボードパターンは、前記校正パターン内の位置に関連する情報を含む１以上のＩＤコードが埋め込まれている、請求項９に記載の方法。

【請求項14】

さらに、前記結果に基づいて、第１の面と第２の面との間の平行性を検証することを含む、請求項９に記載の方法。

【請求項15】

さらに、画像データを生成するカメラアセンブリのために非テレセントリックである光学アセンブリを提供し、前記多層３Ｄ校正ターゲットを移動し、前記多層３Ｄ校正ターゲットを移動する前と後に閉ループ２Ｄアライメントプロセスを適用することを含む、請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０２０年３月１８日に出願された「ビジョンシステムの３次元校正のためのシステム及び方法」と題する、同時係属中の米国特許出願第６２／９９１，４３０の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。

【0002】

発明の分野
本発明は、マシンビジョンシステム用途で使用される校正システム及び方法、並びに校正オブジェクト（ターゲット）に関する。

【背景技術】

【0003】

マシンビジョンシステム（本明細書では「ビジョンシステム」とも呼ばれる）では、１台以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、コードの復号、アライメント、及びその他の自動化された様々なタスクを含むことができる。より具体的には、ビジョンシステムを使用して、撮像されたシーン中に存在する工作物を検査したり、場所間を移動ロボットエンドエフェクタを誘導したりすることができる。シーンは通常１台以上のビジョンシステムカメラによって撮像され、これらのビジョンシステムカメラは、関連するビジョンシステムプロセスを操作して結果を生成する内部又は外部ビジョンシステムプロセッサを含むことができる。ビジョンシステムが十分な精度と信頼性でビジョンタスクを実行できるようにするために、１台以上のカメラと撮像されたシーン内のオブジェクト又は表面との間の空間的関係を確定することによってシステムを校正することが一般に望ましい。このプロセスでは、校正オブジェクト若しくは校正ターゲットを使用して、校正されるオブジェクト又は表面の空間特性（位置や向きなど）を表わすことができる。例として、工作物の画像は、２次元（２Ｄ）画像ピクセルデータ（例えばｘ座標及びｙ座標）、３次元（３Ｄ）画像データ（ｘ座標、ｙ座標及びｚ座標）又はハイブリッド２．５Ｄ画像データによって特徴付けることができ、２．５Ｄ画像データでは複数のｘ－ｙ座標面が実質的に平行であり、可変なｚ高さによって特徴付けられる。

【0004】

校正オブジェクト若しくは校正ターゲット（しばしば「プレート」の形態をなす）は、多くの場合にその表面上で見えるようにした特徴的なパターン（アートワーク）を有する平坦な構造として提供される。この特徴的なパターンは、一般に慎重かつ精密に設計されているため、ユーザーはカメラで取得したターゲットの画像中に各々の可視の特徴を容易に識別できる。いくつかの例示的なパターンは、正方形のモザイク状のチェッカーボードや、全体パターンの中に周期的な間隔で追加のコードを埋め込んだチェッカーボードを含み、これらは特徴の位置、ドットグリッド、ライングリッド、ハニカムパターン、モザイク状の三角形、その他の多角形などを規定する。各々の可視の特徴の特性は、設計内部で暗黙的に定義された基準位置及び／又は座標系に対して相対的な位置及び／又は回転など、ターゲットの設計から知られている。

【0005】

交線のモザイク状配列を特徴とする典型的なチェッカーボードパターンの設計は、校正を実行する際に精度と堅牢性に関してある利点を提供する。より具体的には、静止しているオブジェクトの２次元（２Ｄ）校正において、ビジョンシステムの精度を決定するために、通常は校正チェッカーボードのエッジによって個々のチェッカーボードタイルの隅の相対位置を決定すれば十分であり、必要に応じてカメラのプロセッサに補正係数を提供し、このような補正係数を考慮して実行時オブジェクトが測定される。

【0006】

さらに背景として、ビジョンシステムカメラの校正は、カメラセンサのピクセルを所定の座標系にマッピングすることを含む。ターゲットは、座標系（例えば一連のチェッカーボードのＸ－Ｙ軸構成）を定義する特徴、例えば特徴パターンに埋め込まれた２Ｄコード（「バーコード」とも呼ぶ）、又は別様にパターン座標系を定義する特徴的な基準を提供できる。特徴をカメラのピクセルにマッピングすることにより、システムはターゲットに合わせて校正される。複数のカメラを使用して校正ターゲットの全部又は一部の画像を取得する場合、すべてのカメラは、ターゲットの特徴（例えばターゲットの面に沿ったｘ及びｙ、ｚ（高さ）及びｘ－ｙ面におけるｚ軸を中心とした回転Θ）によって指定できる共通の座標系、又は別の（例えばグローバル）座標系にマッピングされる。一般に、校正ターゲットは多数の種類の校正操作で使用することができる。例として、典型的な内的及び外的カメラ校正操作は、１台以上のカメラによってターゲットの画像を取得し、取得したターゲットの画像を用いて校正ターゲット自体の座標系に相対的に校正することを伴い、ターゲットはすべてのカメラの全体視野の少なくとも一部で特定の位置にある。ビジョンプロセッサ内の校正アプリケーションは、当該カメラが取得したターゲットの画像から１台以上のカメラの相対位置を推定する。ターゲット上の基準を使用して、カメラをそれぞれの視野内のターゲットに対して向けることができる。この校正は、「カメラをプレートに合わせて校正する」と言われている。

【0007】

一般に、シーンに３Ｄ（ステレオビジョンなど）ビジョンシステム撮像を適用するための事前のセットアップ手順は、正確で、しばしば時間のかかる事前校正プロセスを使用する必要があり、３Ｄ校正ターゲットの特徴が３次元すべてで正確に測定されなければならない。このプロセスは専門家が実施する必要があり、コストがかかる可能性がある。さらに、ビジョンシステムの精度と適当な機能を確保するために、事前に校正されたパラメータは、基礎となる３Ｄ校正装置の全寿命にわたって変化してはならない。つまり、装置は適当に保守され、事前校正の安定性を確保するために全動作寿命にわたって摂動があってはならない。このレベルの手入れと保守も工場環境ではコストがかかる可能性がある。正確なビジョンシステムのセットアップと健全度の監視は、工場における高品質な生産の鍵である多くのセットアップ／監視方法が、３Ｄ校正装置を必要としているが、上記はそのような３Ｄ校正装置に関連するいくつかの主要な不都合を表している。精確な３Ｄ校正装置には、ミクロンレベルの製造精度が必要であり、これは非常に高価であることに留意されたい。

【0008】

さらに、工場では現在作業面の向きの再現性を測定する実用的な技術が存在しない。同様にロボットのエンドエフェクタ面と組立面の平行性は、通常手動セットアップを必要とするが、これは主観的で多くの場合時間がかかる、潜在的に不正確な評価（例えば圧力紙に基づく）を伴う。

【発明の概要】

【0009】

本発明は、先行技術の欠点を、作業スペース（製造など）の構成システムの初期セットアップ、及びそれに続くこの構成の健全度監視のための３Ｄターゲットの正確な事前校正の要件、並びに面倒な保守要件を不要にする多層（少なくとも２層）３Ｄ校正ターゲットを使用して３Ｄビジョンシステムを校正するためのシステム及び方法を提供することにより克服する。このシステム及び方法は、異なる空間的位置及び異なる時間に多層３Ｄ校正ターゲットの画像を取得し、２つの取得の間の３Ｄ校正ターゲットの向きの差を計算する。この技術を使用して、ビジョンベースの単一面の向き再現性の検査と監視を実行できる。この技術をアセンブリ作業面に適用することにより、システム及び方法はビジョンベースのアセンブリ作業面の向きの再現性の検査と監視を実行できる。移動ロボットエンドエフェクタと組み合わせてこの技術を使用して、ビジョンベースのロボットエンドエフェクタ（「視覚誘導型ロボット（ＶＧＲ）」とも呼ばれる）の向きの再現性の検査と監視を行うことができる。同様に、平行性を達成するために２つの面の視覚誘導調整を実現できる。システム及び方法は、ロボットのエンドエフェクタ及び組立作業面の平行性（即ちロボットチューニング）を達成するために、精密なＶＧＲセットアップを実行するように動作することができる。

【0010】

３Ｄ作業空間に対してビジョンシステムを校正するためのシステム及び方法は、様々な実施形態において提供される。システム及び方法は、それぞれ複数の相互に異なる変位に複数の表面を有する多層３Ｄ校正ターゲットと、それぞれ表面上に個別の校正パターンを有する複数の表面を使用する。表面の１つは、その上に他の面積の小さい個別の表面が配置された「主表面」の形態であることができる。３Ｄ校正ターゲットを含む画像データが受信され、この画像データにビジョンシステムツールが適用される。ビジョンツールを使用して画像データを分析し、第１の空間的位置における変位と第２の空間的位置における変位の差を計算して結果を提供する。例示的に、システム及び方法は、３Ｄ校正ターゲットをロボットエンドエフェクタ上に置くことができ、これはビジョンシステムにモーションフィードバックを提供し、ＶＧＲシステムとして構成できる。例として、３Ｄ校正ターゲットは、ほぼ矩形である主表面を含むことができ、４隅と、４隅のそれぞれに隣接して配置された４つの矩形プレートを有する。やはり例として、矩形プレートの面は、主表面の側面に対して非直交角度で配置されている。それぞれ複数の表面の各々の個別の校正パターンは、１以上のＩＤコードが埋め込まれたチェッカーボードパターンを含むことができ、ＩＤコードはそれぞれ校正パターン内の位置に関連する情報を含んでいる。ビジョンツールを使用して画像データを分析し、第１の空間的位置における変位と別の第２の空間的位置における変位の差を計算して結果を提供できる。システム及び方法は、結果に基づいて第１の面と第２の面との間の平行性を検証でき、及び／又は結果に基づいて所望の時間間隔にわたって作業空間におけるオブジェクト面の空間的向きの再現性を検証できる。例示的に、画像データを生成するカメラアセンブリの一部であるか、又はそれに取り付けた光学アセンブリが提供される。光学アセンブリは、テレセントリック又は非テレセントリックであることができる。提供される光学アセンブリが非テレセントリックである場合、システム及び方法は３Ｄ校正ターゲットを移動し、３Ｄ校正ターゲットを移動する前と後に閉ループ２Ｄアライメントプロセスを適用する。

【0011】

以下の発明の説明は、添付の図面を参照している。

【図面の簡単な説明】

【0012】

【図1】例示的な実施形態による、校正ターゲット及び関連する保存された校正ターゲット特徴の関係データを使用して校正プロセスを受けている全体的なビジョンシステム構成の図である。

【0013】

【図2】図１のシステムで使用するための２レベル３Ｄ校正ターゲットの上面図である。

【0014】

【図3】図１の２レベル３Ｄ校正ターゲットの側面図である。

【0015】

【図4】例示的な実施形態による、図１の固定又は移動校正ターゲットを用いてオブジェクト面の再現性を検証するための手順を示すフロー図である。

【0016】

【図5】例示的な実施形態による、図１の固定又は移動校正ターゲットを用いて平行性を決定するための手順を示すフロー図である。

【発明を実施するための形態】

【0017】

Ｉ．システムの概要

【0018】

図１は、例示的な実施形態による校正ターゲット１２０の少なくとも片側の画像を取得する１台以上（複数）のカメラ１～Ｎ（１１０、１１２）からなるビジョンシステム構成１００を示す。カメラ１１０及び１１２は、シーン全体の中で校正ターゲット１２０の一部又は全部の画像を取得するように配置されている。ターゲット１２０は、カメラ１１０及び１１２の視野（ＦＯＶ）内に示されている。ターゲット１２０は、多軸ロボットアーム１２４などのモーションデバイスの端部に配置された移動ロボットエンドエフェクタ１２２によって支持されている。エンドエフェクタの向きとグリップ構成は、大きく変わることができる。この例では、エンドエフェクタ１２２は、吸引カップ又はターゲットの表面と係合する他の取り外し可能な固定機構（図示せず）を使用して、ターゲット１２０を部分的に覆うように示されている。ロボットアーム１２４は、適当なコントローラ１２８（以下に説明する）によって制御される。その動きは、直交ｘ、ｙ及びｚ軸、並びに関連する回転θｘ、θｙ及びθｚを画定する適当な座標空間１３０によって定義される。カメラ１１０及び１１２の数、並びに撮像されたシーンの座標空間（１３０）に対するそれらの向きは、代替構成において非常に可変である。様々な実施形態において、ロボットエンドエフェクタ１２２及びモーションデバイス１２４は、他の１以上のタイプの作業面とモーションデバイスで置き換えることができ、これにはコンベヤ及び／又は昇降具及び／又は締め具など他の機構によってサポートされた組立面が含まれるが、これに限らない。様々な実施形態において、３Ｄ校正ターゲット１２０を作業面に取り付けることは、その主表面１８０の頂面（図示されている）か底面（後述する）で行うことができる。「主表面」という用語は広く解釈すべきであり、例として当該主表面の上（又は下）に投影された、１以上の個別の、高さが異なる、面積の小さい表面を支持する表面構成を含むことに留意されたい。さらに別の実施形態には、個別の単一光学カメラは１台以上の他のタイプのカメラと置き換えることができ、これにはレーザ変位センサ、立体視カメラ、ＬＩＤＡＲベースの（より一般的には距離測定）カメラ、飛行時間型カメラなどが含まれるが、これらに限らない。

【0019】

カメラ１１０及び１１２は、画像データを１台以上の内部又は外部ビジョンシステムプロセッサ１４０に送信する画像センサＳを含んでおり、ビジョンシステムプロセッサ１４０は機能モジュール、プロセス及び／又はプロセッサを使用して、適当な２Ｄ、２．５Ｄ及び／又は３Ｄビジョンシステムプロセスを実行する。非限定的な例として、モジュール／プロセスは、エッジファインダ及びコントラストツール、ブロブアナライザ、キャリパ、レンジファインダなど、画像内の特徴を見つけて分析する例示的なビジョンシステムツール１４２のセットを含むことができる。ビジョンシステムツール１４２は、校正を実行し、共通の座標空間（例えば図示された座標空間１３０）で表される、３Ｄターゲットと１台以上のカメラとの間の３Ｄ関係を確定する校正モジュール／プロセス１４４と相互作用する。シーンの図示された座標空間１３０は、関連する直交ｘ、ｙ、及びｚ軸（及び上述したの回転）に沿ったデカルト座標に関して定義できることに留意されたい。別の実施形態では、極座標など、他のタイプの座標系を使用して、３Ｄ画像空間を特徴付けることができる。ビジョンシステムのプロセス（プロセッサ）１４０はＩＤ／コード検出及び復号モジュール１４０も含むことができ、これは慣用的技術又はカスタム技術を使用してバーコード及び／又は他の様々なタイプや標準のＩＤを特定して復号化する。これらのＩＤコードは、以下で説明するように、特に校正ターゲット１２０に埋め込まれたものを含む。

【0020】

プロセッサ１４０は、カスタム回路でインスタンス化することができ、又は示されているように汎用コンピューティングデバイス１５０のハードウェア及びソフトウェアとして提供できる。このコンピューティングデバイス１５０は、ＰＣ、ラップトップ、タブレット、スマートフォン、及び／又は他の任意の許容可能なデータ処理装置であることができる。コンピューティングデバイスは、例えばキーボード１５２、マウス１５４、及び／又はディスプレイ／タッチスクリーン１５６などのユーザインターフェースを含むことができる。コンピューティングデバイス１５０は、有線及び／又は無線リンクを使用する適当な通信ネットワーク（例えばＷＡＮ、ＬＡＮ）上に常駐できる。このネットワークは、ロボット／エンドエフェクタコントローラ１６０を含む１台以上のデータ処理装置、及びそのための適当なビジオンシステムインターフェース１４８に接続することができる。コントローラ１６０は、校正及び実行時にビジョンシステムデータと情報を交換して、エンドエフェクタの位置に関連するモーションフィードバック１６２を（例えばステッパ、エンコーダなどからのロボットのモーションデータを使用して）ビジョンシステムに提供し、ビジョンシステムが３Ｄ空間でエンドエフェクタを視覚的に誘導できるようにする。

【0021】

ＩＩ．３Ｄ校正ターゲット

【0022】

例示的な構成の校正ターゲット１２０は、本明細書で想定されている様々な実装の１つである。さらに図２及び図３を参照すると、ターゲット１２０は、関連するアートワーク／校正パターン（例えば明るい正方形と暗い正方形をモザイク状に配列したチェッカーボード）を有する平らな表面を含むことができる。図示の例では、校正ターゲット１２０は、さらに平らな主表面１８０上に隆起したプレート１７０、１７２、１７４及び１７６を含んでいる。これらの隆起したプレート１７０、１７２、１７４及び１７６も校正パターンを含んでいる。この例ではプレート１７０～１７６の頂面の校正パターンと、主表面１８０上の校正パターンは、エンドエフェクタ１２２によって隠されていないため、カメラによって明確に撮像され得ることに留意されたい。プレート１７０～１７６は、正方形、矩形、多角形、又は他の任意の適当な形状である周囲を画定することができる。同様に、プレートは主表面１８０の縁部に対して任意の適当な角度ＡＰで、例えばそれに対して平行又は非平行に向けることができる。この例では、適用される校正パターンは、等しいサイズの正方形の正確な黒と白のチェッカーボードである。別の実施形態で、他の所定のパターンを設けることができる。主表面１８０と隆起したプレート１７０～１７６上のパターンは、ＩＤコード、例えば校正パターン要素の相対的な位置及び配置に関する情報を含む従来の２Ｄバーコード１８２によって直交方向のそれぞれにおいて所与の間隔で中断される。このＩＤコードの配置により、ビジョンシステムプロセッサ１４０はＩＤリーダー／デコーダ１４６を介してカメラのＦＯＶ内の隣接する校正特徴の位置を決定することができる。校正ターゲット１２０は複数の（場合により重複する）ＦＯＶを占める場合は、ＩＤコードの使用によって隣接ＦＯＶ内の特徴を調整することを可能にし、それにより複数のカメラが同時に動作するのを支援する。

【0023】

校正パターンをターゲット表面１８０に適用する方法は非常に可変であり、例えばスクリーン印刷又はフォトリソグラフィーを使用することができる。一般に、特徴の境界を画定する線とそれらの交点は、シーン全体のサイズに応じて許容可能なレベルの解像度を生み出すのに十分鮮明であり、ミクロン、ミリメートルなどで測定できる。図３に示すように、隆起したプレート１７０－１７６は、プレート主表面１８０とプレート頂面３１０との間の高さＨを画定し、これはすべてのプレート１７０～１７６について同様のこともあれば、プレートごとに異なることもある。したがって各プレート又はプレート群は、個別の異なる高さを画定できる。したがって例示的な実施形態においてプレート高さＨの各々は等しくないため、主表面１８０に対して相対的な異なる位置（例えば４隅のそれぞれ）で異なる変位を画定する。例示的な実施形態において高さＨは非常に可変で、例えば１～５０ミリメートルである。一般に、この各々の隆起したプレート１７０～１７６についての高さ情報は事前に比較的正確に知られており、印刷されたバーコード１８２にコード化することができる。様々な実施形態において、表面３１０の一部又は全部は主表面１８０に対して平行又は非平行であり得る。撮像されると、各パターン（プレート主表面１８０と小さい隆起したプレート表面３１０）の校正特徴は、カメラに対して個別の（例えばｚ軸の）高さ間隔で配置されている。

【0024】

ターゲット１２０は、様々な方法で一緒に組み立てることができる。非限定的な例において、面積の小さいプレート１７０～１７６は、適当な接着剤（シアノアクリレート、エポキシなど）を使用して、隣接するプレート主表面１８０に当該表面１８０上の隣接する４隅のそれぞれに隣接して（主プレートのｘ－ｙ軸に対して）図示の角度の向きで接着されている。この例では、表面１８０と表面３１０との間の平行性は精密に制御する必要はなく、大きいプレート上の小さいプレートのｘ－ｙ配置もそうである。本明細書（以下）に説明する手順で得られた校正情報は、プロセッサ１４０に関してデータセット１９０に保存できる。

【0025】

それぞれ隆起したプレートと関連する２つのパターン化された面を有する校正ターゲットを使用するためのシステム及び方法が、２０１８年４月１７日に出願された同一出願人による「高精度な校正システム及び方法」と題する米国特許出願第１５／９５５，５１０号に記載されており、その教示内容は有益な背景情報として参照することにより本明細書に組み込まれる。この出願は、３Ｄビジョンシステムを校正し、パターン内に埋め込まれたＩＤコードを使用して隣接するＦＯＶ内で特徴を方向付けるための技術について説明する。このアプローチは事前校正の使用を含んでいるが、これは以下に説明する手順では必要とされず、それにより校正プロセスが簡素化され、３Ｄ校正ターゲットに関連するデータ固有の事前校正データを保存する必要が回避される。

【0026】

ＩＩＩ．ビジョンベースの単一面の向き再現性の検査と監視

【0027】

図４の手順４００を参照する。この手順４００は、オブジェクト面（例えば組立作業面又はロボットエンドエフェクタ面）と、当該面を撮像するカメラを含むセットアップの下で操作される。エンドエフェクタの場合、カメラは面自体を撮像するのではなく、エンドエフェクタによって持ち上げられた、又はそうでなければエンドエフェクタに（例えば永久的、半永久的／着脱可能に）取り付けられた３Ｄデバイス（即ち校正ターゲット１２０）を撮像できる。カメラに標準２Ｄ校正手順を使用できることに留意されたい。この手順４００では、ターゲット１２０（図１及び図２）は、パターン（有効層とも呼ばれる）がカメラのＦＯＶ内にあるようにオブジェクト面上に配置される（ステップ４１０）。次に、ステップ４１２において、ターゲットとその有効層の１以上の画像が取得される。ステップ４１４において、ビジョンシステムツール（図１の１４２）が画像に適用されて、ターゲット内の個別の層上の２Ｄパターン間の第１の空間的関係を確定する。次にステップ４２０～４２４で第２の空間関係が確定される。ステップ４２０において、３Ｄデバイスは所定の時間間隔の後に再びカメラに提示され、その間にオブジェクト面は（例えばロボットアーム又は組立面の支持ツールによって）によって移動され、カメラのＦＯＶ内の位置に戻ってきた可能性があり、３Ｄデバイスが取り外されてからオブジェクト面上に戻された可能性がある。ステップ４２２で３Ｄデバイスの１以上の画像が取得され、ステップ４２４でビジョンシステムツール（図１の１４２）が画像に適用されて、個別の層上の２Ｄ校正パターン間の第２の空間的関係を確定する。

【0028】

次に、手順４００のステップ４３０において、変位（第１の関係と第２の関係との間の差）を、各関係における層間の既知の高さの差と併せて使用して、第１の関係と第２の位置／配置の間の面の向きの変化を計算する。これにより生成される結果は校正データの一部として保存でき（決定ステップ４４０を経たステップ４５０）、長期的な校正と配置の再現性を検証するために使用できる。結果及び／又は再現性をさらに検証するために、決定ステップ４４０はステップ４２０、４２２及び４２４に分岐し、保存されている第１の関係を別のプレートセット間の新しい第２の関係と共に使用して結果を再計算する（ステップ４３０）。このステップ４２０～４３０の反復は、オブジェクト面の向きの再現性を検証するために分、日、週などの間隔で行うことができる。

【0029】

上記の手順４００は、テレセントリック構成であるそれぞれの、取り付けられ又は内蔵されたカメラ光学アセンブリ（図１のＯ１、ＯＮ）と共に使用されることが想定されている。光学アセンブリＯ１、ＯＮが非テレセントリックである場合は、どの追加の手順を適用するかが特別に考慮される。可動オブジェクト面（例えばロボットのエンドエフェクタ）の場合には、第１又は第２の空間的関係を確定するためにターゲットを配置するごとに、その後でエンドエフェクタは面内で移動して最初の配置の位置まで戻るように指示される。これは、標準２Ｄ閉ループアライメントを提供するビジョンシステムツールによって実現できる。そのようなアライメントツールは、例えばマサチューセッツ州ネイティックのコグネックスコーポレーションから入手可能である。代替として、オブジェクト面（例えば締付け組立面）が可動でない場合は、ターゲットは機械的保持技術を使用して制限された領域内に配置できる。

【0030】

ＩＶ．平行性を達成するための２つの面の視覚誘導調整

【0031】

図５の手順５００を参照すると、この構成は、カメラが両方の面を撮像する２つの個別の面（例えばロボットエンドエフェクタ面と組立面又は作業面）を画定するセットアップを採用する（ステップ５１０）。手順５００の目標は、これら２つの面の間に平行関係を達成することである。例示的な実装形態では、１つの面（例えばロボットエンドエフェクタ）の向きは調整可能である。標準的な２次元校正方法を使用して、最初にモーションシステムでカメラを校正することができる。手順５００に従い、ステップ５１０において３Ｄターゲットは第１の面上に配置される。次に、ステップ５２２において、カメラによって３Ｄターゲットの１以上の画像が、第１の空間的位置にある２つの層の周りの関心のある領域を含んで取得される。ステップ５３０で、第２の空間的位置でカメラによってターゲットの１以上の画像が取得される。ターゲットの異なる層上の２Ｄパターン間の空間的関係が、適当なビジョンツールを用いて得られる。次にステップ５４０で、既知の変位（既知の高さ情報に基づく２つの関係の差）を層間の高さの差と併せて使用して、２つの面の向きの差を計算する。次にステップ５５０において、１つの面（例えばロボットエンドエフェクタ）の向きが、ステップ５４０で得た差に基づいて調整され、この計算された向きの差が取り除かれる。ロボットの場合は、適当なモーションコマンドをコントローラに送って差に対処することができる。

【0032】

手順５００のステップ５３０～５５０は、決定ステップ５６０を経てプロセスが完了するまで閉ループ様式で行うことができ、その時点で手順は終了する（ステップ５７０）。より具体的には、第１の調整（ステップ５５０）の後で決定ステップ５６０はステップ５３０に分岐して３Ｄ校正ターゲットの別の画像を取得し、ステップ５５０で得た新しい変位を使用して向きの差を再計算する（ステップ５４０）。この新しい差を用いて調整（ステップ５５０）が再び行われる。ステップ５３０～５５０のプロセスは、計算された向きの差が十分に小さくなるまで（決定ステップ５６０を経て）ループで繰り返される。そのような時点で、プロセスは決定ステップ５６０と終了ステップ５７０を経て完了したと見なされる。調整情報は、必要に応じて保存することができる。

【0033】

この場合も、上記の手順５００は、テレセントリックレンズを含むカメラ光学アセンブリＯ１、ＯＮの使用を想定している。カメラが使用するレンズが非テレセントリックである場合、手順５００も特別な考慮事項を採用している。これらの特別な手順の手順に従って、２つの面は同じ高さ（つまりカメラに対して同じ作動距離）にあるべきである。第２の面上に３Ｄ校正ターゲットを配置（及び各調整）した後（ステップ５５０）、ターゲットは、面内で第１の面で３Ｄデバイスが測定された位置に移動される（例えばロボットに指示することによって）。（ステップ５２２）。この結果は、標準の２Ｄ閉ループアライメントプロセスを使用して実現できる。

【0034】

上記の各手順で結果を得るために使用される特定の計算は、当業者にとって明白であろう。一般に、このような計算は、デジタルコンピューティング環境に適用される３次元ジオメトリの既知の原理を採用している。

【0035】

Ｖ．結論

【0036】

上記のシステム及び方法は、エンドユーザの手に余るような、費用と時間のかかる事前校正手順の必要性を効果的に取り除くことは明らかであろう。このシステム及び方法は、正確で基礎となる製造構成の事前校正された状態に類似した性能を維持することにより、当該構成に関する長期的保守の懸念に効果的に対処する。より具体的には、このシステム及び方法は、作業空間内の面の長期的な再現性と平行性を保証する。このシステム及び方法は、特徴が同じ高さになく、カメラが迅速、簡単及び経済的な方法で不正確に取り付けられる場合の計測／測定を可能にする。

【0037】

上記は、本発明の例示的な実施形態の詳細な説明である。本発明の精神及び範囲から逸脱することなく、様々な修正及び追加を行うことができる。上記の様々な実施形態のそれぞれの特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するために、必要に応じて他の記載された実施形態の特徴と組み合わせることができる。さらに、以上に本発明の装置及び方法のいくつかの個別の実施形態を説明したが、本明細書に記載されていることは、本発明の原理の適用の単なる例示である。例えば本明細書で使用されるように、「プロセス」及び／又は「プロセッサ」という用語は、様々な電子ハードウェア及び／又はソフトウェアベースの機能及びコンポーネント（あるいは、機能的「モジュール」又は「エレメント」）を含むように広く解釈されるべきである。さらに、図示されたプロセス又はプロセッサは、他のプロセス及び／又はプロセッサと組み合わせることができ、又は様々なサブプロセス又はプロセッサに分割することができる。そのようなサブプロセス及び／又はサブプロセッサは、本明細書の実施形態に従って様々に組み合わせることができる。同様に、本明細書の任意の機能、プロセス、及び／又はプロセッサは、電子ハードウェア、プログラム命令の非一時的なコンピュータ可読媒体からなるソフトウェア、又はハードウェアとソフトウェアの組み合わせを使用して実装できることが明確に想定されている。さらに、本明細書で使用される様々な方向や配置を表わす用語、例えば「垂直」、「水平」、「上」、「下」、「下」、「上」、「横」、「前」、「後」、「左」、「右」などは、相対的な表現としてのみ使用され、重力の作用方向などの固定座標空間に対する絶対方向／位置としては使用されていない。さらに、与えられた測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む（例えば１～５パーセント）。したがってこの説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。

【0038】

以下に特許請求の範囲を記載する。

【図1】

【図2】

【図3】

【図4】

【図5】