特開 2023-135638 効率的で堅牢な線マッチングのアプローチ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135638

(43)【公開日】2023-09-28

(54)【発明の名称】効率的で堅牢な線マッチングのアプローチ

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230921BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023038044

(22)【出願日】2023-03-10

(31)【優先権主張番号】17/654,909

(32)【優先日】2022-03-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】ワン カイメン

(72)【発明者】

【氏名】ファン ヨンシアン

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS06

3C707KS11

3C707KT01

3C707KT03

3C707KT06

3C707KT11

3C707LT06

3C707LW08

(57)【要約】

【課題】ロボットによる設置及び組み立て操作のビジュアルサーボ制御の線マッチング技術を改善する。
【解決手段】ワークピースの設置を実行するロボットの画像ベースのビジュアルサーボ制御中の線マッチングの方法は、人の実演からの目標画像及びロボットの実行段階の現在の画像を使用する。複数の線が目標画像及び現在の画像で識別され、目標線－現在の線の最初のペアリングは距離及び角度に基づいて定められる。最適化計算は、カメラ画像平面内の２Ｄデータを使用して目標線と現在の線との間の方向及び距離の両方を含むように定式化されたコスト関数、並びに画像平面内の線を３Ｄのワークピースの姿勢に関連付ける制約式を最小化する画像変換を決定する。コスト関数を最小化する回転及び並進変換は線ペアマッチングを更新するために使用され、最良の線ペアはビジュアルサーボ中にロボットモーションを制御する差分信号を計算するために使用される。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像ベースのビジュアルサーボ（ＩＢＶＳ）のために線の特徴をマッチングさせる方法であって、前記方法は、
角度類似性及び距離に基づいて、ワークピースの目標画像内の線の、前記ワークピースの現在の画像内の線との最初のペアリングを決定することと、
プロセッサ及びメモリを有するコンピュータ上で、３つ以上のランダムに選択された前記線のペアを使用して最適化計算を実行して、２次元（２Ｄ）カメラ画像空間内に射影される各ペア内の第１及び第２の線間の方向及び距離について定められるコスト関数を最小化する回転及び並進変換を決定することと、
前記回転及び並進変換を使用して前記最初のペアリングから計算される全ての線ペアについての方向及び距離の誤差が閾値未満になるまで、新しい３つ以上のランダムに選択された前記線のペアを使用して前記最適化計算を繰り返すことと、
前記回転及び並進変換を使用して、前記目標画像内の前記線の、前記現在の画像内の前記線との更新されたペアリングを決定することと、
を含み、
前記更新されたペアリングからの線ペアの最もよくマッチングされたセットは、ＩＢＶＳロボットモーション制御計算で使用される、方法。

【請求項2】

前記目標画像は、事前の実演からの所望の最終的な位置における前記ワークピースを表し、前記現在の画像は、グリッパーを有するロボットによって操作されている前記ワークピースを表す、請求項１に記載の方法。

【請求項3】

前記所望の最終的な位置における前記ワークピースは、アセンブリ内に設置される、請求項２に記載の方法。

【請求項4】

前記事前の実演は、人の実演者によって手動で実行されたものである、請求項２に記載の方法。

【請求項5】

前記目標画像及び前記現在の画像の両方が２次元カメラ又は３次元カメラによって提供される、請求項２に記載の方法。

【請求項6】

前記目標画像内の前記線及び前記現在の画像内の前記線は、前記コンピュータによって画像分析で識別される前記ワークピースの幾何学的特徴に対応する、請求項１に記載の方法。

【請求項7】

前記線の最初のペアリングを決定することは、前記現在の画像内の線の順序付けされたセットが、角度類似性に基づいて前記目標画像内の各線とマッチングされる第１のステップと、前記順序付けされたセットからの単一の線が、距離に基づいて前記目標画像内の各線とマッチングされる第２のステップと、を含む、請求項１に記載の方法。

【請求項8】

前記最適化計算は、前記第１の線の３次元（３Ｄ）表示を前記２Ｄカメラ画像空間内に射影し、且つ、前記回転及び並進変換を適用した後の前記第２の線の３Ｄ表示を前記２Ｄカメラ画像空間内に射影する制約を満たしつつ、前記３つ以上のランダムに選択された線のペアについての前記コスト関数を最小化する、請求項１に記載の方法。

【請求項9】

前記コスト関数は、全ての選択された線のペアについて、重み付けされた方向差の項及び重み付けされた距離の項の総和を最小化し、前記方向差の項は、２Ｄカメラ画像空間内の前記第１及び第２の線間の差のノルムであり、前記距離の項は、２Ｄカメラ画像空間内の前記第１及び第２の線間の距離である、請求項８に記載の方法。

【請求項10】

線ペアの前記最もよくマッチングされたセットは、３つ以上の線のペアを含む前記線の前記更新されたペアリングのサブセットであり、前記回転及び並進変換を適用した後、各ペア内の第２の線は、方向及び距離の既定のレベルの精度内で前記ペア内の第１の線とマッチングする、請求項１に記載の方法。

【請求項11】

前記ＩＢＶＳロボットモーション制御計算は、線ペアの前記最もよくマッチングされたセット内の第１及び第２の線を第１及び第２の行列内に配置することと、前記第１及び第２の行列間の差を掛けた擬似ヤコビ行列の関数としてロボット速度ベクトルを計算することと、を含む、請求項１に記載の方法。

【請求項12】

画像ベースのビジュアルサーボ（ＩＢＶＳ）のために線の特徴をマッチングさせる方法であって、前記方法は、
事前の実演からの所望の最終的な位置におけるワークピースの目標画像、及び、グリッパーを有するロボットによって操作されている前記ワークピースの現在の画像を提供することと、
前記目標画像及び前記現在の画像の各々における前記ワークピースの幾何学的特徴に対応する複数の線を識別することと、
角度類似性及び距離に基づいて、前記目標画像内の前記線の、前記現在の画像内の前記線との最初のペアリングを決定することと、
プロセッサ及びメモリを有するコンピュータ上で、３つ以上のランダムに選択された前記線のペアを使用して最適化計算を実行して、２次元（２Ｄ）カメラ画像空間内に射影される各ペア内の第１及び第２の線間の方向及び距離について定められるコスト関数を最小化する回転及び並進変換を決定することと、
前記回転及び並進変換を使用して前記最初のペアリングから全ての線ペアについて方向及び距離の誤差を計算することと、
前記誤差が閾値を超える場合、新しい３つ以上のランダムに選択された前記線のペアを使用して前記最適化計算を再実行することと、
前記誤差が閾値未満である場合、前記回転及び並進変換を使用して、前記目標画像内の前記線の、前記現在の画像内の前記線との更新されたペアリングを決定することと、
前記更新されたペアリングから線ペアの最もよくマッチングされたセットを使用して、ＩＢＶＳ誤差信号を計算することと、
前記誤差信号を使用して、ロボットモーション命令を計算することと、
を含む、方法。

【請求項13】

ワークピースの画像ベースのビジュアルサーボロボット操作を実行するシステムであって、
前記システムは、
３次元（３Ｄ）カメラと、
グリッパーを有するロボットと、
プロセッサ及びメモリを有するロボットコントローラと、
を備え、
前記コントローラは、前記ロボット及び前記カメラと通信し、前記コントローラは、
事前の実演からの所望の最終的な位置における前記ワークピースの目標画像、及び、前記グリッパーを有する前記ロボットによって操作されている前記ワークピースの現在の画像を前記カメラから受信し、
角度類似性及び距離に基づいて、前記目標画像内の線の、現在の画像内の線との最初のペアリングを決定し、
３つ以上のランダムに選択された前記線のペアを使用して最適化計算を実行して、２次元（２Ｄ）カメラ画像空間内に射影される各ペア内の第１及び第２の線間の方向及び距離について定められるコスト関数を最小化する回転及び並進変換を決定し、
前記回転及び並進変換を使用して前記最初のペアリングから計算される全ての線ペアについての方向及び距離の誤差が閾値未満になるまで、新しい３つ以上のランダムに選択された前記線のペアを使用して前記最適化計算を繰り返し、
前記回転及び並進変換を使用して、前記目標画像内の前記線の、前記現在の画像内の前記線との更新されたペアリングを決定し、
ＩＢＶＳロボットモーション制御計算で前記更新されたペアリングから線ペアの最もよくマッチングされたセットを使用し、且つ、
前記ＩＢＶＳロボットモーション制御計算に基づいて前記ワークピースを移動させるように前記ロボットを制御するように構成されている、システム。

【請求項14】

前記所望の最終的な位置における前記ワークピースは、アセンブリ内に設置される、請求項１３に記載のシステム。

【請求項15】

前記事前の実演は、人の実演者によって手動で実行されたものである、請求項１３に記載のシステム。

【請求項16】

前記目標画像内の前記線及び前記現在の画像内の前記線は、前記ロボットコントローラによって画像分析で識別される前記ワークピースの幾何学的特徴に対応する、請求項１３に記載のシステム。

【請求項17】

前記線の最初のペアリングを決定することは、前記現在の画像内の線の順序付けされたセットが、角度類似性に基づいて前記目標画像内の各線とマッチングされる第１のステップと、前記順序付けされたセットからの単一の線が、距離に基づいて前記目標画像内の各線とマッチングされる第２のステップと、を含む、請求項１３に記載のシステム。

【請求項18】

前記最適化計算は、前記第１の線の３次元（３Ｄ）表示を前記２Ｄカメラ画像空間内に射影し、且つ、前記回転及び並進変換を適用した後の前記第２の線の３Ｄ表示を前記２Ｄカメラ画像空間内に射影する制約を満たしつつ、前記３つ以上のランダムに選択された線のペアについての前記コスト関数を最小化する、請求項１３に記載のシステム。

【請求項19】

前記コスト関数は、全ての選択された線のペアについて、重み付けされた方向差の項及び重み付けされた距離の項の総和を最小化し、前記方向差の項は、２Ｄカメラ画像空間内の前記第１及び第２の線間の差のノルムであり、前記距離の項は、２Ｄカメラ画像空間内の前記第１及び第２の線間の距離である、請求項１８に記載のシステム。

【請求項20】

前記ＩＢＶＳロボットモーション制御計算は、線ペアの前記最もよくマッチングされたセット内の第１及び第２の線を第１及び第２の行列内に配置することと、前記第１及び第２の行列間の差を掛けた擬似ヤコビ行列の関数としてロボット速度ベクトルを計算することと、を含む、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、産業用ロボットモーション制御の分野に関し、より具体的には、ワークピースの配置操作を実行するロボットのビジュアルサーボ制御のための線マッチング方法に関する。ビジュアルサーボは、人の実演段階とロボットによる実行段階との間での、ワークピースにおける画像ベースの線マッチングを使用する。線マッチングは、最良の線ペアマッチングを見出すための最適化関数を使用する。線マッチングは、３次元深度データの不正確性を回避するために、カメラ画像平面内の２次元データを使用して実行される。

【背景技術】

【0002】

産業用ロボットを使用して、製造、組み立て及び材料の移動などの様々な操作を繰り返し実行させることはよく知られている。しかしながら、コンベヤー上のランダムな位置及び向きのワークピースをピックアップし、そのワークピースをコンテナ又は第２のコンベヤーに移動させるなどといった、非常に単純な操作であっても実行するようにロボットに教示することは、従来の方法では、直感的でなく、時間及び／又は費用がかかる問題があった。構成部品組み立てなどのより正確な操作を実行するようにロボットに教示することは更に問題であった。

【0003】

ロボットは従来から、ティーチペンダントを使用して人のオペレータによって、又は、人のオペレータの移動を記録するためのモーションキャプチャシステムを使用することによって、上述の種類のピックアンドプレース操作を実行するように教示されてきた。しかしながら、ティーチペンダントの使用は遅く、直感的でなく、モーションキャプチャシステムは高価で、設定するのに時間がかかる。これらの従来のシステムの欠点は、カメラを使用するがティーチペンダント及びモーションキャプチャシステムを使用しない人の実演によるロボット教示方法の開発につながっている。カメラ画像からの人の実演による教示は、多数の用途において従来の方法よりも改善されたものである。

【0004】

カメラ画像からの人の実演による教示は、アセンブリ内への構成部品の設置などの用途に必要とされるようなワークピースの正確な配置に必要とされる位置精度を欠如し得る。この制限を克服するために、ビジュアルサーボ制御が、構成部品の配置の最終的な段階に加えられ得る。ビジュアルサーボに伴う１つの問題は、人の実演画像からのワークピースの幾何学的特徴を、ロボット操作の画像からのワークピースの対応する特徴に確実にマッチングさせることである。画像内の幾何学的特徴が正確にマッチングされない場合、結果として生じる構成部品の組み立て操作は成功しない。

【0005】

上述の状況を鑑みて、ロボットによる設置及び組み立て操作のビジュアルサーボ制御のために線マッチング技術の改善が必要とされている。

【発明の概要】

【0006】

本開示の教示に従って、画像ベースのビジュアルサーボ中の線マッチングの方法が提示される。線マッチングは、人の実演段階からの目標画像を、ロボットによる実行段階の現在の画像と比較することによってワークピースの設置を実行するロボットのビジュアルサーボ制御中に採用される。複数の線が、目標画像及び現在の画像で識別され、目標線－現在の線の最初のペアリングは、距離及び角度に基づいて定められる。最適化計算は、カメラ画像平面内の２Ｄデータを使用して目標線と現在の線との間の方向及び距離の両方を含むように定式化されたコスト関数、並びに、画像平面内の線を３Ｄのワークピースの姿勢に関連付ける制約式を最小化する画像変換を決定する。コスト関数を最小化する回転及び並進変換は、線ペアマッチングを更新するために使用され、最良の線ペアは、ビジュアルサーボ中にロボットモーションを制御する差分信号を計算するために使用される。

【0007】

本開示装置及び方法の追加的特徴は、添付の図面と併せて、以下の記載及び付属する特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】図１は、本開示の一実施形態に係わる、画像ベースのビジュアルサーボの使用を含み、ワークピースのカメラ画像、及び、人の手の実演によって予め教示された軌跡を使用してピックアンドプレース操作を実行するためのロボットのシステムの図である。

【図2A】図２Ａは、本開示の一実施形態に係わる、人の実演によってアセンブリ内に設置されているワークピースの図であり、ロボット位置決めの最終的な段階は、画像ベースのビジュアルサーボによって制御される。

【図2B】図２Ｂは、本開示の一実施形態に係わる、ロボットによってアセンブリ内に設置されているワークピースの図であり、ロボット位置決めの最終的な段階は、画像ベースのビジュアルサーボによって制御される。

【図3】図３は、本開示の一実施形態に係わる、画像ベースのビジュアルサーボロボット制御方法の一部としての、線マッチング最適化計算用の２Ｄ画像空間内の線を定める技術の図である。

【図4A】図４Ａは、本開示の一実施形態に係わる、人の実演者によってアセンブリ内に設置されるワークピースの目標画像の図であり、ワークピース上の複数の線は、目標画像及び現在の画像の両方で識別されている。

【図4B】図４Ｂは、本開示の一実施形態に係わる、ロボットによってアセンブリ内に設置されているワークピースの現在の画像の図であり、ワークピース上の複数の線は、目標画像及び現在の画像の両方で識別されている。

【図5A】図５Ａは、本開示の一実施形態に係わる、図４Ａの目標画像の図であり、ワークピース上の４本の線は、目標画像及び現在の画像の両方で識別されており、各画像内の４本の線は、線マッチング最適化計算で使用される最初の線ペアリングを表す。

【図5B】図５Ｂは、本開示の一実施形態に係わる、図４Ｂの現在の画像の図であり、ワークピース上の４本の線は、目標画像及び現在の画像の両方で識別されており、各画像内の４本の線は、線マッチング最適化計算で使用される最初の線ペアリングを表す。

【図6】図６は、本開示の一実施形態に係わる、画像ベースのビジュアルサーボロボット制御中の線マッチングの方法のフロー図であり、最適化計算は、線ペアをマッチングし、現在の画像内のワークピースと目標画像内のワークピースとの間の回転及び並進変換を決定するために使用される。

【発明を実施するための形態】

【0009】

画像ベースのビジュアルサーボロボット制御用の線マッチング技術に関する本開示の実施形態に関する以下の議論は、本質的に単なる例示であり、開示される装置及び技術、又は、これら装置及び技術の用途若しくは使用を制限することを全く意図しない。

【0010】

産業用ロボットを様々な製造、組み立て及び材料移動操作に使用することはよく知られている。既知の１種のロボット操作は、「ピック、ムーブ、アンド、プレース」として知られることがある。ロボットは、第１の位置で部品又はワークピースをピックアップし、部品を移動させて第２の位置に配置する。第１の位置は、金型から取り出したばかりの部品など、ランダムな向きの部品が流れるコンベヤーベルトであり得る。第２の位置は、異なる操作に導く別のコンベヤー又は輸送コンテナであってもよいが、いずれの場合も、部品は第２の位置で特定の位置に配置され、特定の姿勢に向けられる必要がある。

【0011】

より特化した種類のロボットによる部品の移動は、ロボットに構成部品をピックアップさせ、構成部品をアセンブリ内に設置させることに関する。アセンブリ内の構成部品の設置は通常、例えば、ワークピースがコンベヤー上に単に配置される他の用途よりもはるかに正確な構成部品（ワークピース）の配置を必要とする。このように正確な配置が必要であるため、特に、ワークピースのロボットの把持の変化がワークピースの配置の変化をもたらすことを考慮すると、ロボットの構成部品の組み立て操作を教示することは困難であった。

【0012】

人の実演によるロボット教示も知られており、ここで、カメラは、開始（ピック）位置から目的（プレース）位置までワークピースを移動させる人の手の画像を撮影する。カメラ画像からの人の実演による教示は、アセンブリ内への構成部品の設置などの用途に必要とされるようなワークピースの正確な配置に必要とされる位置精度を欠如し得る。この制限を克服するために、ビジュアルサーボ制御が、構成部品の配置の最終的な段階に加えられ得る。ビジュアルサーボ制御を用いた人の実演によるロボット教示の技術は、２０２１年１２月６日に出願され、その内容全体を参照により本明細書に援用される、本出願の同一出願人による「ＲＯＢＯＴ ＴＥＡＣＨＩＮＧ ＢＹ ＤＥＭＯＮＳＴＲＡＴＩＯＮ ＷＩＴＨ ＶＩＳＵＡＬ ＳＥＲＶＯＩＮＧ」と題された米国特許出願第１７／４５７，６８８号で開示されている。前述の出願は以下で、「６８８号出願」と称される。

【0013】

図１は、６８８号出願に開示され、本開示の一実施形態で使用されるように、画像ベースのビジュアルサーボ（ＩＢＶＳ）の使用を含み、ワークピースのカメラ画像、及び、人の手の実演によって予め教示された軌跡を使用してピックアンドプレース操作を実行するためのロボットのシステム１００の図である。システム１００は、コントローラ１４０と通信するカメラ１３０を含むワークセル１０２内に配置されている。ワークセル１０２、カメラ１３０、及び、コントローラ１４０は、更に後述するように、構成部品の移動及び設置の人の実演のために予め使用される。カメラ１３０及びコントローラ１４０に加えて、ワークセル１０２は、通常、物理ケーブル１４２を介してコントローラ１４０と通信するロボット１１０を含む。ロボット１１０は、グリッパー１２０を操作する。

【0014】

システム１００は、人のオペレータによって教示されたピック、ムーブ、アンド、プレース操作を「再現」するように設計されている。ピック、ムーブ、アンド、プレースステップで記録された手及びワークピースの位置データは、以下のようなロボットプログラミング命令を生成するために使用される。ロボット１１０は、グリッパー１２０を経路１に沿って位置１２０Ａまで移動させて、位置１５０Ａでワークピース１５０をピックアップする。次いで、（１２０Ｂとして示される）グリッパー１２０は、ワークピース１５０を経路２に沿って、最終的な（設置）位置である位置１５０Ｃまで移動させる。次いで、ロボット１１０は、グリッパー１２０を経路３に沿って移動させてホーム位置まで戻す。

【0015】

上述のシステム１００では、ワークピース１５０Ｃの最終的な設置位置は、人の実演段階からの最終的なワークピースの位置によって定められる。更に、画像ベースのビジュアルサーボ（ＩＢＶＳ）は、人の実演からの最終的なワークピースの位置とマッチングするように、ロボットによる設置中にワークピース１５０を正確に位置合わせするために、経路２の最終的な部分の間に使用され得る。ＩＢＶＳロボット制御の使用は、人の実演（設置）の後のワークピースの画像を、ロボットによる設置の間のワークピースの画像と直接的に比較することによって、ロボット把持精度の不確実性を排除する。

【0016】

画像ベースのビジュアルサーボに伴う１つの問題は、人の実演画像からのワークピースの幾何学的特徴を、ロボットによる設置操作の画像からのワークピースの対応する特徴に確実にマッチングさせることである。画像内の幾何学的特徴が正確にマッチングされない場合、結果として生じる構成部品の配置が不正確になり、構成部品の設置は成功しない。

【0017】

対象物（ワークピース）上の多数の様々な種類の幾何学的特徴は、ＩＢＶＳで追跡され得る。当該特徴は、点、線、円、他の楕円、円柱、更には不規則な形状を含み、位置誤差は、２重積分画像モーメント計算を介して計算され得る。概して、点の特徴の使用は、実際のロボット環境の変化に対して堅牢（ロバスト）ではない。例えば、画像空間内の点の明白な位置は、照明条件により変化する場合があり、多数の点の特徴がほとんどの対象物上で非常に近くに配置され得るため、様々な特徴の点を分離又は区別することが困難な場合がある。一方、複雑な２Ｄ及び３Ｄ形状に関連付けられたＩＢＶＳ計算は、冗長になる場合があり、多数の対象物は、使用され得る円及び円柱などの幾何学的特徴を有していない。結局、特徴の種類の選択は、特定の対象物（ワークピース）及び設置用途に最もよく適合するように行われ得る。多数の種類のワークピースに対して、線の特徴は、堅牢性及び計算単純性の最良の組み合わせを提供する。

【0018】

図２Ａ及び図２Ｂはそれぞれ、本開示の一実施形態に係わる、人の実演及びロボットによってアセンブリ内に設置されているワークピースの図であり、ロボット位置決めの最終的な段階は、画像ベースのビジュアルサーボによって制御される。図２Ａ／図２Ｂ及び残りの本開示全体を通して使用される例は、コンピュータシャーシなどの電子デバイスアセンブリ内に設置されている冷却ファンである。コンピュータファンの設置は、（ホール内へのピンなどの）複数の機械的特徴及び（スロット内へのブレードなどの）電気接点の正確な位置合わせを必要とし得る。配置精度を必要とするため、アセンブリとのファンユニットの任意の位置又は回転の不整合は、設置ステップの失敗をもたらす。

【0019】

図２Ａでは、人の実演者（手２００だけが認識できる）は、ワークピース２１０Ａをアセンブリ２２０Ａ内に設置する。実演者は、まず、卓上又はトレイなどの近くの位置からワークピース２１０Ａをピックアップし、ボックス２４０によって示されるワークピース２１０Ａの設置位置にワークピース２１０Ａを移動させることによって、このタスクを実行する。人の実演者は、自らの視覚及び触覚を用いて、機械的特徴及び電気接点が位置合わせされるようにアセンブリ２２０Ａに対してワークピース２１０Ａを適切に位置決めする。次いで、人の実演者は、摩擦及び／又は機械的スナップロックがアセンブリ２２０Ａ内のワークピース２１０Ａを保持するように、下向きに押すことなどによってワークピース２１０Ａを設置する。

【0020】

１つ以上のカメラは、前述のように人の実演者の画像を撮影する。カメラ画像は、６８８号出願に記載され図１に示されるように、アセンブリ２２０Ａの外側の位置からボックス２４０までのワークピースの全体的な軌跡を定めるために使用され得る。加えて、ワークピース２１０Ａの最終的な設置位置におけるワークピース２１０Ａの画像は、６８８号出願にも記載されるように、ロボットによる設置プロセスのＩＢＶＳ制御に使用される。

【0021】

ＩＢＶＳ制御は、目標又は所望の画像（人によって設置されるワークピース）からの幾何学的特徴を、ロボットによる設置の現在の画像からの同様の特徴にマッチングさせることを必要とする。図２Ａでは、（斜めのハッチング線フォントで示される）線２５０、２５２、及び、２５４は、カメラ画像内で検出されるワークピース２１０Ａの直線の特徴を表す。線２５０、２５２、及び、２５４は後に、図２Ｂのカメラ画像内で識別されるワークピースの線の特徴と比較される。

【0022】

図２Ｂでは、アセンブリ２２０Ｂ内の設置のためにワークピース２１０Ｂを操作するロボットアーム２０２及びグリッパー２０４が見える。図２Ｂの画像が分析され、カメラ画像内で検出されるワークピース２１０Ｂの直線の特徴を表す線２６０、２６２、及び、２６４が識別されている。ロボットのＩＢＶＳ制御の間、ワークピース２１０Ｂは、ロボット／グリッパーによって操作されて、線２６０を線２５０と位置合わせし、線２６２を線２５２と位置合わせし、線２６４を線２５４と位置合わせする。このようなワークピース２１０Ｂの操作は、アセンブリ内への構成部品の設置の成功をもたらす。

【0023】

上述したように、ＩＢＶＳのロボットによる構成部品の設置の成功は、目標画像（予めの実演）からのワークピースの線の特徴を、ロボットによる設置の現在の画像からの対応するワークピースの線の特徴に正確にマッチングさせることにかかっている。ＩＢＶＳ制御では、目標画像は、好ましくは、ロボットによる設置が行われるときと同じワークセル内の同じカメラによって撮影される。２つの画像間の線マッチングの技術は、当該技術分野で知られているが、当該既存の線マッチング技術は、何らかの点で欠如している。ラインバンド記述子（ＬＢＤ）として知られている既存の技術は、線分を記述するために勾配計算で周囲のピクセル値を使用する。しかしながら、このＬＢＤ技術は、様々な視点からの同一のシーンの２つの画像をマッチングさせるのにより適しており、したがって、ＩＢＶＳに適していない傾向がある。別の既知の線マッチング技術は、３次元（３Ｄ）データを使用して２本の候補線間の回転及び並進変換を計算する。しかしながら、通常、３Ｄピクセル深度データに不正確性が存在することが知られているため、この技術は、対応する不正確性の欠点を有し得る。

【0024】

本開示は、２次元（２Ｄ）画像空間データに基づいて候補線ペア間の変換を計算し、それによって３Ｄピクセル深度データの内在する不正確性を回避する、２つの画像間の線マッチングの技術を記載する。開示される技術は更に、２部の最初の線ペアリング計算、及び、ランダムの線ペアを使用した反復最適化計算を使用して、線ペアマッチング精度を最大化する。開示される技術の詳細を図３～図６と関連して後述する。

【0025】

図３は、本開示の一実施形態に係わる、画像ベースのビジュアルサーボロボット制御方法の一部としての、線マッチング最適化計算用の２Ｄ画像空間内の線を定める技術の図である。ワークピース３１０は、３Ｄ空間内で姿勢３１０Ａ及び姿勢３１０Ｂで示されており、姿勢３１０Ａは、目標画像（人の実演段階からの最終的な姿勢）を表し、姿勢３１０Ｂは、ロボットによる設置からの現在の画像を表す。画像ベースのビジュアルサーボの究極の目的は、現在の画像内の線の特徴を、目標画像内の対応する線の特徴に向けて移動させるロボットモーションを計算することである。ロボットモーションを計算するために、目標画像と現在の画像との間で線ペアを正確にマッチングさせることが必要である。次いで、この線マッチングは、まず、ワークピースの姿勢３１０Ｂとワークピースの姿勢３１０Ａとの間の線マッチング誤差を最小化する回転変換Ｒ及び並進変換ｔを決定することによって最も正確に行われ得る。

【0026】

線ｌ_１（３２０）は、ワークピースの姿勢３１０Ａで識別され、対応する線ｌ_２（３２２）は、ワークピースの姿勢３１０Ｂで識別される。暫定的に（後述するように）、線ｌ_１（３２０）及び線ｌ_２（３２２）はそれぞれ、目標画像及び現在の画像内のワークピース３１０上で同じ線の特徴を表すと考えられる。同様に、他の線ペア３３０／３３２及び３４０／３４２が識別されるが、当該線ペア３３０／３３２及び３４０／３４２については、更に図３を参照して説明しない。

【0027】

３Ｄカメラ３５０は、（ワークピース３１０Ａを伴う）目標画像及び（ワークピース３１０Ｂを伴う）現在の画像の両方を撮影するために使用される。カメラ２Ｄ画像空間（平面）３６０が示されており、２Ｄ画像空間３６０は、平面（ｘ－ｙ）座標系空間内のピクセルとしての対象物を表す。２Ｄ画像空間３６０内のベクトルｖ_１（３７０）は、３Ｄ空間からの線ｌ_１（３２０）の射影に対応する。同様に、２Ｄ画像空間３６０内のベクトルｖ_２（３７２）は、３Ｄ空間からの線ｌ_２（３２２）の射影に対応する。ベクトルｖ_１（３７０）とｖ_２（３７２）との間の距離ｄは、ベクトルｖ_１（３７０）及びｖ_２（３７２）の中点間の距離などのように任意の好適な方法で定められる。

【0028】

図３に示される上述の関係を使用して、選択されたセットのｎ個の線ペアに基づいて、２Ｄ画像空間内の変換された線における誤差を最小化するコスト関数が定められ得る。コスト関数及び対応する制約式は、以下の通りである。

【数1】

【数2】

【数3】

ここで、Ｒ及びｔは、上述の回転変換値及び並進変換値であり、Ｐは、３Ｄ空間内の位置を２Ｄ画像空間内のピクセル位置に関連付ける既知のカメラ射影行列であり、ｌ_１ ^２ｄは、２Ｄ画像空間内の線ｌ_１の射影であり、ｖ_１と等しく、ｌ_２ ^２ｄは、２Ｄ画像空間内の線ｌ_２の射影であり、ｖ_２と等しく、ｌ_１ ^３ｄ及びｌ_２ ^３ｄはそれぞれ、３Ｄのｌ_１及びｌ_２である。そして、ｗ_１及びｗ_２は、式（１）のコスト関数総和における、ベクトル方向項の重み係数（ｗ_１）及びベクトル距離項の重み係数（ｗ_２）である。

【0029】

本開示の技術は、２Ｄ画像空間内で式（１）のコスト関数を定めることによって、ピクセル深度データに伴う不正確性を回避する。

【0030】

図３は、目標画像と現在の画像との間の、可能性のある３つの線ペアリングを示す。これらは、線ｌ_２（３２２）とペアの線ｌ_１（３２０）、線ペア（３３０／３３２）、及び、線ペア（３４０／３４２）である。当該３つの線ペアがそのように定められ、式（１）～（３）の最適化が、全ての３つの線ペアについて計算される（ｎ＝３）。現実世界の例では、通常、より多数の線が、目標画像及び現在の画像で定められ、その課題は、現在の画像内の各線を、当該各線と適切に対応する目標画像内の線に適切にマッチングさせることにある。これは、後の図に示され、更に後述される。

【0031】

図４Ａは、本開示の一実施形態に係わる、人の実演者によってアセンブリ４１２内に設置されるワークピース４１０Ａの目標画像４００Ａの図であり、図４Ｂは、本開示の一実施形態に係わる、ロボットによってアセンブリ４１２内に設置されているワークピース４１０Ｂの現在の画像４００Ｂの図であり、ワークピース上の複数の線は、目標画像４００Ａ及び現在の画像４００Ｂの両方で識別されている。

【0032】

実質的にワークピースのみを含む作業領域に目標画像（人の実演画像）をトリミングする技術は、６８８号出願に開示されている。当該技術は、移動が生じているピクセル領域を識別することと、人の手に属することが分かっている特徴を減算することと、を含む。直線の特徴がワークピース自体にのみ検出されるように当該技術が適用されても、特に、多数の短い直線の幾何学的特徴を有する冷却ファンワークピースの場合、依然、多数の線が通常、目標画像４００Ａ内で定められている。図４Ａでは、１２本を超える線が、目標画像４００Ａ内のワークピース４１０Ａ上で識別される。図面の図において不必要に乱雑になるのを回避するために、当該線の全てには、参照番号を付していない。線４２０～４３０が識別され、更に線マッチング手順を参照して説明される。

【0033】

現在の画像４００Ｂは、ビジュアルサーボによって制御されるロボットによる設置の間に撮影された連続的な一連の画像のうちの１つだけを表す。現在の画像がリアルタイムで迅速に連続して提供されるため、不要な線を取り除くために現在の画像を前処理するのに利用可能な時間がほとんどないか又は全くない場合がある。したがって、多数の線が、現在の画像内で識別され得、ワークピース４１０Ｂとの関連付けさえもされていない。多数の当該線は、４１４として指定される領域内で認識できる。ワークピース４１０Ｂ自体の上に、再び、１２本を超える線が、現在の画像４００Ｂ内で識別される。図面の図において不必要に乱雑になるのを回避するために、当該線の全てには、参照番号を付していない。線４４０～４５０は、現在の画像４００Ｂ内のワークピース４１０Ｂ上で識別され、更に線マッチング手順を参照して説明される。

【0034】

図４Ａ内の線４２０～４３０及び図４Ｂ内の線４４０～４５０は、開示される線マッチング手順の次の説明のために示されている。線４２０～４５０は、人の実演、及び、ビジュアルサーボによって制御されるロボットによる設置の実際のカメラ画像に基づいた図面の図における具体的な特徴と正確にマッチングすることを意味するものではない。

【0035】

ワークピース４１０Ｂは依然、ロボットによって、ワークピース４１０Ｂの最終的な位置に向けて操作されているため、画像ベースのビジュアルサーボの間、現在の画像４００Ｂ内のワークピース４１０Ｂは定義により、現在の画像４００Ａ内のワークピース４１０Ａとは異なる位置及び／又は向きにある。このため、特に、多数の線が各画像内に存在する場合、目標画像と現在の画像との間で線を正確にマッチングさせることが困難な場合がある。この問題を克服するために、本開示の技術は、後述の３ステップの線マッチング手順を使用する。

【0036】

開示される線マッチング手順の第１のステップは、目標画像内の線と現在の画像内の線との間で最初の線ペアリングを生成することである。この第１のステップ自体は、２つのサブステップ、すなわち、角度類似性比較及び距離比較を含む。以下の説明について、線Ａ、線Ｂ、線Ｃ、線Ｄ、線Ｅ、及び、線Ｆとして指定される（目標画像４００Ａ内の）ワークピース４１０Ａ上の線４２０～４３０を検討する。同様に、線Ｐ、線Ｑ、線Ｒ、線Ｓ、線Ｔ、及び、線Ｕとして指定される（現在の画像４００Ｂ内の）ワークピース４１０Ｂ上の線４４０～４５０を検討する。

【0037】

ステップ１．１（角度類似性比較）では、（目標画像４００Ａ内の）ワークピース４１０Ａ上の各線は、２Ｄ画像空間内の線の明白な角度の比較に基づいて、（目標の現在４００Ｂの）ワークピース４１０Ｂ上のいくつかの線とマッチングされる。例えば、目標画像４００Ａからの線Ａの角度が現在の画像４００Ｂ内の線の全ての角度と比較され、角度差が小さい順に線を挙げるランク順序付けが生成される、換言すれば、まず、線Ａの角度に最も近い角度を有する現在の画像４００Ｂからの線が挙げられ、２番目に、次に近い角度を有する線が挙げられ、以降同様である。

【0038】

上述の計算に基づいて、ステップ１．１（角度類似性比較）は、目標画像４００Ａ内の全ての線に対する現在の画像４００Ｂからの同様の角度の線のランク順序付けリストをもたらす。角度類似性リストは、以下の表に示される。

【表1】

【0039】

ステップ１．２（距離比較）では、（目標画像４００Ａ内の）ワークピース４１０Ａ上の各線から、角度類似性からの各線のランク順序付けリスト内の各線までの距離が計算される。例えば、表１から、線Ａから線Ｔまでの距離が計算され、線Ａから線Ｒまでの距離、線Ａから線Ｐまでの距離などが一緒に計算される。

【0040】

各線ペアについての距離は、以下のように計算される。２本の線が２Ｄ画像空間内で「重複する」場合（すなわち、ペア内の第１の線が、垂直ベクトルに沿って射影され、ペア内の第２の線の部分と交差し得る場合）、重複する各端における距離が計算され、これらの２つの距離の最大値が使用される。ペア内の２本の線が２Ｄ画像空間内で重複しない場合、距離として、ペア内の一方の線の中心から、ペア内の他方の線の中心までの距離が使用される。

【0041】

（目標画像４００Ａ内の）ワークピース４１０Ａ上の各線について、角度類似性からのトップランクの線が、距離計算においても最も近い線である場合、その線が最初の線ペアとして識別される。距離比較が角度比較とマッチングしない場合、最初のペアリングについて最もよくマッチングする線を識別するために、角度差及び距離の重み付け比較が使用され得る。

【0042】

上述の計算に基づいて、ステップ１．２（距離及び角度比較）は、目標画像４００Ａ内の各線と最もよくマッチングする現在の画像４００Ｂからの線の１：１のペアリングをもたらす。角度類似性及び距離の両方に基づく最初のペアリングは、以下の表に示される。

【表2】

【0043】

表２に示される角度及び距離比較からの線ペアリングは単に、最初のペアリングであることを強調する。この最初のペアリングにおける線ペアリングの一部は、目標画像及び現在の画像内の実際の幾何学的特徴の正確なペアリングでない場合もあるが、開示される線マッチング手順は、この種の不確実性に対処するのに充分堅牢である。これについて、以下の説明で更に説明する。通常、目標画像及び現在の画像の各々において６本をはるかに超える数の線が存在することにも留意されたい。このことは、後述の計算でも重要である。

【0044】

線マッチング手順の第２のステップは、最初のペアリング（第１のステップ）から複数の線のペアをランダムに選択し、変換Ｒ及びｔの最良の値を見出して前述のコスト関数を最小化するために最適化計算を実行することである。図５Ａ及び図５Ｂに示される例の以下の説明では、ランダムに選択された４つの線のペアが使用されるが、より少ない数（３つ）の線ペア又はより多い数（５つ以上）の線ペアが選択されてもよい。

【0045】

図５Ａは、本開示の一実施形態に係わる、図４Ａの目標画像４００Ａの図であり、図５Ｂは、本開示の一実施形態に係わる、図４Ｂの現在の画像４００Ｂの図であり、ワークピース上の４本の線は、目標画像及び現在の画像の両方で識別されており、各画像内の４本の線は、線マッチング最適化計算で使用される最初の線ペアリングを表す。

【0046】

図５Ａ及び図５Ｂは、ワークピース上で識別される線においてのみ図４Ａ及び図４Ｂと異なる。図５Ａでは、４本の線のみ（５０２～５０８）がワークピース４１０Ａ上に示されており、図５Ｂでは、対応する４本の線（５１２～５１８）がワークピース４１０Ｂ上に示されている。ワークピース４１０Ａ上の４本の線５０２～５０８及びワークピース４０１Ｂ上の４本の線５１２～５１８は、線マッチング最適化計算の最初の反復について選択された４つの線ペアを表す。上述の最初のペアリング計算から、線５０２は、線５１２とペアリングされ、他の線ペアリングは、（５０４、５１４）、（５０６、５１６）、及び、（５０８、５１８）であった。再度強調するが、図４Ａ及び図４Ｂに示されるように、より多数の線及び線ペアリングが目標画像及び現在の画像内で利用可能である。

【0047】

線マッチング手順の第２のステップは、選択された４つの線ペアを使用して最適化計算を実行することである。図３の前述の説明で、コスト関数を最小化する変換値Ｒ及びｔを見出すためにどのように最適化計算が採用され得るかを記載した。コスト関数及び関連付けられる制約は、式（１）～（３）として上記で定めた。式（１）～（３）は、線ｌ_１及びｌ_２のペアについて定められ、ｌ_１は、目標画像内の幾何学的特徴を表す線であり、ｌ_２は、現在の画像内の同じ幾何学的特徴であると考えられるものを表す線である。ここで、最初の線ペアリングを使用して、式（１）～（３）の最適化計算が図５Ａ及び図５Ｂの４つの線ペアで実行され得る。換言すれば、ｎ＝４であり、式（１）～（３）が、４つの線ペア、すなわち、（５０２、５１２）、（５０４、５１４）、（５０６、５１６）、及び、（５０８、５１８）の各々について計算され、最適化は、これらの４つの線ペアについて目的関数を最小化するＲ及びｔの値に収束する。

【0048】

線マッチング手順の第２のステップ（最適化計算）は、Ｒ及びｔの値の所望のレベルの精度を達成するために、各回で、最初のペアリングとは異なる、ランダムに選択された４つの線のペアを使用して、必要に応じて何度も繰り返され得る。

【0049】

線マッチング手順の第３のステップは、最新の最適化計算で計算されたばかりのＲ及びｔの値に基づいて、ペアリングされた全ての線の全誤差を評価することである。全誤差ｅは、以下のように計算される。

【数4】

ここで、ｖ_１は、２Ｄ画像空間内の目標画像の線であり、ｖ_２は、上述の回転変換Ｒ及び並進変換ｔの後の２Ｄ画像空間内のペアマッチングされた現在の画像の線であり、ｄは、前述のようにｖ_１とｖ_２との間の距離であり、ｗ_１及びｗ_２は、前述のように重み係数である。線ペアの総数は、ｍである。例えば、表２には、６つの線ペア（線Ａ～Ｆ、ｍ＝６）が存在していた。実際の実装では、図４Ａに示されるように、（１０～２０本などの）より多くの数の線が目標画像上で識別され得、これらの多数の線の各々について線ペアマッチングが定められている。したがって、実際の実装では、ｍの値は、１０～２０の範囲内であり得、全誤差は、線の全てを含む総和で計算される。

【0050】

全誤差ｅは、式（４）を使用して計算された後、既定の閾値δと比較される。全誤差が閾値以上（ｅ≧δ）である場合、プロセスは、最初のペアリングとは異なるランダムに選択された４つの線のペアを使用して最適化計算が繰り返されるステップ２に戻る。これは、Ｒ及びｔの異なる値をもたらし、ステップ３で全誤差が再度計算される。ステップ２及びステップ３のこのループは、全誤差が閾値未満（ｅ＜δ）になるまで続き、そのポイントで、変換値Ｒ及びｔは、正確であると考えられる。

【0051】

前述したように、ステップ１での最初のペアリングからの線ペアの一部が正確でない場合であっても、ステップ２及び３での繰り返しの最適化計算及び誤差チェックは、正当な線ペアが最終的に使用され、且つ、変換Ｒ及びｔの正確な値が計算されることを保証する。

【0052】

上述の線マッチング最適化計算は、目標画像（人の実演からの最終的な画像）とマッチングするように（ＩＢＶＳのロボット制御中の）現在の画像を変換することが必要とされるＲ及びｔの正確な値を提供する。次いで、Ｒ及びｔの当該値は、現在の画像及び目標画像からの線を再ペアリングするために使用される。

【0053】

Ｒ及びｔの最適化された値を使用して現在の画像を変換し、次いで、現在の画像の線の新しい位置を使用し、上述の線マッチング手順のステップ１における最初のペアリングに使用された角度及び距離計算を再適用することによって、現在の画像及び目標画像からの線の再ペアリングが実行される。角度及び距離計算を再適用した後、角度及び距離の特定の許容差内でマッチングする線ペアのみが、ロボットの次のＩＢＶＳ制御に使用される。すなわち、目標画像内のワークピース上の特定の線が、Ｒ及びｔを使用して変換した後の現在の画像内のワークピース上の線と厳密にマッチングしない場合、その特定の線は、ＩＢＶＳ制御計算で使用されない。同様に、現在の画像内のワークピース上の一部の線は、目標画像内のワークピース上の線との最良のマッチングではない場合があり、現在の画像からの当該線は、ＩＢＶＳ制御計算で使用されない。以下のＩＢＶＳ制御計算について少なくとも３つの充分にマッチングされた線ペアを有することが好ましく、大抵、このことは、目標画像及び現在の画像内のワークピース上に通常、多数の線が存在するため問題ではない。

【0054】

新しい線ペアリングを用いて、ロボットの画像ベースのビジュアルサーボ制御は、現在の画像から目標画像への幾何学的特徴（線）の正確なマッチングにより実行され得る。ロボットのＩＢＶＳ制御の既知の技術は、現在の画像内の幾何学的特徴と、目標画像内の対応する幾何学的特徴との間の差として「誤差」を計算し、次いで、当該誤差を使用してロボットグリッパーモーションを計算する。この技術は、以下の式で具現化される。

【数5】

【数6】

ここで、

【数7】

は、ロボットコントローラによって適用されるロボットモーション（速度）ベクトルであり、ｅ（ｔ）は、「誤差」であり、Ｊ^†は、既知のヤコビ行列の擬似逆であり（ヤコビの真の逆を直接的に計算することができない場合があるため、擬似逆が使用され）、λは、定数である。式（５）において、Ｘ_ｄは、目標画像からの線の行列であり（下付きのｄは、「所望の」位置に対するものであり）、Ｘ（ｔ）は、Ｘ_ｄ内の線と１：１でマッチングされた現在の画像からの線の行列である。新しい現在の画像が、新しいロボット制御サイクルごとに提供されるため、行列Ｘ（ｔ）は、時間の関数として変化する。現在の画像を変換し、線を再ペアリングした後、高品質にマッチングされた３つの線ペアが存在する例を検討する。（図面に示されていない新しい例示的な線の番号を使用した）３つの線ペアは、（線２０、線４４）、（線２３、線４７）、及び、（線２５、線５１）であり、各ペアで挙げられる第１の線は、目標画像からのものであり、第２の線は、現在の画像からのものである。したがって、この例では、Ｘ_ｄ＝［線２０、線２３、線２５］であり、Ｘ（ｔ）＝［線４４、線４７、線５１］である。

【0055】

目標画像（Ｘ_ｄ）及び現在の画像（Ｘ（ｔ））からの高品質にマッチングされた線のペアを使用して、ロボットのデカルト速度ベクトル（ｒｏｂｏｔ Ｃａｒｔｅｓｉａｎ ｖｅｌｏｃｉｔｙ）

【数8】

が、式（５）及び（６）を使用して計算され、ロボットモーションの増分を制御するために使用され、次いで、新しい現在の画像が提供され、線マッチング手順を再び使用して、マッチングされた線ペアのセットを提供し式（５）及び（６）で使用して、ロボットモーションの次の増分を制御する。ＩＢＶＳ制御のロボットが、人の実演からの目標画像とマッチングする設置位置にワークピースを移動させるまで、このプロセスはリアルタイムで続く。

【0056】

また、前述され、６８８号出願で詳細に記載されるように、ロボットは、ワークピースをピックアップし、且つ、既定の軌跡の大部分（軌跡も人の実演によって教示される）に沿ってワークピースを移動させるようにプログラミングされ得、そして、ＩＢＶＳ制御は、優れた精度の配置が必要とされる設置の最終的な段階にのみ使用される。

【0057】

図６は、本開示の一実施形態に係わる、画像ベースのビジュアルサーボロボット制御中の線マッチングの方法のフロー図６００であり、最適化計算は、線ペアをマッチングし、現在の画像内のワークピースと目標画像内のワークピースとの間の回転及び並進変換を決定するために使用される。ボックス６０２で、目標画像及び現在の画像が提供される。図１及び図２に示され前述したように、目標画像は、人の実演からの、設置されるワークピースの最終的な画像であり、現在の画像は、ＩＢＶＳ制御を使用して実行されているロボットによる設置の最新の画像である。好ましい実施形態では、画像は、カメラ１３０によってコントローラ１４０に提供される。

【0058】

ボックス６０４で、ワークピース上の線が、目標画像及び現在の画像内で識別される。同じ目標画像が、ＩＢＶＳのロボットによる設置全体を通して使用されるため、ボックス６０２での目標画像の提供、及び、ボックス６０４での目標画像内のワークピース上の線の識別は、一度だけ行われる必要がある。新しい現在の画像がロボット制御サイクルごとに使用されるため、ボックス６０４での現在の画像内のワークピース上の線の識別は、新しい現在の画像ごとに実行される必要がある。

【0059】

ボックス６０６で、最初の線ペアリングが、目標画像内のワークピース上の線と、現在の画像内のワークピース上の線との間で計算される。これは、上述したような線マッチング手順のステップ１であり、ステップ１．１は、角度類似性を計算して、目標画像からの各線について、現在の画像からの線の順序付けリストを提供し、ステップ１．２は、距離を計算し、目標画像と現在の画像との間の１：１の最初の線のペアリングをもたらす。

【0060】

ボックス６０８で、最適化計算が、最初のペアリングから４つのランダムの線のペアを使用して実行される。最適化計算は、前述の式（１）～（３）で定められたものであり、コスト関数式（１）を最小化する変換値Ｒ及びｔを見出すことを含み、コスト関数は、２Ｄ画像空間内への線ペアのベクトル射影間での方向差の項及び距離の項を含む。決定ダイヤモンド６１０で、計算されたばかりのＲ及びｔの値についての線マッチング全誤差ｅが式（４）を使用して計算され、誤差ｅは、既定の閾値δと比較される。誤差ｅが閾値δ以上である場合、プロセスは、ボックス６０８にループバックして、４つの線ペアの新しいランダムのセットを使用して最適化計算を再び実行する。

【0061】

誤差ｅが閾値δ未満である場合、ボックス６１２で、Ｒ及びｔの最適化された値を使用して、線ペアマッチングを更新する。前述したように、これは、Ｒ及びｔを使用して現在の画像を変換し、次いで、最初のペアリングに関する角度及び距離計算を使用して現在の画像からの線を目標画像からの線に再ペアリングすることによって行われる。ボックス６１２の結果は、３つ以上の充分にマッチングされた線のペアであり、各ペアは、目標画像内のワークピース上の線を、現在の画像内のワークピース上の線にマッチングさせる。

【0062】

前述したように、最適化計算は、好ましい実施形態で使用されるペアの数である４つのランダムに選択された線のペアを使用して上記に記載されている。しかしながら、より少ない数（３つ）の線ペア又はより多い数（５つ以上）の線ペアが選択されてもよい。

【0063】

ボックス６１４で、ボックス６１２からの充分にマッチングされた線ペアを使用して、ＩＢＶＳ制御のロボットモーションを計算する。これは、上述の式（５）及び（６）を使用して行われ、式（５）は、現在の画像からの線の行列Ｘ（ｔ）と、目標画像からの線の行列Ｘ_ｄとの間の誤差信号ｅ（ｔ）を計算し、式（６）は、誤差信号ｅ（ｔ）及びヤコビの擬似逆からロボットのデカルト速度ベクトル

【数9】

を計算する。ロボットのデカルト速度ベクトル

【数10】

は、当該技術分野で既知のように、ロボットを制御するために使用されるロボット関節ベクトルを計算するために、逆運動学計算で使用され得る。ワークピースが、ワークピースの最終的な位置に設置されるまで、ロボットがワークピースを移動させるにつれて定期的に新しい現在の画像が提供されて、図６の方法は、連続的にリアルタイムで繰り返される。

【0064】

前述の説明の全体を通して、様々なコンピュータ及びコントローラが記載及び示唆される。このようなコンピュータ及びコントローラのソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つ以上のコンピューティングデバイス上で実行されることを理解されたい。特に、これは、上述のロボットコントローラ１４０内のプロセッサを含む。具体的には、コントローラ１４０内のプロセッサは、上述の方法でＩＢＶＳロボット制御用の最適化ベースの線マッチングを実行するように構成されている。代替的な実施形態では、本開示の線マッチング計算を実行するために、ロボットコントローラ１４０とは別々のコンピュータが使用されてもよく、コンピュータは、マッチングされた線ペア又はＩＢＶＳ制御信号をコントローラ１４０に提供する。

【0065】

先に概説したように、画像ベースのビジュアルサーボロボット制御用の開示される線マッチング技術は、人の実演からの目標画像内の特徴と、ロボットによる実行からの現在の画像内の対応する特徴との間の高速且つ正確な線マッチングを提供する。線マッチング技術は、３Ｄ深度データの不正確性を回避するために２Ｄ画像平面データを使用するコスト関数を含み、目標画像及び現在の画像からの適切にマッチングされた幾何学的特徴のみが画像ベースのビジュアルサーボ中にロボットを制御するために使用されることを保証する更新された線ペアを最終的に提供する。

【0066】

ここまで、画像ベースのビジュアルサーボロボット制御用の線マッチング技術のいくつかの好ましい態様及び実施形態を述べてきたが、当業者によって、それらの修正、並び替え、追加、及び、副次的組み合わせが認識されるであろう。したがって、以下の添付の特許請求の範囲及び以下に導入される特許請求の範囲は、これらの真の精神及び範囲内にあるよう、そのような修正、並び替え、追加、及び、副次的組み合わせを全て含むと解釈されることが意図される。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【外国語明細書】