特許 7175203 先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-10

(45)【発行日】2022-11-18

(54)【発明の名称】先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221111BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 8

(21)【出願番号】P 2019004276

(22)【出願日】2019-01-15

(65)【公開番号】P2020110881

(43)【公開日】2020-07-27

【審査請求日】2021-09-15

(73)【特許権者】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】北井 基善

【審査官】杉山 悟史

(56)【参考文献】

【文献】特開平０６－１８８０６１（ＪＰ，Ａ）

【文献】特開２０１４－１７６９１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ～ ２１／０２

(57)【特許請求の範囲】

【請求項1】

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材位置算出方法であって、
前記先端部材の画像情報を取得する画像取得工程と、
前記画像情報から先端部材領域を抽出する工程と、
抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する先端部材位置算出工程と、
を備え、
前記先端部材領域を抽出する工程は、前記線状部材の画像情報を取得し、取得した前記線状部材の前記画像情報を、先端部材画像領域と線材画像領域とに分離する画像情報分離工程を含む、
先端部材位置算出方法。

【請求項2】

前記先端部材位置算出工程は、前記先端部材領域に基づき、前記先端部材の向きである軸線を算出する軸線算出工程を含む、
請求項１に記載の先端部材位置算出方法。

【請求項3】

前記軸線算出工程は、
前記先端部材領域における一端側の中点および他端側の中点を計算し、それぞれの中点を結んで軸線を算出する工程である、
請求項２に記載の先端部材位置算出方法。

【請求項4】

請求項１から請求項３のいずれか一項に記載の前記先端部材位置算出方法で算出した前記先端部材の位置に基づき、ロボットハンドが前記先端部材を把持する把持工程を備える、先端部材把持方法。

【請求項5】

先端部材接続方法であって、
請求項４に記載の前記先端部材把持方法で把持した前記先端部材を、前記ロボットハンドを用いて、接続部材に接続する接続工程を有する、先端部材接続方法。

【請求項6】

前記先端部材の画像情報に基づいて、前記先端部材の回転角度を算出する回転角度算出工程をさらに備え、
前記接続工程は、算出した前記回転角度に基づいて、前記先端部材を前記接続部材に接続する、
請求項５に記載の先端部材接続方法。

【請求項7】

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材位置算出システムであって、
前記先端部材の画像情報を取得する画像取得装置と、
前記画像情報から先端部材領域を抽出し、抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する演算部と、
を備え、
前記先端部材領域を抽出する工程は、前記線状部材の画像情報を取得し、取得した前記線状部材の前記画像情報を、先端部材画像領域と線材画像領域とに分離する画像情報分離工程を含む、
先端部材位置算出システム。

【請求項8】

先端部材および前記先端部材が接続された線材を備える線状部材の先端部材把持システムであって、
前記先端部材の画像情報を取得する画像取得装置と、
前記画像情報から先端部材領域を抽出し、抽出した前記先端部材領域に基づき、前記先端部材の位置を算出する演算部と、
算出された前記先端部材の位置に基づいて、前記先端部材を把持する把持部と、
を有し、
前記先端部材領域を抽出する工程は、前記線状部材の画像情報を取得し、取得した前記線状部材の前記画像情報を、先端部材画像領域と線材画像領域とに分離する画像情報分離工程を含む、
先端部材把持システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムに関する。

【背景技術】

【0002】

対象物を三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状部材を把持することについては、たとえば特開２０１４－１７６９１７号公報（特許文献１）に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡でスライドさせて他端に移動させる装置が記載されている。これにより、線状部材の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１７６９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

線状部材としてのコネクタは、電線等の線材の先端部に、プラグ等の先端部材が接続されている場合が多い。ロボットハンドの把持部、例えば、グリッパで先端部材を直接把持し、先端部材を所定の位置に移動させたり、先端部材をコネクタハウジング等の接続部材に接続すること等が想定される。

【0005】

この場合、画像処理方法を用いて線状部材の位置情報を取得するが、先端部材の位置情報を正確に取得することが重要となる。

【0006】

この発明は、上記課題を解決することを目的としており、線状部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供することにある。

【課題を解決するための手段】

【0007】

この開示における先端部材位置算出方法は、先端部材および上記先端部材が接続された線材を備える線状部材の先端部材位置算出方法であって、上記先端部材の画像情報を取得する画像取得工程と、上記画像情報から上記先端部材領域を抽出する工程と、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する先端部材位置算出工程と、を備える。

【0008】

他の形態においては、上記先端部材位置算出工程は、上記先端部材領域に基づき、上記先端部材の向きである軸線を算出する軸線算出工程を含む。

【0009】

他の形態においては、上記軸線算出工程は、上記先端部材領域における一端側の中点および他端側の中点を計算し、それぞれの中点を結んで軸線を算出する工程である。

【0010】

他の形態においては、上記軸線算出工程は、上記先端部材の画像情報における上記先端部材の主成分分析により、軸線を算出する工程である。

【0011】

他の形態においては、上記先端部材位置算出工程は、上記軸線と上記先端部材領域との重なる部分に基づき、上記先端部材の位置を算出する。

【0012】

他の形態においては、上記先端部材領域を抽出する工程は、上記線状部材の画像情報を取得し、取得した上記線状部材の上記画像情報を、先端部材画像領域と線材画像領域とに分離する画像情報分離工程を備える。

【0013】

この開示における先端部材把持方法は、上述のいずれかに記載の先端部材位置算出方法で算出した上記先端部材の位置に基づき、ロボットハンドが上記先端部材を把持する把持工程を備える。

【0014】

この開示における先端部材接続方法は、上記先端部材把持方法で把持した上記先端部材を、上記ロボットハンドを用いて、接続部材に接続する接続工程を有する。

【0015】

他の形態においては、上記先端部材の画像情報に基づいて、上記先端部材の回転角度を算出する回転角度算出工程をさらに備え、上記接続工程は、算出した上記回転角度に基づいて、上記先端部材を上記接続部材に接続する。

【0016】

この開示における先端部材位置算出システムは、先端部材および上記先端部材が接続された線材を備える線状部材の先端部材位置算出システムであって、上記先端部材の画像情報を取得する画像取得装置と、上記画像情報から上記先端部材領域を抽出し、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する演算部と、を備える。

【0017】

この開示における先端部材把持システムは、先端部材および前記先端部材が接続された線材を備える線状部材の先端部材把持システムであって、上記先端部材の画像情報を取得する画像取得装置と、上記画像情報から上記先端部材領域を抽出し、抽出した上記先端部材領域に基づき、上記先端部材の位置を算出する演算部と、上記算出された上記先端部材の位置に基づいて、上記先端部材を把持する把持部と、を有する。

【発明の効果】

【0018】

この発明によれば、先端部材の位置情報を正確に取得することが可能な、先端部材位置算出方法、先端部材把持方法、先端部材接続方法、先端部材位置算出システム、および、先端部材把持システムを提供することを可能とする。

【図面の簡単な説明】

【0019】

【図1】関連技術の三次元計測装置の機能ブロック図である。

【図2】関連技術の三次元計測方法を説明するための図である。

【図3】関連技術の三次元計測方法の工程フロー図である。

【図4】ステレオカメラで撮像された第１画像を示す図である。

【図5】ステレオカメラで撮像された第２画像を示す図である。

【図6】関連技術の三次元計測方法の第１抽出工程の操作フロー図である。

【図7】第１線像が抽出された第１画像を示す図である。

【図8】第２線像が抽出された第１画像を示す図である。

【図9】着目点が選択された第１画像を示す図である。

【図10】エピポーラ線と第２線像との交点が求められた第２画像を示す図である。

【図11】色テーブルの一例を示す図である。

【図12】電線の先端部にプラグが接続されたコネクタを画像撮影した図である。

【図13】図１２に示された図に基づき、電線およびプラグのＹ座標ごとの中心位置を計算した結果を示す図である。

【図14】図１３に示す各点の三次元位置の情報から得られたコネクタの三次元位置の情報を示す図である。

【図15】本実施の形態における先端部材位置算出方法を示すフロー図である。

【図16】電線の先端部にプラグが接続されたコネクタを示す図である。

【図17】図１６に示す電線およびプラグの画像処理情報を示す図である。

【図18】図１７に示す電線の画像領域を分離した図である。

【図19】図１８に示す各点の三次元情報から得られた電線の三次元画像情報である。

【図20】図１７に示すプラグの画像領域を分離した図である。

【図21】図２０に示す第１中心軸位置から得られたプラグの三次元画像情報である。

【図22】電線の先端部にプラグが接続された電気機器を示す図である。

【図23】プラグの正面を示す図である。

【図24】コネクタハウジングの正面を示す図である。

【図25】本実施の形態の先端部材把持システムの全体図である。

【図26】本実施の形態の接続工程の自動化システムのフローを示す図である。

【図27】本実施の形態のロボットハンドに採用されるグリッパの詳細構造を示す斜視図である。

【発明を実施するための形態】

【0020】

本実施の形態について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。

【0021】

以下の開示においては、線状物の一例として電線を用いた場合について説明しているが、電線に限定されるものではない。この説明での線状物とは、細長い形状を有する物体であれば何でもよい。線状物の一例としては、電線、ワイヤーハーネス、はんだ、紐、糸、繊維、ガラス繊維、光ファイバ、チューブ、その他の線状物が挙げられる。細線を束にした電線に限定されず、一本線から構成される電線等も含まれる。

【0022】

（関連技術：線状物の三次元計測方法および三次元計測装置）
以下、図１から図１１を参照して、関連技術として、線状物の三次元計測方法および装置の一例について説明する。

【0023】

図１を参照して、三次元計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、および、入出力部１７を備える。演算部１５、記憶部１６、および、入出力部１７を総称して、制御部と呼ぶことがある。

【0024】

ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、および、カメラ制御部１４を含む。第１カメラ１２は、カラーの二次元画像である第１画像を撮像するカラーカメラである。第２カメラ１３は、カラーの二次元画像である第２画像を撮像するカラーカメラであって、第１カメラ１２に対する相対位置が固定されている。

【0025】

カメラ制御部１４は、第１カメラ１２および第２カメラ１３を制御し、演算部１５との通信を行なう。カメラ制御部１４は、たとえば、演算部１５から撮像指示を受信して第１カメラ１２および第２カメラ１３に撮像指示を送信し、第１画像および第２画像を演算部１５に転送する。

【0026】

演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１画像および第２画像を処理して線状物の三次元位置を算出する。記憶部１６は、ステレオカメラ１１が撮像した第１画像および第２画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示する。

【0027】

図２を参照して、この計測方法では、電線２１、電線２２および電線２３を第１カメラ１２および第２カメラ１３で撮像する。電線２１上のある点Ｐに対して、第１カメラによる第１画像３０への投影点Ｑと、第２カメラによる第２画像４０への投影点Ｒが得られれば、既知である第１カメラおよび第２カメラの位置情報を利用して、点Ｐの三次元位置を算出することができる。第１カメラおよび第２カメラの位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。

【0028】

図２は白黒で描かれているが、計測対象である３本の電線２１、電線２２および電線２３は色分けされており、互いに異なる色、たとえば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されない。

【0029】

図３は、三次元計測方法のフロー図である。以下、各工程について説明する。
計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図１１に、電線の種類毎に、その色を赤・緑・青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。

【0030】

計測時には、ステレオカメラ１１で電線２１、電線２２および電線２３を撮像する。電線２１、電線２２および電線２３は第１カメラ１２によって第１画像３０に撮像される。それと同時に、電線２１、電線２２および電線２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２画像４０に撮像される。第１画像および第２画像は演算部１５に転送され、記憶部１６に記憶される。

【0031】

演算部１５は、ステレオカメラ１１から第１画像３０および第２画像４０を取得する。このとき、図４を参照して、第１画像３０には３本の電線２１、電線２２および電線２３のそれぞれ像３１、像３２および像３３が写っている。同様に、図５を参照して、第２画像４０には３本の電線２１、電線２２および電線２３のそれぞれの像４１、像４２および像４３が写っている。

【0032】

演算部１５は、第１画像３０上で、特定の電線２１を第１線像として抽出する。図６を参照して、この第１線像を抽出する工程（第１線像抽出工程）は、色による比較操作、二値化操作、ノイズ除去操作、細線化操作等に基づく。

【0033】

色による抽出操作では、演算部１５は計測しようとする電線２１の色を色テーブルから取得して、第１画像３０上でその特定の色の電線２１の像３１だけを第１線像３４として抽出する。

【0034】

具体的には、第１画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行なうことができる。

【0035】

たとえば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１画像３０の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。

【0036】

次に、第１画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を１とし、異なる色と判定した画素を０とすることで２値化できる。

【0037】

次に、第１画像３０に対してノイズ除去操作を行なう。上記色による抽出操作によって第１線像３４が抽出されたが、第１画像にはカメラのショットノイズなどによる孤立した画素が残っている。１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、各電線の像３１、像３２および像３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れや孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。

【0038】

次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。

【0039】

図７に得られた第１線像３４を示す。第１線像が抽出された第１画像３０は記憶部１６に記憶される。

【0040】

図３に戻って、第２画像４０に対しても第１画像３０と同様の操作を行い、第２線像４４を抽出する（第２線像抽出工程）。図８に第２線像４４を示す。第２線像が抽出された第２画像は記憶部１６に記憶される。

【0041】

図９を参照して、演算部は、第１画像３０の第１線像３４上に着目点Ｑを選択する。点Ｑは電線２１の点Ｐ（図２）の第１画像への投影点である。

【0042】

図１０を参照して、演算部は、第２画像４０上で、第１画像３０の着目点Ｑに対応するエピポーラ線４５を求める。第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図２）の第２画像への投影点である。

【0043】

以上の工程により、図２に示した電線２１の点Ｐに対して、第１画像３０への投影点Ｑと、第２画像４０への投影点Ｒが得られたので、演算部は点Ｐの三次元位置を算出する。

【0044】

次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら三次元位置を求めることによって、電線２１の三次元計測を行なう。

【0045】

電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、たとえば電線２２の三次元計測を行なう場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１画像および第２画像に対して、第１線像抽出工程から後の工程を繰り返す。

【0046】

ここで、色テーブルについて、さらに詳しく説明する。
図１１に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判定されれば、当該線状物であると判断してもよい。色はＲＧＢ以外の表色系で記録されていてもよい。たとえば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラからの出力がＲＧＢ値であっても、表色系間の換算は容易である。

【0047】

画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。たとえば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。

【0048】

色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１カメラまたは第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１画像および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。

【0049】

たとえば、上記三次元計測方法における把持対象の線状物としては、ケーブルの他、ワイヤーハーネス、その他種々の線状物に適用可能である。上記工程および操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。

【0050】

上記三次元計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測先端部材の形状その他の特徴に着目したマッチング方法を併用するメリットがある。

【0051】

＜先端部材位置算出方法についての検討＞
次に、上記線状物の三次元計測方法を用いた、先端部材位置算出方法について検討する。具体的には、先端部材と、この先端部材が接続された線材とのそれぞれの三次元データを正確に取得するための、先端部材位置算出方法について検討する。

【0052】

図１２は、先端部材としてのプラグＣ１１と、このプラグＣ１１が接続された線材としての電線Ｃ１２とを備える線状部材としてのコネクタＣ１を画像撮影した図である。通常、電線Ｃ１２の径は、プラグＣ１１の径よりも細く、プラグＣ１１と電線Ｃ１２との接続部には、段差が生じる。

【0053】

図１３に、図１２に示された図に基づき、電線およびプラグのＹ座標ごとの中心位置を計算した結果を示す図である。上述した「線状物の三次元計測方法」を用いて、コネクタＣ１に対して、コネクタＣ１上のＰ１からＰ１４の１４点について、各点の三次元座標を算出する。

【0054】

図１４に、図１３に示す各点の三次元座標の情報から、コネクタＣ１の三次元座標標Ｇ１が得られる。三次元座標標Ｇ１のうち、プラグＣ１１の三次元座標Ｇ１１と電線Ｃ１２の三次元座標Ｇ１２が得られている。

【0055】

しかしながら、図１４からも明らかなように、実際のコネクタＣ１の形状に対して、三次元座標標Ｇ１の形態は、乖離している。図１４中の矢印で示す箇所には、大きな凹凸が発生している。これは、プラグＣ１１と電線Ｃ１２との接続部には段差が生じている結果、この部分でプラグＣ１１および電線Ｃ１２の正確な三次元座標が得られていないことに起因している。

【0056】

（本実施の形態：先端部材位置算出方法）
以下、図１５から図２１を参照して、上記検討結果に基づく、本実施の形態の先端部材位置算出方法について説明する。図１５は、本実施の形態における先端部材位置算出方法を示すフロー図である。

【0057】

図１５および図１６を参照して、この先端部材位置算出方法は、プラグＣ１１、および、プラグＣ１１が接続された電線Ｃ１２を備えるコネクタＣ１の先端部材位置算出方法であって、以下の工程を備えている。コネクタＣ１の画像情報を取得する画像取得工程と、この画像情報からプラグＣ１１の先端部材領域を抽出する先端部材領域抽出工程と、抽出した先端部材領域に基づき、プラグＣ１１の位置を算出する先端部材位置算出工程とを含む。

【0058】

画像取得工程は、コネクタＣ１の画像情報を取得する。先端部材領域抽出工程は、取得したコネクタＣ１の画像情報を二値化し、モフォロジ処理によって、プラグＣ１１の先端部材画像領域と、電線Ｃ１２の線材画像領域とに分離する（Ｓ１）。これにより、コネクタＣ１の画像情報からプラグＣ１１のみの画像情報を得ることができる。図１６に示すように、コネクタＣ１の形状は、図１２に示すコネクタＣ１と同じ形状である。なお、先端部材領域抽出工程は、上述した「線状物の三次元計測方法」で用いた、色による比較操作、二値化操作、ノイズ除去操作、細線化操作等のいずれか単独操作に基づくものでも良く、図６のように２以上の各操作を組み合わせたものに基づくものでも良い。

【0059】

図１５を用い、図１７から図１９を参照して、コネクタＣ１の先端部材位置算出方法について説明する。図１７は、コネクタＣ１の画像情報を示す図であり、図１８は、図１７から電線Ｃ１２の画像領域を分離した図、図１９は、図１８に示す各点の三次元情報から得られた電線の三次元画像情報である。

【0060】

図１６に示すコネクタＣ１の画像情報を取得する（Ｓ１）。取得したコネクタＣ１の画像情報を２値化して図１７に示すコネクタＣ１の画像情報を取得する。この時、ノイズ除去等の処理を行ってもよい（Ｓ２）。図１７に示すコネクタＣ１の画像情報から、図１８に示すように、電線Ｃ１２の線材画像領域と図２０に示すプラグＣ１１の先端部材領域とに画像情報を分離する（Ｓ３）。線材領域と先端部材領域との画像情報分離処理は、モフォロジ処理等の公知の方法で行えばよい。

【0061】

次に、図１８に示す、電線Ｃ１２のみの画像情報に基づいて、上述した「線状物の三次元計測方法」を用いて、電線Ｃ１２に対して、電線Ｃ１２上のＰ１１からＰ１６の６点について、各点の三次元座標を算出する（Ｓ１０～Ｓ１４）。本実施の形態では、６点について三次元座標を算出する場合について説明したが、２点以上の三次元座標から、電線Ｃ１２の位置を推定してもよい。図１９に示すように、この各点の三次元座標の情報から、電線Ｃ１２のみの三次元座標Ｇ１１が算出できる。得られた電線Ｃ１２の三次元座標Ｇ１１に基づき、線材の把持位置を算出する（Ｓ１５）。線材の把持位置は、任意に決定することができるが、三次元座標Ｇ１１上であることが好ましい。

【0062】

他方、図１５を用い、図２０および図２１参照して、プラグＣ１１の三次元情報の取得について説明する。図２０は、図１７に示すプラグＣ１１の先端部材画像領域のみを取りだした図であり、図２１は、図２０に示す第１中心軸線から得られたプラグＣ１１の推定三次元情報である。

【0063】

図２０を参照して、コネクタＣ１の先端部材位置算出方法は、まず、プラグＣ１１の先端部材領域に基づき、プラグＣ１１の向きである軸線を算出する（軸線算出工程Ｓ２０）。軸線の算出方法は、公知の手法を用いて先端部材領域の方向性を算出すればよく、例えば、プラグＣ１１の画像情報におけるプラグＣ１１の主成分分析により、軸線を算出することができる。また、プラグＣ１１は、円筒形状であるとの前提の下、図２０に示す画像情報に基づき、一端側の中点Ｐ１および他端側の中点Ｐ２とし、中点Ｐ１およびＰ２を結んで第１中心軸線ＣＬ１を算出してもよい。

【0064】

次に、図２１を参照して、第１中心軸線ＣＬ１に予め定めた既知の太さの円筒Ｍ１の第２中心軸線ＣＬ２とを重ね合わせる。これにより、プラグＣ１１の推定形状である円筒Ｍ１の三次元情報が得られる（Ｓ２１）。

【0065】

以上により得られたプラグＣ１１の推定形状に基づき、たとえばロボットアーム等を用いて、プラグＣ１１を把持する工程（Ｓ２３）（先端部材把持方法）を採用することが可能となる。把持位置は、第１中心軸線ＣＬ１に基づいて任意に決定できるが、第１中心軸線ＣＬ１上のＰ２からＰ１の間の任意の点を算出することが好ましい（Ｓ２２）。

【0066】

なお、上記実施の形態では、プラグＣ１１の三次元画像情報、および、電線Ｃ１２の三次元画像情報を得る場合を説明しているが、プラグＣ１１の推定形状に基づき、たとえばロボットアーム等を用いて、プラグＣ１１を把持することが目的である場合には、図１７に示すコネクタＣ１の画像情報から、図２０に示すように、プラグＣ１１の画像情報を分離して、プラグＣ１１の推定形状を得る工程のみを採用してもよい。

【0067】

＜先端部材接続方法、先端部材位置算出システム、先端部材把持システム＞
次に、図２２から図２６を参照して、上述した先端部材位置算出方法で算出したプラグの位置に基づき、プラグを把持したロボットハンドを用いて、プラグをコネクタハウジングに接続する接続工程を有する先端部材接続方法、および、先端部材位置算出システム、並びに、先端部材把持システムについて以下説明する。

【0068】

図２２にコネクタＣ１が接続された電気機器１００を示す。コネクタＣ１は、電線Ｃ１２の先端部にプラグＣ１１が接続されている。電気機器１００の一例としては、駆動モーター、オルタネーター、バッテリー、コンプレッサ、自動車の電装品、家電、その他の様々な電気機器を挙げることができる。

【0069】

本実施の形態では、電気機器１００の導通テストを行なうために、後述するロボットハンドを用いて、電気機器１００に電線Ｃ１２を介して接続されたプラグＣ１１を、コネクタハウジングＣ２に自動接続する工程（先端部材接続方法）について説明する。

【0070】

図２３にプラグＣ１１および図２４にコネクタハウジングＣ２を図示する。図２３を参照して、プラグＣ１１は、筒状の胴体部Ｃ１１ａを有する。胴体部Ｃ１１ａの軸線方向（図１３中矢印Ａ方向）が、算出したプラグＣ１１の第１中心軸線方向と一致すると推定する。

【0071】

胴体部Ｃ１１ａの内部には、複数のピンＣ１１ｂが所定位置に配列されている。胴体部Ｃ１１ａの外周面には、プラグＣ１１の位置決めを行なうため、胴体部Ｃ１１ａの軸線方向に沿って延びるリブＣ１１ｃが設けられている。この図２３に示す状態を、プラグＣ１１の正面が認識できる状態とする。プラグＣ１１の正面が認識できることにより、プラグＣ１１の回転状態（リブＣ１１ｃの位置に基づく回転角度の算出）を認識できることとなる。

【0072】

図２４を参照して、コネクタハウジングＣ２は、ピンＣ１１ｂに対応する位置にピン受けＣ２２が設けられたハウジングＣ２１を有する。ハウジングＣ２１には、リブＣ１１ｃが挿入される位置決め凹部Ｃ２３が設けられている。

【0073】

次に、図２５および図２６を参照して、ロボットアーム５００に設けられたロボットハンド６００を用いて、プラグＣ１１をコネクタハウジングＣ２に装着する自動化の一例について説明する。図２５は、先端部材把持システム１０００の全体図、図２６は、装着工程の自動化システムのフローを示す図である。

【0074】

先端部材把持システム１０００の制御は、後述の先端部材位置算出システム２００で行なう。この先端部材位置算出システム２００は、図１で説明した三次元計測装置１０と同じである。以下、先端部材位置算出システム２００の説明には、図１に示した三次元計測装置１０と同じ参照符号を付す場合がある。

【0075】

図２５を参照して、先端部材把持システム１０００は、筐体７００を有する。筐体７００の上部は、透明壁４００が配置され内部の装着工程を目視することができる。筐体７００の内部には、所定位置にロボット９００および対象物配置台８００が配置されている。ロボット９００は、ロボットアーム５００を備えており、ロボットアーム５００の先端部は、ロボットハンド６００が装着されている。対象物配置台８００の上には、図２２に示したコネクタＣ１を有する電気機器１００、および、コネクタハウジングＣ２が配置されている。

【0076】

さらに、筐体７００の内部の所定位置には、ステレオカメラ１１等を含む先端部材位置算出システム２００、および、エリアカメラ３００が配置されている。エリアカメラ３００は、詳細は後述するが、正面画像取得手段として機能し、画像処理により、プラグＣ１１の向き（回転角度）を測定する際に用いられる。エリアカメラ３００から得られた正面画像情報は、三次元計測装置１０に入力される。三次元計測装置１０は、この正面画像に基づき、プラグＣ１１の回転角度を算出する回転角度算出工程を含む。この回転角度算出工程は、演算部１５で実施してもよいし、別途、回転角度算出部を設けてもよい。

【0077】

なお、正面画像取得手段として二次元カメラのエリアカメラ３００を採用する場合について説明しているが、ステレオカメラ１１を正面画像取得手段として兼用させてもよい。

【0078】

ロボットアーム５００には、たとえば、ＦＡＮＵＣ Ｒｏｂｏｔ ＬＲ Ｍａｔｅ ２００ｉＤ／７Ｌ（可搬重量７ｋｇ、リーチ長さ９００ｍｍ）が採用される。ロボットハンド６００の先端には、一対のグリッパ６１０が設けられており、エアシリンダによる平行開閉が行なわれる。グリッパ６１０の幅は約１０ｍｍ、長さは約２０ｍｍ程度である。グリッパ６１０の開閉ストロークは、約１０ｍｍ程度である。

【0079】

先端部材位置算出システム２００は、倉敷紡績製の線状物認識用３Ｄビジョンが用いられる。対象物とステレオカメラ１１との距離は、約５００ｍｍ、視野範囲は４００ｍｍ×２５０ｍｍ、焦点深度は±１００ｍｍである。線状物把持位置認識機能として、把持位置等、および、ロボットハンド姿勢を出力する際に用いられる。

【0080】

エリアカメラ３００には、Ｆａｎｕｃ製のエリアカメラ、または、Ｂａｌｓｅｒ製のエリアカメラ（Ｄａｒｔ）が用いられる。視野範囲は、２００ｍｍ×１５０ｍｍ程度である。コネクタ方向認識機能として、コネクタの回転角度を出力する際に用いられる。

【0081】

次に、図２６を参照して、先端部材把持システム１０００を用いた、プラグＣ１１のコネクタハウジングＣ２への装着工程（配線自動化工程）について説明する。なお、以下のフローは、先端部材位置算出システム２００内に設けられたカメラ制御部１４および／または演算部１５で実行する。

【0082】

先端部材位置算出システム２００を用いて、コネクタＣ１（電線Ｃ１２およびプラグＣ１１）を３Ｄスキャンする（ステップ１（Ｓ１と称す。以下同様））。得られた３Ｄ画像情報に基づき、コネクタＣ１の把持が可能な位置にコネクタＣ１が位置するか否かの判別を行なう（Ｓ２）。具体的には、三次元計測装置１０を用いて、先端部材把持位置算出機能を発揮させて、線状物把持位置を確認する。コネクタＣ１の把持が不可能と判断した場合には、テストを終了する（Ｓ３）。

【0083】

コネクタＣ１の把持が可能と判断した場合には、プラグＣ１１の位置情報（把持位置）、把持手前位置（把持位置近傍の所定位置）、および把持方向をロボットアーム５００およびロボットハンド６００に送信する（Ｓ４）。把持手前位置とは、ロボットハンドが先端部材を把持する動作の前に待機または通過する位置であり、コネクタに干渉しない位置である。把持手前位置は、例えばプラグＣ１１の上方、下方または側方であって、予め決められた距離だけ離れた位置であってもよいし、プラグＣ１１の３次元形状に基づいて決定してもよい。

【0084】

ロボットハンド６００がプラグＣ１１を把持する把持方向（把持姿勢）は、ロボットハンドの把持部とプラグＣ１１とが略直角をなすように把持することが好ましい。プラグＣ１１を把持した後にコネクタハウジングＣ２に挿入する際もロボットの制御が容易になるからである。好ましくは、把持手前位置において、プラグＣ１１を把持した際に把持部とプラグＣ１１とが直角をなす向きになるように、ロボットハンド６００の姿勢を調整する。その後、ロボットハンド６００は、把持手前位置から把持位置に向かって直進し、把持位置に到達後、プラグＣ１１を把持する。これにより、ロボットハンド６００がコネクタハウジングＣ２に干渉しにくい状態で、プラグＣ１１をコネクタハウジングＣ２に挿入することが可能となる。

【0085】

図２６のプラグＣ１１をコネクタハウジングＣ２に装着する自動化方法に戻って、先端部材位置算出システム２００を用いて、ロボットハンド６００をプラグＣ１１の把持位置に移動させる（Ｓ５）。その後、ロボットハンドを直進させて、把持位置に移動させる（Ｓ６）。ロボットハンド６００がプラグＣ１１の把持位置に到達し、プラグＣ１１の把持が可能か否かの判別を行なう（Ｓ７）。具体的には、ロボットハンド６００の開いた一対のグリッパ６１０が把持手前位置に到達したか否かの判別を行なう。

【0086】

ロボットハンド６００により、プラグＣ１１の把持が不可能と判別した場合には、ロボットアーム５００およびロボットハンド６００の動作を停止させ（Ｓ８）、テストを終了させる。

【0087】

ロボットハンド６００により、プラグＣ１１の把持が可能と判別した場合には、ロボットハンド６００の一対のグリッパ６１０を閉方向に平行移動させて、ロボットハンド６００によりプラグＣ１１を把持する（Ｓ９）。

【0088】

次に、ロボットアーム５００により、プラグＣ１１をプラグ方向認識ステーション（ＳＴ）に移動させる（Ｓ１０）。プラグ方向認識ステーションへの移動とは、プラグＣ１１の正面（図２３）が認識できる位置に、ロボットアーム５００およびロボットハンド６００の位置を制御することを意味する。具体的には、エリアカメラ３００を用いて、プラグ方向認識機能を発揮させて、プラグの回転方向（回転角度）を算出する（Ｓ１１）。コネクタハウジングＣ２への装着が不可であると判断した場合には、先端部材把持システム１０００を停止させる（Ｓ１２）。

【0089】

コネクタハウジングＣ２への装着が可能であると判断した場合には、ロボットアーム５００およびロボットハンド６００を用いて、プラグＣ１１をコネクタハウジングＣ２の手前まで移動させる（Ｓ１３）。

【0090】

次に、ロボットアーム５００およびロボットハンド６００を用いて、プラグＣ１１のリブＣ１１ｃの位置が、コネクタハウジングＣ２の位置決め凹部Ｃ２３に合う位置に、プラグＣ１１の軸線を回転中心軸として回転させる（Ｓ１４）。

【0091】

次に、ロボットアーム５００およびロボットハンド６００を用いて、プラグＣ１１をコネクタハウジングＣ２に挿入する（Ｓ１５）。なお、プラグＣ１１の回転（Ｓ１４）はプラグＣ１１をコネクタハウジングＣ２へ移動する際（Ｓ１３）に同時に行ってもよい。その後、電気機器１００の導通テストを実行する（Ｓ１６）。以上により、電気機器１００の導通テストを終了する。

【0092】

上述した先端部材把持システム１０００においては、プラグＣ１１のみを把持する場合について説明しているが、ロボットハンド６００を２以上設け、プラグＣ１１の把持のみでなく、電線Ｃ１２を他のロボットハンド６００で把持することにより、電線Ｃ１２の他の機器への干渉を回避させるようにしてもよい。

【0093】

図２７を参照して、本実施の形態のロボットハンド６００に採用されるグリッパ６１０の詳細構造について説明する。図２７は、グリッパ６１０の詳細構造を示す斜視図である。グリッパ６１０は、対向するように一対に設けられている。

【0094】

グリッパ６１０は、支持部６１０ａと、この支持部６１０ａの下端において相互の対向する方向（内側）に延びる腕部６１０ｂとを含む。腕部６１０ｂの先端面には、半円柱状の第１溝部６１０ｃと、この第１溝部６１０ｃに連通する円柱状の第２溝部６１０ｅが設けられている。第２溝部６１０ｅよりも第１溝部６１０ｃの方が大径であることから、第１溝部６１０ｃと第２溝部６１０ｅとの間には、係止面６１０ｄが設けられる。

【0095】

ロボットハンド６００でプラグＣ１１を把持する際、グリッパ６１０の腕部６１０ｂが当接することで、コネクタＣ１が、保持される。第１溝部６１０ｃによりプラグＣ１１が保持され、第２溝部６１０ｅにより電線Ｃ１２が保持されるか、電線Ｃ１２が第２溝部６１０ｅ内に収まる。プラグＣ１１をコネクタハウジングＣ２に挿入する際、係止面６１０ｄにプラグＣ１１の一端側が押し付けられて挿入される。係止面６１０ｄにプラグＣ１１が当接することで、グリッパ６１０からコネクタＣ１の抜けを防止することができる。

【0096】

なお、プラグＣ１１に対する保持力を高めるために、第１溝部６１０ｃおよび／または第２溝部６１０ｅに、シート状の弾性部材（滑り止め部材）を装着するようにしてもよい。

【0097】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0098】

１０ 三次元計測装置、１１ ステレオカメラ、１２ 第１カメラ、１３ 第２カメラ、１４ カメラ制御部、１５ 演算部、１６ 記憶部、１７ 入出力部、２１，２２，２３ 電線、３０ 第１画像、３１，３２，３３，４１，４２，４３ 像、３４ 第１線像、４０ 第２画像、４４ 第２線像、４５ エピポーラ線、２００ 先端部材位置算出システム、３００ エリアカメラ、４００ 透明壁、５００ ロボットアーム、６００ ロボットハンド、６１０ グリッパ、６１０ａ 支持部、６１０ｂ 腕部、６１０ｃ 第１溝部、６１０ｄ 係止面、６１０ｅ 第２溝部、７００ 筐体、８００ 配線対象物配置台、１０００ 先端部材把持システム、Ｃ１ コネクタ、Ｃ１１ プラグ、Ｃ１１ａ 胴体部、Ｃ１１ｂ ピン、Ｃ１１ｃ リブ、Ｃ１２ 電線、Ｃ２ コネクタハウジング、Ｃ２１ ハウジング、Ｃ２２ ピン受け、Ｃ２３ 位置決め凹部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】