特許 7222720 先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-07

(45)【発行日】2023-02-15

(54)【発明の名称】先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230208BHJP

   B25J 13/08 20060101ALI20230208BHJP

   G01B 11/26 20060101ALI20230208BHJP

【ＦＩ】

G01B11/00 H

B25J13/08 A

G01B11/26 H

【請求項の数】 9

(21)【出願番号】P 2019004275

(22)【出願日】2019-01-15

(65)【公開番号】P2020112470

(43)【公開日】2020-07-27

【審査請求日】2021-09-15

(73)【特許権者】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】北井 基善

(72)【発明者】

【氏名】小寺 熱気

【審査官】續山 浩二

(56)【参考文献】

【文献】特開平０７－３１１０４０（ＪＰ，Ａ）

【文献】特開２００６－２８４２４８（ＪＰ，Ａ）

【文献】特開２０１７－０４５６７４（ＪＰ，Ａ）

【文献】特開２０１６－１９２１３８（ＪＰ，Ａ）

【文献】特開２０１１－２１７７８７（ＪＰ，Ａ）

【文献】特開平０６－１７６１４７（ＪＰ，Ａ）

【文献】特開２００２－０８２０２８（ＪＰ，Ａ）

【文献】特開２０１５－２３２５１３（ＪＰ，Ａ）

【文献】特開２０１３－１５２１３９（ＪＰ，Ａ）

【文献】特開２００６－２８４３５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００

Ｂ２５Ｊ １３／０８

Ｇ０１Ｂ １１／２６

(57)【特許請求の範囲】

【請求項1】

先端に先端部材を有する線状物の先端部材位置推定方法であって、
前記線状物上の２点以上の座標を取得する座標取得工程と、
前記線状物上の２点以上の座標に基づいて、前記先端部材の位置を推定する先端部材位置推定工程と、
を備え、
前記先端部材の画像を取得し、前記画像に基づいて、前記先端部材の回転角度を算出する回転角度算出工程をさらに備える、
先端部材位置推定方法。

【請求項2】

前記先端部材位置推定工程は、前記線状物上の２点以上の座標に基づいて、前記線状物の近似直線を算出する工程と、
前記近似直線に基づいて、前記先端部材の位置を推定する工程と、を含む、
請求項１に記載の先端部材位置推定方法。

【請求項3】

前記座標取得工程は、前記線状物上の３点以上の座標を取得する工程を含み、
前記先端部材位置推定工程は、前記線状物上の３点以上の座標に基づいて、前記線状物の近似曲線を算出する工程と、
前記近似曲線に基づいて、前記先端部材の位置を推定する工程と、を含む、
請求項１に記載の先端部材位置推定方法。

【請求項4】

前記座標取得工程は、前記線状物の先端の座標を取得する工程を含む、
請求項１から請求項３のいずれか一項に記載の先端部材位置推定方法。

【請求項5】

前記線状物上の座標が三次元座標である、
請求項１から請求項４のいずれか一項に記載の先端部材位置推定方法。

【請求項6】

線状物の先端に設けた先端部材をロボットハンドで把持する方法であって、
計測装置で前記線状物上の２点以上の座標を取得する座標取得工程と、
前記線状物上の２点以上の座標に基づいて、前記先端部材の把持位置を算出する先端部材把持位置算出工程と、
前記ロボットハンドが前記把持位置で前記先端部材を把持する把持工程と、
を備える、先端部材把持方法。

【請求項7】

先端部材接続方法であって、
請求項６に記載の前記先端部材把持方法で前記ロボットハンドが前記先端部材を把持する工程と、
前記ロボットハンドが把持した前記先端部材の画像を取得し、前記画像から前記先端部材の回転角度を算出する工程と、
前記ロボットハンドを用いて、前記回転角度に基づき、前記先端部材を接続部材に接続する工程と、
を有する、先端部材接続方法。

【請求項8】

線状物上の２点以上の座標を取得する計測装置と、
前記線状物上の２点以上の座標に基づいて、前記線状物の先端に設けられた先端部材の位置を推定する演算部と、
を備え、
前記先端部材を撮像する画像取得手段と、
前記画像取得手段で得られた画像に基づいて、前記先端部材の回転角度を算出する回転角度算出手段と、
をさらに有する、先端部材位置推定システム。

【請求項9】

先端に先端部材を有する線状物の先端部材把持システムであって、
前記線状物上の２点以上の座標を取得する計測装置と、
前記線状物上の２点以上の座標に基づいて、前記線状物の先端に設けられた前記先端部材の位置を推定する演算部と、
前記推定された前記先端部材の位置に基づいて、前記先端部材を把持する把持部と、
を有する、先端部材把持システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムに関する。

【背景技術】

【0002】

対象物を三次元カメラ等で認識して自律的に把持するロボットの普及が進んでいる。線状物を把持することについては、たとえば特開２０１４－１７６９１７号公報（特許文献１）に、線状体の組み付け作業を行なうロボット装置であって、一端が固定された線状体の固定端近傍を把持したのち、把持部を所定の軌跡でスライドさせて他端に移動させる装置が記載されている。これにより、線状物の一例である電線に付いた癖等により正確に推定することが困難な他端を素早く把持できるとされる。

【0003】

特開２０１６－１９２１３８号公報（特許文献２）には、ワイヤーハーネスの製造方法および画像処理方法に関する発明が開示され、ワイヤーハーネスを製造する過程において、電線集合体の三次元形状が測定されることによって加工位置が特定される加工位置特定処理が実施される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１７６９１７号公報

【文献】特開２０１６－１９２１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

電線等の線状物の先端部には、コネクタ等が接続されている場合が多い。ロボットハンドの把持部、例えば、グリッパで線状物の先端部またはコネクタを直接把持し、コネクタを所定の位置に移動させて固定すること、または、コネクタをコネクタハウジングに装着して、コネクタが接続された機器の導通テストを行なうこと等が想定される。

【0006】

従来は、あらかじめコネクタのＣＡＤデータ等を登録しておき、計測したコネクタの形状と登録データとをパターンマッチングすることで、コネクタの位置と向きを認識し、ロボットにコネクタを把持させ、移動させていた。しかし、コネクタには多種多様な形状があり、全ての形状データを事前に登録しておくことが困難であるという課題があった。また、三次元データ同士のパターンマッチング処理は負荷が大きく、計算時間がかかるという課題があった。

【0007】

さらに、コネクタのコネクタハウジングへの装着に際しては、ロボットハンドで把持したコネクタの線状物の軸線周りの回転方向を把握する必要もある。

【0008】

このように線状物の先端部に取り付けられたコネクタ等の先端部材を所定の接続部材に対して装着する場合には、先端部材の位置と、さらに好ましくは先端部材の回転方向を事前に把握しておくことが必要となる。

【0009】

この発明は、上記課題を解決することを目的としており、線状物の先端部分の形状から先端部材の位置と、さらに好ましくは先端部材の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供することにある。

【課題を解決するための手段】

【0010】

この開示における先端部材位置推定方法においては、先端に先端部材を有する線状物の先端部材位置推定方法であって、上記線状物上の２点以上の座標を取得する座標取得工程と、上記線状物上の２点以上の座標に基づいて、上記先端部材の位置を推定する先端部材位置推定工程と、を備える。

【0011】

他の形態においては、上記先端部材位置推定工程は、上記線状物上の２点以上の座標に基づいて、上記線状物の近似直線を算出する工程と、上記近似直線に基づいて、上記先端部材の位置を推定する工程と、を含む。

【0012】

他の形態においては、上記座標取得工程は、上記線状物上の３点以上の座標を取得する工程を含み、上記先端部材位置推定工程は、上記線状物上の３点以上の座標に基づいて、上記線状物の近似曲線を算出する工程と、上記近似曲線に基づいて、上記先端部材の位置を推定する工程と、を含む。

【0013】

他の形態においては、上記座標取得工程は、上記線状物の先端の座標を取得する工程を含む。

【0014】

他の形態においては、上記線状物上の座標が三次元座標である。
他の形態においては、上記先端部材の画像を取得し、上記画像に基づいて、上記先端部材の回転角度を算出する回転角度算出工程をさらに備える。

【0015】

この開示における先端部材把持方法においては、線状物の先端に設けた先端部材をロボットハンドで把持する方法であって、計測装置で上記線状物上の２点以上の座標を取得する座標取得工程と、上記線状物上の２点以上の座標に基づいて、上記先端部材の把持位置を算出する先端部材把持位置算出工程と、上記ロボットハンドが上記把持位置で上記先端部材を把持する把持工程と、を備える。

【0016】

この開示における先端部材接続方法においては、上述に記載の先端部材把持方法で上記ロボットハンドが上記先端部材を把持する工程と、上記ロボットハンドが把持した上記先端部材の画像を取得し、上記画像から上記先端部材の回転角度を算出する工程と、上記ロボットハンドを用いて、上記回転角度に基づき、上記先端部材を接続部材に接続する工程と、を有する。

【0017】

この開示における先端部材位置推定システムにおいては、線状物上の２点以上の座標を取得する計測装置と、上記線状物上の２点以上の座標に基づいて、上記線状物の先端に設けられた先端部材の位置を推定する演算部と、を備える。

【0018】

他の形態においては、上記先端部材を撮像する画像取得手段と、上記画像取得手段で得られた画像に基づいて、上記先端部材の回転角度を算出する回転角度算出手段と、をさらに有する。

【0019】

この開示における先端部材把持システムにおいては、先端に先端部材を有する線状物の先端部材把持システムであって、上記線状物上の２点以上の座標を取得する計測装置と、上記線状物上の２点以上の座標に基づいて、上記線状物の先端に設けられた先端部材の位置を推定する演算部と、上記推定された上記先端部材の位置に基づいて、上記先端部材を把持する把持部と、を有する。

【発明の効果】

【0020】

この発明によれば、線状物の形状から先端部材の位置と、さらに好ましくは対象物の回転方向を把握するための、先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムを提供することを可能とする。

【図面の簡単な説明】

【0021】

【図1】関連技術の三次元計測装置の機能ブロック図である。

【図2】関連技術の三次元計測方法を説明するための図である。

【図3】関連技術の三次元計測方法の工程フロー図である。

【図4】ステレオカメラで撮像された第１画像を示す図である。

【図5】ステレオカメラで撮像された第２画像を示す図である。

【図6】関連技術の三次元計測方法の第１抽出工程の操作フロー図である。

【図7】第１線像が抽出された第１画像を示す図である。

【図8】第２線像が抽出された第１画像を示す図である。

【図9】着目点が選択された第１画像を示す図である。

【図10】エピポーラ線と第２線像との交点が求められた第２画像を示す図である。

【図11】色テーブルの一例を示す図である。

【図12】本実施の形態の先端部材位置推定方法を示す概略図である。

【図13】電線の先端部にコネクタが接続された電気機器を示す図である。

【図14】コネクタの正面を示す図である。

【図15】コネクタハウジングの正面を示す図である。

【図16】本実施の形態の先端部材把持システムの全体図である。

【図17】本実施の形態の接続工程の自動化システムのフローを示す図である。

【図18】本実施の形態のロボットハンドに採用されるグリッパの詳細構造を示す斜視図である。

【発明を実施するための形態】

【0022】

本実施の形態について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。

【0023】

以下の開示においては、線状物の一例として電線を用いた場合について説明しているが、電線に限定されるものではない。この説明での線状物とは、細長い形状を有する物体であれば何でもよい。線状物の一例としては、電線、ワイヤーハーネス、はんだ、紐、糸、繊維、ガラス繊維、光ファイバ、チューブ、その他の線状物が挙げられる。細線を束にした電線に限定されず、一本線から構成される電線等も含まれる。

【0024】

（関連技術：線状物の三次元計測方法および三次元計測装置）
以下、図１から図１１を参照して、関連技術として、線状物の三次元計測方法および装置の一例について説明する。

【0025】

図１を参照して、三次元計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、および、入出力部１７を備える。演算部１５、記憶部１６、および、入出力部１７を総称して、制御部と呼ぶことがある。

【0026】

ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、および、カメラ制御部１４を含む。第１カメラ１２は、カラーの二次元画像である第１画像を撮像するカラーカメラである。第２カメラ１３は、カラーの二次元画像である第２画像を撮像するカラーカメラであって、第１カメラ１２に対する相対位置が固定されている。

【0027】

カメラ制御部１４は、第１カメラ１２および第２カメラ１３を制御し、演算部１５との通信を行なう。カメラ制御部１４は、たとえば、演算部１５から撮像指示を受信して第１カメラ１２および第２カメラ１３に撮像指示を送信し、第１画像および第２画像を演算部１５に転送する。

【0028】

演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１画像および第２画像を処理して線状物の三次元位置を算出する。記憶部１６は、ステレオカメラ１１が撮像した第１画像および第２画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示する。

【0029】

図２を参照して、この計測方法では、電線２１、電線２２および電線２３を第１カメラ１２および第２カメラ１３で撮像する。電線２１上のある点Ｐに対して、第１カメラによる第１画像３０への投影点Ｑと、第２カメラによる第２画像４０への投影点Ｒが得られれば、既知である第１カメラおよび第２カメラの位置情報を利用して、点Ｐの三次元位置を算出することができる。第１カメラおよび第２カメラの位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。

【0030】

図２は白黒で描かれているが、計測対象である３本の電線２１、電線２２および電線２３は色分けされており、互いに異なる色、たとえば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されない。

【0031】

図３は、三次元計測方法のフロー図である。以下、各工程について説明する。
計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図１１に、電線の種類毎に、その色を赤・緑・青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。

【0032】

計測時には、ステレオカメラ１１で電線２１、電線２２および電線２３を撮像する。電線２１、電線２２および電線２３は第１カメラ１２によって第１画像３０に撮像される。それと同時に、電線２１、電線２２および電線２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２画像４０に撮像される。第１画像および第２画像は演算部１５に転送され、記憶部１６に記憶される。

【0033】

演算部１５は、ステレオカメラ１１から第１画像３０および第２画像４０を取得する。このとき、図４を参照して、第１画像３０には３本の電線２１、電線２２および電線２３のそれぞれ像３１、像３２および像３３が写っている。同様に、図５を参照して、第２画像４０には３本の電線２１、電線２２および電線２３のそれぞれの像４１、像４２および像４３が写っている。

【0034】

演算部１５は、第１画像３０上で、特定の電線２１を第１線像として抽出する。図６を参照して、この第１線像を抽出する工程（第１線像抽出工程）は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。

【0035】

色による抽出操作では、演算部１５は計測しようとする電線２１の色を色テーブルから取得して、第１画像３０上でその特定の色の線状物２１の像３１だけを第１線像３４として抽出する。

【0036】

具体的には、第１画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行なうことができる。

【0037】

たとえば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１画像３０の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。

【0038】

次に、第１画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を１とし、異なる色と判定した画素を０とすることで２値化できる。

【0039】

次に、第１画像３０に対してノイズ除去操作を行なう。上記色による抽出操作によって第１線像３４が抽出されたが、第１画像にはカメラのショットノイズなどによる孤立した画素が残っている。１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、各電線の像３１、像３２および像３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れや孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。

【0040】

次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。

【0041】

図７に得られた第１線像３４を示す。第１線像が抽出された第１画像３０は記憶部１６に記憶される。

【0042】

図３に戻って、第２画像４０に対しても第１画像３０と同様の操作を行い、第２線像４４を抽出する（第２線像抽出工程）。図８に第２線像４４を示す。第２線像が抽出された第２画像は記憶部１６に記憶される。

【0043】

図９を参照して、演算部は、第１画像３０の第１線像３４上に着目点Ｑを選択する。点Ｑは電線２１の点Ｐ（図２）の第１画像への投影点である。

【0044】

図１０を参照して、演算部は、第２画像４０上で、第１画像３０の着目点Ｑに対応するエピポーラ線４５を求める。第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図２）の第２画像への投影点である。

【0045】

以上の工程により、図２に示した電線２１の点Ｐに対して、第１画像３０への投影点Ｑと、第２画像４０への投影点Ｒが得られたので、演算部は点Ｐの三次元位置を算出する。

【0046】

次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら三次元位置を求めることによって、電線２１の三次元計測を行なう。

【0047】

電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、たとえば電線２２の三次元計測を行なう場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１画像および第２画像に対して、第１線像抽出工程から後の工程を繰り返す。

【0048】

ここで、色テーブルについて、さらに詳しく説明する。
図１１に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判定されれば、当該線状物であると判断してもよい。色はＲＧＢ以外の表色系で記録されていてもよい。たとえば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラからの出力がＲＧＢ値であっても、表色系間の換算は容易である。

【0049】

画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。たとえば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。

【0050】

色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１カメラまたは第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１画像および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。

【0051】

たとえば、上記三次元計測方法における把持対象の線状物としては、ケーブルの他、ワイヤーハーネス、その他種々の線状物に適用可能である。上記工程および操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。

【0052】

上記三次元計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測先端部材の形状その他の特徴に着目したマッチング方法を併用するメリットがある。

【0053】

＜先端部材位置推定方法の第１実施形態＞
次に、図１２を参照して、先端部材位置推定方法について説明する。図１２は、本実施の形態の先端部材位置推定方法を示す概略図である。

【0054】

上記の電線２１を例にして説明する。電線２１の先端部には、先端部材としてコネクタＣ１が予め接続されている。先端部材はコネクタに限らず、線状物の先端に設けられ、線状物と太さ、形状、色のいずれかが異なる物であればよい。上記線状物の三次元計測方法に基づき、電線２１の色を判別する。さらに、電線２１の着目点として、電線２１の先端部分にあるＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の三次元位置情報（三次元座標）を得る。図では説明上Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５は離れて記載しているが、実際は、着目点は近接していてもよい。三次元位置情報を把握すべき先端部分の長さは任意に設定可能であり、取得すべき着目点の数量も任意に設定可能である。２点以上、好ましくは、３点以上の三次元座標を取得するとよい。取得すべき着目点の１点は、電線２１と先端部材との接点である電線２１の先端Ｐ２１であることが好ましい。先端部材の起点位置を把握することで、より精確に先端部材の位置を推定することができるためである。

【0055】

電線２１は、赤色等、任意の一色に着色されているか、又は、赤色等、任意の一色のカバーにより覆われていることで、正確な三次元計測方法を実施することができる。電線２１の色とコネクタＣ１の色とが異なる色であれば、電線２１とコネクタＣ１とを別々に認識しやすいため、より好適である。

【0056】

次に、コネクタＣ１の位置を推定する。コネクタＣ１の位置を推定するとは、電線２１に取り付けられたコネクタＣ１の取り付け方向を推定することを意味する。コネクタＣ１の取り付け方向は、電線２１の先端部分の延長線の方向と一致すると仮定する。次に、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の三次元位置情報から、コネクタＣ１の取り付け方向を推定する。電線が柔軟物であって、コネクタＣ１は非柔軟物である場合、コネクタＣ１の位置および向きは、電線の先端部分の形状に倣うことが多いため、電線の先端部分の形状や位置情報から推定することができる。

【0057】

コネクタＣ１の取り付け方向を推定する方法として以下の（ｉ）から（ｉｉｉ）が挙げられる。

【0058】

（ｉ）任意の２点以上の着目点に基づいて、近似直線を算出し、算出した近似直線上に先端部材が位置すると推定する方法。具体的には、着目点Ｐ１および着目点Ｐ３の２点を結んだ近似直線が延びる方向（ｘ線）を、コネクタＣ１の取り付け方向と推定する。

【0059】

（ｉｉ）任意の３点以上の着目点に基づいて、近似曲線を算出し、算出した近似曲線上に先端部材が位置すると推定する方法。具体的には、着目点Ｐ１から着目点Ｐ５を用いて電線２１の近似曲線を計測し、この曲線（ｙ曲線）が、電線２１のコネクタＣ１の取り付け方向と推定する。

【0060】

（ｉｉｉ）任意の３点以上の着目点に基づいて、近似曲線を算出し、線状物の先端における算出した近似曲線の接線上に先端部材が位置すると推定する方法。具体的には、曲線（ｙ曲線）の着目点Ｐ２１上での接線（ｚ線）が、電線２１の先端部コネクタＣ１の取り付け方向と推定する。

【0061】

（ｉ）に示す方法によりｘ線の延びる方向をコネクタＣ１の取り付け方向として近似推定する方法は、利用する着目点の数が少ない分、制御装置（たとえば図１の演算部１５）での演算速度は速い。他方、（ｉｉ）および（ｉｉｉ）に示す方法によりｘ線の延びる方向をコネクタＣ１の取り付け方向として近似推定する方法は、利用する着目点の数が多い分、（ｉ）に示す方法よりも精度は高いと考えられる。

【0062】

＜先端部材位置推定方法の第２実施形態＞
先端部材位置推定方法の第２実施形態は、ステレオカメラ１１で線状物を撮像し、第１画像および第２画像を取得し、第１画像および第２画像上で計測対象となる第１線像と第２線像を抽出する工程までは、第１実施形態と同様である。

【0063】

次に、第１画像上で第１線像を延長し、第１線像の端点から所定距離にある第１先端部材推定点を求める。同様に、第２画像上で第２線像を延長し、第２線像の端点から所定距離にある第２先端部材推定点を求める。そして、第１先端部材推定点及び第２先端部材推定点がそれぞれの画像上における先端部材の位置する点と仮定する。

【0064】

演算部は、第１先端部材推定点と第２先端部材推定点をステレオ法における２枚の画像の対応点として、コネクタＣ１の三次元位置を算出する。

【0065】

＜先端部材位置推定方法の第３実施形態＞
線状物が所定の台上や壁に沿っている場合、線状物上の着目点の２次元情報を取得することで、先端部材の位置を推定することができる。この場合、２次元カメラを用いて、線状物を撮像し、先端部材位置推定方法の第１実施形態（ｉ）から（ｉｉｉ）のいずれかと同様の方法で、コネクタＣ１の取り付け方向と推定する。

【0066】

＜先端部材把持方法＞
上記第１実施形態から第３実施形態のいずれかの方法を用いて、コネクタＣ１の取り付け方向を推定し、ロボットハンドによる先端部材把持方法を決定する。ロボットハンドによる具体的な把持位置は、電線２１の着目点Ｐ２１でもよいし、着目点Ｐ２１から上述の方法で推定したコネクタの取り付け方向に、所定距離（Ｌ１）の位置にあるコネクタＣ１上の位置を把持位置と決定してもよい。

【0067】

上記先端部材位置推定方法の第１実施形態から第３実施形態のいずれの方法を用いるかについては、電線太さ、電線の材質、電線の固さ、芯線の有無、カメラの解像度等によって決定される。

【0068】

＜先端部材位置推定システム２００および先端部材把持システム１０００＞
次に、図１３から図１７を参照して、上記先端部材位置推定方法を用いた先端部材位置推定システム２００およびロボットハンドによる先端部材把持システム１０００について説明する。

【0069】

図１３に電線２１の先端部にコネクタＣ１が接続された電気機器１００を示す。電気機器１００の一例としては、駆動モーター、オルタネーター、バッテリー、コンプレッサ、自動車の電装品、家電、その他の様々な電気機器を挙げることができる。

【0070】

本実施の形態では、電気機器１００の導通テストを行なうために、後述するロボットハンドを用いて、電気機器１００に電線２１を介して接続されたコネクタＣ１を、コネクタハウジングＣ２に自動接続する工程（先端部材接続方法）について説明する。

【0071】

図１４にコネクタＣ１および図１５にコネクタハウジングＣ２を図示する。図１４を参照して、コネクタＣ１は、筒状の胴体部Ｃ１１を有する。胴体部Ｃ１１の軸方向（図１３中矢印Ａ方向）が、推定したコネクタＣ１の取り付け方向と一致すると推定する。

【0072】

胴体部Ｃ１１の内部には、複数のピンＣ１２が所定位置に配列されている。胴体部Ｃ１１の外周面には、コネクタＣ１の位置決めを行なうため、胴体部Ｃ１１の軸方向に沿って延びるリブＣ１３が設けられている。この図１４に示す状態を、コネクタＣ１の正面が認識できる状態とする。コネクタＣ１の正面が認識できることにより、コネクタＣ１の回転状態（リブＣ１３の位置に基づく回転角度の算出）を認識できることとなる。

【0073】

図１５を参照して、コネクタハウジングＣ２は、ピンＣ１２に対応する位置にピン受けＣ２２が設けられたハウジングＣ２１を有する。ハウジングＣ２１には、リブＣ１３が挿入される位置決め凹部Ｃ２３が設けられている。

【0074】

次に、図１６および図１７を参照して、ロボットアーム５００に設けられたロボットハンド６００を用いて、コネクタＣ１をコネクタハウジングＣ２に装着する自動化の一例について説明する。図１６は、先端部材把持システム１０００の全体図、図１７は、装着工程の自動化システムのフローを示す図である。

【0075】

先端部材把持システム１０００の制御は、後述の先端部材位置推定システム２００で行なう。この先端部材位置推定システム２００は、図１で説明した三次元計測装置１０と同じである。以下、先端部材位置推定システム２００の説明には、図１に示した三次元計測装置１０と同じ参照符号を付す場合がある。

【0076】

図１６を参照して、先端部材把持システム１０００は、筐体７００を有する。筐体７００の上部は、透明壁４００が配置され内部の装着工程を目視することができる。筐体７００の内部には、所定位置にロボット９００および対象物配置台８００が配置されている。ロボット９００は、ロボットアーム５００を備えており、ロボットアーム５００の先端部は、ロボットハンド６００が装着されている。対象物配置台８００の上には、図１３に示したコネクタＣ１を有する電気機器１００、および、コネクタハウジングＣ２が配置されている。

【0077】

さらに、筐体７００の内部の所定位置には、ステレオカメラ１１等を含む先端部材位置推定システム２００、および、エリアカメラ３００が配置されている。エリアカメラ３００は、詳細は後述するが、正面画像取得手段として機能し、画像処理により、コネクタＣ１の向き（回転角度）を測定する際に用いられる。エリアカメラ３００から得られた正面画像情報は、三次元計測装置１０に入力される。三次元計測装置１０は、この正面画像に基づき、コネクタＣ１の回転角度を算出する回転角度算出手段を含む。この回転角度算出手段は、演算部１５に設けてもよいし、回転角度算出部を設けてもよい。

【0078】

なお、正面画像取得手段として二次元カメラのエリアカメラ３００を採用する場合について説明しているが、ステレオカメラ１１を正面画像取得手段として兼用させてもよい。

【0079】

ロボットアーム５００には、たとえば、ＦＡＮＵＣ Ｒｏｂｏｔ ＬＲ Ｍａｔｅ ２００ｉＤ／７Ｌ（可搬重量７ｋｇ、リーチ長さ９００ｍｍ）が採用される。ロボットハンド６００の先端には、一対のグリッパ６１０が設けられており、エアシリンダによる平行開閉が行なわれる。グリッパ６１０の幅は約１０ｍｍ、長さは約２０ｍｍ程度である。グリッパ６１０の開閉ストロークは、約１０ｍｍ程度である。

【0080】

先端部材位置推定システム２００は、クラボウ製の線状物認識用３Ｄビジョンが用いられる。対象物とステレオカメラ１１との距離は、約５００ｍｍ、視野範囲は４００ｍｍ×２５０ｍｍ、焦点深度は±１００ｍｍである。線状物把持位置認識機能として、把持位置等、および、ロボットハンド姿勢を出力する際に用いられる。

【0081】

エリアカメラ３００には、Ｆａｎｕｃ製のエリアカメラ、または、Ｂａｌｓｅｒ製エリアカメラ（Ｄａｒｔ）が用いられる。視野範囲は、２００ｍｍ×１５０ｍｍ程度である。コネクタ方向認識機能として、コネクタの回転角度を出力する際に用いられる。

【0082】

次に、図１７を参照して、先端部材把持システム１０００を用いた、コネクタＣ１のコネクタハウジングＣ２への装着工程（配線自動化工程）について説明する。なお、以下のフローは、先端部材位置推定システム２００内に設けられたカメラ制御部１４および／または演算部１５で実行する。

【0083】

先端部材位置推定システム２００を用いて、電線２１の先端部分およびコネクタＣ１を３Ｄスキャンする（ステップ１（Ｓ１と称す。以下同様））。コネクタＣ１は必須ではなく、電線２１の先端部分が３Ｄスキャンできればよい。得られた３Ｄ画像情報に基づき、コネクタＣ１の把持が可能な位置にコネクタＣ１が位置するか否かの判別を行なう（Ｓ２）。具体的には、三次元計測装置１０を用いて、先端部分の把持位置認識機能を発揮させて、先端部分の把持位置を確認する。コネクタＣ１の把持が不可能と判断した場合には、テストを終了する（Ｓ３）。

【0084】

コネクタＣ１の把持が可能と判断した場合には、コネクタＣ１の根元から所定の距離（Ｌ１）の位置を把持するか、または、コネクタＣ１の根元部の近傍の電線の着目点Ｐ１を把持するかの情報（把持位置）、把持手前位置（把持位置近傍の所定位置）、および把持方向をロボットアーム５００およびロボットハンド６００に送信する（Ｓ４）。

【0085】

把持手前位置とは、ロボットハンドが先端部材を把持する動作の前に待機または通過する位置であり、電線やコネクタに干渉しない位置である。把持手前位置は、例えばコネクタＣ１の上方、下方または側方であって、予め決められた距離だけ離れた位置であってもよいし、コネクタＣ１の３次元形状に基づいて決定してもよい。

【0086】

ロボットハンド６００がコネクタＣ１を把持する把持方向（把持姿勢）は、ロボットハンドの把持部とコネクタＣ１とが略直角をなすように把持することが好ましい。コネクタＣ１を把持した後にコネクタハウジングＣ２に挿入する際もロボットの制御が容易になるからである。好ましくは、把持手前位置において、コネクタＣ１を把持した際に把持部とコネクタＣ１とが直角をなす向きになるように、ロボットハンド６００の姿勢を調整する。その後、ロボットハンド６００は、把持手前位置から把持位置に向かって直進し、把持位置に到達後、コネクタＣ１を把持する。これにより、ロボットハンド６００がコネクタハウジングＣ２に干渉しにくい状態で、コネクタＣ１をコネクタハウジングＣ２に挿入することが可能となる。

【0087】

いずれの位置を保持するかについては、予め設定しておくとよい。以下では、コネクタＣ１の根元部（電線との接点付近）を把持するものとして説明する。

【0088】

先端部材位置推定システム２００を用いて、ロボットハンド６００をコネクタＣ１の根元部に移動させる（Ｓ５）。ロボットハンド６００がコネクタＣ１の根元部近傍（把持手前位置）に移動し、把持姿勢をとる（Ｓ５）。その後、ロボットハンドは直進して把持位置に到達し（Ｓ６）、コネクタＣ１の根元部を把持可能か否かの判別を行なう（Ｓ７）。具体的には、ロボットハンド６００の開いた一対のグリッパ６１０が把持位置に到達したか否かの判別を行なう。

【0089】

ロボットハンド６００により、コネクタＣ１の根元部の把持が不可能と判別した場合には、ロボットアーム５００およびロボットハンド６００の動作を停止させ（Ｓ８）、テストを終了させる。

【0090】

ロボットハンド６００により、コネクタＣ１の根元部の把持が可能と判別した場合には、ロボットハンド６００の一対のグリッパ６１０を閉方向に平行移動させて、ロボットハンド６００によりコネクタＣ１の根元部を把持する（Ｓ９）。

【0091】

次に、ロボットアーム５００により、コネクタＣ１をコネクタ方向認識ステーション（ＳＴ）に移動させる（Ｓ１０）。コネクタ方向認識ステーションは、コネクタＣ１の正面（図１４）が認識できる位置に、ロボットアーム５００およびロボットハンド６００の位置を制御することを意味する。具体的には、エリアカメラ３００を用いて、コネクタ方向認識機能を発揮させて、コネクタの回転方向（回転角度）を計算する（Ｓ１１）。コネクタハウジングＣ２への装着が不可であると判断した場合には、先端部材把持システム１０００を停止させる（Ｓ１２）。

【0092】

コネクタハウジングＣ２への装着が可能であると判断した場合には、ロボットアーム５００およびロボットハンド６００を用いて、コネクタＣ１をコネクタハウジングＣ２の手前まで移動させる（Ｓ１３）。

【0093】

次に、ロボットアーム５００およびロボットハンド６００を用いて、コネクタＣ１のリブＣ１３の位置が、コネクタハウジングＣ２の位置決め凹部Ｃ２３に合う位置に、コネクタＣ１の軸を回転中心軸として回転させる（Ｓ１４）。

【0094】

次に、ロボットアーム５００およびロボットハンド６００を用いて、コネクタＣ１をコネクタハウジングＣ２に挿入する（Ｓ１５）。なお、コネクタＣ１の回転（Ｓ１４）はコネクタＣ１をコネクタハウジング手前へ移動する際（Ｓ１３）に同時に行ってもよい。その後、電気機器１００の導通テストを実行する（Ｓ１６）。以上により、電気機器１００の導通テストを終了する。

【0095】

上述した先端部材把持システム１０００においては、ロボットハンド６００を用いてコネクタＣ１の根元部を把持する場合について説明したが、コネクタＣ１の中心部や先端部コネクタＣ１の根元部の近傍の電線の着目点Ｐ１を把持してもよい。ロボットハンド６００は、コネクタＣ１の根元部の１箇所を把持する場合について説明しているが、ロボットハンド６００を２以上設け、コネクタＣ１の根元部の把持のみでなく、電線２１の他の箇所を他のロボットハンド６００で把持することにより、電線２１の他の機器への干渉を回避させるようにしてもよい。

【0096】

以上、本実施の形態における先端部材位置推定方法、先端部材把持方法、先端部材接続方法、先端部材位置推定システム、および、先端部材把持システムによれば、先端部材の向きと、さらに好ましくは先端部材の回転方向を事前に把握するための、線状物先端方向推定方法、線状物先端方向推定装置、および、装着自動化装置の提供を可能としている。

【0097】

図１８を参照して、本実施の形態のロボットハンド６００に採用されるグリッパ６１０の詳細構造について説明する。図１８は、グリッパ６１０の詳細構造を示す斜視図である。グリッパ６１０は、対向するように一対に設けられている。

【0098】

グリッパ６１０は、支持部６１０ａと、この支持部６１０ａの下端において相互の対向する方向（内側）に延びる腕部６１０ｂとを含む。腕部６１０ｂの先端面には、半円柱状の第１溝部６１０ｃと、この第１溝部６１０ｃに連通する円柱状の第２溝部６１０ｅが設けられている。第２溝部６１０ｅよりも第１溝部６１０ｃの方が大径であることから、第１溝部６１０ｃと第２溝部６１０ｅとの間には、係止面６１０ｄが設けられる。

【0099】

ロボットハンド６００でプラグＣ１１を把持する際、グリッパ６１０の腕部６１０ｂが当接することで、コネクタＣ１が、保持される。第１溝部６１０ｃによりプラグＣ１１が保持され、第２溝部６１０ｅにより電線Ｃ１２が保持されるか、電線Ｃ１２が第２溝部６１０ｅ内に収まる。プラグＣ１１をコネクタハウジングＣ２に挿入する際、係止面６１０ｄにプラグＣ１１の一端側が押し付けられて挿入される。係止面６１０ｄにプラグＣ１１が当接することで、グリッパ６１０からコネクタＣ１の抜けを防止することができる。

【0100】

なお、プラグＣ１１に対する保持力を高めるために、第１溝部６１０ｃおよび／または第２溝部６１０ｅに、シート状の弾性部材（滑り止め部材）を装着するようにしてもよい。

【0101】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0102】

１０ 三次元計測装置、１１ ステレオカメラ、１２ 第１カメラ、１３ 第２カメラ、１４ カメラ制御部、１５ 演算部、１６ 記憶部、１７ 入出力部、２１，２２，２３ 電線（線状物）、３０ 第１画像、３１ 第１画像上の電線２１の像、３２ 第１画像上の電線２２の像、３３ 第１画像上の電線２３の像、３４ 第１線像、４０ 第２画像、４１ 第２画像上の電線２１の像、４２ 第２画像上の電線２２の像、４３ 第２画像上の電線２３の像、４４ 第２線像、４５ エピポーラ線、２００ 先端部材位置推定システム、３００ エリアカメラ、４００ 透明壁、５００ ロボットアーム、６００ ロボットハンド、６１０ グリッパ、６１０ａ 支持部、６１０ｂ 腕部、６１０ｃ 第１溝部、６１０ｄ 係止面、６１０ｅ 第２溝部、７００ 筐体、８００ 配線対象物配置台、１０００ 先端部材把持システム、Ｃ１ コネクタ、Ｃ１１ 胴体部、Ｃ１２ ピン、Ｃ１３ リブ、Ｃ２ コネクタハウジング、Ｃ２１ ハウジング、Ｃ２２ ピン受け、Ｃ２３ 位置決め凹部、Ｐ 電線２１上の点、Ｑ 点Ｐの第１画像への投影（着目点）、Ｒ 点Ｐの第２画像への投影（対応点）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】