特許7438734先端部材の向き認識方法、先端部材向き合わせ方法、先端部材挿入方法、先端部材向き認識装置及び先端部材向き合わせシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-16
(45)【発行日】2024-02-27
(54)【発明の名称】先端部材の向き認識方法、先端部材向き合わせ方法、先端部材挿入方法、先端部材向き認識装置及び先端部材向き合わせシステム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240219BHJP
B25J 13/08 20060101ALI20240219BHJP
G01B 11/27 20060101ALI20240219BHJP
【ＦＩ】
G06T7/70 B
B25J13/08 A
G01B11/27 H
【請求項の数】
8
(21)【出願番号】P 2019220588
(22)【出願日】2019-12-05
(65)【公開番号】P2021089672
(43)【公開日】2021-06-10
【審査請求日】2022-09-29
(73)【特許権者】
【識別番号】000001096
【氏名又は名称】倉敷紡績株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】北井 基善
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０２１－０２８１０７（ＪＰ，Ａ）
【文献】特開２００５－０１１５８０（ＪＰ，Ａ）
【文献】特開２０１１－１２９０８２（ＪＰ，Ａ）
【文献】特開２０１４－１６１９５０（ＪＰ，Ａ）
【文献】特開２０１７－０８７３１７（ＪＰ，Ａ）
【文献】国際公開第２０１８／２０７５５２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｂ２５Ｊ １３／０８
Ｇ０１Ｂ １１／２７
(57)【特許請求の範囲】
【請求項1】
先端部材を有する対象物をロボットハンドで把持した状態において、先端部材向き認識装置が前記先端部材の所定の軸まわりの向きを認識する方法であって、前記対象物を前記ロボットハンドで把持した状態において前記先端部材をカメラで撮影し、画像情報を取得する画像情報取得工程と、
第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から前記先端部材の前記所定の軸まわりに所定の角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報に基づいて、取得した前記画像情報における前記先端部材の前記所定の軸まわりの向きから所望の向きまでの回転角を算出する算出工程と、を備える、
先端部材の向き認識方法。
【請求項2】
前記先端部材は、正規の姿勢であるときに当該先端部材の挿入を許容する挿入部に挿入されることが可能であって、前記所定の軸は、前記先端部材が前記挿入部に挿入される挿入方向と平行な方向の軸であり、
前記所望の向きは、前記先端部材が前記挿入部に挿入可能な向きである、
請求項１に記載の先端部材の向き認識方法。
【請求項3】
前記第１姿勢情報、及び、前記第２姿勢情報は、前記先端部材を前記所定の軸まわりに回転させて撮像すると変化する特徴量である、請求項１または２に記載の先端部材の向き認識方法。
【請求項4】
前記特徴量は、前記先端部材または先端部材に含まれる形状の幅、面積もしくは外周である、請求項３に記載の先端部材の向き認識方法。
【請求項5】
先端部材を有する対象物をロボットハンドで把持した状態において、前記ロボットハンド及び先端部材向き認識装置を含む先端部材向き合わせシステムが前記先端部材の所定の軸まわりの向きを正規の向きにする先端部材向き合わせ方法であって、前記対象物を前記ロボットハンドで把持した状態においてカメラで撮影し、画像情報を取得する画像情報取得工程と、
第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から前記先端部材の前記所定の軸まわりに所定角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報に基づいて、取得した前記画像情報における前記先端部材の前記所定の軸まわりの向きから前記正規の向きまでの回転角を算出する算出工程と、
前記ロボットハンドによって前記回転角だけ前記対象物を前記所定の軸まわりに回転させる回転工程と、を備える、先端部材向き合わせ方法。
【請求項6】
先端部材を有する対象物をロボットハンドで把持した状態において、前記ロボットハンド及び先端部材向き認識装置を含む先端部材向き合わせシステムが、前記先端部材を、前記先端部材の所定の軸まわりの向きが正規の向きであるときにのみ当該先端部材の挿入を許容する挿入部に挿入する先端部材挿入方法であって、請求項５に記載の先端部材向き合わせ方法によって、前記先端部材の向きを合わせ、
前記回転工程後、あるいは、前記回転工程と同時に、前記ロボットハンドによって前記先端部材を前記挿入部に挿入する挿入工程をさらに備える、先端部材挿入方法。
【請求項7】
先端部材を有する対象物をロボットハンドで把持した状態において、前記先端部材の所定の軸まわりの向きを認識する先端部材の向き認識装置であって、前記ロボットハンドによって前記対象物が把持された状態において前記先端部材を撮像する撮像部と、
第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から前記先端部材の前記所定の軸まわりに所定の角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報を記憶する記憶部と、
前記比較情報に基づいて、取得した画像情報における前記先端部材の前記所定の軸まわりの向きから所望の向きまでの回転角を算出する算出部と、
を備える、先端部材向き認識装置。
【請求項8】
請求項７に記載の先端部材向き認識装置と、前記ロボットハンドを有するロボットと、を備え、
前記ロボットは、前記ロボットハンドによって前記回転角だけ前記対象物を前記所定の軸まわりに回転させる、先端部材向き合わせシステム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、先端部材の向き認識方法、先端部材向き合わせ方法、先端部材挿入方法、先端部材向き認識装置及び先端部材向き合わせシステムに関する。
【背景技術】
【0002】
対象物を三次元カメラ等で認識することにより、その対象物を自律的に把持するロボットの普及が進んでいる。例えば、特開２０１４－１７６９１７号公報（以下、「特許文献１」という。）には、線状体の先端に設けられたコネクタを把持するとともに、このコネクタを所定の接続箇所に接続することが可能なロボット装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－１７６９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載されるようなロボットを備えるシステムにおいて、線状物の先端に設けられた先端部材（コネクタ等）を所定の挿入部に挿入させることが求められる場合がある。この場合において、挿入部に先端部材を挿入させることが可能な先端部材の姿勢に制限がある場合、その姿勢と異なる姿勢では先端部材を挿入部に挿入させることができない。そのため、先端部材の姿勢を挿入部に挿入させることが可能な姿勢に合わせて挿入する必要がある。
【0005】
そこで、あらかじめ先端部材のＣＡＤデータ等を登録しておき、先端部材の画像を取得して、取得した画像を登録しておいたＣＡＤデータとマッチングをすることで、先端部材の向きを計測・認識する方法が考えられる。しかし、先端部材の材質や形状によっては、取得した画像上で先端部材の輪郭を認識することが難しいため、ＣＡＤデータとマッチングすることが困難であるという課題がある。また、三次元データ同士のパターンマッチング処理は負荷が大きく、計算時間がかかるという課題があった。
【0006】
本発明は、上記課題を解決することを目的としており、先端部材の向き認識方法と、先端部材向き合わせ方法と、先端部材挿入方法と、先端部材向き認識装置と、先端部材向き合わせシステムと、を提供することである。
【課題を解決するための手段】
【0007】
この発明の一局面に従った先端部材の向き認識方法は、先端部材を有する対象物をロボットハンドで把持した状態において、前記先端部材の所定の軸まわりの向きを認識する方法であって、前記対象物を前記ロボットハンドで把持した状態において前記先端部材をカメラで撮影し、画像情報を取得する画像情報取得工程と、第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から前記先端部材の前記所定の軸まわりに所定の角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報に基づいて、取得した前記画像情報における前記先端部材の前記所定の軸まわりの向きから所望の向きまでの回転角を算出する算出工程と、を備える。
【0008】
また、前記先端部材は、正規の姿勢であるときに当該先端部材の挿入を許容する挿入部に挿入されることが可能であって、前記所定の軸は、前記先端部材が前記挿入部に挿入される挿入方向と平行な方向の軸であり、前記所望の向きは、前記先端部材が前記挿入部に挿入可能な向きであることが好ましい。
【0009】
また、前記第１姿勢情報、及び、前記第２姿勢情報は、前記先端部材を前記所定の軸まわりに回転させて撮像すると変化する特徴量であることが好ましい。
【0010】
また、前記特徴量は、前記先端部材または先端部材に含まれる形状の幅、面積もしくは外周であることが好ましい。
【0011】
また、この発明の一局面に従った先端部材向き合わせ方法は、先端部材を有する対象物をロボットハンドで把持した状態において、前記先端部材の所定の軸まわりの向きを正規の向きにする先端部材向き合わせ方法であって、前記対象物を前記ロボットハンドで把持した状態においてカメラで撮影し、画像情報を取得する画像情報取得工程と、第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から前記先端部材の前記所定の軸まわりに所定角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報に基づいて、取得した前記画像情報における前記先端部材の前記所定の軸まわりの向きから前記正規の向きまでの回転角を算出する算出工程と、前記ロボットハンドによって前記回転角だけ前記対象物を前記所定の軸まわりに回転させる回転工程と、を備える。
【0012】
この先端部材向き合わせ方法では、比較情報に基づいて、取得した画像情報における先端部材の所定の軸まわりの向きから正規の向きまでの回転角が算出され、その回転角だけロボットハンドが対象物を回転させるため、先端部材が正規の向きに合わせられる。
【0013】
また、この発明の一局面に従った先端部材挿入方法は、先端部材を有する対象物をロボットハンドで把持した状態において、前記先端部材を、前記先端部材の所定の軸まわりの向きが正規の向きであるときにのみ当該先端部材の挿入を許容する挿入部に挿入する先端部材挿入方法であって、前記先端部材向き合わせ方法によって、前記先端部材の向きを合わせ、前記回転工程後、あるいは、前記回転工程と同時に、前記ロボットハンドによって前記先端部材を前記挿入部に挿入する挿入工程をさらに備える。
【0014】
このようにすれば、先端部材が挿入部に挿入される。
【0015】
また、この発明の一局面に従った先端部材向き認識装置は、先端部材を有する対象物をロボットハンドで把持した状態において、前記先端部材の所定の軸まわりの向きを認識する先端部材の向き認識装置であって、前記ロボットハンドによって前記対象物が把持された状態において前記先端部材を撮像する撮像部と、第１姿勢の状態にある前記先端部材の第１姿勢情報、及び、前記第１姿勢から先端部材の前記所定の軸まわりに所定の角度回転した第２姿勢の状態にある前記先端部材の第２姿勢情報を含む比較情報を記憶する記憶部と、前記比較情報に基づいて、取得した画像情報における前記先端部材の前記所定の軸まわりの向きから所望の向きまでの回転角を算出する算出部と、を備える。
【0016】
また、この発明の一局面に従った先端部材向き合わせシステムは、前記先端部材向き認識装置と、前記ロボットハンドを有するロボットと、を備え、前記ロボットは、前記ロボットハンドによって前記回転角だけ前記対象物を前記所定の軸まわりに回転させる。
【発明の効果】
【0017】
以上に説明したように、この発明によれば、安定して先端部材の向きを認識し、正規の角度に先端部材の向きを合わせることができる先端部材の向き認識方法と、先端部材向き合わせ方法と、先端部材挿入方法と、先端部材向き認識装置と、先端部材向き合わせシステムと、を提供することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態の先端部材向き合わせシステムを概略的に示す斜視図である。
【図3】先端部材向き認識装置及びロボットの構成を概略的に示す図である。
【図4】挿入方向に先端部材を投影させたときに形成される投影図である。
【図5】ロボットハンドが対象物を把持し、かつ、先端部材が撮像部に対して正対姿勢である状態における撮像部による撮像画像を概略的に示す図である。
【図9】先端部材が挿入部に挿入された状態を概略的に示す斜視図である。
【図10】先端部材が挿入部としての端子台に挿入された状態を概略的に示す斜視図である。
【発明を実施するための形態】
【0019】
図１は、本発明の一実施形態の先端部材向き合わせシステムを概略的に示す斜視図である。図２は、図１に示される角度とは異なる角度における先端部材向き合わせシステムの斜視図である。図３は、先端部材向き認識装置及びロボットの構成を概略的に示す図である。
【0020】
この先端部材向き合わせシステム１は、対象物２の先端に設けられた先端部材３を挿入部１００内に挿入することが可能な向きに合わせることと、先端部材３を挿入部１００内に挿入することと、が可能なシステムである。対象物２として、電線、光ファイバ、ワイヤーハーネス、紐、糸、繊維、ガラス繊維、チューブ等（以下、「線状物２」と表記する。）が挙げられる。対象物は、ケーブルなどの柔軟物であると本願の効果がより発揮される。本実施形態では、線状物２として、電線が用いられている。
【0021】
先端部材３は、挿入部１００への先端部材３の挿入方向に先端部材３を投影させたときに形成される投影図（図４）を挿入方向と平行な方向における先端部材３の中心軸Ａ（図４を参照）まわりに回転させたときに回転前における投影図と重ならない角度を有する形状を有している。換言すれば、先端部材３は、前記投影図が円形とは異なる形状を有している。本実施形態では、先端部材３として、圧着端子が用いられている。図５に示されるように、先端部材３は、圧着部３ａと、端子部３ｂと、を有している。端子部３ｂには、孔３ｈが設けられている。
【0022】
挿入部１００は、先端部材３が正規の姿勢であるときにのみ当該先端部材３の挿入を許容する。挿入部１００として、配線ダクトのスリットや、端子台等が挙げられる。本実施形態では、図１及び図９に示されるように、挿入部１００は、四角筒状に形成されている。ただし、図１０に示されるように、挿入部１００は、端子台であってもよい。なお、正規の姿勢とは、挿入方向に先端部材３が挿入部１００と重ならない姿勢（先端部材３の挿入部１００への挿入が許容される姿勢）を意味しており、挿入部１００に対する先端部材３の中心軸Ａまわりの角度が厳密に規定されるものではない。
【0023】
【0024】
吊り下げ部３２は、線状物２を吊り下げる部位である。具体的に、吊り下げ部３２は、線状物２のうち先端部材３が接続されていない側の端部（図１における上端部）を保持している。
【0025】
スクリーン３４は、撮像部１２（先端部材向き認識装置１０）から見て、線状物２の背後に設置されている。スクリーン３４は、白色である。
【0026】
照明３６は、透過光照明であることが好ましい。撮像部１２が先端部材３の透過光画像を取得することで、画像処理工程において先端部材３の形状の輪郭を認識しやすくなり、後述する回転角の算出精度が高くなるためである。また、本実施形態の先端部材３の表面が光沢を有しているため、反射光画像を撮像した場合、角度によって先端部材３の形状を上手く取得できない場合があるためである。また、先端部材３に凹凸があったり、色むらがある場合は、透過光画像を取得する方が好ましい。本実施形態では、照明３６は、スクリーン３４に対して光を照射する。照明３６から照射された光は、スクリーン３４で反射して、スクリーン３４と後述する撮像部１２との間に位置する先端部材３を照射する。このように、先端部材向き認識装置１０は、先端部材３の透過光画像を取得することができるように配置されている。これにより、後述する先端部材３の形状の輪郭等の特徴量と比較する画像情報を認識しやすくなり、回転角の算出精度が高くなる。ここで、透過光とは、すなわち対象物に遮蔽されずに対象物の無い空間を通過してカメラに到達する光（バックライト、逆光、または、背面照射光とも呼ばれる）のことを意味する。透過光画像とは、シルエット画像、バックライト画像、逆光画像、または、背面照射光画像とも呼ばれるものである。
【0027】
ロボット２０は、ロボットハンド２２と、受信部２４と、を有している。
【0028】
ロボットハンド２２は、線状物２を把持することが可能である。本実施形態では、ロボットハンド２２は、線状物２を把持した状態で上下方向に移動することや、線状物２の中心軸Ａまわりに線状物２を回転させることが可能である。
【0029】
受信部２４については後述する。
【0030】
先端部材向き認識装置１０は、対象物２をロボットハンド２２で把持した状態において、先端部材３の所定の軸まわりの向きを認識する装置である。先端部材向き認識装置１０は、ロボット２０に対して、ロボットハンド２２によって線状物２を把持した状態で先端部材３を挿入部１００に挿入させることを指示することも可能である。図１に示されるように、先端部材向き認識装置１０は、吊り下げ部３２に吊り下げられた線状物２を基準として、スクリーン３４が配置された側と反対側に配置されている。図１～図３に示されるように、先端部材向き認識装置１０は、撮像部１２と、記憶部１４と、算出部１６と、送信部１８と、を有している。
【0031】
撮像部１２は、線状物２をロボットハンド２２で把持した状態において先端部材３を撮像する。より詳細には、撮像部１２は、線状物２をロボットハンド２２で把持した状態において先端部材３を前記挿入方向と交差する方向（本実施形態では直交する方向）から撮影し、画像情報を取得する。
【0032】
撮像部１２は、先端部材３を撮像できるものであればよく、二次元カメラでも三次元カメラでもよい。先端部材３の回転角度を算出するだけであれば、二次元カメラで行うことができる。二次元カメラを用いる場合、カメラから見てＸ軸方向とＹ軸方向の位置の認識はできるため、Ｚ軸方向は事前に別途計測したおおよその位置をロボットに送信すればよい。ただし、ロボットに精確な先端部材３の三次元座標を送信する場合には、先端部材３の位置を計測できる三次元カメラを用いる方が好ましい。さらに、撮像部１２はステレオカメラであることがより好ましい。ＴＯＦカメラやレーザーを用いた三次元計測機では、三次元データ上で認識工程の処理を行う必要があるため、処理時間がかかるが、ステレオカメラの場合、二次元画像上で比較情報と対比する画像情報を取得するための処理を行ってもよいため、処理時間が少なくて済む。さらに、測定対象である先端部材が金属など表面に光沢のある部材の場合、ステレオカメラの方がＴＯＦカメラやレーザーを用いた三次元計測機よりも光沢面による影響を受けにくく、より安定した三次元計測が可能である。したがって、撮像部１２はステレオカメラであることが好ましい。本実施形態では、撮像部１２はステレオカメラである。回転角度を算出する際には、ステレオカメラの少なくとも片方の画像に基づいて後述する特徴量と比較する画像情報を取得すればよい。
【0033】
記憶部１４は、比較情報を記憶している。比較情報は、第１姿勢の状態にある先端部材３の第１姿勢情報、及び、第１姿勢から先端部材３の挿入方向と平行な中心軸Ａまわりに所定角度回転した第２姿勢の状態にある先端部材３の第２姿勢情報を含んでいる。第１姿勢情報は、第１姿勢の状態にある先端部材３を交差方向から撮像して得られる第１画像情報であることが好ましい。第２姿勢情報は、第２姿勢の状態にある先端部材３を交差方向から撮像して得られる第２画像情報であることが好ましい。各画像情報は、先端部材３を所定の軸（中心軸Ａ）まわりに回転させて撮像すると変化する特徴量である。特徴量は、例えば、先端部材３の外周、面積、所定の箇所（例えば、先端から所定距離位置）の幅などである。なお、比較情報は、第１姿勢及び第２姿勢とは異なる姿勢の状態にある先端部材３を交差方向から撮像して得られる少なくとも一つの他の画像情報をさらに含んでいてもよい。
【0034】
本実施形態では、記憶部１４は、比較情報である各画像情報として、端子部３ｂの幅Ｗ１又は幅Ｗ１に対応する画素数と、圧着部３ａの幅Ｗ２又は幅Ｗ２に対応する画素数と、記憶している。幅Ｗ１は、先端部材３の下端部から上方に第１距離Ｌ１の位置における端子部３ｂの幅である。幅Ｗ２は、先端部材３の下端部から上方に第１距離Ｌ１よりも大きな第２距離Ｌ２の位置における圧着部３ａの幅である。各画像情報は、先端部材３又は先端部材３に含まれる形状の幅、面積または外周であってもよい。ここで、「形状の幅」は、先端部材３の挿入方向と平行な軸に対して直交する方向の長さを意味する。「先端部材３に含まれる形状」とは、例えば先端部材３中の孔や模様を意味し、例えば図５における先端部材３の孔３ｈの面積や孔３ｈの外周である。
【0035】
例えば、第１画像情報は、撮像部１２に対して先端部材３が正対しており、挿入される挿入方向と平行な中心軸Ａまわりの回転角が挿入部へ挿入可能な向きとなっている正対姿勢（図５に示される姿勢）における幅Ｗ１又は幅Ｗ１に対応する画素数、及び、幅Ｗ２又は幅Ｗ２に対応する画素数である。第２画像情報は、先端部材３が正対姿勢から中心軸Ａまわりに９０度回転した姿勢（図８に示される姿勢）における幅Ｗ１又は幅Ｗ１に対応する画素数、及び、幅Ｗ２又は幅Ｗ２に対応する画素数である。図６は、先端部材３が正対姿勢から中心軸Ａまわりに３０度回転した状態における撮像部１２による撮像画像を概略的に示す図である。図７は、先端部材３が正対姿勢から中心軸Ａまわりに６０度回転した状態における撮像部による撮像画像を概略的に示す図である。
【0036】
算出部１６は、前記比較情報に基づいて、撮像部１２が取得した画像情報における先端部材３の所定の軸まわりの向きから所望の向きまでの回転角を算出する。本実施形態では、算出部１６は、撮像部１２により撮像された撮像画像における画像情報（幅Ｗ１又は幅Ｗ１に対応する画素数、及び、幅Ｗ２又は幅Ｗ２に対応する画素数）と比較情報とを比較することによって、先端部材３の現在の姿勢から前記正規の姿勢までの中心軸Ａまわりの回転角を算出する。具体的には、画像情報は、中心軸Ａまわりの回転角に応じて正弦関数的に変化するため、算出部１６は、撮像画像における画像情報及び正弦関数に基づいて、先端部材３の現在の姿勢から前記正規の姿勢までの中心軸Ａまわりの回転角を算出する。
【0037】
あるいは、記憶部１４は、正対姿勢からの先端部材３の中心軸Ａまわりの角度とそのときの先端部材３の画像情報との関係を示すテーブルを記憶しており、算出部１６は、そのマップと撮像部１２により撮像された撮像画像における画像情報とに基づいて、先端部材３の現在の姿勢から前記正規の姿勢までの中心軸Ａまわりの回転角を算出してもよい。
【0038】
また、算出部１６は、前記回転角を算出する際、先端部材３の中心軸Ａが鉛直方向に対して傾斜している場合、画像情報中において前記中心軸Ａが鉛直方向と平行となるような処理を行った上で、前記回転角を算出してもよい。
【0039】
算出部１６は、先端部材３の位置情報（座標情報）も算出してもよい。本実施形態においては、算出部１６はステレオカメラで撮像して取得した画像情報にもとづいて、三角測量の原理で先端部材３の三次元座標を取得することができる。算出部１６は、先端部材３の位置情報として、例えば、先端部材３の最下点（挿入される先端部）の位置を算出する。
【0040】
送信部１８は、回転信号と挿入信号とをロボット２０の受信部２４に送信する。回転信号は、算出部１６により算出された回転角だけロボットハンド２２によって先端部材３を中心軸Ａまわりに回転させる信号、つまり、先端部材３の現在の姿勢から前記正規の姿勢までの中心軸Ａまわりの回転角を示す信号である。挿入信号は、算出部が算出した先端部材の位置情報をもとに、ロボットハンド２２によって先端部材３を挿入部１００に挿入させることを示す信号である。
【0041】
以上に説明した先端部材向き認識装置１０は、画像情報取得工程と、算出工程と、を実施する。画像情報取得工程は、撮像部１２により実行される工程である。算出工程は、算出部１６により実行される工程である。
【0042】
ここで、受信部２４について説明する。受信部２４は、先端部材向き認識装置１０の送信部１８から回転信号及び挿入信号を受信する。受信部２４は、回転信号に基づいてロボットハンド２２に対して線状物２を回転させることを指示する。受信部２４は、挿入信号に基づいてロボットハンド２２に対して先端部材３の挿入部１００内への挿入を指示する。
【0043】
すなわち、ロボットハンド２２は、回転信号に基づいて先端部材３が中心軸Ａまわりに回転するように線状物２を操作すること（回転操作）と、挿入信号に基づいて先端部材３が挿入部１００に挿入されるように線状物２を操作すること（挿入操作）と、を行う。換言すれば、ロボット２０は、ロボットハンド２２によって回転信号に基づいた回転角だけ線状物２を中心軸Ａまわりに回転させるとともに、ロボットハンド２２によって挿入信号に基づいて先端部材３を挿入部１００に挿入させる。なお、回転操作及び挿入操作は、この順に行われてもよいし、同時に行われてもよい。
【0044】
以上に説明したロボット２０は、回転工程と、挿入工程と、を実施可能である。回転工程は、回転操作を行う工程である。挿入工程は、挿入操作を行う工程である。
【0045】
以上に説明したように、本実施形態の先端部材向き合わせシステム１では、カメラが撮影して取得した先端部材３の画像情報を比較情報と比較することによって、先端部材３の現在の姿勢から正規の姿勢までの中心軸Ａまわりの回転角が算出され、その回転角だけロボットハンド２２が線状物２を回転させるため、先端部材３の姿勢が挿入部１００への先端部材３の挿入が可能な姿勢（正規の姿勢）となる。画像情報とは、撮像部１２が撮像して得られた画像そのものであってもよいし、画像を解析することで得られる画像中の幾何的特徴量（例えば、円形状のパラメータや特定の図形で近似した際の縦横比、外周長など）の情報であってもよい。
【0046】
また、先端部材向き認識装置１０は、回転信号及び挿入信号をロボット２０に送信するため、ロボットハンド２２によって線状物２を挿入部１００に挿入することが可能となる。
【0047】
なお、今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【0048】
例えば、記憶部１４、算出部１６及び送信部１８は、撮像部１２から離間していてもよい。すなわち、先端部材向き認識装置１０は、第１ケースと第１ケースとは別体の第２ケースとを有し、第１ケースに撮像部１２が収容され、第２ケースに記憶部１４、算出部１６及び送信部１８が収容されていてもよい。
【0049】
また、算出部１６は、前記回転角（先端部材３の現在の姿勢から前記正規の姿勢までの中心軸Ａまわりの回転角）の算出前に、画像情報において先端部材３の中心軸Ａの鉛直方向に対する傾斜角を算出してもよい。この場合、送信部１８は、先端部材３の中心軸Ａが鉛直方向と平行となるように中心軸Ａを傾けることを示す鉛直信号を受信部２４に送信し、受信部２４からの指示に基づいて、ロボットハンド２２は、先端部材３の中心軸Ａが鉛直方向と平行となるように線状物２を操作すること（鉛直操作）を行う。その状態、つまり、先端部材３の中心軸Ａが鉛直方向と実質的に平行となった状態において、算出部１６は、撮像部１２による画像情報に基づいて前記回転角を算出する。このようにすれば、より正確に前記回転角が算出される。
【0050】
また、先端部材の種類によっては、先端部材の挿入部への挿入方向と平行な方向における先端部材の中心軸まわりに１８０度回転させたときの挿入方向に先端部材を投影させたときに形成される投影図が、回転前の投影図と同じ形状になるが、機能的には表裏の別がある場合がある。この場合、回転角の算出に加えて表裏判定が必要となる。先端部材の表裏について、先端部材の色や模様等による違いがあれば、取得した画像情報から色や模様を識別して、表裏判定をする工程を回転角の算出工程に加えることで、表裏の別を反映した向き認識及び向き合わせを実現できる。この時、色や模様等を判別するために、透過光画像に加えて反射光画像を取得することが好ましい。反射光画像を取得する際は、室内光や太陽光等の環境光が線状物に対して照射された状態で取得すればよい。より安定して反射光画像を取得するためには、線状物に対して光を照射する反射光照射部材を有するのが好ましい。反射光照射部材にはランプ、ＬＥＤ等の通常の照明を用いることができる。より好ましくは、撮像部と同じ側から先端部材に対して均一な光を照射可能な拡散光照明である。
【符号の説明】
【0051】
１ 先端部材向き合わせシステム、２ 対象物（線状物）、３ 先端部材、３ａ 圧着部、３ｂ 接続部、３ｈ 孔、１０ 先端部材向き認識装置、１２ 撮像部、１４ 記憶部、１６ 算出部、１８ 送信部、２０ ロボット、２２ ロボットハンド、２４ 受信部、３２ 吊り下げ部、３４ スクリーン、３６ 照明、１００ 挿入部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】