特開 2024-55669 教師データ生成方法、ならびにコネクタの位置および姿勢推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024055669

(43)【公開日】2024-04-18

(54)【発明の名称】教師データ生成方法、ならびにコネクタの位置および姿勢推定方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240411BHJP

   G06T 7/00 20170101ALI20240411BHJP

   G06V 10/70 20220101ALI20240411BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350B

G06V10/70

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022162770

(22)【出願日】2022-10-07

(71)【出願人】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】100167988

【弁理士】

【氏名又は名称】河原 哲郎

(72)【発明者】

【氏名】濱田 三弦

(72)【発明者】

【氏名】永井 亮

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA05

5L096DA02

5L096FA67

5L096FA69

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】画像上でコネクタの特徴点の座標を推定するための特徴点推定モデルの学習に用いる教師データを簡便に生成する方法を提供する。
【解決手段】コネクタと同種の学習用コネクタの表面に、一直線上にない少なくとも３点にマークを付してマーク付きコネクタを作製する工程と、前記マーク付きコネクタを撮像してマーク付きコネクタ画像を取得する工程と、前記マーク付きコネクタ画像上で、前記マークに基づいて前記マーク付きコネクタの一直線上にない少なくとも３つの特徴点の座標を算出する工程と、前記マーク付きコネクタ画像から前記マークを除去してマーク除去コネクタ画像を作成する工程とを有し、前記マーク除去コネクタ画像と前記マーク付きコネクタの特徴点の座標のセットを教師データとする教師データ生成方法。
【選択図】図７

【特許請求の範囲】

【請求項1】

画像上でコネクタの特徴点の座標を推定するための特徴点推定モデルの学習に用いる教師データを生成する方法であって、
前記コネクタと同種の学習用コネクタの表面に、一直線上にない少なくとも３点にマークを付してマーク付きコネクタを作製する工程と、
前記マーク付きコネクタを撮像してマーク付きコネクタ画像を取得する工程と、
前記マーク付きコネクタ画像上で、前記マークに基づいて前記マーク付きコネクタの一直線上にない少なくとも３つの特徴点の座標を算出する工程と、
前記マーク付きコネクタ画像から前記マークを除去してマーク除去コネクタ画像を作成する工程とを有し、
前記マーク除去コネクタ画像と前記マーク付きコネクタの前記特徴点の座標のセットを教師データとする、
教師データ生成方法。

【請求項2】

前記マーク付きコネクタが、前記特徴点推定モデルを用いて推論を行うときと同じ環境で撮像される、
請求項１に記載の教師データ生成方法。

【請求項3】

前記特徴点推定モデルが入力された画像と同じサイズの画像を出力するネットワーク構造を有し、
前記特徴点の座標が、該特徴点の位置の確信度マップとして表現される、
請求項１に記載の教師データ生成方法。

【請求項4】

前記コネクタの表面に付す複数の前記マークは、２以上の色を用いて塗り分けられる、
請求項１に記載の教師データ生成方法。

【請求項5】

前記マーク除去コネクタ画像が、学習済みのマーク除去モデルによって作成される、
請求項１に記載の教師データ生成方法。

【請求項6】

前記マーク付きコネクタ画像は、前記マーク付きコネクタを撮像した画像から、学習済みのコネクタ検知モデルによってコネクタ領域を切り出すことによって取得される、
請求項１に記載の教師データ生成方法。

【請求項7】

前記コネクタを撮像してコネクタ画像を取得する撮像工程と、
請求項１に記載された教師データを用いて学習した学習済みの前記特徴点推定モデルに前記コネクタ画像を入力して、該コネクタ画像上の前記コネクタの前記特徴点の座標を出力として取得する推論工程と、
前記特徴点の座標に基づいて前記コネクタの位置および姿勢を算出する工程と、
を有するコネクタの位置および姿勢推定方法。

【請求項8】

前記コネクタ画像は、前記コネクタを撮像した画像から、学習済みのコネクタ検知モデルによってコネクタ領域を切り出すことによって取得される、
請求項７に記載のコネクタの位置および姿勢推定方法。

【請求項9】

前記撮像工程が、ステレオカメラを用いて前記コネクタを撮像して、同時に２枚の前記コネクタ画像を取得する工程であり、
前記推論工程が、前記２枚のコネクタ画像上の前記コネクタの前記特徴点の座標を取得する工程であり、
前記コネクタの位置および姿勢が、前記２枚のコネクタ画像上での前記コネクタの前記特徴点の座標に基づいて、３角測量の原理によって算出される、
請求項７または８に記載のコネクタの位置および姿勢推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットを用いてコネクタに対する把持等の作業を行うために、コネクタの位置および姿勢を取得する方法に関し、より詳細には、当該方法に利用するネットワークモデルの学習に用いる教師データの生成方法に関する。

【背景技術】

【0002】

コネクタをロボットハンドで把持して、接続を自動化する試みが行われている。このとき、例えば、コネクタが柔軟で可撓性を有するケーブルの先端に装着されていると、コネクタの位置および姿勢がわずかな外力で変化して一定せず、コネクタをハンドで自律的に把持するためにはコネクタの位置および姿勢を何らかの方法で取得する必要がある。また、ロボットハンドによる保持方法によって、例えば、ケーブル部分を保持した場合にはコネクタの姿勢が一定せず、このコネクタを所定の接続対象に接続するためには、コネクタの姿勢を何らかの方法で取得する必要がある。

【0003】

コネクタの位置および姿勢を取得することに関して、特許文献１には、側面にマークを有するコネクタを利用し、当該マークの３次元計測結果に基づいて、コネクタの向きおよび位置を算出する方法が記載されている。しかし、特許文献１に記載された方法では、作業に用いるコネクタのすべてにマークを形成しておくことを要し、コネクタの製造コストが高くなるという問題があった。

【0004】

特許文献２には、ワイヤーハーネスの製造において、ケーブルに装着されたコネクタをロボットが把持するに当たり、コネクタの姿勢の適合信頼性に関するスコアを出力する適合信頼性判定部を利用して、撮像されたコネクタ画像に基づいてコネクタの姿勢を認識する装置および方法が記載されている。適合信頼性判定部は、コネクタの前後方向の軸を中心とした回転角度を変えたコネクタ画像を教師有りデータとして機械学習させる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－０９６０８１号公報

【特許文献2】特開２０１８－１８０７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ネットワークモデルを利用してコネクタの位置および姿勢を決定する場合、コネクタ画像上で複数の特徴点の座標を推定し、これに基づいてコネクタの３次元空間内での位置および姿勢を算出することができる。この方法によれば、特許文献１に記載された方法と異なり、作業に用いるコネクタに座標算出用のマークを形成する必要がない。

【0007】

しかし、ネットワークモデルを学習させるには、一般に多数の教師データを準備する必要がある。コネクタ画像上で特徴点の座標を推定するモデルを学習させるためには、コネクタ画像に、当該画像上の特徴点の座標を正解としてラベル付けした教師データを準備する必要があり、多数のコネクタ画像に正解をラベル付けすることは手間のかかる作業であった。

【0008】

特許文献２に記載された方法では、回転角度を複数に区分して、各区分毎に準備したコネクタ画像に基づいて機械学習を行い、撮像されたコネクタ画像と複数に区分されたコネクタの姿勢のそれぞれに対する適合信頼性に関するスコアを利用することで、学習用画像の数を減らすことができるとされる。しかし、特許文献２に記載された方法は、保持バーによるコネクタの保持構造によってコネクタの前後方向がほぼ一定であることを前提として、コネクタの前後方向の軸を中心とした回転角度を求めるものであって、コネクタが３次元空間内で自由に姿勢を変えられる場合には適用できなかった。

【0009】

本発明は上記を考慮してなされたものであり、コネクタ画像上の特徴点の座標を推定するネットワークモデルの学習に用いる教師データを、より簡便に生成する方法を提供することを目的とする。併せて、本発明は、学習済みのかかるネットワークモデルを利用して、コネクタの位置および姿勢を推定する方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題に対して、本発明は、画像上でコネクタの特徴点の座標を推定するためのネットワークモデルの学習に用いる教師データを、表面にマークを付したコネクタを利用して生成する。

【0011】

具体的には、本発明の教師データ生成方法は、画像上でコネクタの特徴点の座標を推定するための特徴点推定モデルの学習に用いる教師データを生成する方法であって、前記コネクタと同種の学習用コネクタの表面に、一直線上にない少なくとも３点にマークを付してマーク付きコネクタを作製する工程と、前記マーク付きコネクタを撮像してマーク付きコネクタ画像を取得する工程と、前記マーク付きコネクタ画像上で、前記マークに基づいて前記マーク付きコネクタの一直線上にない少なくとも３つの特徴点の座標を算出する工程と、前記マーク付きコネクタ画像から前記マークを除去してマーク除去コネクタ画像を作成する工程とを有する。そして、前記マーク除去コネクタ画像と前記マーク付きコネクタの前記特徴点の座標のセットを教師データとする。

【0012】

本発明のコネクタの位置および姿勢推定方法は、前記コネクタを撮像してコネクタ画像を取得する撮像工程と、上記教師データを用いて学習した学習済みの前記特徴点推定モデルに前記コネクタ画像を入力して、該コネクタ画像上の前記コネクタの前記特徴点の座標を出力として取得する推論工程と、前記特徴点の座標に基づいて前記コネクタの位置および姿勢を算出する工程とを有する。

【発明の効果】

【0013】

本発明の教師データ生成方法によれば、マーク付きコネクタを用いて、マーク付きコネクタ画像上でマークを手掛かりに画像を処理して特徴点の座標を算出し、マーク付きコネクタ画像からマーク除去コネクタ画像を生成することによって、特徴点推定モデルを学習させるための教師データをより簡便に生成することができる。

【図面の簡単な説明】

【0014】

【図1】コネクタ把持作業を行う装置構成を示す図である。

【図2】学習済みのネットワークモデルを利用したコネクタの把持方法の工程フロー図である。

【図3】コネクタ検出モデルの教師データを説明するための図である。Ａ：マーク付きコネクタを含む場面画像、Ｂ：図３Ａのマーク付きコネクタ部分の拡大画像、Ｃ：マーク付きコネクタにバウンディングボックスをラベル付けした教師画像。

【図4】コネクタ検出モデルによる推論を説明するための図である。Ａ：入力する場面画像、Ｂ：コネクタの検出結果、Ｃ：コネクタ画像。

【図5】特徴点推定モデルの教師データを説明するための図である。Ａ：マーク除去コネクタ画像、Ｂ～Ｄ：図５Ａの特徴点の位置を示す確信度マップ、Ｅ：図５Ａ～Ｄを重ね合わせた画像。

【図6】特徴点推定モデルによる推論を説明するための図である。Ａ：入力するコネクタ画像、Ｂ～Ｄ：特徴点の位置を示す確信度マップ、Ｅ：図６Ａ～Ｄを重ね合わせた画像。

【図7】特徴点推定モデルの教師データ生成方法の工程フロー図である。

【図8】マーク付きコネクタの作製方法を説明するための図である。Ａ：学習用のマークなしコネクタ、Ｂ：マーク付きコネクタ。

【図9】マーク付きコネクタの特徴点の算出方法を説明するための図である。Ａ：マーク付きコネクタ画像、Ｂ：特徴点の算出方法、Ｃ～Ｅ：特徴点の位置を示す確信度マップ。

【図10】マーク除去モデルの教師データを説明するための図である。Ａ：マークなしコネクタ画像、Ｂ：マークなしコネクタ画像に疑似マークを合成したマーク合成コネクタ画像。

【図11】マーク除去モデルによる推論を説明するための図である。Ａ：入力するマーク付きコネクタ画像、Ｂ：出力されるマーク除去コネクタ画像。

【発明を実施するための形態】

【0015】

本発明の教師データ生成方法ならびにコネクタの位置および姿勢推定方法の一実施形態を、ロボットによるコネクタの把持作業を例に説明する。以下では、まず学習済みのネットワークモデルを利用して行う把持作業について説明し、その後にネットワークモデルの学習方法について説明する。

【0016】

なお、本明細書において、コネクタに特徴点の位置を教示するためのマークを付したものを「マーク付きコネクタ」といい、かかるマークを付していないコネクタを「マークなしコネクタ」または単に「コネクタ」という。また、コネクタの画像について、マーク付きコネクタの画像を「マーク付きコネクタ画像」、マークなしコネクタの画像を「マークなしコネクタ画像」または単に「コネクタ画像」といい、マーク付きコネクタ画像から画像上でマークを除去したものを「マーク除去コネクタ画像」、マークなしコネクタ画像に画像上で疑似的なマークを重ね合わせて合成したものを「マーク合成コネクタ画像」という。また、ネットワークモデルを単に「モデル」ということがある。

【0017】

図１を参照して、本実施形態の把持作業を行うシステムの全体は、ロボット１１と、ステレオカメラ１４と、演算装置１５を有する。把持作業は、ワークであるコネクタ１６をステレオカメラ１４で撮像し、演算装置１５に記憶された学習済みのネットワークモデルを用いてコネクタ１６の位置および姿勢を推定して、ロボット１１に装着されたハンド１２でコネクタ１６を把持することによって実施される。

【0018】

ロボット１１は、複数のリンクと関節が順次連結されて構成されたアームを有する多関節ロボットである。ロボットのアームの先端には、コネクタ１６を把持するためのハンド１２が装着されている。ロボット１１は制御部１３を有する。制御部１３は、各関節の回転角度を制御することによってアームの動作を制御し、また、ハンド１２によるコネクタ１６の把持および解放動作を制御する。なお、ロボット１１の構造は特に限定されず、図１に示した多関節型以外のロボットを用いることもできる。

【0019】

コネクタ１６は、ケーブル１７の先端に装着されている。本実施形態を適用可能なコネクタは種類、形状ともに特に限定されない。コネクタはオス型であってもメス型であってもよく、プラグ、ジャック、レセプタクル、ハウジング、ソケット等の名称で呼ばれるものを含む。また、コネクタが装着される部材は、一般的なケーブルの他、フレキシブルフラットケーブル（ＦＦＣ）やフレキシブルプリント配線板（ＦＰＣ）であってもよい。また、コネクタは、ケーブル等に装着されていない状態であってもよい。

【0020】

ステレオカメラ１４は、コネクタ１６を撮像する撮像装置である。ステレオカメラは２台のカメラを備え、異なる視点から撮像された２枚の画像上で対応点を求めれば、３角測量の原理によって当該対応点の３次元位置を算出することができる。コネクタを撮像する装置としては、通常の単眼カメラを用いることもできるが、好ましくはステレオカメラを用いる。

【0021】

演算装置１５は、記憶部と演算部を備える。記憶部は、ステレオカメラ１４が撮像した画像などの各種画像、所要の情報、後述する各ネットワークモデル等を記憶する。演算部は、後述する各種画像処理や、ネットワークモデルによる推論のための演算を行う。

【0022】

次に、学習済みのネットワークモデルを利用したコネクタの把持方法を、図２に示した流れに沿って説明する。

【0023】

（Ｓ１）ステレオカメラ１４でコネクタ１６を撮像する。撮像は、コネクタの位置や姿勢が一定しない場合でもコネクタの全体が確実に画像に含まれるように、コネクタおよびその周辺の、ある程度広い範囲を撮像する。以下において、ある程度広い範囲を撮像したこの画像を「場面画像」と呼ぶことにする。ステレオカメラでは、同時に２枚の場面画像が撮像される。以下のコネクタ検出工程（Ｓ２）、特徴点推定工程（Ｓ３）は、２枚の場面画像のそれぞれに対して同様に実施される。

【0024】

（Ｓ２）場面画像から、コネクタ領域を切り出してコネクタ画像を取得する。具体的には、図４を参照して、学習済みのコネクタ検出モデルによって場面画像２１からコネクタ１６を認識し、コネクタ領域を切り出してコネクタ画像２３を取得する。図４Ｂは、認識したコネクタ１６をバウンディングボックス２２でラベル付けした画像である。このとき、コネクタ画像２３が切り出された場面画像２１上の位置、すなわち場面画像のどの部分がコネクタ画像として切り出されたかを、演算装置１５に記憶させておく。

【0025】

コネクタ検出モデルとしては、Ｒ－ＣＮＮ（領域ベースの畳み込みニューラルネットワーク、Ｒｅｇｉｏｎ Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ)、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）やこれらの派生形を用いることができる。コネクタ検出モデルの学習方法は後述する。

【0026】

コネクタ領域を切り出すことは、画像処理によって、例えばコネクタの輪郭を抽出することによっても行うことができるが、好ましくは、処理速度および結果の信頼度に優れるコネクタ検出モデルを用いて行う。

【0027】

また、画像の大半をコネクタが占めるクロースアップ画像を直接撮像できれば、撮像された画像をコネクタ画像として、本工程（Ｓ２）を省略できるが、前述のとおり、コネクタの位置や姿勢が一定しない場合でもコネクタの全体が確実に画像に含まれるように、一旦場面画像を撮像して（Ｓ１）、場面画像からコネクタ領域を切り出して（Ｓ２）、コネクタ画像を取得する方が好ましい。

【0028】

（Ｓ３）コネクタ画像上でコネクタの特徴点の座標を推定する。具体的には、図６を参照して、学習済みの特徴点推定モデルにコネクタ画像２３を入力して、出力として特徴点の座標を取得する。コネクタの特徴点は、コネクタの位置および姿勢を決定するためにコネクタ中に設定された点であり、ここで推定する特徴点の座標は画像上での２次元座標である。特徴点の座標は、数値であっても、座標を表現する画像であってもよい。図６では、出力として、特徴点の座標が、特徴点の位置の確信度として表現された確信度マップ２４（図６Ｂ～Ｄ）を取得している。図６では、特徴点が３点である例を示しており、図６Ｅは、説明のためにコネクタ画像２３と３枚の確信度マップ２４を重ね合わせたものである。図６Ｅ中に示した破線の三角形によってコネクタの位置および姿勢が一意に定まる。

【0029】

特徴点推定モデルには、畳み込み層とプーリング層を並べたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のうち、ＦＣＮ（完全畳み込みニューラルネットワーク、Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）やその派生形を用いることができ、好ましくはＵ－ｎｅｔを用いる。Ｕ－ｎｅｔのネットワーク構造は、画像の畳み込み、縮小を繰り返した後、畳み込み、拡張を繰り返し、前半の縮小パスと後半の拡張パスの同サイズの画像をスキップ接続で結合したもので、精度の高い推定が可能となる。Ｕ－ｎｅｔは入力された画像と同じサイズ、つまり縦横のピクセル数が等しい画像を出力する。特徴点推定モデルの学習方法は後述する。

【0030】

（Ｓ４）コネクタ画像上の特徴点の座標に基づいて、コネクタの位置および姿勢を算出する。特徴点の座標が確信度マップで表現されたときは、例えば、確信度が最大となる点を特徴点の位置と推定して、その座標を用いることができる。本実施形態では、ステレオカメラで２枚の場面画像を撮像するので、２枚のコネクタ画像２３上での特徴点の座標と、それぞれのコネクタ画像が切り出された場面画像２１上の位置に基づいて、３角測量の原理によって、特徴点の３次元座標を算出することができる。そして、一直線上にない少なくとも３以上の特徴点の３次元座標によって、コネクタ１６の位置および姿勢を求めることができる。

【0031】

撮像工程（Ｓ１）において、通常の単眼カメラを用いてコネクタ１６を撮像した場合は、１枚のコネクタ画像上の特徴点の座標に基づいて、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ Ｐｏｉｎｔ）問題としてコネクタの姿勢および位置を推定することができる。ただし、好ましくは、ステレオカメラを用いることによって、２枚のコネクタ画像上での特徴点の座標に基づいて、当該特徴点の３次元座標を高速に算出できる。

【0032】

（Ｓ５）ハンド１２でコネクタ１６を把持する。具体的には、演算装置１５が算出したコネクタ１６の位置および姿勢に基づいて、ロボットの制御部１３がロボット１１を制御して、ハンド１２にコネクタ１６を把持させる。

【0033】

次に、ネットワークモデルの学習方法について説明する。

【0034】

まず、図８を参照して、コネクタ１６と同種の学習用のコネクタ３１の表面に３点以上のマーク３３を付してマーク付きコネクタ３２を作製する。マークは、特徴点の位置を教示するもので、撮像された場面画像に一直線上にない少なくとも３点が写る必要がある。毎回の撮像工程でコネクタの同じ側面が撮像される場合は、図８に示したように、当該側面に３点以上のマークを付せばよい。撮像工程毎にコネクタの撮像される側が一定しない場合は、どの方向から撮像しても３点以上のマークが場面画像に含まれるように、コネクタの表面全体に適当な数のマークを付す。

【0035】

マーク３３はマーカーペン、インク塗装、シール貼り付け等で印すことができる。マーク３３は、好ましくは複数の色を用いて塗り分け、より好ましくは、すべてのマークに異なる色を用いる。これによって、後工程の画像処理等で、画像上でマーカーを識別しやすくなる。

【0036】

作製したマーク付きコネクタ３２を用いてコネクタ検出モデルの教師データを生成する。図３を参照して、把持作業を行うのと同じ環境で、マーク付きコネクタ３２を含む場面画像４１（図３Ａ）を撮像する。図３Ｂは図３Ａのマーク付きコネクタ部分を拡大したもので、破線の円によってマーク３３の位置を示した。画像処理によって、すべてのマーク３３を含む領域を取り、当該領域をマーク付きコネクタ３２の全体を含むように少し拡大して、正解となるバウンディングボックス４２を形成する。これにより、マーク３３を手掛かりにして、画像処理によって自動でバウンディングボックス４２を形成できる。場面画像４１とバウンディングボックス４２を教師データとして、コネクタ検出モデルを学習させる。

【0037】

学習済みのコネクタ検出モデルは、把持作業時に、マークのないコネクタ１６を含む場面画像２１から当該コネクタを検出するのに用いられる（図４参照）。本発明者らの実験によれば、コネクタ検出モデルを上記のようにマーク付きコネクタを用いて学習させても、マークのないコネクタを検出することが可能であった。もし、何らかの理由により、マークなしコネクタの検出精度が上がらない場合は、マークなしコネクタを含む場面画像に、人間の判断によってバウンディングボックスをラベル付けして、上記教師データとして併用してもよい。後述する特徴点推定モデルの教師データのラベル付けと異なり、バウンディングボックスのラベル付けは手間ではあるがさほど困難な作業ではない。

【0038】

また、学習済みのコネクタ検出モデルは、特徴点推定モデルおよび後述するマーク除去モデルの教師データの生成にも用いられる。

【0039】

次いで、特徴点推定モデルの教師データの生成方法を、図７に示した流れに沿って説明する。

【0040】

（Ｓ１１、Ｓ１２）把持作業を行うのと同じ環境で、図８Ｂに示したマーク付きコネクタ３２を含む場面画像を撮像し、学習済みのコネクタ検出モデルを用いて、マーク付きコネクタ３２領域が切り出されたマーク付きコネクタ画像を取得する。このマーク付きコネクタは、教師データの例題となる画像、および正解の生成に利用される。以下に、正解と例題の順にその生成方法を説明する。

【0041】

（Ｓ１３）図９を参照して、画像処理により、マーク付きコネクタ画像４５上でマーク３３を識別して、マーク３３の位置に基づいて、マーク付きコネクタ画像上での特徴点３４の座標を算出する。

【0042】

特徴点３４は、その座標に基づいてコネクタの位置および姿勢を算出するため、マーク３３と同様に、一直線上にない少なくとも３点が必要となる。ただし、特徴点はマークと１対１に対応している必要はなく、マークと一致していてもよいし、または複数のマークとの既知の相対的な位置関係により特定可能であればよい。また、マーク３３がコネクタの表面に付されているのに対して、特徴点３４はコネクタの内部にあってもよい。

【0043】

図９では、マーク３３ａ、３３ｂと一致する位置に特徴点３４ａ、３４ｂを取り、マーク３３ｃと３３ｄの中点に特徴点３４ｃを取った。これらの特徴点３４ａ～３４ｃの座標を正解データとする（図９Ｂ）。前述のとおり、特徴点推定モデルとしてＵ－ｎｅｔを用いる場合は、各特徴点毎に、マーク付きコネクタ画像の特徴点の位置を表現した確信度マップを作成する（図９Ｃ～Ｅ）。

【0044】

（Ｓ１４）上記正解に対応する例題には、マーク付きコネクタ画像４５からマーク３３を除去したマーク除去コネクタ画像を用いる。マーク付きコネクタ画像からマークを除去する方法として、例えば、マークをその周囲のコネクタの色で塗りつぶすなどの画像処理を用いることもできるが、本発明者らの実験によればネットワークモデルを用いた方が良い結果が得られた。マーク除去コネクタ画像を作成するネットワークモデルとしては、特徴点推定モデルと同様に、ＦＣＮやその派生形を用いることができ、好ましくはＵ－ｎｅｔを用いる。

【0045】

図１０を参照して、マーク除去モデルを以下のように学習させる。把持作業を行うのと同じ環境で、マークなしコネクタ３１を含む場面画像を撮像し、学習済みのコネクタ検出モデルを用いて、マークなしコネクタ３１領域が切り出されたマークなしコネクタ画像４３を取得する。マークなしコネクタ画像４３の画像上に、色、形状、大きさの異なる疑似マーク３５をランダムに合成して、マーク合成コネクタ画像４７を作成する。作成したマーク合成コネクタ画像４７と、正解であるマークなしコネクタ画像４３を教師データとして、マーク除去モデルを学習させる。

【0046】

図１１を参照して、学習済みのマーク除去モデルにマーク付きコネクタ画像４５を入力して、マーク３３が除去されたマーク除去コネクタ画像４６が出力として得られる。

【0047】

図５を参照して、以上によって得られたマーク除去コネクタ画像４６と、それに対応する特徴点の位置の確信度マップ４４を特徴点推定モデルの教師データとする。図５Ｅは、説明のためにマーク除去コネクタ画像４６と３枚の確信度マップ４４を重ね合わせたものである。

【0048】

以上のとおり、本実施形態の教師データ生成方法によれば、マーク付きコネクタを用いて、マーク付きコネクタ画像上でマークを手掛かりに画像を処理して特徴点の座標を算出し、マーク付きコネクタ画像からマーク除去コネクタ画像を生成することによって、特徴点推定モデルを学習させるための教師データをより簡便に生成することができる。

【0049】

また、本実施形態の教師データ生成方法では、教師データを生成するために、コネクタへの作業時に必要な装置の他に特別な装置を必要としないので、実際に作業が行われる環境で教師データを作成することができる。本実施形態の説明に用いた図面では、説明を容易にするために背景を省略した。コネクタに対する作業が実際に行われる環境では、回路基板等の複雑な模様が背景となることも多い。ネットワークモデルを用いた推論では背景によって推論の信頼度が変わることがあるが、本実施形態では、コネクタの把持作業等が行われる環境でコネクタを撮像して教師データを生成できるので、より精度の高い推論を行うことができる。ただし、本発明は、教師データ作成時に数種類の背景を差し替えてデータ拡張を行うことを排除するものではない。また、学習時に単色の背景でコネクタを撮像して背景を差し替えたり、把持作業時に取得する場面画像やコネクタ画像の背景を単色等の単純な背景に差し替えたりしてもよい。

【0050】

また、本実施形態の特徴点推定モデルを形状の異なるコネクタに適用する場合は、異なる教師データを用いて、改めて機械学習を行うことになる。しかし、コネクタがケーブルに装着されているか否かや、ケーブルの色や本数が異なる場合については、予めこれらの要因を変えた教師データを用いて学習させておけば、改めて機械学習をやり直す必要はない。

【0051】

本発明は、上記実施形態には限定されず、その技術的思想の範囲内で種々の変形が可能である。

【符号の説明】

【0052】

１１ ロボット
１２ ハンド
１３ 制御部
１４ ステレオカメラ
１５ 演算装置
１６ コネクタ
１７ ケーブル
２１ 場面画像
２２ バウンディングボックス
２３ コネクタ画像
２４ 確信度マップ
３１ マークなしコネクタ（学習用）
３２ マーク付きコネクタ
３３、３３ａ～ｄ マーク
３４、３４ａ～ｃ 特徴点
３５ 疑似マーク
４１ 場面画像（マーク付き、学習用）
４２ バウンディングボックス
４３ マークなしコネクタ画像（学習用）
４４ 確信度マップ（学習用）
４５ マーク付きコネクタ画像
４６ マーク除去コネクタ画像
４７ マーク合成コネクタ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】