特許 7617997 溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-09

(45)【発行日】2025-01-20

(54)【発明の名称】溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラム

(51)【国際特許分類】

   B23K 31/00 20060101AFI20250110BHJP

   G06T 7/00 20170101ALI20250110BHJP

   G06T 7/70 20170101ALI20250110BHJP

   G06V 10/82 20220101ALI20250110BHJP

   H04N 7/18 20060101ALI20250110BHJP

【ＦＩ】

B23K31/00 M

B23K31/00 K

G06T7/00 350C

G06T7/70 A

G06V10/82

H04N7/18 K

【請求項の数】 9

(21)【出願番号】P 2023171869

(22)【出願日】2023-10-03

【審査請求日】2024-09-10

(73)【特許権者】

【識別番号】390014672

【氏名又は名称】株式会社アマダ

(74)【代理人】

【識別番号】110001612

【氏名又は名称】弁理士法人きさらぎ国際特許事務所

(72)【発明者】

【氏名】▲桑▼野 寛人

(72)【発明者】

【氏名】西村 久樹

(72)【発明者】

【氏名】成田 真庸

(72)【発明者】

【氏名】釼持 秀樹

(72)【発明者】

【氏名】菊地 輝

【審査官】山内 隆平

(56)【参考文献】

【文献】韓国公開特許第１０－２０２３－００９１２４５（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０２３－００９１２４８（ＫＲ，Ａ）

【文献】特開平０４－３１５５３１（ＪＰ，Ａ）

【文献】中国実用新案第２１９６３３０６８（ＣＮ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２３Ｋ ３１／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｖ １０／８２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮影部と制御部を備え、
前記撮影部は、隣接した一対の金属ピンを少なくとも含む領域を撮影可能に構成されており、
前記制御部は、
前記撮影部が撮影した画像データから各金属ピンの位置を特定するピン位置特定処理と、
特定した各金属ピンの位置に基づいて、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理と
を実行可能に構成されており、
前記溶接位置特定処理において、前記制御部は、前記一対の金属ピンの中間位置を溶接位置の候補として仮定し、
前記一対の金属ピンの各中心位置と、前記溶接位置の候補とを通る直線上の輝度分布を抽出し、前記直線上の各金属ピンの間における輝度値が最も低い位置を前記溶接位置として特定する
溶接位置特定システム。

【請求項2】

前記ピン位置特定処理は、
前記画像データから前記金属ピンの位置の候補を特定するピン位置候補特定処理と、
各金属ピンの中心位置を特定する中心位置特定処理と
を含む
請求項１に記載の溶接位置特定システム。

【請求項3】

前記ピン位置候補特定処理は、前記画像データから色検出により前記一対の金属ピンを含む長方形領域を特定するピン領域特定処理を有する
請求項２に記載の溶接位置特定システム。

【請求項4】

撮影部と制御部を備え、
前記撮影部は、隣接した一対の金属ピンを少なくとも含む領域を撮影可能に構成されており、
前記制御部は、
前記撮影部が撮影した画像データから各金属ピンの位置を特定するピン位置特定処理と、
特定した各金属ピンの位置に基づいて、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理と
を実行可能に構成されており、
前記ピン位置特定処理は、
前記画像データから前記金属ピンの位置の候補を特定するピン位置候補特定処理と、
各金属ピンの中心位置を特定する中心位置特定処理と
を含み、
前記ピン位置候補特定処理は、前記画像データから色検出により前記一対の金属ピンを含む長方形領域を特定するピン領域特定処理と、前記画像データから機械学習により各金属ピンの中心位置の候補を特定する中心位置候補特定処理とを有し、
前記制御部は、前記機械学習により前記中心位置の候補を特定したか否かを判定する候補特定判定処理を実行可能に構成されており、
前記中心位置の候補を特定しなかった場合には、前記中心位置特定処理において、前記ピン領域特定処理で特定した前記長方形領域内の輝度変化に基づいて、各金属ピンの前記中心位置を特定し、
前記中心位置の候補を特定した場合には、前記中心位置特定処理において、前記中心位置の候補の周辺の色分布に基づいて前記中心位置を特定する
溶接位置特定システム。

【請求項5】

撮影部と制御部を備え、
前記撮影部は、隣接した一対の金属ピンを少なくとも含む領域を撮影可能に構成されており、
前記制御部は、
前記撮影部が撮影した画像データから各金属ピンの位置を特定するピン位置特定処理と、
特定した各金属ピンの位置に基づいて、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理と
を実行可能に構成されており、
前記ピン位置特定処理は、
前記画像データから前記金属ピンの位置の候補を特定するピン位置候補特定処理と、
各金属ピンの中心位置を特定する中心位置特定処理と
を含み、
前記ピン位置候補特定処理は、前記画像データから色検出により前記一対の金属ピンを含む長方形領域を特定するピン領域特定処理を有し、
前記中心位置特定処理において、前記制御部は、前記ピン領域特定処理で特定した前記長方形領域の少なくとも２方向の輝度変化に基づいて、各金属ピンの前記中心位置を特定する
溶接位置特定システム。

【請求項6】

前記ピン領域特定処理において、前記制御部は、ＨＳＶ色空間での色検出により前記一対の金属ピンの領域を特定する
請求項３～５のいずれか１項に記載の溶接位置特定システム。

【請求項7】

前記ピン位置候補特定処理は、前記画像データから機械学習により各金属ピンの中心位置の候補を特定する中心位置候補特定処理を有する
請求項２～４のいずれか１項に記載の溶接位置特定システム。

【請求項8】

前記制御部は、前記長方形領域の長辺方向の輝度変化に基づいて、各金属ピンの中心位置の候補を特定し、前記中心位置の候補を通る短辺方向の輝度変化に基づいて、各金属ピンの前記中心位置を特定する
請求項５に記載の溶接位置特定システム。

【請求項9】

前記中心位置特定処理において、前記制御部は、前記中心位置の候補の周辺の色分布に基づいて各金属ピンの前記中心位置を特定する
請求項７に記載の溶接位置特定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラムに関する。

【背景技術】

【0002】

従来、加工対象の製品を撮影するカメラと、エッジ抽出部と、不変エッジ取得部と、加工プログラム補正部と、溶接ロボットとを備える溶接機がある（特許文献１等）。特許文献１の溶接機において、エッジ抽出部は、カメラによって製品を撮影した撮影画像よりエッジ画像を抽出する。また、不変エッジ取得部は、エッジ画像のうち、加工プログラムで設定されている溶接点に対して位置のずれが発生しない不変面におけるエッジ画像を不変エッジ画像として取得する。

【0003】

補正量取得部は、不変エッジ取得部が取得したマスタ不変エッジ画像とワーク不変エッジ画像とをパターンマッチングさせて、両者のずれ量を、溶接点に対する補正量として取得する。さらに、加工プログラム補正部は、溶接点を補正量だけ補正して、ワークを溶接加工するための補正加工プログラムを生成する。そして、溶接ロボットは、ワークを補正加工プログラムに基づいて溶接する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６２８６２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば、電気モータ等に使用させる隣接する金属ピン同士を溶接する場合、溶接対象が小さく、溶接位置の許容範囲も限られているため、溶接ロボットの制御プログラムの位置決めのわずかなズレが大きな溶接誤差に影響するという問題があり、金属ピンの位置関係を正確に解析し、適切な溶接位置を導き出す必要がある。

【0006】

本発明の一態様は、溶接品質を向上させることができる溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラムである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る溶接位置特定システムは、撮影部と制御部を備え、前記撮影部は、隣接した一対の金属ピンを少なくとも含む領域を撮影可能に構成されており、前記制御部は、前記撮影部が撮影した画像データから各金属ピンの位置を特定するピン位置特定処理と、特定した各金属ピンの位置に基づいて、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理とを実行可能に構成されている。

【0008】

本発明の一態様に係る溶接位置特定方法は、撮影部により隣接した一対の金属ピンを少なくとも含む領域を撮影する撮影工程と、撮影した画像データから前記金属ピンの位置を特定するピン位置特定工程と、前記一対の金属ピンの溶接位置を特定する溶接位置特定工程とを備える。

【0009】

本発明の一態様に係る溶接位置特定プログラムは、隣接した一対の金属ピンを少なくとも含む領域を撮影部に撮影させる撮影処理と、撮影した画像データから前記金属ピンの位置を特定するピン位置特定処理と、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理とを制御装置に実行させる。

【発明の効果】

【0010】

本発明の一態様に係る溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラムによれば、撮影部で撮影した画像データから金属ピンの位置を特定し、特定した位置に基づいて溶接位置を特定するため、溶接品質を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施形態に係る溶接位置特定システムを示す概略図である。

【図2】図２は、本実施形態の溶接治具を示す概略図である。

【図3】図３は、本実施形態の制御装置を示す機能ブロック図である。

【図4】図４は、本実施形態のカメラが撮影した画像データの一例を示す図である。

【図5】図５は、本実施形態の画像データの隣接した一対の金属ピンを少なくとも含む領域を示す概略図である。

【図6】図６は、本実施形態のピン領域特定処理を示す概略図である。

【図7】図７は、本実施形態の中心位置候補特定処理を示す概略図である。

【図8】図８は、本実施形態の第１の中心位置特定処理を示す概略図である。

【図9】図９は、本実施形態の第１の中心位置特定処理を示す概略図である。

【図10】図１０は、本実施形態の第１の中心位置特定処理を示す概略図である。

【図11】図１１は、本実施形態の第２の中心位置特定処理を示す概略図である。

【図12】図１２は、本実施形態の溶接位置特定処理を示す概略図である。

【図13】図１３は、本実施形態の溶接位置特定処理を示す概略図である。

【図14】図１４は、本実施形態の溶接位置特定処理を示す概略図である。

【図15】図１５は、本実施形態の溶接位置特定方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明を実施するための最良の実施形態について、図面を用いて説明する。なお、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

［本実施形態に係る溶接位置特定システムの全体構成］
図１は、本発明の実施形態に係る溶接位置特定システムを示す概略図である。
まず、図１を参照して、本発明の実施形態に係る溶接位置特定システム１を概説する。本実施形態に係る溶接位置特定システム１は、概略的には、図１に示すように、撮影部として機能するカメラ５０と、制御装置１００とを備える。また、溶接位置特定システム１は、溶接治具１０と溶接ヘッド３０を備える。

【0014】

図２は、本実施形態の溶接治具を示す概略図である。
溶接治具１０は、図２に示すように、溶接する複数の金属ピンＰ（平角線）を取り付け可能に構成されている。また、溶接治具１０は、回動部を有し、回転可能に構成されている。なお、溶接治具１０は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。

【0015】

溶接ヘッド３０は、図１に示すように、溶接治具１０の上方に配置されており、隣接した一対の金属ピンＰを溶接可能に構成されている。溶接ヘッド３０には、レーザ発振器（図示せず）により発振されたレーザビームが光ファイバによりに送られる。溶接ヘッド３０は、ノズル（図示せず）からレーザ光を金属ピンＰに照射することにより、隣接した一対の金属ピンＰを溶接する。

【0016】

また、溶接ヘッド３０は、直交座標移動装置等に取り付けられており、溶接治具１０上を前後、左右及び奥行き方向の３軸方向に移動自在に構成されている。また、溶接ヘッド３０は、傾動軸及び回動軸を有し、レーザ光の照射方向を自在に変更することができる。なお、溶接ヘッド３０は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。

【0017】

図４は、本実施形態のカメラが撮影した画像データの一例を示す図である。
カメラ５０は、レンズ及びイメージセンサが１つずつ配されており、図１及び図４に示すように、隣接した一対の金属ピンＰを少なくとも含む領域を撮影可能となるように、溶接治具１０の上方に配置されている。本実施形態において、カメラ５０は、図１に示すように、溶接治具１０に取り付けられている複数の金属ピンＰを上方から撮影するように構成されている。

【0018】

カメラ５０は、撮影した画像データ１２２を制御装置１００に供給するよう構成されている。なお、本実施形態に係るカメラ５０は、カメラ５０からデジタル信号（画像データ１２２）を直接制御装置１００に出力する構成であってもよいし、カメラ５０から出力されたアナログ信号（撮影画像信号）をＡ／Ｄコンバータ（図示せず）等でデジタル信号（画像データ１２２）に変換して制御装置１００に出力する構成であってもよい。

【0019】

図３は、本実施形態の制御装置を示す機能ブロック図である。
制御装置１００は、図３に示すように、制御部１１０と記憶部１２０を含む。本実施形態に係る制御装置１００は、例えば、数値制御装置や、デスクトップパソコン（ｄｅｓｋｔｏｐ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレット（ｔａｂｌｅｔ）端末等の電子計算機である。

【0020】

制御装置１００は、カメラ５０を制御可能に構成されている。また、制御装置１００は、カメラ５０が撮影した画像データ１２２を取得し、記憶部１２０に格納する。さらに、制御装置１００は、溶接ヘッド３０を制御可能に構成されてもよい。

【0021】

制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する統合型演算処理装置により構成される。制御部１１０は、図３に示すように、ピン位置特定部１１２と、中心位置特定部１１４と、溶接位置特定部１１６とを含む。

【0022】

制御部１１０は、カメラ５０が撮影した画像データ１２２から各金属ピンＰの位置を特定するピン位置特定処理と、特定した各金属ピンＰの位置に基づいて、一対の金属ピンＰの溶接位置Ｗを特定する溶接位置特定処理とを実行可能に構成されている。ピン位置特定処理は、画像データ１２２から金属ピンＰの位置の候補を特定するピン位置候補特定処理と、各金属ピンＰの中心位置Ｃを特定する中心位置特定処理とを含む。

【0023】

本実施形態において、金属ピンＰの中心位置Ｃは、原則として、溶接治具１０に取り付けられた金属ピンＰを上方から平面視した際の金属ピンＰの図心位置をいうが、これに限定されない。例えば、金属ピンＰの先端部が凸状に形成されている場合には、先端部の頂点（凸状の最も高い位置）を中心位置Ｃとして特定してもよい。

【0024】

図５は、本実施形態の画像データの隣接した一対の金属ピンを少なくとも含む領域を示す概略図である。図６は、本実施形態のピン領域特定処理を示す概略図である。
ピン位置特定部１１２は、ピン位置候補特定処理を実行可能に構成されている。ピン位置候補特定処理は、図５及び図６に示すように、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定するピン領域特定処理を有する。

【0025】

なお、説明の便宜上、本実施形態において、画像データ１２２は、溶接治具１０に取り付けられた一部の金属ピンＰのみが写った画像データであるものとして説明するが、これに限定されず、画像データ１２２は、図４に示すように、全ての金属ピンＰが写った画像データであってもよい。

【0026】

ピン領域特定処理において、ピン位置特定部１１２は、ＨＳＶ色空間での色検出により一対の金属ピンＰの領域を特定する。具体的には、ピン位置特定部１１２は、溶接治具１０の表面の色と、金属ピンＰの表面の色の違いに基づいて、色検出により一対の金属ピンＰの領域を特定する。また、ピン位置特定部１１２は、画像データ１２２に白飛びした領域がある場合、周辺の画像領域から補間することができる。

【0027】

図７は、本実施形態の中心位置候補特定処理を示す概略図である。
また、ピン位置候補特定処理は、図７に示すように、画像データ１２２から機械学習により各金属ピンＰの中心位置の候補ＣＣを特定する中心位置候補特定処理を有する。ピン位置候補特定処理において、ピン位置特定部１１２は、記憶部１２０に格納されている教師データ１２４に基づいて、画像データ１２２の解析を行い、各金属ピンＰの中心位置の候補ＣＣを特定する。

【0028】

本実施形態において、教師データ１２４は、金属ピンＰのみを含む画像を正解データ（Ｐｏｓｉｔｉｖｅ画像）、金属ピンＰを含まない画像を非正解データ（Ｎｅｇａｔｉｖｅ画像）として作成されており、ピン位置特定部１１２は、カスケード型識別器（Ｃａｓｃａｄｅ ｄｅｔｅｃｔｏｒ）を使用して解析を行うよう構成されている。

【0029】

図８は、本実施形態の第１の中心位置特定処理を示す概略図である。
中心位置特定部１１４は、中心位置特定処理を実行可能に構成されている。本実施形態において、中心位置特定部１１４は、画像処理による第１の中心位置特定処理と、機械学習による第２の中心位置特定処理とを実行可能に構成されている。第１の中心位置特定処理において、中心位置特定部１１４は、図８に示すように、ピン領域特定処理で特定した長方形領域Ａの少なくとも２方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する。

【0030】

図９及び図１０は、本実施形態の第１の中心位置特定処理を示す概略図である。
具体的には、中心位置特定部１１４は、図８及び図９に示すように、長方形領域Ａの長辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る短辺方向の輝度変化に基づいて、図１０に示すように、各金属ピンＰの中心位置Ｃを特定する。

【0031】

図１１は、本実施形態の第２の中心位置特定処理を示す概略図である。
第２の中心位置特定処理において、中心位置特定部１１４は、中心位置の候補ＣＣの周辺の色分布に基づいて各金属ピンＰの中心位置Ｃを特定する。具体的には、中心位置特定部１１４は、図１１に示すように、ピン位置特定部１１２が中心位置候補特定処理で画像データ１２２から機械学習により特定した各金属ピンＰの中心位置の候補ＣＣの周辺から同一の色若しくは近似する色が多く分布している領域を探索し、金属ピンＰの中心位置Ｃとして特定する。

【0032】

また、中心位置特定部１１４は、機械学習により中心位置の候補ＣＣを特定したか否かを判定する候補特定判定処理を実行可能に構成されており、判定結果に基づいて、第１の中心位置特定処理と第２の中心位置特定処理を使い分けることができる。

【0033】

具体的には、中心位置特定部１１４は、ピン位置特定部１１２が中心位置の候補ＣＣを特定しなかった場合には、第１の中心位置特定処理を実行し、ピン位置特定部１１２がピン領域特定処理で特定した長方形領域Ａ内の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する。また、中心位置特定部１１４は、ピン位置特定部１１２が中心位置の候補ＣＣを特定した場合には、第２の中心位置特定処理を実行し、中心位置の候補ＣＣの周辺の色分布に基づいて各金属ピンＰの中心位置Ｃを特定する。

【0034】

図１２～図１４は、本実施形態の溶接位置特定処理を示す概略図である。
溶接位置特定部１１６は、溶接位置特定処理を実行可能に構成されている。溶接位置特定処理において、溶接位置特定部１１６は、図１２に示すように、一対の金属ピンＰの中間位置を溶接位置の候補として仮定する。そして、溶接位置特定部１１６は、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布を抽出し、図１３及び図１４に示すように、直線上の各金属ピンＰの間における輝度値が最も低い位置を溶接位置Ｗとして特定する。

【0035】

また、溶接位置特定部１１６は、溶接位置特定処理の前処理として、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布に平滑化処理を実行してもよい。平滑化処理を実行することにより、直線上に極端に輝度値が低い位置があった場合に、その位置を誤って溶接位置Ｗとして特定することを防止できるという利点がある。

【0036】

以上の構成を備える制御部１１０は、特定した溶接位置Ｗに基づいて、金属ピンＰを溶接するための溶接ヘッド３０の制御プログラムを作成可能に構成されている。また、制御部１１０は、特定した溶接位置Ｗに基づいて、溶接ヘッド３０の制御プログラムを補正可能に構成されている。

【0037】

記憶部１２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶媒体を有すると共に、様々なデータを読み書き可能に記憶する。記憶部１２０は、図２に示すように、画像データ１２２と、教師データ１２４と、溶接位置特定プログラム１２６とを格納する。さらに、記憶部１２０は、制御装置１００の各部の制御に必要なプログラムを格納する。

【0038】

溶接位置特定プログラム１２６は、隣接した一対の金属ピンＰを少なくとも含む領域を撮影部（本実施形態において、カメラ５０）に撮影させる撮影処理と、撮影した画像データ１２２から金属ピンＰの位置を特定するピン位置特定処理と、一対の金属ピンＰの溶接位置Ｗを特定する溶接位置特定処理とを制御装置１００に実行させる。また、溶接位置特定プログラム１２６は、溶接治具１０に取り付けられる金属ピンＰの個数情報を含む。溶接治具１０に取り付けられる金属ピンＰの個数情報を含むことにより、画像データ１２２に含まれる金属ピンＰの検出漏れを防止することができるという利点を有している。

【0039】

［本実施形態に係る溶接位置特定方法］
次に、本実施形態に係る溶接位置特定システム１の溶接位置特定方法について説明する。本実施形態に係る溶接位置特定システム１の溶接位置特定方法は、概略的には、撮影部（本実施形態において、カメラ５０）により隣接した一対の金属ピンＰを少なくとも含む領域を撮影する撮影工程と、撮影した画像データ１２２から金属ピンＰの位置を特定するピン位置特定工程と、一対の金属ピンＰの溶接位置Ｗを特定する溶接位置特定工程とを備える。

【0040】

図１５は、本実施形態の溶接位置特定方法の一例を示すフローチャートである。
まず、カメラ５０は、隣接した一対の金属ピンＰを少なくとも含む領域を撮影する（図１５のＳ１：撮影工程）。具体的には、溶接治具１０に取り付けられた複数の金属ピンＰを撮影する。そして、制御装置１００の制御部１１０は、カメラ５０が撮影した画像データ１２２を取得する。

【0041】

次に、制御装置１００の制御部１１０は、カメラ５０が撮影した画像データ１２２から各金属ピンＰの位置を特定する（図１５のＳ１０：ピン位置特定工程）。以下、ピン位置特定工程について詳述する。まず、制御部１１０のピン位置特定部１１２は、画像データ１２２から金属ピンＰの位置の候補を特定する（図１５のＳ１１：ピン位置候補特定工程）。

【0042】

ピン位置候補特定工程において、ピン位置特定部１１２は、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定する（図１５のＳ１１１：ピン領域特定工程）。具体的には、ピン位置特定部１１２は、ＨＳＶ色空間での色検出により、溶接治具１０の表面の色と、金属ピンＰの表面の色の違いに基づいて、一対の金属ピンＰの領域を特定する。

【0043】

また、ピン位置候補特定工程において、ピン位置特定部１１２は、画像データ１２２から機械学習により各金属ピンＰの中心位置の候補ＣＣを特定する（図１５のＳ１１２：中心位置候補特定工程）。具体的には、ピン位置特定部１１２は、記憶部１２０の教師データ１２４に基づいて、カスケード型識別器を使用して画像データ１２２から各金属ピンＰの中心位置の候補ＣＣを特定する。

【0044】

次に、中心位置特定部１１４は、各金属ピンＰの中心位置Ｃを特定する（中心位置特定工程）。具体的には、中心位置特定部１１４は、中心位置候補特定工程において、ピン位置特定部１１２が機械学習により中心位置の候補ＣＣを特定したか否かを判定する（図１５のＳ１２：候補特定判定工程）。

【0045】

中心位置特定部１１４は、ピン位置特定部１１２が中心位置の候補ＣＣを特定した場合（図１５のＳ１２にてＹＥＳ）には、特定した中心位置の候補ＣＣの周辺の色分布に基づいて中心位置Ｃを特定する（図１５のＳ１３：第２の中心位置特定工程）。具体的には、中心位置特定部１１４は、中心位置の候補ＣＣの周辺から同一色又は近似色が多く分布している領域を検出し、金属ピンＰの中心位置Ｃとして特定する。

【0046】

一方で、中心位置特定部１１４は、ピン位置特定部１１２が中心位置の候補ＣＣを特定しなかった場合（図１５のＳ１２にてＮＯ）には、ピン位置特定部１１２がピン領域特定工程で特定した長方形領域Ａ内の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する（図１５のＳ１４：第１の中心位置特定工程）。具体的には、中心位置特定部１１４は特定した長方形領域Ａの長辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る短辺方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する。

【0047】

その後、溶接位置特定部１１６は、ピン位置特定処理で特定した各金属ピンＰの位置に基づいて、一対の金属ピンＰの溶接位置Ｗを特定する（図１５のＳ２０：溶接位置特定工程）。具体的には、溶接位置特定部１１６は、一対の金属ピンＰの中間位置を溶接位置の候補として仮定し、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布を抽出して直線上の各金属ピンＰの間における輝度値が最も低い位置を溶接位置Ｗとして特定する。以上の工程により、本実施形態に係る溶接位置特定システム１による一連の溶接位置特定方法が実行される。

【0048】

［本実施形態に係る溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラムの利点］
以上説明したように、本実施形態に係る溶接位置特定システム１は、撮影部（本実施形態において、カメラ５０）と制御部１１０を備え、撮影部は、隣接した一対の金属ピンＰを少なくとも含む領域を撮影可能に構成されており、制御部１１０は、撮影部が撮影した画像データ１２２から各金属ピンＰの位置を特定するピン位置特定処理と、特定した各金属ピンＰの位置に基づいて、一対の金属ピンＰの溶接位置Ｗを特定する溶接位置特定処理とを実行可能に構成されている。

【0049】

そして、本実施形態に係る溶接位置特定システム１は、このような構成を備えることにより、撮影部で撮影した画像データ１２２から金属ピンＰの位置を特定し、特定した金属ピンＰの位置に基づいて一対の金属ピンＰの溶接位置Ｗを特定するため、溶接品質を向上させることができるという利点を有している。

【0050】

また、本実施形態に係る溶接位置特定システム１において、ピン位置特定処理は、画像データ１２２から金属ピンＰの位置の候補を特定するピン位置候補特定処理と、各金属ピンＰの中心位置Ｃを特定する中心位置特定処理とを含む。このような構成を備えることにより、溶接位置Ｗの解析処理（溶接位置Ｗの特定に必要な処理）を軽減させることができるという利点がある。

【0051】

さらに、本実施形態に係る溶接位置特定システム１において、ピン位置候補特定処理は、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定するピン領域特定処理を有する。このような構成を備えることにより、例えば、エッジ抽出による金属ピンＰの形状検出をするよりも誤検出を軽減することができるという利点を有している。

【0052】

またさらに、本実施形態に係る溶接位置特定システム１において、ピン領域特定処理において、制御部１１０は、ＨＳＶ色空間での色検出により一対の金属ピンＰの領域を特定する。このような構成を備えることにより、彩度や明度の違いも考慮して一対の金属ピンＰの領域特定するため、より正確に領域を特定することができ、ひいては溶接品質を向上させることができるという利点を有している。

【0053】

また、本実施形態に係る溶接位置特定システム１において、ピン位置候補特定処理は、画像データ１２２から機械学習により各金属ピンＰの中心位置の候補ＣＣを特定する中心位置候補特定処理を有する。このような構成を備えることにより、短時間で中心位置の候補ＣＣを特定することができるという利点を有している。

【0054】

さらに、本実施形態に係る溶接位置特定システム１において、制御部１１０は、中心位置特定処理において、ピン領域特定処理で特定した長方形領域Ａの少なくとも２方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する。このような構成を備えることにより、中心位置の候補ＣＣを特定しなくても中心位置Ｃを特定することができるという利点を有している。

【0055】

またさらに、本実施形態に係る溶接位置特定システム１において、制御部１１０は、長方形領域Ａの長辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る短辺方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定する。このような構成を備えることにより、効率よく正確に中心位置Ｃを特定することができるため、溶接品質を向上させることができるという利点を有している。

【0056】

また、本実施形態に係る溶接位置特定システム１において、制御部１１０は、中心位置特定処理において、中心位置の候補ＣＣの周辺の色分布に基づいて各金属ピンＰの中心位置Ｃを特定する。このような構成を備えることにより、輝度変化に基づいて特定するよりも高速でより正確な中心位置Ｃを特定することができるため、さらに溶接品質を向上させることができるという利点を有している。

【0057】

さらに、本実施形態に係る溶接位置特定システム１において、ピン位置候補特定処理は、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定するピン領域特定処理を有し、制御部１１０は、機械学習により中心位置の候補ＣＣを特定したか否かを判定する候補特定判定処理を実行可能に構成されており、中心位置の候補ＣＣを特定しなかった場合には、中心位置特定処理において、ピン領域特定処理で特定した長方形領域Ａ内の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定し、中心位置の候補ＣＣを特定した場合には、中心位置特定処理において、中心位置の候補ＣＣの周辺の色分布に基づいて中心位置Ｃを特定する。このような構成を備えることにより、中心位置の候補ＣＣがある場合には、より精度の高い第２の中心位置特定処理を自動的に選択することができるため、溶接品質をより向上させることができるという利点を有している。

【0058】

またさらに、本実施形態に係る溶接位置特定システム１において、制御部１１０は、溶接位置特定処理において、一対の金属ピンＰの中間位置を溶接位置の候補として仮定し、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布を抽出し、直線上の各金属ピンＰの間における輝度値が最も低い位置を溶接位置Ｗとして特定する。このような構成を備えることにより、精度よく溶接位置を特定できるため、溶接品質を向上させることができるという利点を有している。

【0059】

［変形例］
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、上述した実施形態に記載の範囲には限定されない。上述した実施形態には、多様な変更又は改良を加えることが可能である。

【0060】

例えば、上述した実施形態において、ピン位置特定処理は、画像データ１２２から金属ピンＰの位置の候補を特定するピン位置候補特定処理と、各金属ピンＰの中心位置Ｃを特定する中心位置特定処理とを含むものとして説明したが、これに限定されない。ピン位置特定処理は、ピン位置候補特定処理と中心位置特定処理の両方を含まなくてもよいし、いずれか一方のみを含んでもよい。

【0061】

上述した実施形態において、ピン位置候補特定処理は、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定するピン領域特定処理を有するものとして説明したが、これに限定されず、ピン位置候補特定処理はピン領域特定処理を有さなくてもよい。

【0062】

上述した実施形態において、ピン領域特定処理において、制御部１１０は、ＨＳＶ色空間での色検出により一対の金属ピンＰの領域を特定するものとして説明したが、これに限定されない。ピン領域特定処理において、制御部１１０は、ＨＳＶ色空間での色検出により一対の金属ピンＰの領域を特定しなくてもよい。例えば、制御部１１０は、ＲＧＢ色空間での色検出により一対の金属ピンＰの領域を特定してもよい。

【0063】

上述した実施形態において、ピン位置候補特定処理は、画像データ１２２から機械学習により各金属ピンＰの中心位置の候補ＣＣを特定する中心位置候補特定処理を有するものとして説明したが、これに限定されず、ピン位置候補特定処理は、中心位置候補特定処理を有さなくてもよい。

【0064】

上述した実施形態において、制御部１１０は、中心位置特定処理において、ピン領域特定処理で特定した長方形領域Ａの少なくとも２方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定するものとして説明したが、これに限定されない。制御部１１０は、中心位置特定処理において、ピン領域特定処理で特定した長方形領域Ａの少なくとも２方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定しなくてもよい。例えば、制御部１１０は、長方形領域Ａの１方向の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定してもよい。

【0065】

上述した実施形態において、制御部１１０は、長方形領域Ａの長辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る短辺方向の輝度変化に基づいて、各金属ピンの中心位置Ｃを特定するものとして説明したが、これに限定されない。制御部１１０は、長方形領域Ａの長辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る短辺方向の輝度変化に基づいて、各金属ピンの中心位置Ｃを特定しなくてもよい。例えば、制御部１１０は、長方形領域Ａの短辺方向の輝度変化に基づいて、各金属ピンＰの中心位置の候補ＣＣを特定し、中心位置の候補ＣＣを通る長辺方向の輝度変化に基づいて、各金属ピンの中心位置Ｃを特定してもよい。また、制御部１１０は、長方形領域Ａの斜め方向の輝度変化に基づいて、各金属ピンの中心位置Ｃを特定してもよい。

【0066】

上述した実施形態において、制御部１１０は、中心位置特定処理において、中心位置の候補ＣＣの周辺の色分布に基づいて各金属ピンＰの中心位置Ｃを特定するものとして説明したが、これに限定されない。制御部１１０は、中心位置特定処理において、中心位置の候補ＣＣの周辺の色分布に基づいて各金属ピンＰの中心位置Ｃを特定しなくてもよい。

【0067】

上述した実施形態において、ピン位置候補特定処理は、画像データ１２２から色検出により一対の金属ピンＰを含む長方形領域Ａを特定するピン領域特定処理を有し、制御部１１０は、機械学習により中心位置の候補ＣＣを特定したか否かを判定する候補特定判定処理を実行可能に構成されており、中心位置の候補ＣＣを特定しなかった場合には、中心位置特定処理において、ピン領域特定処理で特定した長方形領域Ａ内の輝度変化に基づいて、各金属ピンＰの中心位置Ｃを特定し、中心位置の候補ＣＣを特定した場合には、中心位置特定処理において、中心位置の候補ＣＣの周辺の色分布に基づいて中心位置Ｃを特定するものとして説明したが、これに限定されない。制御部１１０は、候補特定判定処理を実行できなくてもよい。

【0068】

上述した実施形態において、制御部１１０は、溶接位置特定処理において、一対の金属ピンＰの中間位置を溶接位置の候補として仮定し、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布を抽出し、直線上の各金属ピンＰの間における輝度値が最も低い位置を溶接位置Ｗとして特定するものとして説明したが、これに限定されない。制御部１１０は、溶接位置特定処理において、一対の金属ピンＰの中間位置を溶接位置の候補として仮定し、一対の金属ピンＰの各中心位置Ｃと、溶接位置の候補とを通る直線上の輝度分布を抽出し、直線上の各金属ピンＰの間における輝度値が最も低い位置を溶接位置Ｗとして特定しなくてもよい。

【0069】

上述した実施形態において、カメラ５０は、天井面等の溶接治具１０の上方に取り付けられるものとして説明したが、これに限定されず、カメラ５０は、溶接ヘッド３０に内蔵され、溶接ヘッド３０がレーザ光を射出する方向と同じ方向に向けられていてもよい。また、カメラ５０は、溶接ヘッド３０の外側に取り付けられてもよい。また、制御装置１００は、カメラ５０が溶接ヘッド３０に内蔵され、若しくは溶接ヘッド３０の外側に取り付けられる場合、溶接ヘッド３０（カメラ５０）の姿勢に合わせて、画像データ１２２を回転させてもよい。

【符号の説明】

【0070】

１ 溶接位置特定システム
１０ 溶接治具
３０ 溶接ヘッド
５０ カメラ
１００ 制御装置
１１０ 制御部
１１２ ピン位置特定部
１１４ 中心位置特定部
１１６ 溶接位置特定部
１２０ 記憶部
１２２ 画像データ
１２４ 教師データ
１２６ 溶接位置特定プログラム
Ａ 長方形領域
Ｃ 中心位置
ＣＣ 中心位置の候補
Ｐ 金属ピン
Ｗ 溶接位置

【要約】

【課題】溶接品質を向上させることができる溶接位置特定システム、溶接位置特定方法及び溶接位置特定プログラム。
【解決手段】撮影部と制御部を備え、前記撮影部は、隣接した一対の金属ピンを少なくとも含む領域を撮影可能に構成されており、前記制御部は、前記撮影部が撮影した画像データから各金属ピンの位置を特定するピン位置特定処理と、特定した各金属ピンの位置に基づいて、前記一対の金属ピンの溶接位置を特定する溶接位置特定処理とを実行可能に構成されている。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】