特許 7177239 マーカ検出装置及びロボット教示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】マーカ検出装置及びロボット教示システム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221115BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 5

(21)【出願番号】P 2021181014

(22)【出願日】2021-11-05

【審査請求日】2022-10-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000262

【氏名又は名称】株式会社ダイヘン

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池口 誠人

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２０２１－６２４６３（ＪＰ，Ａ）

【文献】特開２０２１－８５７５１（ＪＰ，Ａ）

【文献】特開２０１３－１３１１７１（ＪＰ，Ａ）

【文献】特開２０１６－１７６８１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ０１Ｂ １１／００ － １１／３０

(57)【特許請求の範囲】

【請求項1】

３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する３次元平面検出部と、
前記検出された３次元平面を構成する点群データを、当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する２次元平面画像生成部と、
前記生成された２次元平面画像からマーカを検出するマーカ検出部と、
前記検出された２次元平面画像に含まれるマーカについて、前記３次元平面における３次元座標を算出するマーカ位置算出部と、を備える、
マーカ検出装置。

【請求項2】

前記マーカ検出部は、前記３次元平面検出部によって複数の３次元平面が検出された場合、１平面毎にマーカを検出する、
請求項１に記載のマーカ検出装置。

【請求項3】

前記マーカ検出部は、前記複数の３次元平面のうち面積の大きい順にマーカを検出する、
請求項２に記載のマーカ検出装置。

【請求項4】

前記マーカ検出部は、前記複数の３次元平面のうち視野中心順にマーカを検出する、
請求項２に記載のマーカ検出装置。

【請求項5】

ワークとマーカとを含む画像を撮影する３Ｄカメラを有する撮影部と、
前記３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する３次元平面検出部と、
前記検出された３次元平面を構成する点群データを、当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する２次元平面画像生成部と、
前記生成された２次元平面画像からマーカを検出するマーカ検出部と、
前記検出された２次元平面画像に含まれるマーカについて、前記３次元平面における３次元座標を算出するマーカ位置算出部と、
前記算出されたマーカの３次元座標に基づいてカメラ座標系を設定するカメラ座標系設定部と、
前記カメラ座標系におけるマニピュレータの動作経路をロボット制御装置に設定されているロボット座標系に変換しつつ、当該マニピュレータを動作させるための作業プログラムを生成するプログラム生成部と、を備える、
ロボット教示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マーカ検出装置及びロボット教示システムに関する。

【背景技術】

【0002】

近年、産業界において、多くのロボットが普及している。当該ロボットは、例えば、電子部品及び機械部品の組み立て、溶接及び搬送等に用いられ、工場の生産ラインの効率化及び自動化が図られている。

【0003】

例えば、溶接ロボットでは、所望の動作をさせるためのプログラムを作成して、所謂教示データとして予め記憶させておく必要がある。当該教示データは、操作者がティーチングペンダントを用いて、ロボット制御装置と連携し、実際のロボットを操作することによって、その動作を記録させて生成される。

【0004】

操作者がティーチングペンダントを用いて実際にロボットを動作させながら教示データを作成するには、操作者のスキルへの依存度が大きく、長時間を要する場合があるため、操作者への負担を軽減するために、ＡＲデバイス及びマーカを用いてロボットの位置を認識するロボットシステムが開示されている（例えば、特許文献１）。

【0005】

特許文献１に開示された技術では、ＡＲデバイスによって２つの基準用マーカを同時に検出し、さらにロボット座標系特定用マーカとの位置関係を認識することによって、ＡＲグラフィックの表示位置ずれを抑えつつロボットの位置や向きを認識している。このようなロボットシステムでは、ワーク及びロボットの位置や向きを精度良く認識するために、基準となるマーカを適切に検出する必要がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－６２４６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された技術では、マーカの検出において、例えば、２次元カメラを用いた場合、２次元画像から３次元位置を算出するには事前に当該２次元画像の各画素に対応する３次元座標を決定するカメラパラメータの設定が必要になるため、煩雑な事前の準備が必要であった。

【0008】

そこで、本発明は、マーカの位置を簡易に検出可能なマーカ検出装置及びそれを用いたロボット教示システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係るマーカ検出装置は、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する３次元平面検出部と、検出された３次元平面を構成する点群データを、当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する２次元平面画像生成部と、生成された２次元平面画像からマーカを検出するマーカ検出部と、検出された２次元平面画像に含まれるマーカについて、３次元平面における３次元座標を算出するマーカ位置算出部と、を備える。

【0010】

この態様によれば、３次元平面検出部は、３Ｄカメラによって取得された点群データに基づいて３次元平面を検出し、２次元平面画像生成部は、３次元平面を構成する点群データを当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する。そして、マーカ検出部は、２次元平面画像からマーカを検出し、マーカ位置算出部は、２次元平面画像に含まれるマーカについて、３次元平面における３次元座標値（Ｘ，Ｙ，Ｚ）を算出する。これにより、平面に設定されたマーカの位置を適切に検出することができる。そして、煩雑なカメラパラメータの設定をしなくても、平面に設定されたマーカの位置を簡易に検出することができるため、製品コストの軽減にも繋がる。

【0011】

上記態様において、マーカ検出部は、３次元平面検出部によって複数の３次元平面が検出された場合、１平面毎にマーカを検出してもよい。

【0012】

この態様によれば、マーカ検出部は、複数の３次元平面が検出された場合、１平面毎にマーカを検出するため、効率よく、着実に、マーカを検出することができる。

【0013】

上記態様において、マーカ検出部は、複数の３次元平面のうち面積の大きい順にマーカを検出してもよい。

【0014】

この態様によれば、マーカ検出部は、複数の３次元平面のうち面積の大きい順にマーカを検出するため、マーカが設定されている可能性が高いと考えられる順で処理し、早い段階でマーカを検出することが期待できる。これにより、演算処理の軽減及び処理時間の短縮に繋がる。

【0015】

上記態様において、マーカ検出部は、複数の３次元平面のうち視野中心順にマーカを検出してもよい。

【0016】

この態様によれば、マーカ検出部は、複数の３次元平面のうち視野中心順にマーカを検出するため、マーカが設定されている可能性が高いと考えられる順で処理し、早い段階でマーカを検出することが期待できる。これにより、演算処理の軽減及び処理時間の短縮に繋がる。

【0017】

本発明の一態様に係るロボット教示システムは、ワークとマーカとを含む画像を撮影する３Ｄカメラを有する撮影部と、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する３次元平面検出部と、検出された３次元平面を構成する点群データを、当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する２次元平面画像生成部と、生成された２次元平面画像からマーカを検出するマーカ検出部と、検出された２次元平面画像に含まれるマーカについて、３次元平面における３次元座標を算出するマーカ位置算出部と、算出されたマーカの３次元座標に基づいてカメラ座標系を設定するカメラ座標系設定部と、カメラ座標系におけるマニピュレータの動作経路をロボット制御装置に設定されているロボット座標系に変換しつつ、当該マニピュレータを動作させるための作業プログラムを生成するプログラム生成部と、を備える。

【0018】

この態様によれば、３次元平面検出部は、３Ｄカメラによって取得された点群データに基づいて３次元平面を検出し、２次元平面画像生成部は、当該３次元平面を構成する点群データを当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する。そして、マーカ検出部は、２次元平面画像からマーカを検出し、マーカ位置算出部は、２次元平面画像に含まれるマーカについて、３次元平面における３次元座標値（Ｘ，Ｙ，Ｚ）を算出する。カメラ座標系設定部は、マーカ位置算出部によって算出されたマーカの３次元座標に基づいてカメラ座標系を設定し、プログラム生成部は、カメラ座標系におけるマニピュレータの動作経路をロボット制御装置に設定されているロボット座標系に変換しつつ、当該マニピュレータを動作させるための作業プログラムを生成する。その結果、適切に検出されたマーカの３次元座標に基づいてカメラ座標系が設定され、作業プログラムが生成されるため、より簡易に、適切にマニピュレータを動作させることができる。

【発明の効果】

【0019】

本発明によれば、マーカの位置を簡易に検出可能なマーカ検出装置及びそれを用いたロボット教示システムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係るロボット教示システムを含む溶接ロボットシステム１００の構成を例示する図である。

【図2】本発明の一実施形態に係るロボット教示システム２００の機能的な構成を例示する図である。

【図3】マーカＭが溶接対象であるワークＷに設定されており、当該マーカＭの位置を原点Ｏとしてカメラ座標系が設定される様子を示す図である。

【図4】ワークＷに設定されたマーカＭの位置を検出するマーカ検出装置２２０における具体的な処理の様子を模式的に示す図である。

【図5】本発明の一実施形態に係るマーカ検出装置２２０が実行するマーカ検出方法Ｍ１００の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、あくまで、本発明を実施するための具体的な一例を挙げるものであって、本発明を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。

【0022】

＜一実施形態＞
［溶接ロボットシステムの基本構成］
図１は、本発明の一実施形態に係るロボット教示システムを含む溶接ロボットシステム１００の構成を例示する図である。図１に示されるように、溶接ロボットシステム１００は、例えば、撮影端末１と、ロボット制御装置２と、マニピュレータ３とを備える。撮影端末１とロボット制御装置２とは、例えばネットワークＮを介して接続され、ロボット制御装置２とマニピュレータ３とは、例えば通信ケーブルＣを介して接続される。ネットワークＮは、有線（通信ケーブルを含む）であっても無線であってもよい。なお、溶接ロボットシステム１００に、ティーチングペンダントを含めてもよい。ティーチングペンダントは、作業者がマニピュレータ３の動作を教示する操作装置である。

【0023】

マニピュレータ３は、ロボット制御装置２において設定される施工条件に従ってアーク溶接を行う溶接ロボット（産業用ロボット）である。マニピュレータ３は、例えば、工場の床面等に固定されるベース部材上に設けられる多関節アーム３１と、多関節アーム３１の先端に連結される溶接トーチ３２（エンドエフェクタ）とを有する。

【0024】

ロボット制御装置２は、マニピュレータ３の動作を制御する制御ユニットであり、例えば、制御部２１、記憶部２２、通信部２３及び溶接電源部２４を含む。

【0025】

制御部２１は、例えば、記憶部２２に記憶されている作業プログラムをプロセッサが実行することで、マニピュレータ３及び溶接電源部２４を制御する。

【0026】

通信部２３は、ネットワークＮを介して接続される撮影端末１との通信を制御することや、通信ケーブルＣを介して接続されるマニピュレータ３との通信を制御する。

【0027】

溶接電源部２４は、例えば、溶接ワイヤの先端とワークとの間にアークを発生させるために、予め定められた溶接の施工条件に従って、溶接電流及び溶接電圧等をマニピュレータ３に供給する。溶接の施工条件には、例えば、溶接条件、溶接開始位置、溶接終了位置、アーク放電の時間、溶接距離、溶接トーチの姿勢及び溶接トーチの移動速度等のデータ項目が含まれる。溶接電源部２４は、ロボット制御装置２と別個に備えることとしてもよい。

【0028】

撮影端末１は、３Ｄカメラであって、撮影対象に対応する座標データを取得して、点群データを用いて当該撮影対象の形状を把握するものである。例えば、撮影対象に対応する座標データを、撮影対象を異なる複数の位置から撮影した複数の画像に基づいて算定することで取得してもよい。この場合、公知のステレオ法による三次元計測手法を用いることができる。また、ＬｉＤＡＲ（Light Detection and Ranging）センサ、ミリ波センサ、超音波センサ等の距離計測センサを用いてもよく、撮影対象に対してレーザ光を照射し、その反射光に基づいて点群データを取得することによって当該撮影対象の形状を把握してもよい。

【0029】

なお、３Ｄカメラは、３Ｄカメラ付きの可搬型端末であってもよい。可搬型端末には、例えば、タブレット端末、スマートフォン、携帯情報端末（ＰＤＡ）、ノートＰＣ（パーソナルコンピュータ）等の持ち運び可能な端末が含まれる。撮影端末１は、例えば、制御部１１、撮影部１２、通信部１３、表示部１４を含む。

【0030】

制御部１１は、メモリに格納された所定のプログラムをプロセッサが実行することにより、撮影端末１の各部を制御する。

【0031】

撮影部１２は、上述したように、例えば、公知のステレオ法による三次元計測手法を用いて取得した座標データ、又は距離計測センサ等により３Ｄスキャンして取得した座標データを、点群データとして取得する。なお、点群データには、例えば、３次元座標値（Ｘ，Ｙ，Ｚ）で示される位置（距離）情報、及び（Ｒ，Ｇ，Ｂ）で示される色情報が含まれてもよい。

【0032】

通信部１３は、ネットワークＮを介して接続されるロボット制御装置２との通信を制御する。

【0033】

表示部１４は、例えば、タッチパネルを有するディスプレイであり、撮影部１２によって取得した点群データに基づいて被写体の形状を表示するとともに、作業者による操作指示等の入力を受け付ける。表示部１４は、例えばタッチパネルを有するディスプレイ装置として、撮影端末１とは別個に備えることとしてもよい。

【0034】

［ロボット教示システムの構成］
図２は、本発明の一実施形態に係るロボット教示システム２００の機能的な構成を例示する図である。図２に示されるように、ロボット教示システム２００は、機能的な構成として、例えば、撮影部２１１と、カメラ座標系設定部２１２と、プログラム生成部２１３とを有し、さらに、カメラ座標系を設定するための基準となるマーカを検出するためのマーカ検出装置２２０を含む。なお、マーカ検出装置２２０は、３次元平面検出部２２１と、２次元平面画像生成部２２２と、マーカ検出部２２３と、マーカ位置算出部２２４とを含む。

【0035】

これらの機能のうち、撮影部２１１は、撮影端末１が有する機能である。他方、カメラ座標系設定部２１２、プログラム生成部２１３、及びマーカ検出装置２２０における各部は、撮影端末１及びロボット制御装置２のどちらかが全てを備えてもよいし、撮影端末１及びロボット制御装置２に各機能を分散して備えてもよい。また、撮影端末１及びロボット制御装置２以外の他の装置が、上記機能の一部又は全部を備えてもよい。

【0036】

撮影部２１１は、撮影端末１の撮影部１２と同じであり、３Ｄカメラの機能として、点群データを取得する。なお、撮影部２１１は、少なくともマーカ及び溶接対象となるワークが含まれる点群データを取得する。

【0037】

カメラ座標系設定部２１２は、撮影部２１１によって取得された点群データにより認識されるマーカに基づいてカメラ座標系を設定する。例えば、カメラ座標系設定部２１２は、撮影部２１１によって取得された点群データにより認識されるマーカの位置を原点として、当該原点で互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系をカメラ座標系として設定する。

【0038】

図３は、マーカＭが溶接対象であるワークＷに設定されており、当該マーカＭの位置を原点Ｏとしてカメラ座標系が設定される様子を示す図である。図３に示されるように、マーカＭは、ワークＷの底板に設定されており、カメラ座標系設定部２１２は、撮影部２１１によって取得された点群データにより認識されるマーカＭの位置を原点Ｏとして、当該原点Ｏで互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系をカメラ座標系として設定している。なお、原点Ｏは、マーカＭのうち任意の点を設定する。例えば、原点Ｏとして、マーカＭのうち、予め決められた一点、中心点、又は選択された一点等が設定されればよい。

【0039】

マーカＭは、空間内に置かれていることを撮影部２１１に認識させることができる識別子であればよい。マーカとして、例えばＡＲマーカを用いることが好ましい。ＡＲマーカを用いることで、空間内に置かれたＡＲマーカを認識したときに、そのＡＲマーカを原点とするカメラ座標系を、実際に取得された点群データに表示させることが簡易に実現できるようになる。なお、マーカＭを検出するマーカ検出装置２２０の処理についての詳細は後述する。

【0040】

カメラ座標系設定部２１２によって設定されたカメラ座標系において、撮影部２１１によって取得された点群データから認識されるワークＷの溶接位置Ｌ１，Ｌ２，Ｌ３に基づいてマニピュレータ３の動作経路を設定する。例えば、撮影部２１１によって取得された点群データから溶接位置Ｌ１，Ｌ２，Ｌ３が認識され、マニピュレータ３の先端に取り付けられた溶接トーチ３２がワークＷの溶接位置Ｌ１，Ｌ２，Ｌ３に沿って動作するように、マニピュレータ３（溶接トーチ３２）の動作経路をユーザが手動で選択したり、当該溶接位置Ｌ１，Ｌ２，Ｌ３と溶接トーチ３２との距離を算出して自動的に設定したりする。

【0041】

一方、ロボット制御装置２は、当該ロボット制御装置２が制御するマニピュレータ３の各軸の角度に関する情報等から当該マニピュレータ３の位置姿勢を把握する（ロボット座標系）。そして、マーカＭの設置位置と、当該マーカＭの設置位置に対するマニピュレータ３の位置姿勢（設置位置）とに基づいて、カメラ座標系とロボット座標系とを一致させるためのキャリブレーションを行うことができる。当該キャリブレーションは、例えば、マーカＭの設置位置にマニピュレータ３（溶接トーチ３２）の先端を合わせることにより行えばよい。

【0042】

プログラム生成部２１３は、カメラ座標系において設定されたマニピュレータ３の動作経路を、カメラ座標系からロボット制御装置２に設定されているロボット座標系に変換しつつ、マニピュレータ３を動作させるための作業プログラムを生成する。

【0043】

このように、ロボット教示システム２００では、撮影部２１１で取得した点群データから認識されるマーカＭを基準にカメラ座標系を設定し、当該カメラ座標系における溶接位置Ｌ１，Ｌ２，Ｌ３及びマニピュレータ３の動作経路をロボット座標系に変換しつつ、マニピュレータ３が適切に溶接位置Ｌ１，Ｌ２，Ｌ３に溶接する作業プログラムを生成している。そして、当該作業プログラムは、ロボット制御装置２における記憶部に記憶され、当該ロボット制御装置２は、作業プログラムに基づいてマニピュレータ３の動作を制御し、これにより、溶接ロボットシステム１００として、ワークＷの溶接位置Ｌ１，Ｌ２，Ｌ３に適切に溶接することができる。

【0044】

［マーカ検出装置２２０における処理の詳細］
上述したように、マーカＭの位置を原点Ｏとしてカメラ座標系が設定されることから、当該マーカＭの位置を適切に検出することが重要となる。以下、マーカＭの位置を検出するマーカ検出装置２２０の処理について詳しく説明する。

【0045】

図４は、ワークＷに設定されたマーカＭの位置を検出するマーカ検出装置２２０における具体的な処理の様子を模式的に示す図である。図４に示されるように、マーカ検出装置２２０は、３Ｄカメラによって取得された点群データに基づいて、マーカＭの位置を検出している。

【0046】

図４（ａ）に示されるように、３Ｄカメラによって取得された点群データが描画されている。例えば、撮影部２１１は、公知のステレオ法による三次元計測手法を用いて取得した座標データ、又は距離計測センサ等により３Ｄスキャンして取得した座標データを、点群データとして取得する。

【0047】

３次元平面検出部２２１は、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する（図４（ｂ））。例えば、３次元平面検出部２２１は、撮影部２１１によって取得された点群データに基づいて、所定の面積以上の平面を３次元平面として、ワークＷを構成する底板である平面Ｗａ及び背板である平面Ｗｂを検出している。

【0048】

２次元平面画像生成部２２２は、３次元平面検出部２２１によって検出された３次元平面を構成する点群データを、２次元平面に射影することにより２次元平面画像を生成する（図４（ｃ）（ｄ））。例えば、３次元平面検出部２２１によって検出された平面Ｗａについて、２次元平面に射影するとは、３次元座標値（Ｘ，Ｙ，Ｚ）の位置で示される各点群データを、当該平面Ｗａを基準とする垂直方向に、当該平面Ｗａと交差する位置に移動させて、２次元平面画像を生成することを含む。各点群データの３次元座標値（Ｘ，Ｙ，Ｚ）及び（Ｒ，Ｇ，Ｂ）で示される色情報は、平面Ｗａの平面の方程式に基づいて２次元平面画像のピクセル情報（ＸＹ座標値及び色情報）として対応付けられて変換されることになる。これにより、図４（ｄ）に示されるように、２次元平面画像生成部２２２は、２次元平面画像Ｗａ２を生成する。この時、点群データの粒度が粗い場合には、２次元平面画像生成部２２２は、所定の画像処理（例えば、ガウスぼかし等の平滑化処理や画素補間処理等）を行うことにより２次元平面画像Ｗａ２を生成してもよい。

【0049】

マーカ検出部２２３は、２次元平面画像生成部２２２によって生成された２次元平面画像Ｗａ２からマーカＭを検出する（図４（ｅ））。例えば、マーカ検出部２２３は、予め記憶されたマーカの画像とパターンマッチングを行うことにより、２次元平面画像生成部２２２によって生成された２次元平面画像Ｗａ２からマーカＭを検出する。

【0050】

マーカ位置算出部２２４は、マーカ検出部２２３によって検出された２次元平面画像Ｗａ２に含まれるマーカＭについて、３次元平面検出部２２１によって３次元平面として検出された平面Ｗａにおける３次元座標を算出する（図４（ｆ））。図４（ｃ）及び（ｄ）を用いて説明したように、平面Ｗａを構成する点群データの３次元座標値（Ｘ，Ｙ，Ｚ）を、当該平面Ｗａを基準とする垂直方向に、当該平面Ｗａと交差する位置に移動させて、２次元平面画像Ｗａ２を生成したが、その逆の処理を行う。すなわち、２次元平面画像Ｗａ２に含まれるマーカＭの位置情報を、３次元平面である平面Ｗａ上における３次元座標値（Ｘ，Ｙ，Ｚ）に変換する。

【0051】

このように、マーカ検出装置２２０は、平面Ｗａ上に設定されているマーカＭの位置を適切に検出している。

【0052】

［マーカ検出方法］
次に、本発明の一実施形態に係るマーカ検出装置２２０がマーカを検出する方法について、具体的に詳しく説明する。

【0053】

図５は、本発明の一実施形態に係るマーカ検出装置２２０が実行するマーカ検出方法Ｍ１００の処理の流れを示すフローチャートである。図５に示されるように、マーカ検出方法Ｍ１００は、ステップＳ１１０～Ｓ１４０を含み、各ステップは、マーカ検出装置２２０に含まれるプロセッサによって実行される。

【0054】

ステップＳ１１０では、マーカ検出装置２２０は、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する（３次元平面検出ステップ）。具体例としては、マーカ検出装置２２０における３次元平面検出部２２１は、所定の面積以上の平面として、ワークＷを構成する平面Ｗａ及びＷｂ等を検出する。

【0055】

ステップＳ１２０では、マーカ検出装置２２０は、ステップＳ１１０で検出された３次元平面を構成する点群データを、２次元平面に射影することにより２次元平面画像を生成する（２次元平面画像生成ステップ）。具体例としては、マーカ検出装置２２０における２次元平面画像生成部２２２は、ステップＳ１１０で検出された３次元平面Ｗａについて、３次元座標値（Ｘ，Ｙ，Ｚ）の位置で示される各点群データを、当該平面Ｗａを基準とする垂直方向に、当該平面Ｗａと交差する位置に移動させて、２次元平面画像Ｗａ２を生成する。

【0056】

ステップＳ１３０では、マーカ検出装置２２０は、ステップＳ１２０で生成された２次元平面画像からマーカＭを検出する（マーカ検出ステップ）。具体例としては、マーカ検出装置２２０におけるマーカ検出部２２３は、予め記憶されたマーカの画像とパターンマッチングを行うことにより、２次元平面画像Ｗａ２からマーカＭを検出する。

【0057】

ステップＳ１４０では、マーカ検出装置２２０は、ステップＳ１３０で検出された２次元平面画像に含まれるマーカＭについて、ステップＳ１１０で３次元平面として検出された平面における３次元座標を算出する（３次元座標算出ステップ）。具体例としては、マーカ検出装置２２０におけるマーカ位置算出部２２４は、２次元平面画像Ｗａ２に含まれるマーカＭの位置情報を、３次元平面である平面Ｗａ上における３次元座標値（Ｘ，Ｙ，Ｚ）に変換する。

【0058】

以上のように、本発明の一実施形態に係るマーカ検出装置２２０及びマーカ検出方法Ｍ１００によれば、３次元平面検出部２２１は、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面Ｗａ及びＷｂを検出し、２次元平面画像生成部２２２は、当該平面Ｗａを構成する点群データを当該平面Ｗａを基準とする垂直方向に射影することにより２次元平面画像Ｗａ２を生成する。そして、マーカ検出部２２３は、２次元平面画像Ｗａ２からマーカＭを検出し、マーカ位置算出部２２４は、２次元平面画像Ｗａ２に含まれるマーカＭについて、３次元平面Ｗａにおける３次元座標値（Ｘ，Ｙ，Ｚ）を算出する。これにより、平面に設定されたマーカＭの位置を適切に検出することができ、煩雑なカメラパラメータの設定をしなくても、平面に設定されたマーカＭの位置を簡易に検出することができる。

【0059】

さらに、本発明の一実施形態に係るマーカ検出装置２２０を用いたロボット教示システム２００によれば、当該マーカ検出装置２２０によって適切に検出されたマーカＭの位置に基づいて、カメラ座標系設定部２１２は、当該マーカＭの位置を原点Ｏとしてカメラ座標系を設定する。プログラム生成部２１３は、マーカＭの設置位置に基づいて、カメラ座標系において設定されたマニピュレータ３の動作経路を、カメラ座標系からロボット制御装置２に設定されているロボット座標系に変換しつつ、マニピュレータ３を動作させるための作業プログラムを生成する。これにより、適切な溶接位置に、より簡易に溶接することができる。

【0060】

なお、本実施形態では、マーカ検出部２２３は、３次元平面検出部２２１によって検出された３次元平面Ｗａ及びＷｂのうち、平面ＷａついてマーカＭを検出した。複数の平面のうち、どの平面にマーカが含まれているか、例えば、ユーザが選択するようにしても構わないし、複数の平面のうち、１平面毎にマーカを検出するようにしても構わない。

【0061】

実際に、ユーザが、マーカＭが設定されている平面を把握していれば、当該平面を選択することにより、マーカ検出部２２３は、効率よく、マーカＭを検出することができる。

【0062】

一方で、例えば、複数の平面のうち、１平面毎にマーカを検出するようにすれば、着実に処理を進めることにより、自動的にマーカＭを検出することができる。ここで、複数の平面について、どのような順番でマーカを検出するかについては、例えば、面積の大きい順や視野中心から近い順、又はそれらの組み合わせ順で、処理するようにしても構わない。

【0063】

３次元平面検出部２２１によって検出された複数の平面のうち、面積の大きい平面や視野中心から近い平面に、マーカＭが設定されている可能性が高いと考えられ、複数の平面のうち、１平面毎にマーカを検出する中で、早い段階でマーカを検出することが期待できる。これにより、演算処理の軽減及び処理時間の短縮に繋がる。

【0064】

さらに、複数の平面について、どのような順番でマーカを検出するかについては、効率よくマーカを検出できる順であれば、これらの順に限定されるものではない。

【0065】

具体例としては、所定の色（例えば、赤色等）で構成されたマーカ、又は所定の色を多く含むように構成されたマーカを用いる。そして、３次元平面検出部２２１によって複数の平面が検出された際に、当該複数の平面について、当該所定の色を多く含む順で処理するようにすればよい。複数の平面について、各平面を構成する点群データには、（Ｒ，Ｇ，Ｂ）で示される色情報が含まれており、当該色情報に基づいて、各平面に含まれる所定の色情報の割合を判定することができる。

【0066】

このように、マーカを所定の色を用いて構成させることにより、３次元平面検出部２２１によって複数の平面が検出された場合、マーカが含まれている平面を効率よく検出することができる。これにより、演算処理の軽減及び処理時間の短縮に繋がる。

【0067】

また、本実施形態では、溶接ロボットシステム１００のロボット教示システム２００に用いられるマーカ検出装置２２０を一例に挙げて説明したが、マーカ検出装置２２０が用いられる産業用ロボットは、溶接ロボットシステム１００に限定されるものではない。例えば、電子部品及び機械部品の組み立てや搬送等を行う組み立てロボットシステムや搬送ロボットシステム等に、マーカ検出装置２２０を適用することもできる。

【0068】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0069】

１…撮影端末、２…ロボット制御装置、３…マニピュレータ、１１…制御部、１２…撮影部、１３…通信部、１４…表示部、２１…制御部、２２…記憶部、２３…通信部、２４…溶接電源部、３１…多関節アーム、３２…溶接トーチ、１００…溶接ロボットシステム、２００…ロボット教示システム、２１１…撮影部、２１２…カメラ座標系設定部、２１３…プログラム生成部、２２０…マーカ検出装置、２２１…３次元平面検出部、２２２…２次元平面画像生成部、２２３…マーカ検出部、２２４…マーカ位置算出部、Ｃ…通信ケーブル、Ｎ…ネットワーク、Ｍ…マーカ、Ｗ…ワーク、Ｌ１～Ｌ３…溶接位置、Ｗａ，Ｗｂ…平面、Ｗａ２…平面画像、Ｍ１００…マーカ検出方法、Ｓ１１０～Ｓ１４０…マーカ検出方法Ｍ１００の各ステップ

【要約】

【課題】マーカの位置を簡易に検出可能なマーカ検出装置及びそれを用いたロボット教示システムを提供することである。
【解決手段】マーカ検出装置２２０は、３Ｄカメラによって取得された点群データに基づいて、３次元空間における平面である３次元平面を検出する３次元平面検出部２２１と、検出された３次元平面を構成する点群データを、当該３次元平面を基準とする垂直方向に射影することにより２次元平面画像を生成する２次元平面画像生成部２２２と、生成された２次元平面画像からマーカを検出するマーカ検出部２２３と、検出された２次元平面画像に含まれるマーカについて、３次元平面における３次元座標を算出するマーカ位置算出部２２４と、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】