特開 2023-108062 制御装置、ロボット装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023108062

(43)【公開日】2023-08-03

(54)【発明の名称】制御装置、ロボット装置、制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230727BHJP

【ＦＩ】

B25J13/08 A

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023100243

(22)【出願日】2023-06-19

(62)【分割の表示】P 2019174341の分割

【原出願日】2019-09-25

(71)【出願人】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(72)【発明者】

【氏名】大場 雅文

(57)【要約】

【課題】ロボットが部材を搬送した後に、正確な位置合わせを行うロボット装置の制御装置を提供する。
【解決手段】ロボット装置５の制御装置は、第２のワーク９１を第１のワーク８１に近づける接近制御と、第１のワーク８１の位置に対して第２のワーク９１の位置を調整する位置調整制御とを実施する。接近制御は、第１のカメラ２５にて撮像された画像６１に基づいてロボット１の位置の移動方向および移動量を算出し、第２のワーク９１を第１のワーク８１に近づける第１の移動指令を生成する制御を含む。位置調整制御は、第１のカメラ２５にて撮像された画像６２および第２のカメラ２６にて撮像された画像６３に基づいてロボット１の位置の移動方向および移動量を算出し、第２のワーク９１に対して第１のワーク８１の位置を精密に合わせる第２の移動指令を生成する制御を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整するロボット装置の制御装置であって、
第１の部材を撮像する第１の視覚センサと、
第１の視覚センサと異なる方向から第１の部材および第２の部材を撮像する第２の視覚センサと、
ロボットの移動指令を生成する演算処理部と、
移動指令に基づいてロボットを駆動する動作制御部とを備え、
第１の部材から離れた位置に配置されている第２の部材を第１の部材に近づける接近制御と、第２の部材が第１の部材に近づいた後に、第１の部材の位置に対して第２の部材の位置を調整する位置調整制御とを実施するように形成されており、
前記接近制御は、前記演算処理部が第１の視覚センサにて撮像された画像に基づいてロボットの位置の移動方向および移動量を算出し、第２の部材を第１の部材に近づける第１の移動指令を生成する制御と、前記動作制御部が第１の移動指令に基づいて、ロボットの位置を変更する制御とを含み、
前記位置調整制御は、前記演算処理部が第１の視覚センサにて撮像された画像および第２の視覚センサにて撮像された画像に基づいてロボットの位置の移動方向および移動量を算出し、第２の部材に対して第１の部材の位置を合わせる第２の移動指令を生成する制御と、前記動作制御部が第２の移動指令に基づいてロボットの位置を変更する制御とを含む、制御装置。

【請求項2】

第２の部材を撮像する補助センサを備え、
第２の部材は、ロボットに取付けられた作業ツールに把持される部材であり、
ロボットおよび作業ツールを制御して第２の部材を把持する把持制御と、補助センサにて撮像された画像に基づいて、作業ツールに対する第２の部材の把持の位置のずれ量を検出するずれ検出制御とを、前記接近制御の前に実施するように形成されており、
前記ずれ検出制御にて検出された把持のずれ量に基づいて、把持のずれ量を打ち消すようにロボットの位置を修正するずれ修正制御を、前記位置調整制御の前に実施する、請求項１に記載の制御装置。

【請求項3】

第１の視覚センサおよび第２の視覚センサのうち少なくとも一方の視覚センサにより撮像された画像に基づいて、第１の部材の姿勢のずれ量を検出する姿勢検出制御を実施する、請求項１または２に記載の制御装置。

【請求項4】

前記姿勢検出制御にて検出された姿勢のずれ量に基づいて、第１の部材に対する第２の部材の姿勢が予め定められた姿勢になるように、ロボットの姿勢を修正する姿勢修正制御を実施するように形成されており、
前記姿勢修正制御は、前記接近制御を実施した後から前記位置調整制御を実施する前までの期間に実施する、請求項３に記載の制御装置。

【請求項5】

前記ロボット装置は、第１の部材を搬送する搬送機を含み、
前記搬送機が第１の部材を搬送している期間中に、前記接近制御または前記位置調整制御を繰り返して実施する、請求項１から４のいずれか一項に記載の制御装置。

【請求項6】

前記演算処理部は、前記搬送機による第１の部材の移動方向および移動速度に基づいて、前記搬送機にて移動する第１の部材の位置に対してロボットの位置が追従するロボットの位置の移動方向および移動量を算出し、ロボットの位置が追従するロボットの位置の移動方向および移動量に基づいてロボットの位置および姿勢を変更するとともに、前記接近制御または前記位置調整制御を実施する、請求項５に記載の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットに支持された部材の位置を調整するロボット装置の制御装置に関する。

【背景技術】

【0002】

ロボットを備えるロボット装置では、作業に応じた作業ツールをロボットに取付けることにより所望の作業を行うことができる。例えば、作業ツールとしてワークを把持するハンドをロボットに取付けることにより、ロボット装置は、ワークを所望の位置まで搬送することができる。

【0003】

従来の技術においては、１つのワークを他のワークに取付ける作業を行う場合に、カメラにて撮像した画像を用いてロボットの位置の制御を行うことが知られている。また、ロボットに加わる力を検出することによりロボットの位置の制御を行うことが知られている（例えば、特開２０１８－８３２８４号公報を参照）。カメラにて撮像した画像に基づいてロボットの位置を調整する場合には、ワークのゴール画像を予め準備しておくことができる。そして、現在のワークの画像とゴール画像との差により、ロボットの位置を調整する制御が知られている（例えば、特開２０１５－２１４０２２号公報および特開２０１３－１８０３８０号公報を参照）。

【0004】

ロボット座標系に対して視覚センサ座標系を予め較正して、視覚センサ座標系におけるワークの位置に基づいてワークの３次元の位置を算出する制御が知られている。または、画像における特徴部位の位置および大きさに関するヤコビアン行列を予め生成することができる。カメラにて撮像した画像における特徴部位の位置、目標データにおける特徴部位の位置、およびヤコビアン行列に基づいてロボットの位置を修正する制御が知られている（例えば、特開２０１７－１７０５９９号公報、およびインターネットに公開された文献“視覚と制御”（著者：橋本浩一）を参照）。

【0005】

また、ロボット装置がワークを把持するときに、ハンドにおけるワークの位置がずれる場合がある。この場合に、ハンドに把持されたワークをカメラにて撮像し、ロボットに対するワークの位置および姿勢を検出することが知られている。そして、ワークの位置および姿勢に基づいて、ハンドの位置および姿勢を調整する制御が知られている（例えば、特開２０１１－１３１３００号公報を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－８３２８４号公報

【特許文献2】特開２０１５－２１４０２２号公報

【特許文献3】特開２０１３－１８０３８０号公報

【特許文献4】特開２０１７－１７０５９９号公報

【特許文献5】特開２０１１－１３１３００号公報

【非特許文献】

【0007】

【非特許文献1】橋本浩一、“視覚と制御”、［２０１９年７月２６日検索］、インターネット＜URL：http://www.k2.t.u-tokyo.ac.jp/~koichi/Lecture/Pattern/2001/vs1.pdf＞）

【発明の概要】

【発明が解決しようとする課題】

【0008】

ロボット装置にて作業を行う場合に、ロボットが支持している部材を他の部材に対して位置を合わせる制御を実施する場合がある。例えば、ロボットの位置および姿勢を制御することにより、ロボット装置が把持しているワークを他のワークに取付けたり、他のワークの内部に配置したりすることができる。

【0009】

ロボット装置が作業を行う場合に、ロボットが支持している部材の位置を精度よく制御でない場合には、ロボット装置の作業が失敗する虞がある。このために、ロボット装置は、正確に位置を合わせる制御を実施できることが好ましい。特に、ロボットが位置および姿勢を変更することにより部材を搬送した後に、部材の正確な位置合わせを実施する制御が難しいという問題があった。

【課題を解決するための手段】

【0010】

本開示の一態様は、ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整するロボット装置の制御装置である。制御装置は、第１の部材を撮像する第１の視覚センサと、第１の視覚センサと異なる方向から第１の部材および第２の部材を撮像する第２の視覚センサとを備える。制御装置は、ロボットの移動指令を生成する演算処理部と、移動指令に基づいてロボットを駆動する動作制御部とを備える。制御装置は、第１の部材から離れた位置に配置されている第２の部材を第１の部材に近づける接近制御と、第２の部材が第１の部材に近づいた後に、第１の部材の位置に対して第２の部材の位置を調整する位置調整制御とを実施するように形成されている。接近制御は、演算処理部が第１の視覚センサにて撮像された画像に基づいてロボットの位置の移動方向および移動量を算出し、第２の部材を第１の部材に近づける第１の移動指令を生成する制御を含む。接近制御は、動作制御部が第１の移動指令に基づいて、ロボットの位置を変更する制御を含む。位置調整制御は、演算処理部が第１の視覚センサにて撮像された画像および第２の視覚センサにて撮像された画像に基づいてロボットの位置の移動方向および移動量を算出し、第２の部材に対して第１の部材の位置を合わせる第２の移動指令を生成する制御を含む。位置調整制御は、動作制御部が第２の移動指令に基づいてロボットの位置を変更する制御を含む。

【発明の効果】

【0011】

本開示の一態様によれば、ロボットが部材を搬送した後に、正確な位置合わせを行うロボット装置の制御装置を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態におけるロボット装置の概略図である。

【図2】ロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

【図3】ロボット装置のブロック図である。

【図4】実施の形態における把持制御、ずれ検出制御、および接近制御のフローチャートである。

【図5】把持制御を実施する時のハンドおよび第２のワークの拡大斜視図である。

【図6】ずれ検出制御を実施している時の第１のワーク、ハンド、および固定カメラの拡大斜視図である。

【図7】接近制御を実施する時の第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

【図8】接近制御に含まれる制御のフローチャートである。

【図9】接近制御を実施している時に第１のカメラにて撮像された画像である。

【図10】接近制御を実施している時に第１のカメラにて撮像された他の画像である。

【図11】実施の形態における姿勢検出制御、姿勢修正制御、ずれ修正制御、位置調整制御、および取付け制御のフローチャートである。

【図12】第１のワークに対して第２のワークが接近した時の第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

【図13】位置調整制御に含まれる制御のフローチャートである。

【図14】位置調整制御において、第１のカメラにて撮像された画像である。

【図15】位置調整制御において、第１のカメラにて撮像される画像に関する基準画像である。

【図16】位置調整制御において、第２のカメラにて撮像された画像である。

【図17】位置調整制御において、第２のカメラにて撮像される画像に関する基準画像である。

【図18】位置調整制御が完了した時の第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

【図19】取付け制御が終了した時の第１のワーク、第２のワーク、およびハンドの拡大斜視図である。

【発明を実施するための形態】

【0013】

図１から図１９を参照して、実施の形態におけるロボット装置の制御装置について説明する。本実施の形態では、製品を組み立てる作業を行うロボット装置を例に取り上げて説明する。

【0014】

図１は、本実施の形態におけるロボット装置の概略図である。図２は、ロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。図１および図２を参照して、ロボット装置５は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。ロボット装置５は、第１の部材としての第１のワーク８１に第２の部材としての第２のワーク９１を取付ける作業を行う。

【0015】

ロボット１は、複数の関節部を含む多関節ロボットである。ロボット１は、ベース部１４と、ベース部１４に支持された旋回ベース１３とを含む。ベース部１４は、設置面に固定されている。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、上部アーム１１および下部アーム１２を含む。下部アーム１２は、関節部を介して旋回ベース１３に回動可能に支持されている。上部アーム１１は、関節部を介して回動可能に下部アーム１２に支持されている。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。

【0016】

ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、関節部を介して回動可能に上部アーム１１に支持されている。リスト１５は、回転可能に形成されているフランジ１６を含む。ハンド２は、フランジ１６に固定されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。

【0017】

ハンド２は、ワーク９１を把持したり解放したりする作業ツールである。ハンド２は、複数の爪部３を有する。ハンド２は爪部３が開いたり閉じたりするように形成されている。爪部３がワーク９１を挟むことによりワーク９１を把持する。ロボット装置５の作業ツールは、爪部３を有するハンド２であるが、この形態に限られない。作業ツールは、ワークを把持できるように形成されている任意の構成を採用することができる。例えば、空気圧による吸着または吸引にてワークを把持する作業ツール、ハンドの爪部の位置をモーターの制御にて調整可能な作業ツール、または磁力によりワークを把持する作業ツールが採用されても構わない。

【0018】

本実施の形態におけるロボット装置５は、第１のワーク８１を搬送する搬送機としてのコンベヤ７５を含む。搬送機は、ロボット１の周りに配置される。コンベヤ７５は、ワーク８１を予め定められた位置まで搬送するように形成されている。コンベヤ７５は、予め定められた移動速度にてワーク８１を搬送するように形成されている。図１に示す例では、紙面に垂直な方向にワーク８１が搬送される。

【0019】

本実施の形態のロボット装置５では、コンベヤ７５がワーク８１の搬送を継続しながらロボット１がワーク９１をワーク８１に取り付ける。すなわち、ワーク９１が取り付けられる作業を行う期間中に、ワーク８１はコンベヤ７５により移動している。ロボット１は、ワーク８１を追従するように位置および姿勢を変化させながらワーク９１をワーク８１に取付ける。

【0020】

第２のワーク９１は、表面から突出する把持部９４を有する。爪部３が把持部９４を掴むことにより、第２のワーク９１はハンド２に把持される。第１のワーク８１は、表面から突出する突出部８２，８３を有する。突出部８２および突出部８３は互いに離れて配置されている。それぞれの突出部８２，８３の上面には、穴部８２ａ，８３ａが形成されている。第２のワーク９１は、表面から突出する突出部９２，９３を有する。それぞれの突出部９２，９３には、ピン９２ａ，９３ａが固定されている。ピン９２ａおよびピン９３ａは、互いに直線状に並ぶように配置されている。ロボット装置５は、矢印１０１に示すように第２のワーク９１を第１のワーク８１に近づけた後に、ピン９２ａを穴部８２ａに挿入すると共に、ピン９３ａを穴部８３ａに挿入する作業を実施する。

【0021】

ロボット装置５は、第１のワーク８１を撮像する第１の視覚センサとしての第１のカメラ２５と、第１のワーク８１および第２のワーク９１を撮像する第２の視覚センサとしての第２のカメラ２６とを備える。第２のカメラ２６は、第１のカメラ２５とは異なる方向から画像を撮像する。本実施の形態におけるカメラ２５，２６は、２次元カメラである。カメラ２５，２６は、支持部材１７を介してハンド２に支持されている。支持部材１７は、下側に延びる棒状部１７ａと、上側に延びる棒状部１７ｂと有する。下側に延びる棒状部１７ａには、第１のカメラ２５が固定されている。上側に延びる棒状部１７ｂには、第２のカメラ２６が固定されている。

【0022】

カメラ２５，２６は、ハンド２と共に位置および姿勢が変化する。カメラ２５は、第２のワーク９１が第１のワーク８１に接近している期間中に第１のワーク８１の画像を撮像する。すなわち、カメラ２５は、第２のワーク９１が第１のワーク８１から離れている時から第２のワーク９１が第１のワーク８１の近傍に配置される時まで画像を撮像する。また、カメラ２５は、第２のワーク９１が第１のワーク８１の近傍に配置された時の画像を撮像する。本実施の形態のカメラ２５は、光軸が第２のワーク９１が第１のワーク８１に向かう向きにほぼ平行になるように配置されている。

【0023】

カメラ２６は、第２のワーク９１が第１のワーク８１に接近した時に画像を撮像する。すなわち、カメラ２６は、第２のワーク９１が第１のワーク８１の近傍に配置された時の画像を撮像する。本実施の形態のカメラ２６は、光軸が鉛直方向とほぼ平行になるように配置されている。

【0024】

ロボット装置５は、ハンド２に把持された第２のワーク９１の把持のずれ量を検出するための補助センサを備える。本実施の形態の補助センサは、視覚センサである固定カメラ２７にて構成されている。本実施の形態の固定カメラ２７は、２次元カメラである。固定カメラ２７は、架台７１により設置面に固定されている。固定カメラ２７は、ロボット１が位置および姿勢を変更することにより、第２のワーク９１を撮像できる位置に配置されている。

【0025】

ロボット装置５には、基準座標系５１が設定されている。図１に示す例では、ロボット１のベース部１４に基準座標系５１の原点が配置されている。基準座標系５１はワールド座標系とも称される。基準座標系５１は、原点の位置が固定され、更に、座標軸の向きが固定されている座標系である。ロボット１の位置および姿勢が変化しても基準座標系５１の位置および向きは変化しない。基準座標系５１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

【0026】

ロボット装置５には、ハンド２と共に移動するツール座標系５２が設定されている。本実施の形態のツール座標系５２の原点は、ツール先端点に設定されている。ツール座標系５２は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、ツール座標系５２は、Ｘ軸の周りのＷ軸、Ｙ軸の周りのＰ軸、およびＺ軸の周りのＲ軸を有する。ロボット１の位置は、ツール座標系５２の原点の位置にて表すことができる。また、ロボット１の姿勢は、基準座標系５１に対するツール座標系５２の向きにて表すことができる。

【0027】

図３に、本実施の形態におけるロボット装置のブロック図を示す。図１から図３を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モーター２２を含む。ロボット駆動モーター２２が駆動することにより、それぞれの構成部材の向きが変化する。

【0028】

ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の爪部３を駆動するハンド駆動モーター２１を含む。ハンド駆動モーター２１が駆動することによりハンド２の爪部３が開いたり閉じたりする。なお、爪部は、空気圧により作動するように形成されていても構わない。この場合には、ハンド駆動装置は、空気ポンプおよびシリンダなどの空気圧にて爪部を駆動する装置を含むことができる。

【0029】

ロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４を含む。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ７５の制御を行うために予め作成された動作プログラム４１が入力される。ロボット１およびハンド２は、動作プログラム４１に基づいて第２のワーク９１を搬送する。コンベヤ７５は、動作プログラム４１に基づいて第１のワーク８１を搬送する。

【0030】

ロボット制御装置４の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１、ハンド２、およびコンベヤ７５の制御に関する情報を記憶する。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。動作プログラム４１は、記憶部４２に記憶される。ロボット制御装置４は、ロボット装置５に関する任意の情報を表示する表示器４６を含む。表示器４６は、例えば、液晶表示パネルを含む。

【0031】

ロボット制御装置４の演算処理装置は、ロボット１およびハンド２の動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

【0032】

動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モーター２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モーター２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ハンド駆動モーター２１を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてハンド駆動モーター２１に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいて、カメラ２５，２６および固定カメラ２７に画像を撮像する指令を送出する。

【0033】

ロボット制御装置４の演算処理装置は、カメラ２５および固定カメラ２７の出力を処理する演算処理部３１を含む。演算処理部３１は、カメラ２５，２６および固定カメラ２７にて撮像された画像において、予め定められた特徴的な部分である特徴部位の位置に関する特徴量を検出する特徴量検出部３２を有する。演算処理部３１は、固定カメラ２７の出力に基づいて、ハンド２における第２のワーク９１の把持の位置のずれ量を検出するずれ検出部３３を含む。演算処理部３１は、第１のカメラ２５および第２のカメラ２６のうち少なくとも一方のカメラにより撮像された画像に基づいて、第１のワーク８１の姿勢のずれ量を検出する姿勢検出部３４を含む。また、演算処理部３１は、ロボット１を動作させる移動指令を生成する指令生成部３５を含む。

【0034】

演算処理部３１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、特徴量検出部３２、ずれ検出部３３、姿勢検出部３４、および指令生成部３５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

【0035】

ロボット装置５は、ロボット装置５の運転状態を検出する状態検出器を備える。本実施の形態の状態検出器は、ロボット１の位置および姿勢を検出する位置検出器２３を含む。位置検出器２３は、アーム等の構成部材の駆動軸に対応するロボット駆動モーター２２に取付けられている。例えば、位置検出器２３は、ロボット駆動モーター２２が駆動するときの回転角を検出する。位置検出器２３の出力に基づいて、ロボット１の位置および姿勢が検出される。

【0036】

ロボット装置５の制御装置は、コンベヤ７５の動作を制御するコンベヤ制御装置７６を備える。コンベヤ制御装置７６は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置７６は、ロボット制御装置４と互いに通信することができるように形成されている。動作制御部４３は、動作プログラム４１に基づいて、コンベヤ７５を駆動する動作指令をコンベヤ制御装置７６に送出する。コンベヤ制御装置７６は、ロボット制御装置４からの動作指令を受信して、コンベヤ７５を駆動する。

【0037】

本実施の形態のロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ７５を制御するコンベヤ制御装置７６とを備えるが、この形態に限られない。ロボット装置５は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ７５を制御するように形成されていても構わない。

【0038】

また、本実施の形態のロボット装置５の制御装置では、ロボット制御装置４がカメラ２５，２６および固定カメラ２７の出力を処理する機能を有する演算処理部３１を含むが、この形態に限られない。ロボット装置の制御装置は、ロボット制御装置とは別に、演算処理部３１として機能する演算処理装置（コンピュータ）を備えていても構わない。演算処理装置のプロセッサは、動作プログラムに基づいて駆動することにより、特徴量検出部、ずれ検出部、姿勢検出部、および指令生成部として機能する。演算処理部３１として機能する演算処理装置は、ロボット制御装置と互いに通信することができるように形成されることができる。

【0039】

本実施の形態のロボット装置５の制御装置は、第２のワーク９１を把持する把持制御を実施する。ロボット装置５の制御装置は、第１のワーク８１から離れた位置に配置されている第２のワーク９１を第１のワーク８１に近づける接近制御を実施する。ロボット装置５の制御装置は、ハンド２に対する第２のワーク９１の把持の位置のずれ量を検出するずれ検出制御と、把持のずれ量に基づいて把持のずれ量を打ち消すようにロボット１の位置を修正するずれ修正制御を実施する。

【0040】

ロボット装置５の制御装置は、第１のワーク８１の姿勢のずれ量を検出する姿勢検出制御と、姿勢検出制御にて検出された姿勢のずれ量に基づいて、第１のワーク８１に対する第２のワーク９１の姿勢が予め定められた姿勢になるように、ロボット１の姿勢を修正する姿勢修正制御とを実施する。そして、ロボット装置５の制御装置は、第２のワーク９１が第１のワーク８１に近づいた後に、接近制御よりも精密に第１のワーク８１に対する第２のワーク９１の位置を調整する位置調整制御を実施する。更に、ロボット装置５の制御装置は、第２のワークのピン９２ａ，９３ａを、第１のワーク８１の穴部８２ａ，８３ａに挿入する取付け制御を実施する。

【0041】

図４に、本実施の形態の形態における把持制御、ずれ検出制御、および接近制御のフローチャートを示す。始めに、ステップ１１１およびステップ１１２において、ロボット装置５が第２のワーク９１を把持する把持制御を実施する。例えば、作業台に載置されている第２のワーク９１をロボット装置５が把持する。

【0042】

図５に、把持制御を実施する時の第２のワークおよびハンドの斜視図を示す。図４および図５を参照して、ステップ１１１において、カメラ２５は、第２のワーク９１を撮像する。ここでの例では、ワーク９１を把持するために、ワーク９１の把持部９４が特徴部位に設定されている。ロボット１が把持部９４を撮像する位置および姿勢は予め定められている。動作制御部４３は、ロボット１の位置および姿勢に変更して、カメラ２５にて把持部９４を撮像する。

【0043】

ステップ１１２において、演算処理部３１の特徴量検出部３２は、カメラ２５にて撮像された画像において把持部９４を検出する。予め定められた方向から撮像された時の把持部９４のベース画像は、予め作成されている。カメラ２５にて撮像された画像とベース画像とを用いて、テンプレートマッチングの方法により、カメラ２５にて撮像した画像における把持部９４を検出する。本実施の形態においては、カメラ２５，２６にて撮像された画像にスクリーン座標系が設定されている。特徴量検出部３２は、スクリーン座標系における把持部９４の位置を検出する。

【0044】

ツール座標系５２における実際のワークの位置に対するスクリーン座標系におけるワーク９１の位置は較正されている。このために、特徴量検出部３２は、カメラ２５にて撮像した画像に基づいて把持部９４の位置を、ツール座標系５２にて算出することができる。指令生成部３５は、把持部９４の位置に基づいて、ロボット１の位置および姿勢を変更する移動指令を生成する。ロボット１は、位置および姿勢を変更して、ハンド２にて把持部を把持する。

【0045】

なお、ワークを把持する把持制御は、任意の制御にて実施することができる。例えば、画像における特徴部位の位置に関するヤコビアン行列および基準画像を予め生成することができる。ヤコビアン行列は、ロボットの位置を微小量にて移動したときの視覚センサ座標系での位置のずれに基づいて算出することができる。カメラにて撮像した画像における特徴部位の位置、基準画像における特徴部位の位置、およびヤコビアン行列に基づいて、ロボットの位置を変更しても構わない。

【0046】

次に、ロボット装置５がワーク９１を把持した時に、把持のずれが生じる場合がある。次に、ステップ１１３およびステップ１１４においては、ハンド２に対する第２のワーク９１の把持の位置のずれ量を検出するずれ検出制御を実施する。

【0047】

図６に、ずれ検出制御を実施しているときの第２のワーク、ハンド、および固定カメラの斜視図を示す。図６に示す例では、矢印１０６に示すように、ハンド２の爪部３に対して第２のワーク９１が下側にずれている。このために、本実施の形態では、第２のワーク９１の把持のずれを修正する制御を実施する。

【0048】

図４および図６を参照して、ステップ１１３においては、固定カメラ２７にて第２のワーク９１を撮像する。ここでの例では、ワーク９１の把持のずれ量を検出するために、ワーク９１のピン９２ａ，９３ａが特徴部位に設定されている。動作制御部４３は、ワーク９１を撮像するために、動作プログラム４１に設定された位置および姿勢になるように、ロボット１の位置および姿勢を変更する。ロボット１が位置および姿勢を変更することにより、固定カメラ２７の撮像範囲２７ａの内部に、ワーク９１のピン９２ａ，９３ａが配置される。次に、固定カメラ２７は、ワーク９１のピン９２ａ，９３ａを撮像する。

【0049】

ステップ１１４において、演算処理部３１の特徴量検出部３２は、固定カメラ２７にて撮像された画像においてピン９２ａ，９３ａを検出する。予め定められた方向から撮像された時のピン９２ａ，９３ａのベース画像は、予め作成されている。固定カメラ２７にて撮像された画像とベース画像とを用いて、テンプレートマッチングの方法により、固定カメラ２７にて撮像した画像におけるピン９２ａ，９３ａを検出する。次に、特徴量検出部３２は、スクリーン座標系におけるピン９２ａ，９３ａの位置を検出する。ピン９２ａ，９３ａの位置は、ワーク９１の位置に対応する。

【0050】

ツール座標系５２における実際のワーク９１の位置に対するスクリーン座標系５３におけるワーク９１の位置は較正されている。このために、ずれ検出部３３は、固定カメラ２７にて撮像した画像に基づいてピン９２ａ，９３ａの位置を、ツール座標系５２にて算出することができる。すなわち、ずれ検出部３３は、ワーク９１の位置をツール座標系５２にて算出することができる。

【0051】

ずれ検出部３３は、ハンド２における第２のワーク９１の把持のずれ量を算出する。ワーク９１の把持のずれが生じていない時のツール座標系５２におけるワーク９１の基準位置は予め定められている。この基準位置と、固定カメラに２７にて撮像した画像から検出されたワーク９１の位置とに基づいて、ハンド２におけるワーク９１の位置のずれ量を、ツール座標系５２にて算出することができる。記憶部４２は、ハンド２におけるワーク９１の位置のずれ量を記憶する。ハンド２におけるワーク９１の位置のずれは、後の制御において修正する。

【0052】

なお、ハンド２におけるワーク９１の位置のずれ量を検出するずれ検出制御は、上記の形態に限られず、任意の制御にて実施することができる。例えば、予め作成された基準画像およびヤコビアン行列を用いて、ハンド２におけるワーク９１の位置のずれ量を検出しても構わない。

【0053】

次に、ステップ１１５からステップ１１７において、第１のワーク８１に対して第２のワーク９１を近づける接近制御を実施する。本実施の形態では、第２のワーク９１が第１のワーク８１に向かう方向のワーク９１の移動速度は一定の速度が採用されている。図１に示す例では、基準座標系５１のＸ軸の方向にロボット１の位置が移動する速度は、一定の速度が採用されている。接近制御では、基準座標系５１のＹ軸方向およびＺ軸方向におけるワーク９１の位置を調整する。

【0054】

図７に、接近制御を行うときの第１のワーク、第２のワーク、およびハンドの部分の拡大斜視図を示す。接近制御では、第２のワーク９１の突出部９２，９３を、矢印１０１に示すように、第１のワーク８１の突出部８２，８３に近づける制御を実施する。ロボット１は、動作プログラム４１に基づいて、カメラ２５の撮像範囲２５ａの内部に突出部８３が配置されるように位置および姿勢を変更する。

【0055】

作業者は、接近制御を実施する準備作業として、第１のワーク８１の基準画像を生成する。基準画像は、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されている時にカメラ２５にて撮像された画像である。また、基準画像は、ハンド２に対して第２のワーク９１が予め定められた位置にて把持されている状態に基づく画像である。すなわち、基準画像は、第２のワーク９１の把持のずれが無い状態に基づく画像である。基準画像は、作業者が予め作成して、記憶部４２に記憶させておくことができる。

【0056】

本実施の形態の基準画像は、実際にカメラにて撮像した画像を用いているが、この形態に限られない。基準画像は、例えば、ロボット装置５およびワーク８１，９１の３次元データをＣＡＤ（Computer Aided Design）装置等により生成することができる。ワーク８１に対してワーク９１が目標の位置に配置されているときの３次元データを生成することができる。この３次元データをカメラの向きに対応する方向に沿って１つの平面に投影することにより、基準画像を生成しても構わない。

【0057】

本実施の形態では、第１のワーク８１の位置を検出するための特徴部位が予め定められている。特徴部位は、画像を解析した時に形状が検出できる部分である。特徴部位は、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。接近制御では、突出部８３の側面８３ｂが特徴部位に定められている。

【0058】

第１のワーク８１には、特徴部位としての突出部８３の側面８３ｂに、設定点Ｐ１１が設定されている。設定点Ｐ１１は、突出部８３の側面８３ｂの角に設定されている。設定点Ｐ１１の位置は、ワーク８１の位置に相当する。設定点Ｐ１１は、カメラ２５にて撮像したときに画像に含まれる位置に設定されている。

【0059】

図４および図７を参照して、ステップ１１５において、第１のカメラ２５は、第１のワーク８１の特徴部位である突出部８３の側面８３ｂを撮像する。次に、ステップ１１６において、第１のカメラ２５にて撮像した画像に基づいて、第２のワーク９１が第１のワーク８１に近づくようにロボット１の位置を変更する制御を実施する。

【0060】

図８に、第２のワークを第１のワークに接近させる制御のフローチャートを示す。図８の制御は、図４のステップ１１６の制御に相当する。図９に、接近制御において第１のカメラにて撮像した画像を示す。図９には、カメラ２５にて撮像した画像６１を実線にて示している。また、参考のために基準画像が破線にて示されている。カメラ２５にて撮像した画像６１は、基準画像からずれている。接近制御では、カメラ２５にて撮像した画像が、基準画像に一致するようにロボット１の位置を変更する。

【0061】

図７から図９を参照して、ステップ１３１において、演算処理部３１の特徴量検出部３２は、カメラ２５にて撮像された画像６１の特徴部位を検出する。特徴部位の検出方法としては、ワーク８１の基準となるベース画像を予め準備しておくことができる。または、基準画像をベース画像として使用しても構わない。ベース画像とカメラ２５にて撮像した画像とを用いてテンプレートマッチング等の方法により、カメラ２５にて撮像した画像における特徴部位を検出することができる。ここでの例では、突出部８３の側面８３ｂを検出することができる。なお、第１のワーク８１が所望の姿勢に対して傾いている場合がある。第１のワーク８１の姿勢のずれが大きい場合には、予め定められた角度ごとに第１のワーク８１を傾けた複数の基準画像を予め作成しても構わない。

【0062】

ステップ１３２において、特徴量検出部３２は、特徴部位の位置に関する特徴量を検出する。本実施の形態においては、カメラ２５にて撮像された画像６１にスクリーン座標系５３が設定されている。スクリーン座標系５３は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系５３は、互いに直交するｕ軸およびｖ軸を有する。スクリーン座標系５３は、カメラ２５の視覚センサ座標系に対応する。

【0063】

本実施の形態の位置に関する特徴量は、画像におけるスクリーン座標系５３のｕ軸の座標値およびｖ軸の座標値である。特徴量検出部３２は、カメラ２５にて撮像された画像６１において検出された特徴部位に基づいて、特徴部位に設定された設定点Ｐ１１の位置を検出する。すなわち、特徴量検出部３２は、特徴部位の位置に関する特徴量として、設定点Ｐ１１のスクリーン座標系５３の座標値（u1m，v1m）を検出する。

【0064】

ステップ１３３において、指令生成部３５は、カメラ２５にて撮像した画像６１における設定点Ｐ１１の位置と、基準画像における設定点Ｐ１１の位置との相対的な位置の差である相対位置量を算出する。基準画像における第１の基準特徴量として、設定点Ｐ１１のスクリーン座標系５３の座標値（u1b，v1b）は予め定められている。

【0065】

指令生成部３５は、それぞれの座標軸において、カメラ２５にて撮像した画像における設定点Ｐ１１の座標値から基準画像における設定点Ｐ１１の座標値を減算した相対位置量を算出する。相対位置量は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u1b）,（v1m-v1b）］にて表すことができる。このように、本実施の形態では、ｕ軸に関する相対位置量と、ｖ軸に関する相対位置量とを算出する。

【0066】

ステップ１３４において、指令生成部３５は、相対位置量に基づいて、ロボット１の駆動方法を設定する。指令生成部３５は、基準座標系５１におけるロボット１の位置の移動方向および移動量を含む第１の移動指令を生成する。本実施の形態では、相対位置量に対するロボットの位置の移動方向が予め定められている。スクリーン座標系５３のｕ軸の正の値または負の値に対してロボット１の位置の移動方向が、基準座標系５１にて定められている。

【0067】

更に、相対位置量に対するロボット１の位置の移動量の算出方法が予め定められている。例えば、ｕ軸に対応する方向におけるロボット１の位置の移動量は、ｕ軸に関する値（u1m-u1b）に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボット１の位置の移動量は、ｖ軸に関する値（v1m-v1b）に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系５３の座標軸に対応する方向において、ロボット１の位置の移動量を算出することができる。

【0068】

なお、本実施の形態においては、ワーク９１がワーク８１に徐々に近づく制御を実施している。このために、ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて、上記の係数を変化させても構わない。

【0069】

本実施の形態では、ｕ軸に関する相対位置量に基づいて基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出することができる。また、ｖ軸に関する相対位置量に基づいて、基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出することができる。このために、基準座標系５１において、一つの座標軸に対して２つの移動量（ｕ軸に関する移動量およびｖ軸に関する移動量）が算出される場合がある。この場合には、２つの移動量が算出される座標軸の方向にはロボット１の位置を移動しなくても構わない。または、それぞれの移動量に係数を乗じて最終的な移動量を算出しても構わない。または、いずれか一方の移動量を採用しても構わない。

【0070】

次に、ステップ１３５において、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する。指令生成部３５は、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する第１の移動指令を生成する。指令生成部３５は、第１の移動指令を動作制御部４３に送出する。動作制御部４３は、移動指令に基づいてロボット１の位置を変更する。

【0071】

このように、指令生成部３５は、カメラ２５にて撮像された画像における特徴量および基準特徴量に基づいて、特徴量検出部３２により検出された特徴量が基準画像の特徴量に近づくようにロボット１の位置を変更する制御を実施することができる。

【0072】

図４を参照して、ステップ１１７において、ワーク９１がワーク８１に接近したか否かを判定する。ここでは、ロボット１の位置の移動量が予め定められた判定値を超えたか否かを判定する。本実施の形態においては、ワーク９１がワーク８１に向かう方向において、ロボット１の位置が予め定められた距離にて移動したか否かを判定する。図１に示す例では、基準座標系５１のＸ軸の方向に、予め定められた距離にてツール先端点が移動したか否かを判定する。

【0073】

ステップ１１７において、ロボット１の位置の移動量が予め定められた判定値を超えた場合には、この制御を終了する。ステップ１１７において、ロボット１の位置の移動量が予め定められた判定値以下の場合には、制御はステップ１１５に戻る。そして、ステップ１１５からステップ１１７の制御を繰り返す。この様に、第２のワーク９１が第１のワーク８１に接近するまで、接近制御を繰り返すことができる。

【0074】

また、ステップ１１７において、ロボット１の位置の移動量が予め定められた判定値を超えた場合に、第２のワーク９１の突出部９３が第１のワーク８１の突出部８３に十分に接近していない場合に、指令生成部３５は、異常であると判断しても構わない。例えば、相対位置量が予め定められた判定範囲を逸脱する場合に、指令生成部３５は、ロボット１を停止させる制御を実施しても構わない。

【0075】

本実施の形態においては、ワーク９１がワーク８１に徐々に近づく制御を実施している。カメラ２５にて撮像した画像における特徴部位は徐々に大きくなる。このために、作業者は、ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて複数の基準画像を作成しても構わない。特徴量検出部３２は、ワーク９１がワーク８１に向かう方向のロボット１の位置の移動量に応じて、基準画像を切替える制御を実施しても構わない。または、基準画像における特徴部位の大きさに対するカメラ２５にて撮像した画像における特徴部位の大きさの許容範囲を定めておくことができる。そして、特徴部位の大きさが許容範囲を超えたときに、基準画像を切替える制御を実施しても構わない。

【0076】

図１０に、接近制御において第１のカメラにて撮像された他の画像を示す。カメラ２５にて実際にワーク８１を撮像したときに、ロボット装置５を照らす光の状態に応じて画像６４に影６５が写る場合が有る。例えば、ロボット装置５の構成部品、または、ロボット装置５の周りに配置されている物の影６５が写る場合がる。特に、影６５は、ロボット１の上部アーム１１および下部アーム１２などのアーム、または、ロボット装置５の周りに配置されている柵等にて生じる。

【0077】

影６５は、カメラ２５にて撮像した画像に写ったり写らなかったりする場合が有る。例えば、ロボット装置５が配置されている工場に窓が有る場合に、時間によって窓から太陽光が入る場合と入らない場合とがある。また、カメラ２５にて撮像した画像の影６５の位置が変わる場合がある。例えば、工場の窓から入る太陽光の角度が変わることにより、画像６４における影６５の位置が変化する場合がある。

【0078】

または、本実施の形態では、コンベヤ７５にて搬送されるワーク８１の位置に応じてロボット１の位置および姿勢が変化する。ロボット装置５の側方からスポットライト等により補助光が照射されている場合には、コンベヤ７５にて搬送されるワーク８１の位置に応じて画像６４に影６５が写る場合と写らない場合が有る。また、画像６４おける影６５の位置が変化する場合がある。

【0079】

図８のステップ１３１において、演算処理部３１の特徴量検出部３２は、影６５の位置が変化することにより、カメラ２５にて撮像された画像６４における特徴部位を検出することができない場合がある。または、影６５により特徴部位の部分が暗くなり、特徴量検出部３２は、画像６４における特徴部位を検出できない場合がある。

【0080】

そこで、作業者は、ロボット装置５に照射される光の様々な状態に応じて複数のベース画像または基準画像を予め準備しておくことができる。ここでは、基準画像を例に取り上げて説明する。例えば、作業者は、工場の窓から太陽光が入射する角度が徐々に変化したときの複数の基準画像を予め作成することができる。または、ロボット装置５の側方から補助光が照射されている場合に、作業者は、コンベヤ７５の搬送により変化するワーク８１の位置を徐々に変更した時の複数の基準画像を予め作成することができる。

【0081】

作業者は、ワーク８１に対するロボット１の相対位置および相対姿勢を予め定めておいて、ロボット装置５に照射される光の状態またはワーク８１の位置を徐々に変更した複数の基準画像を作成することができる。すなわち、作業者は、影の状態が変化した複数の基準画像を生成する。複数の基準画像では、影６５が写っていたり写っていなかったりする。または、複数の基準画像では、影６５の位置が徐々に変化している。複数の基準画像は、記憶部４２に記憶させておくことができる。

【0082】

特徴量検出部３２は、複数の基準画像のうち、１つの基準画像を選定する。複数の基準画像から１つの基準画像を選定する順序は予め定めておくことができる。特徴量検出部３２は、カメラ２５にて撮像された画像６４の特徴部位を検出できるか否かを判定する。特徴量検出部３２は、画像６４の特徴部位を検出できると判定した場合には、その基準画像から検出された特徴部位を採用する。特徴量検出部３２は、画像６４の特徴部位を検出できないと判定した場合には、次の基準画像を選定して、カメラ２５にて撮像された画像６４の特徴部位を検出できるか否かを判定する。このように、特徴量検出部３２は、画像６４の特徴部位が検出できまで、基準画像を変更する制御を実施することができる。

【0083】

特徴部位を検出できるか否かの判定制御としては、任意の制御を採用することができる。例えば、特徴量検出部は、カメラにて撮像した画像と基準画像とが類似する程度を示す類似度を算出することができる。本実施の形態では、テンプレートマッチングの方法にて特徴部位の検出を行っている。特徴量検出部は、カメラにて撮像した画像に対して基準画像の位置を徐々に変えながら、２つの画像における輝度（画素値）の差の２乗の総和を算出する。この２乗の総和を、２つの画像の類似度として採用することができる。この場合に、２乗の総和の値が小さいほど２つの画像は類似していると判定することができる。

【0084】

または、２つの画像の類似度としては、２つの画像に関する正規化相互相関関数を算出することができる。この場合には、関数の値が１に近いほど２つの画像が類似している。特徴量検出部は、２つの画像に関する類似度が予め定められた判定範囲内であるときに、特徴部位が検出できると判定することができる。または、特徴量検出部は、類似度の代わりに２つの画像の異なる程度を表す相違度を算出しても構わない。

【0085】

特徴量検出部３２は、画像６４の特徴部位が検出できる場合に、画像６４の特徴部位に基づいて、特徴量を検出することができる。このように、カメラ２５にて撮像される画像６４に影６５が含まれる場合にも、特徴部位を検出することができる。ロボット装置５に照射される光の状態が変化しても、特徴部位を検出することができる。

【0086】

なお、特徴量検出部３２が、全ての基準画像において特徴部位が検出できなかった場合に、指令生成部３５は、ロボット装置５を停止させる制御を行うことができる。または、特徴量検出部３２は、複数の基準画像のうち、最も類似している基準画像を選定して特徴量を検出しても構わない。

【0087】

上記の実施の形態では、接近制御において、影の影響を考慮した複数の基準画像を生成しているが、この形態に限られない。カメラにて撮像した画像における特徴部位を検出する任意の制御に上記の影を含む複数の基準画像またはベース画像を用いる制御を実施することができる。例えば、把持制御、ずれ検出制御、および後述する位置調整制御に影を含む複数の基準画像またはベース画像を用いる制御を適用することができる。

【0088】

次に、第１のワークに対して第２のワークが接近した後の制御について説明する。図１１に、本実施の形態における姿勢検出制御、姿勢修正制御、ずれ修正制御、位置調整制御、および取付け制御のフローチャートを示す。図１２に、本実施の形態における接近制御が終了した時の第１のワーク、第２のワーク、およびハンドの拡大斜視図を示す。接近制御を実施することにより、第１のワーク８１の穴部８２ａ，８３ａに対して、第２のワーク９１のピン９２ａ，９３ａが接近している。

【0089】

図１１および図１２を参照して、ステップ１２１からステップ１２３において、ロボット装置５の制御装置は、第１のワーク８１に対する第２のワーク９１の姿勢が予め定められた姿勢になるように、ロボット１の姿勢を修正する。第１のワーク８１は、姿勢が予め定められた姿勢になるようにコンベヤ７５に固定されることが好ましい。例えば、第１のワーク８１は、穴部８２ａと穴部８３ａとが鉛直方向に並ぶようにコンベヤ７５に固定されることが好ましい。しかしながら、第１のワーク８１の姿勢が所望の姿勢からずれる場合がある。このため、本実施の形態では、第１のワーク８１の姿勢に対して第２のワーク９１の姿勢を合わせる制御を実施する。

【0090】

ステップ１２１およびステップ１２２では、第１のワーク８１の姿勢のずれ量を検出する姿勢検出制御を実施する。ステップ１２１においては、第１のカメラ２５および第２のカメラ２６にて、第１のワーク８１を撮像する。第１のワーク８１には、第１のワーク８１の姿勢を検出するための特徴部位が予め定められている。カメラ２５にて撮像される画像における特徴部位としては、突出部８３の側面８３ｂが設定されている。カメラ２６により撮像される画像における特徴部位としては、突出部８２の上面８２ｂが設定されている。カメラ２５，２６は、それぞれの特徴部位を撮像する。

【0091】

ステップ１２２において、姿勢検出部３４は、第１のワーク８１の姿勢を検出する。本実施の形態においては、１つのカメラにて撮像される画像に関する特徴部位のベース画像が予め作成されている。また、第１のワーク８１の姿勢が微小の角度ごとに変化した時の複数のベース画像が予め生成されている。それぞれのベース画像は、ベース画像に対応する第１のワーク８１の姿勢と共に記憶部４２に記憶されている。すなわち、第１のワーク８１の姿勢がベース画像に関連付けられて記憶されている。

【0092】

姿勢検出部３４は、第１のカメラ２５にて撮像した画像を取得する。姿勢検出部３４は、テンプレートマッチングの方法により、カメラ２５にて撮像した画像における突出部８３の側面８３ｂの画像に最も一致するベース画像を選定する。ベース画像には、第１のワーク８１の姿勢が関連付けられて記憶されているために、姿勢検出部３４は、第１のワーク８１の姿勢を検出することができる。このような第１のワーク８１の姿勢は、基準座標系５１の座標値にて検出することができる。

【0093】

また、第２のカメラ２６にて撮像される画像に関しても、第１のワーク８１の姿勢を変化させた時の突出部８２の上面８２ｂを含む複数のベース画像を予め作成することができる。姿勢検出部３４は、第１のカメラ２５にて撮像された画像の処理と同様の処理により、第１のワーク８１の姿勢を検出することができる。

【0094】

姿勢検出部３４は、カメラ２５にて撮像される画像から取得される姿勢と、カメラ２６にて撮像される画像から取得される姿勢とに基づいて、最終的な第１のワーク８１の姿勢を検出する。それぞれのカメラ２５，２６の画像から検出される第１のワーク８１の姿勢は、例えば、基準座標系５１におけるＷ軸の座標値、Ｐ軸の座標値、Ｒ軸の座標値にて表すことができる。姿勢検出部３４は、それぞれの座標軸について、カメラ２５の画像から算出される座標値とカメラ２６の画像から検出される座標値とに係数を乗じた後に、加算することができる。または、Ｗ軸、Ｐ軸、およびＲ軸のそれぞれの座標軸について、いずれか一方のカメラの画像から取得された座標値を採用しても構わない。

【0095】

本実施の形態の姿勢検出制御においては、複数のカメラ２５，２６の画像に基づいて第１のワーク８１の姿勢を検出している。このために、１個のカメラの画像に基づいてワークの姿勢を検出する制御よりも正確にワークの姿勢を検出することができる。

【0096】

次に、ステップ１２３においては、ロボット１の姿勢を修正する姿勢修正制御を実施する。指令生成部３５は、カメラ２５，２６の画像から算出された第１のワーク８１の姿勢に基づいて、ロボット１の姿勢を修正する。姿勢修正制御では、第１のワーク８１に対する第２のワーク９１の姿勢が予め定められた姿勢になるように、ロボット１の姿勢を修正する。指令生成部３５は、穴部８２ａと穴部８３ａとが並ぶ方向に対して、ピン９２ａとピン９３ａとが並ぶ方向とが互いに平行になるように、ロボット１の姿勢を修正する移動指令を生成する。接近制御においてはロボット１の姿勢は予め定められているために、第２のワーク９１の姿勢は予め定められている。指令生成部３５は、第１のワーク８１の姿勢に基づいて、ロボット１の姿勢を修正する移動指令を生成する。動作制御部４３は、指令生成部３５の移動指令に基づいてロボットの姿勢を修正する。

【0097】

姿勢修正制御を実施することにより、第１のワーク８１が所望の姿勢に対して傾いている場合においても、第１のワーク８１に対する第２のワーク９１の姿勢を修正することができる。本実施の形態の姿勢修正制御は、接近制御の後に実施することができる。また、姿勢修正制御は、位置調整制御の前に実施することができる。

【0098】

姿勢検出制御および姿勢修正制御は、複数のカメラ２５，２６のうち、１個のカメラにて撮像される画像に基づいて実施しても構わない。または、第１のワーク８１が所望の向きになるように調整されている場合には、姿勢修正制御は実施しなくても構わない。更に、姿勢修正制御を実施しない場合には、位置調整制御を実施する前に、第１のワークに対する第２のワークの姿勢が予め定められた許容範囲内であるか否かを姿勢検出制御にて検出された姿勢のずれ量に基づいて判定しても構わない。第１のワークに対する第２のワークの姿勢が予め定められた許容範囲を逸脱する場合に、演算処理部３１は、異常であると判断して、ロボット装置５を停止しても構わない。更に、第１のワーク８１が所望の向きになるように調整されていて、第１のワーク８１に対する第２のワーク９１の姿勢が予め定められた許容範囲内であるか否かを判定しない場合には、姿勢検出制御および姿勢修正制御は実施しなくても構わない。

【0099】

次に、ステップ１２４およびステップ１２５において、ロボット装置５の制御装置は、第２のワーク９１を把持したときの把持のずれを修正するずれ修正制御を実施する。ステップ１２４において、指令生成部３５は、図４のステップ１１３およびステップ１１４におけるずれ検出制御にて検出したずれ量を、記憶部４２から取得する。

【0100】

ステップ１２５において、指令生成部３５は、把持のずれ量に基づいて、把持のずれ量を打ち消すようにロボット１の位置を修正する移動指令を生成する。指令生成部３５は、ハンド２に対して第２のワーク９１がずれている方向と反対側にハンド２を移動する移動指令を生成する。図１２に示す例においては、指令生成部３５は、矢印１０２に示すように、ハンド２を上側に移動する移動指令を生成する。ロボット１の移動量は、ずれ量に対応して算出することができる。動作制御部４３は、指令生成部３５の移動指令に基づいてロボット１の位置を修正する。

【0101】

ずれ修正制御を実施することにより、ハンド２にて第２のワーク９１を把持する時に生じるずれを修正することができる。ずれ修正制御は、接近制御の後に実施することができる。また、ずれ修正制御は、位置調整制御の前に実施することができる。

【0102】

なお、ハンドが第２のワークを把持した時に、第２のワークがハンドの予め定められた位置に把持される場合には、ずれ検出制御およびずれ修正制御は実施しなくても構わない。更に、ずれ検出制御およびずれ修正制御を実施しない場合には、位置調整制御を実施する前に、第１のワークに対する第２のワークの位置が予め定められた許容範囲内であるか否かを判定しても構わない。第１のワークに対する第２のワークの位置が予め定められた許容範囲を逸脱する場合に、演算処理部３１は、異常であると判断して、ロボット装置５を停止しても構わない。

【0103】

次に、ステップ１２６からステップ１２８において、第１のワーク８１の位置に対して第２のワーク９１の位置を調整する位置調整制御を実施する。位置調整制御は、第２のワーク９１が第１のワーク８１に近づいた後に実施する。位置調整制御では、第１のカメラ２５にて撮像された画像および第２のカメラ２６にて撮像された画像に基づいて第１のワーク８１に対する第２のワーク９１の位置を調整する。位置調整制御では、接近制御よりも精度良く第１のワーク８１に対して第２のワーク９１の位置を合わせる。

【0104】

接近制御が終了した後には、第１のワーク８１の突出部８３は、第２のワーク９１の突出部９３に近づいている。また、第２のワーク９１の突出部９２は、第１のワーク８１の突出部８２に近づいている。このため、カメラ２６にて突出部８２と突出部９２とを撮像することができる。

【0105】

カメラ２５にて撮像される画像に関して、位置調整制御のために、第１のワーク８１の第１の特徴部位として、突出部８３の側面８３ｂが予め定められている。また、位置調整制御のために、第２のワーク９１の第２の特徴部位として、突出部９３の側面９３ｂが予め定められている。カメラ２５の撮像範囲２５ａの内部には、側面８３ｂおよび側面９３ｂが配置される。また、カメラ２６にて撮像される画像に関して、位置調整制御のために、第１のワーク８１の第３の特徴部位として、突出部８２の上面８２ｂが予め定められている。また、位置調整制御のために、第２のワーク９１の第４の特徴部位として、突出部９２の上面９２ｂが予め定められている。カメラ２６の撮像範囲２６ａの内部には、上面８２ｂおよび上面９２ｂが配置される。

【0106】

位置調整制御では、それぞれのワーク８１，９１に対して特徴部位が設定されている。本実施の形態の位置調整制御では、１つの画像に含まれる複数の特徴部位に基づいて、ワーク８１に対するワーク９１の位置の調整を行う。

【0107】

ステップ１２６において、第１のカメラ２５は、突出部８３の側面８３ｂおよび突出部９３の側面９３ｂを撮像する。第２のカメラ２６は、突出部８２の上面８２ｂおよび突出部９２の上面９２ｂを撮像する。

【0108】

次に、ステップ１２７において、第１のワーク８１に対して第２のワーク９１の位置を精密に合わせる制御を実施する。図１３に、第１のワークに対して第２のワークの位置を精密に合わせる制御のフローチャートを示す。図１３に示す制御は、図１１のステップ１２７における制御に相当する。

【0109】

図１４に、位置調整制御において第１のカメラにて撮像された画像を示す。図１２から図１４を参照して、ステップ１４１において、特徴量検出部３２は、画像６２において、第１のワーク８１の第１の特徴部位を検出する。ここでは、特徴量検出部３２は、テンプレートマッチングによる方法により、突出部８３の側面８３ｂを検出する。

【0110】

ステップ１４２においては、特徴量検出部３２は、第１の特徴部位の第１の特徴量を検出する。突出部８３の側面８３ｂには、設定点Ｐ１２が設定されている。特徴量検出部３２は、設定点Ｐ１２を検出する。特徴量検出部３２は、第１の特徴量として、スクリーン座標系５３における設定点Ｐ１２の座標値（u12m，v12m）を検出する。

【0111】

ステップ１４３においては、特徴量検出部３２は、画像６２において、第２のワーク９１の第２の特徴部位を検出する。ここでは、特徴量検出部３２は、テンプレートマッチングによる方法により、突出部９３の側面９３ｂを検出する。突出部９３の側面９３ｂには設定点Ｐ２２が設定されている。ステップ１４４において、特徴量検出部３２は、第２の特徴量として、スクリーン座標系５３における設定点Ｐ２２の座標値（u22m，v22m）を検出する。

【0112】

ステップ１４５からステップ１４７において、指令生成部３５は、第１の特徴量および第２の特徴量に基づいて、ロボット１の位置の移動方向および移動量を算出する。指令生成部３５は、ピン９３ａが穴部８３ａの真上に配置されるように、ロボット１の位置の移動方向および移動量を算出する。ステップ１４５においては、指令生成部３５は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。カメラ２５にて撮像した画像６２における相対位置量は、第１の特徴量の座標値と第２の特徴量の座標値との差（u12m-u22m，v12m-v22m）になる。指令生成部３５は、第２の特徴量に対する第１の特徴量の相対位置量を算出する。

【0113】

図１５に、位置調整制御における第１のカメラにて撮像した画像に対応する基準画像を示す。基準画像６６は予め作成することができる。基準画像６６では、穴部８３ａの真上にピン９３ａが配置されている。基準画像６６における第２の特徴量に対する第１の特徴量の相対位置量は予め算出されている。または、指令生成部３５は、基準画像６６に基づいて第２の特徴量に対する第１の特徴量の相対位置量を算出しても構わない。第１の特徴量の座標値と第２の特徴量の座標値との差は、設定点Ｐ１２および設定点Ｐ２２のスクリーン座標系５３の座標値を用いて、（u12b-u22b，v12b-v22b）にて表すことができる。

【0114】

次に、ステップ１４６において、指令生成部３５は、カメラ２５にて撮像した画像６２における相対位置量と基準画像６６における相対位置量との差である相対位置量の差を算出する。本実施の形態では、指令生成部３５は、カメラ２５にて撮像した画像６２における相対位置量から基準画像６６における相対位置量を減算した相対位置量の差を算出する。相対位置量の差は、それぞれのｕ軸およびｖ軸に関する値として［（u12m-u22m）-（u12b-u22b）,（v12m-v22m）-（v12b-v22b）］にて表すことができる。このように、本実施の形態では、ｕ軸に関する相対位置量の差と、ｖ軸に関する相対位置量の差とを算出する。

【0115】

次に、ステップ１４７において、指令生成部３５は、相対位置量の差に基づいて、ロボット１の駆動方法を設定する。指令生成部３５は、基準座標系５１におけるロボット１の位置の移動方向および移動量を設定する。本実施の形態では、相対位置量の差に対するロボットの位置の移動方向が予め定められている。スクリーン座標系５３のｕ軸の正の値または負の値に対してロボット１の位置の移動方向が、基準座標系５１にて定められている。

【0116】

更に、相対位置量の差に対するロボット１の位置の移動量の算出方法が予め定められている。例えば、ｕ軸に対応する方向におけるロボット１の位置の移動量は、ｕ軸に関する値（（u12m-u22m）-（u12b-u22b））に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボット１の位置の移動量は、ｖ軸に関する値（（v12m-v22m）-（v12b-v22b））に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系５３の各軸に対応する方向において、ロボット１の位置の移動量を算出することができる。

【0117】

本実施の形態では、ｕ軸に関する相対位置量の差に基づいて基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。また、ｖ軸に関する相対位置量の差に基づいて、基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。このために、基準座標系５１において、一つの軸に対して２つの移動量（ｕ軸に関する移動量およびｖ軸に関する移動量）が算出される場合がある。この場合には、２つの移動量が算出される軸の方向にはロボット１の位置を移動しなくても構わない。または、それぞれの移動量に係数を乗じて最終的な移動量を算出しても構わない。または、いずれか一方の移動量を採用しても構わない。このように、第１のカメラ２５にて撮像した画像に基づいて、ロボットの位置の移動方向および移動量を算出する。

【0118】

次に、ステップ１４８からステップ１５４においては、第２のカメラ２６にて撮像された画像に対して、第１のカメラ２５にて撮像された画像の処理と同様の処理を実施することができる。

【0119】

図１６に、位置調整制御において、第２のカメラにて撮像された画像を示す。第１のワーク８１の第３の特徴部位としての突出部８２の上面８２ｂには、設定点Ｐ１３が設定されている。第２のワーク９１の第４の特徴部位としての突出部９２の上面９２ｂには、設定点Ｐ２３が設定されている。

【0120】

ステップ１４８において、特徴量検出部３２は、第１のワーク８１の第３の特徴部位である突出部８２の上面８２ｂを検出する。ステップ１４９において、特徴量検出部３２は、第３の特徴部位に関する第３の特徴量として、スクリーン座標系５３における設定点Ｐ１３の座標値を検出する。ステップ１５０において、特徴量検出部３２は、第２のワーク９１の第４の特徴部位である突出部９２の上面９２ｂを検出する。ステップ１５１において、特徴量検出部３２は、第４の特徴部位に関する第４の特徴量として、スクリーン座標系５３における設定点Ｐ２３の座標値を検出する。

【0121】

図１７に、位置調整制御における第２のカメラにて撮像した画像に対応する基準画像を示す。基準画像６７では、穴部８２ａの真上にピン９２ａが配置されている。ステップ１５２からステップ１５４において、指令生成部３５は、第３の特徴量と第４の特徴量とに基づいて、ロボット１の位置の移動方向および移動量を算出する。

【0122】

ステップ１５２において、指令生成部３５は、第４の特徴量に対する第３の特徴量の相対位置量を算出する。ステップ１５３において、指令生成部３５は、基準画像６７と第２のカメラ２６にて撮像した画像とに関する相対位置量の差を算出する。ステップ１５４においては、相対位置量の差に基づいてロボットの位置の移動方向および移動量を算出する。

【0123】

次に、ステップ１５５において、指令生成部３５は、第１のカメラ２５の画像６２に基づくロボット１の位置の移動方向および移動量と、第２のカメラ２６の画像６３に基づくロボット１の位置の移動方向および移動量に基づいて、最終的なロボット１の位置の移動方向および移動量を設定する。ロボット１の位置の移動方向および移動量は、基準座標系５１にて算出することができる。

【0124】

第１のカメラ２５にて撮像された画像６２に関しては、主に基準座標系５１におけるＹ軸方向およびＺ軸方向の位置の調整を行うことができる。第２のカメラ２６にて撮像された画像６３に関しては、主に基準座標系５１におけるＸ軸方向およびＹ軸方向の位置の調整を行うことができる。このために、ロボット１の位置のＺ軸方向の移動については、第１のカメラ２５にて撮像された画像６２から取得された移動量を採用することができる。ロボット１の位置のＸ軸方向の移動については、第２のカメラ２６にて撮像された画像６３から取得された移動量を採用することができる。ロボット１の位置のＹ軸方向の移動については、第１のカメラ２５の画像に基づく移動量および第２のカメラ２６の画像に基づく移動量に係数を乗じて加算することができる。例えば、カメラ２５の画像から取得される移動量と、カメラ２６の画像から取得される移動量とを平均しても構わない。このように、最終的なロボットの駆動方法を設定することができる。

【0125】

次に、ステップ１５６において、指令生成部３５は、最終的なロボットの移動方向および移動量に基づいて第２の移動指令を生成することができる。動作制御部４３は、第２の移動指令に基づいてロボットの位置および姿勢を変更することができる。

【0126】

上記の位置調整制御では、第１のカメラにて撮像された画像および第２のカメラにて撮像された画像に基づいて位置を合わせる制御を実施しているが、この形態に限られない。複数のカメラの画像を用いずに、１つのカメラの画像に基づいて精密に位置を合わせる制御を実施しても構わない。例えば、第１のカメラの画像から算出された相対位置量の差に基づいてロボットを駆動しても構わない。

【0127】

また、上記の位置調整制御においては、それぞれのカメラにて撮像された画像において、基準画像との相対位置量の差に基づいてロボットの移動量を算出しているが、この形態に限られない。第１のカメラの画像および第２のカメラの画像に基づいて、任意の制御を実施することができる。例えば、予め較正する方法により、それぞれのカメラにて撮像した画像における特徴部位の位置を検出することができる。そして、第１のワークの特徴部位に対して、第２のワークの特徴部位が所望の位置に配置されるように、ロボットの移動方向および移動量を算出しても構わない。

【0128】

図１１を参照して、次に、ステップ１２８において、第１のワーク８１の位置に対する第２のワーク９１の位置が判定範囲内であるか否かを判定する。この制御は、任意の制御にて判定を行うことができる。例えば、カメラ２５にて第１の特徴部位と第２の特徴部位とを撮像する。特徴量検出部３２は、第１の特徴量と第２の特徴量とを検出する。次に、演算処理部３１は、第１の特徴量と第２の特徴量との差である相対位置量を算出する。相対位置量は、スクリーン座標系５３の座標軸ごとに算出することができる。演算処理部３１は、相対位置量が、予め定められた判定値範囲内であるか否かを判定する。同様に、カメラ２６にて第３の特徴部位と第４の特徴部位とを撮像して第３の特徴量および第４の特徴量を検出する。そして、演算処理部３１は、第３の特徴量と第４の特徴量との差である相対位置量が予め定められた判定範囲内であるか否かを判定する。

【0129】

カメラ２５の画像における相対位置量およびカメラ２６の画像における相対位置量が判定範囲内である場合に、第１のワーク８１の位置に対する第２のワーク９１の位置が判定範囲内であると判定することができる。

【0130】

ステップ１２８において、第１のワークの位置に対する第２のワークの位置が判定範囲を逸脱する場合には、制御はステップ１２６に戻る。ステップ１２６からステップ１２８の制御を繰り返すことにより、第１のワーク８１に対して第２のワーク９１の精密な位置合わせを実施することができる。または、本実施の形態の位置調整制御では、それぞれのカメラの画像に基づいて相対位置量の差を算出している。演算処理部は、ステップ１２７の精密に位置を合わせる制御（図１３を参照）を実施している時に、相対位置量の差が予め定められた判定値範囲内であるか否かを判定しても構わない。相対位置量の差が予め定められた判定値範囲を逸脱する時にロボットを駆動しても構わない。

【0131】

図１８に、位置調整制御が終了したときの第１のワーク、第２のワークおよびハンドの拡大斜視図を示す。位置調整制御を実施することにより、穴部８２ａの真上にピン９２ａを配置することができる。また、穴部８３ａの真上にピン９３ａを配置することができる。

【0132】

図１１を参照して、ステップ１２８において、第１のワーク８１の位置に対する第２のワーク９１の位置が判定範囲内である場合に、制御はステップ１２９に移行する。ステップ１２９においては、第２のワーク９１を第１のワーク８１に取り付ける取付け制御を実施する。

【0133】

図１８を参照して、取付け制御では、第１のワーク８１に対して、矢印１０５に示すように、第２のワーク９１を下降する制御を実施する。指令生成部３５は、ロボット１の位置を鉛直方向の下側に移動する移動指令を動作制御部４３に送信する。動作制御部は、第２のワーク９１を下降するようにロボット１を駆動する。

【0134】

なお、取付け制御においては、ロボットまたはハンドに加わる力またはモーメントを検出して、ピン９２ａ，９３ａの挿入を行っても構わない。例えば、ロボット１のフランジ１６とハンド２との間に力覚センサを配置することができる。力覚センサにて、ハンドに加わる力およびモーメントを検出することができる。そして、ハンドに加わる力およびモーメントが小さくなるように、ロボット１の位置および姿勢を調整する制御を実施しても構わない。

【0135】

図１９に、取付け制御が終了したときの第１のワーク、第２のワーク、およびハンドの拡大斜視図を示す。図１８および図１９を参照して、第１のワーク８１の穴部８２ａ，８３ａに、第２のワーク９１のピン９２ａ，９３ａが挿入されている。このように、第１のワーク８１に対して第２のワーク９１を取り付ける制御を実施することができる。

【0136】

本実施の形態の接近制御では、第１の視覚センサにて撮像された画像に基づいて、粗く第２の部材の位置の調整を実施している。更に、位置調整制御では、第１の視覚センサにて撮像された画像および第２の視覚センサにて撮像された画像に基づいて、精密に第２の部材の位置の調整を実施している。このために、短時間で第２の部材の位置の調整を行うことができる。更に、正確に第２の部材の位置の調整を行うことができる。

【0137】

また、本実施の形態の第１の視覚センサおよび第２の視覚センサは２次元カメラである。このために、３次元カメラを採用した場合と比較して簡易な構成にてワークの位置を調整することができる。なお、２次元カメラは、ピントを自動的に調整できない場合がある。この場合には、位置調整制御において２次元カメラのピントが合うように調整することが好ましい。

【0138】

本実施の形態では、コンベヤ７５が第１のワーク８１を搬送している。第１のワーク８１がコンベヤ７５にて搬送されている期間中に、接近制御または位置調整制御を繰り返して実施することにより、第１のワーク８１に対して第２のワーク９１を追従させながら、第１のワーク８１に対して第２のワーク９１の位置を調整することができる。

【0139】

更に、本実施の形態においては、コンベヤ７５による第１のワーク８１の移動方向および移動速度が予め定められている。ロボット制御装置４は、コンベヤ７５によるワーク８１の移動に合わせてロボット１の位置を変更するフィードフォワード制御を実施することができる。本実施の形態では、一定の移動速度にてワーク８１が移動する。なお、搬送機による第１のワークの移動方向および移動速度が予め定められていない場合がある。この場合に、指令生成部は、例えば、直近の第１のワークの移動方向および移動速度から将来の移動方向および移動速度を推定したり、予め学習した移動方向および移動速度の変化のパターンに基づいて将来の移動方向および移動速度を推定したりすることができる。

【0140】

指令生成部３５は、コンベヤ７５によるワーク８１の移動方向および移動速度に基づいて、ロボット１の位置の移動方向および移動量を算出する。指令生成部３５は、コンベヤ７５にて移動する第１のワーク８１の位置に対して、ロボット１の位置が追従するロボット１の位置の移動方向および移動速度を算出する。例えば、指令生成部３５は、ロボット１のツール先端点がワーク８１の移動方向に移動するように移動方向を算出する。指令生成部３５は、ロボット１のツール先端点がワーク８１の移動方向と同じ方向に、ワーク８１と同一の移動速度にて移動する移動量を算出する。指令生成部３５は、コンベヤ７５の搬送に基づくロボット１の位置の移動方向および移動量の制御に加えて、前述のロボット１の位置および姿勢を変更する制御を実施することができる。例えば、前述の接近制御、姿勢検出制御、姿勢修正制御、ずれ修正制御、位置調整制御、および取付け制御を行っている期間中に、フィードフォワード制御を実施することができる。

【0141】

この制御を行うことにより、コンベヤ７５による第１のワーク８１の移動に関するロボット１の位置および姿勢の変更は、フィードフォワード制御にて実施することができる。接近制御等では、第１のワーク８１に対する第２のワーク９１の相対的な位置および姿勢のずれを修正すれば良いために、第１のワーク８１に対する第２のワーク９１の位置および姿勢の修正を精度よく行うことができる。

【0142】

上記の実施の形態においては、位置を合わせる対象となる第１の部材がコンベヤにて搬送されている。すなわち、搬送機にて移動する第１の部材に追従するように、第２の部材の位置合わせを実施しているが、この形態に限られない。第１の部材は、静止していても構わない。例えば、作業台に固定されている第１のワークに対して、第２のワークの位置を合わせる時に、本実施の形態の制御を適用することができる。

【0143】

第１の部材が静止している場合には、前述のフィードフォワード制御は実施する必要はない。また、接近制御を終了する時期としては、第１の部材に対して第２の部材を接近させる時のロボットの移動量の判定値を予め設定することができる。ロボットの移動量が判定値を超えた時に接近制御を終了することができる。または、第１の部材に対して第２の部材が予め定められた距離にて接近したか否かを判定し、第１の部材に対して第２の部材が接近したときに接近制御を終了しても構わない。

【0144】

上記の実施の形態においては、第１の視覚センサとしてのカメラ２５および第２の視覚センサとしてのカメラ２６がハンド２に支持されているが、この形態に限られない。第１の視覚センサは、ロボットに支持されていても構わない。また、第２の視覚センサは、ロボットに支持されていても構わない。例えば、第１の視覚センサおよび第２の視覚センサは、ロボットのフランジに支持されて、ハンドと共に位置および姿勢が変化するように形成されていても構わない。

【0145】

本実施の形態の把持のずれを検出する補助センサは、２次元カメラであるが、この形態に限られない。第２のワーク９１の把持のずれ量は、任意の方法にて検出することができる。例えば、補助センサは、３次元カメラであっても構わない。３次元カメラを採用することにより、ハンドの位置および第２のワークの位置を検出することができる。そして、ハンドの位置および第２のワークの位置に基づいて、第２のワークの把持のずれ量を検出することができる。

【0146】

上記の実施の形態では、製品を組み立てる作業を行うロボット装置を例に取り上げているが、この形態に限られない。部材の搬送を行う任意のロボット装置に本実施の形態の制御装置を適用することができる。また、本実施の形態の第１の部材は、ワークであるが、この形態に限られない。第１の部材は、ロボット装置が作業を行う任意の部材を採用することができる。例えば、ロボット装置は、ハンドにて把持したワークをケースの予め定められた位置に収容する作業を実施しても構わない。この場合に、第１の部材は、ワークを収容するケースに相当する。また、本実施の形態の第２の部材は、ワークであるが、この形態に限られない。第２の部材は、任意の部材を採用することができる。例えば、第２の部材は、第１の部材に対して作業を行う装置などであっても構わない。

【0147】

上記の実施の形態は、適宜組み合わせることができる。また、上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

【0148】

上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

【符号の説明】

【0149】

１ ロボット
２ ハンド
４ ロボット制御装置
５ ロボット装置
２５，２６ カメラ
２７ 固定カメラ
３１ 演算処理部
３２ 特徴量検出部
３３ ずれ検出部
３４ 姿勢検出部
３５ 指令生成部
４３ 動作制御部
６１，６２，６３ 画像
７５ コンベヤ
７６ コンベヤ制御装置
８１ ワーク
８２，８３ 突出部
８２ｂ 上面
８３ｂ 側面
９１ ワーク
９２，９３ 突出部
９２ｂ 上面
９３ｂ 側面
９４ 把持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2023-07-10

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本発明は、制御装置、ロボット装置、制御方法、およびプログラムに関する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

本開示の第１の態様は、ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御装置である。制御装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備える。少なくとも１つのプロセッサは、画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得し、第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力する。少なくとも１つのプロセッサは、第２の部材が第１の部材に近づいた後に、撮像装置にて第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得し、第１の特徴部位の画像および第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力する。
本開示の第２の態様は、上述の制御装置と、ロボットと、第１の部材を搬送する搬送機とを備えるロボット装置である。
本開示の第３の態様は、ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御方法である。制御方法は、画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得するステップと、第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力するステップとを含む。制御方法は、第２の部材が第１の部材に近づいた後に、撮像装置にて第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得するステップと、第１の特徴部位の画像および第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力するステップとを含む。
本開示の第４の態様は、ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整するロボットを制御するプログラムである。プログラムは、コンピュータの少なくとも一つのプロセッサに、画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得するステップと、第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力するステップとを実行させる。プログラムは、コンピュータの少なくとも一つのプロセッサに、第２の部材が第１の部材に近づいた後に、撮像装置にて第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得するステップと、第１の特徴部位の画像および第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力するステップとを実行させる。
本開示の第５の態様は、ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御装置である。制御装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備える。少なくとも１つのプロセッサは、画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得し、
第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力する。少なくとも１つのプロセッサは、第２の部材が第１の部材に近づいた後に、撮像装置にて第１の特徴部位および第２の部材の第２の特徴部位を含む画像を取得し、第１の特徴部位および第２の特徴部位を含む画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

本開示の態様によれば、ロボットが部材を搬送した後に、正確な位置合わせを行うロボット装置の制御装置、ロボット装置、制御方法、およびプログラムを提供することができる。

【手続補正5】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御装置であって、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得し、
前記第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力し、
第２の部材が第１の部材に近づいた後に、前記撮像装置にて前記第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得し、
前記第１の特徴部位の画像および前記第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力する、制御装置。

【請求項2】

前記少なくとも１つのプロセッサは、
第２の部材が第１の部材に近づいた後に、前記撮像装置にて前記第１の特徴部位および第２の部材の第２の特徴部位が含まれる画像と、前記第３の特徴部位および第２の部材の第４の特徴部位が含まれる画像とを取得し、
前記第１の特徴部位および前記第２の特徴部位が含まれる画像と、前記第３の特徴部位および前記第４の特徴部位が含まれる画像とに基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力する、請求項１に記載の制御装置。

【請求項3】

前記少なくとも１つのメモリは、第１の部材に対して第２の部材の目標位置を表す少なくとも１つの基準画像を記憶し、
前記少なくとも１つのプロセッサは、前記少なくとも１つの基準画像に基づいて、前記第１の移動指令を生成する、請求項１または２に記載の制御装置。

【請求項4】

前記少なくとも１つのメモリは、ロボットの動作プログラムを記憶し、
前記少なくとも１つのプロセッサは、前記動作プログラムに基づいて、前記第１の移動指令を生成する、請求項１から３のいずれか一項に記載の制御装置。

【請求項5】

前記撮像装置は、第１の視覚センサと前記第１の視覚センサとは異なる位置に配置された第２の視覚センサとを含み、
前記少なくとも１つのプロセッサは、
前記第１の視覚センサにより撮像された前記第１の特徴部位の画像に基づいて、前記第１の移動指令を生成し、
前記第１の視覚センサにより撮像された前記第１の特徴部位の画像および前記第２の視覚センサにより撮像された前記第３の特徴部位の画像に基づいて、前記第２の移動指令を生成する、請求項１から４のいずれか一項に記載の制御装置。

【請求項6】

前記少なくとも１つのプロセッサは、ロボットに取り付けられた補助センサにて撮像された第２の部材に含まれる特徴部位の画像を取得し、
第２の部材に含まれる特徴部位の画像に基づいて、ロボットが把持する時の第２の部材のずれ量を検出し、
第２の部材のずれ量を打ち消すようにロボットを動作させる指令を出力する、請求項１から５のいずれか一項に記載の制御装置。

【請求項7】

前記少なくとも１つのプロセッサは、前記撮像装置にて撮像された第１の部材に含まれる特徴部位の画像に基づいて、第１の部材の姿勢のずれ量を検出する、請求項１から６のいずれか一項に記載の制御装置。

【請求項8】

前記少なくとも１つのプロセッサは、第１の部材の姿勢のずれ量に基づいて、第１の部材に対する第２の部材の姿勢が予め定められた姿勢になるように、ロボットの姿勢を修正する指令を出力する、請求項７に記載の制御装置。

【請求項9】

前記少なくとも１つのプロセッサは、
前記第２の移動指令にてロボットを駆動することにより、第１の部材に対する第２の部材の相対位置が予め定められた判定範囲以内であることを検出し、
第１の部材に対する第２の部材の相対位置が予め定められた判定範囲以内であることを検出した場合に、第２の部材を第１の部材に取り付ける指令を出力する、請求項１から８のいずれか一項に記載の制御装置。

【請求項10】

第１の部材は、搬送装置にて移動するように形成されており、
前記少なくとも１つのプロセッサは、
第１の部材の移動方向および速度に関する情報を取得し、
第１の部材の移動方向および速度に関する情報に基づいて、第１の部材の位置に対してロボットの位置が追従するロボットの位置の移動方向および移動量を算出し、ロボットの位置が追従するロボットの位置の移動方向および移動量に基づいて、前記第１の移動指令によりロボットを移動させる制御または前記第２の移動指令によりロボットを移動させる制御を実施する、請求項１から９のいずれか一項に記載の制御装置。

【請求項11】

基準画像は、撮像装置により撮像された画像および３次元データにより生成された画像のいずれか一方を含む、請求項３に記載の制御装置。

【請求項12】

前記第１の移動指令を出力する制御に使用される基準画像は、前記第１の移動指令により第２の部材が第１の部材に近づいた時の画像である、請求項３に記載の制御装置。

【請求項13】

前記第２の移動指令を出力する制御に使用される基準画像は、前記第２の移動指令により第１の部材の位置に対して第２の部材の位置を合わせた時の画像である、請求項３に記載の制御装置。

【請求項14】

請求項１から１３のいずれか一項に記載の制御装置と、
ロボットと、
第１の部材を搬送する搬送機と、を備える、ロボット装置。

【請求項15】

ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御方法であって、
画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得するステップと、
前記第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力するステップと、
第２の部材が第１の部材に近づいた後に、撮像装置にて前記第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得するステップと、
前記第１の特徴部位の画像および前記第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力するステップと、を含む、制御方法。

【請求項16】

ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整するロボットを制御するプログラムであって、
コンピュータの少なくとも一つのプロセッサに、
画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得するステップと、
前記第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力するステップと、
第２の部材が第１の部材に近づいた後に、撮像装置にて前記第１の特徴部位を撮像した画像および第１の部材の第３の特徴部位を撮像した画像を取得するステップと、
前記第１の特徴部位の画像および前記第３の特徴部位の画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力するステップと、を実行させるためのプログラム。

【請求項17】

ロボットが第２の部材を移動することにより、第１の部材に対する第２の部材の相対的な位置を調整する制御装置であって、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
画像を撮像する撮像装置にて第１の部材の第１の特徴部位を撮像した画像を取得し、
前記第１の特徴部位の画像に基づいて、第２の部材を第１の部材に近づけるための第１の移動指令を出力し、
第２の部材が第１の部材に近づいた後に、前記撮像装置にて前記第１の特徴部位および第２の部材の第２の特徴部位を含む画像を取得し、
前記第１の特徴部位および前記第２の特徴部位を含む画像に基づいて、第１の部材の位置に対して第２の部材の位置を合わせるための第２の移動指令を出力する、制御装置。