特許 7414850 ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】ロボットシステム

(51)【国際特許分類】

   B25J 19/04 20060101AFI20240109BHJP

   B25J 13/08 20060101ALI20240109BHJP

【ＦＩ】

B25J19/04

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2021571171

(86)(22)【出願日】2021-01-08

(86)【国際出願番号】 JP2021000486

(87)【国際公開番号】W WO2021145280

(87)【国際公開日】2021-07-22

【審査請求日】2022-08-19

(31)【優先権主張番号】P 2020003862

(32)【優先日】2020-01-14

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】並木 勇太

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２００５－２５１０８６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６３４５０（ＷＯ，Ａ１）

【文献】特開２０１２－０３７３９１（ＪＰ，Ａ）

【文献】特開２０１４－１２８８４５（ＪＰ，Ａ）

【文献】特開２０１８－１１３６１０（ＪＰ，Ａ）

【文献】特開２００６－２５０７２２（ＪＰ，Ａ）

【文献】特開２０２０－０７５３２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像と、前記ロボットを前記所定の位置から前記所定の距離移動した位置において前記対象物を撮像した前記第２の画像とのそれぞれにおいて前記対象物を検出し、２つの視点における画像座標系の前記対象物の位置を求め、前記画像座標系における前記対象物の位置から２つの視線を算出し、前記２つの視線の交点又は２つの視線間の距離が最も近い点に基づいて前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。

【請求項2】

前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定する推定部を更に備える請求項１に記載のロボットシステム。

【請求項3】

前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記視覚センサは、複数の位置において前記対象物の複数の画像を撮像し、
前記推定部は、前記複数の画像及び前記複数の位置に基づいて、前記ロボットの動作補正の前記異常原因を推定する、請求項２に記載のロボットシステム。

【請求項4】

前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記ロボットの動作補正に異常があることを報知する報知部を更に備える請求項２に記載のロボットシステム。

【請求項5】

前記報知部は、前記推定部により推定された前記異常原因を報知する、請求項４に記載のロボットシステム。

【請求項6】

前記視覚センサは、前記対象物の前記第２の画像を複数撮像し、
前記第２の取得部は、基準位置である前記第１の位置において前記対象物を撮像した前記第１の画像と、前記ロボットを前記所定の位置から前記所定の距離移動した位置において前記対象物を撮像した複数の前記第２の画像とのそれぞれにおいて前記対象物を検出し、２以上の視点における画像座標系の前記対象物の位置を求め、前記画像座標系における前記対象物の位置から２以上の視線を算出し、前記２以上の視線の交点又は最小二乗法を用いて前記２以上の視線間の距離が最も短くなる位置を前記対象物のロボット座標系における前記第２の位置として取得し、複数撮像される前記第２の画像を撮像する前記第２の位置は、それぞれ異なる、請求項１から５のいずれか一項に記載のロボットシステム。

【請求項7】

前記推定部により推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更する設定変更部を更に備える請求項２又は３に記載のロボットシステム。

【請求項8】

ロボットの動作補正を設定するステップと、
前記ロボットの第１の位置において対象物の第１の画像を撮像するステップと、
前記ロボットを前記第１の位置から所定の距離移動した第２の位置において前記対象物の第２の画像を撮像するステップと、
前記第１の画像及びキャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得するステップと、
前記第１の位置において前記対象物を撮像した前記第１の画像と、前記ロボットを前記第１の位置から前記所定の距離移動した前記第２の位置において前記対象物を撮像した前記第２の画像とのそれぞれにおいて前記対象物を検出し、２つの視点における画像座標系の前記対象物の位置を求め、前記画像座標系における前記対象物の位置から２つの視線を算出し、前記２つの視線の交点又は２つの視線間の距離が最も近い点に基づいて前記対象物のロボット座標系における第２の位置を取得するステップと、
前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定するステップと、
前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定するステップと、
推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更するステップと、
を備えるロボット制御方法。

【請求項9】

ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像と、前記ロボットを前記所定の位置から前記所定の距離移動した位置において前記対象物を撮像した前記第２の画像とのそれぞれにおいて前記対象物を検出し、２つの視点における画像座標系の前記対象物の位置を求め、前記画像座標系における前記対象物の位置から２つの視線を算出し、前記２つの視線の交点又は２つの視線間の距離が最も近い点に基づいて前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置と前記第２の位置とに基づいて、前記第１の位置と前記第２の位置との関係が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。

【請求項10】

ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した複数の位置において前記対象物の複数の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記対象物の第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像と、前記ロボットを前記所定の位置から前記所定の距離移動した前記複数の位置において前記対象物を撮像した前記複数の画像とのそれぞれにおいて前記対象物を検出し、前記所定の位置と前記所定の位置から前記所定の距離移動した位置との少なくとも２以上の視点における画像座標系の前記対象物の位置を求め、前記画像座標系における前記対象物の位置から２以上の視線を算出し、前記２以上の視線からの距離が最も近い点に基づいて前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置及び前記第２の位置に基づいて、前記第１の位置及び前記第２の位置の関係が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステムに関する。

【背景技術】

【0002】

従来より、ロボットシステムは、撮像装置等の視覚センサを有し、視覚センサによって対象物の位置を認識し、対象物のハンドリング及び加工等の作業を行っている。視覚センサは、ロボットのハンド付近に設けられた撮像装置や、ロボットの周辺に設けられた撮像装置により対象物を撮像する。

【0003】

このようなロボットシステムは、撮像した画像から対象物を検出し、検出した対象物の位置に対してロボットが作業するようにロボットの動作を制御する。

【0004】

ロボットシステムは、撮像装置のキャリブレーションデータを用いて、検出した対象物の位置（画像座標系の位置、又は視覚センサから見たセンサ座標系の位置）を、ロボットから見たワークの位置（ロボット座標系の位置）に変換する（例えば、特許文献１参照）。これにより、ロボットシステムは、検出した対象物の位置に対してロボットが作業を行うように、ロボットの動作を補正することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平４－３５８８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このようなロボットシステムにおいて、視覚センサを用いたロボットの動作補正は、様々な設定の誤りによって正しく行われない場合がある。このような場合、ロボットが意図されない動作をするため、ロボットの動作補正を適切に行うことが求められている。

【課題を解決するための手段】

【0007】

本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、を備える。

【0008】

本開示に係るロボットシステムは、ロボットを所定の距離移動した複数の位置において、対象物の複数の画像をそれぞれ撮像する視覚センサと、前記ロボットの動作制御の基準となるロボット座標系と、前記視覚センサによる計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記複数の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、を備える。

【0009】

本開示に係るロボット制御方法は、ロボットの動作補正を設定するステップと、前記ロボットの第１の位置において対象物の第１の画像を撮像するステップと、前記ロボットを前記第１の位置から所定の距離移動した第２の位置において前記対象物の第２の画像を撮像するステップと、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得するステップと、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得するステップと、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定するステップと、前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定するステップと、推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更するステップと、を備える。

【0010】

本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置とに基づいて、前記第１の位置と前記第２の位置との関係が所定の範囲内であるか否かを判定する判定部と、を備える。

【0011】

本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から移動した複数の位置において前記対象物の複数の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記対象物の第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置及び前記複数の位置に基づいて、前記第１の位置及び前記複数の位置の関係が所定の範囲内であるか否かを判定する判定部と、を備える。

【発明の効果】

【0012】

本発明によれば、ロボットの動作補正を適切に行うことができる。

【図面の簡単な説明】

【0013】

【図1】ロボットシステムの構成を示す図である。

【図2】視覚センサ制御装置及びロボット制御装置の構成を示す図である。

【図3】視覚センサの移動を示す図である。

【図4】第２の位置Ｐｓについて示す図である。

【図5】第１の位置Ｐｗと第２の位置Ｐｓとの関係を示す図である。

【図6】視覚センサの移動を示す図である。

【図7】キャリブレーション用のキャリブレーション治具を示す図である。

【図8】キャリブレーション治具を用いたキャリブレーションを示す図である。

【図9】視覚センサ制御装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態の一例について説明する。
図１は、ロボットシステム１の構成を示す図である。
図１に示すように、ロボットシステム１は、ロボット２と、アーム３と、視覚センサ４と、視覚センサ制御装置５と、ロボット制御装置６と、を備える。
ロボットシステム１は、例えば、視覚センサ４で撮像された対象物Ｗの画像に基づいて、対象物Ｗの位置を認識し、対象物Ｗのハンドリング又は加工等の作業を行う。

【0015】

ロボット２のアーム３の先端部には、ハンド又はツールが取り付けられている。ロボット２は、ロボット制御装置６の制御により、対象物Ｗのハンドリング又は加工等の作業を行う。また、ロボット２のアーム３の先端部には、視覚センサ４が取り付けられている。

【0016】

視覚センサ４は、視覚センサ制御装置５の制御により、対象物Ｗを撮像する。視覚センサ４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで構成される撮像素子と、レンズを含む光学系とを有する二次元カメラが用いられてもよく、三次元計測ができるステレオカメラ等が用いられてもよい。

【0017】

ロボット制御装置６は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置６は、視覚センサ制御装置５によって検出された対象物Ｗの位置に対してロボット２が所定の作業を行うように、ロボット２の動作を補正する。

【0018】

図２は、視覚センサ制御装置５及びロボット制御装置６の構成を示す図である。視覚センサ制御装置５は、記憶部５１と、制御部５２と、を備える。
記憶部５１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

【0019】

記憶部５１は、モデルパターン記憶部５１１と、キャリブレーションデータ記憶部５１２と、を備える。
モデルパターン記憶部５１１は、対象物Ｗの像をモデル化したモデルパターン、例えば対象物Ｗの像の特徴を表すモデルパターンを記憶する。

【0020】

キャリブレーションデータ記憶部５１２は、ロボット２の動作制御の基準となるロボット座標系と、視覚センサ４による計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶する。キャリブレーションデータの形式及びそれを求める方法は、種々の方式が提案されており、いずれの方式を用いてもよい。

【0021】

制御部５２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、記憶部５１に記憶されたプログラムを実行することによって第１の取得部５２１、第２の取得部５２２、判定部５２３、推定部５２４、キャリブレーション部５２５及び報知部５２６として機能する。

【0022】

第１の取得部５２１は、視覚センサ４によって撮像された対象物Ｗの第１の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する。

【0023】

第２の取得部５２２は、対象物Ｗの第１の画像及び第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置Ｐｓを取得する。

【0024】

判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。

【0025】

推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。

【0026】

また、判定部５２３により差分が前記所定の範囲外であると判定された場合、視覚センサ４は、複数の位置において対象物Ｗの複数の画像を撮像する。そして、推定部５２４は、複数の画像及び複数の位置に基づいて、ロボット２の動作補正の異常原因を推定する。

【0027】

キャリブレーション部５２５は、視覚センサ４のキャリブレーションを実行する。視覚センサ４のキャリブレーションの詳細については後述する。
報知部５２６は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正に異常があることを報知する。
また、報知部５２６は、推定部５２４により推定された異常原因を報知する。報知部５２６による報知の態様は、例えば、表示部（図示せず）等に異常メッセージを表示すること等である。

【0028】

ロボット制御装置６は、動作制御部６１を備える。動作制御部６１は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。

【0029】

次に、図３から図８を参照して視覚センサ制御装置５の詳細な動作について説明する。
まず、キャリブレーション部５２５による視覚センサ４のキャリブレーションは、例えば以下のように行われる。
図７は、キャリブレーション用のキャリブレーション治具７を示す図である。図８は、キャリブレーション治具７を用いたキャリブレーションを示す図である。
キャリブレーション治具７は、視覚センサ４により認識可能なパターンとして、図７に示すようなドットパターンを有している。ドットパターンは、格子状に配置された大小のドットから構成される。寸法が大きいドットは、Ｌ字状に配置されており、キャリブレーション治具７の座標系を表している。

【0030】

キャリブレーション部５２５は、ロボット座標系から見たキャリブレーション治具７の位置を予め設定する。
また、キャリブレーション治具７のドットの間隔は、キャリブレーション治具の設計図面等から既知である。よって、キャリブレーション部５２５は、ドットの間隔として既知の値を指定し、ドットの間隔をキャリブレーションデータの一部としてキャリブレーションデータ記憶部５１２に記憶する。

【0031】

視覚センサ４は、キャリブレーション治具７を撮像する。また、キャリブレーション部５２５は、キャリブレーション治具７を撮像したときのロボットの位置を取得する。
動作制御部６１は、ロボット２をキャリブレーション治具７に対して垂直方向へ移動させ、視覚センサ４は、キャリブレーション治具７を撮像する。また、キャリブレーション部は、キャリブレーション治具７を撮像したときのロボットの位置を取得する。

【0032】

キャリブレーション部５２５は、キャリブレーション治具７の各画像の複数のドットの画像座標系での位置とロボット座標系での位置の情報を用いて視覚センサ４のキャリブレーションを行う。

【0033】

視覚センサ４のキャリブレーションを行うことによって、視覚センサ４の外部パラメータ及び内部パラメータが求められる。
ここで、外部パラメータは、視覚センサの位置及び姿勢に関する情報であり、内部パラメータは、レンズの焦点距離、レンズ歪、受光素子の寸法等の視覚センサの光学系の条件に関する情報である。
図３は、視覚センサ４の移動を示す図である。まず、ロボット制御装置６の動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。

【0034】

第１の取得部５２１は、撮像した第１の画像の予め定められた範囲から、モデルパターン記憶部５１１に記憶されたモデルパターンを用いて対象物Ｗを検出する。これにより、第１の取得部５２１は、対象物Ｗの画像座標系における位置姿勢を取得する。

【0035】

第１の取得部５２１は、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータ及び撮像時のロボット２の位置に基づいて、対象物Ｗの画像座標系における位置をロボット座標系（ワールド座標系）における三次元位置Ｐｗに変換する。このようにすることで、第１の取得部５２１は、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する。

【0036】

ここで、対象物Ｗを検出するために二次元カメラを用いた場合、第１の取得部５２１は、対象物Ｗの検出箇所が、ある平面（補正平面）上にあると仮定して、三次元位置である第１の位置Ｐｗを取得する。この補正平面は、典型的には、視覚センサ制御装置５に接続された操作盤（図示せず）等を用いてユーザによって設定される。

【0037】

通常、ロボット２の動作補正は、対象物Ｗの第１の位置Ｐｗを用いて行われる。このとき、動作補正の方式は、絶対位置補正と、相対位置補正とが用いられる。
絶対位置補正では、動作制御部６１は、ロボット２のＴＣＰ（Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｉｎｔ）８（図８参照）を第１の位置Ｐｗへ移動させる。
相対位置補正では、制御部５２は、予め基準となる対象物の位置（基準位置）を定め、基準位置と第１の位置Ｐｗとの差分を補正量として算出する。そして、ロボット制御装置６は、求めた補正量を、予め設定されたロボット２の動作に加えることにより、ロボット２の動作補正を行う。

【0038】

上記のような動作補正の設定を行う際に、様々な設定の誤りによって正しく行われない場合がある。
そこで、ロボット２の動作補正の誤りを判定するために、本実施形態に係るロボットシステム１は、以下に示すような処理を実行する。

【0039】

図３に示すように、ロボット制御装置６の動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きに所定の距離Ｄ移動し、視覚センサ４は、ロボット２が所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する。
ここで、所定の距離Ｄは、基準位置から、対象物Ｗが十分移動し、かつ視覚センサ４によって対象物Ｗが検出可能な位置までの距離を示す。

【0040】

図４は、第２の位置Ｐｓについて示す図である。図５は、第１の位置Ｐｗと第２の位置Ｐｓとの関係を示す図である。
第２の取得部５２２は、基準位置において対象物Ｗを撮像した第１の画像と、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像した第２の画像とのそれぞれにおいて対象物を検出する。これにより、二つの視点Ａ及びＢにおける画像座標系の対象物の位置が求められる。

【0041】

そして、第２の取得部５２２は、画像座標系における対象物Ｗの位置から二つの視線を算出する。第２の取得部５２２は、２つの視線の交点又は２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。

【0042】

図４の例では、２つの視線が交わっていないため、第２の取得部５２２は、２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。
なお、撮像部は、第２の画像として複数の画像を撮像してもよい。この場合、撮像部は、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像し、撮像した位置から更にロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像することを繰り返す。

【0043】

また、撮像部が第２の画像として複数の画像（例えば、３以上の画像）を撮像した場合、第２の取得部５２２は、画像座標系における対象物Ｗの位置から３以上の視点を算出する。この場合、第２の取得部５２２は、３以上の視点の交点又は最小二乗法を用いて３以上の視線間の距離が最も短くなる位置を対象物Ｗの第２の位置Ｐｓとして取得する。

【0044】

ここで、対象物Ｗは移動していないため、画像内の対象物Ｗの位置は変動するが、第１の位置Ｐｗと第２の位置Ｐｓとの位置のずれ（差分）は、誤差範囲内であるべきである。
そこで、判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。

【0045】

推定部５２４は、判定部５２３により差分が所定の範囲内であると判定された場合、ロボット２の動作補正が正常であると判断する。
また、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正が異常であると判断し、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。

【0046】

具体的には、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、２つの視線が交わっていない（例えば図４のような場合）とき、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータが誤っていると推定する。

【0047】

また、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、２つの視線が交わっていれば、図５に示すように補正平面が正しくないと推定する。

【0048】

キャリブレーションデータが誤っていると推定された場合には、別のキャリブレーション手法でキャリブレーションすることで、キャリブレーションデータのどこが誤っているかを推定することができる。図６は、視覚センサ４の移動を示す図である。図６に示すように、動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きにグリッド状に移動する。視覚センサ４は、ロボット２が移動した複数の位置において対象物Ｗの画像を撮像する。これにより、視覚センサ４は、対象物Ｗの複数の画像を撮像する。

【0049】

キャリブレーション部５２５は、撮像された複数の画像から対象物Ｗを検出し、対象物Ｗの画像座標系における位置Ｐｃｉを取得する。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。
このように動作制御部６１は、ロボット２をｎ回（ｉ＝１，２，３，・・・，ｎ）移動し、視覚センサ４は、対象物Ｗの画像をｎ回撮像する。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。

【0050】

推定部５２４は、このように求められた視覚センサ４の外部パラメータ及び内部パラメータを、上述したようにキャリブレーション部５２５により予め求められた外部パラメータ及び内部パラメータ（図７及び図８参照）と比較することにより、外部パラメータ及び内部パラメータの異常を判定することができる。

【0051】

例えば、推定部５２４は、外部パラメータが正しくない場合、キャリブレーションで求められた内部パラメータが正しくない、又はキャリブレーション治具７の位置が正しくないと推定する。
また、推定部５２４は、内部パラメータが正しくない場合、指定したドットの間隔が正しくない又は適切でないドットをキャリブレーションに使用してしまっていると推定する。

【0052】

図９は、視覚センサ制御装置５の処理を示すフローチャートである。
ステップＳ１において、動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。

【0053】

ステップＳ２において、第１の取得部５２１は、撮像した第１の画像の予め定められた範囲から、モデルパターン記憶部５１１に記憶されたモデルパターンを用いて対象物Ｗを検出する。
第１の取得部５２１は、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータ及び撮像時のロボット２の位置に基づいて、対象物Ｗの画像座標系における位置をロボット座標系における第１の位置Ｐｗに変換する。

【0054】

ステップＳ３において、ロボット制御装置６の動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きに所定の距離Ｄ移動し、視覚センサ４は、ロボット２が所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する。

【0055】

ステップＳ４において、第２の取得部５２２は、基準位置において対象物Ｗを撮像した第１の画像と、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像した第２の画像とのそれぞれにおいて対象物を検出する。

【0056】

第２の取得部５２２は、画像座標系における対象物Ｗの位置から二つの視線を算出する。第２の取得部５２２は、２つの視線の交点又は２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。

【0057】

ステップＳ５において、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。差分が所定の範囲内である（ＹＥＳ）場合、処理は、ステップＳ６へ移り、差分が所定の範囲外である（ＮＯ）場合、処理は、ステップＳ７へ移る。

【0058】

ステップＳ６において、推定部５２４は、ロボット２の動作補正が正常であると判断し、その後処理を終了する。

【0059】

ステップＳ７において、ロボット２の動作補正が異常であると判断し、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
ステップＳ８において、報知部５２６は、ロボットの動作補正に異常があることを報知する。また、報知部５２６は、推定部５２４により推定された異常原因を報知する。

【0060】

ステップＳ９において、動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きにグリッド状に移動する。視覚センサ４は、ロボット２が移動した複数の位置において対象物Ｗの画像を撮像する。これにより、視覚センサ４は、対象物Ｗの複数の画像を撮像する。

【0061】

ステップＳ１０において、キャリブレーション部５２５は、撮像された複数の画像から対象物Ｗを検出し、対象物Ｗの画像座標系における位置Ｐｃｉを取得する。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。

【0062】

本実施形態によれば、ロボットシステム１は、ロボット２の基準位置において対象物Ｗの第１の画像を撮像し、ロボット２を基準位置から所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する視覚センサ４と、ロボット２の動作制御の基準となるロボット座標系と、視覚センサ４による計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部５１２と、第１の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する第１の取得部５２１と、第１の画像及び第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置Ｐｓを取得する第２の取得部５２２と、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する判定部５２３と、を備える。これにより、ロボットシステム１は、第１の位置Ｐｗと第２の位置Ｐｓとの差分からロボット２の動作補正の異常を判定することができる。

【0063】

また、ロボットシステム１は、判定部５２３により差分が所定の範囲外であると判定された場合、第１の位置、第２の位置、第１の位置及び第２の位置に対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する推定部５２４を更に備える。これにより、ロボットシステム１は、ロボット２の動作補正に異常があった場合、異常の原因を推定することができる。したがって、ロボットシステム１は、推定されたロボット２の動作補正の原因に基づいて、ロボット２の動作補正を適切に行うことができる。

【0064】

また、ロボットシステム１は、判定部５２３により差分が所定の範囲外であると判定された場合、視覚センサ４は、複数の位置において対象物Ｗの複数の画像を撮像し、推定部５２４は、複数の画像及び複数の位置に基づいて、ロボット２の動作補正の異常原因を推定する。これにより、ロボットシステム１は、ロボット２の動作補正を適切に行うことができる。

【0065】

なお、視覚センサ４は、対象物Ｗの第２の画像を複数撮像し、第２の取得部５２２は、第１の画像及び複数の第２の画像に基づいて、対象物Ｗのロボット座標系における複数の第２の位置を取得してもよい。

【0066】

これにより、ロボットシステム１は、複数の第２の画像及び複数の第２の位置を用いて、ロボット２の動作補正の異常を判定することができる。
また、ロボットシステム１は、推定部５２４により推定されたロボットの動作補正の異常原因に基づいて、ロボットの動作補正の設定を変更する設定変更部を更に備えてもよい。これにより、ロボットシステム１は、ロボットの動作補正の設定変更を適切に行うことができる。

【0067】

また、上述した実施形態では、ロボットシステム１は、第１の画像及び第２の画像を用いたが、例えば、第２の画像に相当する画像のみを用いてもよい。
例えば、ロボットシステム１は、複数の第２の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置を取得する第１の取得部５２１と、複数の第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置を取得する第２の取得部５２２と、を備えてもよい。

【0068】

また、上述した実施形態に代えて、ロボットシステム１の判定部５２３は、第１の位置Ｐｗ及び第２の位置の三次元位置の差分のそれぞれの要素を確認する方法や、距離を確認する方法等を用いてもよい。すなわち、判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとに基づいて、第１の位置Ｐｗと第２の位置Ｐｓとの関係が所定の範囲内であるか否かを判定してもよい。
また、上述した実施形態に代えて、ロボットシステム１の判定部５２３は、３以上の位置の分散や標準偏差を計測するという方法を用いてもよい。すなわち、判定部５２３は、第１の位置及び複数の位置に基づいて、第１の位置及び複数の位置の関係が所定の範囲内であるか否かを判定してもよい。

【0069】

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0070】

１ ロボットシステム
２ ロボット
３ アーム
４ 視覚センサ
５ 視覚センサ制御装置
６ ロボット制御装置
６１ 動作制御部
５１１ モデルパターン記憶部
５１２ キャリブレーションデータ記憶部
５２１ 第１の取得部
５２２ 第２の取得部
５２３ 判定部
５２４ 推定部
５２５ キャリブレーション部
５２６ 報知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】