特許 7591938 制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】制御装置

(51)【国際特許分類】

   B25J 9/10 20060101AFI20241122BHJP

   B25J 13/08 20060101ALI20241122BHJP

【ＦＩ】

B25J9/10 A

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2021020016

(22)【出願日】2021-02-10

(65)【公開番号】P2022122648

(43)【公開日】2022-08-23

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】上原 大和

(72)【発明者】

【氏名】中尾 政史

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２０１５－１７４１９１（ＪＰ，Ａ）

【文献】特開２０１５－１３６７７０（ＪＰ，Ａ）

【文献】特開２０１９－０２８７７３（ＪＰ，Ａ）

【文献】特開２０２０－０４０７９６（ＪＰ，Ａ）

【文献】特開２０１９－２１７５７１（ＪＰ，Ａ）

【文献】特開２０２２－０６５７１４（ＪＰ，Ａ）

【文献】特開平０７－０９８２０８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２１３９９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットハンドに固定された三次元カメラを用いてワークの形状を測定し、測定されたワークの形状データに基づいて、前記三次元カメラのカメラ座標を前記ロボットハンドのロボット座標に変換するためのキャリブレーションを実行する制御装置であって、
前記ロボットハンドをＸＹＺ方向へ移動させる動作を実行し、前記ロボットハンドの停止位置で前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、前記カメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出する第１の通常キャリブレーション処理と、
前記ロボットハンドを所定の軸周りに回転させる動作を実行し、前記ロボットハンドの停止位置で前記ロボットハンドの回転に伴って回転した前記三次元カメラにより前記ワークを測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、ロボット座標を基準とした前記ロボットハンドの暫定回転中心を決定する第２の通常キャリブレーション処理と、
前記暫定回転中心を前記ロボットハンドの原回転中心とし、当該原回転中心周りに前記ロボットハンドを回転させる動作を実行し、前記ロボットハンドの回転に伴って回転した前記三次元カメラにより前記ロボットハンドの停止位置で前記ワークを測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて次の回転中心を求め、前記ロボットハンドの原回転中心を当該次の回転中心に更新し、更新された各原回転中心周りに前記ロボットハンドを回転させる動作を繰り返し、前記ロボットハンドの最終的な回転中心を決定する高精度キャリブレーション処理と、
を実行するキャリブレーション実行部を備え、
前記キャリブレーション実行部は、前記高精度キャリブレーション処理において、原回転中心に基づいて推定した前記ロボットハンドが回転した後のワーク座標と、前記三次元カメラによる測定に基づいて検出した前記ロボットハンドが回転した後のワーク座標とのずれに基づいて当該原回転中心に対応する前記次の回転中心を求める制御装置。

【請求項2】

請求項１に記載の制御装置において、
前記キャリブレーション実行部は、前記高精度キャリブレーション処理において前記原回転中心周りに回転させる前記ロボットハンドの回転角度を、前記第２の通常キャリブレーション処理において前記所定の軸周りに回転させる前記ロボットハンドの回転角度よりも大きな回転角度とする制御装置。

【請求項3】

請求項１または２に記載の制御装置において、
前記キャリブレーション実行部は、前記更新された各原回転中心に対応する次の回転中心を求める処理を繰り返し実行して前記ロボットハンドの回転中心を複数取得し、取得された複数の回転中心に基づいて、前記最終的な回転中心を決定する制御装置。

【請求項4】

請求項３に記載の制御装置において、
前記キャリブレーション実行部は、前記繰り返しを実行して取得された複数の前記回転中心が予め定められた所定の収束条件を満たすか否かを判定し、前記所定の収束条件を満たすと判定した場合には、前記繰り返しを終了する制御装置。

【請求項5】

請求項１から４のいずれか１つに記載の制御装置において、
前記キャリブレーション実行部は、前記高精度キャリブレーション処理において前記ロボットハンドを前記原回転中心周りに所定角度回転させるとともに、当該所定角度回転後の前記ワークが前記三次元カメラの視野に入るように前記ロボットハンドを移動させる制御装置。

【請求項6】

請求項１から５のいずれか１つに記載の制御装置において、
前記キャリブレーション実行部は、前記ワークを前記三次元カメラにより測定して得られた三次元の形状データに基づいて前記ワークの代表点のＸＹＺ座標を求め、求めた前記代表点のＸＹＺ座標をワーク座標とする制御装置。

【請求項7】

請求項１から６のいずれか１つに記載の制御装置において、
前記キャリブレーション実行部は、前記ワークを前記三次元カメラにより測定して得られた二次元の形状データに基づいて前記ワークの代表点のＸＹ座標を求めるとともに、平面式から前記代表点のＺ座標を求め、求めた前記代表点のＸＹＺ座標をワーク座標とする制御装置。

【請求項8】

請求項１から７のいずれか１つに記載の制御装置において、
前記キャリブレーション実行部は、前記ロボットハンドを第１の位置に移動させて前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、前記ロボットハンドを前記第１の位置とＺ座標が異なる第２の位置に移動させて前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出し、前記第１の位置で検出したワーク座標と、前記第２の位置で検出したワーク座標と、を前記三次元カメラの画角に非依存の画素位置に換算する制御装置。

【請求項9】

請求項１から８のいずれか１つに記載の制御装置において、
キャリブレーションを実行するキャリブレーションモードの選択が可能に構成されており、
前記キャリブレーション実行部は、前記キャリブレーションモードが選択されたことを検出すると、前記第１の通常キャリブレーション処理と前記第２の通常キャリブレーション処理と前記高精度キャリブレーション処理とを順に連続的に実行する制御装置。

【請求項10】

請求項１から９のいずれか１つに記載の制御装置において、
前記キャリブレーション実行部は、前記高精度キャリブレーション処理で検出された前記ワーク座標の検出結果と、前記回転中心の収束値とを更新表示可能な表示領域を有するユーザインタフェースを生成し、前記キャリブレーション実行部で生成された前記ユーザインタフェースを表示する表示部を備えている制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットを制御する制御装置に関する。

【背景技術】

【0002】

従来、ロボットと、ロボットハンドに固定された三次元カメラとを組み合わせた、いわゆるハンドアイと呼ばれる方式のロボットシステムが知られている（例えば、特許文献１参照）。この種のロボットシステムでは、運用前に、カメラ座標をロボットハンドのロボット座標に変換するためのキャリブレーションが必要である。特許文献１では、ロボット座標系に一つのキャリブレーション用マークを配置し、三次元カメラをキャリブレーション用マークに向けたままで平行移動させた複数の観測箇所と、これら観測箇所とは異なる方向からキャリブレーション用マークを臨む複数の観測箇所とでキャリブレーション用マークの観測を行い、各観測箇所で得られたマーク位置認識データと、ロボットハンドの姿勢データとを対応付けることによってキャリブレーションデータを取得するようにしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－９１２８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１では、キャリブレーションを行う際にキャリブレーション用マークを用意する必要がある。キャリブレーション用マークは、ロボットシステムの運用時にピッキングするワークとは材質、形状、大きさなどが異なっているので、カメラの撮像用パラメータ（露光時間、ゲインなど）や、ピント位置などをワークの撮像時とは変えてキャリブレーション用マークの撮像を行う必要がある。つまり、運用時と異なるパラメータでキャリブレーションを行うことになるので、運用に最適な状態のキャリブレーションとは言い難い。

【0005】

そこで、キャリブレーション用マークでなく、ワークをキャリブレーション用マークとして使用することが考えられる。ところが、カメラ座標をロボット座標に変換するためのパラメータを求める際には、ロボットハンドを回転させる動作が必要であり、特にロボットハンドを大きく回転させることで、原理上、より正確性が増すので、キャリブレーション時にはロボットハンドを大きく回転させたいという要求がある。

【0006】

しかしながら、カメラの視野やワークはロボットハンドの可動範囲に対して小さいので、ロボットハンドを大きく回転させると、ワークがカメラの視野の外に出てしまい、キャリブレーションデータが取得できなくなる。

【0007】

また、ロボットハンドを回転させたときにワークがカメラの視野から出ない場合であっても、ワークの一部しか撮像できない場合には、正確なキャリブレーションに足るデータが取得できない。

【0008】

さらに、一般的に三次元カメラの視野周辺部は中央部近傍に比べて測定精度が劣るが、ロボットハンドを大きく回転させると、三次元カメラの視野周辺部のデータを使ってキャリブレーションを行うことになり、この点でも正確なキャリブレーションが期待できなくなるおそれがあった。

【0009】

本開示は、かかる点に鑑みたものであり、その目的とするところは、ワークを使用してキャリブレーションを実行する場合に正確なキャリブレーションデータを取得できるようにすることにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示の第１の側面では、ロボットハンドに固定された三次元カメラを用いてワークの形状を測定し、測定されたワークの形状データに基づいて、前記三次元カメラのカメラ座標を前記ロボットハンドのロボット座標に変換するためのキャリブレーションを実行する制御装置を前提とすることができる。制御装置は、通常キャリブレーション処理と、高精度キャリブレーション処理とを実行可能なキャリブレーション実行部を備えている。

【0011】

前記通常キャリブレーション処理では、前記ロボットハンドをＸＹＺ方向へ移動させる動作と、前記ロボットハンドを所定の軸周りに複数回回転させる動作とを繰り返し実行し、各動作後、前記ロボットハンドの停止位置で前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、前記カメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出することができる。

【0012】

一方、前記高精度キャリブレーション処理では、前記通常キャリブレーション処理により求められた前記ロボットハンドのツール中心と前記三次元カメラの相対位置に基づいて、暫定回転中心を決定し、該暫定回転中心周りに前記ロボットハンドを複数回回転させた各位置で、前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、前記ロボットハンドの最終的な回転中心を決定することができる。

【0013】

この構成では、ワークの三次元形状を測定する三次元カメラがロボットハンドに固定されたロボットシステムを前提とすることができるので、ロボットシステムの運用時には、ロボットハンドを大きく退避させることなく、三次元カメラによってワークの位置を測定することが可能になるとともに、測定対象のワークに近いところから当該ワークの三次元形状を測定することができ、測定精度が向上する。尚、本発明の対象は、ロボットシステムであってもよいし、ロボットの制御装置（ロボットコントローラ）であってもよい。

【0014】

三次元カメラがロボットハンドに固定されている場合には、三次元カメラのカメラ座標をロボットハンドのロボット座標に変換するためのキャリブレーションを実行する必要があり、本構成では、運用時にピッキングするワークを使用して複数段階のキャリブレーション処理を実行する。

【0015】

すなわち、はじめに、通常キャリブレーション処理として、ロボットハンドをＸＹＺ方向へ移動させる動作と、回転動作とを繰り返し、各動作後のワークを三次元カメラにより測定してワーク座標を検出するとともに、そのワーク座標を得た時のロボット座標も取得する。これにより取得した複数のワーク座標とロボット座標の組に基づいて、カメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出し、ロボットハンドのツール中心と三次元カメラの相対位置関係が求められる。

【0016】

ロボットハンドのツール中心と三次元カメラの相対位置関係を求めた後、高精度キャリブレーション処理を実行する。まず、上記のようにして求めたロボットハンドのツール中心と三次元カメラの相対位置に基づいて、ロボットハンドの暫定回転中心を決定する。この暫定回転中心は、仮に設定した回転中心である。暫定回転中心周りにロボットハンドを複数回回転させることで、三次元カメラの視野の外にワークが出ないようにすること、ワークの全体が三次元カメラの視野に入るようにすること、及び三次元カメラの視野中央部近傍にワークを置くことが可能になる。そして、各位置で、ワークを三次元カメラにより測定してワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、ロボットハンドの最終的な回転中心を高精度に決定することができる。

【0017】

ワーク座標を得た時のロボット座標は、例えば、ロボットハンドの動作状態に基づいて取得することや、ロボットを制御するロボットコントローラなどから取得することが可能である。

【0018】

本開示の第２の側面では、前記キャリブレーション実行部が、前記高精度キャリブレーション処理において前記暫定回転中心周りに回転させる前記ロボットハンドの回転角度を、前記通常キャリブレーション処理において所定の軸周りに回転させる前記ロボットハンドの回転角度よりも大きな回転角度とするものである。

【0019】

この構成によれば、高精度キャリブレーション処理でロボットハンドの回転角度を大きくすることで、得られるキャリブレーションデータの正確性が増す。高精度キャリブレーション処理では、ロボットハンドを暫定回転中心周りに回転させるので、上記のように回転角度を大きくしたとしても、ワークの全部または一部が三次元カメラの視野の外に出る可能性が低くなる。

【0020】

本開示の第３の側面では、前記キャリブレーション実行部は、前記高精度キャリブレーション処理において前記複数のワーク座標と前記ロボット座標の組に基づいて前記ロボットハンドの回転中心を求める第１処理と、第１処理で求めた回転中心を次の回転中心として、前記ロボットハンドを複数回回転させた各位置で、前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、前記ロボットハンドの回転中心を求める第２処理とを実行してから、前記ロボットハンドの最終的な回転中心を決定することができる。

【0021】

すなわち、暫定回転中心は、最終的に回転中心とされるべき中心からずれている場合があるので、この暫定回転中心に基づいて最終的な回転中心を直接決定するのではなく、第１処理で求めた回転中心を次の回転中心としてロボットハンドの回転中心を新たに求める第２処理を実行し、第２処理で新たに求めた回転中心を次の回転中心としてロボットハンドを回転させてロボットハンドの最終的な回転中心を決定することで、最終的な回転中心の誤差を少なくすることができる。

【0022】

本開示の第４の側面では、前記第２処理で求めた回転中心を前記次の回転中心として前記ロボットハンドの回転中心を求める処理と、当該処理で求めた回転中心を前記次の回転中心として前記ロボットハンドの回転中心を求める処理とを繰り返し実行してから、前記ロボットハンドの最終的な回転中心を決定することができる。

【0023】

この構成によれば、最終的な回転中心を決定するまでに、回転中心を求める処理を複数回繰り返すことができるので、誤差が少ない回転中心に収束させることができる。

【0024】

本開示の第５の側面では、前記キャリブレーション実行部は、前記高精度キャリブレーション処理を繰り返し実行して前記ロボットハンドの回転中心を複数取得し、取得された複数の回転中心に基づいて、最終的な回転中心を決定することができる。

【0025】

すなわち、高精度キャリブレーション処理を１回だけで終了した場合、決定された最終的な回転中心が何らかの要因で正確でないおそれがあるが、本構成のように高精度キャリブレーション処理を複数回実行して取得した複数の回転中心に基づいて最終的な回転中心を決定することで、正確な回転中心を取得できる。最終的な回転中心を決定する際には、例えば複数の回転中心の平均処理などを実行すればよい。

【0026】

本開示の第６の側面では、前記キャリブレーション実行部は、前記高精度キャリブレーション処理を繰り返し実行して取得された複数の回転中心が予め定められた所定の収束条件を満たすか否かを判定し、所定の収束条件を満たすと判定した場合には、前記高精度キャリブレーション処理を終了することができる。

【0027】

すなわち、高精度キャリブレーション処理を繰り返し実行して取得された複数の回転中心が収束しなければ、取得した回転中心は正確でないおそれがある。本構成では、所定の収束条件を満たすまで高精度キャリブレーション処理を実行するので、正確な回転中心を取得できる。所定の収束条件としては、例えば高精度キャリブレーション処理によって取得された回転中心の誤差の変化分が一定以下であることを挙げることができる。

【0028】

本開示の第７の側面では、前記キャリブレーション実行部は、前記高精度キャリブレーション処理において前記ロボットハンドを暫定回転中心周りに所定角度回転させるとともに、当該所定角度回動後の前記ワークが前記三次元カメラの視野に入るように前記ロボットハンドを移動させることができる。

【0029】

すなわち、ロボットハンドを暫定回転中心周りに所定角度回転させる際に、ワークの位置や大きさによっては所定角度回動後にワークが三次元カメラの視野の外に出てしまうおそれがあるが、本構成では、所定角度回動後においてもワークが三次元カメラの視野に入っているので、正確なキャリブレーションデータを取得できる。

【0030】

本開示の第８の側面では、前記キャリブレーション実行部は、前記ワークを前記三次元カメラにより測定して得られた三次元の形状データに基づいて前記ワークの代表点のＸＹＺ座標を求め、求めた前記代表点のＸＹＺ座標をワーク座標とすることができる。

【0031】

本開示の第９の側面では、前記キャリブレーション実行部は、前記ワークを前記三次元カメラにより測定して得られた二次元の形状データに基づいて前記ワークの代表点のＸＹ座標を求めるとともに、平面式から前記代表点をＺ座標を求め、求めた前記代表点のＸＹＺ座標をワーク座標とすることができる。

【0032】

本開示の第１０の側面では、前記キャリブレーション実行部は、前記ロボットハンドを第１の位置に移動させて前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、前記ロボットハンドをＺ座標が異なる第２の位置に移動させて前記ワークを前記三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出し、前記第１の位置で検出したワーク座標と、前記第２の位置で検出したワーク座標とを前記三次元カメラの画角に非依存の画素位置に換算することができる。

【0033】

すなわち、ロボットハンドが第１の位置にあるときと、ロボットハンドが第２の位置にあるときとでは、三次元カメラのＺ方向の位置が異なるので、カメラの画角によってワーク座標のＸ座標が異なり、正確なキャリブレーションデータが得られなくなることがある。本構成では、三次元カメラのＺ方向の位置が異なっていても、ワーク座標を三次元カメラの画角に非依存の画素位置に換算することができるので、正確なキャリブレーションデータが得られる。

【0034】

本開示の第１１の側面では、キャリブレーションを実行するキャリブレーションモードの選択が可能に構成されており、前記キャリブレーション実行部は、前記キャリブレーションモードが選択されたことを検出すると、前記通常キャリブレーション処理と前記高精度キャリブレーション処理とを順に連続的に実行するものである。

【0035】

この構成によれば、例えば運用モードとキャリブレーションモードとが搭載されている場合、運用モードの前にキャリブレーションモードが選択されると、はじめに通常キャリブレーション処理が実行され、その後に高精度キャリブレーション処理が実行されるので、通常キャリブレーション処理から高精度キャリブレーション処理へのユーザによる切替操作が不要になる。

【0036】

本開示の第１２の側面では、前記キャリブレーション実行部は、前記高精度キャリブレーション処理で検出された前記ワーク座標の検出結果と、回転中心の収束値とを更新表示可能な表示領域を有するユーザインタフェースを生成する。前記制御装置は、前記キャリブレーション実行部で生成された前記ユーザインタフェースを表示する表示部を備えているので、収束値の変化をユーザに提示することができる。

【発明の効果】

【0037】

以上説明したように、通常キャリブレーション処理により求めたロボットハンドのツール中心と三次元カメラの相対位置に基づいて暫定回転中心を決定し、該暫定回転中心周りにロボットハンドを複数回回転させて取得した複数のワーク座標とロボット座標の組に基づいてロボットハンドの最終的な回転中心を高精度に決定することができる。これにより、ワークを使用してキャリブレーションを実行する場合に正確なキャリブレーションデータを取得できる。

【図面の簡単な説明】

【0038】

【図1】ロボットシステムを用いてワークを搬送する様子を示す模式図である。

【図2】ロボットシステムの構成を示すブロック図である。

【図3】三次元カメラの一例を示す斜視図である。

【図4A】ロボットハンドでワークを把持する例を示す模式図である。

【図4B】ロボットハンドで空洞を有するワークを内面から把持する例を示す模式図である。

【図4C】ロボットハンドで板状のワークを吸引して把持する例を示す模式図である。

【図5】サーチモデルの設定の手順を示すフローチャートである。

【図6】ハンドモデル及び把持位置の設定の手順を示すフローチャートである。

【図7】ロボットの基本制御のフローチャートの一例を示す図である。

【図8】キャリブレーションの手順の一例を示すフローチャートである。

【図9】キャリブレーションの第１ステップの詳細手順を示すフローチャートである。

【図10】キャリブレーション用ユーザインタフェースの例を示す図である。

【図11】第１ステップでロボットハンドを平行移動させる様子を示す概略図である。

【図12】第１ステップでロボットハンドを１点目の位置に移動させた場合に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図13】第１ステップでロボットハンドを２７点目の位置に移動させた場合に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図14A】第１ステップでの測定中におけるワークと三次元カメラとの位置関係を示す側面図である。

【図14B】第１ステップでの測定中におけるワークと三次元カメラの視野との関係を示す図である。

【図15】画角補正時に用いるカメラ中央からの代表点までの距離を示す表である。

【図16】第１ステップの完了時に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図17】キャリブレーションの第２ステップの詳細手順を示すフローチャートである。

【図18】第２ステップで表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図19】第２ステップでロボットハンドの動作を大きくした場合の視野とワークとの位置関係を説明する図である。

【図20】第２ステップの完了時に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図21】キャリブレーションの第３ステップの詳細手順を示すフローチャートである。

【図22】高精度キャリブレーション設定時に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【図23A】第３ステップにおいて暫定回転中心周りにロボットハンドを回転させる場合を説明する図である。

【図23B】第３ステップにおいてワークを視野に入れつつ、ロボットハンドを回転させる場合を説明する図である。

【図24】原回転中心と真の回転中心位置のずれを求める場合を説明する図である。

【図25】原回転中心を更新する場合を説明する図である。

【図26】高精度キャリブレーション処理完了時に表示されるキャリブレーション用ユーザインタフェースの例を示す図である。

【発明を実施するための形態】

【0039】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0040】

図１は、本発明の実施形態に係る制御装置１００を備えたロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に配置された複数のワークＷＫを、ロボットＲＢＴに１つずつ把持させ、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキングを行う例について示している。

【0041】

ロボットシステム１０００は、ロボットＲＢＴと、ロボットＲＢＴを制御するロボットコントローラ６とを備えている。ロボットＲＢＴは、産業用の汎用ロボットであり、ベース部が工場等の床面に対して固定されている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部から延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたロボットハンドＨＮＤとを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってロボットハンドＨＮＤを可動範囲内の所望の位置まで移動させることができる。

【0042】

ロボットハンドＨＮＤは、ワークＷＫを把持することが可能に構成されており、その構造は特に限定されるものではない。例えば、ロボットハンドＨＮＤは、図４Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のロボットハンドＨＮＤ１、図４Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のロボットハンドＨＮＤ２、図４Ｃに示すように板状のワークＷＫ３を吸引して保持するロボットハンドＨＮＤ３等があり、いずれのロボットハンドも使用することができる。また、本明細書で「把持」とは、図４Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。

【0043】

ロボットコントローラ６はアーム部ＡＲＭの動作やロボットハンドＨＮＤの開閉動作（把持動作）等を制御する。またロボットコントローラ６は図２に示す制御装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの位置姿勢を、三次元カメラ２を使用して取得し、制御装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。

【0044】

ロボットシステム１０００の機能ブロック図を図２に示す。この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、制御装置１００と、操作部４と、ロボット操作具７とを備える。ロボットシステム１０００は、表示部３も備えている。ロボットコントローラ６が制御装置１００を備えていてもよいし、制御装置１００が単独で構成されていて、ロボットコントローラ６に接続されていてもよい。また、制御装置１００が操作部４やロボット操作具７を備えていてもよい。

【0045】

操作部４は各種設定を行うための部分である。また、制御装置１００は、測定部２０を備えており、測定部２０は、ワークＷＫを撮像してワークＷＫの位置姿勢等を測定する。さらにユーザは、表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、制御装置１００の動作状態の確認、後述するキャリブレーションの確認等を行うことができる。表示部３は、制御装置１００の一部とすることもできる。

【0046】

一方、ロボットコントローラ６は制御装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図２の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。

【0047】

三次元カメラ２は、ロボットビジョンなどと呼ばれる、作業空間やワークＷＫを撮像する部材である。三次元カメラ２は、ロボットハンドＨＮＤに固定されていて、三次元カメラ２とロボットハンドＨＮＤとの相対的な位置関係が変化しないようになっている。従って、本実施形態のロボットシステム１０００は、ハンドアイと呼ばれる方式のロボットシステムである。

【0048】

三次元カメラ２の撮像対象物には、少なくともワークＷＫが含まれており、撮像対象物には容器ＢＸが含まれていてもよい。ワークＷＫにもよるが、ロボットハンドＨＮＤが下にあるワークＷＫをピッキングする位置姿勢となったときに、三次元カメラ２が下を撮像可能となるように当該三次元カメラ２の光軸の向きを設定することができる。

【0049】

三次元カメラ２で撮像された画像から、ワークＷＫの三次元形状を示す三次元形状データ（画像データ）を取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、三次元カメラ２で撮像された画像から取得することができる。また、三次元カメラ２で撮像された画像から、ワークＷＫの二次元形状を示す二次元形状データを取得することも可能である。三次元カメラ２は、ワークＷＫを撮像したカラー画像や白黒画像を出力することもできる。

【0050】

尚、ワークＷＫや容器ＢＸの三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。

【0051】

三次元カメラ２と形状測定処理部２００とにより、測定部２０が構成されている。形状測定処理部２００は三次元カメラ２の一部に含むこともできる。形状測定処理部２００は、三次元カメラ２で取得した画像データに基づいてワークＷＫの位置姿勢、形状、各部の寸法だけでなく、容器ＢＸの位置、形状や寸法も測定することができる。形状測定処理部２００は、制御装置１００の一部とすることができるが、別部材として構成することもできる。

【0052】

測定部２０は、Ｘ方向及びＹ方向に加えてＺ方向（高さ方向）を含む三次元の測定を行うことが可能な三次元測定部である。測定部２０が備える三次元カメラ２の具体的な構成は、三次元形状の計測技術に応じて決定される。この例では、三次元カメラ２は、カメラ、照明又はプロジェクタ等を備えている。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、三次元カメラ２として図３に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、ワークＷＫに光を照射する部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されてワークＷＫの表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。三次元カメラ２が有するカメラや照明の数は、特に限定されない。また、三次元カメラ２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。

【0053】

三次元カメラ２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした３Ｄ撮像ヘッドを、三次元カメラ２とすることができる。

【0054】

また三次元形状データの生成自体を三次元カメラ２で行うこともできる。この場合、三次元カメラ２に三次元形状データの生成機能を実現する画像処理ＩＣ等を設ける。あるいは、三次元形状データの生成を、形状測定処理部２００側で行わず、三次元カメラ２で撮像した生画像を、制御装置１００の別の部分で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。

【0055】

制御装置１００は、測定部２０で得られたワークＷＫの位置姿勢等の三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。この制御装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。

【0056】

尚、図２の例では、測定部２０が備える三次元カメラ２と形状測定処理部２００とを別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えば三次元カメラ２と形状測定処理部２００とを一体化したり、あるいは三次元カメラ２の一部を形状測定処理部２００に組み込んだり、形状測定処理部２００の一部を三次元カメラ２に組み込むこともできる。このように、図２に示す部材の区分けは一例であって、複数の部材を統合させたり、１つの部材を分けることもできる。例えば操作部４とロボット操作具７とを共通の部材としてもよい。

【0057】

表示部３は、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等を利用できる。操作部４は、各種シミュレーションや画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部３をタッチパネルとすることで、操作部４と表示部３を一体化することもできる。

【0058】

例えば制御装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、後述するように、表示部３上には画像処理プログラムを実行することによって生成されるグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、また処理結果等を表示させることができる。この場合、表示部３を各種の設定を行うための設定部や入力部としても利用でき、設定部や入力部には操作部４が含まれていてもよい。

【0059】

ロボットコントローラ６は、例えば三次元カメラ２で撮像した情報や制御装置１００から出力される情報等に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、いわゆるペンダントなどが利用できる。

【0060】

ロボットコントローラ６は、三次元カメラ２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを特定して、このワークＷＫを把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持位置で把持したまま、アーム部ＡＲＭを動作させて予め定められた載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、三次元カメラ２及び制御装置１００で特定されたピッキング対象（把持対象）のワークＷＫをロボットハンドＨＮＤで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してロボットハンドＨＮＤを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等を挙げることができる。また、把持動作のことをピッキングということもでき、把持位置はピッキング位置ということもできる。また、載置動作のことをプレースということもでき、載置位置はプレース位置ということもできる。

【0061】

ここで、本実施形態が対象とするピッキングは、ばら積みピッキングに限られるものではなく、どのように載置されたワークＷＫであってもロボットＲＢＴによって搬送することが可能である。本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器を用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫをピックアップする用途にも適用できる。

【0062】

ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、ロボットハンドＨＮＤがどのような姿勢で把持するのか、把持位置及び把持時の姿勢などの登録や、載置位置及び載置時の姿勢などの登録を行うことができる。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、実際のロボットＲＢＴを操作せずに、ビジョン空間上で設定を行うこともできる。

【0063】

表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、ロボットハンドＨＮＤの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたロボットハンドモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになる。

【0064】

（設定手順）
図５は、サーチモデルの設定の手順を示すフローチャートである。ステップＳＢ１では、ワークＷＫのサーチモデルを登録する。ワークＷＫのサーチモデルとは、後述するサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルである。ステップＳＢ１でワークＷＫのサーチモデルを登録する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、制御装置１００が有する記憶装置４２に一旦記憶させておく。ＣＡＤデータは、ワークＷＫのサーチモデルのデータであり、従来から一般的に用いられているフォーマットのデータを使用することができる。

【0065】

また、ワークＷＫのサーチモデルとしては、例えばある面から見たサーフェス形状をもとに生成した干渉判定モデル（後述する干渉判定部２５で使用される）であってもよい。また、ワークＷＫのサーチモデルとしては、ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いることができる。

【0066】

ステップＳＢ１でワークＷＫのサーチモデルのＣＡＤデータを読み込んだ後、ステップＳＢ２に進み、ワークＷＫのサーチモデルの確認及び登録を行う。

【0067】

また、ステップＳＢ１で読み込んだＣＡＤモデルの六面の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。ワークＷＫのＣＡＤデータが無い場合には、ワークＷＫのサーチモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００の三次元カメラ２及び形状測定処理部２００を利用して行うことができる。形状測定処理部２００による三次元計測で得られた計測データは形状測定処理部２００から出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。高さ画像を得た後、その高さ画像をサーチモデルとして登録する。

【0068】

図５に示すフローチャートのステップＳＢ３では、サーチ条件を設定する。サーチ条件には、例えば、サーチ時に検出可能なワークＷＫの数、サーチモデルとワークＷＫとの相関値の下限、特徴抽出条件（エッジ抽出の閾値等）等が含まれている。サーチ条件は使用者が設定することで、設定部２１により受け付けられる。

【0069】

次に、図６に示すハンドモデル及び把持位置の設定の手順を示すフローチャートについて説明する。開始後のステップＳＣ１では、現場で使用されるロボットＲＢＴに関する各種情報を規定するロボットモデルを登録する。

【0070】

ステップＳＣ１でロボットモデルを登録した後、ステップＳＣ２に進み、ロボットハンドモデルを登録する。ロボットハンドモデルとは、ロボットハンドの形状を表したモデルであり、例えばロボットハンドのポリゴンデータ（ＣＡＤデータ）を読み込む。

【0071】

その後、ステップＳＣ３に進み、ステップＳＣ２で登録したロボットハンドモデルと、そのロボットハンドモデルが装着されるロボットモデル（ステップＳＣ１で登録済み）のフランジ面との相対的な位置及び姿勢を定義する。具体的には、ロボットハンドモデルにおける取付面と、ロボットモデルのフランジ面とが一致するように、両者の位置関係を定義しておく。

【0072】

ステップＳＣ３に続くステップＳＣ４では、ロボットモデルのフランジ面に装着された状態にあるロボットハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、ユーザが設定することも可能である。その後、ステップＳＣ５では、ロボットハンドモデルの登録完了確認を行う。

【0073】

その後、ステップＳＣ６では、ハンドモデルで把持するサーチモデルの面を選択する。サーチモデルの面は、図５に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットハンドモデルで把持することが可能な面に対応した高さ画像をユーザが選択する。

【0074】

ステップＳＣ６で高さ画像を選択した後、ステップＳＣ７に進み、ステップＳＣ６で選択した面を把持する時のロボットハンドＨＮＤの位置及び姿勢を登録する。ワークＷＫの把持候補位置及びロボットハンドＨＮＤの姿勢を示す把持情報は、サーチモデルと対応付けられた状態で制御装置１００が有する記憶装置４２の把持情報記憶部４２ａ（図２に示す）に記憶することができる。

【0075】

実際のロボットハンドＨＮＤでワークＷＫをピッキングする際には、三次元カメラ２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標であるビジョン座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。尚、座標はロボット座標（ＸＹＺ、ＲｘＲｙＲｚ）で与えることもできるが、アーム部ＡＲＭの軸角度（ｊｏｉｎｔ ａｎｇｌｅ）で与えることもできる。また、制御装置１００内で把持位置等のロボット座標から、軸角度を求め、その軸角度をロボットコントローラ６側に伝えることもできるようになっている。

【0076】

具体的には、ワークＷＫのサーチモデルの位置及び姿勢は、ビジョン空間における位置と姿勢で求められる。また、これを把持するロボットハンドモデルの姿勢についても、同様に制御装置１００の仮想三次元空間における位置と姿勢として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置と姿勢に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がロボットハンドＨＮＤを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、従来から周知の手法で行うことができる。

【0077】

図６に示すフローチャートのステップＳＣ８では、必要数の把持候補位置を登録できたか否かを判定する。ステップＳＣ８でＮＯと判定して必要数の把持候補位置を登録できていない場合には、ステップＳＣ６を経てステップＳＣ７に進み、他の把持候補位置を設定し、登録する。一方、ステップＳＣ８でＹＥＳと判定した場合には、ステップＳＣ９に進む。

【0078】

ステップＳＣ９では、開始位置と、把持したワークＷＫを載置する載置位置とを登録する。ここでの開始位置は、ロボットハンドＨＮＤによってワークＷＫの把持を行う位置であり、搬送開始位置に相当する。開始位置は、容器内にばら積みされているワークＷＫの把持候補位置とすることができる。開始位置は、ワークＷＫが容器内のどこに存在しているかによって異なることになるが、これは三次元サーチによって取得することができる。一方、載置位置は、ロボットハンドＨＮＤによりワークＷＫが載置される位置であり、例えば図１に示すステージＳＴＧ上に設定することができる。

【0079】

ステップＳＣ１０では、ワークＷＫを把持位置から載置位置へ移動する間に経由する経由点を登録する。経由点が登録された場合、ロボットハンドＨＮＤがワークＷＫを把持して開始位置から載置位置へ搬送する途中で、ロボットハンドＨＮＤの一部またはワークＷＫの一部が経由点を通過するように、アーム部ＡＲＭ及びロボットハンドＨＮＤの動作が設定される。

【0080】

（ロボットの基本制御）
図７は、ロボットＲＢＴの基本制御のフローチャートの一例を示す図である。スタート後のステップＳＤ１では、測定部２０がワークＷＫを撮像してワークＷＫの位置姿勢を測定し、ステップＳＤ２で実行されるサーチ処理用データ（高さ画像データ）を生成する。測定部２０によって三次元計測が可能であるため、サーチ処理用データには高さ情報を含むことができる。

【0081】

その後、ステップＳＤ２に進み、ステップＳＤ１で生成されたサーチ処理用データに対し、ワークＷＫの位置及び姿勢を検出するサーチ処理を実行する。具体的には、登録されたワークＷＫのサーチモデルを用いて、ワークＷＫの姿勢と位置を特定するのであるが、まずサーチモデルの各特徴点が、最も一致する状態の位置及び姿勢を、サーチ処理用データの中から探索する。

【0082】

登録されたサーチモデルが存在するか否かをサーチした結果、サーチ処理用データ中に、サーチモデルが存在しない場合、即ちワークＷＫを検出できない場合には、このフローチャートを終了する。

【0083】

また、ステップＳＤ２では、図２に示す位置決定処理部２２が、測定部２０による測定結果と、把持情報記憶部４２ａに記憶された把持情報とに基づいて、作業空間に配置されたワークＷＫのロボットハンドＨＮＤによる把持位置を決定する。さらに、位置決定処理部２２は、把持位置を決定した後、当該把持位置を把持するためのロボットハンドＨＮＤの移動目標座標を算出するように構成されている。

【0084】

このとき図２に示す干渉判定部２５の判定結果を使用することができる。干渉判定部２５は、ロボットハンドＨＮＤと障害物との干渉判定を行う部分である。例えば、図６に示すフローチャートに示す処理で登録されたロボットハンドＨＮＤのモデルが容器ＢＸの壁等の障害物に接触するか否かを判定することができる。

【0085】

また、ステップＳＤ３では、図２に示す経路生成部２３が、ロボットハンドＨＮＤで把持したワークＷＫをプレース位置まで搬送する搬送経路を生成する。ステップＳＤ４では、出力部２４が、把持位置、載置位置、経由点等の座標及びステップＳＤ２で算出した移動目標座標をロボットコントローラ６に出力する。ロボットコントローラ６は、出力部２４から出力された把持位置、載置位置、経由点等の座標を受け取って制御信号を生成し、生成した制御信号をロボットＲＢＴに出力する。その後、ステップＳＤ５では、ロボットＲＢＴが制御信号に従って動作してワークＷＫを所定の経路で搬送する。

【0086】

（キャリブレーション）
図７に示すフローチャートに従ってロボットシステム１０００を運用することができるが、本ロボットシステム１０００は、ハンドアイ方式のロボットシステムであることから、運用前には、三次元カメラ２のカメラ座標をロボットハンドＨＮＤのロボット座標に変換するためのキャリブレーション、いわゆるｈａｎｄ－ｅｙｅキャリブレーションを実行する必要がある。

【0087】

キャリブレーションを実行する際には、上記特許文献１に開示されているようにキャリブレーション用マークやキャリブレーションボード等を使用する場合があるが、キャリブレーション用マークやキャリブレーションボードと、上記ワークＷＫとは、材質、形状、大きさなどが異なっているので、三次元カメラ２の撮像用パラメータや、ピント位置などを実際のワークＷＫの撮像時とは変えてキャリブレーション用マークやキャリブレーションボードの撮像を行う必要がある。つまり、ロボットシステム１０００の運用時と異なる撮像用パラメータでキャリブレーションを行うことになるので、運用に最適な状態のキャリブレーション結果が得られるとは言い難い。

【0088】

そこで、本実施形態では運用時に実際にピッキングされるワークＷＫをキャリブレーションに使用する。そして、制御装置１００は、ロボットハンドＨＮＤに固定された三次元カメラ２を用いてワークＷＫの形状を測定し、測定されたワークＷＫの形状データに基づいて複数段階のキャリブレーションを実行するように構成されている。

【0089】

キャリブレーションの手順は、大きく分けると、図８に示すように第１～第３ステップＳＥ１～ＳＥ３で構成されている。スタート後の第１ステップＳＥ１では、ロボットハンドＨＮＤと三次元カメラ２とをＸＹＺ方向へ平行移動させ、ロボットハンドＨＮＤと三次元カメラ２の移動を停止したときのカメラ座標とロボット座標を取得し、カメラ座標とロボット座標の対応関係を求める。第２ステップＳＥ２では、ロボットハンドＨＮＤと三次元カメラ２とを所定の軸周りに複数回回動させ、ロボットハンドＨＮＤと三次元カメラ２の移動を停止したときのカメラ座標とロボット座標を取得し、回転中心と三次元カメラ２の位置との暫定的な対応関係を求める。第３ステップＳＥ３では、第２ステップＳＥ２で求めた暫定的な対応関係を元に、ロボットハンドＨＮＤと三次元カメラ２と回転させ、回転中心の補正値を得る。得られた補正値を元に、第２ステップＳＥ２で求めた暫定的な回転中心を補正する。

【0090】

図８に示すフローチャートでは、第１ステップＳＥ１と第２ステップＳＥ２とを分けて別ステップとして示しているが、これに限らず、第１ステップＳＥ１における処理内容と、第２ステップＳＥ２における処理内容とを１つのステップで実行してもよい。また、第２ステップＳＥ２では、回転中心と三次元カメラ２の位置との暫定的な対応関係を求めているが、この関係が設計値で予め定まっている場合には、第２ステップＳＥ２を省略し、設計値の読み込みで代用できる。

【0091】

また、第１ステップＳＥ１及び第２ステップＳＥ２は、カメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出し、回転中心と三次元カメラ２の位置との暫定的な対応関係を求めるためのステップであることから、通常キャリブレーション処理と定義する。第３ステップＳＥ３は、第２ステップＳＥ２で求めた暫定的な回転中心を補正して精度を高めるステップであることから、高精度キャリブレーション処理と定義する。通常キャリブレーション処理及び高精度キャリブレーション処理は、図２に示すキャリブレーション実行部２６が実行する。

【0092】

制御装置１００は、上述したロボットシステム１０００を運用する際に選択される運用モードと、キャリブレーションを実行する際に選択されるキャリブレーションモードとを実行可能に構成されている。ユーザがロボットシステム１０００の運用前にキャリブレーションを実行するキャリブレーションモードを選択すると、キャリブレーション実行部２６は、制御装置１００でキャリブレーションモードが選択されたことを検出する。キャリブレーション実行部２６は、キャリブレーションモードが選択されたことを検出すると、通常キャリブレーション処理と高精度キャリブレーション処理とを順に連続的に実行する。「連続的に実行する」とは、通常キャリブレーション処理の終了後に、ユーザが特別な操作を行わなくても、通常キャリブレーション処理の結果を用いて高精度キャリブレーション処理を開始することであり、これにより、ユーザの負担を軽減できる。尚、通常キャリブレーション処理と高精度キャリブレーション処理とを連続的に実行することなく、通常キャリブレーション処理の終了後に、ユーザからの指示を待って高精度キャリブレーション処理を開始するようにしてもよい。以下、第１～第３ステップＳＥ１～ＳＥ３の各ステップの詳細について説明する。

【0093】

（第１ステップの詳細）
図９は、上記図８に示す第１ステップＳＥ１の詳細手順を示すフローチャートである。第１ステップＳＥ１が開始されると、キャリブレーション実行部２６は、図１０に示すような画像からなるキャリブレーション用ユーザインタフェース５０を生成して表示部３に表示させる。キャリブレーション用ユーザインタフェース５０には、三次元カメラ２で撮像したワークＷＫのカラー画像を表示する二次元画像表示領域５１と、三次元カメラ２で撮像された画像から取得した三次元形状データに基づく高さ画像を表示する三次元画像表示領域５２とが設けられている。実際には、三次元画像表示領域５２に、高さに応じて異なる色に着色されたワーク画像が表示されるが、本例の図では着色を省略している。

【0094】

さらに、キャリブレーション用ユーザインタフェース５０には、キャリブレーションモードであるか否かを表示するモード表示領域５３と、ロボットハンドＨＮＤの移動量を表示する移動量表示領域５４と、回転中心誤差を表示する誤差表示領域５５と、通常キャリブレーション処理時におけるロボットハンドＨＮＤの移動量を設定する移動量設定領域５６とが設けられている。移動量表示領域５４には、ロボットハンドＨＮＤのＸ方向の移動量（Ｘ）、Ｙ方向の移動量（Ｙ）、Ｚ方向の移動量（Ｚ）、Ｘ軸周りの回転量（Ｒｘ）、Ｙ軸周りの回転量（Ｒｙ）及びＺ軸周りの回転量（Ｒｚ）が表示される。Ｘ方向の移動量（Ｘ）、Ｙ方向の移動量（Ｙ）、Ｚ方向の移動量（Ｚ）の単位はｍｍであり、Ｘ軸周りの回転量（Ｒｘ）、Ｙ軸周りの回転量（Ｒｙ）及びＺ軸周りの回転量（Ｒｚ）の単位はｄｅｇである。

【0095】

移動量設定領域５６にも移動量表示領域５４と同様なＸ方向の移動量（Ｘ）、Ｙ方向の移動量（Ｙ）、Ｚ方向の移動量（Ｚ）、Ｘ軸周りの回転量（Ｒｘ）、Ｙ軸周りの回転量（Ｒｙ）及びＺ軸周りの回転量（Ｒｚ）が表示されており、ユーザが各値を個別に入力することが可能になっている。移動量設定領域５６の各値は、予め決められた値が入力されていてもよく、その入力されている値をユーザが変更可能であってもよい。各値の入力や変更は操作部４をユーザが操作することによって可能である。

【0096】

図９に示すフローチャートのステップＳＦ１では、ロボットハンドＨＮＤをキャリブレーションの開始位置に移動させる。開始位置に移動させると、ステップＳＦ２に進み、図１１に示すように、ロボットハンドＨＮＤを、開始位置を中心に、縦３点×横３点×高さ３点（計２７点）の格子状に平行移動させる。このときの移動量は、図１０に示すキャリブレーション用ユーザインタフェース５０の移動量設定領域５６に入力されたＸ方向の移動量（Ｘ）、Ｙ方向の移動量（Ｙ）、Ｚ方向の移動量（Ｚ）である。

【0097】

このステップＳＦ１では、ロボットハンドＨＮＤは回転させずに、Ｘ方向、Ｙ方向、Ｚ方向に沿う方向へのみ移動させる。つまり、ロボットハンドＨＮＤの姿勢（θｘ，θｙ，θｚ）は変えずに、θｘ，θｙ，θｚは一定の値を保ったままにする。これは、ツール中心と三次元カメラ２の位置との関係を崩さないようにするためである。尚、縦とはＹ方向であり、横とはＸ方向であり、高さとはＺ方向である。Ｘ方向の複数点の間隔、Ｙ方向の複数点の間隔、Ｚ方向の複数点の間隔は全て同じにすることができる。また、本実施形態では、計２７点移動させているが、これは一例であり、移動点の数は２７より少なくてもよいし、多くてもよい。また、ロボットハンドＨＮＤは、必ずしもＸ方向、Ｙ方向、Ｚ方向に沿う方向へ移動させなくてもよく、Ｘ方向に対して所定の傾斜角を持って直線移動させてもよいし、ＸＹ向に対して所定の傾斜角を持って直線移動させてもよいし、Ｚ方向に対して所定の傾斜角を持って直線移動させてもよい。

【0098】

各動作後、ロボットハンドＨＮＤの停止位置でワークＷＫを三次元カメラ２で撮像する。図１２は、ロボットハンドＨＮＤを１点目の位置に移動させた場合に表示されるキャリブレーション用ユーザインタフェース５０の例を示す図である。また、図１３は、ロボットハンドＨＮＤを２７点目の位置に移動させた場合に表示されるキャリブレーション用ユーザインタフェース５０の例を示す図である。１点目と２７点目とでは、三次元カメラ２のワークＷＫに対する位置が変わっているので、図１２の三次元画像表示領域５２と、図１３に示す三次元画像表示領域５２とには、異なる角度及び位置から見たワークＷＫの三次元画像が表示されている。１点目～２７点目までの各点で撮像されたワークＷＫの三次元画像が三次元画像表示領域５２に順次表示されるようにしてもよいし、ワークＷＫの三次元画像を表示しなくてもよい。図１２及び図１３に示すように、１点目～２７点目までの各点で撮像を開始すると、キャリブレーション用ユーザインタフェース５０には、オプション表示領域５７が表示される。オプション表示領域５７には、位置公差、法線公差、角度公差等が表示される。尚、公差は、キャリブレーション時には関係なく、運用時に適用されるものである。

【0099】

キャリブレーション実行部２６は、三次元カメラ２で測定して得られた三次元形状データに基づいてワーク座標を検出するとともに、当該ワーク座標に対応するロボット座標を取得する。ワーク座標に対応するロボット座標とは、ワーク座標を得た時のロボット座標である。これを２７点全て実行し、各点のワーク座標及びロボット座標を組（２７の組）にして記憶装置４２等に保持しておく。

【0100】

各点でのワークＷＫの位置の特定方法としては、例えば、三次元カメラ２で取得された三次元の形状をサーチし、その代表点（中心位置など）のＸＹＺを検出座標とする特定法法や、二次元の形状をサーチし、その代表点のＸＹ座標を代表点とし、別途求めた平面式からその代表点のＺを求める特定方法などがある。本実施形態では、後者の特定方法を採用しており、画角に依るワークＷＫの見え方の変化に追従するように、多点のエッジ検出した後、円の中心座標を最小二乗法で算出している。代表点の座標は、ワークＷＫの特徴的な部分の座標として求めてもよい。例えばワークＷＫの中央に穴がある場合、その穴の中心を代表点としてもよい。

【0101】

その後、図９に示すフローチャートのステップＳＦ３に進む。ステップＳＦ３では、三次元カメラ２の画角を補正する補正処理を行う。三次元カメラ２の画角が補正されている場合には、このステップＳＦ３は省略できる。また、本実施形態で使用される三次元カメラ２はレンズ交換式であり、画角補正がカメラ側ではなされないように構成されているが、レンズを交換した際に画角補正がカメラ側または制御装置１００内でなされるように構成されていてもよい。本実施形態においてレンズ非交換式のカメラを用いてもよい。

【0102】

ここで、三次元カメラ２でワークＷＫを撮像した時の視野に対するワークＷＫの見え方について説明する。上記ステップＳＦ１では三次元カメラ２が固定されているロボットハンドＨＮＤを縦、横、高さ方向に平行移動させるため、ワークＷＫの位置が三次元カメラ２の視野に対し相対的にずれる。画角の補正がされない三次元カメラ２の場合は、三次元カメラ２からの距離が変わると、視野に占めるワークＷＫの面積も変わることになる。画角の補正がされない三次元カメラ２では、Ｚ方向はｍｍ単位、ＸＹ方向は画素単位ということができ、画角の補正がされる三次元カメラ２では、ＸＹ方向もｍｍ単位といえる。

【0103】

このことを図１４Ａ及び図１４Ｂに基づいて説明する。図１４Ａは、第１ステップで１点目～２７点目まで測定している時のワークＷＫと三次元カメラ２とが取り得る位置関係を示す側面図である。面Ｓ１は、ワークＷＫの天面を水平方向に延長した面である。面Ｓ２は、三次元カメラ２が基準位置、即ち中段位置（第１の位置）にある時の受光素子（またはレンズの受光面）を通る水平面である。面Ｓ３は、三次元カメラ２が上段位置（第２の位置）にある時の受光素子（またはレンズの受光面）を通る水平面である。ワークＷＫの代表点を点Ｐ１とすると、点Ｐ１の物理的な座標は、基準位置では（Ｘ，Ｚ）で表すことができ、上段位置では（Ｘ，Ｚ’）で表すことができる。

【0104】

直線Ｌ１は三次元カメラ２の光軸を示しており、Ｚ方向に沿っている。２本の直線Ｌ２、Ｌ２は、三次元カメラ２が基準位置にある時の当該三次元カメラ２の視野範囲を示している。また、２本の直線Ｌ３、Ｌ３は、三次元カメラ２が上段位置にある時の当該三次元カメラ２の視野範囲を示している。

【0105】

図１４Ｂにおける符号２Ａで示す矩形は、三次元カメラ２で撮像した時の視野範囲を示している。三次元カメラ２が基準位置にある時に撮像されたワークＷＫを実線で、三次元カメラ２が上段位置にある時に撮像されたワークＷＫを破線でそれぞれ示している。三次元カメラ２が基準位置にある時に撮像されたワークＷＫの代表点Ｐ１の座標は（ｘｐ，Ｚ）であり、三次元カメラ２が上段位置にある時に撮像されたワークＷＫの代表点Ｐ１の座標は（ｘｐ’，Ｚ’）である。

【0106】

図１４Ａと図１４Ｂに示す関係を表で表すと図１５に示すようになる。すなわち、三次元カメラ２の中央（光軸Ｌ１）からワークＷＫの代表点Ｐ１までの水平距離は、画素距離で示すと中段位置の時にｘｐとなり、上段位置の時にｘｐ’となり、これらｘｐ，ｘｐ’は検出された代表点であることから既知である。また、三次元カメラ２からワークＷＫの代表点Ｐ１までの垂直距離（Ｚ方向の距離）は、物理距離で示すと中段位置の時にＺとなり、上段位置の時にＺ’となり、これらＺ，Ｚ’は検出された代表点であることから既知である。三次元カメラ２の中央（光軸Ｌ１）からワークＷＫの代表点Ｐ１までの水平距離のうち、物理距離Ｘは未知であるが、幾何関係Ｚ’：Ｚ＝ｘｐ：ｘｐ’が成り立つ。

【0107】

三次元カメラ２が上段位置にあるときの画素位置ｘｐ’は、画角によって、物理的な大きさ（位置）Ｘと三次元カメラ２からの距離Ｚ’との関係で求まるが、このままでは、カメラ座標自体が高さに依存してしまうため、キャリブレーションに使いにくい。そこで、本実施形態のキャリブレーション実行部２６は、上記関係を、カメラの画角に非依存の（すなわちテレセントリックレンズを使った場合の）画素位置に換算する。ｘｃｐとＸとは比例関係、すなわち、補正後画素位置ｘｃｐはＸに依存する関係にある。この関係から以下の式１（基準面での相当画素位置を求める式）でｘｃｐを求めることができる。尚、レンズの歪みを考慮する場合などでは、他の算出方法を採用することもできるので、式１を使った算出方法に限定されるものではない。

【0108】

ｘｃｐ＝ｘｐ’＊（Ｚ’／Ｚ） … 式１

【0109】

以上が図９に示すフローチャートのステップＳＦ３で実行される補正処理である。その後、ステップＳＦ４に進み、カメラ座標からロボット座標への対応関係をＡｆｆｉｎｅ変換行列として最小二乗法で求める。具体的には、本例では２７点でワークＷＫの測定を行っているので、２７点のロボット位置Ｐｒと、カメラ座標の位置Ｐｃとの関係から、最小二乗法によりＡｆｆｉｎｅ変換行列を求めることができる。ここで、Ｐｃは補正後のカメラ位置となる。補正後のカメラ位置Ｐｃは、ＸＹＺがｍｍ単位でなくともよい。本例ではＸＹが画素単位座標、Ｚがｍｍ座標としており、ＸＹＺ座標が均等な空間であれば、計算に使用することが可能である。

【0110】

ステップＳＦ４を経ることで図８に示すフローチャートの第１ステップＳＥ１が完了する。図１６は、第１ステップＳＥ１が完了した時に表示部３に表示されるキャリブレーション用ユーザインタフェース５０である。このキャリブレーション用ユーザインタフェース５０には、キャリブレーション結果表示領域５８が設けられている。キャリブレーション結果表示領域５８には、第１ステップＳＥ１によって求められた三次元カメラ２の視野、画素分解能、座標軸角度、座標軸回転角度、回転中心位置等が表示される。

【0111】

（第２ステップの詳細）
図１７は、上記図８に示す第２ステップＳＥ２の詳細手順を示すフローチャートである。第２ステップＳＥ２が開始されると、キャリブレーション実行部２６は、図１８に示すキャリブレーション用ユーザインタフェース５０を生成して表示部３に表示させる。第２ステップＳＥ２で表示されるキャリブレーション用ユーザインタフェース５０には、モード表示領域５３に回転中心算出モードであることが表示される。

【0112】

図１７に示すフローチャートのステップＳＧ１では、ロボットハンドＨＮＤをキャリブレーションの開始位置に移動させる。開始位置に移動させると、ステップＳＧ２に進み、ツール中心座標に対し、開始位置、±θｘ，±θｙ，±θｚだけずらした各点（計７点）でロボットハンドＨＮＤを停止させ、ロボットハンドＨＮＤの停止位置でワークＷＫを三次元カメラ２で撮像する。三次元カメラ２で測定して得られた三次元形状データに基づいてワーク座標を検出するとともに、当該ワーク座標に対応するロボット座標を取得する。各点のワーク座標及びロボット座標を組にして記憶装置４２等に保持しておく。その後、ステップＳＧ３に進み、ロボット座標を基準とした暫定的な回転中心を求める。

【0113】

具体的には、７点の検出座標から回転中心を求める際には、球面の方程式を利用した最小二乗法を採用することができる。本例では点の数を７つとしているが、４つ以上であれば三次元で回転中心を求めることは可能である。点数が多い方が求めた結果が良好になる。

【0114】

球面の方程式を利用することなく、回転中心を幾何的に求めることもできる。例えば、ズレベクトルの二等分線・二等分面を複数求め、それら交点から回転中心を推定でき、また、ズレの距離とずらした角度の関係からａｒｃｔａｎで中心位置の距離が分かり、これらの複数の関係から、中央座標を求めることも可能である。

【0115】

以上がキャリブレーションの第２ステップＳＥ２であるが、原理的に、ロボットハンドＨＮＤの回転動作を大きくしないと回転中心が正確に求まりにくい。ところが、図１９に示すように、ロボットハンドＨＮＤの回転動作を大きくすると、ワークＷＫが視野に収まりきらず、代表点Ｐ１の検出が不安定になる。図１９における３つの符号２Ａは、三次元カメラ２の視野を示しており、右の視野２Ａは回転前の視野、中央の視野２Ａ及び左の視野２Ａは回転後の視野をそれぞれ示している。

【0116】

第２ステップが完了すると、図２０に示すようなキャリブレーション用ユーザインタフェース５０が表示され、上記図８に示す第３ステップＳＥ３が開始される。

【0117】

（第３ステップの詳細）
図２１は、上記図８に示す第３ステップＳＥ３の詳細手順を示すフローチャートである。第３ステップＳＥ３では、図２２に示すキャリブレーション用ユーザインタフェース５０に設けられている高精度キャリブレーション設定領域６０で設定された移動量でロボットハンドＨＮＤを移動させる。図２２に示すキャリブレーション用ユーザインタフェース５０は、第１ステップＳＥ１を開始する前に表示部３に表示させて各値を入力可能にしてもよいし、第２ステップＳＥ２が完了した後に表示部３に表示させて各値を入力可能にしてもよい。高精度キャリブレーション設定領域６０で設定される移動量は、予め所定決定された値であってもよい。

【0118】

図２１に示すフローチャートのステップＳＨ１では、上記通常キャリブレーション処理により求められたロボットハンドＨＮＤのツール中心と三次元カメラ２の相対位置に基づいて、暫定的な回転中心（暫定回転中心）を決定する。決定した暫定回転中心を原回転中心として記憶装置４２等に保持する。その後、ステップＳＨ２に進み、ワークＷＫの代表点Ｐ１が安定的に求まる位置（開始位置）にロボットハンドＨＮＤを移動させる。

【0119】

次いで、ステップＳＨ３に進み、カメラ位置と原回転中心位置との関係を用い、開始位置でロボットハンドＨＮＤ（三次元カメラ３）を回転させ、開始位置、±θｘ，±θｙ，±θｚだけずらした各点（計７点）でロボットハンドＨＮＤを停止させ、ロボットハンドＨＮＤの停止位置でワークＷＫを三次元カメラ２で撮像する。三次元カメラ２で測定して得られた三次元形状データに基づいてワーク座標（代表点Ｐ１の座標）を検出するとともに、当該ワーク座標に対応するロボット座標を取得する。各点のワーク座標及びロボット座標を組にして記憶装置４２等に保持しておく。

【0120】

回転角度を設定する際、キャリブレーション実行部２６は、高精度キャリブレーション処理において暫定回転中心周りに回転させるロボットハンドＨＮＤの回転角度（θｘ，θｙ，θｚ）を、通常キャリブレーション処理においてＸＹＺ軸周りに回転させるロボットハンドＨＮＤの回転角度よりも大きな回転角度とする。尚、高精度キャリブレーション処理と、通常キャリブレーション処理とで、ロボットハンドＨＮＤの回転角度を同じにしてもよい。

【0121】

ステップＳＨ３では、上記通常キャリブレーション処理によりツール中心とカメラ位置との暫定的な位置関係を求めているので、その位置関係を利用してワークＷＫの代表点Ｐ１が安定的に求まるようにワークＷＫを視野に入れつつ、ロボットハンドＨＮＤを回転させることができる。すなわち、図２３Ａに示すように、単純に暫定回転中心周りにロボットハンドＨＮＤを回転させると、回転後の視野２ＡからワークＷＫの一部が出てしまい、その結果、代表点Ｐ１が視野２Ａ外に位置し、測定不可になる。一方、図２３Ｂに示すように、キャリブレーション実行部２６が、本高精度キャリブレーション処理においてロボットハンドＨＮＤを暫定回転中心周りに所定角度回転させるとともに、当該所定角度回動後のワークＷＫが三次元カメラ２の視野２Ａに入るようにロボットハンドＨＮＤを移動させるので、ワークＷＫの全体が視野２Ａ内に位置し、その結果、代表点Ｐ１を視野２Ａ内に位置付けることができる。

【0122】

つまり、所定角度回転させた場合に予想される移動量を、原回転中心に基づき計算し、その移動量を使ってロボットハンドＨＮＤを移動または回転させて三次元カメラ２で撮像する。そこから求めた代表点から、本来求めたかった代表点の位置を求めることができる。具体的には、通常キャリブレーション処理で暫定回転中心が求まっていて、回転による移動後の位置を推定できるので、その移動ベクトルの逆方向にツール中心を移動させる制御を行うことで、カメラ位置の移動を相殺することができる。これにより、ワークＷＫの代表点を安定的に検出しつつ、ロボットハンドＨＮＤを大きく回転させることが可能となる。

【0123】

例えば、図２４に示すように原回転中心と真の回転中心位置のずれが生じている場合、以下のようにしてずれを求めることができる。尚、ｐ，ｃ，ｄはベクトル、Ｑは回転行列である。原点回転中心をｃとし、代表点ｐの検出ズレをｄとすると以下の関係が成立する。

【0124】

Ｑ（ｐ－ｃ）＋ｄ＋ｃ … 式２
Ｑ（ｐ－（ｃ＋ｘ））＋（ｃ＋ｘ） … 式３

【0125】

式２と式３とは等価であるという関係から、中心のズレｘ、真の回転中心ｃ＋ｘを求めることができる。尚、Ｉは単位ベクトルである。

【0126】

ｄ＝－Ｑｘ＋ｘ
ｄ＝（Ｉ－Ｑ）ｘ
ｘ＝（Ｉ－Ｑ）＾－１ｄ

【0127】

二次元の場合は、（Ｉ－Ｑ）の逆行列が安定的に求まる。また、三次元の場合は、上記の関係だけではランク落ちするため、関係式を増やし、最小二乗法で求める。そのために、θｘ，θｙ，θｚをそれぞれ±方向で振る。

【0128】

その後、図２１に示すフローチャートのステップＳＨ４～ＳＨ６に進み、ステップＳＨ３で保持した各点のワーク座標及びロボット座標の組に基づいてロボットハンドＨＮＤの最終的な回転中心を決定する。具体的に説明すると、まず、ステップＳＨ４では、ステップＳＨ３で保持した各点のワーク座標及びロボット座標の組に基づいて回転中心を再計算（補正）する。再計算後の値を保存し、この値を次の原回転中心として上書きする。ステップＳＨ２～ＳＨ４は、Ｎ回繰り返し、各回の回転中心の値を保存する。例えば、１回目のループを第１処理、２回目のループを第２処理と呼ぶことができ、キャリブレーション実行部２６は、少なくとも第１処理と第２処理とを経た後に、ロボットハンドＨＮＤの最終的な回転中心を決定することができる。

【0129】

ステップＳＨ２～ＳＨ４をＮ回繰り返した後、ステップＳＨ５に進む。ステップＳＨ５では、Ｎ個の回転中心の値の平均を算出する。そして、平均から所定の閾値以上離れた回転中心を異常値除去するためにマークしておく。

【0130】

その後、ステップＳＨ６に進み、ステップＳＨ５でマークされなかった回転中心のみを使って平均算出し、得られた平均を最終の回転中心とする。

【0131】

このフローチャートでは、原回転中心をループ（ステップＳＨ２～４で構成されるループ）ごとに更新している。原回転中心をループごとに更新する場合の概念図を図２５に示す。図２５では、最初の原回転中心を通常キャリブレーション処理で求めた暫定回転中心としており、矢印で示すように、上記ループを経るごとに回転中心が更新される。この例に示すように、回転中心が平均から大きく外れることもある。回転中心が大きく外れた場合、その回転中心は異常値であると推定できるので、原回転中心を更新する際には、異常値を除去する処理を実行してもよい。具体的には、このフローでは、上記ループをＮ回経ることで回転中心をＮ個算出した後で、算出した回転中心の中で平均から所定の閾値以上ずれているものを省いているが、他の方法として、ループごとの補正量に対し、閾値を引き、誤差の多い回転中心を省くこともできる。この処理もキャリブレーション実行部２６で行うことができる。

【0132】

原回転中心をループごとに更新していくと、得られた回転中心が次第に真の回転中心に近づいていき、得られた回転中心が収束していく。本実施形態では、例えば図２０に示すキャリブレーション用ユーザインタフェース５０に収束値表示領域６２を設けている。収束値表示領域６２には、回転中心が収束していく様子を表示することができる。その表示の一例として、回転中心の収束値（単位ｍｍ）を表示している。例えば、３回目のループで得られた回転中心の収束値は２回目で得られた回転中心の収束値よりも小さな値が表示され、ループの回数が増えるごとに収束値表示領域６２に表示される収束値が小さくなっていく。したがって、ユーザは、収束値表示領域６２に表示される収束値を見ることで、得られた回転中心が次第に真の回転中心に近づいていっていることを把握できる。ループの回数は２回であってもよい。

【0133】

ループの回数を増やしても収束値が所定以上変化しなければ、その時点で高精度キャリブレーション処理を終了させることができる。具体的には、キャリブレーション実行部２６は、高精度キャリブレーション処理を繰り返し実行して取得された複数の回転中心が予め定められた所定の収束条件を満たすか否かを判定する。キャリブレーション実行部２６は、所定の収束条件を満たすと判定した場合には、高精度キャリブレーション処理を終了する一方、所定の収束条件を満たさないと判定した場合には、高精度キャリブレーション処理を継続するように構成できる。所定の収束条件としては、例えば高精度キャリブレーション処理によって取得された回転中心の誤差の変化分が一定以下であることを挙げることができる。回転中心の誤差の変化分が一定以下である場合が、複数回（例えば３回）続いたら、所定の収束条件を満たすと判定してもよい。所定の収束条件は、予め決められていてもよいし、ユーザが任意に設定できるようにしてもよい。

【0134】

高精度キャリブレーション処理が完了して最終の回転中心が決定されると、キャリブレーション実行部２６は、図２６に示すキャリブレーション用ユーザインタフェース５０を生成して表示部３に表示させるとともに、ユーザに対して高精度キャリブレーション処理が完了したことを報知する。高精度キャリブレーション処理完了後に表示されるキャリブレーション用ユーザインタフェース５０には、キャリブレーション結果表示領域６１が設けられている。キャリブレーション結果表示領域６１には、通常キャリブレーション処理及び高精度キャリブレーション処理の両処理を経て取得された三次元カメラ２の視野、画素分解能、座標軸角度、座標軸回転角度、最終の回転中心位置等が表示される。

【0135】

（実施形態の作用効果）
以上説明したように、この実施形態によれば、三次元カメラ２がロボットハンドＨＮＤに固定されているので、ロボットシステム１０００の運用時には、ロボットハンドＨＮＤを大きく退避させることなく、三次元カメラ２によってワークＷＫの位置を測定することが可能になるとともに、測定対象のワークＷＫに近いところから当該ワークＷＫの三次元形状を測定することができ、測定精度が向上する。

【0136】

また、キャリブレーション時には、キャリブレーション用マークやキャリブレーションボード等を使用することなく、ワークＷＫを使用することができる。このとき、はじめに通常キャリブレーション処理によってカメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出することができるので、ロボットハンドＨＮＤのツール中心と三次元カメラ２の相対位置関係を求めることができる。その後、ロボットハンドＨＮＤの暫定回転中心を決定し、暫定回転中心周りにロボットハンドＨＮＤを複数回回転させることで、三次元カメラ２の視野の外にワークＷＫが出ないようにすること、ワークＷＫの全体が三次元カメラ２の視野に入るようにすること、及び三次元カメラ２の視野中央部近傍にワークＷＫを置くことが可能になる。そして、各位置で、ワークＷＫを三次元カメラ２により測定してワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、ロボットハンドＨＮＤの最終的な回転中心を高精度に決定することができる。

【0137】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0138】

以上説明したように、本発明に係る制御装置は、ロボットシステムに適用することができる。

【符号の説明】

【0139】

２ 三次元カメラ
３ 表示部
２６ キャリブレーション実行部
５０ キャリブレーション用ユーザインタフェース
１００ 制御装置
ＨＮＤ ロボットハンド
ＲＢＴ ロボット
ＷＫ ワーク

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図24】

【図25】

【図26】