知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-10
(45)【発行日】2024-07-19
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
B25J 13/08 20060101AFI20240711BHJP
【ＦＩ】
B25J13/08 A
【請求項の数】
17
(21)【出願番号】P 2020120451
(22)【出願日】2020-07-14
(65)【公開番号】P2022017738
(43)【公開日】2022-01-26
【審査請求日】2023-06-15
(73)【特許権者】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】▲高▼山 直輝
【審査官】杉山 悟史
(56)【参考文献】
【文献】特開２０１８－１４４１６５（ＪＰ，Ａ）
【文献】特開２０２０－０４９６５１（ＪＰ，Ａ）
【文献】特開２０１６－１２０５６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
(57)【特許請求の範囲】
【請求項1】
作業空間に積み上げられた複数のワークの中から所定のワークを把持して順次取り出すピッキング動作を行うロボットの制御に用いられる画像処理装置であって、前記ロボットのフランジに取り付けられるハンドの形状を示すハンドモデルを登録する登録部と、
前記ロボットのフランジに取り付けられたハンドを撮像する撮像部と、
前記登録部で登録されたハンドモデル及び前記撮像部により撮像された画像とをパターンマッチングすることにより、前記ロボットのフランジに取り付けられたハンドの位置及び姿勢を前記撮像部の座標系で決定する決定部と、
前記撮像部により前記ハンドが撮像された際の前記ロボットのロボット座標系における座標を取得する取得部と、
前記撮像部の座標系と前記ロボット座標系との変換規則であるキャリブレーションデータを生成するキャリブレーション実行部と、
前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成されたキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出する算出部と、
前記算出部で算出された前記取付位置に取り付けられていると仮定された仮想ハンドモデルが、前記ピッキング動作を行う際に周囲の物体と干渉するか否かを判定する干渉判定部とを備えている画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、前記登録部は、ロボットアームの形状を示すロボットモデルの登録を受け付け、
前記干渉判定部は、前記ロボットモデルと、前記仮想ハンドモデルとに基づいて、前記ロボットモデル及び前記仮想ハンドモデルが周囲の物体と干渉するか否かを判定する画像処理装置。
【請求項3】
請求項１または２に記載の画像処理装置において、前記キャリブレーション実行部は、第１のキャリブレーションを実行し、該第１のキャリブレーションにより、前記ロボットと前記撮像部との位置関係を定める第１のキャリブレーションデータを生成する画像処理装置。
【請求項4】
請求項３に記載の画像処理装置において、前記キャリブレーション実行部は、キャリブレーションを実行する実行領域の入力を受け付け、入力された該実行領域でのキャリブレーションが実行可能であるか否かを前記第１のキャリブレーションデータに基づいて判定する画像処理装置。
【請求項5】
請求項４に記載の画像処理装置において、前記キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる範囲で実行される第２のキャリブレーションを前記実行領域に対して実行することで第２のキャリブレーションデータを生成し、
前記算出部は、前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成された第２のキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出する画像処理装置。
【請求項6】
請求項２から５のいずれか１つに記載の画像処理装置において、前記算出部は、前記決定部により決定された前記ハンドの位置及び姿勢から算出された前記ハンドの原点位置と、前記ハンドが取り付けられるべき規定位置が予め定められたロボットの座標との差分を求め、求めた差分に従い、前記フランジに取り付けられた前記ハンドの取付位置を算出する画像処理装置。
【請求項7】
請求項６に記載の画像処理装置において、前記干渉判定部は、前記算出部により算出された差分に従って、前記ハンドモデルを前記規定位置からオフセットさせた位置に前記仮想ハンドモデルを作成し、該仮想ハンドモデルが周囲の物体と干渉するか否かを判定する画像処理装置。
【請求項8】
請求項１から７のいずれか１つに記載の画像処理装置において、前記登録部は、前記ハンドの三次元ＣＡＤデータの入力及び当該三次元ＣＡＤデータの原点位置情報の入力を受け付け、入力された三次元ＣＡＤデータで表されるモデルを前記ハンドモデルとして登録する画像処理装置。
【請求項9】
請求項１から８のいずれか１つに記載の画像処理装置において、前記登録部は、前記ハンドの三次元ＣＡＤデータの入力及び前記フランジの座標系を基準とした前記ハンドの位置及び姿勢の入力を受け付け、入力された三次元ＣＡＤデータで表されるモデルを前記ハンドモデルとして登録し、
前記取得部は、前記フランジの座標を前記ロボットの座標として取得し、
前記算出部は、前記フランジの座標と、前記決定部により決定された前記ハンドの位置及び姿勢に基づいて、前記フランジに対する前記ハンドの取付位置を算出する画像処理装置。
【請求項10】
請求項１から９のいずれか１つに記載の画像処理装置において、前記画像処理装置は、
ワークモデル及び当該ワークモデル上の前記ハンドによる把持位置情報の入力を受け付けるワークモデル入力部と、
ワークが存在する前記作業空間の三次元計測を行う計測部と、
前記計測部による三次元計測結果と、前記ワークモデル入力部により入力された前記ワークモデルとに基づいて、前記作業空間に積み上げられたワークの把持位置をサーチするサーチ部と、を備えており、
前記干渉判定部は、前記サーチ部でサーチされたワークの把持位置を把持する際に前記ハンドが周囲の物体と干渉するか否かを判定し、周囲の物体との干渉を回避する前記ハンドの姿勢を決定する画像処理装置。
【請求項11】
請求項１０に記載の画像処理装置において、前記画像処理装置は、
前記干渉判定部による判定結果に基づいて、前記ハンドが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶように前記ハンドの経路生成を行う経路生成部を備えている画像処理装置。
【請求項12】
請求項１から１１のいずれか１つに記載の画像処理装置において、前記算出部は、前記撮像部により撮像したハンドの位置及び姿勢をフランジ座標系に変換し、フランジ座標系での原点位置から前記フランジに取り付けられた前記ハンドの取付位置の誤差を算出する画像処理装置。
【請求項13】
請求項１２に記載の画像処理装置において、前記算出部は、ハンドの位置及び姿勢の変数ごとに誤差を算出し、
前記画像処理装置は、前記算出部が算出した誤差を変数ごとに表示する表示部を備えている画像処理装置。
【請求項14】
請求項１から１３のいずれか１つに記載の画像処理装置において、前記登録部は、前記ハンドの形状と、前記ハンドの前記フランジに対する位置とを登録可能に構成され、
前記算出部は、前記取得部により取得された前記ロボットの座標を前記撮像部の座標系へ変換し、前記登録部により登録された前記ハンドの前記フランジに対する位置に基づいて、前記フランジに取り付けられた前記ハンドの取付位置の誤差を算出し、算出した誤差に基づいて、前記フランジに対する前記ハンドの取付位置を修正することで仮想ハンドモデルを作成する画像処理装置。
【請求項15】
作業空間に積み上げられた複数のワークの中から所定のワークをフランジに取り付けられたハンドで把持して順次取り出すピッキング動作を行うロボットの制御に用いられる画像処理装置であって、前記ハンドに把持されるキャリブレーションワークを撮像する撮像部と、
前記撮像部により撮像されたキャリブレーションワークの位置及び姿勢を撮像部の座標系で決定する決定部と、
前記撮像部により前記キャリブレーションワークが撮像された際の前記ロボットの座標と、前記決定部により決定された前記キャリブレーションワークの位置及び姿勢とに基づいて前記撮像部の座標系と前記ロボットの座標系との変換規則であるキャリブレーションデータを生成するキャリブレーション実行部と、を備え、
前記キャリブレーション実行部は、
キャリブレーションを実行する実行領域の入力を受け付けるとともに、第１のキャリブレーションを実行し、該第１のキャリブレーションにより、前記ロボットと前記撮像部との位置関係を定める第１のキャリブレーションデータを生成し、前記実行領域でのキャリブレーションが実行可能であるか否かを前記第１のキャリブレーションデータに基づいて判定する画像処理装置。
【請求項16】
請求項１５に記載の画像処理装置において、前記キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる範囲で実行される第２のキャリブレーションを前記実行領域に対して実行することで、第２のキャリブレーションデータを生成し、前記キャリブレーションデータを生成する画像処理装置。
【請求項17】
請求項１６に記載の画像処理装置において、前記キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる第２のキャリブレーションを前記実行領域に対して実行することで第２のキャリブレーションデータを生成し、
前記撮像部により前記ハンドが撮像された際の前記ロボットのロボット座標系における座標を取得する取得部を備え、
前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成された第２のキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出する算出部を備えている画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ピッキング動作を行うロボットの制御に用いられる画像処理装置に関する。
【背景技術】
【0002】
例えば各種製品の組み立て現場では、通い箱等に収容されている複数の部品（ワーク）を産業用ロボットのアームに取り付けられたハンドで把持して順次取り出し、所定場所まで搬送することが行われている。
【0003】
特許文献１には、ワーク収容箱に収容された山積みのワークを撮像して距離画像を取得する距離センサと、取得した距離画像から把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を判定する判定装置とを備えた山積みピッキングシステムが開示されている。判定装置は、距離センサが取得した距離画像から三次元点群データを生成し、生成した三次元点群データと、予め登録してあるワークの三次元形状モデルとのパターンマッチングを行って把持対象ワークを特定し、特定された把持対象ワーク領域の三次元点を除いた三次元形状データとハンドモデルとを用いて、三次元空間的な重なりを検出することで干渉の有無を判定している。
【0004】
また、特許文献２には、画像処理装置に表示される座標系で算出された位置座標を、ロボットコントローラがハンドを動作させる座標系の位置座標へと座標変換をするための変換式を算出するキャリブレーションを実行する画像処理装置が開示されている。この画像処理装置は、平面内でハンドを複数箇所に順次移動させて当該ハンドの各位置座標を取得するとともに、各移動先にて撮像されたワークの画像に基づいてワークの位置座標を取得する。そして、ハンドの各位置座標とワークの各位置座標とに基づいてキャリブレーションを実行し、両座標間の変換規則を算出する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０２０－０４９６５１号公報
【文献】特開２０１６－１２０５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ロボットに取り付けられるハンドの種類は様々あり、ハンドの交換がユーザ側で自在に行えるように、ロボットのフランジにはハンドが着脱可能に取り付けられている。ハンドのフランジへの取付位置及び姿勢は設計値通りになるようにユーザに対して指定されており、例えば特許文献１の干渉判定を行う際には、ハンドが設計値通りにフランジに取り付けられていることを前提として干渉の有無を判定している。
【0007】
しかしながら、実際にピッキング作業が行われる現場では、ハンドが必ずしも設計値通りにフランジに取り付けられているとは限らず、ハンドの取付位置及び姿勢が設計値からずれている場合がある。そのずれ量が大きいと、干渉判定において干渉しないと判定された解であるのにハンドが周辺物体に干渉してしまったり、逆に、干渉判定において干渉すると判定された解であるのにハンドが周辺物体に干渉しないといったことが起こり得る。つまり、実際に取り付けられているハンドの干渉判定結果が適切でない場合があり、このことは干渉判定に基づいてピッキングの実行可否を決定する上で問題となる。
【0008】
この問題を少しでも解消するべく、例えばガイドピンなどを設けてハンドの取付位置及び姿勢が設計値からずれないようにする試みがなされているが、ずれを略０にすることは難しい。
【0009】
そこで、ずれを略０にするのではなく、ある程度のずれが生じてしまうことを前提としてそのずれを許容するものとし、ソフトウェア上でハンドの位置調整を行うことで干渉判定の精度を高める手法が考えられる。その手法の一つとして、ハンドの三次元モデルであるハンドモデルと、実際に三次元カメラで撮像した画像に含まれているハンド（実物）とをモニタ上で比べる方法を挙げることができる。この手法では、まず、ロボット座標を基準としたフランジの位置及び姿勢と、ロボット座標及びカメラ座標間のキャリブレーションデータと、フランジ座標基準のハンドの位置及び姿勢とを使用することで、カメラ座標でのハンドの位置及び姿勢を算出する。その後、算出したカメラ座標基準でのハンドモデルの位置及び姿勢と、三次元カメラで撮像した実物のハンドの点群データとを重ね合わせてモニタに表示する。これにより、実際に取り付けられているハンドの取付位置及び姿勢が設計値からどの程度ずれているかを画像化してユーザに提示できる。ユーザは、提示された画像を利用してハンドの位置及び姿勢を調整することで、実際に生じているずれを干渉判定の設定値に反映することが可能になる。
【0010】
ところが、ハンドの位置及び姿勢の変数は、一般的にＸ、Ｙ、Ｚ、Ｒｘ、Ｒｙ、Ｒｚと多いので、ユーザがハンドの位置及び姿勢を手動で調整するのは難しく、手間がかかる。
【0011】
本開示は、かかる点に鑑みたものであり、その目的とするところは、ハンドの取付位置及び姿勢が設計値からずれていても、ユーザによる面倒な調整作業を不要にしながら、実際のハンドの位置及び姿勢を基準とした干渉判定ができるようにすることにある。
【課題を解決するための手段】
【0012】
上記目的を達成するために、第１の開示は、作業空間に積み上げられた複数のワークの中から所定のワークを把持して順次取り出すピッキング動作を行うロボットの制御に用いられる画像処理装置を前提とすることができる。
【0013】
画像処理装置は、ロボットのフランジに取り付けられるハンドの形状を示すハンドモデルを登録する登録部と、前記ロボットのフランジに取り付けられたハンドを撮像する撮像部と、前記登録部で登録されたハンドモデル及び前記撮像部により撮像された画像とをパターンマッチングすることにより、前記ロボットのフランジに取り付けられたハンドの位置及び姿勢を前記撮像部の座標系で決定する決定部と、前記撮像部により前記ハンドが撮像された際の前記ロボットのロボット座標系における座標を取得する取得部と、前記撮像部の座標系と前記ロボット座標系との変換規則であるキャリブレーションデータを生成するキャリブレーション実行部と、前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成されたキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出する算出部と、前記算出部で算出された前記取付位置に取り付けられていると仮定された仮想ハンドモデルが、前記ピッキング動作を行う際に周囲の物体と干渉するか否かを判定する干渉判定部とを備えた構成とすることができる。
【0014】
この構成によれば、登録部において、ロボットのフランジに取り付けられるハンドモデルとして、例えばハンドの三次元ＣＡＤデータ等を登録しておき、後でそのデータを使用することが可能になる。一方、撮像部は、ロボットのフランジに実際に取り付けられた状態でピッキング動作を行う実物のハンドを含む領域を撮像することにより、実物のハンドを含む画像を取得する。その後、決定部は、フランジに実際に取り付けられている実物のハンドを含む画像中に、上記ハンドモデルが存在するか否かをパターンマッチングによって判定し、その判定結果に基づいて、ロボットのフランジに取り付けられた実物のハンドの位置及び姿勢を撮像部の座標系で決定することができる。パターンマッチングの手法は、例えば三次元マッチング、三次元サーチ等とも呼ばれている手法であり、いずれの手法でも、画像中に実物のハンドが含まれていれば、そのハンドを検出して当該ハンドの位置及び姿勢を決定できる。
【0015】
また、キャリブレーション実行部が撮像部の座標系とロボット座標系との変換規則であるキャリブレーションデータを生成する。また、撮像部により実物のハンドが撮像された時点におけるロボットの座標を取得部が取得する。これにより、設計値を基準にしたとき、ハンドがどこにどのような姿勢で存在するべきであるかが分かる。そのロボットの座標と、決定部により決定された実物のハンドの位置及び姿勢と、キャリブレーションデータに基づくことで、算出部が、フランジに実際に取り付けられているハンドの当該フランジに対する取付位置を算出できる。つまり、ハンドがフランジに対して設計値からずれて取り付けられていた場合に、そのずれを例えば具体的な数値等で取得することも可能になる。
【0016】
そして、干渉判定部は、算出部で算出された取付位置に取り付けられていると仮定された仮想ハンドモデルがピッキング動作を行う際に周囲の物体と干渉するか否かを判定することが可能になるので、ユーザがモニタを見ながら手動で調整作業することなく、実際のハンドの位置及び姿勢を基準とした干渉判定ができる。
【0017】
第２の開示では、登録部がロボットアームの形状を示すロボットモデルの登録を受け付けることができる。また、干渉判定部は、前記ロボットモデルと、前記仮想ハンドモデルとに基づいて、前記ロボットモデル及び前記仮想ハンドモデルが周囲の物体と干渉するか否かを判定することができる。この構成では、仮想ハンドモデルの干渉判定だけでなく、ロボットモデルについても干渉判定を行うことができる。
【0018】
第３の開示では、キャリブレーション実行部は、第１のキャリブレーションを実行し、該第１のキャリブレーションにより、前記ロボットと前記撮像部との位置関係を定める第１のキャリブレーションデータを生成することができる。
【0019】
第４の開示では、キャリブレーション実行部は、キャリブレーションを実行する実行領域の入力を受け付け、入力された該実行領域でのキャリブレーションが実行可能であるか否かを前記第１のキャリブレーションデータに基づいて判定することができる。
【0020】
第５の開示では、キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる第２のキャリブレーションを前記実行領域に対して実行することで第２のキャリブレーションデータを生成することができる。算出部は、前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成された第２のキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出することができる。
【0021】
第６の開示では、前記算出部は、前記決定部により決定された前記ハンドの位置及び姿勢から算出された前記ハンドの原点位置と、前記ハンドが取り付けられるべき規定位置が予め定められたロボットの座標との差分を求め、求めた差分に従い、前記フランジに取り付けられた前記ハンドの取付位置を算出することができる。
【0022】
ハンドの原点位置は、例えばハンドの三次元ＣＡＤデータの原点位置とすることができる。このハンドの原点位置は、決定部によりハンドの位置及び姿勢が決定されることで算出可能である。また、ハンドが取り付けられるべき位置は設計値によって規定されており、この位置情報は予め取得可能である。ハンドの原点位置と、予め規定されているハンドが取り付けられるべき位置を示すロボットの座標との差分を求めることで、フランジに対するハンドの取付位置を容易にかつ正確に算出できる。
【0023】
第７の開示では、前記干渉判定部は、前記算出部により算出された差分に従って、前記ハンドモデルを前記規定位置からオフセットさせた位置に前記仮想ハンドモデルを作成し、該仮想ハンドモデルが周囲の物体と干渉するか否かを判定することができる。
【0024】
第８の開示では、前記登録部は、前記ハンドの三次元ＣＡＤデータの入力及び当該三次元ＣＡＤデータの原点位置情報の入力を受け付け、入力された三次元ＣＡＤデータで表されるモデルを前記ハンドモデルとして登録することができる。
【0025】
この構成によれば、簡単に高精度なハンドモデルを取得することができる。また、三次元ＣＡＤデータの原点位置情報も入力されるので、上記第２の開示における三次元ＣＡＤデータの原点位置も容易に取得できる。
【0026】
第９の開示では、前記登録部は、前記ハンドの三次元ＣＡＤデータの入力及び前記フランジの座標を基準とした前記ハンドの位置及び姿勢の入力を受け付け、入力された三次元ＣＡＤデータで表されるモデルを前記ハンドモデルとして登録することができる。また、前記取得部は、前記フランジの座標を前記ロボットの座標として取得することができる。さらに、前記算出部は、前記フランジの座標と、前記決定部により決定された前記ハンドの位置及び姿勢に基づいて、前記フランジに対する前記ハンドの取付位置を算出することができる。
【0027】
この構成によれば、フランジの座標を基準としたハンドの位置及び姿勢を取得できるので、フランジの原点位置にハンドが設計値通りに取り付けられているか否かを判定できる。
【0028】
第１０の開示では、前記画像処理装置は、ワークモデル及び当該ワークモデル上の前記ハンドによる把持位置情報の入力を受け付けるワークモデル入力部と、ワークが存在する前記作業空間の三次元計測を行う計測部と、前記計測部による三次元計測結果と、前記ワークモデル入力部により入力された前記ワークモデルとに基づいて、前記作業空間に積み上げられたワークの把持位置をサーチするサーチ部と、を備えた構成とすることができる。前記干渉判定部は、前記サーチ部でサーチされたワークの把持位置を把持する際に前記ハンドが周囲の物体と干渉するか否かを判定し、周囲の物体との干渉を回避する前記ハンドの姿勢を決定することができる。
【0029】
この構成によれば、ワークが積み上げられた作業空間に把持可能なワークがある場合には、その把持可能なワークを、把持位置情報に基づいてハンドで把持しようとした際に、ハンドが周囲の物体と干渉するか否かを判定できる。ハンドが周囲の物体と干渉してしまう場合には、サーチ部において把持可能であると判定されていても、実際のピッキング動作は行えないので、干渉判定部は、ピッキング動作が可能となるように、ハンドの姿勢を変えることで、干渉しないハンドの姿勢を決定できる。尚、干渉しないハンドの姿勢が存在しない場合もある。また、ワークモデル上のハンドによる把持位置を複数入力しておくこともできる。
【0030】
第１１の開示では、前記画像処理装置は、前記干渉判定部による判定結果に基づいて、前記ハンドが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶように前記ハンドの経路生成を行う経路生成部を備えた構成とすることができる。
【0031】
この構成によれば、実際のハンドの位置及び姿勢を反映させた適切な経路生成を行うことができる。
【0032】
第１２の開示では、前記算出部は、前記撮像部により撮像したハンドの位置及び姿勢をフランジ座標系に変換し、フランジ座標系での原点位置から前記フランジに取り付けられた前記ハンドの取付位置の誤差を算出することができる。
【0033】
すなわち、干渉判定部での干渉判定は、ロボット座標系で行うのが一般的である。本開示では、撮像部の座標系ではなく、フランジ座標系、即ちロボット座標系でハンドの取付位置の誤差を算出することができるので、その後の干渉判定の処理が容易になる。
【0034】
第１３の開示では、前記算出部は、ハンドの位置及び姿勢の変数ごとに誤差を算出し、前記画像処理装置は、前記算出部が算出した誤差を変数ごとに表示する表示部を備えた構成とすることができる。
【0035】
ハンドの位置及び姿勢の変数としては、一般的にＸ、Ｙ、Ｚ、Ｒｘ、Ｒｙ、Ｒｚがあり、これら変数ごとに誤差を算出することができる。算出した誤差は、変数ごとに表示部に表示されるので、ユーザは変数ごとに誤差を把握できる。
【0036】
第１４の開示では、前記登録部は、前記ハンドの形状と、前記ハンドの前記フランジに対する位置とを登録可能に構成されている。また、前記算出部は、前記取得部により取得された前記ロボットの座標を前記撮像部の座標系へ変換し、前記登録部により登録された前記ハンドの前記フランジに対する位置に基づいて、前記フランジに取り付けられた前記ハンドの取付位置の誤差を算出し、算出した誤差に基づいて、前記フランジに対する前記ハンドの取付位置を修正することで仮想ハンドモデルを作成することができる。
【0037】
第１５の開示では、画像処理装置は、キャリブレーションワークを撮像する撮像部と、前記撮像部により撮像されたキャリブレーションワークの位置及び姿勢を撮像部の座標系で決定する決定部と、前記撮像部により前記キャリブレーションワークが撮像された際の前記ロボットの座標と、前記決定部により決定された前記キャリブレーションワークの位置及び姿勢とに基づいて前記撮像部の座標系と前記ロボットの座標系との変換規則であるキャリブレーションデータを生成するキャリブレーション実行部とを備えている。前記キャリブレーション実行部は、キャリブレーションを実行する実行領域の入力を受け付けるとともに、第１のキャリブレーションを実行し、該第１のキャリブレーションにより、前記ロボットと前記撮像部との位置関係を定める第１のキャリブレーションデータを生成し、前記実行領域でのキャリブレーションが実行可能であるか否かを前記第１のキャリブレーションデータに基づいて判定することができる。
【0038】
第１６の開示では、前記キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる第２のキャリブレーションを前記実行領域に対して実行することで、第２のキャリブレーションデータを生成し、前記キャリブレーションデータを生成することができる。
【0039】
第１７の開示では、キャリブレーション実行部は、前記実行領域でのキャリブレーションが実行可能であると判定された場合に、前記第１のキャリブレーションとは異なる第２のキャリブレーションを前記実行領域に対して実行することで第２のキャリブレーションデータを生成することができる。また、算出部は、前記取得部により取得された前記ロボットの座標、前記決定部により決定された前記ハンドの位置及び姿勢と、前記キャリブレーション実行部により生成された第２のキャリブレーションデータとに基づいて、前記フランジに対する前記ハンドの取付位置を算出することができる。
【発明の効果】
【0040】
以上説明したように、本開示によれば、実際のハンドの取付位置を反映させた上で、当該ハンドが周囲の物体と干渉するか否かを判定できるので、フランジに取り付けられているハンドの取付位置及び姿勢が設計値からずれていても、ユーザによる面倒な調整作業を不要にしながら、実際のハンドの位置及び姿勢を基準とした干渉判定が行え、適切な判定結果を得ることができる。
【図面の簡単な説明】
【0041】
【図1】ロボットシステムを用いてばら積みピッキング動作を行う様子を示す模式図である。
【図2A】ロボットハンドでワークを把持する例を示す模式図である。
【図2B】空洞を有するワークを内面から把持する例を示す模式図である。
【図2C】板状のワークを吸引して把持する例を示す模式図である。
【図3】アームの先端部の斜視図である。
【図4】ハンドが取り付けられたアームの先端部の斜視図である。
【図5】ロボットシステムの概略構成を示すブロック図である。
【図6】ロボットシステムの詳細構成を示すブロック図である。
【図7】センサ部の一例を示す斜視図である。
【図8】画像処理装置によるハンドの取付位置算出処理の手順の一例を示すフローチャートである。
【図9】ワークモデルの登録の手順の一例を示すフローチャートである。
【図10】ハンドモデル及び把持位置の登録の手順の一例を示すフローチャートである。
【図11】キャリブレーションの手順の一例を示すフローチャートである。
【図12】中心ロボット位置を設定する際に表示されるユーザインターフェース画面の一例を示す図である。
【図13】検出ツールを設定する際に表示されるユーザインターフェース画面の一例を示す図である。
【図14】ツール中心算出の際に表示されるユーザインターフェース画面の一例を示す図である。
【図15】キャリブレーション実行の際に表示されるユーザインターフェース画面の一例を示す図である。
【図16】移動間隔設定用ウインドウの一例を示す図である。
【図17】ロボット動作チェック用ウインドウの一例を示す図である。
【図18】動作チェック後、問題がない場合に表示されるユーザインターフェース画面の一例を示す図である。
【図19】動作チェック後、問題がある場合に表示されるユーザインターフェース画面の一例を示す図である。
【図20】ハンド撮像時に表示されるユーザインターフェース画面の一例を示す図である。
【図21】６変数の誤差を個別に表示する誤差表示ウインドウの一例を示す図である。
【図23】干渉判定の手順の一例を示すフローチャートである。
【図24】干渉判定終了後にロボットを動作させる手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0042】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0043】
図１は、本発明の実施形態に係るロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に積み上げられた複数のワークＷＫの中から把持可能な所定のワークＷＫを、ロボットＲＢＴを用いて順次取り出し、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキング動作を行う例について示している。このばら積みピッキング動作は、把持可能なワークＷＫが無くなるまで繰り返し実行される。
【0044】
ロボットシステム１０００は、ロボットＲＢＴと、ロボットＲＢＴを制御するロボットコントローラ６とを備えている。さらに、この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、図５に示すようにロボット設定装置１００と、センサ部２と、表示部３と、操作部４と、ロボット操作具７とを備える。
【0045】
図１に示すロボットＲＢＴは、産業用の汎用ロボットであり、工場等の床面に対して固定されるベース部ＢＳを備えている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部ＢＳから延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたエンドエフェクタとしてロボットハンドＨＮＤ（以下、単に「ハンド」という）とを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってハンドＨＮＤを可動範囲内の所望の位置まで移動させることができる。
【0046】
ハンドＨＮＤは、ワークＷＫを把持可能に構成されている。ハンドＨＮＤは、図２Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のハンドＨＮＤ１、図２Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のハンドＨＮＤ２、図２Ｃに示すように板状のワークＷＫ３を吸引して保持するハンドＨＮＤ３等があり、いずれのエンドエフェクタも使用することができる。また、本明細書で「把持」とは、図２Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。
【0047】
図３に示すように、ハンドＨＮＤの先端部には、フランジＦＬＧが固定されている。上述したようにハンドＨＮＤの種類は様々あり、ワークＷＫに応じて変更する必要があるので、ハンドＨＮＤの交換がユーザ側で自在に行えるように、図４に示すようにフランジＦＬＧにハンドＨＮＤが着脱可能に取り付けられている。ハンドＨＮＤのフランジＦＬＧへの取付位置及び姿勢は設計値通りになるように指定されている。ハンドＨＮＤのフランジＦＬＧへの取付位置及び姿勢が設計値通りになるように、例えばガイドピン（図示せず）などを設けておくこともできるが、ガイドピンなどが設けられていたとしても、実際にピッキング作業が行われる現場では、ハンドＨＮＤが必ずしも設計値通りにフランジＦＬＧに取り付けられているとは限らず、ハンドＨＮＤの取付位置及び姿勢が設計値からずれていることがあり得る。
【0048】
（座標系の説明）
本実施形態に係るロボットシステム１０００では、ロボット座標系と、カメラ座標系と、フランジ座標系と、ツール座標系とが存在している。ロボット座標系は、図１に示すように原点を点ＯＲとした三次元座標系であり、例えばロボットＲＢＴの取付位置を原点としたときの座標系である。ロボット座標系は、ロボットＲＢＴの各部（フランジＦＬＧ、アームＡＲＭ等）の位置の基準となる座標系である。図１では、ロボット座標系の原点ＯＲがロボットＲＢＴの基部の中心である例を示しているが、これに限らず、例えば、ベース部ＢＳの上面の中心をロボット座標系の原点ＯＲとしてもよい。また、一般的に、ロボット座標とは、ロボット座標系におけるフランジＦＬＧの位置を示している。
本実施形態に係るロボットシステム１０００では、ロボット座標系と、カメラ座標系と、フランジ座標系と、ツール座標系とが存在している。ロボット座標系は、図１に示すように原点を点ＯＲとした三次元座標系であり、例えばロボットＲＢＴの取付位置を原点としたときの座標系である。ロボット座標系は、ロボットＲＢＴの各部（フランジＦＬＧ、アームＡＲＭ等）の位置の基準となる座標系である。図１では、ロボット座標系の原点ＯＲがロボットＲＢＴの基部の中心である例を示しているが、これに限らず、例えば、ベース部ＢＳの上面の中心をロボット座標系の原点ＯＲとしてもよい。また、一般的に、ロボット座標とは、ロボット座標系におけるフランジＦＬＧの位置を示している。
【0049】
この実施形態では、詳細は後述するが、センサ部２は、いわゆるカメラを備えた構成とすることもでき、所定の撮像視野内を撮像可能に構成されている。このセンサ部２で撮像された画像内の各点の基準となる座標系としてカメラ座標系（撮像部の座標系）が定義されている。カメラ座標系の一例として、Ｘ，Ｙはセンサ部２の真下を原点ＯＣにし、Ｚはセンサ部２による計測レンジの中央を原点ＯＣにしているが、これに限られるものではない。
【0050】
フランジ座標系は、図３に示すようにフランジＦＬＧの取付面の中心を原点ＯＦとした三次元座標系である。また、ハンドＨＮＤをツールと呼ぶこともでき、図４に示すように、ツール座標系はツールの先端を原点ＯＴとした三次元座標系である。ツール座標系の原点ＯＴは、ツールの先端に限られるものではなく、ツールの任意の位置であってもよい。
【0051】
（ロボットの制御）
ロボットＲＢＴは、図１に示すロボットコントローラ６によって制御される。ロボットコントローラ６はアーム部ＡＲＭの動作やハンドＨＮＤの開閉動作等を制御する。またロボットコントローラ６は図５に示すロボット設定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの三次元形状を、三次元カメラや照明等を含むセンサ部２を使用して取得し、ロボット設定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。
ロボットＲＢＴは、図１に示すロボットコントローラ６によって制御される。ロボットコントローラ６はアーム部ＡＲＭの動作やハンドＨＮＤの開閉動作等を制御する。またロボットコントローラ６は図５に示すロボット設定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの三次元形状を、三次元カメラや照明等を含むセンサ部２を使用して取得し、ロボット設定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。
【0052】
図５に示す操作部４では、後述するピッキング動作時の干渉判定の設定、画像処理に関する各種設定を行う。また、表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、ロボット設定装置１００の動作状態の確認、ハンドＨＮＤの取付状態の確認等を行う。さらに、ロボット設定装置１００の内部に設けられている画像処理装置３００（図６に示す）が例えば三次元サーチ、干渉判定、把持解の算出等を行う。
【0053】
一方、ロボットコントローラ６はロボット設定装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図５の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。
【0054】
センサ部２は、ロボットビジョンなどと呼ばれる部材であり、撮像対象物を撮像する撮像部と呼ぶこともできる。この実施形態では、ハンドＨＮＤ及びワークＷＫが少なくともセンサ部２の撮像対象物となる。ワークＷＫを撮像する際には、容器ＢＸが撮像対象物として含まれていてもよい。また、ハンドＨＮＤを撮像する際には、フランジＦＬＧやアーム部ＡＲＭが撮像対象物として含まれていてもよい。
【0055】
センサ部２で撮像された画像から、ばら積みされたワークＷＫの三次元形状を示す三次元形状データを取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、センサ部２で撮像された画像から取得することができる。同様に、ハンドＨＮＤの三次元形状を示す三次元形状データ、フランジＦＬＧの三次元形状を示す三次元形状データ等もセンサ部２で撮像された画像から取得することができる。
【0056】
尚、上記各三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。
【0057】
センサ部２は、測定対象物であるワークＷＫの形状を測定する形状測定装置と呼ぶこともでき、ワークＷＫが存在する作業空間の三次元計測を行う計測部２ａ（図６に示す）を備えている。このため、センサ部２によってハンドＨＮＤ、ワークＷＫや容器ＢＸの形状を測定することもできる。センサ部２は、ロボット設定装置１００の一部とすることができるが、別部材として構成することもできる。センサ部２の具体的な構成は、三次元形状の計測技術に応じて決定される。
【0058】
本例では、センサ部２は、計測部２ａの他に、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、センサ部２として図７に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、撮像対象物に光を照射するための部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されて撮像対象物の表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。
【0059】
センサ部２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした三次元撮像ヘッドを、センサ部２とすることができる。
【0060】
また三次元形状データの生成自体はセンサ部２の計測部２ａで行うことができる。この場合、計測部２ａには、三次元形状データの生成機能を実現する画像処理ＩＣ等を設けておけばよい。あるいは、三次元形状データの生成を、センサ部２側で行わず、センサ部２で撮像した生画像を、画像処理装置３００へ転送し、画像処理装置３００内の計測部（図示せず）で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。センサ部２は、撮像データである三次元形状データを後述する決定部３０５等に出力することができる。
【0061】
ロボット設定装置１００は、センサ部２で得られたワークＷＫの三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。このロボット設定装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。
【0062】
なお図５の例では、センサ部２やロボットコントローラ６等をロボット設定装置１００とは別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部２と画像処理装置１００とを一体化したり、あるいはロボットコントローラ６をロボット設定装置１００に組み込むこともできる。このように、図５に示す部材の区分けは一例であって、複数の部材を統合させることもできる。
【0063】
センサ部２はロボットＲＢＴと別体としている。すなわち、センサ部２をロボット本体５のアーム部ＡＲＭに設けない、オフハンド形式と呼ばれる形態となっている。尚、センサ部２をアーム部ＡＲＭに設けてもよい。
【0064】
表示部３は、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等で構成できる。また、操作部４は、例えば、キーボードやマウス、ポインティングデバイス等の各種入力デバイスで構成できる。また、表示部３をタッチパネル式ディスプレイとすることで、操作部４と表示部３とを一体化することもできる。
【0065】
例えばロボット設定装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、表示部３上には画像処理プログラムのグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、また各種画像や干渉判定結果等の処理結果を表示させることができる。この場合、表示部３を各種の設定を行うための設定部としても利用でき、設定部には操作部４が含まれていてもよい。
【0066】
ロボットコントローラ６は、センサ部２で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、ペンダントなどが利用できる。
【0067】
ワークＷＫは、図１に示すように複数個が容器ＢＸに無作為に収容されている。このような作業空間の上方には、センサ部２が配置されている。ロボットコントローラ６は、センサ部２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを決定するとともに把持候補位置も決定して、この把持対象のワークＷＫを把持候補位置で把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持したまま、アーム部ＡＲＭを動作させて予め定められた所定の載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２及びロボット設定装置１００で特定されたピッキング対象のワークＷＫをハンドＨＮＤで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してハンドＨＮＤを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等であってもよい。
【0068】
ここで本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器ＢＸを用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫを把持して搬送する用途にも適用できる。
【0069】
また、図１の例ではセンサ部２を作業空間の上方に固定しているが、センサ部２の固定位置は、作業空間を撮像できる位置であればよく、例えば作業空間の斜め上方や側方、下方、斜め下方など、任意の位置に配置することができる。さらにセンサ部２が有するカメラや照明の数も、１個に限らず複数個としてもよい。さらにまたセンサ部２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。
【0070】
ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、ハンドＨＮＤがどのような姿勢で把持するのか、把持位置及び姿勢などの登録を行う。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、後述するように、実際のロボットを操作せずに、ビジョン空間上で設定を行うこともできる。
【0071】
表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、ハンドＨＮＤの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたエンドエフェクタモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させることもできる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになり、従来面倒であった把持位置の設定作業を容易に行えるようになる。
【0072】
（画像処理装置３００の構成）
図６に示すように、ロボット設定装置１００は、画像処理装置３００を備えている。画像処理装置３００は、センサ部２、操作部４及び表示部３を備えた構成とすることができる。また、画像処理装置３００は、ワークモデルを入力するワークモデル入力部３０１と、ハンドモデルを登録する登録部３０２とを備えている。また、画像処理装置３００は、キャリブレーション実行部３０３と、ロボットＲＢＴの座標を取得する取得部３０４と、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する決定部３０５と、ハンドＨＮＤの取付位置を算出する算出部３０６とを備えている。さらに、画像処理装置３００は、ワークＷＫの把持位置をサーチするサーチ部３０７と、ハンドＨＮＤが周囲の物体と干渉するか否かを判定する干渉判定部３０８と、経路生成部３０９とを備えている。以下、画像処理装置３００の各部が実行する処理について具体的に説明する。
図６に示すように、ロボット設定装置１００は、画像処理装置３００を備えている。画像処理装置３００は、センサ部２、操作部４及び表示部３を備えた構成とすることができる。また、画像処理装置３００は、ワークモデルを入力するワークモデル入力部３０１と、ハンドモデルを登録する登録部３０２とを備えている。また、画像処理装置３００は、キャリブレーション実行部３０３と、ロボットＲＢＴの座標を取得する取得部３０４と、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する決定部３０５と、ハンドＨＮＤの取付位置を算出する算出部３０６とを備えている。さらに、画像処理装置３００は、ワークＷＫの把持位置をサーチするサーチ部３０７と、ハンドＨＮＤが周囲の物体と干渉するか否かを判定する干渉判定部３０８と、経路生成部３０９とを備えている。以下、画像処理装置３００の各部が実行する処理について具体的に説明する。
【0073】
図８は、画像処理装置３００による干渉判定の手順の一例を示すフローチャートである。ステップＳＡ１は、干渉判定を実行する環境の設定ステップである。この設定の主要な手順は、図９に示すワークモデルの登録の手順を示すフローチャートと、図１０に示すハンドモデル及び把持位置の登録の手順を示すフローチャートに示す通りである。ワークモデルの登録と、ハンドモデル及び把持位置の登録とは、どちらを先に行ってもよい。
【0074】
（ワークモデル入力部３０１の構成）
図６に示すワークモデル入力部３０１は、ワークモデル及び当該ワークモデル上のハンドＨＮＤによる把持位置情報の入力を受け付ける部分である。具体的には、図９に示すフローチャートに従ってワークモデル及び把持位置情報を入力し、登録することができる。
図６に示すワークモデル入力部３０１は、ワークモデル及び当該ワークモデル上のハンドＨＮＤによる把持位置情報の入力を受け付ける部分である。具体的には、図９に示すフローチャートに従ってワークモデル及び把持位置情報を入力し、登録することができる。
【0075】
開始後のステップＳＢ１はワークモデルの入力ステップである。ワークモデルとは、後述するワークＷＫのサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルであり、サーチモデルと呼ぶこともできる。ステップＳＢ１でワークモデルを入力する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、画像処理装置３００が有する記憶部３２０（図６に示す）に一旦記憶させておくことができる。この三次元ＣＡＤデータは、例えば従来から一般的に用いられているフォーマットのデータを使用することができ、任意のタイミングで読み出して使用することができる。
【0076】
この実施形態では、三次元ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いている。ＳＴＬ形式は、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークモデルとして、三次元情報を有する点群データで構成してもよい。あるいはまた、ワークモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。
【0077】
ステップＳＢ１でワークモデルを入力した後、ステップＳＢ２に進み、ワークモデルの確認及び登録を行う。例えば、入力したワークモデルのＣＡＤデータを表示部３に表示させることにより、画像処理装置３００の使用者が、所望のワークモデルであるか否かを確認することができる。その結果、所望のワークモデルである場合には、そのワークモデルを画像処理装置２００に登録する。確認の結果、所望のワークモデルでない場合には、別の三次元ＣＡＤデータを選択して入力し、再び確認する。
【0078】
ステップＳＢ１で読み込んだ三次元ＣＡＤモデルの六面、即ち、三次元ＣＡＤモデルを「上」、「下」、「左」、「右」、「前」、「後」の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。「上」はＺ軸の正方向（プラス側）から見た高さ画像、「下」はＺ軸の負方向（マイナス側）から見た高さ画像、「左」はＸ軸の負方向から見た高さ画像、「右」はＸ軸の正方向から見た高さ画像、「前」はＹ軸の負方向から見た高さ画像、「後」はＹ軸の正方向から見た高さ画像に対応する。ただ、これらは一例であって、異なる座標系を用いてもよいし、Ｘ－Ｙ平面におけるＸ＝Ｙの直線を軸として、この軸と互いに直交する座標系に基づいて、各軸の正負方向から見た高さ画像を用いてもよい。また、三次元ＣＡＤデータから、高さ画像を生成する際、必ずしもＣＡＤデータの軸に直交した方向（「上」、「下」、「左」、「右」、「前」、「後」）から見た高さ画像である必要はなく、例えばワークモデルの姿勢（視点）を任意に変えて、変えた状態の視点から高さ画像を生成するようにしてもよい。
【0079】
また、ＣＡＤモデルが三次元ＣＡＤデータからなるものであるので、三次元ＣＡＤデータをＣＡＤモデルのＸ、Ｙ、Ｚ座標のそれぞれについてプラス方向及びマイナス方向の各方向から見たときの高さ画像に変換することで、ＣＡＤモデルの六面について高さ画像を得ることができる。
【0080】
上述のようにして生成した６つの高さ画像の中で同じ見え方になる高さ画像を削除することもできる。見え方の一致／不一致は、ワークの上下（Ｚ軸の正負方向）、前後（Ｙ軸の正負方向）、左右（Ｘ軸の正負方向）から見た、計六面の高さ画像を高さ画像データに基づいて生成し、高さ画像が一致しているか否かを確認する。ここでは９０°の刻み角度で回転させて一致しているか否かを確認し、他の面と一致する見え方となる面は、サーチモデルの登録対象から除外する。このような除外は、画像処理装置３００の使用者が手動で行うこともできるし、画像処理装置３００側で自動で行わせてもよいし、あるいはこれらを組み合わせて行うようにしてもよい。
【0081】
具体例について説明すると、例えば、ワークＷＫが直方体であった場合には、三次元ＣＡＤモデルを上から見た高さ画像と下から見た高さ画像とが同じになり、この場合には、いずれか一方を削除する。三次元ＣＡＤモデルを左から見た高さ画像と右から見た高さ画像も同じになるので一方を削除する。また、三次元ＣＡＤモデルを前から見た高さ画像と後から見た高さ画像も同じになるので一方を削除する。ワークＷＫが複雑な形状であっても、一方向から見た高さ画像と他方向から見た高さ画像が同じになることがあり、この場合も一方の高さ画像を削除することができる。ワークＷＫが立方体の場合は６面のうち、５面を削除することができる。
【0082】
同じになる画像の一方を削除した結果、残った高さ画像データを保存する。保存する高さ画像データが三次元ＣＡＤモデルの上下左右前後のいずれの方向から見た画像であるかを示す情報、即ち方向に関する情報を当該高さ画像データに付与し、この方向に関する情報と高さ画像データとを関連付けて画像処理装置３００の記憶部３２０に保存しておく。これにより、上下左右前後の各面の関係性情報を持った状態で各高さ画像データを保存しておくことができるので、１つのワークモデルを異なる方向から見た複数の高さ画像データを相互に関連付けて画像処理装置３００に登録しておくことが可能になる。
【0083】
したがって、高さ画像データを記憶部３２０から読み出したときに、例えば、三次元ＣＡＤモデルの６方向から見た高さ画像を関連付けて得ることができる。以上のように、ワークモデルを異なる方向から見た複数の高さ画像データをワークＷＫのサーチモデルとして登録することが可能になる。ワークＷＫのサーチモデルは、複数種登録しておくこともできる。尚、面の関係性情報を保存することなく、高さ画像データのみ保存するようにしてもよい。
【0084】
以上の方法は、ワークＷＫの三次元ＣＡＤデータが存在している場合の方法であるが、仮にワークＷＫの三次元ＣＡＤデータが無い場合には、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００のセンサ部２を利用して行うことができる。センサ部２により得られた計測データが出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。
【0085】
このようにして得られた高さ画像データに基づいて高さ画像を得た後、その高さ画像をワークＷＫのサーチモデルとして登録する。登録後、サーチに必要な分、登録し終えたか否かを判定する。この判定はユーザが行うことができるが、画像処理装置３００に行わせるようにしてもよい。すなわち、ワークＷＫを上下左右前後の各方向から見た形状が全て異なれば、六面の全てについて高さ画像を取得するのが好ましいが、上述した長方形の場合のように、同じ形状の面がある場合には六面の全てについて行わなくてもよい。サーチに必要な分、登録し終えたら、終了する。
【0086】
（登録部３０２の構成）
図６に示すように、登録部３０２は、ロボットＲＢＴのフランジＦＬＧに取り付けられるハンドＨＮＤの形状を示すハンドモデルを登録する部分である。登録部３０２によるハンドモデルの登録手順は、図１０に示すフローチャートの通りである。開始後のステップＳＣ１は、ロボットＲＢＴのハンドモデルを登録するステップである。ロボットＲＢＴのハンドモデルとは、ハンドＨＮＤの形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ハンドＨＮＤのポリゴンデータ（三次元ＣＡＤデータ）の入力を受け付ける。このステップＳＣ１では、ハンドＨＮＤのポリゴンデータを入力することにより、入力された三次元ＣＡＤデータで表されるモデルをハンドモデルとして登録する。ハンドＨＮＤの三次元ＣＡＤデータを入力する際に、当該三次元ＣＡＤデータの原点位置情報の入力も受け付ける。この原点位置情報の入力は、三次元ＣＡＤデータに付随するものであるため、ユーザによる入力作業は不要にして、ハンドＨＮＤの三次元ＣＡＤデータの入力と同時に入力することもできる。
図６に示すように、登録部３０２は、ロボットＲＢＴのフランジＦＬＧに取り付けられるハンドＨＮＤの形状を示すハンドモデルを登録する部分である。登録部３０２によるハンドモデルの登録手順は、図１０に示すフローチャートの通りである。開始後のステップＳＣ１は、ロボットＲＢＴのハンドモデルを登録するステップである。ロボットＲＢＴのハンドモデルとは、ハンドＨＮＤの形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ハンドＨＮＤのポリゴンデータ（三次元ＣＡＤデータ）の入力を受け付ける。このステップＳＣ１では、ハンドＨＮＤのポリゴンデータを入力することにより、入力された三次元ＣＡＤデータで表されるモデルをハンドモデルとして登録する。ハンドＨＮＤの三次元ＣＡＤデータを入力する際に、当該三次元ＣＡＤデータの原点位置情報の入力も受け付ける。この原点位置情報の入力は、三次元ＣＡＤデータに付随するものであるため、ユーザによる入力作業は不要にして、ハンドＨＮＤの三次元ＣＡＤデータの入力と同時に入力することもできる。
【0087】
ハンドモデルを登録する際、三次元ＣＡＤデータ以外にも、直方体や円柱などの三次元形状のパーツを組み合わせてハンドモデルを作成し、この作成したハンドモデルを登録するようにしてもよい。また、三次元ＣＡＤデータには無いケーブルなどを作成して登録することもできる。
【0088】
ステップＳＣ２では、ステップＳＣ１で登録したハンドモデルと、そのハンドモデルが装着されるロボットＲＢＴのフランジＦＬＧとの相対的な位置及び姿勢を定義する。具体的には、ハンドモデルにおける取付面と、ロボットＲＢＴのフランジＦＬＧとが一致するように、両者の位置関係を定義しておく。このとき、フランジＦＬＧの座標を基準としたハンドＨＮＤの位置及び姿勢の入力を受け付けることができる。
【0089】
ステップＳＣ２に続くステップＳＣ３では、ロボットＲＢＴのフランジＦＬＧに装着された状態にあるハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、ユーザが設定することも可能である。その後、ステップＳＣ４では、ハンドモデルの登録完了確認を行う。
【0090】
以上のようにしてロボットＲＢＴのハンドモデルを登録した後、ステップＳＣ５に進む。ステップＳＣ５では、ロボットＲＢＴのハンドＨＮＤで把持するワークモデルの面を選択する。ワークモデルの面は、図９に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットＲＢＴのハンドＨＮＤで把持することが可能な面に対応した高さ画像をユーザが選択する。高さ画像の選択にあたっては、高さ画像を表示部３に表示させておき、これら高さ画像の中から使用者が操作部４の操作によって選択することができる。
【0091】
ステップＳＣ５で高さ画像を選択した後、ステップＳＣ６に進み、ステップＳＣ５で選択した面を把持する時のハンドＨＮＤの位置及び姿勢を登録する。例えば、Ｘ軸座標、Ｙ軸座標、Ｚ軸座標、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を個別に入力し、入力された値に対応するように、ハンドモデルを移動させ、高さ画像中の所望位置に配置することができる。これにより、ハンドモデルの位置を調整しながら、ハンドモデルでワークモデルのどの部位をどのような姿勢で把持するか、即ち把持位置及び姿勢を設定することが可能になる。把持位置及び姿勢の設定は、数値を入力する以外にも、例えばハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。
【0092】
ここで設定する把持位置は、ロボットＲＢＴにより把持される把持候補位置である。ロボットＲＢＴにより把持される把持候補位置は、予め登録されているワークＷＫの各サーチモデルに対応付けて複数設定することができる。例えば、あるサーチモデルには、２つの把持候補位置を対応付けて設定し、別のサーチモデルには、４つの把持候補位置を対応付けて設定することができる。設定された把持候補位置は、サーチモデルと対応付けられた状態で記憶部３２０に記憶させておくことができる。
【0093】
一般に、一のワークＷＫに対して把持候補位置を複数登録することが多い。これは、把持候補位置を複数登録しておけば、複数の把持解の中から最適な解を選ぶことができるため、仮に得られた把持解候補が、例えばハンドＨＮＤの他の物体との干渉によって最終的な解となり得ない場合、他の把持解候補があれば、把持可能と判定される可能性が高まるからである。このような把持候補位置を複数登録する際、その都度登録を一から行うと、同様の把持候補位置を登録する際に手数が多くなり作業が面倒となる。そこで、既に登録済みの把持候補位置情報をコピーして、この把持候補位置で設定された位置パラメータの一部を変更して、新たな把持候補位置として保存可能とすることで、手間を省いて複数の把持候補位置を容易に登録できるようになる。また、同様に既存の把持候補位置を読み出して、位置パラメータを適宜修正して上書き保存することも可能である。
【0094】
把持候補位置を登録する際、サーチモデルの原点に対して、ワークＷＫを把持する際のハンドＨＮＤの相対的な位置及び姿勢を登録する。一方、実際のハンドＨＮＤでワークＷＫを把持する際には、センサ部２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。
【0095】
具体的には、ワークモデルの位置及び姿勢は、ビジョン空間における位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｘ，Ｒｙ，Ｒｚ）で求められる（なお姿勢（Ｒｘ，Ｒｙ，Ｒｚ）はＺ－Ｙ－Ｘ系オイラー角で表現された姿勢を示している）。また、これを把持するハンドＨＮＤの姿勢についても、同様に画像処理装置３００の仮想三次元空間における位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｘ，Ｒｙ，Ｒｚ）として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置（Ｘ’，Ｙ’，Ｚ’）と姿勢（Ｒｘ’，Ｒｙ’，Ｒｚ’）に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がハンドＨＮＤを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、キャリブレーションと呼ばれる。このキャリブレーションについては後述する。
【0096】
図１０に示すフローチャートのステップＳＣ７では、必要数の把持候補位置を登録できたか否かを判定する。ハンドＨＮＤで把持することが可能な部位が多数あれば、登録すべき把持候補位置の数が多くなるが、これは使用者が判断する事項であるため、ステップＳＣ７の判定は使用者が判定することになる。ステップＳＣ７でＮＯと判定して必要数の把持候補位置を登録できておらず、登録すべき把持候補位置が他にも残っている場合には、ステップＳＣ５を経てステップＳＣ６に進み、他の把持候補位置を設定し、登録する。一方、ステップＳＣ７でＹＥＳと判定して必要数の把持候補位置を登録できている場合には、このフローを終了する。以上の処理を経ることで、図８に示すフローチャートのステップＳＡ１が終了する。
【0097】
登録部３０２は、ロボットＲＢＴの形状を示すロボットモデルの登録も受け付ける。ロボットモデルにはロボットＲＢＴのロボットアームの形状を示す情報が含まれている。ロボットモデルの登録は予め準備されたロボットモデルを示すファイルを読み込むことにより実現される。また、ロボットモデルを示すファイルを読み込んだ後、ロボットが設置される空間上の配置を調整することが可能であってもよい。
【0098】
（キャリブレーションの実行ステップ）
図８に示すフローチャートのステップＳＡ１の後、ステップＳＡ２に進み、図６に示すキャリブレーション実行部３０３がキャリブレーションを実行する。上述したように、例えばセンサ部２で検出したワークＷＫはカメラ座標基準での位置及び姿勢が算出されるが、実際にそれをロボットＲＢＴで把持するときはロボット座標基準での位置及び姿勢が必要になる。カメラ座標での位置姿勢をロボット座標での位置姿勢に変換する情報をキャリブレーションデータと呼ぶことができる。
図８に示すフローチャートのステップＳＡ１の後、ステップＳＡ２に進み、図６に示すキャリブレーション実行部３０３がキャリブレーションを実行する。上述したように、例えばセンサ部２で検出したワークＷＫはカメラ座標基準での位置及び姿勢が算出されるが、実際にそれをロボットＲＢＴで把持するときはロボット座標基準での位置及び姿勢が必要になる。カメラ座標での位置姿勢をロボット座標での位置姿勢に変換する情報をキャリブレーションデータと呼ぶことができる。
【0099】
一例として、キャリブレーションデータは２つの座標系間の変換行列として表現される。これを作成するためには、同じ位置姿勢に対するそれぞれの座標基準での位置姿勢の値の組み合わせ列が必要になる。それらを利用して、変換行列を変数として最適化問題を解くことで、２つの座標系間の変換行列を推定できる。
【0100】
上記組み合わせ列の作成方法として、ロボットＲＢＴに検出対象の物体であるキャリブレーションワークを保持させ、Ｘ－Ｙ－Ｚ方向に決まった移動量移動させ、各点でのロボット座標と検出した位置を記録する方法がある。座標変換行列はこの設定範囲内で計算するため、ここで設定される範囲はできるだけ大きくして、ロボットＲＢＴの運用時に検出対象が存在し得る範囲を全てカバーすることが望ましい。計算した範囲外で座標変換を行うと、ずれが大きくなる可能性があるからである。
【0101】
しかし、設定範囲を大きくすると、その設定範囲がロボットＲＢＴの可動範囲外になったり、ロボットＲＢＴが障害物と干渉してしまったり、検出対象がロボットＲＢＴの陰になり、センサ部２で検出できなくなってしまうといった問題が発生することがある。また、そもそも、ロボットＲＢＴとセンサ部２との位置関係がおおまかにでも分かっていないと、キャリブレーションを行う範囲が適切であるか否か、ハンドＨＮＤが障害物と干渉するか否かといったことを判定できない。
【0102】
また、ロボットＲＢＴの可動範囲外や、障害物との干渉については事前チェックも可能であるが、検出対象がロボットＲＢＴの陰になってしまう問題については、ロボットＲＢＴとセンサ部２との位置関係が分かっていないとチェックできない。
【0103】
そこで、本実施形態に係るキャリブレーション実行部３０３は、第１段階として狭い範囲でキャリブレーションを実行し、これによりロボットＲＢＴとセンサ部２との位置関係を計算しておき、第２段階として、上記第１段階で取得された情報を用いて、上記第１段階で実行した範囲よりも広い範囲でキャリブレーションを実行した時に問題が発生しないかチェックする。一例として、狭い範囲でのキャリブレーションは、例えばユーザが設定した広い範囲でのキャリブレーションを任意の倍率で縮小して、その範囲でキャリブレーションを実行する例を挙げることができる。
【0104】
キャリブレーションの第１段階として、最初のロボットＲＢＴとセンサ部２との位置関係の計算のためにツール中心算出のデータを利用してもよい。ツール中心算出とは、センサ部２での検出点とロボットＲＢＴの現在地を指すツール中心点とのオフセットを求める計算のことである。ツール中心周りに回転させて各点で検出を行うことで、ツール中心点へのオフセットを計算できる。
【0105】
以下、図１１に示すフローチャートに基づいて、本実施形態のキャリブレーションについて詳細に説明する。スタート後のステップＳＤ１では、中心ロボット位置を設定する。この中心ロボット位置は、キャリブレーション動作を開始する際の開始位置になるため、ステップＳＤ１を開始位置設定ステップと呼ぶこともできる。
【0106】
ステップＳＤ１では、キャリブレーション実行部３０３が図１２に示すユーザインターフェース画面５０を生成して表示部３に表示させる。ユーザインターフェース画面５０には、ロボット座標を表示する座標表示領域５１と、ロボットモデルを表示するロボットモデル表示領域５２と、設定用ウインドウ５３とが設けられている。座標表示領域５１には、キャリブレーションを行う際の各点の座標が表示される。この例では、点０～点４まで表示しているが、表示の切り替えを行うことで、全ての点（後述する例では２７点）の座標を確認することができる。
【0107】
ロボットモデル表示領域５２には、ピッキング動作をさせるロボットＲＢＴの三次元モデルを表示させることができる。このロボットモデルの元になるデータは、例えば外部からロボットＲＢＴの三次元データを読み込むことで取得できる。
【0108】
設定用ウインドウ５３には、開始位置設定ボタン５３ａ、検出ツール設定ボタン５３ｂ、ツール中心算出ボタン５３ｃ及びキャリブレーション開始ボタン５３ｄが設けられている。さらに、設定用ウインドウ５３には、上記ボタン５３ａ～５３ｄのうち、操作されたボタンに対応した処理や動作を説明するためのメッセージや説明図を表示する情報表示領域５４も設けられている。
【0109】
図１１に示すステップＳＤ１を実行する際には、ユーザが図１２に示す設定用ウインドウ５３の開始位置設定ボタン５３ａを操作する。キャリブレーション実行部３０３は、開始位置設定ボタン５３ａが操作されたことを検出すると、情報表示領域５４に、開始位置の設定に関する説明を表示するとともに、設定用ウインドウ５３に開始位置設定領域５５を表示する。
【0110】
開始位置設定領域５５では、「ロボット座標系」と「各軸」のうち、ユーザが一方を選択可能になっている。「ロボット座標系」が選択されると、ロボット座標基準での現在のロボットＲＢＴ（フランジＦＬＧ）の座標（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を取得し、これを開始位置として登録する。一方、「各軸」が選択されると、ロボットアームＡＲＭの各関節部分の角度を取得し、これによって算出されるフランジＦＬＧの座標を開始位置として登録する。六軸ロボットＲＢＴであるため、Ｊ１～Ｊ６までの６変数が存在する。これら変数を変更することで、開始位置設定を行うことができる。
【0111】
続いて、図１１に示すフローチャートのステップＳＤ２に進み、検出ツールの設定を行う。検出ツールとは、キャリブレーションを実行する際に使用する物であり、単にツールと呼んだり、ワークと呼んだりすることができる。検出ツールはロボットＲＢＴに把持させ、後述するように移動させる物であり、設定された検出ツールをパターンマッチングで検出してキャリブレーションデータを作成することができる。
【0112】
図１３に示すように、キャリブレーション実行部３０３は、検出ツール設定ボタン５３ｂが操作されたことを検出すると、情報表示領域５４に、検出ツールの設定に関する説明を表示するとともに、設定用ウインドウ５３に検出ツール設定領域５６を表示する。検出ツール設定領域５６では、検出ツールを追加したり、編集することが可能になっている。
【0113】
続いて、図１１に示すフローチャートのステップＳＤ３に進み、検出ツールの中心を算出するツール中心算出ステップを行う。図１４に示すように、キャリブレーション実行部３０３は、ツール中心算出ボタン５３ｃが操作されたことを検出すると、情報表示領域５４に、ツール中心算出の設定に関する説明を表示するとともに、設定用ウインドウ５３にツール中心算出領域５７を表示する。ツール中心算出とは、センサ部２による検出点と、ロボットＲＢＴの現在地を指すツール中心点とのオフセットを求める計算のことであり、検出ツールの中心は、パターンマッチングで検出した検出ツールと、ロボットＲＢＴのフランジＦＬＧとのオフセットを求めるために使用できる。例えば、検出ツールをその中心周りに回転させ、各点で検出を行うことで、ツール中心点へのオフセットを計算できる。尚、ツール中心算出の設定の際、検出ツールを上記狭い範囲で実際に動かして仮設定してもよい。
【0114】
続くステップＳＤ４では、キャリブレーションを実行する領域の設定を行う。ここでは一例として、移動間隔の設定を行う。移動間隔とは、キャリブレーションの際に移動させる検出ツールの間隔である。まず、図１５に示すように、キャリブレーション実行部３０３は、キャリブレーション開始ボタン５３ｄが操作されたことを検出すると、情報表示領域５４に、移動間隔の入力に関する説明を表示するとともに、設定用ウインドウ５３にキャリブレーション実行用領域５８を表示する。
【0115】
キャリブレーション実行用領域５８には、移動間隔をＸ方向、Ｙ方向、Ｚ方向で個別表示する移動間隔表示領域５８ａと、設定ボタン５８ｂと、動作チェックボタン５８ｃとが設けられている。キャリブレーション実行部３０３は、設定ボタン５８ｂが操作されたことを検出すると、図１６に示す移動間隔設定用ウインドウ５９を表示部３に表示させる。
【0116】
移動間隔設定用ウインドウ５９には、Ｘ方向、Ｙ方向、Ｚ方向の各移動間隔を個別に設定可能な設定領域５９ａが設けられている。各移動間隔は、ユーザが例えば数値（単位：ｍｍ）で入力し、設定できる。移動間隔設定用ウインドウ５９には、検出ツールを移動させる位置を示す複数の点と、隣合う２点間の寸法（移動間隔）とを図で表示する図表示領域５９ｂも設けられている。
【0117】
初期点（図１６において１として示されている点）は、センサ部２の中心に設定しておく。初期点と、ユーザによって入力された移動間隔とに基づいて、計測すべき２７点（９×３）が決定され、それが図１６の図表示領域５９ｂに表示される。設定された移動間隔は、図１５に示す移動間隔表示領域５８ａに表示される。
【0118】
その後、図１１に示すフローチャートのステップＳＤ５に進み、動作チェックを行う。動作チェックは、ステップＳＤ３のツール中心算出で決定されたセンサ部２とロボットＲＢＴとのおおよその位置関係に基づいて、ステップＳＤ４で設定された移動間隔で正しくキャリブレーションができるか否かを確認する。
【0119】
この確認の前に、動作制限領域の設定を行う。キャリブレーション実行部３０３は、図１５に示す動作チェックボタン５８ｃが操作されたことを検出すると、図１７に示すロボット動作チェック用ウインドウ６０を表示部３に表示する。動作制限とは、例えばロボットＲＢＴの周りに柵が存在している場合に、ロボットＲＢＴがその柵に接触しないように、ロボットＲＢＴの動作範囲を柵内の領域に制限することである。ロボット動作チェック用ウインドウ６０内では、動作制限領域をＸ方向、Ｙ方向、Ｚ方向で個別に設定可能である。動作制限領域はユーザが設定することで、キャリブレーション実行部３０３によって受け付けられる。
【0120】
動作制限領域の設定が完了すると、図１７に示すロボット動作チェック用ウインドウ６０に設けられているロボット動作チェックボタン６０ａをユーザが操作する。キャリブレーション実行部３０３は、ロボット動作チェックボタン６０ａが操作されたことを検出すると、ステップＳＤ３のツール中心算出で決定されたセンサ部２とロボットＲＢＴとのおおよその位置関係を元に、動作制限領域を考慮して、その範囲内でロボットＲＢＴが他の物体に干渉しないか、検出ツールが影に入らないか、検出ツールがセンサ部２の撮像視野に入っているか等の各チェック項目を確認する。動作制限領域の設定がない場合には、設定された移動間隔から決定された２７点について上記チェック項目を確認する。
【0121】
動作チェックが終わると、図１１に示すステップＳＤ６に進み、動作に問題がないか否かを判定する。上記チェック項目の全てに問題が無ければ、ステップＳＤ６でＹＥＳと判定されてステップＳＤ７に進む。ステップＳＤ７では、図１８に示すように確認結果表示ウインドウ６１を表示させ、当該ウインドウ６１内で問題がなかったことをユーザに報知する。また、ロボットモデル表示領域５２には、ロボットモデルとともに、点が表示される。ロボットモデル表示領域５２には、センサ部２で撮像された三次元点群の情報、例えばワークＷＫや容器ＢＸ等も表示することができる。
【0122】
一方、上記チェック項目のうち、１つでも問題がある場合には、ステップＳＤ６でＮＯと判定されてステップＳＤ８に進む。ステップＳＤ８では、図１９に示すように確認結果表示ウインドウ６１を表示させ、当該ウインドウ６１内で問題があったことを具体的に特定してユーザに報知する。この場合も、センサ部２で撮像された三次元点群の情報をロボットモデル表示領域５２に表示させることができる。また、問題がある点を、問題がない点とは異なる形態でロボットモデル表示領域５２に表示させることができる。この場合、問題がある点を強調して表示させる等の表示形態を採用できる。
【0123】
また、ステップＳＤ９では、問題がある点を回避するように、キャリブレーション実行部３０３が点の位置座標を自動で計算する。この計算結果は、ユーザが図１９に示すウインドウ６１内の「推奨設定を確認する」というボタン６１ａを操作することでロボットモデル表示領域５２に表示され、確認可能である。
【0124】
続いて、図１１に示すフローチャートのステップＳＤ１０に進む。すなわち、ユーザが図１５に示す実行ボタン５８ｄを操作するとステップＳＤ１０のキャリブレーションが実行され、このキャリブレーションでは、複数の点の位置座標について、ハンドＨＮＤの実際の位置座標と、画像処理装置３００に表示されている画像上の位置座標との間の変換式を算出する。座標変換の方法は、特に限定されるものではなく、例えばアフィン変換で変換することができる。
【0125】
【数1】
【0126】
（式１）に示すように、ハンドＨＮＤの実際の位置座標（ｘ’，ｙ’）と、画像処理装置３００に表示されている画像上の位置座標（ｘ、ｙ）とに基づいて、６つの自由度を有する変換式の係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。対応する位置座標が６つを超える場合には、最小二乗法を用いれば良い。
【0127】
キャリブレーション実行部３０３は、図１５に示す実行ボタン５８ｄが操作されたことを検出すると、検出ワークが各点を通過するように、ロボットＲＢＴに対して移動指示及び移動先の位置座標を含む移動命令をロボットコントローラ６へ送信する。ロボットコントローラ６は、移動命令に含まれる位置座標へとハンドＨＮＤを移動させる。
【0128】
キャリブレーション実行部３０３は、移動命令に応じて移動したハンドＨＮＤの各位置座標である座標値（ｘ’，ｙ’）を、ロボットコントローラ６から取得する。移動したハンドＨＮＤの位置座標と、撮像された検出ツールの画像上での位置座標との位置ずれを調整することができる。
【0129】
なお、キャリブレーション実行部３０３において取得する座標値（ｘ’，ｙ’）は、画像処理装置３００からの移動命令に応じてハンドＨＮＤが移動した各位置において、ロボットコントローラ６から取得した座標値としているが、画像処理装置３００において事前に設定されたハンドＨＮＤの移動目標座標をそのまま上記座標値としても良い。
【0130】
キャリブレーション実行部３０３は、ハンドＨＮＤが移動した各移動先にて検出ツールを撮像するようセンサ部２の動作を制御する。これにより、ロボットコントローラ６から取得した移動先のハンドＨＮＤの位置座標に対応する領域を撮像するよう制御することで、撮像された画像に基づいて検出ツールの実際の位置座標である座標値（ｘ、ｙ）を検出することができる。
【0131】
キャリブレーション実行部３０３は、各移動先にて撮像された検出ツールの画像に基づいて検出ツールの位置座標である座標値（ｘ、ｙ）を検出し、取得した複数の座標値（ｘ’，ｙ’）と、検出した複数の座標値（ｘ、ｙ）とに基づいて、両座標間の変換規則を算出する。具体的には上記（式１）に座標値を代入して、係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。
【0132】
検出ツールの移動順は、特に限定されるものではないが、例えば図１６の図表示領域５９ｂに表示されているような順とすることができる。すなわち、高さが等しい平面内で複数の点を通るように検出ツールを移動させた後、高さが異なる平面内で同様に複数の点を通るように検出ツールを移動させることができる。
【0133】
以上のようにして、図８に示すフローチャートのステップＳＡ２のキャリブレーション実行ステップが完了する。キャリブレーションデータは記憶部３２０等に記憶させておくことができる。
【0134】
（ハンドの撮像ステップ）
図８に示すフローチャートのステップＳＡ３では、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤをセンサ部２により撮像する。例えば図４に示すように、フランジＦＬＧにハンドＨＮＤが取り付けられている状態で、フランジＦＬＧ及びハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを制御する。具体的には、画像処理装置３００は、図２０に示すように、ユーザインターフェース画面７０にハンド撮像ウインドウ７１を表示させる。ハンド撮像ウインドウ７１には、ハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを動かすことについての説明が表示されている。その後、センサ部２に撮像を実行させると、フランジＦＬＧ及びハンドＨＮＤが含まれる画像が取得される。取得された画像は、記憶部３２０に一旦記憶させておくことができるとともに、ユーザインターフェース画面７０に設けられている画像表示領域７２に表示させることができる。
図８に示すフローチャートのステップＳＡ３では、ロボットＲＢＴのフランジＦＬＧに取り付けられたハンドＨＮＤをセンサ部２により撮像する。例えば図４に示すように、フランジＦＬＧにハンドＨＮＤが取り付けられている状態で、フランジＦＬＧ及びハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを制御する。具体的には、画像処理装置３００は、図２０に示すように、ユーザインターフェース画面７０にハンド撮像ウインドウ７１を表示させる。ハンド撮像ウインドウ７１には、ハンドＨＮＤがセンサ部２の撮像視野に入るようにロボットＲＢＴを動かすことについての説明が表示されている。その後、センサ部２に撮像を実行させると、フランジＦＬＧ及びハンドＨＮＤが含まれる画像が取得される。取得された画像は、記憶部３２０に一旦記憶させておくことができるとともに、ユーザインターフェース画面７０に設けられている画像表示領域７２に表示させることができる。
【0135】
（撮像時のロボットの座標取得ステップ）
図８に示すフローチャートのステップＳＡ４では、図６に示す取得部３０４が、センサ部２によりハンドＨＮＤが撮像された際のロボットＲＢＴの座標を取得する。センサ部２によりハンドＨＮＤが撮像された時点のみ、ロボットＲＢＴの座標を取得してもよいし、センサ部２によりハンドＨＮＤを撮像していない間も継続してロボットＲＢＴの現在位置を取得し続けておき、その位置情報の中から、センサ部２によりハンドＨＮＤが撮像された時点のロボットＲＢＴの座標を取得してもよい。取得したロボットＲＢＴの座標は記憶部３２０に記憶させておくことができる。
図８に示すフローチャートのステップＳＡ４では、図６に示す取得部３０４が、センサ部２によりハンドＨＮＤが撮像された際のロボットＲＢＴの座標を取得する。センサ部２によりハンドＨＮＤが撮像された時点のみ、ロボットＲＢＴの座標を取得してもよいし、センサ部２によりハンドＨＮＤを撮像していない間も継続してロボットＲＢＴの現在位置を取得し続けておき、その位置情報の中から、センサ部２によりハンドＨＮＤが撮像された時点のロボットＲＢＴの座標を取得してもよい。取得したロボットＲＢＴの座標は記憶部３２０に記憶させておくことができる。
【0136】
また、撮像時のロボットの座標を取得するステップとしては、上述した方法によるもの以外に、例えば表示部３に表示したユーザインターフェース上でユーザによる入力を受け付ける方法であってもよい。この場合、ロボットの座標の入力領域を備えたユーザインターフェースを取得部３０４が生成して表示部３に表示させ、ユーザによって入力された数値を撮像時のロボットの座標として取得部３０４が取得する構成例を挙げることができる。
【0137】
（ハンドモデルの読み込みステップ）
図８に示すフローチャートのステップＳＡ５では、まず、図１０に示すフローチャートのステップＳＣ１で登録されたハンドモデルを読み込む。読み込まれたハンドモデルは、ハンドＨＮＤのサーチモデルとして登録される。このステップは、ハンドモデルの登録要求がある場合のみ実行すればよく、例えば前回登録したデータをそのまま使うなどの場合は省略できる。
図８に示すフローチャートのステップＳＡ５では、まず、図１０に示すフローチャートのステップＳＣ１で登録されたハンドモデルを読み込む。読み込まれたハンドモデルは、ハンドＨＮＤのサーチモデルとして登録される。このステップは、ハンドモデルの登録要求がある場合のみ実行すればよく、例えば前回登録したデータをそのまま使うなどの場合は省略できる。
【0138】
（ハンドの位置及び姿勢決定ステップ）
図８に示すフローチャートのステップＳＡ６では、図６に示す決定部３０５がロボットのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する。まず、決定部３０５が、登録部３０２で登録されたハンドモデルを読み込むとともに、センサ部２により撮像されたハンドＨＮＤを含む画像とを読み込む。決定部３０５は、ハンドモデルと、ハンドＨＮＤを含む画像とを読み込んだ後、ハンドモデルと、ハンドＨＮＤを含む画像とをパターンマッチングする。パターンマッチングの手法は、例えば三次元マッチング、三次元サーチ等とも呼ばれている手法である。
図８に示すフローチャートのステップＳＡ６では、図６に示す決定部３０５がロボットのフランジＦＬＧに取り付けられたハンドＨＮＤの位置及び姿勢を決定する。まず、決定部３０５が、登録部３０２で登録されたハンドモデルを読み込むとともに、センサ部２により撮像されたハンドＨＮＤを含む画像とを読み込む。決定部３０５は、ハンドモデルと、ハンドＨＮＤを含む画像とを読み込んだ後、ハンドモデルと、ハンドＨＮＤを含む画像とをパターンマッチングする。パターンマッチングの手法は、例えば三次元マッチング、三次元サーチ等とも呼ばれている手法である。
【0139】
パターンマッチングを行うことにより、フランジＦＬＧに実際に取り付けられている実物のハンドＨＮＤを含む画像中に、ハンドモデルが存在するか否かを判定でき、画像中に実物のハンドＨＮＤが含まれていれば、そのハンドＨＮＤを検出して当該ハンドＨＮＤの位置及び姿勢を決定できる。
【0140】
（ハンドの取付位置算出ステップ）
図８に示すフローチャートのステップＳＡ７では、図６に示す算出部３０６が、取得部３０４により取得された撮像時におけるロボットＲＢＴの座標と、決定部３０５により決定されたハンドＨＮＤの位置及び姿勢に基づいて、フランジＦＬＧに対するハンドＨＮＤの取付位置を算出する。このとき、ハンドＨＮＤの位置及び姿勢を決定する変数として、カメラ座標系における６変数（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を算出することができる。
図８に示すフローチャートのステップＳＡ７では、図６に示す算出部３０６が、取得部３０４により取得された撮像時におけるロボットＲＢＴの座標と、決定部３０５により決定されたハンドＨＮＤの位置及び姿勢に基づいて、フランジＦＬＧに対するハンドＨＮＤの取付位置を算出する。このとき、ハンドＨＮＤの位置及び姿勢を決定する変数として、カメラ座標系における６変数（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を算出することができる。
【0141】
具体的には、まず、カメラ座標系におけるハンドＨＮＤの位置姿勢に関する６変数を、ステップＳＡ２で取得したロボット－カメラのキャリブレーションデータを用いてロボット座標系のハンドＨＮＤの位置及び姿勢に関する６変数に変換する。これにより、撮像時におけるロボットＲＢＴの座標が分かる。
【0142】
撮像時におけるロボットＲＢＴの座標が分かれば、ロボットＲＢＴのフランジＦＬＧが撮像時にどこに存在していたかが分かる。すなわち、フランジＦＬＧの座標をロボットＲＢＴの座標として取得することができる。ロボットＲＢＴの座標から予想されるフランジＦＬＧの原点の位置及び姿勢と、ロボット座標系のハンドＨＮＤの位置及び姿勢との差分を求める。この差分がフランジ座標基準のハンドＨＮＤの位置及び姿勢を示す情報となる。この差分を、フランジＦＬＧに実際に取り付けられているハンドＨＮＤの取付誤差として設定することができる。ハンドＨＮＤの取付誤差は設計値に対する誤差となる。つまり、ハンドＨＮＤがフランジＦＬＧに対して設計値からずれて取り付けられていた場合に、そのずれを例えば具体的な数値等で取得することが可能になる。算出部３０６は、上記キャリブレーションデータを使用することで、センサ部２により撮像したハンドＨＮＤの位置及び姿勢をフランジ座標系に変換することができる。フランジ座標系での原点位置からフランジＦＬＧに取り付けられたハンドＨＮＤの取付位置の誤差を算出できる。
【0143】
また、決定部３０５により決定されたハンドＨＮＤの位置及び姿勢からハンドＨＮＤの原点位置を算出することができる。ハンドＨＮＤの原点位置は、例えばハンドＨＮＤの三次元ＣＡＤデータの原点位置とすることができる。また、ハンドＨＮＤが取り付けられるべき位置は設計値によって規定されており、この規定位置は予め取得可能である。算出したハンドＨＮＤの原点位置と、予め規定されているハンドＨＮＤが取り付けられるべき位置を示すロボットの座標との差分を求め、求めた差分に従い、フランジＦＬＧに取り付けられたハンドＨＮＤの取付位置を算出できる。
【0144】
ハンドＨＮＤの取付位置が算出されると、本来ハンドＨＮＤが取り付けられる位置である規定位置から、求めた差分に従って算出された取付位置へとハンドモデル全体をオフセットさせる。そして、ハンドモデル全体を求めた差分に対応する分だけオフセットさせた位置に仮想ハンドモデルを設定する。この仮想ハンドモデルはフランジＦＬＧに対して算出された取付位置に取り付けられていると仮定したものである。すなわち、仮想ハンドモデルは、実際にハンドＨＮＤが取り付けられている位置に設定されるものであり、仮想ハンドモデルの形状は実際のハンドＨＮＤ及び登録部３０２で登録されたハンドモデルの形状と同じであるが、位置及び姿勢が設計値とは異なっていて、実際のハンドＨＮＤの取付位置に対応した位置及び姿勢となっている。この仮想ハンドモデルを用いて、後述する干渉判定を行う。実際にハンドＨＮＤが取り付けられている位置を反映した仮想ハンドモデルを用いて干渉判定を実行することで、ハンドＨＮＤの取付位置及び姿勢が設計値からずれていた場合に、干渉判定において干渉しないと判定された解であるのにハンドＨＮＤが周辺物体に干渉してしまったり、逆に、干渉判定において干渉すると判定された解であるのにハンドＨＮＤが周辺物体に干渉しなかったりといったことが発生するのを解消することができる。
【0145】
（誤差の表示）
算出部３０６は、ハンドＨＮＤの位置及び姿勢変数ごとに上記誤差を算出する。変数は、上述したように６つ（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）あるので、キャリブレーション実行部３０３は、Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚのそれぞれの誤差を取得することができる。
算出部３０６は、ハンドＨＮＤの位置及び姿勢変数ごとに上記誤差を算出する。変数は、上述したように６つ（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）あるので、キャリブレーション実行部３０３は、Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚのそれぞれの誤差を取得することができる。
【0146】
キャリブレーション実行部３０３は６つ誤差を取得すると、図２１に示すような誤差表示ウインドウ７５をユーザインターフェース画面７０に表示させる。誤差表示ウインドウ７５には、Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚのそれぞれの誤差を表示する誤差表示領域７５ａが設けられている。Ｘ，Ｙ，Ｚの単位はｍｍであり、Ｒｘ，Ｒｙ，Ｒｚの単位は度（゜）である。６変数を例えば縦や横に並べて表示することができる。つまり、画像処理装置３００は、算出部３０６が算出した誤差を変数ごとに表示する表示部３を備えているので、ユーザは変数ごとに誤差を把握できる。
【0147】
（別の実施例）
上述した実施例では、ハンドＨＮＤの形状を登録部３０２で登録しているが、ハンドＨＮＤのロボットＲＢＴに対する位置は登録しなくてもよく、ハンドＨＮＤの位置をセンサ部２が撮像した画像から測定している。この実施例以外の別の実施例も本発明に含まれる。
上述した実施例では、ハンドＨＮＤの形状を登録部３０２で登録しているが、ハンドＨＮＤのロボットＲＢＴに対する位置は登録しなくてもよく、ハンドＨＮＤの位置をセンサ部２が撮像した画像から測定している。この実施例以外の別の実施例も本発明に含まれる。
【0148】
すなわち、別の実施例は、ハンドＨＮＤの形状を登録するとともに、ハンドＨＮＤのロボットＲＢＴに対する位置も登録する例である。ハンドＨＮＤがロボットＲＢＴに設計値通りに取り付けられていれば、どのような位置及び姿勢でハンドＨＮＤが検出されるべきかが、画像処理装置３００側で事前に把握できる。その位置及び姿勢と実際に検出された位置及び姿勢の差分を反映させればよい。
【0149】
別の実施例に係る手順を図２２のフローチャートに示す。ステップＳＥ１では、図８のフローチャートのステップＳＡ１と同様に設定ステップを行う。このとき、ハンドＨＮＤのロボットＲＢＴに対する位置も登録部３０２で登録する。その後、ステップＳＥ２は、図８のフローチャートのステップＳＡ２と同じである。
【0150】
ステップＳＥ３は、ハンドモデルを読み込み、ハンドモデルのロボットＲＢＴへの取付位置を仮設定する。続くステップＳＥ４、ＳＥ５、ＳＥ６、ＳＥ７は、図８のフローチャートのステップＳＡ３、ＳＡ４、ＳＡ５、ＳＡ６と同じである。
【0151】
ステップＳＥ８では、ステップＳＥ５で取得した撮像時のロボットの座標と、ステップＳＥ７で決定されたハンドＨＮＤの位置及び姿勢とに基づいて、ハンドＨＮＤとロボットＲＢＴへの取付位置を算出する。その後、ステップＳＥ９では、現在登録されている取付位置に対する誤差を設定に反映する。
【0152】
また、初期設定としてハンドＨＮＤの取付位置及びツール座標値の設定が可能に構成されていてもよい。この場合、ハンドＨＮＤの取付位置とツール座標値とを設定した後、上述した手法でハンドＨＮＤの取付位置の誤差を算出する。その後、算出された誤差をツール座標値に反映させるようにしてもよい。
【0153】
例えばハンドＨＮＤの取付位置が初期設定でＸ＝０（ｍｍ）、Ｙ＝０（ｍｍ）、Ｚ＝０（ｍｍ）、ツール座標値が初期設定でＸ＝０（ｍｍ）、Ｙ＝０（ｍｍ）、Ｚ＝１７７（ｍｍ）であったとする。取得された誤差を反映したハンドＨＮＤの取付位置がＸ＝１（ｍｍ）、Ｙ＝－２（ｍｍ）、Ｚ＝３（ｍｍ）の場合、ツール座標値をＸ＝１（ｍｍ）、Ｙ＝－２（ｍｍ）、Ｚ＝１８０（ｍｍ）にする。これにより、ツール座標値も誤差を自動的に反映させて実際のハンドＨＮＤの取付位置に対応した値にすることができる。
【0154】
また、ツール座標を設定することで、ワークＷＫを掴む位置は変えずに回転させることができるため、ワークＷＫを掴む位置を維持したままハンドＨＮＤの姿勢を変えることができる。
【0155】
【0156】
図２３のフローチャートのステップＳＦ１では、センサ部２が、上述したようにワークＷＫの存在する作業空間の三次元計測を行う。三次元計測により、容器ＢＸ及びワークＷＫを含む領域の各部の高さを表す高さ画像データを生成する。高さ画像データから高さ画像を得ることができる。高さ画像は、高さ情報を有する画像であって、距離画像、三次元画像等とも呼ばれる。
【0157】
その後、ステップＳＦ２では、ステップＳＦ１で取得した三次元計測結果である高さ画像と、ワークモデル入力部３０１により入力されたワークモデルとに基づいて、作業空間内のワークＷＫをサーチする。これは、図６に示すサーチ部３０７が実行する。
【0158】
具体的には、まず、サーチ部３０７が記憶部３２０に記憶されているワークモデルを読み込む。サーチ部３０７は、読み込んだワークモデルを用いて、各ワークモデルの姿勢と位置を特定する三次元サーチを高さ画像に対して行う。すなわち、ワークモデルの各特徴点が、最も一致する状態の位置及び姿勢（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を、高さ画像の中から探索する。Ｒｘ，Ｒｙ，Ｒｚは、それぞれＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を表しており、このような回転角度の表現方法は種々提案されているところ、ここではＺ－Ｙ－Ｘ系オイラー角を用いることができる。また一致する位置及び姿勢は、各サーチモデルに対して、１つである必要はなく、一定以上一致する位置及び姿勢を複数検出してもよい。
【0159】
サーチ部３０７が高さ画像中にワークＷＫが存在するか否かをサーチした結果、高さ画像中にワークＷＫを検出できない場合には、図２３に示すステップＳＦ３においてＮＯと判定されて終了する。
【0160】
一方、ステップＳＦ２の三次元サーチの結果、高さ画像の中にワークＷＫを検出できた場合には、ステップＳＦ４に進み、干渉判定及び把持解を算出する。このステップＳＦ４では、まず、サーチ部３０７がワークＷＫの把持位置をサーチする。把持位置を１つも検出できない場合は、把持解を算出できないということであるため、次のステップＳＦ５でＮＯと判定されて終了するか、別のワークＷＫに対して把持解の算出を試みる。
【0161】
ステップＳＦ４で把持位置を検出できた場合は、ロボットＲＢＴによりピッキング動作する際にハンドＨＮＤが周囲の物体と干渉するか否かを、図６に示す干渉判定部３０８が判定する。つまり、ロボットＲＢＴにピッキング動作を実行させる前に、ハンドＨＮＤが周囲の物体と干渉するか否かの判定を実行することで、周囲の物体との干渉を回避するハンドＨＮＤの姿勢を決定することができる。周囲の物体は、例えば容器ＢＸ、把持対象以外のワークＷＫ、その他、ピッキング動作時に障害となる部材等である。
【0162】
ステップＳＦ４の干渉判定ステップでは、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、仮想ハンドモデルとが干渉するか否かを判定する。干渉判定の前に、三次元サーチで検出された一のワークＷＫに対して、このワークＷＫの位置と、登録してあるワークモデルの把持姿勢とに基づいて、ハンドＨＮＤを配置すべき位置と姿勢を計算する。計算された位置において、ハンドＨＮＤが周囲の物体と干渉しないかどうかを、仮想ハンドモデルを利用して判定する。
【0163】
ステップＳＦ４の干渉判定ステップでは、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ロボットモデルとが干渉するか否かが判定されてもよい。仮想ハンドモデルとロボットモデルとが周囲の物体と干渉するかを判定することにより、干渉判定において干渉しないと判定された解であるのにハンドが周辺物体に干渉してしまったり、逆に、干渉判定において干渉すると判定された解であるのにハンドが周辺物体に干渉しなかったりといったように実運用時とは異なる判定をしてしまうという問題の発生を減らすことができる。
【0164】
この干渉判定では、仮想ハンドモデルの断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定することができる。例えば、断面モデルから全ての三次元点が離れている場合には、三次元点群、すなわち高さ画像と仮想ハンドモデルとが干渉していないと判定し、一方、断面モデルの内側に三次元点が１つでも入っている、または断面モデルの縁部に三次元点が１つでも接している場合には、三次元点群、すなわち高さ画像と仮想ハンドモデルとが干渉していると判定する。干渉していない場合は、このワークＷＫに対して把持解を算出することができたということであり、ステップＳＦ５においてＹＥＳと判定されて終了する。一方、三次元点群と仮想ハンドモデルとが干渉している場合は、このワークＷＫに対して把持解を算出することができないということであり、ステップＳＦ５においてＮＯと判定されて終了するか、同じワークＷＫの別の把持位置や、別のワークＷＫに対して把持解の算出を試みる。
【0165】
また、同じ把持位置であっても、ハンドＨＮＤの位置及び姿勢の少なくとも一方を変えることで、周囲の物体との干渉を回避できる場合があるので、干渉すると判定された場合には、干渉判定部３０８が、仮想ハンドモデルの位置及び姿勢の少なくとも一方を変えて同じ把持位置を把持したときの干渉判定を実行させることができる。これにより、干渉判定部３０８は、干渉を回避するハンドＨＮＤの位置及び姿勢を決定できる。
【0166】
干渉判定は、断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定する方法に限らず、仮想ハンドモデルやロボットモデルの表面に対応するポリゴンデータと三次元点群と干渉しているか否かを判定する方法であってもよい。
【0167】
以上の手順では、いずれかのワークＷＫで把持解が得られると、その時点で把持候補位置を検討する処理を終了して、得られた把持解に該当する把持候補位置でワークＷＫを把持するように処理している。ただ、この方法に限らず、例えば把持可能なすべての把持候補位置を１つのワークＷＫについて求めた上で、いずれの把持候補位置を選択するかをユーザが決定するように構成してもよい。また、ワークＷＫの置かれた高さ情報に注目し、ワークＷＫが置かれた高さが高いもの、いいかえると、ばら積みされたワークＷＫ群の内で、より上方に位置するものを把持候補位置として選択することもできる。
【0168】
（経路生成、制御信号出力、ロボット動作の流れ）
図２３のフローチャートに示す干渉判定が終了してハンドＨＮＤが周囲の物体と干渉しないと判定された場合には、図２４のフローチャートのステップＳＧ１に進む。ステップＳＧ１では、図６に示す経路生成部３０９が、干渉判定部３０８による判定結果に基づいて、ハンドＨＮＤが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶようにハンドＨＮＤの経路生成を行う。
図２３のフローチャートに示す干渉判定が終了してハンドＨＮＤが周囲の物体と干渉しないと判定された場合には、図２４のフローチャートのステップＳＧ１に進む。ステップＳＧ１では、図６に示す経路生成部３０９が、干渉判定部３０８による判定結果に基づいて、ハンドＨＮＤが周囲の物体との干渉を回避可能な複数の経由点を決定し、当該経由点を結ぶようにハンドＨＮＤの経路生成を行う。
【0169】
例えば、経路生成部３０９は、ロボットハンドＨＮＤの現在位置からアプローチ位置を介してワークＷＫの把持位置までの当該ロボットハンドＨＮＤの経路を生成するとともに、開始位置である把持位置からステージＳＴＧ上への載置位置までのロボットハンドＨＮＤの経路を生成する。
【0170】
ステップＳＧ１で生成する経路は、複数の経由点を経由する経路であるが、ステップＳＧ１で生成する経路には、経由点を経由しない経路を含むこともできる。
【0171】
ステップＳＧ１の経路生成処理を経た後、ステップＳＧ２では、経路生成部３０９が把持位置、載置位置、経由点等の座標を出力する。ロボットコントローラ６は、経路生成部３０９から出力された把持位置、載置位置、経由点等の座標を受け取って制御信号を生成し、生成した制御信号をロボットＲＢＴに出力する。その後、ステップＳＦ３では、ロボットＲＢＴが制御信号に従って動作してワークＷＫを所定の経路で搬送する。
【0172】
経路生成部３０９がロボットコントローラ６へ出力する点は、固定経由点（ユーザが設定する固定的な点、及び、経路生成部３０９が自動算出するアプローチ位置、把持位置、退避位置）と、経路生成の途中経由点（経路生成部３０９が自動算出する点）とがある。ロボットコントローラ６に出力する経由点についてもアーム部ＡＲＭの各軸値での出力と、Ｘ、Ｙ、Ｚ、Ｒｘ、Ｒｙ、Ｒｚでの出力との両方が可能である。
【0173】
仮に、経路生成部３０９がアプローチ位置や把持位置等を出力するのみだと、ロボットコントローラ６側で容器ＢＸなどの障害物を避けるようプログラムを組む必要があり、これはプログラムの複雑化を招き、ユーザによるプログラムのカスタマイズを難しくしてしまう。これに対し、本例のように、経路生成部３０９にロボットハンドＨＮＤの動作全体を計画させ、いくつかの途中経由点をロボットコントローラ６へ出力できるようにすることでロボットコントローラ６側のプログラム記述を簡単にすることができるメリットがある。
【0174】
本例では、経路生成部３０９が、把持位置を把持するためのロボットハンドＨＮＤのアプローチ位置、把持位置及び把持後の退避位置のうち、任意の１つの属性を有する固定経由点の座標も決定するように構成されている。そして、経路生成部３０９は、決定した固定経由点の座標、及び固定経由点の属性を示す属性情報をロボットＲＢＴに接続されたロボットコントローラ６に出力することができる。
【0175】
尚、画像処理装置３００にはロボットＲＢＴの機種が入力可能である。ロボットＲＢＴの機種が入力されると、入力されたロボットＲＢＴを制御するロボットコントローラ６との接続が可能になるとともに、入力されたロボットＲＢＴの各種データ（アーム部ＡＲＭの可動範囲等）も自動的に読み込むことができる。また、通信形式をロボットＲＢＴのメーカーに応じた形式に自動的に変更することができる。すなわち、例えばロボットＲＢＴの主要なメーカーが製造する主要なロボットＲＢＴの情報、通信形式を予め記憶部３２０等に記憶させておき、ユーザの入力操作によってそれら情報を読み出して利用することができるようになっているので、設定時にロボットＲＢＴの情報等を個別に入力せずに済む。
【0176】
（実施形態の作用効果）
以上説明したように、この実施形態によれば、ロボットＲＢＴのフランジＦＬＧに実際に取り付けられている実物のハンドＨＮＤを含む画像中に、ハンドモデルが存在するか否かをパターンマッチングによって判定し、その判定結果に基づいて、フランジＦＬＧに取り付けられた実物のハンドＨＮＤの位置及び姿勢を決定することができる。
以上説明したように、この実施形態によれば、ロボットＲＢＴのフランジＦＬＧに実際に取り付けられている実物のハンドＨＮＤを含む画像中に、ハンドモデルが存在するか否かをパターンマッチングによって判定し、その判定結果に基づいて、フランジＦＬＧに取り付けられた実物のハンドＨＮＤの位置及び姿勢を決定することができる。
【0177】
決定された実物のハンドの位置及び姿勢と、実物のハンドＨＮＤを撮像したときのロボットＲＢＴの座標とに基づくことで、フランジＦＬＧに実際に取り付けられているハンドＨＮＤの当該フランジＦＬＧに対する取付位置を算出できる。つまり、ハンドＨＮＤがフランジＦＬＧに対して設計値からずれて取り付けられていた場合に、そのずれを取得することができる。
【0178】
そして、干渉判定部３０８は、実際のハンドＨＮＤの取付位置を反映させた状態で、当該ハンドＨＮＤが周囲の物体と干渉するか否かを判定することが可能になるので、ユーザが手動で位置や姿勢を調整することなく、実際のハンドＨＮＤの位置及び姿勢を基準とした適切な干渉判定ができる。
【0179】
この干渉判定に基づいて経路設生成部３０９が経路を生成するので、生成された経路も、実際のハンドＨＮＤの位置及び姿勢を反映した適切なものになる。
【0180】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0181】
以上説明したように、本発明に係る画像処理装置は、例えばピッキング動作を行うロボットの制御に利用することができる。
【符号の説明】
【0182】
２ センサ部（撮像部）
２ａ 計測部
３ 表示部
３００ 画像処理装置
３０１ ワークモデル入力部
３０２ 登録部
３０４ 取得部
３０５ 決定部
３０６ 算出部
３０７ サーチ部
３０８ 干渉判定部
３０９ 経路生成部
ＦＬＧ フランジ
ＨＮＤ ハンド
ＲＢＴ ロボット
ＷＫ ワーク
２ａ 計測部
３ 表示部
３００ 画像処理装置
３０１ ワークモデル入力部
３０２ 登録部
３０４ 取得部
３０５ 決定部
３０６ 算出部
３０７ サーチ部
３０８ 干渉判定部
３０９ 経路生成部
ＦＬＧ フランジ
ＨＮＤ ハンド
ＲＢＴ ロボット
ＷＫ ワーク
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】