特許 7439410 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240220BHJP

   G01B 11/00 20060101ALI20240220BHJP

   G06T 7/70 20170101ALI20240220BHJP

【ＦＩ】

B25J13/08 A

G01B11/00 H

G06T7/70 Z

【請求項の数】 9

(21)【出願番号】P 2019145441

(22)【出願日】2019-08-07

(65)【公開番号】P2021024052

(43)【公開日】2021-02-22

【審査請求日】2022-06-07

【前置審査】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】飯田 豊男

【審査官】尾形 元

(56)【参考文献】

【文献】特開２０１８－１２６８６２（ＪＰ，Ａ）

【文献】特開２０１８－０４５５８７（ＪＰ，Ａ）

【文献】特開２０１８－１４４１６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０１Ｂ １／００－１９／２０

Ｇ０６Ｔ １／００－２１／３２

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
対象物が視野領域に含まれるように設置された撮像装置から得られる画像に基づいて、前記視野領域の三次元点群データを生成する生成部と、
前記三次元点群データと前記対象物の三次元形状を示すモデルとに基づいて前記対象物の位置姿勢を検出する検出部と、
１以上の軸の各々について、前記検出部によって検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置に重畳表示させる解析部と、
前記検出された位置姿勢に対するオフセット量を設定する設定部とを備える、画像処理装置。

【請求項2】

前記１以上の軸の各々について、当該軸の方向および当該軸上における前記平面の位置の少なくとも一方は可変である、請求項１に記載の画像処理装置。

【請求項3】

前記１以上の軸は、互いに直交する３つの軸を含む、請求項１または２に記載の画像処理装置。

【請求項4】

前記検出された位置姿勢から前記オフセット量だけ移動させた位置姿勢に応じて、前記対象物をピッキングするロボットの動作を決定する決定部をさらに備える、請求項１に記載の画像処理装置。

【請求項5】

前記設定部は、前記表示装置に表示された前記モデルに対する移動操作に従って、前記オフセット量を設定する、請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記解析部は、前記表示装置に表示されている前記モデルを前記オフセット量だけ移動させる、請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記オフセット量は、並進成分および回転成分の少なくとも一方を含む、請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

画像処理方法であって、
対象物が視野領域に含まれるように設置された撮像装置から得られる画像に基づいて、前記視野領域の三次元点群データを生成するステップと、
前記三次元点群データと前記対象物の三次元形状を示すモデルとに基づいて前記対象物の位置姿勢を検出するステップと、
１以上の軸の各々について、検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置に重畳表示させるステップと、
前記検出された位置姿勢に対するオフセット量を設定するステップとを備える、画像処理方法。

【請求項9】

画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
対象物が視野領域に含まれるように設置された撮像装置から得られる画像に基づいて、前記視野領域の三次元点群データを生成するステップと、
前記三次元点群データと前記対象物の三次元形状を示すモデルとに基づいて前記対象物の位置姿勢を検出するステップと、
１以上の軸の各々について、検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置に重畳表示させるステップと、
前記検出された位置姿勢に対するオフセット量を設定するステップとを備える、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、視覚センサを用いて、バラ積みされた対象物であるワークの位置姿勢を検出し、検出結果に基づいてロボットによるワークのピッキング動作を制御する画像処理装置が知られている。

【0003】

特開２０１８－１４６３４７号公報（特許文献１）には、三次元計測により取得した三次元計測データに対して、ワークモデルを用いた三次元サーチ処理を実行し、ワークの位置姿勢を特定する画像処理装置が開示されている。特許文献１に開示の画像処理装置は、ワークのバラ積み状態を示す高さ画像に対し、ワークモデルの特徴点を三次元サーチ処理の結果として重畳表示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１４６３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、高さ画像に対してワークモデルの特徴点が重畳表示された画面だけでは、ワークの位置姿勢の検出精度を十分に把握することができない。

【0006】

本発明は、上記の問題に鑑みてなされたものであり、その目的は、ユーザが対象物の位置姿勢の検出精度を確認しやすい画像処理装置、画像処理方法およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の一例によれば、画像処理装置は、生成部と、検出部と、解析部とを備える。生成部は、対象物が視野領域に含まれるように設置された撮像装置から得られる画像に基づいて、視野領域の三次元点群データを生成する。検出部は、三次元点群データと対象物の三次元形状を示すモデルとに基づいて対象物の位置姿勢を検出する。解析部は、１以上の軸の各々について、検出部によって検出された位置姿勢に配置されたモデルにおける当該軸に直交する平面との第１交差部分と、三次元点群データで示される面における平面との第２交差部分とを表示装置に重畳表示させる。

【0008】

この開示によれば、ユーザは、各軸に直交する仮想平面上での第１交差部分と第２交差部分とのずれを確認することができる。当該ずれは、検出部によるワークの位置姿勢の検出精度に依存する。そのため、ユーザは、検出部によるワークの位置姿勢の検出精度を確認しやすくなる。

【0009】

上述の開示において、１以上の軸の各々について、当該軸の方向および当該軸上における平面の位置の少なくとも一方は可変である。

【0010】

この開示によれば、ユーザは、所望の位置に仮想平面を移動し、当該仮想平面上の第１交差部分と第２交差部分とを確認できる。

【0011】

上述の開示において、１以上の軸は、互いに直交する３つの軸を含む。この開示によれば、ユーザは、互いに直交する３つの軸にそれぞれ直交する３つの仮想平面の各々における第１交差部分と第２交差部分とを確認できる。その結果、ユーザは、検出部によるワークの位置姿勢の様々な方向における検出精度を確認できる。

【0012】

上述の開示において、画像処理装置は、検出された位置姿勢に対するオフセット量を設定する設定部と、検出された位置姿勢からオフセット量だけ移動させた位置姿勢に応じて、対象物をピッキングするロボットの動作を決定する決定部とをさらに備える。

【0013】

この開示によれば、ユーザは、オフセット量を指定することにより、ロボットの動作を適宜調整できる。なお、オフセット量は、並進成分および回転成分の少なくとも一方を含む。

【0014】

上述の開示において、設定部は、表示装置に表示されたモデルに対する移動操作に従って、オフセット量を設定する。

【0015】

この開示によれば、ユーザは、ワークモデルに対する移動操作を行なうことにより、オフセット量を容易に指定することができる。

【0016】

上述の開示において、解析部は、表示装置に表示されているモデルをオフセット量だけ移動させる。

【0017】

この開示によれば、ユーザは、表示装置に表示されているワークモデルの移動量を確認することにより、オフセット量の大きさを視覚的に認識できる。

【0018】

本開示の一例によれば、画像処理方法は、第１～第３のステップを備える。第１のステップは、対象物が視野領域に含まれるように設置された撮像装置から得られる画像に基づいて、視野領域の三次元点群データを生成するステップである。第２のステップは、三次元点群データと対象物の三次元形状を示すモデルとに基づいて対象物の位置姿勢を検出するステップである。第３のステップは、１以上の軸の各々について、検出された位置姿勢に配置されたモデルにおける当該軸に直交する平面との第１交差部分と、三次元点群データで示される面における平面との第２交差部分とを表示装置に重畳表示させるステップである。

【0019】

本開示の一例によれば、プログラムは、上記の方法をコンピュータに実行させる。これらの開示によっても、ユーザは、対象物の位置姿勢の検出精度を確認しやすくなる。

【発明の効果】

【0020】

本開示によれば、ユーザは、対象物の位置姿勢の検出精度を確認しやすくなる。

【図面の簡単な説明】

【0021】

【図1】実施の形態に係る制御システムの全体構成を示す概略図である。

【図2】制御システムを構成する各部材の座標系の対応関係を示す図である。

【図3】ワークモデルと、当該ワークモデルを把持するエンドエフェクタモデルとの位置関係を示す図である。

【図4】三次元点群データで示される計測表面と、当該三次元点群データから検出されたワークの位置姿勢に配置されたワークモデルとの一例を示す図である。

【図5】三次元点群データで示される計測表面と、当該三次元点群データから検出されたワークの位置姿勢に配置されたワークモデルとの別の例を示す図である。

【図6】ワークの位置姿勢の検出結果を確認するための解析画面の一例を示す図である。

【図7】図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。

【図8】図１に示す画像処理装置の機能構成の一例を示すブロック図である。

【図9】図８に示す解析部によって表示される解析画面の一例を示す図である。

【図10】ドラッグ操作によりオフセット量の回転成分の入力を受け付けるときの画面例を示す図である。

【図11】オフセット量の第１の設定例を示す図である。

【図12】検出された位置姿勢に配置したワークモデルとワークとの並進ずれの一例を示す図である。

【図13】検出された位置姿勢に配置したワークモデルとワークとの回転ずれの一例を示す図である。

【図14】オフセット量の第２の設定例を示す図である。

【図15】解析モード時の画像処理装置の処理の流れを示すフローチャートである。

【図16】通常モード時の画像処理装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0022】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

【0023】

§１ 適用例
まず、図１～図６を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る制御システムの全体構成を示す概略図である。図１に例示される制御システムＳＹＳは、生産ラインなどに組み込まれ、コンテナ２に収容された対象物（以下、「ワーク１」と称する。）に対するピッキングの制御を行なう。ワーク１は、コンテナ２内にバラ積みされる。そのため、コンテナ２内でのワーク１の位置姿勢はランダムである。

【0024】

図１に例示される制御システムＳＹＳは、画像処理装置１００と、ロボットコントローラ２００と、ロボット３００と、計測ヘッド４００とを備える。画像処理装置１００には、表示装置１５０および入力装置１６０が接続されている。入力装置１６０は、例えばキーボードおよびマウスを含む。

【0025】

ロボット３００は、ワーク１のピッキングを行なう。ロボット３００は、ワーク１を保持するエンドエフェクタ３０と、エンドエフェクタ３０の位置姿勢を変更するための多関節アーム３１と、多関節アーム３１を支持するベース３２とを含む。ロボット３００の動作は、ロボットコントローラ２００によって制御される。

【0026】

図１に例示されるエンドエフェクタ３０は、２つの爪３３を有し、２つの爪３３を用いてワーク１を把持する。なお、爪３３は、ワーク１を把持する際に、ワーク１に接触する部位であり、「指」とも称される。ワーク１の保持方法は、２つの爪を用いた把持に限定されない。例えば、エンドエフェクタ３０は、３つ以上の爪を用いてワークを把持してもよいし、吸着パッドを用いてワーク１を吸着してもよい。

【0027】

ロボットコントローラ２００は、画像処理装置１００からの動作指令を受けて、ロボット３００の多関節アーム３１を制御する。具体的には、ロボットコントローラ２００は、エンドエフェクタ３０がワーク１に対するピッキング動作を行なうように多関節アーム３１を制御する。

【0028】

計測ヘッド４００は、コンテナ２およびコンテナ２に収容されたワーク１が被写体となるように設置され、当該被写体を撮像する。計測ヘッド４００は、投影部４０１と撮像部４０２とを備える。投影部４０１は、画像処理装置１００からの指示に従って任意の投影パターン光を被写体に投影する。投影パターンは、例えば照射面内の所定方向に沿って明るさが周期的に変化するパターンである。撮像部４０２は、投影パターン光が投影された状態の被写体を撮像する。

【0029】

投影部４０１は、主要なコンポーネントとして、例えば、ＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源と、投影部４０１の照射面の側に配置されたフィルタとを含む。フィルタは、後述するような三次元形状の計測に必要な投影パターン光を発生させるものであり、画像処理装置１００からの指令に従って、面内の透光率を任意に変化させることができる。投影部４０１は、液晶またはやＤＭＤ（Digital Mirror Device）と光源（ＬＥＤまたはレーザ光源など）とを用いた構成であってもよい。

【0030】

撮像部４０２は、主要なコンポーネントとして、例えば、レンズなどの光学系と、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子とを含む。

【0031】

画像処理装置１００は、計測ヘッド４００から受けた画像に基づいて、コンテナ２に収容されたワーク１の位置姿勢を検出する。画像処理装置１００は、検出したワーク１の位置姿勢に基づいて、エンドエフェクタ３０のピッキング動作を決定する。画像処理装置１００は、決定したピッキング動作に対応する動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する。ロボットコントローラ２００は、動作指令に従って、画像処理装置１００によって決定されたピッキング動作をロボット３００に実行させる。

【0032】

具体的には、画像処理装置１００は、検出したワーク１の位置姿勢に応じて、当該ワーク１を把持するときのエンドエフェクタ３０の取るべき位置姿勢（以下、「把持点」とも称する。）を決定する。画像処理装置１００は、待機位置から把持点まで移動し、ワーク１を把持してから目的位置（ワーク１のプレース位置）まで移動するピッキング動作を決定する。

【0033】

図２および図３を参照して、画像処理装置１００によるピッキング動作の決定方法について説明する。図２は、制御システムを構成する各部材の座標系の対応関係を示す図である。図３は、ワークモデルと、当該ワークモデルを把持するエンドエフェクタモデルとの位置関係を示す図である。

【0034】

図２において、「ベース座標系Ｂ」は、ロボット３００のベース３２を基準とする座標系である。「ツール座標系Ｔ」は、ロボット３００の多関節アーム３１の先端面（エンドエフェクタ３０が取り付けられるフランジ面）に設定される座標系である。フランジ面の位置姿勢は、エンドエフェクタ３０の位置姿勢を定義付ける。「カメラ座標系Ｃ」は、計測ヘッド４００の撮像部４０２を基準とする座標系である。「ワーク座標系Ｗ」は、ワーク１を基準とする座標系である。

【0035】

計測ヘッド４００から受けた画像に基づいて検出されるワーク１の位置姿勢は、例えばカメラ座標系Ｃをワーク座標系Ｗに変換する座標変換行列^CＨ_Wによって示される。座標変換行列^CＨ_Wは、カメラ座標系Ｃにおけるワーク座標系Ｗの基底ベクトルの成分および原点の位置を表す。

【0036】

一方、画像処理装置１００からロボットコントローラ２００に出力される動作指令は、例えばベース座標系Ｂをツール座標系Ｔに変換する座標変換行列^BＨ_Tによって示される。座標変換行列^BＨ_Tは、ベース座標系Ｂにおけるツール座標系Ｔの基底ベクトルの成分および原点の位置を表す。

【0037】

座標変換行列^CＨ_W，^BＨ_Tは、以下の式（１）を満たす。
^BＨ_C・^CＨ_W＝^BＨ_T・^TＨ_W ・・・式（１）
式（１）において、座標変換行列^BＨ_Cは、ベース座標系Ｂをカメラ座標系Ｃに変換する行列である。座標変換行列^BＨ_Cは、ベース座標系Ｂにおけるカメラ座標系Ｃの基底ベクトルの成分および原点の位置を表す。座標変換行列^TＨ_Wは、ツール座標系Ｔをワーク座標系Ｗに変換する行列である。座標変換行列^TＨ_Wは、ツール座標系Ｔにおけるワーク座標系Ｗの基底ベクトルの成分および原点の位置を表す。

【0038】

本実施の形態では、計測ヘッド４００は、コンテナ２全体を撮像可能な位置に固定される。そのため、式（１）の座標変換行列^BＨ_Cは、固定値で表され、事前に実行されるキャリブレーションによって求められる。キャリブレーションとして、例えば、ロボット３００のフランジ面にマーカを取り付け、ロボット３００を動作させながら計測ヘッド４００の撮像部４０２でマーカを撮像するハンドアイキャリブレーションが採用され得る。

【0039】

ワーク１を把持するときのエンドエフェクタ３０の位置姿勢（把持点）は、ワーク１の三次元形状を示すモデル（以下、「ワークモデル１Ｍ」と称する。）とエンドエフェクタ３０の三次元形状を示すモデル（以下、エンドエフェクタモデル３０Ｍ」と称する。）とを用いて予め登録される。

【0040】

図３に示されるように、ユーザは、ワーク１をエンドエフェクタ３０が把持するときのワーク１に対するエンドエフェクタ３０の相対位置姿勢と一致するように、仮想空間上において、ワークモデル１Ｍとエンドエフェクタモデル３０Ｍとを配置する。このようにして仮想空間上に配置されたエンドエフェクタモデル３０Ｍに対するワークモデル１Ｍの相対位置姿勢を示す座標変換行列^TMＨ_WMが算出される。算出された座標変換行列^TMＨ_WMは、把持点データとして画像処理装置１００に予め登録される。

【0041】

座標変換行列^TMＨ_WMは、エンドエフェクタモデル３０Ｍの多関節アーム側の面を基準とする座標系ＴＭにおけるワークモデル１Ｍの座標系ＷＭの基底ベクトルの成分および原点の位置を表す。座標系ＴＭの基底ベクトルおよび原点は、エンドエフェクタモデル３０Ｍを多関節アーム３１のフランジ面に取り付けたと仮定したときに、ツール座標系Ｔ（図２参照）の基底ベクトルおよび原点とそれぞれ一致するように設定される。ワークモデル１Ｍの基底ベクトルおよび原点は、ワークモデル１Ｍをワーク１と重ね合わせたときに、ワーク座標系Ｗ（図２参照）の基底ベクトルおよび原点とそれぞれ一致するように設定される。

【0042】

画像処理装置１００は、式（１）の座標変換行列^TＨ_Wに予め登録された把持点データ（座標変換行列^TMＨ_WM）を入力する。これにより、画像処理装置１００は、以下の式（２）に従って、計測ヘッド４００から受けた画像に基づいて検出されたワーク１を把持するときのエンドエフェクタ３０の位置姿勢を示す座標変換行列^BＨ_Tを算出する。
^BＨ_T＝（^TMＨ_WM）^-1・^BＨ_C・^CＨ_W ・・・式（２）
画像処理装置１００は、算出した座標変換行列^BＨ_Tに従って、ロボットコントローラ２００への動作指令を生成すればよい。

【0043】

画像処理装置１００によるワーク１の位置姿勢の検出は、三次元サーチを用いて実行される。三次元サーチは、計測ヘッド４００から受けた画像に基づいて生成される三次元点群データの中から、ワーク１の三次元形状を示すワークモデルと一致または近似する特徴点を抽出し、抽出した特徴点に基づいてワーク１の位置姿勢を検出する処理である。三次元点群データは、計測ヘッド４００から受けた画像から計測される、視野領域内に存在する物体表面（以下、「計測表面」と称する。）を示す。三次元サーチは、公知の検出アルゴリズム（「認識アルゴリズム」とも称される。）を用いて実行される。

【0044】

図４は、三次元点群データで示される計測表面と、当該三次元点群データから検出されたワークの位置姿勢に配置されたワークモデルとの一例を示す図である。図５は、三次元点群データで示される計測表面と、当該三次元点群データから検出されたワークの位置姿勢に配置されたワークモデルとの別の例を示す図である。

【0045】

図４および図５に示されるように、検出アルゴリズムの癖によって、検出された位置姿勢に配置したワークモデル７１は、三次元点群データで示される計測表面７０に対して常に一定方向に並進または回転し得る。図４に示す例では、ワークモデル７１は、計測表面７０に対して＋Ｚ方向にずれている。図５に示す例では、ワークモデル７１は、計測表面７０に対してＹ軸を中心とする回転方向にずれている。ただし、計測表面７０に対するワークモデル７１の並進ずれおよび回転ずれの方向は、検出アルゴリズムの癖に依存し、図４および図５に例示する方向に限定されない。

【0046】

従来、図４および図５に示されるような検出ずれをユーザが十分に確認できなかった。そのため、本実施の形態に係る画像処理装置１００は、ワーク１の位置姿勢の検出精度を確認するための解析画面をユーザに提示する。

【0047】

図６は、ワークの位置姿勢の検出結果を確認するための解析画面の一例を示す図である。図６に例示される解析画面５０は、画像処理装置１００によって表示装置１５０（図１参照）に表示される。

【0048】

図６に示されるように、解析画面５０は、領域５１，６１～６２を含む。領域５１には、計測ヘッド４００を用いて計測された三次元点群データで示される距離画像が表示される。距離画像は、カラーマップで表現され、ＸＹ平面上の各画素についてＺ座標（高さ）を色または濃度によって示す。距離画像が取りうるＺ座標の範囲は、カラーバー５２によって示される。なお、Ｘ軸、Ｙ軸およびＺ軸は互いに直交する。Ｚ軸は、撮像部４０２の光軸と平行である。

【0049】

領域５１には、三次元サーチによって検出された位置姿勢に配置されたワークモデル７１をＺ軸方向に投影した領域の輪郭７１ｄが距離画像に重畳して表示される。図６に示す例では、三次元サーチにより三次元点群データから複数のワーク１の位置姿勢が検出されている。そのため、複数の輪郭７１ｄが表示されている。

【0050】

さらに、領域５１には、Ｘ軸に直交する仮想平面（以下、「第１仮想平面」と称する。）の位置を指定するためのライン５３と、Ｙ軸に直交する仮想平面（以下、「第２仮想平面」と称する。）の位置を指定するためのライン５４とが表示される。カラーバー５２には、Ｚ軸に直交する仮想平面（以下、「第３仮想平面」と称する。）の位置を指定するためのライン５５が表示される。ライン５３，５４，５５の位置は、入力装置１６０に対する操作に応じて可変である。

【0051】

領域６０には、検出された位置姿勢に配置されたワークモデル７１における第１仮想平面との交差部分７１ａと、計測表面７０における第１仮想平面との交差部分７０ａとが重畳表示される。

【0052】

領域６１には、検出された位置姿勢に配置されたワークモデル７１における第２仮想平面との交差部分７１ｂと、計測表面７０における第２仮想平面との交差部分７０ｂとが重畳表示される。

【0053】

領域６２には、検出された位置姿勢に配置されたワークモデル７１における第３仮想平面との交差部分７１ｃと、計測表面７０における第３仮想平面との交差部分７０ｃとが重畳表示される。

【0054】

このように、画像処理装置１００は、Ｘ，Ｙ，Ｚ軸の各々について、検出された位置姿勢に配置されたワークモデル７１における当該軸に直交する平面との交差部分と、計測表面７０における当該平面との交差部分とを表示装置１５０に重畳表示させる。ユーザは、Ｘ，Ｙ，Ｚ軸の各々に直交する平面上での２つの交差部分のずれを確認することができる。当該ずれは、三次元サーチによるワークの位置姿勢の検出精度に依存する。そのため、ユーザは、三次元サーチによるワークの位置姿勢の検出精度を確認しやすくなる。

【0055】

§２ 具体例
次に、本実施の形態に係る制御システムの具体例について説明する。

【0056】

＜Ａ．画像処理装置のハードウェア構成例＞
画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る画像処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像処理装置１００にインストールされる。

【0057】

このような汎用的なコンピュータを利用する場合には、本実施の形態に係る画像処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。

【0058】

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

【0059】

図７は、図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。図７に示されるように、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、計測ヘッドインターフェース１１６と、入力インターフェース１１８と、表示コントローラ１２０と、通信インターフェース１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。

【0060】

ＣＰＵ１１０は、ハードディスク１１４にインストールされたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、計測ヘッド４００によって取得された画像などを保持する。さらに、ハードディスク１１４には、後述するような各種データなどが格納される。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

【0061】

計測ヘッドインターフェース１１６は、ＣＰＵ１１０と計測ヘッド４００との間のデータ伝送を仲介する。すなわち、計測ヘッドインターフェース１１６は、計測ヘッド４００と接続される。計測ヘッドインターフェース１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、計測ヘッド４００に対して投影コマンドおよび撮像コマンドを与える。計測ヘッドインターフェース１１６は、計測ヘッド４００からの画像を一時的に蓄積するための画像バッファ１１６ａを含む。計測ヘッドインターフェース１１６は、画像バッファ１１６ａに所定コマ数の画像が蓄積されると、その蓄積された画像をメインメモリ１１２へ転送する。

【0062】

入力インターフェース１１８は、ＣＰＵ１１０と入力装置１６０との間のデータ伝送を仲介する。すなわち、入力インターフェース１１８は、ユーザが入力装置１６０に入力した入力情報を受付ける。

【0063】

表示コントローラ１２０は、表示装置１５０と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するように表示装置１５０の表示を制御する。

【0064】

通信インターフェース１２４は、ＣＰＵ１１０とロボットコントローラ２００などの外部装置との間のデータ伝送を仲介する。通信インターフェース１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。

【0065】

データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、計測ヘッド４００によって撮像された画像および／または画像処理装置１００における処理結果などをメモリカード１０６へ書込む。なお、メモリカード１０６は、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。

【0066】

＜Ｂ．画像処理装置の機能構成例＞
図８は、図１に示す画像処理装置の機能構成の一例を示すブロック図である。図８に示されるように、画像処理装置１００は、ヘッド制御部１０と、記憶部１１と、画像処理部１２と、ＵＩ（User Interface）処理部１３とを備える。ヘッド制御部１０は、図７に示すＣＰＵ１１０および計測ヘッドインターフェース１１６によって実現される。記憶部１１は、図７に示すメインメモリ１１２およびハードディスク１１４によって実現される。画像処理部１２は、図７に示すＣＰＵ１１０および通信インターフェース１２４によって実現される。ＵＩ処理部１３は、図７に示すＣＰＵ１１０、入力インターフェース１１８および表示コントローラ１２０によって実現される。

【0067】

画像処理装置１００は、動作モードとして通常モードおよび解析モードを有する。通常モードが選択された場合、ヘッド制御部１０および画像処理部１２が動作する。解析モードが選択された場合、ヘッド制御部１０、画像処理部１２およびＵＩ処理部１３が動作する。解析モードは、例えば生産ラインの立ち上げ時および定期的なメンテナンス時に選択される。

【0068】

ヘッド制御部１０は、計測ヘッド４００の動作を制御する。ヘッド制御部１０は、予め定められた投影パターン光の投影を指示する投影コマンドを計測ヘッド４００に出力する。ヘッド制御部１０は、投影パターン光が投影されている状態で撮像コマンドを計測ヘッド４００に出力する。ヘッド制御部１０は、計測ヘッド４００から取得した画像データ１１ａを記憶部１１に格納する。

【0069】

記憶部１１には、計測ヘッド４００の撮像により得られた画像データ１１ａが格納される。さらに、記憶部１１には、ワーク１の三次元形状を示すＣＡＤ（Computer Aided Design）データ１１ｂと、ワーク１を把持するときのエンドエフェクタ３０の位置姿勢を示す把持点データ１１ｃとが予め格納される。さらに、記憶部１１には、三次元サーチによって検出された位置姿勢に対する補正量（以下、「オフセット量」と称する。）を示すオフセットデータ１１ｄも格納される。オフセットデータ１１ｄは、ＵＩ処理部１３によって生成される。オフセットデータ１１ｄの詳細については後述する。

【0070】

画像処理部１２は、計測ヘッド４００の撮像により得られた画像データ１１ａに対する処理を行なう。図８に示されるように、画像処理部１２は、３Ｄ画像生成部１４と、検出部１５と、動作指令決定部１６と、通信部１７とを含む。

【0071】

３Ｄ画像生成部１４は、画像データ１１ａに基づいて、計測ヘッド４００の視野領域における三次元計測を行ない、三次元点群データを生成する。三次元点群データは、計測ヘッド４００の視野領域に存在する物体表面（計測表面）上の各点の三次元座標を示す。

【0072】

三次元点群データは、例えば、計測表面上のＭ×Ｎ個の点の三次元座標（ｘ₁，ｙ₁，ｚ₁），・・・，（ｘ_M、ｙ₁，ｚ_M），（ｘ₁，ｙ₂、ｚ_M+1），・・・，（ｘ_M，ｙ₂、ｚ_2M），・・・，（ｘ_M，ｙ_N，ｚ_NM）を示す。点（ｘ₁，ｙ₁），・・・，（ｘ_M、ｙ_N）は、撮像部４０２の光軸に直交するＸＹ平面上にマトリクス状に配置されたＭ×Ｎ個の点を表す。なお、撮像部４０２が透視投影によって画像データ１１ａを生成する場合、当該画像データ１１ａに基づいて生成される三次元点群データで示される点群は、通常、ＸＹ平面上に投影したときにマトリクス状に配置されない。このような場合、３Ｄ画像生成部１４は、ＸＹ平面上に投影したときにマトリクス状に配置されたＭ×Ｎ個の点群に対応するように三次元点群データの座標値を適宜補間し、三次元点群データで示される点群を再配置すればよい。

【0073】

三次元計測処理として、例えば三角測距方式、同軸方式が採用され得る。三角測距方式は、撮像と投光との光軸を基線長分だけ離間させ、視差を距離に変換する方式である。三角測距方式には、アクティブ法とパッシブ法とが含まれる。アクティブ法には、構造化照明法、位相シフト法、空間コード法が含まれる。同軸方式は、撮像と測距手段との光軸を同一に設定する方式である。測距手段として、焦点方式が含まれる。また、同軸に近い方式としてＴＯＦ（Time of Flight）方式も含まれる。３Ｄ画像生成部１４は、これらの方式のいずれかを用いて三次元計測処理を実行すればよい。例えば位相シフト法を用いて三次元計測処理が行なわれる。

【0074】

位相シフト法は、正弦波状に濃淡を変化させた投影パターン光を被写体に投影した状態で撮像された画像（正弦波投影画像）を用いる方法である。濃淡の変化周期や位相を異ならせた投影パターンが複数用意され、計測ヘッド４００の投影部４０１は、撮像部４０２の視野領域に対して、複数の投影パターン光を順次照射する。３Ｄ画像生成部１４は、複数の投影パターンが投影されたときにそれぞれ撮像される画像データ１１ａの群（正弦波投影画像群）を記憶部１１から読み出す。そして、３Ｄ画像生成部１４は、これらの画像データ１１ａ間における対応する部分の明るさ（輝度や明度）の変化に基づいて、三次元座標を算出する。

【0075】

検出部１５は、三次元サーチによってワーク１の位置姿勢を検出する。具体的には、検出部１５は、予め作成された複数のテンプレートデータと三次元点群データとを照合し、三次元点群データの中からテンプレートと類似するデータを抽出する。テンプレートデータは、ＣＡＤデータ１１ｂに基づいて予め作成される。典型的には、仮想空間上にＣＡＤデータ１１ｂで示されるワークモデルと複数の仮想視点とを配置し、複数の仮想視点の各々から見たときのワークモデルの表面上の点の座標を示すテンプレートデータが作成される。検出部１５は、三次元点群データの中から抽出した、テンプレートと類似するデータに基づいて、ワーク１の位置姿勢を検出する。検出部１５によって検出されるワーク１の位置姿勢は、計測ヘッド４００の撮像部４０２の座標系（カメラ座標系Ｃ（図２参照））で示される。なお、検出部１５は、公知の検出アルゴリズムを用いて、ワーク１の位置姿勢を検出すればよい。

【0076】

なお、検出部１５は、複数のワーク１の位置姿勢を検出した場合、予め定められた選択基準に従って、当該複数のワーク１のうちの１つをピッキング対象として選択する。

【0077】

動作指令決定部１６は、ピッキング対象のワーク１の位置姿勢に応じて、エンドエフェクタ３０の動作を決定する。具体的には、動作指令決定部１６は、検出部１５によって検出された位置姿勢を示す座標変換行列^CＨ_Wと、事前のキャリブレーションによって算出された座標変換行列^BＨ_Cと、把持点データ１１ｃで示される座標変換行列^TMＨ_WMとを上記の式（２）に代入することにより、座標変換行列^BＨ_Tを算出する。画像処理装置１００は、算出した座標変換行列^BＨ_Tに従って、ロボットコントローラ２００への動作指令を生成する。

【0078】

ただし、動作指令決定部１６は、記憶部１１にオフセットデータ１１ｄが格納されている場合、検出部１５によって検出された位置姿勢を示す座標変換行列^CＨ_Wをオフセットデータ１１ｄが示すオフセット量だけ補正する。動作指令決定部１６は、補正後の座標変換行列^CＨ_Wを上記の式（２）に代入する。

【0079】

通信部１７は、ロボットコントローラ２００と通信可能であり、動作指令決定部１６によって生成された動作指令をロボットコントローラ２００に送信する。

【0080】

ＵＩ処理部１３は、画像処理装置１００の動作およびロボット３００の動作に関する情報をユーザに提供する処理を実行する。図８に示されるように、ＵＩ処理部１３は、解析部１８と設定部１９とを含む。

【0081】

解析部１８は、３Ｄ画像生成部１４によって生成された直近の三次元点群データと、当該三次元点群データに対する検出部１５の検出結果（ワーク１の位置姿勢）とを取得する。解析部１８は、取得した三次元点群データおよび検出結果に対する解析処理を実行し、解析結果を示す解析画面を表示装置１５０に表示する。解析画面の詳細については後述する。

【0082】

設定部１９は、三次元サーチによって検出された位置姿勢に対するオフセット量を設定する。後述するように解析部１８によって表示装置１５０に表示される解析画面には、オフセット量を設定するための入力欄が設けられる。設定部１９は、当該入力欄への入力に従ってオフセット量を設定する。設定部１９は、設定したオフセット量を示すオフセットデータ１１ｄを生成し、生成したオフセットデータ１１ｄを記憶部１１に格納する。

【0083】

＜Ｃ．解析画面＞
図９は、図８に示す解析部によって表示装置に表示される解析画面の一例を示す図である。図９に例示される解析画面５０ａは、図６に示す解析画面５０と同様に、領域５１，６０～６２を含む。解析画面５０ａは、さらに、検出された位置姿勢に配置された１つのワークモデルを選択するための入力欄６３と、オフセット量を入力するための入力欄６４，６５と、オフセット量を設定するためのＯＫボタン６８とを含む。

【0084】

解析部１８は、３Ｄ画像生成部１４から取得した三次元点群データで示される距離画像を領域５１に表示する。さらに、解析部１８は、検出部１５から取得した検出結果で示されるワーク１の位置姿勢に配置したワークモデル７１をＸＹ平面に投影した領域の輪郭７１ｄを距離画像に重畳表示する。具体的には、解析部１８は、検出結果で示される位置姿勢と一致するようＣＡＤデータ１１ｂの座標を変換する。ワークモデル７１は、座標変換されたＣＡＤデータ１１ｂによって示される。

【0085】

解析部１８は、距離画像上のライン５３のＸ座標＝ｘ０に基づいて、Ｘ軸に直交する第１仮想平面を決定する。具体的には、解析部１８は、ｘ＝ｘ０で示される平面を第１仮想平面として決定する。

【0086】

解析部１８は、ワークモデル７１における第１仮想平面との交差部分７１ａを領域６０に表示する。上述したように、ワークモデル７１は、検出結果で示される位置姿勢と一致するように座標変換されたＣＡＤデータ１１ｂによって示される。解析部１８は、座標変換されたＣＡＤデータ１１ｂによって示される面要素（三角メッシュなど）と第１仮想平面との交線を交差部分７１ａとして表示させる。

【0087】

さらに、解析部１８は、三次元点群データで示される計測表面７０における第１仮想平面との交差部分７０ａを領域６０に表示する。すなわち、解析部１８は、交差部分７０ａと交差部分７１ａとを重畳表示させる。

【0088】

三次元点群データが計測表面上のＭ×Ｎ個の点の座標（ｘ₁，ｙ₁，ｚ₁），・・・，（ｘ_M，ｙ_N，ｚ_NM）を示す場合、ライン５３のＸ座標は、所定ピッチΔｘ間隔のｘ₁，・・・，ｘ_Mのいずれかのみを取り得るように設定されていてもよい。この場合、解析部１８は、三次元点群データから、第１仮想平面と同じＸ座標（＝ｘ０）を有する点の座標を抽出し、抽出した座標に基づいて、交差部分７０ａを領域６０に表示させる。

【0089】

ライン５３のＸ座標は、ｘ₁，・・・，ｘ_Mだけでなく、他の値も取り得るように設定されていてもよい。この場合、解析部１８は、三次元点群データから、第１仮想平面を挟み込む２つの点からなるペアをＮ個抽出する。ペアは、Ｘ軸方向に沿った距離が所定ピッチΔｘ以下となる２点からなる。例えば、第１仮想平面のＸ座標ｘ０がｘ_k-1＜ｘ０＜ｘ_ｋである場合、Ｎ個のペアは、点（ｘ_k-1，ｙ_i，ｚ_(i-1)M+k-1）と点（ｘ_k，ｙ_i，ｚ_(i-1)M+k）とからなるペア（ｉは１～Ｎの整数）である。解析部１８は、Ｎ個のペアの各々について、当該ペアを構成する２つの点の座標を用いた補間演算により、三次元点群データで示される計測表面と第１仮想平面との交線上の点の座標を求める。例えば、解析部１８は、座標（ｘ_k-1，ｙ₁，ｚ_k-1）と座標（ｘ_k，ｙ₁，ｚ_k）とを用いて、計測表面と第１仮想平面との交線上の点の座標（ｘ０，ｙ₁，｛（ｘ_k－ｘ０）ｚ_k-1＋（ｘ０－ｘ_k-1）ｚ_k｝／（ｘ_k－ｘ_k-1））を演算する。

【0090】

解析部１８は、ライン５３の位置が変更されるたびに、変更後のライン５３の位置に応じて領域６０に表示される交差部分７０ａ，７１ａを更新する。これにより、ユーザは、ライン５３の位置を変更することにより、所望の位置の第１仮想平面上の交差部分７０ａ，７１ａの相対位置関係を確認できる。

【0091】

解析部１８は、距離画像上のライン５４のＹ座標＝ｙ０に基づいて、Ｙ軸に直交する第２仮想平面を決定する。具体的には、解析部１８は、ｙ＝ｙ０で示される平面を第２仮想平面として決定する。

【0092】

解析部１８は、ワークモデル７１における第２仮想平面との交差部分７１ｂを領域６１に表示する。解析部１８は、検出結果で示される位置姿勢と一致するように座標変換されたＣＡＤデータ１１ｂによって示される面要素と第２仮想平面との交線を交差部分７１ｂとして表示させる。

【0093】

さらに、解析部１８は、三次元点群データで示される計測表面７０における第２仮想平面との交差部分７０ｂを領域６１に表示する。すなわち、解析部１８は、交差部分７０ｂと交差部分７１ｂとを重畳表示させる。

【0094】

三次元点群データが計測表面上のＭ×Ｎ個の点の座標（ｘ₁，ｙ₁，ｚ₁），・・・，（ｘ_M，ｙ_N，ｚ_NM）を示す場合、ライン５４のＹ座標は、所定ピッチΔｙ間隔のｙ₁，・・・，ｙ_Nのいずれかのみを取り得るように設定されていてもよい。この場合、解析部１８は、三次元点群データから、第２仮想平面と同じＹ座標（＝ｙ０）を有する点の座標を抽出し、抽出した座標に基づいて、交差部分７０ｂを領域６１に表示させる。

【0095】

ライン５４のＹ座標は、ｙ₁，・・・，ｙ_Nだけでなく、他の値も取り得るように設定されていてもよい。この場合、解析部１８は、三次元点群データから、第２仮想平面を挟み込む２つの点からなるペアをＭ個抽出する。ペアは、Ｙ軸方向に沿った距離が所定ピッチΔｙ以下となる２点からなる。例えば、第２仮想平面のＹ座標ｙ０がｙ_k-1＜ｙ０＜ｙ_ｋである場合、Ｍ個のペアは、点（ｘ_j，ｙ_k-1，ｚ_(k-1)M+j）と点（ｘ_j，ｙ_k，ｚ_kM+j）とからなるペア（ｊは１～Ｍの整数）である。解析部１８は、Ｍ個のペアの各々について、当該ペアを構成する２つの点の座標を用いた補間演算により、三次元点群データで示される計測表面と第１仮想平面との交線上の点の座標を求める。例えば、解析部１８は、座標（ｘ₁，ｙ_k-1，ｚ_(k-1)M+1）と座標（ｘ₁，ｙ_k，ｚ_kM+1）とを用いて、計測表面と第２仮想平面との交線上の点の座標（ｘ₁，ｙ０，｛（ｙ_k－ｙ０）ｚ_(k-1)M+1＋（ｙ０－ｙ_k-1）ｚ_kM+1｝／（ｙ_k－ｙ_k-1））を演算する。

【0096】

解析部１８は、ライン５４の位置が変更されるたびに、変更後のライン５４の位置に応じて領域６１に表示される交差部分７０ｂ，７１ｂを更新する。これにより、ユーザは、ライン５４の位置を変更することにより、所望の位置の第２仮想平面上の交差部分７０ｂ，７１ｂの相対位置関係を確認できる。

【0097】

解析部１８は、カラーバー５２上のライン５５のＺ座標＝ｚ０に基づいて、Ｚ軸に直交する第３仮想平面を決定する。具体的には、解析部１８は、ｚ＝ｚ０で示される平面を第３仮想平面として決定する。

【0098】

解析部１８は、ワークモデル７１における第３仮想平面との交差部分７１ｃを領域６２に表示する。解析部１８は、検出結果で示される位置姿勢と一致するように座標変換されたＣＡＤデータ１１ｂによって示される面要素と第３仮想平面との交線を交差部分７１ｃとして表示させる。

【0099】

さらに、解析部１８は、三次元点群データで示される計測表面７０における第３仮想平面との交差部分７０ｃを領域６２に表示する。すなわち、解析部１８は、交差部分７０ｃと交差部分７１ｃとを重畳表示させる。

【0100】

三次元点群データが計測表面上のＭ×Ｎ個の点の座標（ｘ₁，ｙ₁，ｚ₁），・・・，（ｘ_M，ｙ_N，ｚ_NM）を示す場合、解析部１８は、三次元点群データから、第３仮想平面を挟み込む２つの点からなるペアを抽出する。ペアは、Ｘ軸方向に沿った距離が所定ピッチΔｘ以下となる２点、または、Ｙ軸方向に沿った距離が所定ピッチΔｙ以下となる２点からなる。解析部１８は、各ペアについて、当該ペアを構成する２つの点の座標を用いた補間演算により、三次元点群データで示される計測表面と第３仮想平面との交線上の点の座標を求める。例えば、解析部１８は、１つのペアを構成する２つの点の座標（ｘ₁，ｙ₁，ｚ₁），（ｘ₂，ｙ₁，ｚ₂）（ただし、ｚ₁およびｚ₂は、ｚ₁＜ｚ０＜ｚ₂またはｚ₂＜ｚ０＜ｚ₁を満たす）を用いて、計測表面と第３仮想平面との交線上の点の座標（｛（｜ｚ₂－ｚ０｜）ｘ₁＋（｜ｚ０－ｚ₁｜）ｘ₂｝／（｜ｚ₂－ｚ₁｜），ｙ₁，ｚ０）を演算する。同様に、解析部１８は、１つのペアを構成する２つの点の座標（ｘ₁，ｙ₁，ｚ₁），（ｘ₁，ｙ₂，ｚ_M+1）（ただし、ｚ₁およびｚ_M+1は、ｚ₁＜ｚ０＜ｚ_M+1またはｚ_M+1＜ｚ０＜ｚ₁を満たす）を用いて、計測表面と第３仮想平面との交線上の点の座標（ｘ₁，｛（｜ｚ_M+1－ｚ０｜）ｙ₁＋（｜ｚ０－ｚ₁｜）ｙ₂｝／（｜ｚ_M+1－ｚ₁｜），ｚ０）を演算する。

【0101】

解析部１８は、ライン５５の位置が変更されるたびに、変更後のライン５５の位置に応じて領域６２に表示される交差部分７０ｃ，７１ｃを更新する。これにより、ユーザは、ライン５５の位置を変更することにより、所望の位置の第３仮想平面上の交差部分７０ｂ，７１ｂの相対位置関係を確認できる。

【0102】

解析部１８は、検出部１５から取得した検出結果で示される１以上のワーク１の位置姿勢の各々に対してユニークな識別番号を付与する。

【0103】

入力欄６３には、オフセット量を設定するために用いる１つのワークモデル７１に対応する識別番号が入力される。解析部１８は、入力欄６３に入力された識別番号の位置姿勢に配置されたワークモデル７１に対応する輪郭７１ｄおよび交差部分７１ａ～７１ｃを領域５１，６０～６２においてそれぞれ強調表示させる。図９に例示される解析画面５０ａでは、入力欄６３に入力された識別番号の位置姿勢に配置されたワークモデル７１に対応する輪郭７１ｄ＿ｓおよび交差部分７１ａ＿ｓ～７１ｃ＿ｓが太線で表示されている。

【0104】

入力欄６４には、オフセット量の並進成分（Ｘ軸、Ｙ軸およびＺ軸の各々の並進成分）が入力される。入力欄６４にオフセット量の並進成分が入力されると、解析部１８は、入力欄６３に入力された識別番号の位置姿勢に配置されたワークモデル７１＿ｓの交差部分７１ａ＿ｓ～７１ｃ＿ｓを当該並進成分だけ移動させる。これにより、ユーザは、オフセット量の大きさを視覚的に認識できる。

【0105】

入力欄６５には、オフセット量の回転成分（Ｘ軸、Ｙ軸およびＺ軸の各々の並進成分）が入力される。入力欄６５は、回転中心を設定するためのラジオボタン群６６を含む。ラジオボタン群６６は、クリック位置を回転中心に設定するためのラジオボタンと、ワークモデル７１の重心を回転中心に設定するためのラジオボタンと、ワークモデル７１を示す座標変換後のＣＡＤデータ１１ｂの原点を回転中心に設定するためのラジオボタンとを含む。

【0106】

さらに、入力欄６５は、回転角度を入力するための入力欄６７を含む。入力欄６７に回転角度が入力されると、解析部１８は、入力欄６３に入力された識別番号の位置姿勢に配置されたワークモデル７１＿ｓの交差部分７１ａ＿ｓ～７１ｃ＿ｓを当該回転角度だけ移動させる。これにより、ユーザは、オフセット量の大きさを視覚的に認識できる。このとき、解析部１８は、ラジオボタン群６６においてチェックされたラジオボタンに対応する位置を回転中心とする。

【0107】

設定部１９は、ＯＫボタン６８が操作されると、入力欄６４，６５への入力に従って、オフセット量を設定する。設定部１９は、設定したオフセット量を示すオフセットデータ１１ｄを生成する。オフセットデータ１１ｄは、座標変換行列で表される。図９に示す解析画面５０ａは入力欄６４，６５の両方を含む。これにより、設定部１９は、オフセット量の回転成分および並進成分の両方を設定できる。しかしながら、入力欄６４，６５の一方が省略されてもよい。この場合、設定部１９は、オフセット量の回転成分および並進成分の一方のみ設定すればよい。

【0108】

設定部１９は、入力欄６３に入力された識別番号の位置姿勢に配置されたワークモデル７１＿ｓの交差部分７１ａ＿ｓ～７１ｃ＿ｓに対する移動操作（ドラッグ操作）を受け付けてもよい。設定部１９は、ドラッグ操作に応じて入力欄６４，６５の数値を変更してもよい。すなわち、設定部１９は、ワークモデル７１＿ｓの交差部分７１ａ＿ｓ～７１ｃ＿ｓに対する移動操作に従って、オフセット量を設定してもよい。

【0109】

例えば、領域６０に表示されている交差部分７１ａ＿ｓに対する並進移動操作により、設定部１９は、オフセット量のＹ軸方向およびＺ軸方向の少なくとも一方の並進成分の入力を受け付けてもよい。領域６１に表示されている交差部分７１ｂ＿ｓに対する並進移動により、設定部１９は、オフセット量のＸ軸方向およびＺ軸方向の少なくとも一方の並進成分の入力を受け付けてもよい。領域６２に表示されている交差部分７１ｃ＿ｓに対する並進移動により、設定部１９は、オフセット量のＸ軸方向およびＹ軸方向の少なくとも一方の並進成分の入力を受け付けてもよい。

【0110】

また、領域６０に表示されている交差部分７１ａ＿ｓに対する回転移動操作により、設定部１９は、Ｘ軸に平行な軸を中心とするオフセット量の回転成分の入力を受け付けてもよい。領域６１に表示されている交差部分７１ｂ＿ｓに対する回転移動操作により、設定部１９は、Ｙ軸に平行な軸を中心とするオフセット量の回転成分の入力を受け付けてもよい。領域６２に表示されている交差部分７１ｃ＿ｓに対する回転移動操作により、設定部１９は、Ｚ軸に平行な軸を中心とするオフセット量の回転成分の入力を受け付けてもよい。

【0111】

図１０は、ドラッグ操作によりオフセット量の回転成分の入力を受け付けるときの画面例を示す図である。図１０には、Ｙ軸に平行な軸を中心とするオフセット量の回転成分の入力を受け付けるときの画面例が示される。図１０に示されるように、設定部１９は、回転中心を示すマーク７２を表示させる。マーク７２の位置は、ラジオボタン群６６においてチェックされたラジオボタンに対応する。設定部１９は、交差部分７１ｂ＿ｓに対するドラッグ操作（矢印７３の方向のドラッグ操作）に応じて、Ｙ軸に平行な軸を中心とする回転角度の入力を受け付ける。

【0112】

＜Ｄ．オフセット量の第１の設定例＞
図４および図５を用いて上述したように、検出アルゴリズムの癖によって、検出された位置姿勢に配置したワークモデル７１は、三次元点群データで示される計測表面７０に対して常に一定方向に並進または回転し得る。ユーザは、図８に例示される解析画面５０ａを確認することにより、検出された位置姿勢に配置したワークモデル７１と計測表面７０とのずれを確認できる。このようなずれが確認されたことに応じて、ユーザは、例えば検出アルゴリズムを見直す対応を取ることができる。しかしながら、一般に検出アルゴリズムは複雑であり、ユーザは、このような対応を簡単に取ることができない。そこで、ユーザは、このようなずれを解消するためのオフセット量を入力すればよい。

【0113】

図１１は、オフセット量の第１の設定例を示す図である。図１１において、（ａ）にはオフセット量を設定する前の状態が示され、（ｂ）にはオフセット量を設定した後の状態が示される。図１１において、下部には、検出された位置姿勢に配置したワークモデル７１と計測表面７０が示され、上部には、ワーク１とワーク１を把持するときのエンドエフェクタ３０とが示される。

【0114】

図１１には、検出アルゴリズムの癖によって、検出された位置姿勢に配置したワークモデル７１が計測表面７０に対して－Ｚ方向に並進している例が示される。この場合、（ａ）の上部に示されるように、ワーク１に対するエンドエフェクタ３０の把持位置は、把持点データ１１ｃで示されるワークモデル１Ｍに対するエンドエフェクタモデル３０Ｍの相対位置（図３参照）よりも－Ｚ方向に移動する。その結果、例えば爪３３が他のワーク１と衝突する可能性が高くなる。

【0115】

そのため、ユーザは、ワークモデル７１と計測表面７０とのずれが小さくなるようにオフセット量を入力する。具体的には、ユーザは、＋Ｚ方向の並進成分を入力する。これにより、（ｂ）の上部に示されるように、ワーク１に対するエンドエフェクタ３０の把持位置は、把持点データ１１ｃで示されるワークモデル１Ｍに対するエンドエフェクタモデル３０Ｍの相対位置（図３参照）に近づく。その結果、例えば爪３３が他のワーク１と衝突する可能性を低減できる。

【0116】

＜Ｅ．オフセット量の第２の設定例＞
上述したように、動作指令決定部１６は、上記の式（２）を用いて動作指令を生成する。式（２）において、座標変換行列^BＨ_Cには、キャリブレーションの誤差に起因する成分が含まれる。座標変換行列^CＨ_Wには、ワーク１の実際の寸法とＣＡＤデータ１１ｂで示されるワークモデルの寸法との誤差（製造公差、ワーク１の製造装置の経年変化による誤差などを含む）に起因する成分が含まれる。さらに、上記の式（２）を用いて算出した座標変換行列^BＨ_Tに従って動作指令を生成したとしても、ロボット３００の経年変化、ロボット３００の周囲の温度の影響により、動作指令とロボット３００の実際の動作とに誤差が生じ得る。これらの原因により、ワークモデル７１と計測表面７０とのずれが小さい場合であっても、ワーク１に対するエンドエフェクタ３０の把持位置は、把持点データ１１ｃで示されるワークモデル１Ｍに対するエンドエフェクタモデル３０Ｍの相対位置（図３参照）と一致しないことがある。

【0117】

図１２は、検出された位置姿勢に配置したワークモデルとワークとの並進ずれの一例を示す図である。図１２に示す例では、ワーク１の実際の位置は、ワークモデル７１の位置よりも－Ｚ方向にずれている。そのため、エンドエフェクタ３０によってワーク１が把持されない可能性がある。

【0118】

図１３は、検出された位置姿勢に配置したワークモデルとワークとの回転ずれの一例を示す図である。ワーク１が細長い形状を有している場合、ワーク１の長手方向とＸＹ平面とのなす角度が少し異なっていても、計測ヘッド４００の撮像部４０２から見たときのワーク１の形状の変化が小さい。そのため、図１３に示されるように、ワーク１の長手方向とＸＹ平面との実際のなす角度は、ワークモデル７１の長手方向とＸＹ平面とのなす角度からずれ得る。そのため、エンドエフェクタ３０によってワーク１が把持されない可能性がある。

【0119】

このようなケースであっても、ユーザは、図８に解析画面５０ａにおいてオフセット量を入力することができる。ユーザは、エンドエフェクタ３０がワーク１を把持するときの状態を確認し、当該状態に応じてオフセット量を入力すればよい。

【0120】

図１４は、オフセット量の第２の設定例を示す図である。図１１と同様に、（ａ）にはオフセット量を設定する前の状態が示され、（ｂ）にはオフセット量を設定した後の状態が示される。下部には、検出された位置姿勢に配置したワークモデル７１と計測表面７０が示され、上部には、ワーク１とエンドエフェクタ３０との相対位置関係が示される。

【0121】

図１４には、検出された位置姿勢に配置したワークモデル７１と計測表面７０とのずれが小さい例が示される。しかしながら、（ａ）の上部に示されるように、上記の原因により、ワーク１に対するエンドエフェクタ３０の把持位置は、把持点データ１１ｃで示されるワークモデル１Ｍに対するエンドエフェクタモデル３０Ｍの相対位置（図３参照）よりも＋Ｚ方向に移動している。そのため、ワーク１を把持できない可能性がある。

【0122】

このような場合、ユーザは、エンドエフェクタ３０がワーク１を把持できるようにオフセット量を入力すればよい。具体的には、ユーザは、－Ｚ方向の並進成分を入力する。このとき、ワークモデル７１と計測表面７０とのずれ量は、オフセット量に対応する。そのため、ユーザは、解析画面５０ａに表示される計測表面７０を参考にしながら適切なオフセット量を入力することができる。適切なオフセット量が設定されることにより、（ｂ）の上部に示されるように、ワーク１に対するエンドエフェクタ３０の把持置は、把持点データ１１ｃで示されるワークモデル１Ｍに対するエンドエフェクタモデル３０Ｍの相対位置（図３参照）に近づく。その結果、エンドエフェクタ３０は、ワーク１を正確に把持できる。

【0123】

＜Ｆ．解析モード時の画像処理装置の処理の流れ＞
図１５は、解析モード時の画像処理装置の処理の流れを示すフローチャートである。まず、ＣＰＵ１１０は、計測ヘッド４００から取得した画像データ１１ａに基づいて、視野領域の物体表面（計測表面）を示す三次元点群データを生成する（ステップＳ１）。ＣＰＵ１１０は、三次元点群データとワーク１の三次元形状を示すモデル（ＣＡＤデータ１１ｂで示されるワークモデル）とに基づいて、ワーク１の位置姿勢を検出する（ステップＳ２）。

【0124】

ＣＰＵ１１０は、Ｘ軸、Ｙ軸およびＺ軸の各々について、検出された位置姿勢に配置されたワークモデル７１における当該軸に直交する平面との交差部分と、三次元点群データで示される計測表面における当該平面との交差部分とを表示装置１５０に重畳表示する（ステップＳ３）。具体的には、図８に示すような解析画面５０ａが表示装置１５０に表示される。ＣＰＵ１１０は、解析画面５０ａへの入力に従って、検出された位置姿勢に対するオフセット量を設定する（ステップＳ４）。ステップＳ４の後、画像処理装置１００は、解析モードの処理を終了する。

【0125】

＜Ｇ．通常モード時の画像処理装置の処理の流れ＞
図１６は、通常モード時の画像処理装置の処理の流れを示すフローチャートである。まず、ＣＰＵ１１０は、計測ヘッド４００から取得した画像データ１１ａに基づいて、視野領域の物体表面（計測表面）を示す三次元点群データを生成する（ステップＳ１１）。ＣＰＵ１１０は、三次元点群データとワーク１の三次元形状を示すモデル（ＣＡＤデータ１１ｂで示されるワークモデル）とに基づいて、ワーク１の位置姿勢を検出する（ステップＳ１２）。

【0126】

ＣＰＵ１１０は、解析モードにおいて設定されたオフセット量だけ、検出されたワーク１の位置姿勢を補正する（ステップＳ１３）。ＣＰＵ１１０は、補正された位置姿勢に応じて、ワーク１をピッキングするロボット３００の動作を決定する（ステップＳ１４）。ＣＰＵ１１０は、決定した動作に対応する動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する（ステップＳ１５）。ステップＳ１５の後、画像処理装置１００は、通常モードの処理を終了する。

【0127】

＜Ｈ．変形例＞
上記の説明では、解析画面５０，５０ａの領域６０～６２には、Ｘ，Ｙ，Ｚ軸に直交する仮想平面と、ワークモデル７１および計測表面７０との交差部分がそれぞれ表示される。しかしながら、仮想平面を定義付ける１以上の軸は、Ｘ，Ｙ，Ｚ軸に限定されず、例えば、Ｘ，Ｙ，Ｚ軸から所定角度だけ傾斜した、互いに直交する３つの軸であってもよい。また、仮想平面を定義付ける軸の方向は、ユーザの操作によって可変であってもよい。これにより、ユーザは、確認したい方向に軸を適宜変更することができる。

【0128】

＜Ｉ．作用・効果＞
以上のように、本実施の形態に係る画像処理装置１００は、３Ｄ画像生成部１４と、検出部１５と、解析部１８とを備える。３Ｄ画像生成部１４は、ワーク１が視野領域に含まれるように設置された撮像部４０２から得られる画像に基づいて、視野領域の三次元点群データを生成する。検出部１５は、三次元点群データとワーク１の三次元形状を示すワークモデルとに基づいてワーク１の位置姿勢を検出する。解析部１８は、１以上の軸の各々について、検出部１５によって検出された位置姿勢に配置されたワークモデルにおける当該軸に直交する仮想平面との交差部分と、三次元点群データで示される計測表面における仮想平面との交差部分とを表示装置１５０に重畳表示させる。

【0129】

上記の構成によれば、ユーザは、各軸に直交する仮想平面上での２つの交差部分のずれを確認することができる。当該ずれは、三次元サーチによるワークの位置姿勢の検出精度に依存する。そのため、ユーザは、三次元サーチによるワークの位置姿勢の検出精度を確認しやすくなる。

【0130】

１以上の軸の各々について、当該軸の方向および当該軸上における仮想平面の位置の少なくとも一方は可変である。これにより、ユーザは、所望の位置に仮想平面を移動し、当該仮想平面とワークモデル７１および計測表面７０との交差部分を確認できる。

【0131】

１以上の軸は、互いに直交する３つの軸を含む。これにより、ユーザは、互いに直交する３つの軸にそれぞれ直交する３つの仮想平面とワークモデル７１および計測表面７０との交差部分を同時に確認できる。

【0132】

画像処理装置１００は、設定部１９と、動作指令決定部１６とをさらに備える。設定部１９は、検出された位置姿勢に対するオフセット量を設定する。動作指令決定部１６は、検出された位置姿勢からオフセット量だけ移動させた位置姿勢に応じて、ワーク１をピッキングするロボット３００の動作を決定する。これにより、ユーザは、オフセット量を指定することにより、ロボットの動作を適宜調整できる。なお、オフセット量は、並進成分および回転成分の少なくとも一方を含む。

【0133】

設定部１９は、表示装置１５０に表示されたワークモデルに対する移動操作に従って、オフセット量を設定する。これにより、ユーザは、ワークモデルに対する移動操作を行なうことにより、オフセット量を容易に指定することができる。

【0134】

解析部１８は、表示装置１５０に表示されているワークモデルをオフセット量だけ移動させる。これにより、ユーザは、表示装置１５０に表示されているワークモデルの移動量を確認することにより、オフセット量の大きさを視覚的に認識できる。

【0135】

＜Ｊ．付記＞
以上のように、本実施の形態および変形例は以下のような開示を含む。

【0136】

（構成１）
画像処理装置（１００）であって、
対象物（１）が視野領域に含まれるように設置された撮像装置（４００，４０２）から得られる画像に基づいて、前記視野領域の三次元点群データを生成する生成部（１１０，１４）と、
前記三次元点群データと前記対象物（１）の三次元形状を示すモデルとに基づいて前記対象物（１）の位置姿勢を検出する検出部（１１０，１５）と、
１以上の軸の各々について、前記検出部（１１０，１５）によって検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置（１５０）に重畳表示させる解析部（１１０，１８）とを備える、画像処理装置（１００）。

【0137】

（構成２）
前記１以上の軸の各々について、当該軸の方向および当該軸上における前記平面の位置の少なくとも一方は可変である、構成１に記載の画像処理装置（１００）。

【0138】

（構成３）
前記１以上の軸は、互いに直交する３つの軸を含む、構成１または２に記載の画像処理装置（１００）。

【0139】

（構成４）
前記検出された位置姿勢に対するオフセット量を設定する設定部（１１０，１９）と、
前記検出された位置姿勢から前記オフセット量だけ移動させた位置姿勢に応じて、前記対象物をピッキングするロボットの動作を決定する決定部（１１０，１６）とをさらに備える、構成１から３のいずれかに記載の画像処理装置（１００）。

【0140】

（構成５）
前記設定部（１１０，１９）は、前記表示装置（１５０）に表示された前記モデルに対する移動操作に従って、前記オフセット量を設定する、構成４に記載の画像処理装置（１００）。

【0141】

（構成６）
前記解析部（１１０，１９）は、前記表示装置（１５０）に表示されている前記モデルを前記オフセット量だけ移動させる、構成４に記載の画像処理装置（１００）。

【0142】

（構成７）
前記オフセット量は、並進成分および回転成分の少なくとも一方を含む、構成４から６のいずれかに記載の画像処理装置（１００）。

【0143】

（構成８）
画像処理方法であって、
対象物（１）が視野領域に含まれるように設置された撮像装置（４００，４０２）から得られる画像に基づいて、前記視野領域の三次元点群データを生成するステップと、
前記三次元点群データと前記対象物の三次元形状を示すモデルとに基づいて前記対象物（１）の位置姿勢を検出するステップと、
１以上の軸の各々について、検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置（１５０）に重畳表示させるステップとを備える、画像処理方法。

【0144】

（構成９）
画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
対象物（１）が視野領域に含まれるように設置された撮像装置（４００，４０２）から得られる画像に基づいて、前記視野領域の三次元点群データを生成するステップと、
前記三次元点群データと前記対象物（１）の三次元形状を示すモデルとに基づいて前記対象物（１）の位置姿勢を検出するステップと、
１以上の軸の各々について、検出された位置姿勢に配置された前記モデルにおける当該軸に直交する平面との第１交差部分と、前記三次元点群データで示される面における前記平面との第２交差部分とを表示装置（１５０）に重畳表示させるステップとを備える、プログラム。

【0145】

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0146】

１ ワーク、１Ｍ，７１ ワークモデル、２ コンテナ、１０ ヘッド制御部、１１ 記憶部、１１ａ 画像データ、１１ｂ ＣＡＤデータ、１１ｃ 把持点データ、１１ｄ オフセットデータ、１２ 画像処理部、１３ ＵＩ処理部、１４ ３Ｄ画像生成部、１５ 検出部、１６ 動作指令決定部、１７ 通信部、１８ 解析部、１９ 設定部、３０ エンドエフェクタ、３０Ｍ エンドエフェクタモデル、３１ 多関節アーム、３２ ベース、３３ 爪、５０，５０ａ 解析画面、５１，６０，６１，６２ 領域、５２ カラーバー、５３，５４，５５ ライン、６３，６４，６５，６７ 入力欄、６６ ラジオボタン群、６８ ＯＫボタン、７０ 計測表面、７０ａ，７０ｂ，７０ｃ，７１ａ，７１ｂ，７１ｃ 交差部分、７１ｄ 輪郭、７２ マーク、７３ 矢印、１００ 画像処理装置、１０６ メモリカード、１１０ ＣＰＵ、１１２ メインメモリ、１１４ ハードディスク、１１６ 計測ヘッドインターフェース、１１６ａ 画像バッファ、１１８ 入力インターフェース、１２０ 表示コントローラ、１２４ 通信インターフェース、１２６ データリーダ／ライタ、１２８ バス、１５０ 表示装置、１６０ 入力装置、２００ ロボットコントローラ、３００ ロボット、４００ 計測ヘッド、４０１ 投影部、４０２ 撮像部、ＳＹＳ 制御システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】