特許 6117901 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6117901

(24)【登録日】2017年3月31日

(45)【発行日】2017年4月19日

(54)【発明の名称】複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20170410BHJP

   G01B 11/26 20060101ALI20170410BHJP

   G06T 7/00 20170101ALI20170410BHJP

   G06T 7/60 20170101ALI20170410BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/26 H

   G06T7/00 C

   G06T7/60 150P

【請求項の数】7

【全頁数】11

(21)【出願番号】特願2015-233181(P2015-233181)

(22)【出願日】2015年11月30日

【審査請求日】2016年10月20日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100102819

【弁理士】

【氏名又は名称】島田 哲郎

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100157211

【弁理士】

【氏名又は名称】前島 一夫

(74)【代理人】

【識別番号】100159684

【弁理士】

【氏名又は名称】田原 正宏

(72)【発明者】

【氏名】佐藤 大雅

【審査官】 池田 剛志

(56)【参考文献】

【文献】 特開２００９−１２９１８９（ＪＰ，Ａ）

【文献】 特開２０１２−１６３４５０（ＪＰ，Ａ）

【文献】 特開２０１４−１６０３７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２６２０１２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／００３３６５５（ＵＳ，Ａ１）

【文献】 秋月 秀一, 橋本 学，特徴的３−Ｄベクトルペアマッチングによるバラ積み部品の高速認識，情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），日本，一般社団法人情報処理学会，２０１２年 ５月１６日，２０１２−ＣＶＩＭ−１８２−１５，ｐｐ．１−７

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０６Ｔ ７／００− ７／６０

Ｂ２５Ｊ １／００−２１／０２

(57)【特許請求の範囲】

【請求項1】

計測領域内に配置された複数の物品の位置姿勢を計測する位置姿勢計測装置であって、
前記物品の形状情報をモデルデータとして記憶するモデルデータ記憶部と、
前記計測領域内を計測し、前記複数の物品を含むシーンデータとして取得するセンサ部と、
前記モデルデータと前記シーンデータとを照合し、前記複数の物品の位置姿勢を計算する位置姿勢計算部と、
前記位置姿勢計算部によって計算された複数の位置姿勢から、位置姿勢の組み合わせを複数組選択し、選択された前記位置姿勢の組み合わせのそれぞれについて評価値を計算し、前記評価値が最大となった位置姿勢の組み合わせを、前記複数の物品の正しい位置姿勢の組み合わせとして出力する組み合わせ評価部と、
を備える、位置姿勢計測装置。

【請求項2】

前記組み合わせ評価部は、それぞれの物品の位置姿勢に前記モデルデータを配置し、配置された前記モデルデータと前記シーンデータとの一致度と、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、配置された前記モデルデータ同士が重複する領域を計算することにより得られる重複度とを計算し、前記一致度及び前記重複度から前記評価値を計算する、請求項１に記載の位置姿勢計測装置。

【請求項3】

前記モデルデータ記憶部は、前記物品の３次元モデルデータを前記形状情報として記憶し、
前記組み合わせ評価部は、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、配置された前記モデルデータ同士が重複する体積を、前記重複度として計算する、請求項２に記載の位置姿勢計測装置。

【請求項4】

前記モデルデータ記憶部は、前記物品の３次元モデルデータを前記形状情報として記憶し、
前記センサ部は、前記計測領域内の複数の対象物品の表面の３次元形状をシーンデータとして取得し、
前記組み合わせ評価部は、それぞれの物品の位置姿勢に前記３次元モデルデータを配置したときに前記３次元モデルデータの表面と前記シーンデータとが一致する領域の面積、又は前記３次元モデルデータの表面と前記シーンデータとで対応する３次元点の個数を、前記一致度として計算する、請求項２又は３に記載の位置姿勢計測装置。

【請求項5】

前記センサ部は、前記計測領域内の複数の対象物品の画像を前記シーンデータとして取得し、
前記組み合わせ評価部は、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、前記画像上で前記モデルデータ同士が重複する面積を、前記重複度として計算する、請求項２又は４に記載の位置姿勢計測装置。

【請求項6】

前記モデルデータ記憶部は、前記物品の形状情報から抽出した前記物品の特徴点の集合を記憶し、
前記組み合わせ評価部は、前記シーンデータから特徴点を抽出し、前記位置姿勢に前記モデルデータを配置したときに前記モデルデータに含まれる特徴点と、前記シーンデータから抽出された特徴点とが一致した数を、前記一致度として計算する、請求項２、３又は５に記載の位置姿勢計測装置。

【請求項7】

請求項１〜６のいずれか１項に記載の位置姿勢計測装置と、
前記複数の物品に対して作業を行うように構成されたロボットと、
前記ロボットを制御するロボット制御装置と、を有するロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の物品の位置及び姿勢を計測する位置姿勢計測装置に関し、さらに、該位置姿勢計測装置と、該複数の物品に対して作業を行うロボットとを有するロボットシステムに関する。

【背景技術】

【0002】

コンテナやパレット等の所定領域内に配置された複数の物品に対し、ロボットを用いた取り出し等の作業を行うロボットシステムでは、該作業を行う前に、作業対象となる物品の位置及び姿勢（以降、位置姿勢とも称する）を計測する作業が行われる。従来、この作業対象物品の位置姿勢を計測する種々の方法や装置が提案されている。

【0003】

例えば特許文献１には、対象物の集合の３次元位置・姿勢データと、位置と姿勢を変化させた対象物の３次元モデルの位置・姿勢データとを比較して対象物を認識し、対象物の集合から、３次元モデルの位置・姿勢に一致度の高い対象物を決定するようにした、３次元位置・姿勢認識装置が記載されている。

【0004】

また特許文献２には、スピンイメージ等の対象物体の特徴量に基づく高速な位置決めを行うことにより、対象物体の３次元形状データ（モデル）と、距離センサから得られる距離データ（シーン）とを照合して、対象物体の３次元的な位置姿勢を迅速に認識することを企図した物体認識装置が記載されており、さらに、物体認識装置から出力される位置姿勢情報を利用することによって、実際の物体の位置姿勢に沿ってロボットを迅速に動作させることができる旨が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−２１０５１１号公報

【特許文献2】特開２００９−１２８１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

同じ形状の複数の物品が密着して配置されている、例えばバラ積み状態などでは、３次元モデルと計測データとの照合等によって各物品の位置姿勢を求めようとすると、同じ特徴が計測領域内に繰り返し出現するため、誤計測が発生しやすい（後述する図５に関する説明を参照）。このような誤った計測結果は、複数の物品同士の位置関係によって生じ得るものであり、特許文献１又は２に記載されているような、個々の物品に対する計測精度を向上させる技術では、解決することが困難であり、その結果、当該計測結果に基づくロボットによる物品の取出し作業も適切に行うことが困難となる。

【0007】

そこで本発明は、複数の同種の物品がバラ積みされているような場合であっても、各物品の位置姿勢を正確に計測することができる位置姿勢計測装置、及び、該位置姿勢計測装置とロボットとを含み、該物品に対する該ロボットの作業を正確に行うことができるロボットシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本願第１の発明は、計測領域内に配置された複数の物品の位置姿勢を計測する位置姿勢計測装置であって、前記物品の形状情報をモデルデータとして記憶するモデルデータ記憶部と、前記計測領域内を計測し、前記複数の物品を含むシーンデータとして取得するセンサ部と、前記モデルデータと前記シーンデータとを照合し、前記複数の物品の位置姿勢を計算する位置姿勢計算部と、前記位置姿勢計算部によって計算された複数の位置姿勢から、位置姿勢の組み合わせを複数組選択し、選択された前記位置姿勢の組み合わせのそれぞれについて評価値を計算し、前記評価値が最大となった位置姿勢の組み合わせを、前記複数の物品の正しい位置姿勢の組み合わせとして出力する組み合わせ評価部と、を備える、位置姿勢計測装置を提供する。

【0009】

第２の発明は、第１の発明において、前記組み合わせ評価部は、それぞれの物品の位置姿勢に前記モデルデータを配置し、配置された前記モデルデータと前記シーンデータとの一致度と、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、配置された前記モデルデータ同士が重複する領域を計算することにより得られる重複度とを計算し、前記一致度及び前記重複度から前記評価値を計算する、位置姿勢計測装置を提供する。

【0010】

第３の発明は、第２の発明において、前記モデルデータ記憶部は、前記物品の３次元モデルデータを前記形状情報として記憶し、前記組み合わせ評価部は、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、配置された前記モデルデータ同士が重複する体積を、前記重複度として計算する、位置姿勢計測装置を提供する。

【0011】

第４の発明は、第２又は第３の発明において、前記モデルデータ記憶部は、前記物品の３次元モデルデータを前記形状情報として記憶し、前記センサ部は、前記計測領域内の複数の対象物品の表面の３次元形状をシーンデータとして取得し、前記組み合わせ評価部は、それぞれの物品の位置姿勢に前記３次元モデルデータを配置したときに前記３次元モデルデータの表面と前記シーンデータとが一致する領域の面積、又は前記３次元モデルデータの表面と前記シーンデータとで対応する３次元点の個数を、前記一致度として計算する、位置姿勢計測装置を提供する。

【0012】

第５の発明は、第２又は第４の発明において、前記センサ部は、前記計測領域内の複数の対象物品の画像を前記シーンデータとして取得し、前記組み合わせ評価部は、前記位置姿勢の組み合わせに含まれる全ての位置姿勢に前記モデルデータを配置したときに、前記画像上で前記モデルデータ同士が重複する面積を、前記重複度として計算する、位置姿勢計測装置を提供する。

【0013】

第６の発明は、第２、第３又は第５の発明において、前記モデルデータ記憶部は、前記物品の形状情報から抽出した前記物品の特徴点の集合を記憶し、前記組み合わせ評価部は、前記シーンデータから特徴点を抽出し、前記位置姿勢に前記モデルデータを配置したときに前記モデルデータに含まれる特徴点と、前記シーンデータから抽出された特徴点とが一致した数を、前記一致度として計算する、位置姿勢計測装置を提供する。

【0014】

第７の発明は、第１〜第６の発明のいずれか１つに係る位置姿勢計測装置と、前記複数の物品に対して作業を行うように構成されたロボットと、前記ロボットを制御するロボット制御装置と、を有するロボットシステムを提供する。

【発明の効果】

【0015】

本発明に係る位置姿勢計測装置によれば、ワーク毎に求められた位置姿勢候補に対して計算される評価値ではなく、複数の位置姿勢候補に対して計算する評価値に基づいて位置姿勢候補を選択することができ、ワーク毎の位置姿勢候補を評価するだけでは判別の難しい誤計測が生じる可能性を大きく低減することができる。また、それぞれの位置姿勢候補に対する評価値とは異なる基準で誤計測を除去することが可能となるため、それぞれの位置姿勢に対する評価値の閾値を低く設定することができ、実在するにも関わらず計測結果として出力されない対象物品が発生する確率を低減することができる。

【0016】

また上記位置姿勢計測装置を含むロボットシステムでは、ロボットが正しく作業を行う確率を改善することができる。特に、ロボットが計測領域内の全ての対象物品に作業を行う必要がある場合に、作業漏れが発生する確率を低減することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施形態に係るロボットシステムの概略構成を示す図である。

【図2】単一のワークの形状の一例を示す図である。

【図3】図１の位置姿勢計測装置の機能ブロック図である。

【図4】図１のロボットシステムにおける処理の一例を示すフローチャートである。

【図5】複数のワークがバラ積み配置されている状態の一例を示す図である。

【図6】本発明の第２の実施形態に係るロボットシステムの概略構成を示す図である。

【発明を実施するための形態】

【0018】

図１は、本発明の第１の実施形態に係るロボットシステム１０の概略構成を示す図である。ロボットシステム１０は、ロボット１２と、ロボット１２に接続されてロボット１２を制御するロボット制御装置１４と、ロボット１２による作業対象物品（ワーク）１６が存在する計測領域１８を撮像し、ワーク１６の表面の３次元形状をシーンデータとして取得するセンサ部（３次元センサ）２０と、３次元センサ２０に接続されるとともに、３次元センサ２０が取得したシーンデータに基づいてワークの位置姿勢を計測するワーク位置姿勢計測部（位置姿勢計測装置）２２とを有する。

【0019】

ロボット１２は、例えば６軸の多関節ロボットであり、ロボットアーム２４等の可動部と、ロボットアーム２４の先端に取り付けられたロボットハンド（グリッパ）２６とを有し、所定の（図示例ではパレット２８上の）作業領域１８に配置された複数のワーク１６を逐次的に（通常は１つずつ）、グリッパ２６で把持して取出すことができるように構成されている。またロボット制御装置１４は、位置姿勢計測部２２が計測・出力したワーク１６の位置姿勢に基づいて、ロボット１２（ロボットアーム２４及びグリッパ２６の動作）を制御し、ワークの取出し作業を行う。

【0020】

３次元センサ２０は、計測範囲内に配置された複数のワーク１６の表面形状のデータ（シーンデータ）を位置姿勢算出装置２２に送る。３次元センサ２０としては、種々の非接触方式のものが利用可能であり、例えば、カメラ２台を用いたステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等を用いてパターン光を物品に投影する方式、光が投光器から出射されてから物品表面で反射し受光器に入射するまでの時間を利用する方式、等のものが３次元センサ２０として使用可能である。なお図１の例では、３次元センサ２０は専用の架台３０に固定されているが、ロボットアーム２２等の可動部に取り付けてもよい。

【0021】

図２は、単一のワーク１６の形状の一例を示す図である。ワーク１６は、円柱形状の大径部分３２と、大径部分３２より小径でかつ大径部分３２と同軸に接続された小径部分３４とを有し、小径部分３４の軸方向端部には切欠き３６が形成されている。本実施形態では、複数のワーク１６は全て同一形状かつ同一寸法であるとするが、本発明はこれに限定されるものではない。

【0022】

図３は、位置姿勢計測装置２２の機能ブロック図である。位置姿勢計測装置２２は、ワーク１６の形状を表す３次元形状データ（形状情報）をモデルデータとして記憶するモデルデータ記憶部３８と、３次元センサ２０から送られるシーンデータとモデルデータ記憶部３８に記憶されているモデルデータとを照合することにより、複数のワーク１６のそれぞれの検出と位置姿勢の計算を行う位置姿勢計算部４０と、位置姿勢計算部４０によって計算された位置姿勢の全ての組み合わせに対して評価値を計算し、評価値が最大となる位置姿勢の組み合わせを計測結果としてロボット制御装置１４に送る組み合わせ評価部４２とを有する。なおモデルデータは、ワーク１６のＣＡＤデータやＣＡＤデータから生成されるデータであってもよいし、３次元センサ２０がワーク１６の形状を測定することによって得られたデータから生成してもよい。

【0023】

次に、ロボットシステム１０における処理の流れについて、図４のフローチャートを参照しつつ説明する。先ず、ステップＳ１０１において、図１に示すように、計測領域１８内（例えばパレット２８上）に配置された複数（ここでは同一形状かつ同一寸法）のワーク１６を３次元センサ２０で計測し、計測領域１８内の複数のワーク１６の表面形状を含むシーンデータを取得する。取得したシーンデータは、位置姿勢計測装置２２（の位置姿勢計算部４０）に送信される。

【0024】

次にステップＳ１０２において、位置姿勢計算部４０が、送信されたシーンデータと、モデルデータ記憶部３８に記憶されているモデルデータとを照合し、複数のワーク１６の位置姿勢を算出する。

【0025】

ステップＳ１０２に関し、モデルデータとシーンデータとを照合して、ワークの３次元位置姿勢を計算する方法には種々の方法があり、特段の制約はない。例えば、モデルデータの表面上の複数の３次元位置からＰＰＦ（Point Pair Feature）特徴量やＳＨＯＴ（Signature of Histogram of Orientation）特徴量のような３次元特徴を計算しておき、計測データについても３次元特徴を計算し、シーンデータから同じ特徴量を持つ３次元位置を探索することにより、そこから位置姿勢を算出する方法がある。別の方法として、予め決められた探索位置範囲や探索姿勢範囲内でモデルデータの位置姿勢を変化させていき、モデルデータとシーンデータの表面が一致する領域を計算し、一致する領域の面積が所定値以上であれば、そのときの位置姿勢を算出結果として出力する方法もある。

【0026】

次にステップＳ１０３において、組み合わせ評価部４２が、位置姿勢計算部４０によって計算された複数のワークのそれぞれの位置姿勢に対して、モデルデータ記憶部３８に記憶されている３次元モデルデータを仮想的に配置し、モデルデータの表面とシーンデータとを照合して、両者が一致する領域の面積を一致度として計算する。なおシーンデータが３次元点群のような形で取得されている場合は、シーンデータとモデルデータの表面とで対応する（所定の誤差範囲内で合致する）３次元点の個数を一致度として計算する。組み合わせ評価部４２はさらに、位置姿勢計算部４０によって計算された位置姿勢の全てのペアに対し、モデルデータ記憶部３８に記憶されているモデルデータを仮想的に配置し、モデルデータ同士が重複する領域の体積を重複度として計算する（ステップＳ１０４）。

【0027】

次にステップＳ１０５において、組み合わせ評価部４２は、位置姿勢計算部４０によって計算された全ての位置姿勢から、評価値がまだ計算されていない位置姿勢の組み合わせを選択する。そしてステップＳ１０６において、選択された位置姿勢の組み合わせに対して、ステップＳ１０３で計算した一致度とステップ１０４で計算した重複度とのうち、選択した組み合わせに含まれるものを使用して組み合わせの評価値を計算する。そして、これまでに計算した組み合わせの評価値で最大のものよりも、現在選択している組み合わせの評価値の方が大きい場合は、現在選択している組み合わせを計測結果候補として組み合わせ評価部４２又は適当なメモリ等に記憶（保持）する。

【0028】

ステップＳ１０６に関し、組み合わせ評価部４２は、位置姿勢計算部４０によって計算された位置姿勢の全ての組み合わせに対して、それぞれの組み合わせに含まれる位置姿勢の一致度と位置姿勢同士の重複度とから、それぞれの組み合わせの評価値を計算する。より具体的には、選択されたワークの位置姿勢に対応する一致度と、選択されたワークの組み合わせに含まれる全てのペアに対応する重複度から、位置姿勢の組み合わせの評価値を計算する。この評価値の計算式の一例を以下の式（１）に示す。

【0029】

【数1】

【0030】

式（１）において、組み合わせＣ_aの評価値Ｓ_aは、例えば、組み合わせＣ_aに含まれる位置姿勢ｘ_iの一致度ｆ（ｘ_i）に重みｋ₁を乗算したものから、組み合わせＣ_aに含まれる２つの位置姿勢ｘ_i、ｘ_jの重複度ｇ（ｘ_i，ｘ_j）に重みｋ₂を乗算したものを減算することによって得られる。

【0031】

上述の処理を、複数のワークが図５のような状態にバラ積み配置されている場合を一例として説明する。図５の例では、実際には３つのワーク１６ａ、１６ｂ及び１６ｃが存在するが、ワーク１６ｂの大径部分３２ｂとワーク１６ｃの小径部分３４ｃとが略同軸となるように当接している場合、従来の位置姿勢検出方法では、大径部分３２ｂと小径部分３４ｃからなる（実際には存在しない）ワークが、１つのワーク１６ｄとして検出されることがある。この場合、ステップＳ１０２において検出されるワークの位置姿勢は４通りとなり、またそれらの組み合わせには、ワーク１６ｄとワーク１６ｂや、ワーク１６ｄとワーク１６ｃの組み合わせ等、ワーク１６ｄを含む組み合わせも含まれる。

【0032】

しかし、ワーク１６ｄ及びワーク１６ｂを含む組み合わせについて評価値を計算すると、ワーク１６ｄの大径部分はワーク１６ｂの大径部分３２ｂと同一なので、両者は重複することになり、結果として式（１）の評価値は比較的低い値となる。同様に、ワーク１６ｄ及びワーク１６ｃを含む組み合わせについて評価値を計算すると、ワーク１６ｄの小径部分はワーク１６ｃの小径部分３４ｃと同一なので、両者は重複することになり、結果として式（１）の評価値はやはり比較的低い値となる。

【0033】

結果として、図５の例では、ワーク１６ａ〜１６ｄの位置姿勢の全ての組み合わせについて評価値をそれぞれ求めると、ワーク１６ａ、１６ｂ及び１６ｃを含む（ワーク１６ｄを含まない）組み合わせの評価値が最も高い値となり、これが複数（この場合３つ）のワークの位置姿勢として位置姿勢計測部２２からロボット制御装置１４に送られる。従ってロボット１２は、正しい計測結果に基づいてワークの取出しを行うことができる。

【0034】

なお評価値を求める式は、上述の式（１）に限られない。例えば、計算された位置姿勢に、モデルデータ記憶部３８に記憶されているモデルデータを仮想的に配置し、これをシーンデータと照合して、シーンデータと物理的に一致しない領域を計算し、計算された領域を組み合わせの評価値に組み込むこともできる。

【0035】

第１の実施形態では、組み合わせ評価部４２は位置姿勢計算部４０によって計算された位置姿勢の全ての組み合わせに対して評価値を計算し、計測結果を出力するが、評価値を計算する組み合わせを、予め選択したものに限定してもよい。例えば、評価値を求める位置姿勢の組み合わせを、特定のワークを含む組み合わせに限定してもよいし、逆に特定のワークを含まない組み合わせに限定することもできる。また上述の式（１）は、２次整数計画問題に書き換えることができ、効率的に近似解を求めることもできる。

【0036】

再び図４を参照し、ステップステップＳ１０７において、全ての組み合わせについて評価値の計算が完了しているか否かを判定し、完了している場合はステップＳ１０８に進む。一方、評価値の計算が完了していない組み合わせがある場合は、ステップＳ１０５に戻る。

【0037】

ステップＳ１０８では、位置姿勢計測装置２２が保持している計測結果候補（つまり評価値が最大のもの）が、計測結果としてロボット制御装置１４に出力・転送される。そして次のステップＳ１０９では、ロボット制御装置１４が、転送された計測結果に対応する位置姿勢に基づいて、ロボット１２を制御し、グリッパ２６で対象ワークを保持し、取り出す。

【0038】

第１の実施形態では、それぞれの組み合わせについて求めた評価値が一致度及び重複度を含み、該評価値は一致度が高いほど高く、重複度が高いほど低くなるように設定されるので、一致度が高くても重複度も高い組み合わせは評価値が低くなり、ロボット制御装置１４に送られる位置姿勢の組み合わせには採用されないようにすることができる。このように、位置姿勢計測装置２２において、単一のワークの位置姿勢のみについてではなく、単一の位置姿勢を含むワークの位置姿勢の組み合わせについての評価値を求めることにより、図５に例示したような誤検出の発生を極力抑制することができる。従って、位置姿勢計測装置２２が出力した位置姿勢に基づいてロボット制御装置１４がロボット１２を制御するロボットシステム１０では、ロボット１２が正確な位置姿勢情報に基づいてワーク１６に対するハンドリング作業等を行うことができる。

【0039】

また第１の実施形態では、計測領域内の複数のワーク１６の表面の形状データであるシーンデータに対して、モデルデータが一致する領域の面積を一致度とすることで、シーンデータに対して一致する部分がより多くなるような位置姿勢候補の組み合わせが計測結果として得られる。これにより、ロボットが計測領域内の対象物品に対して作業漏れの確率を減少することができる。さらに、３次元形状データによってそれぞれ位置姿勢候補に配置したモデルデータ同士の重複する領域の体積を重複度とすることで、物理的に共存しえないような位置姿勢候補の組み合わせを判別することができ、不正な位置姿勢候補の組み合わせを正確に除去することができる。これにより、ロボットが正しく作業を行う確率を改善することができる。

【0040】

図６は、本発明の第２の実施形態に係るロボットシステム１０′の概略構成を示す図である。なお第２の実施形態では、第１の実施形態と異なる部分についてのみ説明し、第１の実施形態と同様の構成要素については同じ参照符号を付与して詳細な説明は省略する。

【0041】

第２の実施形態では、取出し対象のワーク４４は板金等の平面的な形状を有し、ロボット１２の作業領域（計測領域）１８内の平面上に複数配置されている。参照符号４６は、ワークの２次元画像をシーンデータとして取得する２次元センサを示しており、例えば（１台の）カメラである。カメラ４６は、計測領域１８内の複数のワーク４４の画像をシーンデータとして取得することができる。

【0042】

位置姿勢計測装置２２に含まれるモデルデータ記憶部３８は、ワーク４４をカメラ４６で撮像して得られた２次元画像と、その２次元画像上のワーク４４の領域をモデルデータとして保持（記憶）している。モデルデータ記憶部３８はさらに、ワーク４４の形状情報から抽出したワークの特徴点の集合も記憶している。

【0043】

位置姿勢計測装置２２の位置姿勢計算部４０は、ワークのモデルデータとシーンデータとを照合することにより、各ワークの２次元画像上の位置姿勢を特定する。ここで、モデルデータとシーンデータを照合して、対象物品の２次元画像上の位置姿勢を算出する方法には種々の方法があり、特段の制約はない。例えば、モデルデータからＳＩＦＴ（Scale Invariant Feature Transform）特徴やＳＵＲＦ（Speeded Up Robust Features）特徴のような画像特徴を計算しておき、シーンデータについても同様の画像特徴を計算し、両画像特徴間の対応関係を４つ以上求めることによって位置姿勢を算出する方法がある。

【0044】

また位置姿勢計算部４０は、ワーク４４が配置されている平面（ここではパレット２８の上面）の情報を保持しており、該情報と２次元画像上の各ワークの位置から、各ワーク４４の３次元位置姿勢を特定することができる。

【0045】

位置姿勢計測装置２２の組み合わせ評価部４２は、一致度を計算するために、モデルデータとシーンデータから画像のエッジ特徴（特徴点）を抽出する。そして組み合わせ評価部４２は、位置姿勢計算部４０によって計算された位置姿勢に、モデルデータ記憶部３８に記憶されているモデルデータを仮想的に配置したときの該モデルデータに含まれるエッジ特徴の位置姿勢を計算し、シーンデータから抽出されたエッジ特徴と照合して、それぞれの位置姿勢に対する一致度を計算する。具体的には、ワーク４４の３次元モデルの形状情報から抽出した特徴点と、シーンデータから抽出される特徴点とが一致した数を一致度とすることができる。

【0046】

さらに、組み合わせ評価部４２は、位置姿勢計算部４０によって計算された位置姿勢に、モデルデータ記憶部３８に記憶されているモデルデータを仮想的に配置し、位置姿勢のペアについて、モデルデータ記憶部３８に記憶されているモデルデータの領域が、２次元センサにより得られた画像上で重複する面積を、重複度として計算する。

【0047】

第２の実施形態では、ワーク４４の各々が実質平面形状を有しているので、シーンデータを取得するセンサとして３次元センサを使用せずとも、比較的安価な２次元センサ（カメラ等）によって誤計測の少ないシステムを構築することができる。また、ワークの形状情報から抽出した特徴点とシーンデータから抽出した特徴点が一致した数を一致度とし、２次元画像上でモデルデータ同士が重複する面積を重複度とした評価値を計算することにより、正しい位置姿勢候補の組み合わせを計測結果として得ることができる。

【0048】

なお第１及び第２の実施形態のそれぞれにおいて説明した一致度及び重複度の計算方法は、適宜組み合わせてももちろんよい。例えば、第１の実施形態で説明した一致度の計算方法と、第２の実施形態で説明した重複度の計算方法とを組み合わせることも可能である。

【符号の説明】

【0049】

１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６、４４ ワーク
２０ ３次元センサ
２２ 位置姿勢計測装置
３８ モデルデータ記憶部
４０ 位置姿勢計算部
４２ 組み合わせ評価部
４６ ２次元センサ

【要約】

【課題】複数の物品の位置姿勢を正確に計測することができる位置姿勢計測装置、及び、該位置姿勢計測装置とロボットとを含み、該物品に対する該ロボットの作業を正確に行うことができるロボットシステムの提供。
【解決手段】位置姿勢計測装置２２は、ワーク１６の形状を表す３次元形状データをモデルデータとして記憶するモデルデータ記憶部３８と、３次元センサ２０から送られるシーンデータとモデルデータ記憶部３８に記憶されているモデルデータとを照合することにより、複数のワーク１６のそれぞれの検出と位置姿勢の計算を行う位置姿勢計算部４０と、位置姿勢計算部４０によって計算された位置姿勢の全ての組み合わせに対して評価値を計算し、評価値が最大となる位置姿勢の組み合わせを計測結果としてロボット制御装置１４に送る組み合わせ評価部４２とを有する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】