特許 6041710 画像認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6041710

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】画像認識方法

(51)【国際特許分類】

   G06T 7/60 20060101AFI20161206BHJP

   B25J 19/04 20060101ALI20161206BHJP

【ＦＩ】

   G06T7/60 150P

   B25J19/04

   G06T7/60 150B

   G06T7/60 180D

【請求項の数】2

【全頁数】14

(21)【出願番号】特願2013-44562(P2013-44562)

(22)【出願日】2013年3月6日

(65)【公開番号】特開2014-174628(P2014-174628A)

(43)【公開日】2014年9月22日

【審査請求日】2015年11月26日

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】古川 誠

(72)【発明者】

【氏名】渡邉 広也

(72)【発明者】

【氏名】吉田 力也

(72)【発明者】

【氏名】山藤 正彦

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１３−１０１５５（ＪＰ，Ａ）

【文献】 特開２００１−２８３２２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｂ２５Ｊ １９／０４

(57)【特許請求の範囲】

【請求項1】

撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、
前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、
撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、
前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、
前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、
前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、
前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、
前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、
複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、
前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、
前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、
前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする画像認識方法。

【請求項2】

前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基づいて推定する被覆部推定工程をさらに含むことを特徴とする請求項１に記載の画像認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識方法に関する。

【背景技術】

【0002】

バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、ＣＣＤカメラからの２次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。

【0003】

例えば、特許文献１には、パターンマッチングを用いて、バラ積みされたワークピースの位置及び姿勢を検出する方法が記載されている。この方法では、まず、バラ積みされたワークピースを２次元ＣＣＤカメラで撮像した画像を、予め複数の方向から撮像したワークピースの輪郭形状とマッチングさせて、ワークピースとＣＣＤカメラとの相対姿勢を求める。そして、求めた相対姿勢に基づいて、対象とするワークピースの特徴を明確に捕らえることができる位置姿勢に移動させた３次元視覚センサでワークピースの位置姿勢を計測する。これにより、ワークピースの位置姿勢を正確に計測することができる。

【0004】

また、特許文献２には、ワークピースの撮影画像をアイコン（パッチ）に分割して、各アイコンの相対位置関係をタグ付けすることが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第７１７７４５９号公報

【特許文献2】米国特許第８１５０１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができず、ワークピースの正確な位置及び姿勢の特定ができない場合があった。

【0007】

本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする。

【0009】

本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。

【0010】

このように、本発明では、複数のワークピースを撮像した画像を分割したパッチ画像と同じ分類のサンプルパッチ画像に対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。

【0011】

また、ワークピースを撮像手段で実際に撮像して得られたサンプル実画像と、ワークピースの３次元形状モデルから求めたサンプル基準想定画像とを対応付けて、サンプル基準想定画像の仮想の輝度を求めたうえで、ワークピースの３次元形状モデルからサンプル想定画像を求めている。よって、ワークピースを撮像手段で実際に多数の方向から撮像してサンプル画像を得る必要がないので、準備工程が簡素なものとなる。

【0012】

本発明において、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基づいて推定する被覆部推定工程をさらに含むことが好ましい。

【0013】

この場合、集積が低くワークピースの一部が被覆されていると推定されるとき、被覆部推定工程で、このワークピースを示す位置情報及び姿勢情報に集積されたパッチ画像を逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。

【図面の簡単な説明】

【0014】

【図1】サンプルデータ取得装置の構成を示す図である。

【図2】（ａ）は、サンプル画像をパッチに分割した状態を示す図であり、（ｂ）は、サンプルパッチ画像データベースの一部の一例を示す。

【図3】ワークピース位置姿勢認識装置を備えたピッキングアップ・システムの構成を示す図である。

【図4】位置情報の集積結果に基いてワークピースの位置を推定する方法を示す説明図である。

【図5】画像認識方法のフローチャートである。

【発明を実施するための形態】

【0015】

本発明の実施形態における準備工程で使用するサンプルデータ取得装置１０について説明する。

【0016】

図１に示すように、サンプルデータ取得装置１０は、ワークピースＷを既知の姿勢で設置することが可能な設置台１１と、設置台１１に設置された１個のワークピースＷを上方から撮像する撮像装置１２と、設置台１１又は撮像装置１２の姿勢を制御する制御部１３とを備える。

【0017】

設置台１１は、例えば、回転ステージであり、制御部１３によって回転制御可能に構成されている。撮像装置１２は、ここでは、１台のＣＣＤカメラであり二次元撮像画像のデータを生成する。撮像装置１２は、図示しない支柱や天井などに支持されて設置台１１の上方に配置されている。

【0018】

制御部１３によって設置台１１又は撮像装置１２の姿勢を制御して、また、必要に応じて設置台１１に設置されたワークピースＷを裏返して、撮像装置１２にワークピースＷを撮像させる。

【0019】

サンプルデータ取得装置１０は、さらに、サンプル実画像生成部２１、ポリゴンメッシュ生成部２２、サンプル基準想定画像生成部２３、サンプル画像対応付け部２４、サンプル想定画像生成部２５、画像分割部２６、及び、タグ付与部２７を備え、記憶装置１４に接続されている。

【0020】

サンプル実画像生成部２１は、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像させて、サンプル実画像データを得る。特定の方向とは、例えば、上、下、右、左、前、後の６方向である。得られたサンプル実画像データは、撮像時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。

【0021】

なお、図２（ａ）に示すように、ワークピースＷに、１点の基準位置Ｏ、及び１つの基準姿勢（基準方向）を予め定めておく。基準位置Ｏは、例えば、ワークピースＷの重心、ワークピースＷに形成された穴の中心などに設定すればよい。そして、各サンプル実画像データに対応付ける姿勢情報は、基準姿勢を基準とした、サンプル実画像の撮像時におけるワークピースＷの姿勢の方向ずれを示す情報である。なお、姿勢情報を得るために、ワークピースＷをその付近に位置させたチェッカーパターンと共に、撮像装置１２で撮像してもよい。

【0022】

ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する。３次元ＣＡＤデータは、例えばワークピースＷの設計データであり、記憶装置１４に予め記憶されている。３次元ＣＡＤデータからポリゴンメッシュを生成する手法は特に限定されず、周知の手法で行えばよく、市販のソフトウェアを利用してもよい。

【0023】

サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する。

【0024】

具体的には、サンプル基準想定画像生成部２３は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、ワークピースＷの３次元形状モデルを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル基準想定画像データを生成する。サンプル基準想定画像生成部２３で生成されたサンプル基準想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。

【0025】

サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像データとサンプル基準想定画像データとの対応付けを行う。具体的には、サンプル画像対応付け部２４は、サンプル実画像及びサンプル基準想定画像から輪郭線等を抽出し、抽出した輪郭線等を対応付けすることによって対応付けを行う。

【0026】

サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面に対応するサンプル実画像の面における輝度を対応付ける。

【0027】

サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する。

【0028】

具体的には、サンプル想定画像生成部２５は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、３次元形状モデルからワークピースＷを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル想定画像データを生成する。サンプル想定画像生成部２５で生成されたサンプル想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。

【0029】

画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチ（小領域）に分割して、複数のサンプルパッチ画像を得る処理を行う。パッチは、例えば、予め定められた画素数×画素数分の長方形又は正方形の領域である。

【0030】

タグ付与部２７は、画像分割部２６で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチ画像に係る部分のワークピースＷの基準位置Ｏに対する相対座標情報（例えば、ＸＹＺ軸座標）である。姿勢情報は、位置関係情報と同様に、サンプルパッチ画像に係る部分のワークピースＷの基準角度に対する相対角度情報であり、例えばＲｘ，Ｒｙ、Ｒｚの３軸回りの回転角度、あるいは３×３の回転行列である。

【0031】

サンプルパッチ画像によっては、ワークピースＷの基準位置Ｏまでの関係が一義的に求まらない場合と求まる場合とがあるため、タグ付与部２７は、信頼度情報として重み付け係数を付与する。

【0032】

例えば、図２（ａ）を参照して、ワークピースＷの側辺部の一部を撮像したサンプルパッチ画像では、具体的に側辺部のどの領域を撮像した画像であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチ画像がワークピースＷの２つの部分の何れか一方を特定の方向から撮像したものであることが分かる場合、信頼度は５０％であるので、このサンプルパッチ画像に付与する重み付け係数は０．５とする。一方、ワークピースＷの角部などの特徴部分を特定の方向から撮像して得られたサンプルパッチ画像では、基準位置Ｏ及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を１．０とする。

【0033】

さらに、タグ付与部２７は、サンプルパッチ画像を、該サンプルパッチ画像を構成する各画素（ピクセル）の輝度を順々に予め定めた閾値と比較する条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部２７は、サンプルパッチ画像毎に、分類に応じた番号付けしてラベリングを行う。

【0034】

具体的には、タグ付与部２７は、例えば、左上の画素を起点として予め定められた順序に沿って各画素の輝度が閾値以上の場合には「０」、閾値未満の場合には「１」として、仕分けする。これにより、各サンプルパッチ画像に対して「１００１０１・・・」などの数列が求まる。そして、この数列順にサンプルパッチ画像を並び代えて、各サンプルパッチ画像に番号を付与する。

【0035】

また、ある特定アドレスの画素の輝度と、他の特定アドレスの画素の輝度とを比較して、ある特定アドレス画素の輝度が、他の特定アドレスの画素の輝度以上である場合には「０」、未満である場合には「１」として、比較する画素を順次適宜選択して「００１１０１・・・」などの数列を求め、この数列を前段落で述べた数列に追加してもよい。このように、数列を求めるための質問は、正否で回答され、その回答を０，１の２値に分類できるものであればよい。

【0036】

このように二分木法を用いて仕分けすることで、膨大な数に及ぶパッチサンプル画像の分類を単純な２進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチ画像から特徴パラメータを抽出するなどの周知の任意の画像分類方法で分類してもよい。

【0037】

そして、タグ付与部２７は、図２（ｂ）に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置１４に保存する。

【0038】

次に、本発明の実施形態における画像認識方法で使用するワークピース位置姿勢認識装置３０を備えたピッキングアップ・システム４０について説明する。

【0039】

図３に示すように、ワークピース位置姿勢認識装置３０は、ホッパ（貯留槽）４１内に山積みされたワークピースＷの基準位置、姿勢及び距離を求める装置である。ここでは、ワークピースＷは同一形状であり、ホッパ４１内に３次元的に任意の位置及び姿勢で多数山積みされている。

【0040】

ワークピース位置姿勢認識装置３０は、山積みされたワークピースＷのうち、最上部付近に位置し、ピックアップされるに適したワークピースＷを決定する。なお、本ワークピース位置姿勢認識装置３０は、ワークピースＷが乱雑に山積みされている場合に限らず、ワークピースＷが整列して配置されている場合でも、同様に適用可能である。

【0041】

ピッキングアップ・システム４０は、ワークピース位置姿勢認識装置３０から供給されるワークピースＷの基準位置Ｏ、姿勢及び距離に応じて、ワークピースＷを一つずつピックアップするロボット４２を備える。ロボット４２は、アーム４３と、アーム４３のエンドエフェクタであるハンド４４と、アーム４３及びハンド４４の動作を制御するロボット制御部４５とを備える。

【0042】

ロボット制御部４５は、ワークピース位置姿勢認識装置３０から供給された、ピックアップすべきワークピースＷの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースＷをハンド４４でピックアップするように、アーム４３及びハンド４４を制御する。

【0043】

ピッキングアップ・システム４０は、さらに、ホッパ４１内に山積みされたワークピースＷを上方から撮像する１台もしくは複数台の撮像装置４６を備える。撮像装置４６は、例えば２台のＣＣＤカメラであり、それぞれ別の角度からの二次元撮像画像を生成する。２台の撮像装置４６は、図示しない支柱や天井などに支持され、離間してホッパ４１の上方に配置されている。２台の撮像装置４６は、山積みされたワークピースＷを重複して撮像する。

【0044】

ワークピース位置姿勢認識装置３０は、画像処理部３１、画像分割部３２、対応サンプルパッチ画像分類部３３、集積部３４、ワークピース推定部３５、被覆部推定部３６、実ワークピース決定部３７、及びピックアップ決定部３８を備え、記憶装置１４に接続されている。

【0045】

画像処理部３１は、２台の撮像装置４６により撮影された画像を取り込み、所定の処理を行った画像データを記憶装置１４に格納する。

【0046】

画像分割部３２は、画像処理部３１で処理された画像を複数のパッチ（小領域）に分割して、複数のパッチ画像を得る処理を行う。このパッチは、サンプルデータ取得装置１０の画像分割部２６でサンプル画像が分割されたパッチと同じ画素数×画素数からなる領域である。ここでは、画像分割部３２で分割されたパッチの縮尺が、サンプルデータ取得装置１０の画像分割部２６で分割されたパッチの縮尺とほぼ同じになるように調整する。

【0047】

対応サンプルパッチ画像分類部３３は、画像分割部３２で分割された各パッチ画像が、画像分割部２６で分割されたサンプルパッチ画像の何れに最も類似するかを、記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。

【0048】

ここでは、対応サンプルパッチ画像分類部３３は、前述したタグ付与部２７で求めた数列と同じ方法で画像分割部３２で分割された各パッチ画像に対応する数列を求める。対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が一致するサンプルパッチ画像を探索する。

【0049】

対応サンプルパッチ画像分類部３３は、タグ付与部２７と同様に二分木法で数列を求め、求めた数列をタグ付与部２７で付与した数列と対比するので、短時間で一致するサンプルパッチ画像を探索することが可能となる。

【0050】

そして、対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が全て一致するサンプルパッチ画像、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチ画像を、最も類似するサンプルパッチ画像とする。なお、２つのワークピースＷが重なり合って、パッチ画像に分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチ画像は存在しない。

【0051】

対応サンプルパッチ画像分類部３３は、パッチ画像に最も類似するサンプルパッチ画像を、当該パッチ画像に対応するサンプルパッチ画像として分類する。

【0052】

集積部３４は、それぞれのパッチ画像により最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。

【0053】

詳細には、集積部３４は、２台の撮像装置４６で撮像した画像を分割して得た全てのパッチ画像にそれぞれ対応する、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ画像に対応して保存されている基準位置情報毎に、重み付け係数の総和値（以下、この総和値を「得点」という）を算出する。

【0054】

ワークピース推定部３５は、図４に示すように、集積部３４で集積された得点に基づいて、ワークピースＷの基準位置Ｏを推定する。相対的にホッパ４１の下方に存在するワークピースＷは、上方のワークピースＷに一部又は全部が隠される。そのため、下方に存在するワークピースＷの基準位置Ｏは、高い得点を得ることができず、最上部に位置するワークピースＷほど、基準位置Ｏが高い得点を得ることができる。

【0055】

よって、高得点を得た基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢にあるワークピースＷは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部３５は、集積部３４で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢（これらを合せて、「推定位置姿勢」という）にあるであろうと推定されるワークピースＷを選出する。前記閾値は、例えば、選出されたワークピースＷは、全て露出しているものも、一部が露出していないものも含まれるように設定する。

【0056】

なお、図４では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したい部品数のみに絞って探索をかけることが可能となりより高速な検出が可能となる。例えば、３つ検出したい場合には、得点集積が高い上位３つからのみ推定位置姿勢を算出すればよい。

【0057】

ところで、集積部３４で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースＷは少なくとも一部が他のワークピースＷ等によって被覆されていると考えられる。選定されたワークピースＷの被覆部（非露出部）がロボット４２のピックアップ部位（把持部位）である場合、このワークピースＷはロボット４２でピックアップできない。よって、ワークピースＷの被覆部を特定することが望ましい。

【0058】

そこで、被覆部推定部３６は、記憶装置１４に保存されたサンプルパッチ画像データベースを再度利用して、ワークピースＷが推定位置姿勢にあるときのワークピースＷの形状（どの場所のパッチ画像から構成されているべきか）から、実際に重み付け係数を集積したパッチ画像の集合を差し引いた領域を、被覆部と推定する。

【0059】

例えば、ワークピース推定部３５で推定された姿勢が、サンプルパッチＡ，Ｂ，Ｃ，Ｄ，Ｅからなる位置姿勢であるとすると、撮像装置４６で撮影されているワークピースＷにおいてもＡ，Ｂ，Ｃ，Ｄ，Ｅの箇所のパッチ画像から基準位置情報が集積されることが期待される。しかし、例えば、Ｂのサンプルパッチに対応するパッチ画像の領域から、ワークピースＷの基準位置Ｏを基準位置情報として重み付け係数を集積していなければ、Ｂの領域は被覆していると推定する。

【0060】

実際に山積みとなっているワークピースＷの姿勢は任意であるため、サンプル画像を撮像した姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースＷの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースＷの姿勢とは少し異なる場合がある。そのため、ワークピース推定部３５で選定されたワークピースＷの推定位置姿勢が実際位置姿勢と異なり、ロボット４２でのピックアップに影響が生じるおそれがある。

【0061】

そこで、実ワークピース決定部３７は、ワークピース推定部３５で選出したワークピースＷの実際の基準位置Ｏ及び姿勢（これらを合せて、「実際位置姿勢」という）を、実際のワークピースＷを２台の撮像装置４６で撮像した画像をステレオ画像処理することによって求める。

【0062】

具体的には、実ワークピース決定部３７は、２台の撮像装置４６が撮像した画像から推定位置姿勢に基準位置Ｏの位置、姿勢が近似するワークピースＷを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースＷ全体の輪郭線を求める。

【0063】

このとき、画像処理を行うべきワークピースＷの基準位置Ｏの位置及び姿勢は予め推定されているので、２台の撮像装置４６で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。

【0064】

また、実ワークピース決定部３７は、ワークピースＷまでの距離（図３における垂直方向位置）を求める。撮像装置４６から対応点（ワークピースＷの基準位置Ｏ）までの距離Ｚは、２台の撮像装置４６間の距離Ｌ、撮像装置４６の焦点距離ｆ、２台の撮像装置４６間の対応点の視差（ずれ量）ｄから、次式（１）によって求めることができる。

【0065】

Ｚ＝Ｌ×ｆ／ｄ ・・・ （１）
これにより、ロボット４２で選定したワークピースＷをピックアップすることが可能となる。

【0066】

なお、実ワークピース決定部３７で、実際のワークピースＷを２台の撮像装置４６で撮像した画像からワークピースＷの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部３７は、被覆部推定部３６で被覆部がピックアップ部位でないと推定されたワークピースＷに対してのみ実際位置姿勢を求めればよい。

【0067】

ピックアップ決定部３８は、実ワークピース決定部３７で求めた実際のワークピースＷの実際位置姿勢及び距離に基いて、ロボット４２での取り出しに適しているワークピースＷを決定する。そして、決定したワークピースＷの実際位置姿勢及び距離を示す情報をロボット制御部４５に送信する。取り出すワークピースＷの決定手法は特に問わないが、例えばピックアップする際のロボット４２の制御が容易であるワークピースＷ、あるいは、ピックアップ後に裏返し等が必要ないワークピースＷを選択すればよい。

【0068】

以下、図５を参照して、本発明の実施形態における画像認識方法について説明する。

【0069】

まず、上述したサンプルデータ取得装置１０を用いて、準備工程を行う（Ｓ１０）。

【0070】

この準備工程では、最初に、１個のワークピースＷを設置台１１に設置する。そして、制御部１３で設置台１１を回転等させながら、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像して、サンプル実画像生成部２１は、サンプル実画像データを得る（Ｓ１１）。サンプル実画像データは、ワークピースＷの姿勢情報と対応付けて記憶装置１４に保存する。

【0071】

次に、ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する（Ｓ１２）。

【0072】

そして、サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する（Ｓ１３）。

【0073】

次に、サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像とサンプル基準想定画像との対応付けを行う（Ｓ１４）。

【0074】

そして、サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面にＳ１４で対応付けたサンプル実画像の面における輝度を対応付ける（Ｓ１５）。

【0075】

次に、サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する（Ｓ１６）。

【0076】

次に、画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチに分割して、複数のサンプルパッチ画像を得る（Ｓ１７）。

【0077】

次に、タグ付与部２７は、Ｓ１６で得た各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部２７は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像データをサンプルパッチ画像データベースとして記憶装置１４に保存する（Ｓ１８）。

【0078】

そして、準備工程（Ｓ１０）完了後に、上述したピッキングアップ・システム４０を用いて、ワークピースＷの画像認識工程（Ｓ２０）を行う。

【0079】

この画像認識工程では、最初に、ホッパ４１の上方から、ランダムに山積みされたワークピースＷを２台の撮像装置４６で撮像する（Ｓ２１）。このＳ２１が本発明の撮像工程に相当する。

【0080】

そして、画像処理部３１は、２台の撮像装置４６により撮影された画像データを記憶装置１４に格納する（Ｓ２２）。

【0081】

次に、画像分割部３２は、Ｓ２２で処理された画像を複数のパッチに分割に分割して、複数のパッチ画像を得る（Ｓ２３）。

【0082】

次に、対応サンプルパッチ画像分類部３３は、Ｓ２３で分割された各パッチ画像が、Ｓ１３で分割されたサンプルパッチ画像の何れに最も類似するかを記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。この探索結果に基づいて各パッチ画像を分類する（Ｓ２４）。このＳ２４が、本発明の分類工程に相当する。

【0083】

次に、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベルングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ２５）。このＳ２５が本発明の集積工程に相当する。

【0084】

次に、ワークピース推定部３５は、Ｓ２５で集積された得点が前記閾値を超えるワークピースＷを選定し、選定したワークピースＷの基準位置Ｏ及び姿勢を推定する（Ｓ２６）。このＳ２６が、本発明のワークピース推定工程に相当する。

【0085】

次に、被覆部推定部３６は、Ｓ２６で選定したワークピースＷのうち、得点が低いワークピースＷの被覆部を推定する（Ｓ２７）。このＳ２７が本発明の被覆部推定工程に相当する。

【0086】

次に、実ワークピース決定部３７は、Ｓ２７で被覆部がピックアップ部位であると推定されたワークピースＷを除き、Ｓ２６で選定したワークピースＷの実際の基準位置Ｏ及び姿勢を求める（Ｓ２８）。また、実ワークピース決定部３７は、このワークピースＷの実際の距離を求める（Ｓ２９）。

【0087】

そして、ピックアップ決定部３８は、Ｓ２８及びＳ２９で求めた実際のワークピースＷの基準位置Ｏ、姿勢及び距離から、ロボット４２での取り出しに適しているワークピースＷを決定する（Ｓ３０）。

【0088】

そして、最後に、ロボット４２を用いて、Ｓ３０で決定したワークピースＷをピックアップするピックアップ工程（Ｓ３１）を行う。

【0089】

以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。

【0090】

例えば、本実施形態では、ワークピース位置姿勢認識装置３０は被覆部推定部３６を備え、画像認識方法はワークピースＷの被覆部を推定する工程（Ｓ２７）を備える場合について説明した。しかし、被覆部推定部３６、及び被覆部を推定する工程を備えないものであってもよい。

【符号の説明】

【0091】

１０…サンプルデータ取得装置、 １１…設置台、 １２…撮像装置（撮像手段）、 １３…制御部、 １４…記憶装置、 ２１…サンプル実画像生成部、 ２２…ポリゴンメッシュ生成部、 ２３…サンプル基準想定画像生成部、 ２４…サンプル画像対応付け部、 ２５…サンプル想定画像生成部、 ２６…画像分割部、 ２７…タグ付与部、 ３０…ワークピース位置姿勢認識装置、 ３１…画像処理部、 ３２…画像分割部、 ３３…対応サンプルパッチ画像分類部、 ３４…集積部、 ３５…ワークピース推定部、 ３６…被覆部推定部、 ３７…実ワークピース決定部、 ３８…ピックアップ決定部、 ４０…ピッキングアップ・システム、 ４１…ホッパ、 ４２…ロボット、 ４３…アーム、 ４４…ハンド、 ４６…撮像装置（撮像手段）、 Ｗ…ワークピース。

【図1】

【図2】

【図3】

【図4】

【図5】