(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
対象物を把持する把持装置は、例えば機械の部品である対象物を把持して、別の場所へ移動させたり、他の部品に組み付けたりするロボットである。
【0003】
把持装置は、記憶部と撮像装置とマッチング処理部と位置姿勢取得部と制御部とロボットアームと把持部を有する。記憶部は、対象物の形状データを記憶している。撮像装置は、対象物を含む領域を撮像することにより画像を生成する。マッチング処理部は、生成された画像において、記憶部内の対象物の形状データに基づいて、パターンマッチングにより対象物を特定する。位置姿勢取得部は、特定された対象物に基づいて対象物の位置と姿勢を求める。制御部は、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する。ロボットアームは、制御部に制御されることにより、その先端部に取り付けられた把持部により対象物を把持する。把持部は、例えば、対象物を挟んで把持する複数の爪や、対象物に吸着して対象物を把持するバキュームカップなどである。
【0004】
下記の特許文献1では、対象物の上面に穴が形成されている場合に、次のように対象物を把持している。記憶部は、対象物の外形形状と対象物における穴の位置とを記憶している。撮像装置は、対象物を上方から撮像することにより、対象物を含む領域を撮像する。マッチング処理部は、記憶部のデータに基づいて、パターンマッチングにより、撮像装置により得た画像において対象物の穴の位置を推定する。位置姿勢取得部は、推定した穴の位置に探索範囲を狭めて、穴の位置を高精度に求め、対象物の位置と姿勢を求める。制御部は、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
パターンマッチングにおいて、対象物の特徴部(特許文献1では、複数の穴)を利用することにより、精度よく対象物の位置と姿勢を求めることができる。この場合には、対象物の特徴部(例えば穴)が画像に明瞭に写っている必要がある。
【0007】
しかし、対象物の表面における照明状態の不良により、得られた画像において対象物の特徴部が明瞭に写っていないことがある。例えば、対象物の表面において、特徴部に照明が十分に当たらないことにより、または、特徴部からの照明の反射光が強くなり過ぎることにより、画像において対象物の特徴部が明瞭に写っていないことがある。このような対象物の表面における照明状態の不良は、対象物と撮像装置と照明装置の位置関係によって生じる。このように、画像において特徴部が明瞭に写っていない場合には、パターンマッチングにより、対象物の特徴部を特定できない。
【0008】
そこで、本発明の目的は、対象物に照明を当て、対象物を撮像して画像を生成し、この画像から、パターンマッチングにより対象物の特徴部を特定し、特定した特徴部から対象物の位置と姿勢を求め、求めた対象物の位置と姿勢に基づいて対象物を把持することにおいて、対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物の特徴部を特定できるようにすることにある。
【課題を解決するための手段】
【0009】
上述の目的を達成するため、本発明によると、対象物の位置と姿勢を求めて対象物を把持する方法であって、
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を用意し、
撮像装置は、ロボットアームに取り付けられており、
(A)対象物における特徴部の形状を表わす特徴形状データを予め作成し、
(B)照明装置により照明が当てられた対象物を、撮像装置により撮像して対象物を含む画像を生成し、
(C)画像処理装置により、生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行い、
(D)パターンマッチングにより特徴部を特定できた場合に、画像処理装置により、特徴部に基づいて対象物の位置と姿勢を求め、
(E)制御部により、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御し、
前記(C)において、パターンマッチングにより特徴部を特定できなかった場合に、前記(B)で撮像した対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部によりロボットアームを動作させ、再び、前記(B)(C)を行う、ことを特徴とする把持方法が提供される。
【0010】
本発明の好ましい実施形態によると、ロボットアームは、前記把持部が先端部に取り付けられた第1アーム部と、第1アーム部の後端部に連結された第2アーム部を有し、第1アーム部には、撮像装置が取り付けられており、第1アーム部は、第1アーム部の軸回りに、第2アーム部に対し回転可能になっており、
前記(C)のパターンマッチングにより特徴部を特定できなかった場合に、制御部により、第1アーム部を、第2アーム部に対して、第1アーム部の軸回りに設定角だけ回転させ、再び、前記(B)(C)を行う。
【0011】
好ましくは、対象物は、正多角形の上面を有し、この上面が鉛直方向を向くように、設置スペースに対象物が置かれており、
制御部により、ロボットアームを動作させて、対象物の上方に撮像装置を位置させ、この状態で、前記各(B)を行い、
前記設定角は、前記正多角形の一つの内角の半分の角度である。
【0012】
好ましくは、照明装置は、ロボットアームに固定されている。
【0013】
また、上述の目的を達成するため、本発明によると、対象物の位置と姿勢を求めて対象物を把持する装置であって、
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
照明装置により照明が当てられた対象物を撮像して、対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を備え、
撮像装置は、ロボットアームに取り付けられており、
画像処理装置は、
対象物における特徴部の形状を表わす特徴形状データを記憶する記憶部と、
撮像装置が生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行うマッチング処理部と、
パターンマッチングにより特徴部を特定できた場合に、特徴部に基づいて対象物の位置と姿勢を求める位置姿勢取得部と、を有し、
マッチング処理部が、パターンマッチングにより特徴部を特定できなかった場合に、撮像装置により撮像した前記対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部は、ロボットアームを動作させ、撮像装置に対象物を再び撮像させ、これにより生成された画像に対し、マッチング処理部は再びパターンマッチングを行う、ことを特徴とする把持装置が提供される。
【発明の効果】
【0014】
本発明によると、次のように、対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物の特徴部を特定できる。対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、撮像装置により撮像した前記対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部により、撮像装置が取り付けられたロボットアームを動作させる。したがって、対象物の表面における照明状態を改善することができる。よって、再度の撮像により得られた画像において、パターンマッチングで対象物の特徴部を特定することができる。
【発明を実施するための形態】
【0016】
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【0017】
図1(A)は、本発明の実施形態による把持装置10を示す。把持装置10は、対象物1の位置と姿勢を求めて対象物1を把持するように構成されている。把持装置10は、ロボットアーム3と、撮像装置5と、画像処理装置7と、制御部9と、照明装置11とを備える。
図1(B)は、
図1(A)のB−B線矢視図であり、撮像装置5と照明装置11のみを示す。
【0018】
ロボットアーム3は、対象物1を把持する把持部13と、把持部13が先端部に取り付けられた第1アーム部15とを有する。把持部13は、
図1(A)の例では、開閉動作する複数の爪13aを有する。複数の爪13aは、閉じられることにより、対象物1を挟んで把持し、開かれることにより、把持していた対象物1を解放する。
【0019】
本実施形態によると、ロボットアーム3は、第1アーム部15の後端部に先端部が連結された第2アーム部16を有する。第1アーム部15は、第1回転軸C1回りに、第2アーム部16に対し回転可能になっている。第1回転軸C1は、第1アーム部15の軸に一致している。
【0020】
図1(A)の例では、ロボットアーム3は、さらに、第3アーム部17と、第4アーム部18と、第5アーム部19と、第6アーム部20とを有する。
【0021】
第2アーム部16の後端部に、第3アーム部17の先端部が連結されている。第2アーム部16は、第2回転軸C2回りに、第3アーム部17に対して回転可能になっている。第2回転軸C2は、第2アーム部16と第3アーム部17の連結部を通り、第2アーム部16の軸方向と直交する。
【0022】
第3アーム部17の後端部に、第4アーム部18の先端部が連結されている。第3アーム部17は、第3回転軸C3回りに、第4アーム部18に対して回転可能になっている。第3回転軸C3は、第3アーム部17の軸と一致する。
【0023】
第4アーム部18の後端部に、第5アーム部19の先端部が連結されている。第4アーム部18は、第4回転軸C4回りに、第5アーム部19に対して回転可能になっている。第4回転軸C4は、第4アーム部18と第5アーム部19の連結部を通り、第4アーム部18の軸方向と直交する。
【0024】
第5アーム部19の後端部に、第6アーム部20の先端部が連結されている。第5アーム部19は、第5回転軸C5回りに、第6アーム部20に対して回転可能になっている。第5回転軸C5は、第5アーム部19と第6アーム部20の連結部を通り、第5アーム部19の軸方向と直交する。
【0025】
第6アーム部20は、第6回転軸C6回りに、基台21に対し回転可能になっている。第6回転軸C6は、第6アーム部20の軸であり鉛直方向を向いている。なお、基台21は静止している。
【0026】
撮像装置5は、対象物1を撮像することにより対象物1を含む画像を生成する。本実施形態では、撮像装置5の撮像方向が第1アーム部15の先端側を向くように、撮像装置5が第1アーム部15に取り付けられている。
【0027】
画像処理装置7は、撮像装置5により生成された画像に基づいて対象物1の位置と姿勢を求める。画像処理装置7は、記憶部7aと、マッチング処理部7bと、位置姿勢取得部7cとを有する。記憶部7aは、対象物1における特徴部の形状を表わす特徴形状データを記憶する。記憶部7aは、対象物1の全体を表す全体形状データも記憶していてもよい。マッチング処理部7bは、撮像装置5により生成された画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行う。このパターンマッチングは、全体形状データも用いて行われてよい。パターンマッチングにより、画像において対象物1の特徴部を特定できた場合に、位置姿勢取得部7cは、特定された特徴部に基づいて対象物1の位置と姿勢を精密に求める。
【0028】
特徴部は、その姿勢(向き)が特定できる形状を有している。したがって、位置姿勢取得部7cは、特定された特徴部の姿勢を求め、対象物1の姿勢(向き)を求めることができる。例えば、特徴部は、複数の穴からなっていてよい。後述する
図3(A)では、特徴部は、4つの穴1bからなる。
【0029】
制御部9は、画像処理装置7により求めた対象物1の位置と姿勢に基づいて、対象物1を把持するようにロボットアーム3の動作を制御する。
図1(A)の例では、各アーム部15、16、17、18、19、20を、それぞれ、各回転軸C1、C2、C3、C4、C5、C6回りに回転させる複数の駆動装置の一部または全部を制御する。これにより、把持部13が対象物1を把持できる位置に、把持部13を移動させる。次いで、制御部9は、対象物1を把持するように把持部13の動作を制御する。
【0030】
照明装置11は、第1アーム部15に取り付けられ、対象物1に照明を当てる。本実施形態では、照明装置11は、第1アーム部15に固定された状態で、第1アーム部15の先端側に照明光を発するようになっている。したがって、照明装置11は、第1アーム部15の先端側における領域を照らす。
図1の例では、照明装置11は、適宜の手段により撮像装置5に取り付けられていることにより、第1アーム部15に固定されている。
【0031】
図2は、本発明の実施形態による把持方法を示すフローチャートである。この方法は、上述の把持装置10を用いて行われる。
【0032】
ステップS1において、ロボットアーム3の動作により、対象物1を撮像できる位置へ撮像装置5を移動させる。好ましくは、ステップS1では、
図1(A)に示すように、ロボットアーム3の動作により、第1アーム部15の軸を鉛直方向にし、かつ、第1アーム部15を、撮像する対象物1の上方に位置させる。ステップS1において、ロボットアーム3の動作は、制御部9により制御される。
【0033】
ステップS2において、撮像装置5により、照明装置11により照明が当てられた対象物1を撮像することにより対象物1を含む画像を生成する。本実施形態によると、ステップS2では、撮像装置5の撮像方向は、第1アーム部15の軸方向であって第1アーム部15の先端側を向いている。ステップS2において、撮像装置5による撮像は、制御部9に制御される。
【0034】
ステップS3において、マッチング処理部7bにより、特徴形状データに整合する特徴部を特定するパターンマッチングを行う。ステップS3において、特徴部を特定できなかった場合には、ステップS4へ進み、特徴部を特定できた場合には、ステップS6へ進む。
【0035】
ステップS4において、制御部9は、同じ対象物1についてステップS2を、設定回数だけ行ったかを判断する。この判断が肯定である場合には、エラーであるとして、当該対象物1を把持するための
図2のフローを終える。この場合、別の対象物1について、
図2のフローをステップS1から開始してもよい。ステップS4の判断が否定である場合には、ステップS5へ進む。
【0036】
ステップS5において、本実施形態では、制御部9により、第1アーム部15をその軸回りに設定角だけ回転させ、ステップS2へ戻る。この設定角は、360度より小さい角度であり、一例では、180度より小さい角度であり、好ましくは、45度以下の角度である。
【0037】
ステップS5によって、この対象物1と撮像装置5と照明装置11との間の相対位置または相対姿勢は変わるが、前回のステップS2で撮像した対象物1が撮像装置5の撮像範囲内に存在し、照明装置11による照明がこの対象物1に当たる状態は保たれる。
【0038】
ステップS6において、画像処理装置7により、直前のステップS3で特定した特徴部に基づいて対象物1の位置と姿勢を求める。すなわち、位置姿勢取得部7cは、特徴部の位置を求めることにより対象物1の位置を求めるとともに、特徴部の向きを求めることにより、対象物1の向き(姿勢)を求める。この時、位置姿勢取得部7cは、対象物1の位置(対象物1における基準点)と、対象物1における特徴部との既知の相対位置および相対姿勢に基づいて、対象物1の位置と姿勢を求める。
【0039】
ステップS7において、制御部9により、求めた対象物1の位置と姿勢に基づいて、対象物1を把持するようにロボットアーム3の動作を制御する。
【0040】
対象物1が正多角形の上面1aを有し、この上面1aが鉛直方向を向くように、設置スペースに置かれている場合には、次のようにするのがよい。ステップS1において、制御部9は、ロボットアーム3を動作させて、対象物1の上方に撮像装置5を位置させる。この状態で、ステップS2において、制御部9は、対象物1の上面1aを含む領域を上方から(好ましくは鉛直方向に)撮像装置5に撮像させる。ステップS3のパターンマッチングにより特徴部を特定できなかった場合には、ステップS5における上述の設定角が、前記正多角形の一つの内角の半分の角度であるとして、上述のステップS5を行う。これにより、撮像装置5および照明装置11に対する対象物1の上面1aの位置または姿勢が最も大きく変わるので、対象物1の上面1aにおいて、照明装置11による照明状態が最も大きく変わる。したがって、次のステップS3で特徴部を特定できる可能性が高くなる。この場合、ステップS5を2回行うと、撮像装置5および照明装置11と対象物1の上面1a(正多角形)との相対位置または相対姿勢は、元に近い状態に戻るので、上述のステップS4における設定回数は2回にするのがよい。
【0041】
このように、対象物1が正多角形の上面1aを有し、この上面1aが鉛直方向を向くように、設置スペースに置かれている場合の一例を説明する。この例では、
図3(A)に示すように、対象物1が正方形の上面1aを有し、特徴部は、この正方形の4つの頂点近傍にそれぞれ形成された4つの穴1bからなる。
図3(A)は、
図1(A)のIIIA−IIIA線矢視図に相当し、1回目のステップS2で得られた画像を示す。
図3(B)は、
図3(A)と同じ対象物1を示すが、2回目のステップS2で得られた画像を示す。すなわち、
図3(A)の画像では、対象物1の上面1aにおいて、照明の当たりが、他の部分より弱い部分Xがあるため、1回目のステップS3で対象物1の特徴部(複数の穴1b)を特定できず、ステップS5で、第1アーム部15をその軸C1回りに設定角(45度)だけ回転させ、その後、2回目のステップS2で得た画像が
図3(B)である。
図3(B)では、対象物1の上面1aの全範囲において、照明が適切に当たっているので、2回目のステップS3で特徴部を特定することができる。
【0042】
なお、ステップS5において、3次元空間における撮像装置5の位置が変わらないように、第1アーム部15をその軸回りに設定角だけ回転させてもよい。
図1(A)の例では、第1アーム部15を、第2アーム部16に対して第1回転軸C1回りに回転させると3次元空間における撮像装置5の位置が変化する。したがって、ステップS5において、第1アーム部15を、第2アーム部16に対して第1回転軸C1回りに回転させることに加えて、ロボットアーム3における第1アーム部15以外の部分も動作させることより、撮像装置5の位置が変わらないようにする。その結果、ステップS5を行っても、撮像装置5の撮像範囲内(好ましくは、撮像範囲の中央)に、対象物1がより確実に位置する。
【0043】
上述した本発明の実施形態の把持装置10と把持方法によると、以下の効果が得られる。
【0044】
次のように、対象物1の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物1の特徴部を特定できる。対象物1の表面における照明状態の不良によりパターンマッチングが失敗した場合に、前回のステップS2で撮像した対象物1が撮像装置5の撮像範囲内に存在し、照明装置11による照明がこの対象物1に当たる状態を保ちつつ、撮像装置5を設定角だけ回転させるようにロボットアーム3を動作させる。これにより、対象物1と照明装置11と撮像装置5との間における相対位置または相対姿勢を変えることができる。したがって、対象物1の表面における照明状態を改善することができる。よって、再度の撮像により得られた画像において、パターンマッチングで対象物1の特徴部を特定することができる。
【0045】
また、次のように、第1アーム部15の回転による撮像範囲の変化を小さく抑えることができる。撮像装置5は、撮像方向が第1アーム部15の先端側を向くように、第1アーム部15に、その軸C1の近傍位置にて取り付けられている。したがって、第1アーム部15がその軸C1回りに回転しても、撮像装置5による撮像範囲の変化を小さく抑えることができる。
【0046】
第1アーム部15は、第1アーム部15の軸C1回りに、第2アーム部16に対し回転可能になっているので、軸C1回りの第1アーム部15の回転という簡単な動作により、対象物1と照明装置11と撮像装置5との間における相対位置または相対姿勢を変えることができる。
【0047】
対象物1を照らす照明装置11が、第1アーム部15に固定されているので、第1アーム部15の回転により、対象物1における特徴部と照明装置11との相対位置または相対姿勢を変えることができる。
【0048】
図3(A)を参照して上述したように、対象物1の上面1aが正多角形である場合に、ステップS5における上述の設定角が、前記正多角形の一つの内角の半分の角度であるとして、上述のステップS5を行う。これにより、撮像装置5および照明装置11に対する対象物1の上面1aの位置または姿勢を最も大きく変えることができる。したがって、対象物1の上面1aにおいて、照明装置11による照明状態を最も大きく変えることができる。よって、次のステップS3で特徴部を特定できる可能性を高くすることができる。
【0049】
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例1、2の一方または両方を採用してもよい。この場合、他の点は、上述と同じである。
【0050】
(変更例1)
上述では、照明装置11は、第1アーム部15に固定されていたが、照明装置11は、ロボットアーム3以外の構造体に固定されていてもよい。この構造体は静止していてよい。
代わりに、照明装置11は、ロボットアーム3の他の部分に取り付けられていてもよい。この場合、ステップS5においてロボットアーム3の動作により撮像装置5が回転した後においても、前回のステップS2で撮像した対象物1に、照明装置11が照明を当てられるように、制御部9は、ステップS5でロボットアーム3を動作させる。
【0051】
(変更例2)
上述では、ステップS5において、第1アーム部15の軸C1回りに(軸C1を中心として)、第1アーム部15を第2アーム部16に対して回転させていたが、本発明はこれに限定されない。
【0052】
すなわち、本発明では、ステップS5において、前回のステップ2で撮像装置5により撮像した対象物1が、撮像装置5の撮像範囲内に存在する状態を保ちつつ、かつ、この対象物1と撮像装置5と照明装置11との間の相対位置または相対姿勢が変わるように、制御部9は、ロボットアーム3を動作させさえすればよい。このようなロボットアーム3の動作により、撮像装置5は、回転と平行移動の一方または両方を行う。
【0053】
この場合、撮像装置5は、ロボットアーム3において上述の第1アーム部15以外の位置に設けられていてもよく、また、ロボットアーム3の構成は、上述の構成以外のものであってもよい。