(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024104882
(43)【公開日】2024-08-06
(54)【発明の名称】ピッキング方法、及びピッキング装置
(51)【国際特許分類】
G01B 11/00 20060101AFI20240730BHJP
G01B 11/26 20060101ALI20240730BHJP
G01B 11/245 20060101ALI20240730BHJP
G01B 11/25 20060101ALI20240730BHJP
【FI】
G01B11/00 H
G01B11/26 H
G01B11/245 H
G01B11/25 H
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023009294
(22)【出願日】2023-01-25
(71)【出願人】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】福地 良太
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA37
2F065AA53
2F065BB01
2F065DD03
2F065FF05
2F065FF09
2F065FF11
2F065PP25
(57)【要約】
【課題】ばら積みされた部材について、寸法が分からない部材があっても、個々の部材の位置や姿勢を精度よく推定可能とする。そして、上記推定によって、精度よく部材をピッキング可能とする。
【解決手段】ばら積みされた部材1をピッキングするピッキング方法であって、3次元測量センサ2で、部材1が載置された領域を上方から測量して、3次元点群を取得し、コンピュータによる演算処理によって、取得した3次元点群から、上記部材1の表面を規定する表面形状の特徴量を検出し、コンピュータによる演算処理によって、検出した特徴量に基づき、上記部材1の位置及び姿勢のうち少なくとも位置を推定し、上記推定に基づき部材1の把持を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ばら積みされた部材をピッキングするピッキング方法であって、
3次元測量センサで、部材が載置された領域を上方から測量して、3次元点群を取得し、
コンピュータによる演算処理によって、取得した3次元点群から、上記部材の表面を規定する表面形状の特徴量を検出し、
コンピュータによる演算処理によって、検出した特徴量に基づき、上記部材の位置及び姿勢のうち少なくとも位置を推定し、
上記推定に基づき部材の把持を行う、
ピッキング方法。
【請求項2】
上記部材の表面を規定する表面形状を平面として、上記特徴量を検出する、
請求項1に記載したピッキング方法。
【請求項3】
上記検出した特徴量から、少なくとも1つの部材の上面の位置及び形状を推定し、その推定から、部材の上方から見た重心の位置を推定し、
上記推定した重心の位置に把持の中心を一致若しくは接近させて、部材の把持を行う、
請求項2に記載したピッキング方法。
【請求項4】
把持する部材の上下方向の寸法である厚さを測定し、
測定した厚さと、上記部材の密度と、上記推定した上面の形状から、その部材の質量を推定し、
推定した質量に応じて部材の把持の方法を選択する、
請求項3に記載したピッキング方法。
【請求項5】
ばら積みされた部材を把持部でピッキングするピッキング装置であって、
上記部材が載置された領域を上方から測量して、3次元点群を取得する3次元測量センサと、
上記3次元測量センサが取得した3次元点群から、上記部材の表面を規定する表面形状の特徴量を検出する特徴量検出部と、
上記特徴量検出部が検出した特徴量に基づき、上記部材の位置及び姿勢のうち少なくとも位置を特定する特定情報を求める部材特定部と、
上記求めた特定情報に基づいて、上記把持部を移動し、上記把持部による部材の把持を制御する把持制御部と、
を備えるピッキング装置。
【請求項6】
上記特徴量検出部は、上記部材の表面を規定する表面形状を、平面として上記特徴量を検出する、
請求項5に記載したピッキング装置。
【請求項7】
上記部材特定部は、上記検出した特徴量から、少なくとも1つの部材の上面の位置及び形状を推定し、その推定の情報から、部材の上方から見た重心の位置を特定し、
上記把持制御部は、特定した重心の位置に上記把持部による把持の中心が一致若しくは接近するように上記把持部の位置を調整して、上記把持部による部材の把持を実行する、
請求項6に記載したピッキング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ばら積みされた部材をピッキングするピッキング方法、及びピッキング装置に関する。
【背景技術】
【0002】
例えば厚板を精製する厚板精製工程では、製品の品質を検査するために、厚板から試験片を切り出す。切り出された試験片は、バケット等の上にばら積み状態で仮置きされ、試験片がある程度の数量に達したら、試験片を検査場まで運搬する。そして、従来にあっては、検査場で、ばら積みされた試験片を、人手でピッキングし整列する作業を実施している。
しかし、このようなばら積みされた試験片のピッキング・整列作業は、重筋作業である。そして、この作業は、作業足場が悪いことによる転倒災害や、重量物である試験片に指などを挟む狭圧災害などの危険が伴う作業である。
【0003】
ここで、ばら積みされた部材を自動でピッキングする方法として、例えば非特許文献1に記載された方法がある。非特許文献1では、ばら積みされた単一形状の部材に対し、3次元形状測定センサで部材の表面形状を測定する。続いて、非特許文献1では、測定した表面形状を、あらかじめ用意した部材の3DCADモデルと照合することによって、個別の部材の位置及び姿勢を認識する。そして、非特許文献1では、認識した情報から把持点を算出し、ロボットの把持部(エンドエフェクタ)によってピッキングを行う。
【0004】
また、特許文献1には、物体の位置や姿勢を認識する方法が開示されている。特許文献1では、距離画像上において特徴点を検出し、あらかじめ用意しておいたモデルの特徴点とマッチング処理を行う。そして、特許文献1では、このようなマッチング処理を行うことによって、物体の位置及び姿勢を認識する。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】IHI 技報 Vol.48 No.1 「三次元物体認識技術を応用したバラ積みピッキングシステムの開発」(2008-3)
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、非特許文献1の方法では、決められた単一形状の部材を対象として、計測した3次元点群データと形状モデルとをマッチングさせることで、把持点を自動で生成する。このため、寸法が多様で決まっていない試験片を自動でピッキングする手法としては適さない。
【0008】
また、特許文献1の方法では、距離画像上で特徴点を検出する際に、ガウス系ラプラシアンフィルタを用いてエッジ抽出処理を行った上でエッジ部を算出する。そして、各エッジの交点を物体の特徴点としている。しかし、ラプラシアンフィルタなどによるエッジ抽出処理は、画像の撮像状況によってエッジの抽出可否が大きく依存する。このため、特許文献1の方法では、安定したエッジ抽出が不可能である懸念がある。また、特許文献1の方法では、例えば、同じ色の部材が重なった状態などでは、色相の違いによりエッジ抽出が困難である。また、特許文献1の方法では、抽出した特徴点をあらかじめ用意した物体のモデルと照合させて対象の物体検出をする。このため、特許文献1の方法は、ピッキングする物体のモデルが必要である。したがって、特許文献1の方法は、寸法が決まっていない対象物のピッキング手法としては適さない。
【0009】
本発明は、上記のような点に着目してなされたもので、ばら積みされた部材について、寸法が分からない部材があっても、個々の部材の位置や姿勢を精度よく推定することを目的の一つする。そして、本発明は、上記推定によって、精度よく部材をピッキング可能とすることを目的の一つとする。
【課題を解決するための手段】
【0010】
課題を解決するために、本発明の一態様は、ばら積みされた部材をピッキングするピッキング方法であって、3次元測量センサで、部材が載置された領域を上方から測量して、3次元点群を取得し、コンピュータによる演算処理によって、取得した3次元点群から、上記部材の表面を規定する表面形状の特徴量を検出し、コンピュータによる演算処理によって、検出した特徴量に基づき、上記部材の位置及び姿勢のうち少なくとも位置を推定し、上記推定に基づき部材の把持を行う。
【発明の効果】
【0011】
本発明の態様によれば、ばら積みされた部材の表面の3次元点群を取得し、3次元点群から部材の表面の特徴領域を規定する特徴量を検出する。このため、本発明の態様によれば、ばら積みされた部材について、寸法が分からない部材があっても、個々の部材の位置及び姿勢を個別に推定することができる。これにより、本発明の態様によれば、部材の寸法が決まっていない場合であっても、精度よく部材をピッキングすることが可能となる。
【図面の簡単な説明】
【0012】
【
図1】本発明に基づく実施形態に係るピッキング装置を示す模式図である。
【
図2】本発明に基づく実施形態に係る他のピッキング装置を示す模式図である。
【
図4】3次元点群データ及び特徴量(特徴領域)の求め方を説明する図である。
【
図5】特徴量(特徴領域)を求める方法の一例を示す図である。
【
図10】実施例の装置構成を説明する模式図である。
【
図11】実施例における、ばら積みされた鋼板を上面から見た図である。
【
図12】検出した鋼板を、重心と共に求めた図である。
【発明を実施するための形態】
【0013】
次に、本発明の実施形態について図面を参照して説明する。
本実施形態のピッキング装置は、自動で、ばら積みされている複数の部材(ブロック)を1個ずつ把持部(エンドエフェクタ)でピッキングする。そして、他の場所に搬送したり、部材を積み直したりする装置である。
【0014】
本実施形態では、部材として、板状の試験片、特に鉄鋼、アルミニウム、チタン等の金属板材を例に挙げて説明する。すなわち、部材として板状の部材を例示して説明する。また、部材は、上面が平坦な板状の場合を例示する。ただし、ばら積みされた各部材の寸法がバラバラとなっているとする。例えば、部材の上面の面形状(輪郭形状)は、同一の形状でない。もちろん、本発明は、同一形状の部材だけであっても適用可能である。
また、ばら積みとは、各部材の向きがバラバラでかつ、部材同士が重なっている可能性がある状態で載置面に載置されていることを指す。
部材が載置されている面は、平面でも、格子状など部分的に空間が空いている面でも良い。
【0015】
(構成)
本実施形態のピッキング装置は、
図1に示すように、把持部4(エンドエフェクタ)を備えた搬送装置3、3次元測量センサ2、演算部10、及び把持制御部11を備える。なお、
図1では、床面20に複数の部材1がばら積みされた例を図示しているが、部材1は、パレットなどの上にばら積みされていても良い。
【0016】
<搬送装置3>
搬送装置3は、部材1を把持部4で把持して、当該部材1を移動(搬送)する装置である。
図1では、搬送装置3が、垂直多関節型のロボットアームから構成される場合を例示している。
【0017】
[把持部4]
図1では、ロボットアームの先端部に、把持部4が脱着可能に取り付けられている。本実施形態では、アームの先端部に、回転などによるワンタッチで、把持部4の脱着が可能な構成の場合とする。すなわち、搬送装置3を制御することで、把持部4の変更が自動で実行可能な構成とする。
把持部4は、例えば、吸着グリッパ、マグネットグリッパ、複数個の爪等のワークを有する把持グリッパなどからなる。把持部4は、対象とする部材1を把持可能な公知のエンドエフェクタを採用すればよい。
図1中、符号6は、予備の把持部を例示している。予備の把持部6は、部材1の質量に応じて変更される把持部であり、アームの移動可能な範囲内に載置されている。
本実施形態では、搬送装置3に予め装着されている把持部4が吸着グリッパとする。また、予備の把持部6が、爪部を有する把持グリッパとする。
【0018】
[板厚測定センサ5]
また、本実施形態の把持部4には、板厚測定センサ5が取り付けられている。板厚測定センサ5は、超音波などの公知の板厚測定のセンサからなり、部材1の上下方向の寸法である板厚を測定するセンサである。板厚測定センサ5は、搬送装置3と別に設けても良い。
図2に示す搬送装置3は、搬送装置本体が、門形のパレタイザー7から構成される例である。そのパレタイザー7のツール部の先端に把持部4が脱着可能に取り付けられており、パレタイザー7に沿って把持部4が移動する構成となっている。
【0019】
<3次元測量センサ2>
3次元測量センサ2は、複数の部材1が載置された領域(載置領域と呼ぶ)を上方から測量する。そして、3次元測量センサ2は、上方から見たばら積みされている部材1の表面(主に上面)についての3次元点群を取得するためのセンサである。3次元測量センサ2は、例えばステレオカメラ、光切断法、光のTOF方式などの、公知の3次元測量センサを用いることが出来る。
図1では、3次元測量センサ2が、載置領域の上方に配置され、3次元測量センサ2が、不図示の架台に支持されている場合を例示している。また、
図2では、3次元測量センサ2が、パレタイザー7のツール部に支持されて、ツール部の移動と共に、3次元測量センサ2も同期して移動する場合を例示している。
【0020】
<演算部10>
演算部10は、
図3に示すように、3次元点群データ取得部10Aと、特徴量検出部10Bと、部材特定部10Cとを備える。なお、演算部10や把持制御部11は、コンピュータで処理され、記憶部にプログラムとして格納されて、各プログラムが呼び出されて処理が実行される。
【0021】
<3次元点群データ取得部10A>
3次元点群データ取得部10Aは、3次元測量センサ2からの信号に基づき、載置領域を上方から測量した際の3次元点群のデータを記憶部に記憶する。
なお、測量する点間の間隔は、対象とする部材1に応じて設定すれば良い。例えば1mm間隔で各点の情報を取得する。なお、各点は、所定の原点座標に対する3次元位置情報(x、y、z)を有する。そして、3次元点群のデータは、そのような3次元位置情報を持った点の集合である。
【0022】
本実施形態では、
図4(a)に示すような、ばら積みされた2以上の部材1の上方からみた表面の3次元点群が取得される。
図4(b)は、取得した3次元点群情報8(P)を模式的に図示したものである。
なお、測量された3次元点群のデータには、床面20など載置面の点群データも含まれている。このため、高さ(z座標)が所定値以下の点群データを削除することで、部材1の3次元点群のデータだけの集合とする。所定値とは、例えば、載置面の高さ位置(z座標)に安全代分(例えば2mm)だけ加算した値である。
【0023】
<特徴量検出部10B>
特徴量検出部10Bは、記憶した3次元点群のデータから、部材1の表面を規定する表面形状の特徴領域を検出する。ここで、上方から測量しているので、部材1の上面が、規定する部材1の表面となるが、部材1が傾いている場合には、部材1の側面の点群も測量されている。
本実施形態では、平板状の部材1を例示している。このため、部材1の表面を規定する表面形状を、平面として、表面形状の特徴領域を規定する特徴量を検出する。
なお、部材1の表面は、平坦であっても、部材1の材質によって所定の粗さが存在する。その粗さによる凹凸がある平坦な面を、平面と呼ぶ。
【0024】
[特徴量の検出方法について]
本実施形態では、規定する表面の形状が平面として設定した。このため、平面の方程式「ax+by+cz+d=0」を使用して特徴量を検出する。
まず、記憶した3次元点群のデータから、係数a、b、cを変数として調整して、任意の平面の方程式(モデル式)に一致する点の集合Piを求める。
図4(c)(d)の模式図は、3次元点群情報8(P)について、平面部を検出するアルゴリズムにより、特徴領域の一例である平面領域9(Pi)を算出した例を示すものである。この平面領域9(Pi)を構成する点群Piで、その平面を規定する特徴量が構成される。なお、平面部の検出アルゴリズムとしては、RANSACアルゴリズムなど公知のアルゴリズムを採用すれば良い。
【0025】
RANSACアルゴリズムを用いた処理の例を、
図5などを参照しながら説明する。
まず、ステップS1で、
図6に示すような、3次元点群データからランダムに数点を抽出し、その抽出した数点が載るモデル式を仮定する。
モデル式は、表面形状を規定する式である。モデル式として、例えば直線の場合にはy=ax+b、平面の場合にはax+by+cz+d=0などのモデル式を仮定する。なお、式中のa、b、c、dは、モデル式を規定する変数となる。
【0026】
次に、ステップS2で、
図7に示すように、仮定したモデル式から距離がしきい値以下のデータ点を、仮定したモデル式のインライア(外れ値でないデータ)とする。これは、部材1の表面が理想の平面でないことなどを考慮したものである。
次に、ステップS3で、仮定したモデル式に所属する点の数が予め設定した閾値以上か判定する。条件を満足する場合には、ステップS4に移行する。一方、条件を満足しない、つまり仮定したモデル式に所属する点の数が少ない場合には、ステップS1に移行して、仮定のモデル式を変更して、ステップS1、2の処理を繰り返す。
【0027】
ここで、仮定したモデル式が正しいモデルの場合には、インライアの数が多いはずである。すなわち、仮定したモデル式に所属する点数が少なければ、部材1の表面を規定するモデル式ではない可能性があるためである。閾値は、例えば、対象とする部材1の上面の辺のうち、一番小さな辺の長さと、測量する点間距離を基に設定する。
【0028】
ステップS4では、仮定したモデル式(平面領域)は正しいとし、そのモデル式に所属する点の集合Piについてクラスタリングを行う。クラスタリングの例を、
図4(d)に示す。
本実施形態では、点間の距離が予め設定した閾値よりも小さな点の集合同士を一つのクラスタとした。
図4(d)では、A、B、Cの3つのクラスタの例が図示されている。
次に、ステップS5では、複数のクラスタA、B、Cのうち、点数が最も多かったクラスタ(集合)を、仮定したモデル式で規定される平面Pi、planeの特徴量と認識する。
【0029】
例えば、算出した平面部に含まれる点の平面領域9(Pi)について、クラスタリングアルゴリズムにより再度分類し、ノイズの除去や、部材1同士が交差する領域で抜き取った点の集合を排除する。これによって、算出した平面に一致する部材1のみとなった点の集合10(Pi、plane)を算出する。
図4(d)では、集合Aに含まれる点群が、仮定したモデル式で規定される平面を規定する特徴量となる。すなわち、求めた集合10(Pi、plane)が、一つの部材1の表面を規定する特徴領域の情報となる。
【0030】
ここで、本実施形態においてクラスタリングとして使用したDBSCANアルゴリズムについて詳しく説明する。DBSCANアルゴリズムは、具体的には、
図8(a)に示すように、点群を近傍点ごとの集合A、B、Cに分割する手法の1つである。
図8(b)に示すような以下の(1)~(3)の手順をクラスタが拡大しなくなる、または規定の回数まで繰り返す(
図8(c))ことにより、点群のクラスタリングを実施する。
(1)任意の点をまず選択し、半径r以内に存在する点を探索する。
(2)半径r以内に一定数以上の点があれば一旦クラスタと認識する。
(3)クラスタと認識した点すべてについて、(1)の工程で再度半径r以内の点を探索してクラスタを拡大させる。
なお、本実施形態では、クラスタリングアルゴリズムとして、DBSCANを使用したが、k-means、HDBSCANなどを使用してもよい。
【0031】
次に、ステップS6では、求めた集合10(Pi、plane)の点群を、記憶した3次元点群のデータから削除する。
次に、ステップS7では、記憶されている3次元点群が予め設定した閾値より多い場合には、ステップS1に移行して、他の部材1の表面を規定する特徴領域を演算する処理を実行する。
一方、記憶されている3次元点群が予め設定した閾値以下と判定した場合には、処理を終了する。
以上のような処理を繰り返すことによって、取得した3次元点群から、1又は2以上の部材1の表面を規定する表面形状の特徴領域及び特徴量を検出することができる。
【0032】
<部材特定部10C>
部材特定部10Cは、特徴量検出部10Bが検出した特徴領域に基づき、少なくとも1つの部材1の位置及び姿勢のうち少なくとも位置を特定(推定)する特定情報を求める。なお、位置及び姿勢の両方の特定情報を求める方が好ましい。ただし、吸着グリッパからなる把持部4の取付け部が、揺動可能にロボットアームの先端部に取り付けられている場合には、位置の情報だけでも部材1を把持可能である。
また、特徴領域(特徴量)の情報は、部材1の表面を規定する情報であるので、対象とする表面の位置及び姿勢(傾きなど)を推定することが可能である。
特徴領域の情報としては、部材1の上面の情報と、側面の情報とが検出されている。傾きが所定以下の情報を、部材1の上面の情報とし、傾きが所定以上のものを側面の情報として判定してもよい。
【0033】
<把持制御部11>
把持制御部11は、部材特定部10Cが求めた特定情報に基づいて把持部4を移動させて、ピッキングする部材1の把持を行う。そして、把持した部材1を所定の位置に搬送する。
本実施形態の把持制御部11は、
図9に示すように、制御部本体11A、重心検出部11B、質量推定部11C、及び把持部選択部11Dを備える。制御部本体11Aは、搬送装置3の動作の基本的な制御を実行する。
【0034】
ここで、ばら積みされている部材1が複数の場合、複数の部材1の特徴量(特徴領域)の情報を取得する。その特徴量の情報から、今回、把持してピッキングする部材1を選択する。部材1の選択方法は、特に限定は無い。例えば、特徴量の情報に基づき、高さが相対的に高い部材、上面の傾きが低い(水平に近い)部材、上面の形状が矩形に近い部材などの条件を満足する部材を優先して選択する。
【0035】
本実施形態では、把持部4が吸着グリッパであるので、把持制御部11は、ピッキングする部材1の上面まで把持部4を移動させる。続いて、把持部4で、対象とする部材1の上面を吸着して把持し、把持した部材1を搬送する制御を実行する。この制御は、公知の制御方法を適用すればよい。
【0036】
[重心検出部11B]
本実施形態の把持制御部11は、重心検出部11Bを備える。重心検出部11Bは、検出した特徴量から、部材1の上面の位置及び形状を推定し、その推定から、部材1の上方から見た重心の位置を特定(推定)する。
重心の検出は、部材1の上面位置及びその姿勢を特定(推定)した特定情報に基づき、対象とする部材1の平面領域における重心位置及び平面の法線ベクトルを算出することで実行する。ここで、平面領域における重心位置は、算出した平面に属するすべての点について座標x、y、zの各成分に対する算術平均値とする。
【0037】
そして、把持制御部11は、特定(推定)した重心の位置に、把持部4による把持(吸盤)の中心位置が一致若しくは接近するように、対象とする部材1の上面に把持部4を移動させて、当該部材1を把持する。この結果、把持部4によって、より安定して部材1を把持可能となる。
この重心を特定して把持する方法は、吸着式やマグネット方式の把持部4に特に有効な方法である。
【0038】
[質量推定部11C]
本実施形態の把持制御部11は、質量推定部11Cを備える。質量推定部11Cは、予め設定された部材1の密度と、測定した厚さと、上記推定した上面の形状から、部材1の質量を推定する。
厚さは、把持する部材1の上下方向の寸法である厚さを測定する板厚測定センサ5で測定される。部材1の密度は、予め記憶部に記憶しておく。
【0039】
そして、本実施形態の把持制御部11は、例えば、重心検出部11Bで部材1の平面領域における重心位置及び平面の法線ベクトルを算出する。その後、制御部本体11Aによって搬送装置3の把持部4を平面領域の重心位置に、平面の法線ベクトルに沿うように移動させる。そして、把持部4に取り付けられた板厚測定センサ5によって、部材1の板厚を測定する。その後、質量推定部11Cは、板厚測定センサ5によって測定された板厚と、3次元測量センサ2で測定した平面領域の面積と、予め記憶されている密度とに基づいて部材1の質量を推定する。
なお、板厚が所定範囲に収まる部材1だけである場合には、板厚の測定は不要となる。
【0040】
[把持部選択部11D]
本実施形態の把持制御部11は、把持部選択部11Dを備える。把持部選択部11Dは、質量推定部11Cが推定した質量に応じて、把持の方法を変更(選択)する。
本実施形態の把持部選択部11Dは、質量推定部11Cが推定した部材1の質量が規定未満である場合には、吸着グリッパからなる把持部4での部材1のピッキングを続行する。
【0041】
一方、本実施形態の把持部選択部11Dは、部材1の質量が規定以上である場合には、ピッキング処理を一時中断する。そして、アームロボットの先端部を予備の把持部6が載置されているエリアに移動させて、吸着グリッパからなる把持部4よりも可搬重量が大きい予備の把持部6(把持グリッパなど)にツールチェンジする。この作業は、オペレータの操作で実行してもよい。
ここで、把持の方法の選択は、把持部自体の変更を例示したが、同一の把持部4による把持位置の変更などでも良い。
なお、一つの部材1のピッキングが終了したら、再度、部材1を規定する特徴量(特徴領域)を取得する処理を実行することが好ましい。部材1のピッキングにより、残りの部材1の位置が変化する可能性があるからである。
【0042】
(動作その他)
以上の装置を使用することで、ばら積みされた部材1を自動で個別にピッキングすることが可能となる。
本実施形態によれば、3次元測量センサ2(3次元形状測定センサ)によって、ばら積みされた部材1の上方から見た表面についての3次元点群情報を取得する。そして、平面の組合せで構成されている部材1の表面の平面領域を3次元点群情報から識別する。これによって、本実施形態では、個々の部材1のエッジを検出することなく、各々の部材1の位置及び姿勢を精度よく推定することができる。
【0043】
また、部材1の上面について重心位置と平面の法線ベクトルとをそれぞれ算出することで、把持部4を、部材1の上面の重心位置若しくはその近傍に、その上面の法線ベクトルに沿って取り付けることができる。これにより、ばら積みされた部材1を、より安定して精度よくピッキングすることができる。
また、板厚測定センサ5を有することで、ピッキングの際に部材1の厚さを測定し、質量を推定することができる。これにより、現在の把持方法で、その部材1をピッキング出来るかが判定され、部材1の質量に応じて適切な把持部4にツールチェンジすることが可能となる。この結果、本実施形態では、ばら積みされた鋼板などの部材1を安定してピッキングすることができる。
【0044】
(変形例)
(1)上記の実施形態では、ピッキングの対象である部材1が板部材であったが、板部材に限らず、パイプや球状の部材であってもよい。
部材1がパイプや球状の部材の場合、3次元点群から検出する部材1の特徴領域は平面領域ではなく曲面領域とする。曲面領域については、検出アルゴリズムで使用する方程式を、対象とする曲面を表すモデル式に変えることで算出可能である。
なお、部材1として、板状部材とパイプなどが混在している場合には、例えば、次のように処理を実行する。まず、平面算出方程式を用いて平面領域の特徴量を算出する。その後、曲面算出方程式を用いて曲面領域の特徴量を算出する。
【0045】
(2)上記の実施形態では、把持部4の把持の中心が、重心位置となるように取り付けて、把持部4で部材1の上面を把持してピッキングする構成とした。
把持部4(エンドエフェクタ)の種類によって、部材1の外周部を把持したり、部材1の下に把持部4の爪を差し込んだりすることによって、部材1をピッキングする構成としてもよい。この場合、必ずしも部材1の重心位置を算出する必要はない。
もっとも、この場合でも、把持した際に把持の中心が部材1の重心に近づくように制御する方が、より安定して部材1を把持可能となる。
【0046】
(3)また、上記の実施形態では、部材1の質量を推定し、推定した質量に応じて把持部4(ハンドグリッパ)の種類を選択していた。しかし、可搬重量の大きい把持部4だけを使用してピッキングを行ってもよい。この場合、必ずしも部材1の厚さを測定する必要はない。
【0047】
(その他)
本開示は、次の構成も取り得る。
(1)ばら積みされた部材をピッキングするピッキング方法であって、
3次元測量センサで、部材が載置された領域を上方から測量して、3次元点群を取得し、
コンピュータによる演算処理によって、取得した3次元点群から、上記部材の表面を規定する表面形状の特徴量を検出し、
コンピュータによる演算処理によって、検出した特徴量に基づき、上記部材の位置及び姿勢のうち少なくとも位置を推定し、
上記推定に基づき部材の把持を行う、
ピッキング方法。
【0048】
(2)上記部材の表面を規定する表面形状を平面として、上記特徴量を検出する。
(3)上記検出した特徴量から、少なくとも1つの部材の上面の位置及び形状を推定し、その推定から、部材の上方から見た重心の位置を推定し、
上記推定した重心の位置に把持の中心を一致若しくは接近させて、部材の把持を行う。
(4)把持する部材の上下方向の寸法である厚さを測定し、
測定した厚さと、上記部材の密度と、上記推定した上面の形状から、その部材の質量を推定し、
推定した質量に応じて部材の把持の方法を選択する。
【0049】
(5)ばら積みされた部材を把持部でピッキングするピッキング装置であって、
上記部材が載置された領域を上方から測量して、3次元点群を取得する3次元測量センサと、
上記3次元測量センサが取得した3次元点群から、上記部材の表面を規定する表面形状の特徴量を検出する特徴量検出部と、
上記特徴量検出部が検出した特徴量に基づき、上記部材の位置及び姿勢のうち少なくとも位置を特定する特定情報を求める部材特定部と、
上記求めた特定情報に基づいて、上記把持部を移動し、上記把持部による部材の把持を制御する把持制御部と、
を備えるピッキング装置。
【0050】
(6)上記特徴量検出部は、上記部材の表面を規定する表面形状を、平面として上記特徴量を検出する。
(7)上記部材特定部は、上記検出した特徴量から、少なくとも1つの部材の上面の位置及び形状を推定し、その推定の情報から、部材の上方から見た重心の位置を特定し、
上記把持制御部は、特定した重心の位置に上記把持部による把持の中心が一致若しくは接近するように上記把持部の位置を調整して、上記把持部による部材の把持を実行する。
【実施例0051】
次に、本実施形態に基づく実施例について説明する。
図10に実施例で用いたピッキング装置の概略図を示す。
実施例では、
図10に示すように、3軸直交ロボット(搬送装置3)のツール部上に、光切断法により部材1の形状を測定する3次元測量センサ2を搭載した。その3次元測量センサ2を、x-y方向に走査させることで、ばら積みされた部材1としての鋼板の表面(主に上面)の3次元点群情報を取得した。
【0052】
ばら積みされた部材1は、それぞれが板厚10mm~25mm、50mm~500mm程度の鋼板からなる場合とした。また、鋼板のサイズにばらつきがある鋼板をばら積みした。
図11に、本実施例におけるばら積みされた鋼板の状態を示す。
また、
図12に、計測した3次元点群情報を平面検出により分類して、検出した鋼板毎に区分けした結果を示す。
図12中で、検出した鋼板上面の重心位置を黒点で示している。
図12から分かるように、個々の鋼板の上面について、概ね良好に鋼板毎の分類と重心位置の検出ができていることが分かった。