特許 7620882 ピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-16

(45)【発行日】2025-01-24

(54)【発明の名称】ピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20250117BHJP

   G01B 11/00 20060101ALI20250117BHJP

   G01B 11/26 20060101ALI20250117BHJP

【ＦＩ】

B25J13/08 A

G01B11/00 H

G01B11/26 H

【請求項の数】 2

(21)【出願番号】P 2021115254

(22)【出願日】2021-07-12

(65)【公開番号】P2023011416

(43)【公開日】2023-01-24

【審査請求日】2024-02-20

(73)【特許権者】

【識別番号】391053696

【氏名又は名称】ＪＯＨＮＡＮ株式会社

(73)【特許権者】

【識別番号】516388230

【氏名又は名称】株式会社ｔｉｗａｋｉ

(74)【代理人】

【識別番号】110000947

【氏名又は名称】弁理士法人あーく事務所

(72)【発明者】

【氏名】森山 孝三

(72)【発明者】

【氏名】ヴ ヤ チュン

(72)【発明者】

【氏名】阮 翔

(72)【発明者】

【氏名】中川 智博

(72)【発明者】

【氏名】綿末 太郎

(72)【発明者】

【氏名】坂口 裕信

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２００４－１８８５３３（ＪＰ，Ａ）

【文献】特開２００９－２１４２１２（ＪＰ，Ａ）

【文献】特開２０１９－１８１５７３（ＪＰ，Ａ）

【文献】特開２００３－０９４３６７（ＪＰ，Ａ）

【文献】特開２００７－３１９９７３（ＪＰ，Ａ）

【文献】特開２０１２－０１１５３１（ＪＰ，Ａ）

【文献】特開２０１３－０８２０４１（ＪＰ，Ａ）

【文献】特開２０１９－１５５５３５（ＪＰ，Ａ）

【文献】特開２０１３－１３０４２６（ＪＰ，Ａ）

【文献】特開２０１８－１４４１６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１０１５１９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３６６５３９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１４７７９８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／２２－１９／０４

Ｇ０１Ｂ １１／００－１１／２６

(57)【特許請求の範囲】

【請求項1】

物体を把持するピッキング装置と、
前記ピッキング装置によりピッキングされる物体の三次元点群データを取得するための距離センサと、
前記距離センサの検出結果に基づいて前記ピッキング装置を制御する制御装置とを備えるピッキングシステムであって、
前記制御装置は、
三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルを生成し、複数種類の前記物体の形状モデルと当該各形状モデルにおける把持箇所とが関連付けられて予め登録されており、かつ、前記物体の画像データを用いて前記物体の種類を識別するとともに、その識別された物体の種類に対応する前記登録された形状モデルの把持箇所を考慮して、前記ピッキング装置による物体の把持位置を算出するように構成されており、
前記物体の種類の識別に失敗した場合、前記三次元点群データに前記基本立体を組み合わせて生成される当該物体の形状モデルに基づいて、当該物体の把持位置を算出するように構成されていることを特徴とするピッキングシステム。

【請求項2】

請求項１に記載のピッキングシステムにおいて、
前記制御装置は、
前記物体の二次元の画像データを用いて前記物体の種類を識別するようになっており、
前記物体の種類の識別に失敗した場合、前記生成された前記形状モデルの密度を均一とした場合における重心位置を、当該物体の把持位置として算出するよう構成されていることを特徴とするピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピッキングシステムに関する。

【背景技術】

【0002】

従来、ワーク（物体）を把持するピッキング装置と、ピッキング装置を制御する制御装置とを備えるピッキングシステムが知られている（たとえば、特許文献１参照）。

【0003】

特許文献１のピッキングシステムは、距離センサを用いてワークの三次元形状を計測し、その計測結果とワークの３ＤＣＡＤモデルとを照合することにより、ワークの位置および姿勢を認識するように構成されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－６９５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記した従来のピッキングシステムでは、ワークを認識するために３ＤＣＡＤモデルを事前に登録しておく必要があり、この点について改善の余地がある。

【0006】

本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、物体が予め登録されていない場合であってもピッキングすることが可能なピッキングシステムを提供することである。

【課題を解決するための手段】

【0007】

本発明によるピッキングシステムは、物体を把持するピッキング装置と、ピッキング装置によりピッキングされる物体の三次元点群データを取得するための距離センサと、距離センサの検出結果に基づいてピッキング装置を制御する制御装置とを備える。制御装置は、三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルを生成し、複数種類の物体の形状モデルと当該各形状モデルにおける把持箇所とが関連付けられて予め登録されており、かつ、物体の画像データを用いて物体の種類を識別するとともに、その識別された物体の種類に対応する登録された形状モデルの把持箇所を考慮して、ピッキング装置による物体の把持位置を算出するように構成されており、物体の種類の識別に失敗した場合、三次元点群データに基本立体を組み合わせて生成される当該物体の形状モデルに基づいて、当該物体の把持位置を算出するように構成されている。

【0008】

このように、物体の形状モデルを生成して把持位置を算出することにより、物体が予め登録されていない場合であってもピッキングすることができる。

【0009】

上記ピッキングシステムにおいて、制御装置は、物体の二次元の画像データを用いて物体の種類を識別するようになっており、物体の種類の識別に失敗した場合、生成された形状モデルの密度を均一とした場合における重心位置を、当該物体の把持位置として算出するよう構成されていてもよい。

【発明の効果】

【0010】

本発明のピッキングシステムによれば、物体が予め登録されていない場合であってもピッキングすることができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態によるピッキングシステムの概略構成を示したブロック図である。

【図2】図１のピッキングシステムの制御装置に登録された形状モデルの一例を説明するための図である。

【図3】本実施形態のピッキングシステムにおける把持位置特定動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態を説明する。

【0013】

まず、図１および図２を参照して、本発明の一実施形態によるピッキングシステム１００の構成について説明する。

【0014】

ピッキングシステム１００は、物体（図示省略）をピッキングして、たとえば自動仕分けや自動搬送などを行うように構成されている。このピッキングシステム１００は、予め設定された所定領域に位置する１つの物体（把持対象物体）をピッキングするために設けられている。ピッキングシステム１００は、図１に示すように、ピッキング装置１と、ＲＧＢ－Ｄカメラ２ａおよび２ｂと、制御装置３とを備えている。

【0015】

ピッキング装置１は、所定領域に位置する物体を把持するために設けられている。たとえば、ピッキング装置１は、図示省略したロボットアームおよびハンドなどを含んでいる。ハンドは、ロボットアームの先端に設けられ、物体を把持するように構成されている。ロボットアームは、ハンドを移動させることにより、ハンドの位置および姿勢を制御することが可能である。

【0016】

ＲＧＢ－Ｄカメラ２ａおよび２ｂは、所定領域に位置する物体を撮像して、ＲＧＢ－Ｄ画像を取得するように構成されている。ＲＧＢ－Ｄ画像は、ＲＧＢ画像（カラー画像）および深度画像を含んでおり、ＲＧＢ画像における各ピクセルの深さ情報を有する。そして、ＲＧＢ－Ｄカメラ２ａおよび２ｂでは、ＲＧＢ－Ｄ画像から三次元点群データに変換することが可能である。なお、ＲＧＢ画像は、本発明の「画像データ」の一例である。また、ＲＧＢ－Ｄカメラ２ａは本発明の「距離センサ」および「画像センサ」の一例であり、ＲＧＢ－Ｄカメラ２ｂは本発明の「距離センサ」および「画像センサ」の一例である。

【0017】

ＲＧＢ－Ｄカメラ２ａおよび２ｂは、物体を異なる角度から撮像するように構成されている。たとえば、所定領域に位置する物体をＲＧＢ－Ｄカメラ２ａが一方側から撮像するとともに、所定領域に位置する物体をＲＧＢ－Ｄカメラ２ｂが他方側から撮像するように設けられている。すなわち、所定領域に位置する物体の外形が死角になるのを抑制するために、２台のＲＧＢ－Ｄカメラ２ａおよび２ｂが設けられている。

【0018】

制御装置３は、ＲＧＢ－Ｄカメラ２ａおよび２ｂの撮像結果に基づいて、ピッキング装置１を制御するように構成されている。この制御装置３は、演算部３１と、記憶部３２と、入出力部３３とを含んでいる。演算部３１は、記憶部３２に記憶されたプログラムなどに基づいて演算処理を実行するように構成されている。記憶部３２には、ピッキング装置１の動作を制御するためのプログラムなどが記憶されている。入出力部３３には、ピッキング装置１、ＲＧＢ－Ｄカメラ２ａおよび２ｂなどが接続されている。入出力部３３は、ピッキング装置１の動作を制御する制御信号を出力するとともに、ＲＧＢ－Ｄカメラ２ａおよび２ｂの撮像結果が入力されるように構成されている。

【0019】

ここで、制御装置３は、ＲＧＢ－Ｄカメラ２ａおよび２ｂの撮像結果に基づいて、ピッキング装置１による物体の把持位置を算出するように構成されている。この把持位置の算出により、物体を適切にピッキングすることが可能である。なお、記憶部３２には、ピッキング装置１による物体の把持位置を算出するためのプログラム、そのプログラムで用いられるＤＢ（データベース）３２ａ、および、後述する学習済みモデル（図示省略）などが記憶されている。

【0020】

ＤＢ３２ａでは、物体の種類を示すＩＤと、その物体の形状モデルと、その形状モデルの把持箇所とを関連付けて格納されている。すなわち、ＤＢ３２ａでは、物体の種類ＩＤと形状モデルと把持箇所とがカラム（項目）として設定され、複数のレコードが格納されている。ＤＢ３２ａへのレコードの登録は、たとえばユーザによって予め行われるようになっている。また、物体の形状モデルは、物体の外形形状を三次元で模式的に表すものであり、複数の基本立体を組み合わせて生成されている。基本立体は、たとえば、直方体、球体、円柱体および円錐体などを含み、向きや寸法などが可変にされている。

【0021】

具体例として、物体の種類が「ハンマー（槌）」の場合には、図２に示すように、２つの円柱体Ｃ１およびＣ２を用いて形状モデルＭｈが生成され、その形状モデルＭｈにおける把持箇所Ｇｐが指定されている。なお、物体の種類ＩＤはユーザによって登録され、形状モデルＭｈはユーザによって生成され、把持箇所Ｇｐはユーザによって指定される。把持箇所Ｇｐは、ピッキング装置１が物体を把持するのに適した部分であり、一例としては形状モデルＭｈの重心位置に設定することが考えられる。このようなレコードの登録が複数種類の物体について予め行われている。

【0022】

図１に示すように、制御装置３は、ＲＧＢ－Ｄカメラ２ａおよび２ｂの位置および姿勢などに関する情報（外部パラメータ）が予め格納されており、ＲＧＢ－Ｄカメラ２ａによって得られた三次元点群データと、ＲＧＢ－Ｄカメラ２ｂによって得られた三次元点群データとを統合するように構成されている。そして、制御装置３は、統合された物体の三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルを生成するように構成されている。基本立体は、たとえば、直方体、球体、円柱体および円錐体などを含み、向きや寸法などが可変にされている。つまり、三次元点群データに基本立体をフィッティングしながら組み合わせることにより、三次元点群データに倣って近似する形状モデルが生成される。この形状モデルは、物体の外形形状を三次元で模式的に表すものとなり、複数の基本立体によって構成されている。

【0023】

また、制御装置３は、ＲＧＢ－Ｄカメラ２ａおよび２ｂによって得られたＲＧＢ画像（二次元の画像データ）を用いて、物体の種類を識別するように構成されている。この物体の種類の識別は、記憶部３２に格納された公知の学習済みモデルを用いて行われる。そして、制御装置３は、物体の種類の識別に成功した場合に、その物体の種類がＤＢ３２ａに登録されているときに、生成された形状モデルに基づき、ＤＢ３２ａに登録されたその物体の形状モデルの把持箇所を考慮して、物体の把持位置を算出するように構成されている。その一方、制御装置３は、物体の種類の識別に失敗した場合、および、識別された物体の種類がＤＢ３２ａに登録されていない場合に、生成された形状モデルに基づいて、物体の把持位置を算出するように構成されている。

【0024】

そして、制御装置３は、算出された物体の把持位置で物体を把持するように、ピッキング装置１を制御するように構成されている。すなわち、制御装置３は、下記の把持位置特定動作が完了した後に、その把持位置特定動作で算出された物体の把持位置での把持動作をピッキング装置１に行わせるようになっている。つまり、制御装置３は、ピッキング装置１のピッキング動作の開始前に把持位置特定動作を行うことにより、ピッキング動作における物体の把持位置を適正化するように構成されている。

【0025】

－ピッキングシステムの把持位置特定動作－
次に、図３を参照して、本実施形態によるピッキングシステム１００における把持位置特定動作について説明する。この把持位置特定動作は、ピッキング装置１による所定領域に位置する物体のピッキング動作の開始前に行われる。なお、以下の各ステップは制御装置３によって実行される。

【0026】

まず、図３のステップＳ１において、ＲＧＢ－Ｄカメラ２ａおよび２ｂの撮像結果が取得される。すなわち、ＲＧＢ－Ｄカメラ２ａおよび２ｂにより所定領域に位置する物体が撮像され、その撮像結果が入出力部３３に入力される。撮像結果には、ＲＧＢ画像および三次元点群データが含まれる。そして、ＲＧＢ－Ｄカメラ２ａからの三次元点群データと、ＲＧＢ－Ｄカメラ２ｂからの三次元点群データとが統合される。

【0027】

次に、ステップＳ２において、統合した三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルが生成される。すなわち、三次元点群データに基本立体をフィッティングしながら組み合わせることにより、三次元点群データに倣って近似する形状モデルが生成される。なお、基本立体を追加するだけではなく、基本立体で取り除くことにより、形状モデルの精度向上を図ることが可能である。つまり、向きや寸法などを適宜調整可能な基本立体を加減して形状モデルが生成される。

【0028】

次に、ステップＳ３において、ＲＧＢ－Ｄカメラ２ａおよび２ｂからのＲＧＢ画像（二次元の画像データ）を用いて、物体の種類が識別される。この物体の種類の識別は、公知の学習済みモデルを用いて行われる。たとえば、ＲＧＢ画像が学習済みモデルに入力されると、画像上の物体の種類が推定されるとともに、その推定結果の確からしさが算出される。

【0029】

次に、ステップＳ４において、ＲＧＢ画像を用いた物体の種類の識別が成功したか否かが判断される。たとえば、ステップＳ３で算出された推定結果の確からしさが所定値以上の場合に、識別が成功したと判断される。そして、識別が成功したと判断された場合には、ステップＳ５に移る。その一方、識別が失敗したと判断された場合には、ステップＳ７に移る。

【0030】

次に、ステップＳ５において、識別された物体の種類がＤＢ３２ａに登録されているか否かが判断される。そして、識別された物体の種類がＤＢ３２ａに登録されていると判断された場合には、ステップＳ６に移る。その一方、識別された物体の種類がＤＢ３２ａに登録されていないと判断された場合には、ステップＳ７に移る。

【0031】

次に、ステップＳ６では、生成された形状モデルに基づき、ＤＢ３２ａに登録された物体の形状モデルにおける把持箇所を考慮して、物体の把持位置が算出される。たとえば、ステップＳ２で生成された物体の形状モデルと、ＤＢ３２ａに登録された物体の形状モデルとを対比して、登録された物体の形状モデルにおける把持箇所を、生成された物体の形状モデルにあてはめることにより、物体の把持位置が算出される。すなわち、物体の種類に応じてユーザによって予め指定された把持箇所が、生成された形状モデルに適用されることにより、物体の把持位置が算出される。具体例として、ＲＧＢ画像を用いて物体の種類が「ハンマー（槌）」であると識別され、その「ハンマー（槌）」がＤＢ３２ａに登録されている場合には、その物体の三次元点群データを参照して生成された形状モデルに基づき、登録された形状モデルＭｈにおける把持箇所Ｇｐ（図２参照）を考慮して、物体の把持位置が算出される。

【0032】

また、ステップＳ７では、生成された形状モデルに基づいて、物体の把持位置が算出される。たとえば、ステップＳ２で生成された物体の形状モデルの密度を均一とした場合における重心位置を、物体の把持位置として算出するようにしてもよい。また、ステップＳ２で生成された物体の形状モデルを構成する基本立体のうち最も大きいものの中心位置を、物体の把持位置として算出するようにしてもよい。

【0033】

－効果－
本実施形態では、上記のように、三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルが生成され、その形状モデルに基づいて、ピッキング装置１による物体の把持位置が算出されることによって、物体が予め登録されていない場合であってもピッキングすることができる。すなわち、物体の種類の識別に失敗した場合、および、識別された物体の種類がＤＢ３２ａに登録されていない場合であっても、三次元点群データを参照して生成された形状モデルに基づいて把持位置が算出されることにより、物体を適切にピッキングすることができる。

【0034】

また、本実施形態では、物体の種類が予め登録されている場合には、その物体の形状モデルにおける把持箇所を考慮して物体の把持位置が算出されることによって、ピッキングの精度向上を図ることができる。

【0035】

また、本実施形態では、ＲＧＢ画像（二次元の画像データ）を用いて物体の種類が識別されることによって、物体の種類を容易に識別することができる。

【0036】

－他の実施形態－
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

【0037】

たとえば、上記実施形態では、２台のＲＧＢ－Ｄカメラ２ａおよび２ｂが設けられる例を示したが、これに限らず、設けられるＲＧＢ－Ｄカメラの台数はいくつであってもよい。たとえば、ＲＧＢ－Ｄカメラが１台だけ設けられていてもよく、この場合には、ＲＧＢ－Ｄカメラがロボットアームに取り付けられていてもよい。このようにすれば、ロボットアームによってＲＧＢ－Ｄカメラを移動させながら物体が撮像されることにより、多視点から物体を捉えることができる。

【0038】

また、ＲＧＢ－Ｄカメラに代えて、物体の三次元点群データを取得するための距離センサが設けられていてもよい。

【0039】

また、上記実施形態では、形状モデルＭｈの重心位置に把持箇所Ｇｐが設定される例を示したが、これに限らず、形状モデルを構成する基本立体のうち最も大きいものの中心に把持箇所が設定されていてもよい。すなわち、把持箇所はユーザが自由に指定することが可能である。

【0040】

また、上記実施形態では、ＲＧＢ－Ｄカメラ２ａおよび２ｂから制御装置３に三次元点群データが入力される例を示したが、これに限らず、ＲＧＢ－Ｄカメラから入力されるＲＧＢ－Ｄ画像に基づいて、制御装置が三次元点群データを算出するようにされていてもよい。

【0041】

また、上記実施形態において、ＲＧＢ－Ｄカメラ２ａおよび２ｂは、ＲＧＢ画像を取得するＲＧＢ画像取得部と、深度画像を取得する深度画像取得部とが、１つの筐体に一体的に設けられていてもよいし、それぞれ個別の筐体に設けられていてもよい。

【0042】

－付記－
物体を把持するピッキング装置と、前記ピッキング装置によりピッキングされる物体の三次元点群データを取得するための距離センサと、前記距離センサの検出結果に基づいて前記ピッキング装置を制御する制御装置とを備えるピッキングシステムにおいて行われる把持位置特定方法であって、
前記距離センサを用いて、前記ピッキング装置によりピッキングされる物体の三次元点群データを取得するステップと、
前記制御装置により、三次元点群データを参照して、基本立体を組み合わせて物体の形状モデルを生成するステップと、
前記制御装置により、前記形状モデルに基づいて、前記ピッキング装置による物体の把持位置を算出するステップとを備えることを特徴とする把持位置特定方法。

【0043】

上記把持位置特定方法において、前記ピッキングシステムは、前記ピッキング装置によりピッキングされる物体の画像データを取得するための画像センサをさらに備え、前記制御装置は、複数種類の物体の形状モデルおよび各形状モデルにおける把持箇所が予め登録されており、
前記画像センサを用いて、前記ピッキング装置によりピッキングされる物体の画像データを取得するステップと、
前記制御装置により、画像データを用いて物体の種類を識別するステップと、
前記制御装置により、その識別された物体の種類の登録された形状モデルの把持箇所を考慮して、前記ピッキング装置による物体の把持位置を算出するステップとを備えることを特徴とする把持位置特定方法。

【0044】

上記把持位置特定方法を備えることを特徴とするピッキング方法。

【0045】

コンピュータに、上記把持位置特定方法の各ステップを実行させるためのプログラム。

【産業上の利用可能性】

【0046】

本発明は、物体を把持するピッキング装置と、ピッキング装置を制御する制御装置とを備えるピッキングシステムに利用可能である。

【符号の説明】

【0047】

１ ピッキング装置
２ａ ＲＧＢ－Ｄカメラ（距離センサ、画像センサ）
２ｂ ＲＧＢ－Ｄカメラ（距離センサ、画像センサ）
３ 制御装置
１００ ピッキングシステム

【図1】

【図2】

【図3】