特開 2023-53643 ピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023053643

(43)【公開日】2023-04-13

(54)【発明の名称】ピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230406BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021162807

(22)【出願日】2021-10-01

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】澤開 貴博

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707AS04

3C707BS12

3C707DS01

3C707ES03

3C707FS01

3C707KT03

3C707KX19

3C707LV04

3C707LV05

3C707MT04

(57)【要約】

【課題】ピッキング対象となる部品の輪郭を正しく認識することができるピッキングシステムを提供する。
【解決手段】ピッキングシステム１は、複数の部品４が無作為に載置される載置部５を備えており、この載置部５は、部品４の下方に配置されていて部品４に向けて光を照射する光源と、光源と部品４との間に配置されていて当該光源から照射された光を内部で拡散させつつ部品４に向けて透過させる拡散部材とを有しており、光源から照射された光を拡散部材で拡散しつつ透過することにより撮像装置６とは逆側から部品４に光を照射する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ロボットと、
複数の部品が無作為に載置される載置部と、
前記載置部の上方に配置され、当該載置部を上方から撮像する撮像装置と、
前記撮像装置で撮像した画像に対して画像処理を施してピッキング対象となる部品を選択し、選択した部品をピッキングするように前記ロボットを制御する制御部と、を備え、
前記載置部は、部品の下方に配置されていて部品に向けて光を照射する光源と、前記光源と部品との間に配置されていて当該光源から照射された光を内部で拡散させつつ部品に向けて透過させる拡散部材とを有しており、前記光源から照射された光を前記拡散部材で拡散しつつ透過することにより前記撮像装置とは逆側から部品に光を照射するピッキングシステム。

【請求項2】

前記載置部は、天井部分が開口した筐体に前記光源を収容している光源ユニットと、当該光源ユニットの上部に配置されるトレーと、を備えており、
前記トレーは、部品を載置する底板が前記拡散部材で構成されている請求項１記載のピッキングシステム。

【請求項3】

前記光源を１つ備える請求項１または２記載のピッキングシステム。

【請求項4】

部品の形状を示す形状パターンを記憶している記憶部を備え、
前記制御部は、撮像された画像に対して前記形状パターンを用いたパターンマッチングを施すことにより、ピッキング対象となる部品を選択する請求項１から３のいずれか一項記載のピッキングシステム。

【請求項5】

前記制御部は、撮像された画像に含まれる複数の部品に対してパターンマッチングを施すことにより、ピッキング対象となる複数の部品を同時に選択する請求項４記載のピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットを用いて部品をピッキングするピッキングシステムに関する。

【背景技術】

【0002】

従来、例えば特許文献１のように、ロボットを用いて部品をピッキングするシステムが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－９１０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、このようなピッキングシステムでは、一般的に部品を上方から撮像し、撮像した画像に画像処理を施すことにより部品を特定している。

【0005】

しかしながら、複数の部品が無作為に載置されている状態で部品をピックアップする場合、部品の位置によっては光源からの光による陰影が生じ、部品の外縁つまりは部品の輪郭を正しく認識できなくなるおそれがある。そして、部品の輪郭が正しく認識できなければ、ピッキング作業を正しく行うことができなくなる。

【0006】

本発明は、上記実情に鑑みてなされたものであり、その目的は、ピッキング対象となる部品の輪郭を正しく認識することができるピッキングシステムを提供することにある。

【課題を解決するための手段】

【0007】

請求項１に記載した発明では、ピッキングシステムは、ロボットと、複数の部品が無作為に載置される載置部と、載置部の上方に配置され、当該載置部を上方から撮像する撮像装置と、撮像装置で撮像した画像に対して画像処理を施してピッキング対象となる部品を選択し、選択した部品をピッキングするようにロボットを制御する制御部とを備えている。

【0008】

そして、載置部は、部品の下方に配置されていて部品に向けて光を照射する光源と、光源と部品との間に配置されていて当該光源から照射された光を内部で拡散させつつ部品に向けて透過させる拡散部材とを有しており、光源から照射された光を拡散部材で拡散しつつ透過することにより撮像装置とは逆側から部品に光を照射する。

【0009】

これにより、光源から照射された光は、拡散部材によって拡散された後、拡散部材の概ね全体から上方に向けて均等に透過する。その結果、載置部に載置されている複数の部品に対して、各部品のほぼ背面からそれぞれ光が上方に透過し、各部品の輪郭が明確になった画像を撮像することが可能となり、ピッキング対象となる部品の輪郭を正しく認識することができる。

【0010】

請求項２に記載した発明では、載置部は、天井部分が開口した筐体に光源を収容している光源ユニットと、当該光源ユニットの上部に配置されるトレーと、を備えており、トレーは、部品を載置する底板が拡散部材で構成されている。

【0011】

ロボットを用いた作業現場では、ピッキング作業を繰り返し行うことが想定され、その場合には、部品を載置したりピッキングしたりする際に載置部が汚れたり損傷したりする恐れがある。そこで、トレーを拡散部材として用いる載置部を採用することにより、トレーが汚れたり損傷したりした場合にはトレーを単に取り換えることでピッキング作業に支障が出ないようにすることができる。また、トレーは比較的安価であると考えられるため、さらには、光源ユニットが損傷するおそれが低減されるため、ランニングコストの低減を図ることもできる。

【0012】

請求項３に記載した発明では、ピッキングシステムは、光源を１つ備えている。これにより、低コストで載置部を構成することができる。

【0013】

請求項４に記載した発明では、ピッキングシステムは、部品の形状を示す形状パターンを記憶している記憶部を備え、制御部は、撮像された画像に対して形状パターンを用いたパターンマッチングを施すことにより、ピッキング対象となる部品を選択する。パターンマッチングにより部品の姿勢を取得する場合、部品の外縁を正確に把握することが重要になるものの、上記した構成の載置部を用いることにより、パターンマッチングによる部品の選択を正確に行うことができる。また、演算により部品の輪郭を特定する手法に比べて迅速に部品の姿勢を特定することができる。

【0014】

請求項５に記載した発明では、また、ピッキングシステムでは、制御部は、撮像された画像に含まれる複数の部品に対してパターンマッチングを施すことにより、ピッキング対象となる複数の部品を同時に選択する。これにより、作業サイクルを短縮することが可能となり、生産性を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】実施形態によるピッキングシステムの構成を模式的に示す図

【図2】載置部の構成を模式的に示す図

【図3】ピッキング対象の部品を選択する処理の流れを示す図

【図4】部品の載置態様を模式的に示す図

【図5】ピッキング対象の部品の姿勢を取得する態様を模式的に示す図

【図6】比較例による載置部の構成および取得画像を模式的に示す図

【図7】実施例による載置部の構成および取得画像を模式的に示す図

【図8】光源、部品、拡散部材、撮像装置の位置関係を模式的に示す図

【発明を実施するための形態】

【0016】

以下、実施形態について図面を参照しながら説明する。図１に示すように、本実施形態のピッキングシステム１は、ピッキング作業を行うロボット２、ロボット２を制御する制御装置３、ピッキング対象となる部品４が載置される載置部５、および載置部５の上方に配置され、当該載置部５を上方から撮像する撮像装置６を備えている。

【0017】

ロボット２は、本実施形態では垂直多関節型のいわゆる６軸ロボットを採用しており、複数のアーム２ａを図示しないモータによって回転駆動することにより、任意の姿勢をとることができるものである。ただし、ロボット２は、いわゆる７軸ロボットや水平多関節型のいわゆる４軸ロボットを採用することもできる。

【0018】

このロボット２は、ピッキング作業つまりは載置部５に載置されている部品４を他の場所に移動させたり組付けたりする作業を行うものであり、その手先側には部品４を例えば把持するためのハンド７が取り付けられている。ただし、ハンド７は、把持ではなく、吸着により部品４を持ち上げる構成のものを用いたりすることができる。

【0019】

制御装置３は、制御部３ａ、記憶部３ｂおよび入出力部３ｃなどを備えている。制御部３ａは、図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を備えたコンピュータにより構成されており、記憶部３ｂに記憶されているプログラムを実行することによりロボット２を制御する。また、制御部３ａは、本実施形態に関連して、撮像装置６の制御、撮像装置６で撮像した画像に対する画像処理、ピッキング対象となる部品４の選択などの処理を実行する。

【0020】

記憶部３ｂは、半導体メモリやハードディスクドライブなどにより構成されており、上記したプログラムを記憶している。また、記憶部３ｂは、本実施形態に関連して、後述するパターンマッチングで利用する形状パターン８なども記憶している。入出力部３ｃは、ロボット２と制御装置３との間の通信、および撮像装置６と制御装置３との間の通信を行うものである。

【0021】

撮像装置６は、例えばＣＣＤ素子やＣＭＯＳ素子などの撮像素子を有するいわゆるカメラであり、載置部５を上方から撮像する。本実施形態の場合、撮像装置６は、部品４が載置される範囲の概ね中央の上方であって、その範囲をほぼ真上から全体的に撮像可能な高さに設置されている。このとき、撮像装置６は、図示しない支持部材によって載置部５の上方に固定されている。そのため、載置部５の上方においては、高さ方向においてロボット２が動作可能な範囲が、撮像装置６によって制限された状態となっている。換言すると、載置部５の上方に配置する部材は、ロボット２の動作範囲を制限する可能性がある。

【0022】

載置部５は、本実施形態では、図２に示すように、光源ユニット１０と、その光源ユニット１０の上方に配置されるトレー１１とによって構成されている。光源ユニット１０は、天井部分が開口した筐体１０ａに光源としてのＬＥＤライト１２を１つ収容している。このとき、筐体１０ａの開口部分には無色透明な板ガラス１０ｂが取り付けられている。そのため、ＬＥＤライト１２からの矢印Ｌにて示す光は、板ガラス１０ｂを通って外部ここでは筐体１０ａの上方に配置されるトレー１１に向かって照射される。このとき、筐体１０ａは、ＬＥＤライト１２からの光が概ね板ガラス１０ｂの全体を照射可能なようにある程度の高さを有している。なお、筐体１０ａの高さは、ＬＥＤライト１２の照射角度に応じて適宜設定することができる。

【0023】

トレー１１は、部品４が載置される底板１１ａと、底板１１ａの周囲に設けられていて底板１１ａを囲う側板１１ｂを備えておりその上方に開口している。このトレー１１は、乳白色の半透明な部材で、底板１１ａおよび側板１１ｂがある程度、例えば１０ｍｍ程度の厚みで形成されている。そのため、ＬＥＤライト１２から照射された光は、トレー１１の内部で拡散しつつ底板１１ａを透過する。すなわち、トレー１１の底板１１ａは、拡散部材として機能する。

【0024】

このトレー１１は、例えばポリエチレン系樹脂材料、ポリプロピレン系樹脂材料、ポリスチレン系樹脂材料などの樹脂材料により形成し、樹脂自体によって光を拡散させる構成とすることができるし、光を拡散させるための粒子等を樹脂材料に混合して形成する構成とすることができる。

【0025】

そして、ピッキングシステム１は、図３に示すように、部品４が載置されたトレー１１を上方から撮像装置６により撮像し（Ｓ１）、撮像した画像に対して画像処理を施し（Ｓ２）、部品４の位置や向きといった姿勢を取得し（Ｓ３）、取得した姿勢に基づいてピッキング対象となる部材を選択し（Ｓ４）、ピッキング作業を行う（Ｓ５）。本実施形態では、ピッキングシステム１は、ステップＳ３において、撮像した画像含まれている複数の部品４の姿勢を同時に取得している。ただし、１つの部品４のピッキングを完了することに次の部品４の姿勢を取得する構成とすることもできる。

【0026】

次に上記したピッキングシステム１の作用について説明する。
図４に示すように、実際の作業では載置部５に複数の部品４が載置されることが想定される。そして、ピッキングシステム１では、部品４を例えば把持するために、部品４の姿勢を取得することが必要になる。以下、ロボット２の制御座標系については、設置面に平行な向きをＸ方向およびＹ方向とし、設置面に垂直な向きをＺ方向として説明する。

【0027】

本実施形態のピッキングシステム１は、上記したように撮像装置６により撮像した画像に対して画像処理を施すことにより、ピッキング対象となる部品４の姿勢を取得している。具体的には、ピッキングシステム１では、図５に示すように、ピッキング対象となる部品４の外形を示す形状パターン８を記憶部３ｂに記憶しており、撮像された全体の画像（Ｇ）に対してその形状パターン８でパターンマッチングを行うことにより、部品４の姿勢を取得している。なお、図５では説明を分かりやすくするために部品４の画像に対して符号「４」を付しており、これは図６および図７も同様である。

【0028】

これにより、画像に含まれる例えば部品４ａに対してパターンマッチングを行うことにより、部品４ａの中心位置（Ｐ０）、中心位置のＸ座標（Ｐｘ）、中心位置のＹ座標（Ｐｙ）、およびＸ軸方向に対する部品４の傾き角度（Ｐα）といった姿勢に関する情報を取得することができる。なお、載置部５は基本的に同じ構成であるため、トレー１１の高さ方向の位置、つまりは、部品４のＺ方向の位置（Ｐｚ）は予め把握することができる。

【0029】

ところで、載置部５の上方に光源を配置すると、上記したようにロボット２の動作範囲を制限してしまう可能性がある。また、部品４の上方から部品４に対して全方位から光を照射しようとすると、光源が大きくなったり高価になったりする可能性がある。さらには、光源の配置を最適化したとしても、建物の照明や日光などの外乱光によって条件が変化してしまうおそれもある。

【0030】

そのため、光源を部品４の背面側に配置することにより、ロボット２の動作範囲を制限することを回避できるとともに設備が高価になることを抑制できると考えられる。しかし、単純に光源を部品４の背面側に配置した場合には、別の問題が発生する可能性がある。すなわち、図６に比較例：単純照射として示すように、光源としてのＬＥＤライト１２からの光が透過するものの拡散することがない構成の場合、つまりは、単純に光を透過するだけの非拡散トレー１１１が載置されている場合、比較例：取得画像として示すようにＬＥＤライト１２からの光によって、撮像された画像（Ｇ）の部材の外縁にハッチングにて模式的に示す陰影（Ｈ）が生じることが想定される。これは、部品４の上方の１か所から光を照射する構成でも同様である。なお、図６では、光源１２の中心をＣ１２として示している。

【0031】

この場合、例えば部品４ｂであればその外縁つまりは輪郭が実際の形状と概ね一致すると考えられる一方、部品４ｄや部品４ｅについては陰影が生じることにより実際の形状とは異なる形状として認識される可能性がある。その結果、ピッキング対象の部品４であるにもかかわらず、パターンマッチングで一致しないことからピッキング対象から除外されてしまうおそれがある。また、部品４の載置面の全体から光を照射可能な大きな光源を用いると、高価になったり構造が複雑化したりするおそれがある。

【0032】

そこで、ピッキングシステム１では、光源と部品４との間に拡散部材を配置することにより、構成が複雑化したり高価になったりすることを抑制している。具体的には、本実施形態では、トレー１１を半透明の材料で形成することにより、トレー１１の内部で光が拡散するように構成している。

【0033】

これにより、図７に実施例：拡散照射として示すように、ＬＥＤライト１２からの光は、トレー１１の底板１１ａ内で拡散することにより底板１１ａ内に全体的に拡散し、底板１１ａの全体から光が上方に均等に透過つまりは照射される。なお、この図７は図４のＶＩＩ－ＶＩＩ線における断面視を示している。その結果、実施例：取得画像として示すように、撮像された画像（Ｇ）の部品４の外縁に陰影が生じることが抑制され、部品４ｃおよび部品４ｄについても部品４ｂと同様に実際の形状と概ね一致する状態の輪郭を認識可能になる。

【0034】

つまり、図８に模式的に示すように、部品４の上方に撮像装置６を配置し、部品４の背面に光源としての例えばＬＥＤライト１２を配置し、ＬＥＤライト１２と部品４との間に例えばトレー１１の底板１１ａのような光を拡散させる拡散部材２０を配置することにより、部材が載置される載置面である底板１１ａを１つの光源からの光によって全体的に照らすことが可能となる。

【0035】

その結果、底板１１ａに載置されて部品４の外縁に陰影が生じることが抑制され、部品４の外形を正確に把握できる画像を撮像することができるようになる。そして、部品４の外形を正確に把握できれば、ピッキング対象となる部品４を正しく選択することができ、ピッキング作業を正しく実施することができる。

【0036】

以上説明したピッキングシステム１によれば、次のような効果を得ることができる。
ピッキングシステム１は、ロボット２と、複数の部品４が無作為に載置される載置部５と、載置部５の上方に配置され、当該載置部５を上方から撮像する撮像装置６と、撮像装置６で撮像した画像に対して画像処理を施してピッキング対象となる部品４を選択し、選択した部品４をピッキングするようにロボット２を制御する制御部３ａとを備えている。

【0037】

そして、載置部５は、部品４の下方に配置されていて部品４に向けて光を照射する光源と、光源と部品４との間に配置されていて当該光源から照射された光を内部で拡散させつつ部品４に向けて透過させる拡散部材２０とを有しており、光源から照射された光を拡散部材２０で拡散しつつ透過することにより撮像装置６とは逆側から部品４に光を照射する。

【0038】

これにより、載置部５に載置された部品４に対して、その部品４が配置される範囲の全体から光を上方に均等に照射することが可能となる。その結果、部品４の外縁に陰影が生じることが抑制され、部品４の輪郭を正確に把握することができる。また、部品４の輪郭を正しく認識できれば、ピッキング対象となる部品４を正しく選択することができ、ピッキング作業を正しく実施することができる。

【0039】

また、ピッキングシステム１では、載置部５は、天井部分が開口した筐体１０ａに光源を収容している光源ユニット１０と、当該光源ユニット１０の上部に配置されるトレー１１と、を備えており、トレー１１は、部品４を載置する底板１１ａが拡散部材２０として機能するように構成されている。

【0040】

ロボット２を用いた作業現場では、ピッキング作業を繰り返し行うことが想定され、その場合には、部品４を載置したりピッキングしたりする際に載置部５が汚れたり損傷したりする恐れがある。そこで、トレー１１を拡散部材２０として用いる載置部５を採用することにより、トレー１１が汚れたり損傷したりした場合にはトレー１１を単に取り換えることでピッキング作業に支障が出ないようにすることができる。また、トレー１１は比較的安価であると考えられるため、さらには、光源ユニット１０が損傷するおそれが低減されるため、ランニングコストの低減を図ることもできる。
また、ピッキングシステム１は、光源を１つ備えている。これにより、低コストで載置部５を構成することができる。

【0041】

また、ピッキングシステム１は、部品４の形状を示す形状パターン８を記憶している記憶部３ｂを備え、制御部３ａは、撮像された画像に対して形状パターン８を用いたパターンマッチングを施すことにより、ピッキング対象となる部品４を選択する。この場合、部品４の外縁を正確に把握することが重要になるものの、上記した構成の載置部５を用いることにより、パターンマッチングによる部品４の選択を正確に行うことができる。

【0042】

また、ピッキングシステム１では、制御部３ａは、撮像された画像に含まれる複数の部品４に対してパターンマッチングを施すことにより、ピッキング対象となる複数の部品４を同時に選択する。これにより、作業サイクルを短縮することが可能となり、生産性を向上させることができる。

【0043】

本発明は上記した、あるいは図面に記載した実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で変形又は拡張することができるとともに、それらの変形や拡張は均等の範囲に含まれる。

【0044】

実施形態では光源としてのＬＥＤライト１２を１つ設ける構成を例示したが、光源を２つ設けたり、４隅に設けたりする構成とすることができる。このとき、光源の数は、費用や載置面の大きさに鑑みて適宜設定することができる。

【0045】

実施形態では光源ユニット１０の上面にトレー１１を載置する構成を例示したが、光源ユニット１０をレールの下部に配置し、そのレール上にトレー１１を移送する構成とすることができる。これにより、部品４の供給をスムーズに行うことができ、作業効率を向上させることができる。また、光源ユニット１０は１つでよく、トレー１１は安価であると考えられるため、ピッキングシステム１やそのランニングコストが高価になることを抑制できる。

【符号の説明】

【0046】

図面中、１はピッキングシステム、２はロボット、３は制御装置、３ａは制御部、３ｂは記憶部、４は部品、５は載置部、６は撮像装置、８は形状パターン、１０は光源ユニット、１１はトレー（拡散部材）、１１ａは底板（拡散部材）、１２はＬＥＤライト（光源）、２０は拡散部材を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】