(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022042866
(43)【公開日】2022-03-15
(54)【発明の名称】ピッキングするための位置情報を取得するシステム及び方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20220308BHJP
G01B 11/26 20060101ALI20220308BHJP
【FI】
G01B11/00 H
G01B11/26 H
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2020148510
(22)【出願日】2020-09-03
(71)【出願人】
【識別番号】592110532
【氏名又は名称】旭日産業株式会社
(74)【代理人】
【識別番号】100096758
【弁理士】
【氏名又は名称】高橋 剛
(74)【代理人】
【識別番号】100114845
【弁理士】
【氏名又は名称】高橋 雅和
(74)【代理人】
【識別番号】100148781
【弁理士】
【氏名又は名称】高橋 友和
(72)【発明者】
【氏名】奈良 岳史
(72)【発明者】
【氏名】大崎 秀哉
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA37
2F065BB22
2F065FF05
2F065PP25
2F065RR05
2F065RR08
(57)【要約】
【課題】ピッキングにおける対象の位置情報を効率的に取得することを目的とする。PETボトルを含む透明容器の自動ピッキングを効率的に可能にすること。
【解決手段】複数のボトルの集合体から各ボトルをピッキングするための3次元位置姿勢情報を取得するシステムであって、集合体における画像取得を行うセンサと、制御手段を備え、当該制御手段が、予め記録されたボトルの飲み口形状から、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることからなる。また、前記集合体への紫外線照射装置をさらに備え、紫外線照射された状態で、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることからなる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数のボトルの集合体から各ボトルをピッキングするための3次元位置姿勢情報を取得するシステムであって、
集合体における画像取得を行うセンサ及びその制御手段を備え、
当該制御手段が、
予め記録されたボトルの飲み口形状から、
取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることを特徴とするシステム。
【請求項2】
請求項1に記載のシステムであって、
前記集合体への紫外線照射装置をさらに備え、
紫外線照射された状態で、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることを特徴とするシステム。
【請求項3】
前記センサは、2台のカメラから構成され、
3次元位置姿勢情報は、前記2台のカメラから取得された画像情報の視差を利用することにより取得されることを特徴とする請求項1又は2に記載のシステム。
【請求項4】
前記飲み口形状が、サポートリングを含むことを特徴とする請求項1から3のいずれか1項に記載のシステム。
【請求項5】
請求項1に記載のシステムが、ピッキング装置及びその制御手段をさらに備え、
当該ピッキング装置の制御手段が、検出されたボトルの飲み口位置及び姿勢の3次元位置姿勢情報を取得し、当該ピッキング装置がボトルをピッキングすることを特徴とするシステム。
【請求項6】
前記ピッキング装置の制御手段が、
想定したボトル以外のボトルを保持したことを検知した場合、
想定したボトルの保持を中止し、当該保持したボトルのピッキングを継続するように指示する手段を備えることを特徴とする請求項5に記載のシステム。
【請求項7】
ボトルの保持手段が吸着手段であり、空気流量変動の検出により想定したボトル以外のボトルを保持したか検知する手段を備えることを特徴とする請求項6に記載のシステム。
【請求項8】
複数のボトルの集合体から各ボトルをピッキングするため位置情報を提供する方法であって、
集合状態における画像取得を行うセンサ及びその制御手段を備えたシステムを使用し、
予め記録されたボトルの飲み口形状から、
取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を把握する行程を含むことを特徴とする方法。
【請求項9】
前記システムが前記集合体への紫外線照射装置をさらに備え、
集合体に対して紫外線照射を行い、
紫外線照射された状態で、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を把握する行程を含むことを特徴とする請求項8に記載の方法。
【請求項10】
前記センサが、2台のカメラから構成され、
3次元位置姿勢情報は、前記カメラから取得された画像情報の視差を利用することにより取得されることを特徴とする請求項8又は9に記載の方法。
【請求項11】
前記飲み口形状が、サポートリングを含むことを特徴とする請求項8から10のいずれか1項に記載の方法。
【請求項12】
紫外線照射により蛍光する素材からなる透明容器を含む集合体から各容器をピッキングするための3次元位置姿勢情報を取得する方法であって、
前記集合体における画像取得を行うセンサと、制御手段と、
紫外線照射手段を備えたシステムを使用し、
紫外線照射された状態で取得された画像から、予め記録された共通部分の位置及び姿勢を検出し、3次元位置姿勢情報を取得する行程を含むことを特徴とする方法。
【請求項13】
前記容器が飲料用ボトルであることを特徴とする請求項12に記載の方法。
【請求項14】
予め記録された共通部分が、飲み口形状であることを特徴とする請求項13に記載の方法。
【請求項15】
前記素材が、PET、ポリカーボネート、またはポレスチレンであること特徴とする請求項12から14のいずれか1項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の集合体からピッキングを行うための位置情報を取得するシステム及び方法に関する。特に、形状や種類の異なる透明PETボトルを、自動でピッキングすることを可能にするシステム及び方法に関する。
【背景技術】
【0002】
従来より、PETボトル等の飲料用ボトルは、製造時の検品において条件を満たさなかったものを一度箱体に集積し、再検品することが行われている。また、リサイクル等において、PETボトル等の飲料用ボトルを一度箱体に集積し、そこからリサイクル装置に流すことも行われている。これら再検品やリサイクル等の工程に載せるためには、集積された集合体から、各ボトルをピッキングしてパレタイズする又はラインに載せる必要がある。
【0003】
一方、ピッキング技術として、3Dセンサ等を利用して、予め記録された形状から位置情報を検索するピッキングシステムが存在する。当該3Dセンサを利用したピッキングシステムでは、相互の位置関係が定まっている2台のカメラで対象を撮影し、得られた映像中の対象物を対応付けして、視差を利用して三角測量を行い位置を判断している。すなわち、取得画像の中から特定の対象物を探索し、見つかった対象物の3次元位置を認識する技術が開示されている(例えば、特許文献1参照)。
【0004】
PETボトル等の飲料用ボトルに関しては、メーカーや商品によって形状が異なっており、ピッキングを行うためには、集合体に存在する各ボトル形状のCADデータ等を事前に認識させる必要がある。しかし、PETボトルはその形状が商品毎に異なっており、さらに集合体には種類や形状の異なる多くのボトルが重なり合う場合もあるため、全ての形状毎に記録させることは効率的でない。
【0005】
さらに、近年の飲料用ボトルの多くがPETボトルであるところ、これらPETボトルは透明であることが多い。このような透明のPETボトルは、透明であることからセンサ画像において対象のエッジ抽出をすることができない。パターン投影(点群投影)法または光切断(強度の強い縞模様投射によるエッジ抽出)法を利用しても、対象を透過してしまうためにエッジ抽出をすることができない。したがって、そもそも形状認識及び位置認識を行うことができないという問題点がある。
【0006】
このため、透明PETボトルが集積された集合体からのピッキングは、最終的に人が行っているという現状がある。一方、事業性の観点や資源の活用の観点から、再検品又はリサイクル前のピッキング工程に、人的資源、時間やコストを浪費することはできない。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで、本発明は、ピッキングにおける対象の位置情報を効率的に取得することを目的とする。さらには、PETボトルを含む透明容器の自動ピッキングを効率的に可能にすることを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明のシステムは、複数のボトルの集合体から各ボトルをピッキングするための3次元位置姿勢情報を取得するシステムであって、集合体における画像取得を行うセンサと、制御手段を備え、当該制御手段が、予め記録されたボトルの飲み口形状から、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることからなる。
【0010】
また、前記集合体への紫外線照射装置をさらに備え、紫外線照射された状態で、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を取得する手段を備えることが好適である。
また、前記センサは、2台のカメラから構成され、3次元位置姿勢情報は、前記2台のカメラから取得された画像情報の視差を利用することにより取得されることが好適である。
また、前記飲み口形状が、サポートリングを含むことが好適である。
【0011】
さらに、ピッキング装置及びその制御手段をさらに備え、当該ピッキング装置の制御手段が、検出されたボトルの飲み口位置及び姿勢の3次元位置姿勢情報を取得し、当該ピッキング装置がボトルをピッキングすることが好適である。
また、前記ピッキング装置の制御手段が、想定したボトル以外のボトルを保持したことを検知した場合、想定したボトルの保持を中止し、当該保持したボトルのピッキングを継続するように指示する手段を備えることが好適である。
また、ボトルの保持手段が吸着手段であり、空気流量変動の検出により想定したボトル以外のボトルを保持したか検知する手段を備えることが好適である。
【0012】
さらに、本発明は、複数のボトルの集合体から各ボトルをピッキングするため位置情報を提供する方法であって、集合状態における画像取得を行うセンサ及びその制御手段を備えたシステムを使用し、予め記録されたボトルの飲み口形状から、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を把握する行程を含むことからなる。
【0013】
また、前記システムが前記集合体への紫外線照射装置をさらに備え、集合体に対して紫外線照射を行い、紫外線照射された状態で、取得された画像内の各ボトルの飲み口位置及び姿勢を検出し、3次元位置姿勢情報を把握する行程を含むことが好適である。
また、前記センサが、2台のカメラから構成され、3次元位置姿勢情報は、前記カメラから取得された画像情報の視差を利用することにより取得されることが好適である。
また、前記飲み口形状が、サポートリングを含むことが好適である。
【0014】
また、本発明は、紫外線照射により蛍光する素材からなる透明容器を含む集合体から各容器をピッキングするための3次元位置姿勢情報を取得する方法であって、前記集合体における画像取得を行うセンサ及びその制御手段と、紫外線照射手段を備えたシステムを使用し、紫外線照射された状態で取得された画像から、予め記録された共通部分の位置及び姿勢を検出し、3次元位置姿勢情報を取得する行程を含むことからなる。
【0015】
また、前記容器が飲料用ボトルであることが好適である。
また、予め記録された共通部分が、飲み口形状であることが好適である。
また、前記素材が、PET、ポリカーボネート、またはポレスチレンであることが好適である。
【0016】
本発明は、飲料ボトルの本体形状が、大きさも形状も商品毎に異なる一方、商品の飲み口部分は形状がほぼ共通しており、かつその方向も明確に特定できることに着目したものである。より具体的には、PETボトルには、様々な容量や形状のものが存在するが、PETボトルの飲み口の形状及び構造は、その容量や種類にかかわらずほぼ統一されており、下部からサポートリング、リードリング、ネジ部、開口部の順で上部へ向けて構成される。そこで、当該飲み口形状を制御手段に記録させ、取得された画像から飲み口のみを検出させたところ、PETボトル全体の形状や大きさに関わらず、またベントスリットの有無など飲み口のネジ構造の差にかかわらず、方向も含めて適切に検出し、3次元位置姿勢情報をロボット等のピッキング装置に伝達させることが可能となった。記録させる飲み口形状情報は、形状を3次元情報として活用できるデータが望ましく、典型的には、CADデータが使用される。
【0017】
本願において、集合状態における画像取得を行うセンサは、制御手段と合わせ画像中の3次元位置を特定できるセンサが利用される。典型的には、2台のカメラを使用して相互の位置関係が定まっている2台のカメラで対象を撮影する。撮影された画像データは、メモリ・CPU・通信インターフェース等公知の構成を含む制御装置に伝達される。制御装置は、伝達された画像データから、予め記録された飲み口形状を検索し、検出された3次元位置姿勢情報をピッキング装置に伝達する。したがって、本発明では、乱雑に様々なボトルが投入された集合体であっても、それぞれの形状を認識する必要なく的確に位置情報を認識できる。
【0018】
特に、本発明では、透明のPETボトルのピッキングを可能にするため、紫外線照射装置を備え、集合体に投射を行う手段及び工程を含む。透明なPETボトルは、可視光透過率が80%以上の高いものがあるが、紫外線(10~400nm、好ましくは蛍光性を考慮して近紫外線(200~400nm))を照射することで青色に蛍光する。そして、蛍光状態においては、カメラが取得したボトル形状のコントラストが上がり、可視光でエッジ抽出が可能であることに着目した。そして、エッジにおけるコントラストの強度が、飲み口、特にサポートリング及びネジ部において強く発現されており、乱雑に様々なボトルが投入された集合体であっても、それぞれの形状を認識する必要なく的確に位置情報を認識できることを発見した。なお、集合体の箱体は、コントラストを十分に発揮すべく、可視光下で非光沢の黒色であることが好適である。
【0019】
ピッキング装置は、取得した位置姿勢情報を基に、各ボトルを保持してピックアップできる装置を使用する。典型的には、多軸を有し3次元移動可能なアームを有するロボットにより構成される。ピッキング時に対象を毀損する又は形状変化を与えないよう、先端に真空グリッパを備え、空気圧による吸着を行うことでピッキングを行い、かつ空気流量又は空気圧の変動を検知可能な手段を備えるロボットであることが好適である。なお、作業空間や使用する機器の制限などにより必要であれば、再姿勢制御やパレタイズのために、チャック等他の把持手段を併用することも可能である。
【0020】
ピックアップ順序としては、集合体中の対象物をピッキングできる限り特に限定されないが、好ましくは、飲み口部の高さ座標(Z座標)が高いものから順にピッキングを行う。この場合、ロボットは飲み口の3次元位置姿勢情報を基にボトル位置を認識するものであるが、乱雑に配置された状態においては、取得想定した飲み口を備えたボトルを取得するために移動中に、別のボトルに接触する又は吸着する可能性がある。このような場合、取得の順番を問わず全てのピッキングを行うことが目的である場合には、取得想定した飲み口のボトルへのアプローチを中止し、当該接触又は吸着したボトルをそのままピッキングすることで効率的なピッキングを行うことができる。具体的には、対象にアプローチを開始した後、その対象へ到達前に吸着又は接触を検知すると、対象へのアプローチを中止し、吸着した対象を、所定の目的地に運搬する。
【0021】
また、本発明では、集合体中に飲み口部分を認識できない、または姿勢的にピッキングすることができない場合に、ロボットが箱を揺動かす又は集合体を攪拌する行程を適宜挿入しても良い。また、空間や使用する器具の制約によっては、ピッキングにおいて、集合体から一度仮置きエリアに配置し、再度把持手段を変えてピッキングして姿勢を整え、最終目的地に所望の姿勢で配置するなど、状況に応じた態様を選択できる。
【0022】
さらに、本発明は、透明でないボトル集合体や透明なPETボトルとの混合体、部分的に共通形状を有する容器の集合体においても適用可能である。さらに、PETボトルだけでなく、紫外線により蛍光可能なポリカーボネート、ポリスチレンのボトルや容器についても適用可能である。
【発明の効果】
【0023】
本発明によれば、乱雑に複数の対象が投入された集合体に対するピッキングにおける対象の位置情報を効率的に取得することが可能になる。特に、PETボトルを含む透明容器の自動ピッキングを効率的に行うことができる。
【図面の簡単な説明】
【0024】
【
図3】蛍光されたPETボトル集合体及びボックスを示す図である。
【
図5】仮置きエリアを含む作業フローを示す図である。
【
図6】想定外PETボトルの取得を検知した場合の作業フローを示す図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の構成を示す概念図である。
図2は、本発明の実施時の配置構成を示す図である。
図3は蛍光されたPETボトル集合体及びボックスを示す図である。
【0026】
図1から
図3に示すように、本発明のピッキングシステム1においては、ボックス2内に多数の透明PETボトル3がバラ積みされて集合体4となっている。この集合体4を含むボックス2に対して、2台のカメラ5,5'が設けられ、画像を取得する。取得された画像は、制御装置6に送られる。制御装置6は、2台の視差を使用して三角測量を行い対象を検出し3次元情報として把握することができる。当該制御装置6に、PETボトル3の飲み口形状19(CAD情報)を記憶させ、取得した画像から、その形状や種類に関わらずPETボトル3の飲み口位置及び姿勢を検出する。
【0027】
集合体4を含むボックス2に対して、紫外線照射装置7が設けられる。紫外線が照射されると、
図3のように透明PETボトル3は肉眼でもわかる程度に蛍光する。なお、写真はグレースケールのため白黒であるが、実際は青色に発光している。特に、凹凸及び曲面の多い飲み口がはっきりと蛍光する。紫外線照射のスイッチや強度の調整は、照明コントローラ8により行われる。蛍光状態であることにより、可視光で制御装置6が透明PETボトル3の飲み口の3次元位置姿勢情報を検出することが可能になっている。
【0028】
制御装置6は、獲得されたPETボトル3の飲み口の3次元位置姿勢情報をロボットコントローラ9に送る。ロボットコントローラ9は取得した3次元位置姿勢情報から、取得すべきPETボトルの取得及び所定位置への運搬を命令する。ロボット10は指示されたPETボトルを取得し、所定位置へ運搬する。
【0029】
ロボット10は、PETボトル3の取得手段として、端部にゴム部材を備えた真空グリッパ11を使用している。当該構成は、PETボトル3の取得の際にボトルの損傷や変形を避けるために有用である。また、ネジ部等、飲み口の凹凸の存在によりグリッパ内を完全に真空状態にすることはできないため、空気を吸引し続けながら吸着を行う。吸着状態となった時には空気の流量が明らかに変化するため、ロボットに流量検出可能なフロースイッチ12を設け、流量に大きな減少が見られたときに吸着したものとしてロボットコントローラ9に伝達する。また、再姿勢調整を容易にするためにエアチャック13が設けられている。
【0030】
配線等が省略された具体的な配置構成は、
図2に詳しく示される。架台14上に、ボックス2及びロボット10が配置される。さらに、架台14を囲むように、フレーム15が設けられている。フレーム15には、外枠フレーム151から、ボックス2の近傍へ一対の内フレーム152が延出している。一対の内フレーム152の端部には、紫外線照射装置7が設けられている。2台の紫外線照射装置7により、ボックス2全体に紫外線を照射することができる。外枠フレーム151の上部には、カメラ保持フレーム153が設けられ、当該カメラ保持フレーム153には2台のカメラ5,5'が設けられ、ボックス2内を各々が画像取得する。また、ボックス2内には、ピッキング及びバレタイズにおける正確性の向上のため、一度取得したPETボトル3を仮置きする仮置きエリア16(
図4参照)を設けている。
【0031】
本実施例において、取得すべきPETボトル3の優先度は、高さ座標(Z座標)が最も高い位置のものから選択される。しかしながら、本発明では透明のPETボトル3が乱雑にバラ積みされた状態でのピッキングを想定している。このため、最も高い位置の飲み口に到達する前に、他のPETボトル3を吸着する可能性がある。この検出は、本実施例のように吸着によるものであれば流量または圧力変化により行うことができるが、接触検知など他の手段を採用しても良い。
【0032】
仮置きエリア16を含む実施例及びその作業フローが、
図4及び
図5に示される。ボックス2内を、2台のカメラ5,5'が認識し、ロボット10が稼働する。ボックス2には、バラ積みされたエリア17と、姿勢を正し持ち直すための仮置きエリア16が設けられている。ロボット10はバラ積みされたエリア17からピッキングしたPETボトル3を、仮置きエリア16に置き、再度ピッキングし、姿勢調整エリア20にて所望の方向に整えつつ最終目的地18に置く。姿勢調整エリア20には1つのPETボトル3のみが所定の方向に存在するため、エアチャック13により飲み口を把持することで、損傷を避けつつ的確なパレタイズが可能となる。なお、仮置きエリア16及び姿勢調整エリア20は、現実の適用における空間及び機器の制限等により必要となる場合を想定したものであって、必須の要素ではない。
【0033】
透明PETボトルの作業フローとしては、作業を開始後、ボックス2内を認識し(S1)、飲み口が存在するか否かを判断する(S2)。飲み口が存在しなければ、作業は終了する(S3)。飲み口が存在する場合、仮置きエリア16に飲み口が存在するか判断し(S4)、存在しなければバラ積みエリア17から高さ位置(Z軸)が最も高い位置にある飲み口のボトルを選択し、ピッキングして(S5)仮置きエリア16に運び(S6)、S1へ戻る。仮置きエリア16にボトルが存在する場合、仮置きエリア16からボトルをピッキングし(S7)、姿勢調整エリア20にてエアチャック13に持ち替えて姿勢を整え(S8)、最終目的地18に配置し(S9)、S1へ戻る。なお、上記行程中において、ボックス2中に飲み口部分を認識できない、または飲み口が存在するが姿勢的にピッキングすることができないことを認識した場合に、ロボット10がボックス10を揺動かす及び/又は集合体を攪拌する行程を例えばS3,S5,S7の前工程として適宜挿入することができる。
【0034】
また、最も高い位置の飲み口に到達する前に、他のPETボトルを吸着した場合の作業フローが、
図6に示される。ピッキングが開始され、対象PETボトル3にアプローチが開始されると(S10)、対象PETボトル到達前に吸着を検知した場合(S11)、対象PETボトルへのアプローチを中止し、吸着PETボトルをそのまま吸着し目的地へ運搬して(S12)終了する。一方、この検知が行われなければ、対象PETボトルを吸着し目的地へ運搬して(S13)終了する。
【0035】
制御装置6に記録させるCADデータであるPETボトル3の飲み口形状19の例が、
図7に示される。PETボトル3においては、首の付け根191の上に、蓋のサポートリング192が設けられる。その上にリードリング193及びねじ部194が設けられ、上端部の開口195が設けられている。本発明では、サポートリング192から上の形状を記憶させて検出する。飲み口の形状情報がサポートリング192を含むことで、検出が容易になると同時に、方向を検出することが可能である。首の付け根191より下部の形状情報についてはPETボトル毎に形状が異なるために除くことが望ましい。
【実施例0036】
サポートリング192から上の飲み口形状19のみを検索対象として記録させた上記システムを使用して、ピッキングの実験を行った。20個の500ml透明PETボトル3を、ボックス2内のバラ積みエリア17に20個ランダムにバラ積みした。ボックス2には、仮置きエリア16が設けられており、ピッキングしたPETボトルを一度仮置きエリア16に運搬し、再度ピッキングし、底へ向けて傾斜を有し方向調整可能なボックスからなる姿勢調整エリア20にて、エアチャック13に持ち替えて姿勢を整え、所望の姿勢で最終目的地18に並べることを目的とした。
【0037】
紫外線照射装置7により近紫外線がボックス2に照射され、透明PETボトル3が蛍光した状態でピッキングを行った。その結果、ロボット10が全ての透明PETボトル3を最終目的地18に所望の姿勢で並ばせることができた。
【0038】
上記結果から、透明のPETボトルであっても、ピッキングにおける対象の位置姿勢情報を効率的に取得し、自動ピッキングを効率的に行うことができることが判明した。また、他形状及び大きさの位置姿勢認識も同一飲み口形状情報にて可能であったことから、本発明は透明でないボトル又は容器が混在していても適用可能である。当該発明は、異なる形状の容器(特に透明容器)の共通部分を利用したピッキングに応用できる。さらに、紫外線照射による蛍光はPET以外にもポリカーボネート、ポリスチレンでも可能なことから、本発明はこれらの位置認識及びピッキングに応用できる。