(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-06
(54)【発明の名称】ピックアンドプレースロボットシステム
(51)【国際特許分類】
B25J 13/08 20060101AFI20230629BHJP
B65G 47/91 20060101ALI20230629BHJP
B07C 5/36 20060101ALI20230629BHJP
【ＦＩ】
B25J13/08 A
B65G47/91 A
B07C5/36
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022560492
(86)(22)【出願日】2021-03-26
(85)【翻訳文提出日】2022-11-28
(86)【国際出願番号】 EP2021057875
(87)【国際公開番号】W WO2021198053
(87)【国際公開日】2021-10-07
(31)【優先権主張番号】20167914.9
(32)【優先日】2020-04-03
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】522390205
【氏名又は名称】バイマー グループ エーエス
【氏名又は名称原語表記】ＢＥＵＭＥＲ ＧＲＯＵＰ Ａ／Ｓ
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】スキューム，ヘンリク・フランク
(72)【発明者】
【氏名】ワーナー， アンドレアス
【テーマコード（参考）】
3C707
3F072
3F079
【Ｆターム（参考）】
3C707AS04
3C707BS05
3C707CS05
3C707CT03
3C707CV05
3C707DS02
3C707DS10
3C707FS01
3C707FT02
3C707FT13
3C707FU01
3C707HS13
3C707HS14
3C707HS27
3C707JS02
3C707KS03
3C707KS04
3C707KS06
3C707KS07
3C707KS09
3C707KT02
3C707KT06
3C707KT18
3C707LT06
3C707LV06
3C707LW12
3C707LW15
3C707MT10
3C707NS02
3F072AA06
3F072GA10
3F072GG06
3F072KA01
3F072KD03
3F079AA01
3F079CA01
3F079CB29
3F079CC01
3F079DA11
(57)【要約】
連続的に移動するばら荷、例えば、立体的なばら荷の物体の流れからランダムな形状及びサイズの物体をピックし、誘導部上に、又は直接仕分け機上に物体を個別にして並べてプレースするためのロボットシステム。ピックアンドプレースロボットは、様々な物体にグリッパを適合させるために、その把持部材（例えば、４つの吸着カップ）の制御可能な把持構成で、グリッパを移動するためのロボットアクチュエータを有する。制御システムは、ピックアンドプレースロボットの位置の上流にある物体の三次元画像を処理し、三次元画像において別個の物体を識別し、三次元画像から決定された識別された別個の物体のパラメータに基づいて、把持対象の物体を選択する。把持対象の選択された物体のサイズ及び形状などに基づいて、グリッパの把持構成が、最適に把持するために把持対象の物体の表面に合うように調整される。その後、ロボットアクチュエータ、例えば、ガントリ型ロボットアクチュエータは、物体を把持する位置までグリッパを移動した後、把持された物体と共にグリッパを目標位置まで移動して目標の向きで物体の把持を解放し、誘導部上に、又は直接仕分け機上に物体をプレースするように制御される。物体をプレースした後の画像は、三次元画像から決定された物体の特性と共に、ロボットシステムのピックアンドプレース性能をオンラインで改善するため（例えば、どの物体をピックするかを選択するため、また物体に合う適切な把持構成を選択するためのアルゴリズムをオンラインで改善するため）の機械学習への入力として使用され得る。
【特許請求の範囲】
【請求項1】
立体的なばら荷などのばら荷（ＢＬＫ）の物体から物体をピックし、目標位置（ＴＡ）において、仕分け機（ＳＲＴ）への誘導部（Ｉ１）上に、又は直接前記仕分け機（ＳＲＴ）上に前記物体をプレースするように構成されたロボットシステムであって、前記システムが、ピックアンドプレースロボットであって、
前記物体を把持するために前記物体の表面と係合するように構成された複数の把持部材（Ｍ１、Ｍ２）を備える制御可能なグリッパ（Ｇ）であって、前記複数の把持部材（Ｍ１、Ｍ２）が制御可能な把持構成に構成される、制御可能なグリッパ（Ｇ）と、
前記制御可能なグリッパ（Ｇ）を移動するように構成された制御可能なロボットアクチュエータ（ＲＡ）と
を備える、ピックアンドプレースロボットと、
前記ピックアンドプレースロボットの位置の上流にある物体の画像（ＩＭ）を提供するように構成されたセンサシステム（ＣＭ）と、
前記画像（ＩＭ）を受信し、制御アルゴリズムを実行するように構成された制御システム（ＣＳ）であって、前記制御アルゴリズムが、
前記画像（ＩＭ）に応じて物体を識別し（Ｉ＿Ｏ）、
前記識別された物体のうちのどの物体を把持するかを選択し（Ｓ＿Ｏ＿Ｇ）、
前記画像（ＩＭ）から決定された前記選択された物体の特性に応じて、前記複数の把持部材（Ｍ１、Ｍ２）の前記把持構成を制御し（Ｄ＿ＧＣＦ）、
前記選択された物体を把持するための位置（ＧＡ）に前記制御可能なグリッパ（Ｇ）を移動するように前記制御可能なロボットアクチュエータ（ＲＡ）を制御し、前記選択された物体（Ｇ＿Ｏ）を把持するように前記制御可能なグリッパ（Ｇ）を制御し、
前記物体（Ｇ＿Ｏ）を移動し、前記目標位置（ＴＡ）において前記物体（Ｇ＿Ｏ）を解放するように前記制御可能なロボットアクチュエータ（ＲＡ）及び前記制御可能なグリッパ（Ｇ）を制御し、
前記目標位置（ＴＡ）にプレースされた後に前記物体の画像を提供する
ように構成される、制御システム（ＣＳ）と
を備える、ロボットシステム。
【請求項2】
前記制御システムが、前記目標位置にプレースされた後の前記物体の前記画像を、前記センサシステムによって提供された物体の前記画像における前記物体と比較するように構成される、請求項１に記載のロボットシステム。
【請求項3】
前記制御システムが、前記目標位置にプレースされた後の前記物体の前記画像と、前記センサシステムによって提供された物体の前記画像における前記物体との間の前記比較に応じて出力を生成するように構成される、請求項１又は２に記載のロボットシステム。
【請求項4】
前記制御システムが、前記目標位置にプレースされた後の複数の物体の画像に応じて、前記ロボットシステムのピックアンドプレース性能を示す出力を提供するように構成される、請求項１～３のいずれか一項に記載のロボットシステム。
【請求項5】
前記制御システムが、前記目標位置にプレースされた後の物体の前記画像を、前記制御アルゴリズムへのフィードバックとして提供するように構成され、前記制御システムが、前記目標位置にプレースされた後の前記物体の複数の画像に基づいて、前記目標位置にプレースされる成功率が高い又は低い物体の前記画像における特性を学習するように構成された学習アルゴリズムを含む、請求項１～４のいずれか一項に記載のロボットシステム。
【請求項6】
前記特性が、向き、寸法、及びタイプ識別情報のうちの１つ又は複数を含む、請求項５に記載のロボットシステム。
【請求項7】
前記制御アルゴリズムが、前記ロボットシステムのピックアンドプレース性能を改善するために、前記制御アルゴリズムの１つ又は複数の部分を訓練するために、前記目標位置にプレースされた後の物体の画像を処理するための人工知能アルゴリズム及び／又はニューラルネットワークアルゴリズムを含む少なくとも１つのアルゴリズム部分を含む、請求項５又は６に記載のロボットシステム。
【請求項8】
前記制御システムが、前記目標位置にプレースされた後の複数の物体の画像に応じて、前記ロボットシステムのピックアンドプレース性能を示す出力を提供するように構成される、請求項１～７のいずれか一項に記載のロボットシステム。
【請求項9】
前記制御システムの前記制御アルゴリズムが、前記画像から決定される複数の入力に応じて、ピック対象の選択された物体を把持するように前記制御可能なロボットアクチュエータ及び前記制御可能なグリッパを制御するように構成され、前記複数の入力が、前記物体の形状、前記物体の水平方向の境界、前記物体のサイズ、前記物体の向き、前記物体の上面曲率、及び前記物体の表面粗さに関する情報のうちの少なくとも１つを含み、前記制御アルゴリズムが、前記物体を把持するために、前記制御可能なロボットアクチュエータ及び前記制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって前記複数の入力を処理し、前記制御アルゴリズムが、前記複数の入力に応じて、前記複数の把持部材の把持構成を制御するように構成され、
前記制御システムが、学習アルゴリズムにしたがって前記複数の入力と共に、プレースされた後の物体の複数の前記画像を処理し、それに応じて、前記物体を把持するために、前記制御可能なロボットアクチュエータ及び前記制御可能なグリッパを制御するための制御パラメータに到達するように、前記所定のアルゴリズムにしたがって前記複数の入力の前記処理に関して前記制御アルゴリズムを変更するように構成される、請求項１～８のいずれか一項に記載のロボットシステム。
【請求項10】
前記制御可能なグリッパによってピックアップされた後の前記物体の高さを感知するように構成されたセンサであって、前記制御システムが、前記センサに接続され、前記物体の前記高さを示す情報を受信し、前記制御システムが、前記物体の前記高さを示す前記情報に応じて、前記目標位置の上方にある高さでの前記物体の把持の解放を制御するように構成される、センサを備える、請求項１～９のいずれか一項に記載のロボットシステム。
【請求項11】
前記制御可能なグリッパが、前記ロボットアクチュエータ上に取り付けられるように構成された基部部分と、
前記基部部分に取り付けられた４本の細長いアームであって、各アームが、
前記アームの遠位端に、又は遠位端付近に構成された吸着カップであって、前記吸着カップが前記物体を把持するために前記物体と係合するように構成される、吸着カップを有し、
前記アームが前記基部部分に対する前記吸着カップの位置に関して制御可能に調整されることを可能にするために、制御可能なアクチュエータによって作動される軸に沿ってスライド可能に構成される、４本の細長いアームと
を備え、
前記４本のアームが、前記４つの吸着カップが様々な把持四角形サイズを形成することを可能にするために、前記基部部分に対して異なる方向にスライド可能に構成される、請求項１～１０のいずれか一項に記載のロボットシステム。
【請求項12】
前記制御アルゴリズムが、前記画像に応じて前記選択された物体を把持するように前記制御可能なグリッパの前記４本のアームの制御のための少なくとも２つの制御可能なアクチュエータを制御するように構成される、請求項１１に記載のロボットシステム。
【請求項13】
前記基部部分が、前記基部部分が回転軸を中心として制御可能な回転を行うことができるように、制御可能な回転要素を介して前記ロボットに取り付けられ、前記基部部分が、更に、前記基部部分が傾斜軸を中心として制御可能な傾斜を行うことができるように、制御可能な傾斜要素を介して前記ロボットアクチュエータに取り付けられる、請求項１１又は１２に記載のロボットシステム。
【請求項14】
前記制御システムが、前記物体を把持するための準備をするために、前記把持部材に所定の把持構成を形成させるために、前記制御可能なグリッパを制御するように構成される、請求項１～１３のいずれか一項に記載のロボットシステム。
【請求項15】
連続的に移動するばら荷の物体の流れとしてばら荷の前記物体を受け入れるように構成され、前記移動するばら荷の物体から前記選択された物体を把持するように構成される、請求項１～１４のいずれか一項に記載されたロボットシステム。
【請求項16】
前記目標位置において、前記物体を個別にして向きを揃えてプレースするように構成される、請求項１～１５のいずれか一項に記載のロボットシステム。
【請求項17】
把持領域（ＧＡ）における物体の画像を提供するように構成された第２のセンサシステムを備える、請求項１～１６のいずれか一項に記載のロボットシステム。
【請求項18】
前記第２のセンサシステムが、前記ピックアンドプレースロボット（ＲＡ）の上又は上方に配置された、カメラなどを備えるセンサを備える、請求項１７に記載のロボットシステム。
【請求項19】
前記制御システム（ＣＳ）が、把持領域（ＧＡ）における物体の前記画像を、前記把持領域（ＧＡ）の上流にある前記位置（ＩＭＡ）における物体の前記画像（ＩＭ）と比較し、前記送りコンベヤ（ＦＣ）の表面に対して１つ又は複数の物体が位置を変えたか否かを検出するように構成される、請求項１７又は１８に記載のロボットシステム。
【請求項20】
前記制御システム（ＣＳ）が、誤動作が検出された場合にアラーム信号を発生させるように構成されるなど、把持領域（ＧＡ）における物体の前記画像に応じて前記ロボットシステムの誤動作を検出するように構成される、請求項１７～１９のいずれか一項に記載のロボットシステム。
【請求項21】
前記送りコンベヤ（ＦＣ）に沿って配置されるように構成された、２～１０個などの複数のピックアンドプレースロボットであって、前記複数のピックアンドプレースロボットのそれぞれが、前記物体を把持するために前記物体の表面と係合するように構成された複数の把持部材（Ｍ１、Ｍ２）を備える制御可能なグリッパ（Ｇ）であって、前記複数の把持部材（Ｍ１、Ｍ２）が制御可能な把持構成に構成される、制御可能なグリッパ（Ｇ）と、
直交型又はガントリ型構成であり、前記制御可能なグリッパ（Ｇ）を移動するように構成された制御可能なロボットアクチュエータ（ＲＡ）と
を備える、複数のピックアンドプレースロボットを備える、請求項１～２０のいずれか一項に記載のロボットシステム。
【請求項22】
様々な形状及びサイズの物体をばら荷で移送するために連続的に動くように構成されたコンベヤ（ＦＣ）と、個別にされた物体を受け入れるように構成された仕分け機（ＳＲＴ）と、
前記コンベヤ（ＦＣ）から物体をピックアップし、前記仕分け機（ＳＲＴ）への誘導部（Ｉ１）上に、又は直接前記仕分け機（ＳＲＴ）上に個別にされた前記物体をプレースするように構成された、請求項１～２４のいずれか一項に記載の第１のロボットシステム（Ｒ１）と
を備える、仕分け機システム。
【請求項23】
前記コンベヤと前記仕分け機とが互いに隣接して配置され、前記コンベヤが前記仕分け機の第１の側に向く第１の側を有し、前記制御可能なロボットアクチュエータが、第１の支持部が前記コンベヤの第２の側の位置にあり、第２の支持部が前記仕分け機の前記第２の側の位置にある状態で配置されたガントリ型又は直交型のロボットアクチュエータを含む、請求項２２に記載の仕分け機システム。
【請求項24】
郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するための請求項１～２１のいずれか一項に記載のロボットシステムの使用法。
【請求項25】
立体的なばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接前記仕分け機上に前記物体をプレースするための方法であって、前記方法が、前記物体を把持するために前記物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを提供すること（Ｐ＿Ｃ＿Ｇ）であって、前記把持部材が制御可能な把持構成に構成される、ことと、
前記制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供すること（Ｐ＿ＲＡ）と、
前記制御可能なロボットアクチュエータの位置の上流にある物体の画像を提供すること（Ｐ＿３ＤＩ）と、
前記画像内の物体を識別するために前記画像を処理すること（Ｉ＿ＤＯ）と、
前記識別された物体のうちのどの物体を把持するかを選択すること（Ｓ＿Ｗ＿Ｏ）と、
前記画像に応じて前記選択された物体の特性を決定すること（Ｄ＿Ｐ＿Ｏ）と、
前記選択された物体の前記特性に応じて、前記把持部材の前記把持構成を制御すること（Ｃ＿Ｇ＿ＣＦ）と、
前記選択された物体を把持するための位置に前記制御可能なグリッパを移動するように前記制御可能なロボットアクチュエータを制御すること（Ｃ＿ＲＡ）と、
前記選択された物体を把持するように前記制御可能なグリッパを制御すること（Ｇ＿Ｏ）と、
前記物体を移動し、前記目標位置において、前記仕分け機への前記誘導部上に、又は直接前記仕分け機上に前記物体を解放するように前記制御可能なロボットアクチュエータ及び前記制御可能なグリッパを制御すること（Ｒ＿Ｏ）と、
前記目標位置における前記物体の画像を提供すること（Ｐ＿Ｉ＿ＴＰ）と
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、ロボットシステムに関する。具体的には、本発明は、物体のばら荷から、特に、物体の立体的なばら荷から物体をピックアップし、目標位置において、特に、仕分け機への誘導部上に、又は直接稼働中の仕分け機上に、物体を、例えば、個別にして向きを揃えて、プレースするためのピックアンドプレースロボットシステムに関する。ロボットシステムは、郵便物、小包、荷物、ソフトバッグ、柔軟な／硬質ではないバッグ、ポリバッグ、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムの処理などに適する。
本発明は、ロボットシステムに関する。具体的には、本発明は、物体のばら荷から、特に、物体の立体的なばら荷から物体をピックアップし、目標位置において、特に、仕分け機への誘導部上に、又は直接稼働中の仕分け機上に、物体を、例えば、個別にして向きを揃えて、プレースするためのピックアンドプレースロボットシステムに関する。ロボットシステムは、郵便物、小包、荷物、ソフトバッグ、柔軟な／硬質ではないバッグ、ポリバッグ、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムの処理などに適する。
【背景技術】
【0002】
発明の背景
郵便物及び／又は小包などを仕分けるなどのための仕分け機は、通常、排出位置まで一定の速度でアイテムを移送するための仕分け機システムを含み、個々の物体上のコードなどにしたがって、物体は、仕分け機に受け入れられて所与の排出位置において仕分け機から排出される。
郵便物及び／又は小包などを仕分けるなどのための仕分け機は、通常、排出位置まで一定の速度でアイテムを移送するための仕分け機システムを含み、個々の物体上のコードなどにしたがって、物体は、仕分け機に受け入れられて所与の排出位置において仕分け機から排出される。
【0003】
物体は、多くの場合、一端において物体を受け入れて、物体を加速し、仕分け機上の空の位置（例えば、空のクロスベルト又は傾斜トレイ要素上）に物体を送達する役割を果たすいくつかの誘導部から仕分け機に誘導される。誘導部は、仕分け機の速度に平行な方向成分が仕分け機の速度に等しいか、少なくとも略等しい速度まで物体を加速する。誘導部には、アイテムが手動で載置されることもあり、つまり、人間が送りコンベヤから、例えば、ばら荷から個々のアイテムをピックアップし、それらを個別にして向きを揃えて誘導部上にプレースする。自動化された誘導部を持たない仕分け機システムでは、仕分け機へのこのような誘導に対処するために、仕分け機に手動で物体を誘導するという、どちらかといえば快適ではないタスクが人手で行われる。
【0004】
ピックアンドプレースロボットシステムは、人間が物体をピックアップし、誘導部上に、又は直接仕分け機上に物体をプレースすることに置き換わり得る。しかしながら、サイズ、形状、及び質感がランダムであり、且つ連続的に動くフィーダ上にばら荷で配置された物体をピックアップするタスクは複雑なタスクである。特に、そのような物体をばら荷からピックしてプレースすることを、高い成功率と同時に、通常の郵便物及び小包用のコンベヤに求められる高いスループットで行うことは、ロボットにとっては複雑なことである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明の概要
特に、本発明の目的は、コンベヤ（例えば、段階的に若しくは連続的に動くコンベヤ）又は円盤から、形状及びサイズがランダムな物体のばら荷から物体をピックしてプレースするための確実で高速なロボットシステムを提供することであると見なすことができる。
特に、本発明の目的は、コンベヤ（例えば、段階的に若しくは連続的に動くコンベヤ）又は円盤から、形状及びサイズがランダムな物体のばら荷から物体をピックしてプレースするための確実で高速なロボットシステムを提供することであると見なすことができる。
【課題を解決するための手段】
【0006】
第１の態様では、本発明は、ばら荷、例えば、立体的なばら荷の物体（例えば、連続的に移動するばら荷の物体の流れ）から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に、物体を、例えば、個別にして及び／又は向きを揃えてプレースするように構成されたロボットシステムであって、本システムが、
ピックアンドプレースロボットであって、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、ピックアンドプレースロボットと、
ピックアンドプレースロボットの位置の上流にある物体の画像を提供するように構成されたセンサシステムと、
前記画像を受信し、制御アルゴリズムを実行するように構成された制御システムであって、制御アルゴリズムが、
前記画像に応じて物体を識別し、
識別された物体のうちのどの物体を把持するかを選択し、
前記画像から決定された選択された物体の特性に応じて、複数の把持部材の把持構成を制御し、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御し、選択された物体を把持するように制御可能なグリッパを制御し、
物体を移動し、目標位置において物体を、例えば、個別にして及び／又は向きを揃えて解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御し、
目標位置における物体の画像を提供するように構成されたセンサシステムなどを備えて、目標位置における物体の画像を提供する
ように構成される、制御システムと
を備える、ロボットシステムを提供する。
ピックアンドプレースロボットであって、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、ピックアンドプレースロボットと、
ピックアンドプレースロボットの位置の上流にある物体の画像を提供するように構成されたセンサシステムと、
前記画像を受信し、制御アルゴリズムを実行するように構成された制御システムであって、制御アルゴリズムが、
前記画像に応じて物体を識別し、
識別された物体のうちのどの物体を把持するかを選択し、
前記画像から決定された選択された物体の特性に応じて、複数の把持部材の把持構成を制御し、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御し、選択された物体を把持するように制御可能なグリッパを制御し、
物体を移動し、目標位置において物体を、例えば、個別にして及び／又は向きを揃えて解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御し、
目標位置における物体の画像を提供するように構成されたセンサシステムなどを備えて、目標位置における物体の画像を提供する
ように構成される、制御システムと
を備える、ロボットシステムを提供する。
【0007】
このようなロボットシステムは、高速で物体をピックアップして、目標位置において物体をプレースするのに高い成功率をもたらし、ひいては高いスループットをもたらすことができることが分かった。ロボットは、比較的単純な標準的な構成要素によって形成され得るが、定義された要素及び定義された制御システムのおかげで、ばら荷が一定の速度で移動していても、ばら荷（例えば、立体的なばら荷）から物体をピックアップすることが可能であることが判明している。このように、ランダムな未知の形状を有することさえある移動する物体の立体的なばら荷から物体をピックすることは、ロボットシステムにとっては効果的に処理するのが極めて複雑なタスクである。
【0008】
本発明は、物体が未知のサイズ及び形状を有し、ばら荷で配置され、ばら荷がピックアンドプレースロボットに到着する際に連続的に移動するセットアップになっていることさえあるという事実にもかかわらず、ピックアンドプレースロボットに到着する前の到来する物体の画像、好ましくは三次元画像の形態の比較的単純な入力を組み合わせることが、適切な処理及び制御アルゴリズムが高いピックアンドプレース成功率をもたらすのを可能にするのに十分であるという洞察に基づくものである。ピック対象の物体を選択することと、ピック対象の物体のサイズ及び形状に合うようにグリッパの構成を調整することとが、ランダムな順序で到着する様々なサイズ及びタイプの多種多様な物体を受け入れることができる適応性の高いロボットシステムを提供することが判明した。更に、タスクを実行する制御アルゴリズムは、好都合なことに、ピックアンドプレース性能を最適化する学習アルゴリズムによって訓練され得、更には、このことはロボットシステムの通常運転中に継続的に実行され得ることが判明している。このことにより、ロボットは、ピックアンドプレースタスクの変化（例えば、これまで処理したことのない新しいタイプの物体）に適応することが可能になる。
【0009】
物体が目標位置において解放された後の物体の画像を提供することにより、いくつかのフィードバックの可能性がもたらされる（例えば、単にピックアンドプレース成功率を出力するだけではなく、ロボットシステムのピックアンドプレース性能の改善を可能にするフィードバックを制御システムに供給することもできる）。
【0010】
更に、物体が目標位置において解放された後の物体の画像を提供することにより、ロボットシステムの性能の即時フィードバックが可能になる。よって、あらゆる誤動作（例えば、グリッパ、画像センサシステム、又はロボットアクチュエータなどのあらゆる誤動作）が迅速に検出され得る。例えば、制御システムは、目標位置における物体の画像がエラーの発生を示す場合、アラーム信号を発生させ得る。このような誤作動に対する迅速な反応は、能力の高いピックアンドプレースシステムにとって、ロボットシステムの起こり得る停止及び修理を可能にするために重要である。
【0011】
特に、ロボットシステムの一実施形態が、到来する物体のばら荷が０．１～１．０ｍ／ｓなどの一定の速度を有し、且つ到来する物体のばら荷が様々なサイズ、形状、及び質感を有する状態で試験された結果、システムのレイアウト並びにピックアンドプレース距離に応じて、１時間あたりに処理される物体の数が最大１５００～２０００個などの速度で９８～１００％の成功率が得られた。試験は、様々なサイズの矩形形状の箱だけではなく、プラスチック袋、ラミネートされた物体などを含む物体を用いて行われた。１時間あたり物体２，０００個超のスループットが達成され得る。
【0012】
ロボットシステムは、郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムなどにロボットシステムが使用されるのを可能にする、ピックアンドプレース性能及び信頼性を提供することが判明している。
【0013】
「ロボットアクチュエータ（ｒｏｂｏｔｉｃ ａｃｔｕａｔｏｒ）」とは、一般に、好ましくは、少なくとも２つの関節又は軸を有し、且つ空間内のある位置から空間内の別の位置にグリッパを移動するように制御可能であるマニピュレータアームを備えた制御可能なデバイスであると理解され、つまり、基本的にロボットアクチュエータは空間内の制御可能な位置にグリッパを移動することができる。
【0014】
「個別にされる（ｓｉｎｇｕｌａｔｅｄ）」とは、物体が互いに距離を置いて配置されることと理解される。好ましくは、物体は、更に、個別にされ、且つ向きを揃えてプレースされ、「向きを揃えて（ｏｒｉｅｎｔｅｄ）」とは、誘導部、コンベヤ、又は仕分け機などの向きと整列させることであると理解される。
【0015】
「物体の画像（ｉｍａｇｅ ｏｆ ｏｂｊｅｃｔｓ）」とは、物体の物理的構成の検知又は測定された表現であると理解される。好ましくは、画像は、適切な処理によって物体のばら荷から単一の物体を識別又は分類するのに十分な詳細度を有する。画像は、（例えば、二次元又は三次元カメラによって取得された）視覚的な画像であってもよい。しかしながら、（例えば、レーザスキャナ又は非視覚的な検知若しくは測定技法などによって画像を提供する他のスキャナ技術を使用する）他の技法も同様に使用されてもよい。
【0016】
一般に、「画像（ｉｍａｇｅ）」及び「画像を提供する（ｐｒｏｖｉｄｉｎｇ ａｎ ｉｍａｇｅ）」とは、そのような画像の任意の表現及び画像の提供の任意の仕方を含むと理解されたい。特に、画像は、デジタル画像データ（例えば、当該技術分野で既知である二次元又は三次元センサ又はセンサシステムを用いて取り込まれたデータ）として提供され得る。
【0017】
「立体的なばら荷（３Ｄ ｂｕｌｋ）」とは、当技術分野で通常使用されるように、すなわち、三次元的に互いに関してランダムに配置された物体のばら荷であると理解され、よって、物体のばら荷は、特に、任意のランダムな構成で互いに重なり合い隣り合って配置された物体を含み得る。
【0018】
本明細書を通して説明されるピックアンドプレースロボットは、物体の立体的なばら荷から物体をピックするのに適するが、ロボットは、物体の平面的なばら荷又は単一の物体からも物体をピックし得ることを理解されたい。
【0019】
以下に、好ましい実施形態及び特徴を説明する。
【0020】
好ましい実施形態では、制御可能なロボットアクチュエータは、ガントリ型のロボットアクチュエータなど、直交型のロボットアクチュエータを含む。このようなタイプのロボットアクチュエータは、その主水平方向延長軸が、連続的に移動する物体の流れを移送する送りコンベヤ上の把持領域から延び、また関連する仕分け機又は仕分け機への誘導部上の目標領域内の目標位置まで延びる状態で配置するのに適することが分かっている。直交型（例えば、ガントリ型）のロボットアクチュエータは、好ましくは、制御可能なグリッパを三次元座標系（Ｘ，Ｙ，Ｚ）で移動するように構成され、これにより制限された空間内でグリッパをナビゲートすることが可能になる。好ましくは、グリッパの角度も制御することができ、これにより少なくとも４自由度を有する。好ましくは、ロボットアクチュエータは、制限された空間内で所定の軌道に沿ってグリッパを移動するように制御可能であり、例えば、これにより、２つの高い物体の間の空間において物体を把持するようにグリッパをナビゲートすることが可能になる。最も好ましくは、グリッパは、ナビゲーションを更に改善するために、ロール運動、ピッチ運動、及びヨー運動するように制御され得る。このようなグリッパは、物体の立体的なばら荷から物体を効果的に把持するのに適すること判明している。
【0021】
いくつかの実施形態では、ロボットシステムは、目標位置において、仕分け機への誘導部（例えば、通常の誘導部の構成要素又は仕分け機への誘導部としての役割を果たす単純なバンドコンベヤ上に）上に物体を個別にして及び／又は向きを揃えてプレースするように構成される。いくつかの実施形態では、制御可能なロボットアクチュエータは、物体がピックアップされた後、連続的に動く仕分け機の方向に物体を加速し、目標位置において、仕分け機の速度で、又は仕分け機の速度と略同じ速度で、直接仕分け機上（例えば、クロスベルト上若しくは傾斜トレイ上に）に物体を個別にして及び／又は向きを揃えてプレースするように構成される。
【0022】
センサシステムは、原理的には、画像、最も好ましくは三次元画像を提供するために処理され得る物理特性データを検知又は測定し得る任意のタイプのセンサ技術に基づき得る。センサシステムは、好ましくは、画像における物体の輪郭を正確に識別することを可能にするために、少なくとも二次元画像（例えば、通常の二次元の白黒、グレートーン、又はカラーの写真）を高解像度で提供するように構成される。好ましくは、センサシステムは、三次元画像を、例えば、付加的な高さ情報を伴う二次元画像の形態で提供するように構成される。高解像度（例えば、１～２ｍｍの精度）の三次元画像情報によって、別個の物体及び物体の更なる特性又は特徴の識別を可能にする画像処理によって特徴を識別する可能性を高くすることができる。更に、画像における高さ情報は、物体を把持するための位置まで計画された経路にしたがってグリッパを移動するロボットアクチュエータの正確な制御のために好ましい。三次元画像は、三次元ラインカメラシステム（二次元ラインカメラに動きを組み合わせたもの）、飛行時間型三次元カメラ、及びステレオ三次元カメラなどのうちの少なくとも１つである三次元カメラによって提供され得る。通常の二次元カメラの後で、二次元画像に基づいて高さ情報を生成し、ひいては実質的に三次元画像を生成する画像処理アルゴリズムなど、他の技術が使用されてもよい。
【0023】
好ましい実施形態では、センサシステムは、移動する物体の流れの上方の固定位置に配置された二次元又は三次元カメラを備える。好ましくは、センサシステムは、ピックアンドプレースロボットの位置の上流にあり、ピックアンドプレースロボットから離れた固定領域をカバーする静止画像を提供するように構成される。
【0024】
画像に基づいて、制御アルゴリズムは、物体を識別し、且つ物体を分類し得る。好ましくは、物体を識別するステップは、物体のばら荷における単一の物体どうしを区別するために画像を解析し、これにより、ばら荷における単一の物体を、最初にその物体をピックするかを決定するための基礎として識別することを含む。更に、物体は、画像の解析に基づいて、様々なパラメータに関して分類され得る。例えば、各識別された物体について、重心が求められてもよく、重心は、可能な限り高い成功率で物体を把持するためにどこにグリッパの把持部材を配置するかに影響する。
【0025】
いくつかの実施形態では、センサが、制御可能なグリッパによって物体がピックアップされた後の物体の高さを検知するように構成される。特に、制御システムは、前記センサに接続されて、物体の高さを示す情報を受信し、制御システムが、物体の高さを示す前記情報に応じて、目標位置の上方のある高さで物体の把持を解放するように制御可能なグリッパ及び制御可能なロボットアクチュエータを制御するように構成される。これにより、ロボットシステムは、目標位置の上方の高すぎる位置から物体を落としたり、予想外の高さの物体を誘導部又は仕分け機上に押し付けたりすることなく、未知の高さを有する小さい物体を目標位置上に優しくプレースすることができる。例えば、これにより、このように物体の高さが未知のときに、積み上がった物体から物体をピックするという課題が送りコンベヤ又は円盤の上方のピッキング高さに基づいて解決される。また更には、高さセンサはグリッパの損傷を防ぐ。
【0026】
目標位置にプレースされた後の物体の画像を提供するように構成されたセンサは、初期画像を提供するセンサシステムについて既に説明したように、物体の画像を提供し得る任意のタイプの技術であり得る。例えば、このようなセンサは、ピックアンドプレースロボット上に、又はピックアンドプレースロボットから隔てられた固定位置に配置された二次元又は三次元カメラを備えてもよい。これにより、目標位置に対して物体がどのようにプレースされているかの評価、ひいては総合的なピックアンドプレース性能の評価が可能になる。更に、初期画像、すなわち特定の物体がピックアップされる前の測定の物体を含む画像の部分と比較することによって、物体の向き及び他の特性又は特徴が比較され得る。これは、ピックアンドプレース性能を改善するために、制御システムにおけるアルゴリズムへの機械学習フィードバック、又は標準的なフィードバックソリューションで使用され得る。例えば、正しい仕方でピックしてプレースすることが難しいことが分かった特徴若しくは特性を有する把持している物体を単純に放棄するため、又は高い成功率をもたらす特徴若しくは特性を有する物体を主に選択するためである。これは、連続的に到来する物体の流れを伴うシステムに関連するが、他のシステムでは、フィーダを段階的に制御して、すべての物体がロボットによってピックされた後にフィーダが物体の別のばら荷をロボットによるピックのために移動することを確保するために、ピック領域にある物体を監視するためのセンサが配置される。
【0027】
特に、制御システムは、目標位置にプレースされた後の物体の画像を、センサシステムによって提供された物体の画像における物体と比較するように構成され得る。更に、制御システムは、目標位置に対する物体の少なくとも位置を決定するために（例えば、目標位置に対する物体の位置及び向きを決定するために）、目標位置にプレースされた後の物体の前記画像を処理するように構成され得る。制御システムは、目標位置に対して物体の少なくとも位置を比較するように、且つ物体の位置が目標位置から所定の閾値を超えて逸脱しているか否かを判定するように構成され得る（例えば、制御システムは、物体の位置が目標位置から所定の閾値を超えて逸脱しているか否かの前記判定に応じて出力を生成するように構成され得る）。特に、制御システムは、目標位置にプレースされた後の複数の物体の画像に応じて、ロボットシステムのピックアンドプレース性能を示す出力を提供するように構成され得る。よって、このような出力により、ユーザは、ピックアンドプレース性能を継続的に評価し得る（例えば、出力は、ピックアンドプレース性能が低下した場合にアラームを発生させることにより、エラー（例えば、ロボットシステムの構成要素の故障）を示すために使用され得る）。
【0028】
いくつかの実施形態では、制御システムは、目標位置にプレースされた後の物体の前記画像を制御アルゴリズム、好ましくは機械学習アルゴリズムへのフィードバックとして提供するように構成される。特に、制御システムは、目標位置にプレースされた後の物体の前記画像を、前記画像に応じて識別された物体のうちのどの物体を把持するかを選択する制御アルゴリズムの一部分へのフィードバックとして提供するように構成され得る。追加的又は代替的に、制御システムは、目標位置にプレースされた後の物体の複数の画像に基づいて、目標位置にプレースされる成功率の高い又は低い物体の画像における特性を学習し、目標位置にプレースされる成功率の高い又は低い物体と同様の特性を有する識別された物体に応じて、前記画像に応じて識別された物体のうちのどの物体を把持するかを選択するように構成された学習アルゴリズムを含み得る。特に、制御システムは、目標位置にプレースされる成功率の高い識別された物体を把持するように選択するようにプログラムされ得、更に、目標位置にプレースされる成功率の低い物体と同様の特性を有する識別された物体を把持することを選択することを回避するようにプログラムされ得る。特性は、向き、寸法、及びタイプの識別のうちの１つ又は複数を含み得る。制御アルゴリズムは、ロボットシステムのピックアンドプレース性能を改善するために、画像中の識別された物体のうちのどの物体を把持するかの選択において制御アルゴリズムを訓練するために、目標位置にプレースされた後の物体の画像を処理するための人工知能アルゴリズム及び／若しくはニューラルネットワークアルゴリズム又は同様の適応的アルゴリズムを含む少なくとも１つのアルゴリズム部分を含み得る。
【0029】
好ましい実施形態では、制御可能なグリッパは、
ロボットアクチュエータ上に取り付けられるように構成された基部部分と、
基部部分に取り付けられた少なくとも２本のアームであって、各アームが、
アームの遠位端に、又は遠位端付近に構成された把持部材であって、把持部材が物体を把持するために物体と係合するように構成される、把持部材を有し、
アームが基部部分に対する把持部材の位置に関して制御可能に調整されることを可能にするために、制御可能なアクチュエータによって作動される基部部分に対して、その長さに沿ってスライド可能に構成される、少なくとも２本のアームと
を備え、
把持部材が少なくともサイズに関して様々な把持構成を形成することを可能にするために、少なくとも２本のアームが基部部分に対して異なる方向にスライド可能に構成される。
ロボットアクチュエータ上に取り付けられるように構成された基部部分と、
基部部分に取り付けられた少なくとも２本のアームであって、各アームが、
アームの遠位端に、又は遠位端付近に構成された把持部材であって、把持部材が物体を把持するために物体と係合するように構成される、把持部材を有し、
アームが基部部分に対する把持部材の位置に関して制御可能に調整されることを可能にするために、制御可能なアクチュエータによって作動される基部部分に対して、その長さに沿ってスライド可能に構成される、少なくとも２本のアームと
を備え、
把持部材が少なくともサイズに関して様々な把持構成を形成することを可能にするために、少なくとも２本のアームが基部部分に対して異なる方向にスライド可能に構成される。
【0030】
このようなグリッパは、サイズ及び形状の異なる物体を把持することに関して適応性が高く、電気式、空気圧式、又は油圧式アクチュエータにより、小さい物体を把持するための小さくコンパクトなバージョンから、大きい物体を把持するためにアームを完全に伸展したより大きい把持構成に容易に移行され得る。特に、基部部分はコンパクトな寸法で形成され得、スライド可能なアーム構成を介して、例えば、４本のアームは、アームを完全に伸展した状態で大きい物体を把持することができる大きい把持構成を提供することが依然として可能でありながら、畳まれた状態では非常にコンパクトに形成され得る。寸法がコンパクトであることにより、グリッパは、物体のばら荷だけでなく立体的なばら荷内をナビゲートして、より大きく高い２つの物体の間にある小さい物体を把持することができる。
【0031】
好ましい実施形態では、制御可能なグリッパは、基部部分に取り付けられた４本の細長いアームであって、４本のアームが、４つの把持部材が様々な把持四角形サイズを形成することを可能にするために、基部部分に対して異なる方向にスライド可能に構成される、４本の細長いアームを備える。好ましくは、各アームは、その遠位端の上又は近くに吸着カップが取り付けられ、例えば、アームの長さに沿った軸に平行な平面を形成する表面上で把持できるように、互い対してそのように配置される。制御可能な真空システムは、好ましくは、吸着カップに真空を適用するために接続され、制御システムは、物体を把持するために１つ又は複数の吸着カップに真空を適用するタイミングを制御するため、また物体を解放するために真空を中断するタイミングを制御するために、制御可能な真空システムを制御するように構成される。
【0032】
制御システムは、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームのそれぞれについて個別の制御可能なアクチュエータを制御するように構成され得る。或いは、制御システムは、すべてのアームに共通する単一の制御可能なアクチュエータを制御するように構成され得る。また更に、制御アルゴリズムは、１組の２本のアームの位置を制御するための１つのアクチュエータアーム及び別の１組の２本のアームの位置を制御するための別のアクチュエータアームなど、前記画像に応じて選択された物体を把持するために、制御可能なグリッパの複数のアームの制御のための少なくとも２つの制御可能なアクチュエータを制御するように構成され得る。
【0033】
好ましい実施形態では、基部部分は、基部部分が回転軸を中心として制御可能な回転を行うことができるように、制御可能な回転要素を介してロボットに回転可能に取り付けられる。好ましくは、基部部分は、更に、基部部分が前記回転軸に直交する傾斜軸を中心として制御可能な傾斜を行うことができるように、制御可能な傾斜要素を介してロボットアクチュエータに取り付けられる。好ましくは、制御アルゴリズムは、前記画像に応じて選択された物体を把持するために、制御可能なグリッパの基部部分の前記制御可能な回転及び前記制御可能な傾斜を制御するように構成される。
【0034】
具体的な実施形態では、制御可能なグリッパの制御可能なアクチュエータは、ケーブル接続部を介して加えられる回転によってアームのうちの少なくとも１つを作動させるように接続された制御可能な電気モータを備える。特に、制御可能な電気モータは、基部部分とロボットアクチュエータとを接続する回転要素の上方の位置に取り付けられる。特に、制御可能な電気モータは、基部部分とロボットアクチュエータとを接続する傾斜要素の上方の位置に取り付けられる。
【0035】
吸着カップに代えて、又は加えて、制御可能なグリッパは、１つ又は複数の他のタイプの把持部材（例えば、物体の側面と接触して物体を把持するように構成された指タイプの要素）を有し得る。
【0036】
重量のある物体のために追加の把持力を与えるために、制御可能なグリッパは、物体を把持するための少なくとも１つの吸着カップを有してもよく、前記少なくとも１つの吸着カップは、基部部分の中央部分など、基部部分上の固定位置に取り付けられる。
【0037】
把持構成に関する適応性を高めるために、制御可能なグリッパの１つ又は複数のアームが、伸縮自在の要素を有する。
【0038】
制御システムは、物体を把持するための準備をするために把持部材に所定の把持構成を形成させるように、制御可能なグリッパを制御するように構成され得る。特に、制御システムは、制御可能なロボットアクチュエータが物体を把持するための所定の位置にグリッパを移動すると共に、把持部材に所定の把持構成を取らせるように、制御可能なグリッパを制御するように構成され得る。このことは、特に、小さい把持構成から大きい把持構成に、又は大きい把持構成から小さい把持構成に変化する場合に、把持構成の調整のための時間の節約を助ける。
【0039】
ロボットシステムは、好ましくは、前記画像から決定された複数の入力に応じて、ピック対象の選択された物体を把持するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成された制御システムを有する。特に、前記複数の入力は、物体の形状、物体の水平方向の境界、物体のサイズ、物体の向き、物体の上面曲率、及び物体の表面粗さに関する情報のうちの１つ、好ましくは複数を含み、制御アルゴリズムは、物体を把持するために制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって複数の入力を処理する。特に、複数の入力は、物体の形状、物体の水平方向の境界、物体のサイズ、物体の向き、物体の上面曲率、及び物体の表面粗さに関する情報のうちの複数（すべてなど）を含む。好ましくは、制御アルゴリズムは、前記複数の入力に応じて、複数の把持部材の把持構成を制御するように構成される。特に、制御アルゴリズムは、把持対象の物体の表面の検出された傾斜に応じて、制御可能なグリッパの傾斜を制御するように構成され得る。特に、制御アルゴリズムは、把持対象の物体の検出された向きに応じて、制御可能なロボットアクチュエータに対する制御可能なグリッパの回転を制御するように構成され得る。
【0040】
最も好ましくは、前記複数の入力は、物体の上面に関する情報を含む。このことが特に好ましいのは、把持部材が吸着カップの場合である。特に、物体の上面に関する前記情報は、皺のある領域の位置、平坦な表面部分の場所、上面の傾斜の角度及び向きのうちの１つ又は複数に関する情報を含む。特に、制御アルゴリズムは、物体の表面に皺のある領域にある物体と係合するように把持部材を配置することを回避するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成され得る。特に、制御アルゴリズムは、物体の平坦な表面を有する領域に少なくとも１つの把持部材を配置するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成され得る。物体が矩形形状、又は少なくとも矩形の上面を有すると検出された場合、制御アルゴリズムは、物体の上面の３つの角部、好ましくは４つの角部すべてに近接し把持部材（例えば、吸着カップ）を配置するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成され得る。
【0041】
制御システムは、好ましくは、ピックアンドプレースの成功率を改善するために、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成される。特に、制御アルゴリズムは、物体を把持するために制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって前記複数の入力の処理に関して前記フィードバックを提供し得る。特に、制御システムは、学習アルゴリズムにしたがって、前記複数の入力と共に、プレースされた後の物体の複数の前記画像を処理し、それに応じて、物体を把持するために、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって前記複数の入力の処理に関して制御アルゴリズムを変更するように構成され得る。
【0042】
好ましい実施形態では、制御アルゴリズムは、
前記画像を解析し、識別された複数の物体を示す複数の異なるパラメータを抽出し、
所定のスコアアルゴリズムにしたがって、前記複数の異なるパラメータに応じて識別された複数の物体のそれぞれについてスコア値を計算し、
前記スコア値を比較し、前記比較の結果に応じて把持対象の物体を選択する
ように構成される物体選択アルゴリズムにしたがって、識別された物体のうちのどの物体を把持するかを選択するように構成される。
前記画像を解析し、識別された複数の物体を示す複数の異なるパラメータを抽出し、
所定のスコアアルゴリズムにしたがって、前記複数の異なるパラメータに応じて識別された複数の物体のそれぞれについてスコア値を計算し、
前記スコア値を比較し、前記比較の結果に応じて把持対象の物体を選択する
ように構成される物体選択アルゴリズムにしたがって、識別された物体のうちのどの物体を把持するかを選択するように構成される。
【0043】
特に、識別された複数の物体のそれぞれを示す複数の異なるパラメータは、物体とグリッパの現在位置との間の距離、物体と物体をプレースする目標位置との間の距離、物体の上面の質感、物体の上面の曲率、物体の上面からの傾斜、周囲の物体の高さと比較した物体の上面の高さ、物体の寸法、物体のタイプ、物体の形状、及び物体をカバーする前記画像の一部の品質のうちの少なくとも１つを含む。具体的には、制御アルゴリズムは、各物体について、所定のテーブルにしたがって、前記複数の異なるパラメータのそれぞれについてパラメータ値を割り当てるように構成され得、制御アルゴリズムは、割り当てられたパラメータ値に応じて、各物体についての総合スコア値を計算するように構成される。次いで、把持対象の物体は、識別された物体のうちの最良の総スコア値を有する物体として選択される。
【0044】
制御システムは、好ましくは、識別された複数の物体のうちのどの物体を把持するかを決定するステップに関して、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成される。特に、制御システムは、ピックアンドプレース性能を改善するために、目標位置にプレースされた後の物体の複数の画像に基づいて、前記所定のスコアアルゴリズムにおける１つ又は複数のパラメータを変更するように構成された学習アルゴリズムを含み得る。学習アルゴリズムは、具体的には、ピックアンドプレース性能を改善するために、前記所定のテーブルにしたがって、前記複数の異なるパラメータのそれぞれについて前記パラメータ値のうちの１つ又は複数を変更するように構成され得る。具体的には、学習アルゴリズムは、ピックアンドプレース性能を改善するために、所定のスコアアルゴリズムにおける１つ又は複数の重み付け係数を変更するように構成され得る。学習アルゴリズムは、人工知能アルゴリズム及び／若しくはニューラルネットワーク又は別のタイプの機械学習アルゴリズムを含み得る。
【0045】
いくつかの実施形態では、ロボットシステムは、ピックアンドプレースロボットの上又は上方に配置された、カメラなどを備える第２のセンサシステムであって、第２のセンサシステムが把持領域における物体の画像を提供するように構成される、第２のセンサシステムを備える。特に、制御システムは、把持領域における物体の画像を、把持領域の上流にある位置における物体の画像と比較し、送りコンベヤの表面に対して１つ又は複数の物体が位置を変えたか否かを検出するように構成される。これにより、ロボットは、上流の画像が提供された位置からロボットの把持領域までの途中で、１つ又は複数の物体が動いた（例えば、１つの物体がばら荷から落下した）場合に反応することができる。このように、いくつかの場合では、上流の画像に基づいてピック対象に選択された物体がばら荷における変化に起因してピックするのが困難になるため、ロボットは、ピック戦略を変更する必要があり得る。よって、新しい画像に基づいて、制御システムは、把持領域における物体の画像に基づいて、別のピック対象の物体を選択するように構成され得る。他の場合では、物体のばら荷にはわずかな変化しか発生せず（例えば、把持対象の物体の上面が、上流の画像における位置と比較して角度を変えた）、その場合、制御システムは、これに応じて、把持領域における画像に基づいて物体を把持するようにロボットアクチュエータ及びグリッパを適合させ得る。
【0046】
いくつかの実施形態では、ロボットシステムは、送りコンベヤに沿って配置されるように構成された２～１０個などの複数のピックアンドプレースロボットであって、複数のピックアンドプレースロボットのそれぞれが、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
直交型又はガントリ型構成であり、制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、複数のピックアンドプレースロボットを備える。
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
直交型又はガントリ型構成であり、制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、複数のピックアンドプレースロボットを備える。
【0047】
このような一連のピックアンドプレースロボットは、単一のロボットと比較して高い能力を提供し得る。特に、複数のピックアンドプレースロボットは同一であり、それぞれが制御システムを有するだけでなく、上流の画像を提供する別個のセンサ、また場合によっては把持領域における画像を提供するセンサも有し得る。しかしながら、複数のピックアンドプレースロボットのうちの複数又は一部は、同じ上流の画像のデータを特に受信し得る。具体的には、この上流の画像は、次いで、ばら荷の最初の上流の画像からの物体のばら荷の変化を識別し、且つどの物体をピックするか及び／又はピック対象として選択された物体をどのように把持するかについて変更を必要とし得る変化が生じた場合に適宜対応するために、各ピックアンドプレースロボット若しくはロボットのグループのすぐ上流で提供された画像と比較され得る、又は各ピックアンドプレースロボットの把持領域において提供された画像と比較され得る。
【0048】
第２の態様では、本発明は、仕分け機システムであって、
連続的に動くように構成されたコンベヤなど、様々な形状及びサイズの物体をばら荷で移送するように構成されたコンベヤと、
物体を受け入れるように構成された仕分け機と、
コンベヤから物体をピックアップし、仕分け機への誘導部上に、又は直接仕分け機上に物体を（例えば、個別にして向きを揃えて）プレースするように構成された、第１の態様による第１のロボットシステムと
を備える、仕分け機システムを提供する。
連続的に動くように構成されたコンベヤなど、様々な形状及びサイズの物体をばら荷で移送するように構成されたコンベヤと、
物体を受け入れるように構成された仕分け機と、
コンベヤから物体をピックアップし、仕分け機への誘導部上に、又は直接仕分け機上に物体を（例えば、個別にして向きを揃えて）プレースするように構成された、第１の態様による第１のロボットシステムと
を備える、仕分け機システムを提供する。
【0049】
第１のロボットシステムは、仕分け機が一定の速度で動くときに直接仕分け機上に、又は仕分け機への誘導部（例えば、仕分け機の移動方向に対して直角方向又は別の角度方向に仕分け機上へと物体を移動するように構成されたコンベヤバンドの形態の誘導部）上に物体をプレースするように構成され得る。
【0050】
いくつかの実施形態では、コンベヤと仕分け機とは互いに隣接して配置され、コンベヤは仕分け機の第１の側に向く第１の側を有し、制御可能なロボットアクチュエータは、（例えば、床の上の）第１の支持部がコンベヤの第２の側の位置にあり、（例えば、床の上の）第２の支持部が仕分け機の第２の側の位置にある状態で配置されたガントリ型又は直交型のロボットアクチュエータを含む。この構成により、直交型又はガントリ型のロボットアクチュエータは、目標位置において、直接仕分け機上にピックした物体をプレースすることができる。
【0051】
いくつかの実施形態では、第１の態様による第２のロボットシステムは、第１のロボットシステムと比較してコンベヤの下流に配置される。このことにより、処理能力を高めることができる。更なるロボットシステムを第２のロボットシステムの下流に追加して、更に能力を高めてもよい。このような複数のロボットシステムのいくつかは、構成要素（例えば、センサシステム及び制御システムの少なくとも一部）を共有し得る。
【0052】
いくつかの実施形態では、仕分け機システムは、送りコンベヤに沿って配置されるように構成された２～１０個などの複数のピックアンドプレースロボットであって、複数のピックアンドプレースロボットのそれぞれが、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
直交型又はガントリ型構成であり、制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、複数のピックアンドプレースロボットを備える。具体的には、ピックアンドプレースロボットは、第２のコンベヤ（例えば、送りコンベヤに平行なコンベヤ）上に物体を個別にしてプレースするように構成されてもよく、第２のコンベヤは、１つ又は複数の誘導部に物体を移送するように構成され、そして１つ又は複数の誘導部は、物体を仕分け機上に載置するように構成される。
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
直交型又はガントリ型構成であり、制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、複数のピックアンドプレースロボットを備える。具体的には、ピックアンドプレースロボットは、第２のコンベヤ（例えば、送りコンベヤに平行なコンベヤ）上に物体を個別にしてプレースするように構成されてもよく、第２のコンベヤは、１つ又は複数の誘導部に物体を移送するように構成され、そして１つ又は複数の誘導部は、物体を仕分け機上に載置するように構成される。
【0053】
第３の態様では、本発明は、郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するための第１の態様によるロボットシステムの使用法を提供する。
【0054】
第３の態様では、本発明は、郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するための第２の態様による仕分け機システムの使用法を提供する。
【0055】
第４の態様では、本発明は、ばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体を（例えば、個別にして及び／又は向きを揃えて）プレースするための方法であって、本方法が、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを備えるロボットを提供することであって、把持部材が制御可能な把持構成に構成される、ことと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供することと、
ロボットの位置の上流にある移動する物体の流れの物体の画像を提供することと、
画像内の物体を識別するために画像を処理することと、
ステップａ）識別された物体のうちのどの物体を把持するかを選択することと、
画像に応じて選択された物体の特性を決定することと、
ステップｂ）選択された物体の前記特性に応じて、把持部材の把持構成を制御することと、
ステップｃ）選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御することと、
選択された物体を把持するように制御可能なグリッパを制御することと、
物体を移動し、目標位置において物体を（例えば、個別にして及び／又は向きを揃えて）解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御することと、
目標位置における物体の画像を提供することと
を含む、方法が提供される。
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを備えるロボットを提供することであって、把持部材が制御可能な把持構成に構成される、ことと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供することと、
ロボットの位置の上流にある移動する物体の流れの物体の画像を提供することと、
画像内の物体を識別するために画像を処理することと、
ステップａ）識別された物体のうちのどの物体を把持するかを選択することと、
画像に応じて選択された物体の特性を決定することと、
ステップｂ）選択された物体の前記特性に応じて、把持部材の把持構成を制御することと、
ステップｃ）選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御することと、
選択された物体を把持するように制御可能なグリッパを制御することと、
物体を移動し、目標位置において物体を（例えば、個別にして及び／又は向きを揃えて）解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御することと、
目標位置における物体の画像を提供することと
を含む、方法が提供される。
【0056】
いくつかの実施形態では、本方法は、移動する物体のばら荷（例えば、連続的に移動するばら荷の物体の流れ）から物体を把持することを含む。他の実施形態では、本方法は、ロボットが、静止した物体のばら荷を空にした後に、別の物体のばら荷を受け入れるなど、静止した物体のばら荷から物体を把持することを含む。
【0057】
いくつかの実施形態では、センサが、（例えば、物体をブレースした後の目標位置における画像（例えば、二次元又は三次元写真）を提供することによって）目標位置にプレースされた後の物体の位置に関する情報を提供する。特に、本方法は、ロボットシステムのピックアンドプレース性能を改善するために、ステップａ）、ｂ）及びｃ）のうちの１つ又は複数を変更するように、プレースされた後の物体の位置に関する前記情報をフィードバックすることを更に含み得る。特に、本方法は、目標位置にプレースされた後の物体の位置に関する情報に関する到来するデータに対して、学習アルゴリズムを継続的に適用することを含み得る。特に、画像から物体に関して決定された特性又は特徴は、学習アルゴリズムにおいて、ロボットシステムのピックアンドプレース性能を改善するために、ステップａ）、ｂ）及びｃ）のうちの１つ又は複数を変更するために使用される。
【0058】
本発明の個々の態様は、他の態様のいずれかとそれぞれ組み合わされてもよい。本発明のこれら及び他の態様は、説明される実施形態に関連する以下の説明を読めば明らかになる。
【0059】
図面の簡単な説明
次に、添付の図面を参照しながら、本発明をより詳細に説明する。図面は、本発明を実施する１つの仕方を示すものであり、添付の特許請求の範囲内に包含される他の可能な実施形態に対する限定と解釈されるべきではない。
次に、添付の図面を参照しながら、本発明をより詳細に説明する。図面は、本発明を実施する１つの仕方を示すものであり、添付の特許請求の範囲内に包含される他の可能な実施形態に対する限定と解釈されるべきではない。
【図面の簡単な説明】
【0060】
【図1】ロボットシステムの実施形態のブロック図を示す。
【図2】別のロボットシステムの実施形態のブロック図を示す。
【図3】調整可能な構成の吸着カップを有するグリッパを備えたガントリ型ロボットを示す。
【図4a】直交型又はガントリ型ロボットアクチュエータでグリッパを使用できるようにする調整可能なグリッパ構成並びに回転及び傾斜機構を有する好ましいグリッパを示す。
【図4b】直交型又はガントリ型ロボットアクチュエータでグリッパを使用できるようにする調整可能なグリッパ構成並びに回転及び傾斜機構を有する好ましいグリッパを示す。
【図5a】送りコンベヤから物体をピックし、仕分け機への誘導部上に物体をプレースするように協働する一連のロボットの一例を示す。
【図5b】送りコンベヤから物体をピックし、仕分け機への誘導のための単純なバンド上に物体をプレースするように協働する一連のロボットの別の例を示す。
【図5c】送りコンベヤから物体をピックし、直接仕分け機上に物体をプレースするように協働する一連のロボットの一例を示す。
【図6】方法実施形態のステップを示す。
【発明を実施するための形態】
【0061】
実施形態の詳細な説明
図１及び図２は、ばら荷ＢＬＫの物体の流れを移送する連続的に動く送りコンベヤＦＣから物体Ｇ＿Ｏをピックし、目標位置ＴＡにおいて、仕分け機ＳＲＴへの誘導部Ｉ１上に個別にされた物体Ｓ＿Ｏをプレースするように構成されたピックアンドプレースロボットを備えたロボットシステムの実施形態を示す。
図１及び図２は、ばら荷ＢＬＫの物体の流れを移送する連続的に動く送りコンベヤＦＣから物体Ｇ＿Ｏをピックし、目標位置ＴＡにおいて、仕分け機ＳＲＴへの誘導部Ｉ１上に個別にされた物体Ｓ＿Ｏをプレースするように構成されたピックアンドプレースロボットを備えたロボットシステムの実施形態を示す。
【0062】
ロボットシステムは、ピックアンドプレースロボットＲＡ、Ｇと、センサシステムＣＭ、ＣＭ２と、制御アルゴリズムを実行するように構成されたプロセッサシステムを備えた制御システムＣＳとを備える。ピックアンドプレースロボットＲＡ、Ｇは、物体を把持するために制御可能なグリッパＧを移動させる役割を果たす制御可能なロボットアクチュエータＲＡを有する。図１の実施形態と図２の実施形態とは、基本的に同じ要素を有するが、詳細度に関して、及びロボットアクチュエータＲＡに関して異なる。ただし、以下では、両方の実施形態について全体として説明する。
【0063】
図１では、ロボットアクチュエータＲＡはガントリ型アクチュエータである。つまり、ロボットアクチュエータＲＡは、送りコンベヤＦＣ上の物体Ｇ＿Ｏをピックアップする把持領域ＧＡと誘導部Ｉ１上にある目標領域ＴＡとの間で制御可能なグリッパＧを移動するために、送りコンベヤＦＣに隣接する一端と誘導部Ｉ１に隣接する他端とにおいて地面に取り付けられた１組の細長い要素を有する固定部分を有して、ロボットアクチュエータＲＡの移動可能部分を細長い要素に沿って移動することを可能にする。ロボットアクチュエータＲＡは、制御可能なアクチュエータによって細長い要素に沿って移動する役割を果たす移動可能な部分を有し、移動可能な部分は、細長い要素に直交してグリッパＧを移動する役割を果たす制御可能なアクチュエータと、グリッパＧを垂直方向に移動する役割を果たす更に別のアクチュエータとを更に有する。よって、これらをまとめて、ロボットアクチュエータＲＡは、把持領域ＧＡ及び目標位置又は目標領域ＴＡをカバーする空間内の位置にグリッパＧを移動することができる。図２では、ロボットアクチュエータＲＡは、少なくとも３つの関節又は軸を備えるロボットマニピュレータアームとして示されている。関節は回転関節であってもよいし、ヒンジと回転関節との組み合わせであってもよい。好ましい変形形態では、第１のロボットは基部を備え、マニピュレータアームは基部から延びる。特に、基部は、送りコンベヤＦＣと仕分け機ＳＲＴとの間の床又は地面に固定して取り付け可能であり得る。好ましくは、ロボットマニピュレータアームは、アイテムをピックアップした把持領域ＧＡから少なくとも水平距離で１ｍ離れた目標領域ＴＡにアイテムをプレースすることを可能にする延長部を有する。
【0064】
図２に示す制御可能なグリッパＧは、複数の把持部材Ｍ１、Ｍ２を有し、そのうちの２つが見えている。好ましくは、グリッパＧは、物体Ｇ＿Ｏの表面と係合して吸着カップＭ１、Ｍ２への吸引又は真空の適用時に把持するように構成された４つの吸着カップＭ１、Ｍ２を有する。吸着カップは、比較的フワフワした薄いプラスチック袋に包まれただけの衣類などの小さい物体から、数ｋｇの重量を有する大きい矩形のダンボール箱までなどにわたる、より多種多様な物体Ｇ＿Ｏを、その表面の質感、表面形状、及び向きに関係なく把持できることが判明している。制御可能なグリッパＧの吸着カップＭ１、Ｍ２は、基部部分Ｂに取り付けられた調整可能なアームＡ１、Ａ２上に構成される。これにより、吸着カップＭ１、Ｍ２間の可変距離Ｄとして示す図２における吸着カップＭ１、Ｍ２の制御可能な把持構成が可能になる。この制御可能な把持構成によって、吸着カップＭ１、Ｍ２の幾何学的形状が、把持対象の物体Ｇ＿Ｏに応じて適応可能となることができる。それにより、グリッパＧは、小さいアイテムだけではなく大きいアイテムのピックアップに合うように距離Ｄを適合させることができ、最適に把持するように物体Ｇ＿Ｏ上に４つの吸着カップＭ１、Ｍ２を配置する最も好ましい仕方に吸引カップ構成を更に適合させることができる。最適に把持することは、ロボットが、目標位置ＴＡに向かって高加速度で移動する際に物体Ｇ＿Ｏの把持が緩むことなしに、物体Ｇ＿Ｏを高速で処理できるようにするために重要である。好ましいグリッパＧはコンパクトであり、これにより、最もコンパクトな構成において、つまり吸着カップＭ１、Ｍ２の距離Ｄが最も短い状態で、より高さのある２つ物体の間にある小さい物体を把持することが可能でありながら、大きい物体を把持するための最大構成において、つまりアームＡ１、Ａ２を最大限伸展した状態で、吸着カップＭ１、Ｍ２は、吸着カップ間の距離Ｄを最も長くすることができる。１つの好ましい４つの吸着カップを有するグリッパＧについては後で説明する。
【0065】
グリッパＧは、好ましくは、ロボットアクチュエータＲＡに取り付けられた位置に対して回転及び傾斜し得るように、ロボットアクチュエータＲＡに取り付けられる。これにより、グリッパＧは、物体Ｇ＿Ｏにおいて最適な把持力を得るために、ばら荷ＢＬＫの任意の物体の上面の向き及び傾斜に適合するように傾斜及び回転することができる。
【0066】
ピックアンドプレースロボットＲＡ、Ｇ、ＣＳへの基本入力は、ピックアンドプレースロボットＲＡ、Ｇの位置の上流にある画像領域ＩＭＡの三次元画像ＩＭを提供する固定位置に取り付けられた三次元カメラＣＭを備えたセンサシステムである。画像領域ＩＭＡは、好ましくは、送りコンベヤＦＣの全幅と、少なくとも、ばら荷ＢＬＫの物体の流れにおいて予想される最長の物体をカバーする長さとをカバーする。一定の時間間隔で１枚の静止写真ＩＭが撮影されてもよい。時間間隔は、選択された画像領域ＩＭＡの長さ及び送りコンベヤＦＣの速度に関係して、少なくとも、すべての物体が画像ＩＭによってカバーされるのに十分小さくなるように選択される。選択された画像処理によっては、一連の画像ＩＭは高速で提供され得る。画像の時間間隔は、好ましくは、到着する物体の流れの速度に応じて選択される。しかしながら、画像は、（例えば、約４０～６０％などの２０～８０％の重なりを有して）重なることが好ましい場合がある。具体的な実施形態では、１秒間に２枚又は約２枚の画像が提供される。
【0067】
到来するばら荷の物体ＢＬＫのこのような三次元画像ＩＭは、ロボットアクチュエータＲＡ又はグリッパＧの移動部分にカメラ又は他のセンサを取り付ける必要なしに、ピックアンドプレースロボットＲＡ、Ｇの正確な制御システムＣＳに十分な入力を提供することが判明している。画像領域ＩＭＡは、好ましくは、到来する物体の流れの速度、画像処理時間、及びロボットアクチュエータＲＡ及びグリッパＧの反応時間などのいくつかのパラメータに応じて、把持領域ＧＡの少なくとも最小の距離だけ上流に配置される。具体的な実施形態では、０．５ｍ～２．０ｍ（例えば、０．８ｍ～１．５ｍ）の距離が好ましい場合がある。物体をピックアップするためのピックアンドプレースロボットＲＡ、Ｇの制御に関する基本概念は、提供された画像ＩＭ及び送りコンベヤＦＣの既知の速度が、把持領域ＧＡにおける把持対象の物体の正確な時間及び位置を決定するのに十分であり、よって、制御システムＣＳにおいてグリッパＧ及びロボットアクチュエータＲＡをそれぞれ制御するための制御信号Ｇ＿Ｃ、Ｃ＿ＲＡを決定するために使用されるということである。
【0068】
様々なタイプのカメラＣＭが存在するが、ＣＭは、ばら荷ＢＬＫ内で別個の物体の識別を可能にするために形状を正確に識別でき、且つ把持対象として選択された物体Ｇ＿Ｏを把持するためのグリッパＧを正確なナビゲーションを可能にするのに十分に正確な高さ寸法で、高品質の三次元画像を提供することができることが好ましい。カメラＣＭは、特に、三次元ラインカメラ、飛行時間型三次元カメラ、及びステレオ三次元カメラであってもよい。更に、二次元カメラが使用されてもよく、その場合、三次元画像ＩＭの高さ寸法が二次元写真の画像処理に基づいて計算される、又は代替技術（例えば、カメラＣＭとは別に配置された別個の高さセンサ）によって取得され得ることを理解されたい。
【0069】
高さセンサＨＳ（例えば、カメラ又は他のタイプのセンサ）が、把持された物体Ｇ＿Ｏの高さを検知するために配置される。物体のばら荷ＢＬＫの上方の位置から撮影した画像ＩＭしか利用可能ではないため、より大きな物体の上の位置から小さい物体Ｇ＿Ｏを把持することが起こり得る。このように、把持する際には、上部の物体の表面の高さしか分からないため、把持された物体Ｇ＿Ｏの実際の高さは一般に未知である。高さセンサＨＳによって、把持された物体Ｇ＿Ｏの高さが検知され、この情報が、物体Ｇ＿ＯをプレースするためのグリッパＧ及びロボットアクチュエータＲＡの制御において使用される、又はより具体的には、物体Ｇ＿Ｏを解放する、目標領域ＴＡの上方の高さを決定するために使用される。これにより、目標領域ＴＡの上方の高いところから物体Ｇ＿Ｏを解放したために物体Ｇ＿Ｏを損傷させたり、更には物体Ｇ＿Ｏを誤ってプレースしたりする可能性なしに、壊れやすい物体Ｇ＿Ｏでさえも処理し得ることが確保される。高さセンサは、把持領域ＧＡ付近、又は目標領域ＴＡ付近、又は把持領域ＧＡと目標領域ＴＡとの間に配置され得る。高さセンサＨＳは、ライトバーアレイ、光ビームセンサ、又はカメラなどであり得る。
【0070】
制御システムＣＳは、三次元画像ＩＭを受信し、制御可能なグリッパＧ及びロボットアクチュエータＲＡをそれぞれ制御するための制御信号Ｃ＿Ｇ、Ｃ＿ＲＡを生成するためのいくつかの要素用いて制御アルゴリズムを実行する。まず、三次元画像は、到来するばら荷ＢＬＫの別個の物体を画像ＩＭ内で識別するために、物体識別アルゴリズムＩ＿Ｏにしたがって処理される。特に、このアルゴリズムは、ばら荷ＢＬＫから単一の物体を分離する際に三次元情報を好ましくは利用する画像処理技法によって、ピック対象の候補物体の識別を試みるものである。この段階で、次の段階である、当該技術分野で知られているような画像処理技法で使用される各識別された物体について、いくつかのパラメータが決定され得る。
【0071】
次に、識別されたピック対象となる可能性のある物体に基づいて、選択アルゴリズムＳ＿Ｏ＿Ｇが、次にどの物体を把持するかを選択するように実行される。選択アルゴリズムＳ＿Ｏ＿Ｇは、好ましくは、三次元画像ＩＭの解析に基づいて、識別された複数の物体を示す複数の異なるパラメータを抽出して、パラメータに基づいて、いくつかの所定の基準又はそのような基準のバランス（例えば、全体的な効率を高くするための物体を把持する推定速度、及び物体を把持してプレースする推定成功率）に基づいてどの物体を把持するかを可能にする。複数の識別された物体のそれぞれを示す画像ＩＭに基づいて決定され得るパラメータの非網羅的なリストは、以下のとおりである。
１）物体とグリッパＧの現在位置との間の距離。これは、物体が現在位置から離れている場合にグリッパＧを移動するのに時間がかかることから考慮され得る。
２）物体と物体がプレースされる目標位置ＴＡとの間の距離。これは、好ましくは、１）に関連して、ここでも把持領域ＧＡ内の正確な把持位置から目標位置ＴＡにグリッパを移動するのに必要な時間に関して考慮される。
３）物体の上面の質感。これは、物体を把持する成功率に質感が著しく影響を与え得ることから重要であり得、例えば、物体の上面全体が平滑な表面であることが、平滑ではない質感と比較して好ましい場合がある。これは把持部材のタイプにもよるが、吸着カップグリッパでは平滑な質感が好ましい。
４）物体の上面の曲率。これもまた、湾曲した上面は吸着カップグリッパでも把持するのが難しくなり得ることから、物体を把持する成功率に関して重要であり得る。
５）物体の上面の傾斜。これは、例えば、上面がグリッパＧの現在位置から離れるように傾斜している場合に、及び／又は傾斜している上面を有する物体を把持することは難しく、また箱状の物体の場合、物体は把持したときに滑り得ると考えられ得るため、考慮され得る。
６）周囲にある物体の高さと比較した物体の上面の高さ。これは、グリッパＧが物体を把持するために高い２つの物体の間にある空間に入ることが可能か否かを評価するために重要であり得、そのためには少なくともかなりの時間が必要になり得る。
７）物体の寸法。様々な理由で、小さい物体又は大きい物体のいずれかを優先することが望ましい場合がある。
８）物体のタイプ。物体のタイプが識別され得る場合、その物体を優先することが望ましい場合もあれば、その逆の場合もある。
９）物体の形状。特別な形状の物体を他の物体よりも優先させる（例えば、箱状の物体が丸い物体よりも優先され得る）ことが好ましいと分かることがある。
１０）物体をカバーする前記画像ＩＭの一部の品質。なんらかの理由で、劣悪な画像品質がいくつかの物体について得られた場合、そのような物体を優先させることを放棄する場合がある（例えば、これは、画像ＩＭが提供されたときに物体が移動したことに起因し、これにより把持領域ＧＡにおける物体の正確な位置及び向きが未知になり得る）。
１）物体とグリッパＧの現在位置との間の距離。これは、物体が現在位置から離れている場合にグリッパＧを移動するのに時間がかかることから考慮され得る。
２）物体と物体がプレースされる目標位置ＴＡとの間の距離。これは、好ましくは、１）に関連して、ここでも把持領域ＧＡ内の正確な把持位置から目標位置ＴＡにグリッパを移動するのに必要な時間に関して考慮される。
３）物体の上面の質感。これは、物体を把持する成功率に質感が著しく影響を与え得ることから重要であり得、例えば、物体の上面全体が平滑な表面であることが、平滑ではない質感と比較して好ましい場合がある。これは把持部材のタイプにもよるが、吸着カップグリッパでは平滑な質感が好ましい。
４）物体の上面の曲率。これもまた、湾曲した上面は吸着カップグリッパでも把持するのが難しくなり得ることから、物体を把持する成功率に関して重要であり得る。
５）物体の上面の傾斜。これは、例えば、上面がグリッパＧの現在位置から離れるように傾斜している場合に、及び／又は傾斜している上面を有する物体を把持することは難しく、また箱状の物体の場合、物体は把持したときに滑り得ると考えられ得るため、考慮され得る。
６）周囲にある物体の高さと比較した物体の上面の高さ。これは、グリッパＧが物体を把持するために高い２つの物体の間にある空間に入ることが可能か否かを評価するために重要であり得、そのためには少なくともかなりの時間が必要になり得る。
７）物体の寸法。様々な理由で、小さい物体又は大きい物体のいずれかを優先することが望ましい場合がある。
８）物体のタイプ。物体のタイプが識別され得る場合、その物体を優先することが望ましい場合もあれば、その逆の場合もある。
９）物体の形状。特別な形状の物体を他の物体よりも優先させる（例えば、箱状の物体が丸い物体よりも優先され得る）ことが好ましいと分かることがある。
１０）物体をカバーする前記画像ＩＭの一部の品質。なんらかの理由で、劣悪な画像品質がいくつかの物体について得られた場合、そのような物体を優先させることを放棄する場合がある（例えば、これは、画像ＩＭが提供されたときに物体が移動したことに起因し、これにより把持領域ＧＡにおける物体の正確な位置及び向きが未知になり得る）。
【0072】
特に、次にどの物体を把持するかを選択する選択アルゴリズムＳ＿Ｏ＿Ｇは、所望の効率対成功率のバランスを得るために様々なパラメータのバランスを取ることを伴う所定のスコアアルゴリズムにしたがって、パラメータ１）～１０）のうちの選択された２つ以上に応じて、識別された複数の物体のそれぞれについてスコア値を計算することを含み得る。そして、物体のそれぞれについて決定されたスコア値が比較されて、次の把持対象の物体は最良のスコア値を有する物体として選択される。
【0073】
次の把持対象の物体を選択した後、三次元画像ＩＭから決定された、把持対象の選択された物体の特性に基づいて、複数の把持部材Ｍ１、Ｍ２の把持構成を決定するアルゴリズム部Ｄ＿ＧＣＦによって制御信号Ｃ＿Ｇが生成される。これらの特性は、好ましくは、上で説明したように、物体選択アルゴリズムＳ＿Ｏ＿Ｇで既に決定されている。特に、形状、具体的には、選択された物体の上面の形状が使用されて、吸着カップＭ１、Ｍ２の適正距離Ｄを決定するために、アームＡ１、Ａ２の長さを調整するためのグリッパＧのアクチュエータを制御する制御信号Ｃ＿Ｇを決定する。特に、基部部分Ｂに取り付けた細長い４本のアームＡ１、Ａ２を伴うグリッパＧでは、４本のアームＡ１、Ａ２は、４つの吸着カップＭ１、Ｍ２が把持対象の物体の上面の形状及びサイズに合わせた把持四角形サイズを形成する構成を提供するように制御される。これは、矩形の平坦な表面の角部付近に吸着カップＭ１、Ｍ２を配置するなど、様々な知識に基づいて、把持対象の物体の上面における、吸着カップＭ１、Ｍ２のそれぞれの最良の可能な位置を提供するために、いくつかのパラメータに基づいて決定され得る。特に、把持構成を決定するアルゴリズムＤ＿ＧＣＦへの可能な入力の非網羅的なリストは、以下のとおりである。
１）物体の形状に関する情報。
２）物体の水平方向の境界。
３）物体のサイズ。
４）物体の向き。
５）物体の上面曲率。
６）物体の表面粗さ。
１）物体の形状に関する情報。
２）物体の水平方向の境界。
３）物体のサイズ。
４）物体の向き。
５）物体の上面曲率。
６）物体の表面粗さ。
【0074】
上記入力１）～６）のすべて又はいくつかが、把持構成アルゴリズムＤ＿ＧＣＦにおいて、把持対象の物体に最も合う吸着カップＭ１、Ｍ２の構成を決定するようにグリッパＧのアームＡ１、Ａ２の位置を制御するように処理され得る。正確な構成が、すなわち２つだけか好ましい４つかを問わず吸着カップＭ１、Ｍ２間の距離Ｄが、上記パラメータ１）～６）に応じて最良の把持を可能にするように設計され得、この場合、全体的な原則は、大きい物体に小さいグリッパ構成を提供するように選択され得るか否かを問わず、不規則な形状を有していても、明確に画定されているがより小さい平坦な表面上面領域を有する場合（このことは、この事実にもかかわらず、すべての吸着カップＭ１、Ｍ２の配置に適することがある）、吸着カップＭ１、Ｍ２を平坦な表面上の境界に向かってプレースしようとする把持構成を提供することである。不規則な物体の場合、好ましい吸着カップの位置の選択、ひいては把持構成は妥協になる。湾曲した表面上で吸着カップＭ１、Ｍ２によって最も良好に把持するには、より小さい把持構成が好ましい場合がある。小さい物体では、また軽量でもある物体を仮定すると、把持構成は、表面粗さに最も合うように（例えば、衣類を覆うプラスチック箔である物体の皺に吸着カップＭ１、Ｍ２を配置することを回避するように）選択され得る。
【0075】
特に、時間を節約するために、アルゴリズムＤ＿ＧＣＦが使用されるグリッパ構成を選択した場合、制御システムＣＳは、ロボットアクチュエータＲＡがグリッパＧを把持領域に移動させる前に又はそれと同時にアームＡ１、Ａ２を決定された位置に移動させるようにアームＡ１、Ａ２を作動させる役割を果たす制御信号Ｃ＿ＧをグリッパＧのアクチュエータに送信し、その結果、グリッパＧが物体に到達し、把持領域ＧＡにおいて物体を把持するために最も良く合うように回転及び傾斜されたときに、吸着カップＭ１、Ｍ２が既に物体を素早く把持するための所望の構成になる。
【0076】
次に、グリッパＧの把持構成に関して決定した後、ロボット移動制御アルゴリズムＤ＿ＲＭが、選択された物体を把持するための位置にグリッパＧを配置するためにロボットアクチュエータＲＡを移動するために、ロボットアクチュエータＲＡをどこに、そしてどのように制御するかを決定する。これは、選択された物体について決定された既に述べたパラメータのうちのいくつか（例えば、物体の上面の傾きなど、グリッパの構成を決定するアルゴリズムＤ＿ＧＣＦの上記入力１）～６））から決定され得る。更に、送りコンベヤＦＣの移送方向における物体の移動速度を考慮して、把持領域ＧＡ内の空間内のどこに、そしていつ物体を把持するために吸着カップＭ１、Ｍ２を物体の表面に接触させるかが正確に計算される。次いで、ロボット移動制御アルゴリズムＤ＿ＲＭは、グリッパＧを傾斜及び回転させる役割を果たすアクチュエータのための適切な制御信号を含む、ロボットアクチュエータＲＡの移動を制御するための制御信号Ｃ＿ＲＡを送信する。次いで、吸着カップＭ１、Ｍ２は、物体を把持するための吸引を適用するように吸着カップＭ１、Ｍ２に接続された真空システムを制御することによって作動される。
【0077】
三次元画像ＩＭ及び既に決定された上述のパラメータに同様に基づいて物体の向きを追跡し続けることにより、制御システムＣＳは、グリッパＧ及び物体を目標領域ＴＡ内の目標位置に移動し、目標位置において個別にした物体を（すなわち、誘導部Ｉ１の移動方向に並べて）解放するためにグリッパＧの傾斜及び回転を制御するように、制御可能なロボットアクチュエータＲＡを制御する。高さセンサＨＳからの入力に基づいて、目標領域ＴＡの上方の解放高さ、すなわち吸着カップＭ１、Ｍ２への真空吸引を解除する高さを決定する。
【0078】
図１及び図２に示す実施形態では、目標領域ＴＡ内の目標位置においてグリッパＧによって解放された後の物体の画像ＩＭ２を提供するために、目標領域ＴＡをカバーするように第２のカメラＣＭ２がセットアップされる。これにより、物体が正常にピックされて、適切に配置及び整列された物体Ｓ＿Ｏとしてプレースされたか否かを判定するために、適切な画像処理によって（例えば、ピックする前にカメラＣＭによって提供された初期画像ＩＭと画像ＩＭ２を比較することによって）物体が目標位置に正常にプレースされたか否かを判定できるため、制御システムＣＳにおけるフィードバックアルゴリズムＦＢへのフィードバックとして画像ＩＭ２を使用できる。これは、物体をピックしてプレースする成功率ＳＲを計算するために使用され得る。成功率ＳＲは、ユーザに出力され、一定期間内に正常に処理された物体の割合として成功率ＳＲを示し得る。成功率ＳＲは、（例えば、経時的な成功率ＳＲに基づいて統計値を計算することによって）起こり得る故障のアラームを検出するために制御アルゴリズムによって更に使用され得る。成功率ＳＲの急な低下が検出された場合、システムに故障がある場合があり、アラームを発生されることができる。
【0079】
更に、フィードバックアルゴリズムＦＢは、フィードバックアルゴリズムＦＢの機械学習部分への入力として画像ＩＭ２を使用し得る。特に、フィードバックアルゴリズムＦＢは、物体についての初期三次元画像ＩＭにおいて決定された既に述べた入力又はパラメータのいくつかを解析し得る人工知能アルゴリズム及び／又はニューラルネットワークに基づくアルゴリズムを含み得る。これは、正常に処理された物体の具体的な特徴、及び処理に困難を生じることが分かることがある物体の特徴を学習アルゴリズムが学習するために、物体をプレースした後に結果として得られる画像ＩＭ２にアノテーションするために使用され得る。ピックアンドプレース性能を徐々に改善する目的で、フィードバックアルゴリズムＦＢは、経験したピックアンドプレースの失敗及び成功に基づいて、把持対象物体選択アルゴリズムＳ＿Ｏ＿Ｇ及びグリッパ構成決定アルゴリズムＤ＿ＧＣＦを適合させるために機械学習を使用し得る。これは、ロボットを通常運転にする前にロボットシステムでなされ得るが、ロボットシステムを通常運転にした状態で学習アルゴリズムがオンラインで動作することが望ましい場合がある。これにより、ロボットシステムは、例えば、様々なパラメータ（例えば、到来するばら荷ＢＬＫの物体の速度、物体のタイプ）が変化した場合に、適応性が高くなり、改善された性能に徐々に適合させることができる。これにより、ロボットシステムは、新しいタイプの物体を処理するなど、動作条件が変わっても高い性能に柔軟に適合させることができる。
【0080】
一例として、フィードバックアルゴリズムＦＢの学習アルゴリズム部分は、把持対象物体選択アルゴリズムＳ＿Ｏ＿Ｇの上述のスコアアルゴリズムにおける１つ又は複数のパラメータを変更することが可能であり得る。よって、目標位置ＴＡにプレースされた後の物体の複数の画像ＩＭ２に基づいて、把持対象物体選択アルゴリズムＳ＿Ｏ＿Ｇは、ロボットシステムの性能全体を改善するように適合させることができる。具体的には、学習アルゴリズムは、ピックアンドプレース性能を改善するために、スコアアルゴリズムにおける重み付け係数を変更したり、人工知能システムへのフィードバックを提供したりし得る。特に、いくつかの特徴又は特徴の組み合わせは、結果として非常に劣悪なピックアンドプレース性能となることが分かることがあるため、把持対象選択アルゴリズムＳ＿Ｏ＿Ｇは、このような物体をピックすることを完全に拒否し、代わりに手動での処理のためにそのまま送りコンベヤＦＣ上に残るように設計され得る。
【0081】
別の例として、フィードバックアルゴリズムＦＢの学習アルゴリズム部分は、把持構成決定アルゴリズムＤ＿ＧＣＦにおける１つ又は複数のパラメータを変更することが可能であり得る。具体的には、学習アルゴリズムは、特殊な特徴を有する、又は特徴の特殊な組み合わせを有する特定のタイプの物体については、物体の検出された境界に対して吸着カップＭ１、Ｍ２の位置を決定するなど、グリッパ構成の決定に使用される入力の処理において１つ又は複数のパラメータを変更し得る。
【0082】
フィードバックアルゴリズムＦＢは、物体識別アルゴリズムＩ＿Ｏ及びロボットの移動を決定するアルゴリズムＤ＿ＲＭへのフィードバックを提供するように更に構成され得る（例えば、本来落下させることが分かっていることがある、特定の把持された物体Ｇ＿Ｏを移動するための移動速度を下げる）。
【0083】
いくつかの実施形態は、ロボットシステムは、ピックアンドプレースロボットＲＡ、Ｇの上又は上方に配置されて、把持領域における物体の画像を提供する二次元又は三次元カメラなどを備える第２のセンサシステムを含む。これにより、制御システムＣＳは、把持領域ＧＡにおける物体の画像を、把持領域ＧＡの上流にある位置ＩＭＡにおける物体の画像ＩＭと比較し、送りコンベヤＦＣの表面に対して１つ又は複数の物体が位置を変えたか否かを検出することができる。例えば、物体は、１つの物体Ｇ＿Ｏが把持領域ＧＡでグリッパＧによってピックアップされる際に動くこともあるし、物体は、移動されていることもある（例えば、このような物体は、上流位置ＩＭＡから把持領域に向かう途中で物体のばら荷ＢＬＫの上部から落下していることもある）。この知識を用いて、コントローラシステムＣＳは、ピックアンドプレースロボットＲＡ、Ｇの制御を適宜調整し得る。更に、把持領域ＧＡにおける物体の画像はまた、ロボットシステムの誤動作又は機能の異常を検出するために制御システムによって使用され得る。これにより、ピックアンドプレース性能が正常機能として期待される範囲外にあると評価された場合（例えば、並んでいるいくつかの物体が目標位置から離れた場所に配置されている場合など）、制御システムＣＳは、ロボットの起こり得る修理などを可能にするためにアラーム信号を発生させ得る。
【0084】
いくつかの実施形態では、送りコンベヤＦＣの速度は、「停止」と「通常速度」との間など、少なくとも２段階で制御され得る。特に、送りコンベヤＦＣの速度は、「停止」と最高速度との間において２～１０の段階など、「停止」と最高速度との間において複数の段階で制御され得る。到来する物体のばら荷に対するピックアンドプレースロボットＲＡ、Ｇの予想されるピックアンドプレース処理能力の推定に応じて送りコンベヤＦＣの速度を制御することが好ましい場合がある。送りコンベヤＦＣの速度を可変にすることにより、制御システムＣＳは、ピックアンドプレースロボットＲＡ、Ｇが適正な量の到着する物体を処理し得ることを確保することが可能になる。特に、送りコンベヤＦＣの速度は、ピックアンドプレースロボットＲＡ、Ｇが到着するすべての物体ＢＬＫを処理することができるように制御されてもよいし、少なくとも送りコンベヤＦＣ速度は、ピックアンドプレースロボットＲＡ、Ｇが到来する物体のうち少なくとも所定の割合を処理することができるように制御されてもよい。具体的には、送りコンベヤＦＣは「ストップアンドゴー」方式で制御されて、送りコンベヤＦＣが物体のばら荷ＢＬＫを把持領域ＧＡに移送することを可能にし、その後、停止して、ピックアンドプレースロボットＲＡ、Ｇが物体のばら荷ＢＬＫの所定の割合（例えば、ばら荷ＢＬＫのすべての物体）をピックしてプレースすることを可能にし得、その後、ピックアンドプレースＲＡ、Ｇによって処理されるために把持領域ＧＡに物体の別のばら荷ＢＬＫが到着できるように送りコンベヤＦＣが「ゴー」に制御される。或いは、送りコンベヤＦＣの速度は、ピックアンドプレースロボットＲＡ、Ｇが送りコンベヤＦＣを停止させることなく物体の所定お割合を処理し得ることを確保するために、複数の速度段階間で時間的に徐々に制御されてもよい。いくつかの場合では、送りコンベヤＦＣの下流に１つ若しくは追加のピックアンドプレースロボットがその後にある場合、及び／又は、手動の処理ステーションがその後にある場合、ピックアンドプレースロボットＲＡ、Ｇが到着する物体の５～５０％のみを処理することが許容可能である場合がある。このような場合では、送りコンベヤＦＣの速度は、制御システムＣＳによって、ピックアンドプレースシステムの所定の全体的な処理能力を確保するように制御され得る。
【0085】
具体的には、制御システムＣＳは、物体のばら荷ＢＬＫが把持領域ＧＡに到着する前に、ばら荷ＢＬＫの１つ又は複数の物体についてピックアンドプレース動作を完了するのに必要とされる時間を推定するように構成され得る。そのような時間は、例えば、処理が「容易」、すなわち時間がかからない、又は「難しい」、すなわち時間がかかるなどの、１つ又は複数の到来する物体の識別情報を考慮して推定され、このことは、機械学習及び／又は人工知能の入力に基づき得る。そして、制御システムは、ピックアンドプレースロボットＲＡ、Ｇが許容できる数の把持対象の物体Ｇ＿Ｏを処理する時間を有することができるように送りコンベヤＦＣの速度を制御し得る。
【0086】
ピックアンドプレース効率を上げるために、制御システムＣＳは、ピックアンドプレースロボットＲＡ、Ｇの空転時間が短縮されることを確保するために、物体の２つのばら荷ＢＬＫの間に空間が検出された場合、送りコンベヤＦＣの速度を上げてもよい。ロボットアクチュエータがグリッパを移動するための移動速度に制限を有するため、送りコンベヤのＦＣ速度を制御することによって、ピックアンドプレースロボットの利用を最適化することが可能である。物体がピックアンドプレースロボットに好ましくない位置及び時間で到着した場合、送りコンベヤＦＣ速度を制御して、ロボットのピッキングタスクをより最適に同期させてロボットの稼働率を高くすることができる。
【0087】
仕分け機ＳＲＴは、移送方向にトラックに沿って移動するように構成された複数の支持表面を備えてもよく、支持表面は、物体又はアイテムを受け入れて移送するための空の空間を画定する。ただし、仕分け機ＳＲＴは、例えば、チルトトレイソータ、クロスベルトソータ、トート系ソータ、プッシャソータ、シューソータ、又はポップアップソータなどのタイプであってもよいことを理解されたい。特に、仕分け機ＳＲＴは、クローズドループタイプの仕分け機ＳＲＴであってもよい。特に、仕分け機ＳＲＴは、少なくとも０．４ｍ／ｓ（０．５～１．０ｍ／ｓなど、１．０～１．５ｍ／ｓなど、１．５～２．０ｍ／ｓなど、２．０ｍ／ｓ超など）の速度で物体又はアイテムを移送するように構成され得る。特に、仕分け機ＳＲＴは、一定の速度で物体又はアイテムを移送するように構成され得る。
【0088】
仕分け機ＳＲＴは、仕分け機ＳＲＴからアイテムを受け入れるように構成された複数の排出部を更に備える仕分け機システムの一部であってもよく、排出部は、仕分け機ＳＲＴに隣接する異なる位置に構成される。これにより、仕分け機システムは、個々のアイテムに関連付けられた識別コードにしたがって選択された排出場所において仕分け機ＳＲＴからアイテムを排出するように構成される。例えば、そのような識別コードは、バーコード、郵便番号、ＩＤタグ、ＲＦＩＤタグなどであり得る。アイテムの識別コードをスキャンすることによって、仕分け機システムはアイテムを適宜仕分けすることができる。
【0089】
誘導部Ｉ１は、一端において物体又はアイテムＳ＿Ｏを受け入れ、仕分け機ＳＲＴ上の空の空間の速度に対する相対速度で仕分け機ＳＲＴ上の空の空間に物体又はアイテムを送達するために、物体又はアイテムを加速するように構成され、前記相対速度は所定の閾値未満であり得る。
【0090】
図３は、４つの吸着カップ（ここでは把持された物体と共に示されている）を有する調整可能なグリッパＧを備えたガントリ型ロボットアクチュエータの形態の好ましいロボットアクチュエータＲＡを示す。制御可能に移動可能な第１のカートＣＴ１のためのトラックを形成する１組の水平要素が、水平方向Ｘに移動するように制御可能に作動されるように構成される。制御可能に移動可能な第２のカートＣＴ２が、第１のカートＣＴ１のトラック上で別の水平方向Ｙに移動するように制御可能に作動されるように構成される。
【0091】
グリッパＧは、第２のカートＣＴ２に固定された部材に取り付けられ、グリッパＧの高さ調整を可能にするために垂直方向Ｚに制御可能に移動可能である。グリッパＧは、この部材上に、垂直回転軸ＲＴ＿ａを中心とした制御可能な回転を可能とする制御可能なアクチュエータ要素によって取り付けられて示されている。更に、グリッパは、この部材上に、垂直傾斜軸ＴＬ＿ａを中心とした制御可能な傾斜を可能とする制御可能なアクチュエータ要素によって取り付けられる。
【0092】
ロボットアクチュエータＲＡの様々な要素の寸法は、ピックアンドプレースロボットに必要な取り得るＸ、Ｙ、Ｚの距離に容易に適合させることができ、また様々な要素の強度も処理対象の物体の荷重に適合させることができる。ガントリ型のロボットの技術分野で既知であるような、Ｘ、Ｙ、Ｚ方向における作動のための様々なタイプのアクチュエータが使用され得る。
【0093】
図４ａ及び図４ｂは、吸着カップＭ１、Ｍ２、Ｍ３、Ｍ４の形態の４つの把持部材の制御可能な把持構成を有する好ましいグリッパＧの実施形態の２つの図を示す。図４ａでは、グリッパＧは、完全に伸展したグリッパ構成で、すなわち吸着カップＭ１、Ｍ２、Ｍ３、Ｍ４が互いから最大距離にあり、したがって大きい物体を把持するのに適している状態で示されている。図４ｂでは、グリッパは、完全に圧縮されたグリッパ構成、すなわち吸着カップＭ１、Ｍ２、Ｍ３、Ｍ４が互いから最小距離にあり、したがって小さい物体を把持するのに適している状態にある。
【0094】
基部部分Ｂは、傾斜軸ＴＬ＿ａを中心として傾斜するための制御可能な傾斜要素及び回転軸ＲＴ＿ａを中心として回転するための制御可能な回転要素（図３にも見られる）によって、ロボットアクチュエータ上への取り付けのための役割を果たす。吸着カップＭ１、Ｍ２、Ｍ３、Ｍ４は、基部部分Ｂに取り付けられたそれぞれの細長いアームＡ１、Ａ２、Ａ３、Ａ４の遠位端付近に取り付けられる。各アームＡ１、Ａ２、Ａ３、Ａ４は制御可能なアクチュエータによって作動され、基部部分Ｂに対して、その長さに沿ってスライド可能に構成される。これにより、基部部分Ｂに対する吸着カップＭ１、Ｍ２、Ｍ３、Ｍ４の位置に関して、アームＡ１、Ａ２、Ａ３、Ａ４を制御可能に調整できる。吸着カップは、その吸着接点が平面を形成するように整列され、アームＡ１、Ａ２、Ａ３、Ａ４は、この平面に平行な軸Ｄｘ、Ｄｙに沿って移動するようにスライド可能に構成される。
【0095】
特に、アームＡ１及びＡ２が同一軸Ｄｘに沿ってスライド可能に構成され、アームの一部が互いの内部をスライドするように構成されることが分かる。アームＡ３、Ａ４は、同様に、互いの内部をスライドするように構成されて、軸Ｄｙに沿ってスライド可能に構成される。このように、４本のアームＡ１、Ａ２、Ａ３、Ａ４は、１つの平面内で互いに直交する４つの異なる方向に延びるように構成される。選択された作動のタイプに応じて、４本すべてのアームＡ１、Ａ２、Ａ３、Ａ４は、把持構成に関して高い適応性を可能にするために、ただし別個のアクチュエータを必要とするものの、別々に作動されてもよいし、アームＡ１、Ａ２、Ａ３、Ａ４は、例えば対になって、一緒に作動されてもよい。或いは、２つのアクチュエータを使用して２組Ａ１、Ａ２及びＡ３、Ａ４でアームＡ１、Ａ２、Ａ３、Ａ４を作動させることができ、更に１つのアクチュエータを使用して４本すべてのアームＡ１、Ａ２、Ａ３、Ａ４を作動させて、把持構成に限られた変形形態のみを可能にすることができる。グリッパＧの重量を軽減可能にするために、アーム用のアクチュエータ（例えば、電気モータ）が、傾斜及び回転の点の上方に取り付けられることが好ましい場合がある。一実施形態では、回転ケーブルが、基部部分Ｂの内部にある歯車機構によってアームＡ１、Ａ２、Ａ３、Ａ４を作動させるようにモータから回転力を伝達し得る。４本すべてのアームＡ１、Ａ２、Ａ３、Ａ４の長さを個別に調整可能である場合、不規則な物体のための最適な把持に収まるように、様々な把持構成の形状を作ることができる。
【0096】
このようなグリッパＧは高い適応性を有しながらもコンパクトである。それは、コンパクトな基部部分Ｂであっても、基部部分Ｂ自体の寸法以外には占める空間が最小限である非常に圧縮されたコンパクトな構成から、大きい物体を処理するために使用され得る完全に伸展した把持構成まで、極めて適応性の高い把持構成が実現されるためである。グリッパＧは、ある時点では大きい物体を処理することができ、その直後には、小さい物体を把持するために２つの大きい物体の間にある空間にグリッパＧを入れることができるように、圧縮状態の把持構成を提供するように制御され得る。これにより、ばら荷の物体の処理に高い適応性を持たせることができる。
【0097】
図５ａ～図５ｃは、送りコンベヤＦＣ上で移送される物体のばら荷ＢＬＫから物体をピックし、誘導部Ｉ１、Ｉ２、Ｉ３、Ｉ４上に、又は一定の速度で動く仕分け機ＳＲＴ上の空の空間上に直接物体をプレースすることにおいて協働するピックアンドプレースロボットＲ１、Ｒ２、Ｒ３、Ｒ４の様々なシステムを示す。単一のピックアンドプレースロボットの能力では、すべての到来する物体ＢＬＫを処理するのに不十分である場合、複数のピックアンドプレースロボットを使用することが必要になる。この問題を解決するために、既に説明したようないくつかのピックアンドプレースロボットＲ１、Ｒ２、Ｒ３、Ｒ４が互いに下流に配置され得る。これにより、第１のロボットＲ１によってピックされなかった物体は、次に並んだロボットＲ２への入力とされる。特殊な物体の場合、又は最後に並んだロボットＲ４でも処理できない、到来する物体ＢＬＫにおけるピークがある場合、最後に並んだロボットＲ４の下流にある位置における手動でのピックアンドプレースプロセスが可能であり得る。
【0098】
図５ａは、２つの組Ｒ１、Ｒ２及びＲ３、Ｒ４に構成された４つのロボットＲ１、Ｒ２、Ｒ３、Ｒ４を備えたシステムを示す。第１の１組のガントリ型ロボットＲ１、Ｒ２は、仕分け機ＳＲＴへの第１の誘導部Ｉ１上に物体をプレースするように協働する一方、第２の１組のガントリ型ロボットＲ３、Ｒ４は、仕分け機ＳＲＴへの第２の誘導部Ｉ２上に物体をプレースするように協働する。第１の１組のロボットＲ１、Ｒ２は、物体ＢＬＫの入力を提供する１台の三次元カメラＣＭを共有し、第１の１組のロボットＲ１、Ｒ２のための制御システムは、それぞれのロボットＲ１、Ｒ２による処理対象の物体を既に決定していてもよいし、これらのロボットＲ１、Ｒ２は、別個の制御システムを有するが、三次元画像入力を提供するためのカメラＣＭを共有する可能性を有していてもよい。あるロボットＲ１が、送りコンベヤＦＣ上のある把持領域ＧＡから物体をピックし、第１の誘導部Ｉ１上にある目標領域ＴＡ１上に物体をプレースする一方、第２のロボットＲ２が、送りコンベヤＦＣ上の別の把持領域から物体をピックし、第１の誘導部Ｉ１上にある別の目標領域ＴＡ２上に物体をプレースする。同様に、第２の１組のロボットＲ３、Ｒ４は協働して、第１の１組のロボットＲ１、Ｒ２によって送りコンベヤＦＣ上に残された物体をピックアップし、第２の誘導部Ｉ２上にあるそれぞれの目標位置上に物体をプレースする。
【0099】
図５ｂは、が、２つの組Ｒ１、Ｒ２及びＲ３、Ｒ４に構成された４つのガントリ型ロボットＲ１、Ｒ２、Ｒ３、Ｒ４を備えたシステムを示す。第１の１組のロボットＲ１、Ｒ２は、図５ａのように、協働して１つの共通の三次元カメラ入力に基づいて物体をピックしてプレースするが、ロボットＲ１、Ｒ２は、仕分け機ＳＲＴ上の空の空間に対して物体を垂直に運ぶ、それぞれの簡易コンベヤバンド誘導部Ｉ１、Ｉ２上に物体をプレースする。同様に、第２の１組のロボットＲ３、Ｒ４は、協働して、それぞれの簡易コンベヤバンド誘導部Ｉ３、Ｉ４上に物体をプレースする。これにより、図５ａの構成とは対照的に、１組の協働するロボットＲ１、Ｒ２におけるロボット間において、物体を同じ誘導部にプレースする際に競合が発生することはなく、むしろ図５ｂでは、４つすべてのロボットＲ１、Ｒ２、Ｒ３、Ｒ４が、送りコンベヤＦＣ上のそれぞれの重複しない把持領域上で物体をピックし、別個の誘導部Ｉ１、Ｉ２、Ｉ３、Ｉ４上にあるそれぞれの目標領域上に物体をプレースする。
【0100】
図５ｃは、図５ａ及び図５ｂで説明したように、１つの送りコンベヤＦＣから物体をピックアップする際に協働する、２組Ｒ１、Ｒ２及びＲ３、Ｒ４に構成された４つのガントリ型ロボットＲ１、Ｒ２、Ｒ３、Ｒ４を備えた更に別のシステムを示す。ただし、図５ｃでは、各ロボットＲ１、Ｒ２、Ｒ３、Ｒ４は、送りコンベヤＦＣ上の把持領域ＧＡ上で物体を把持し、直接仕分け機ＳＲＴ上にある空の場所である目標領域ＴＡ上に物体をプレースするように構成される。図示の実施形態では、仕分け機ＳＲＴと送りコンベヤＦＣとは、互いに平行に隣接して配置され、同じ方向（太い矢印）に、同じ速度又は異なる速度で動く。ガントリ型ロボットＲ１、Ｒ２、Ｒ３、Ｒ４は、片側を仕分け機ＳＲＴの隣にし、反対側を送りコンベヤＦＣの隣にして取り付けられる。例えば、ロボットＲ１、Ｒ２、Ｒ３、Ｒ４は、地面又は他の支持体に取り付けられ得る。図示の実施形態では、ガントリ型ロボットＲ１、Ｒ２、Ｒ３、Ｒ４は、その主軸が仕分け機ＳＲＴの移動方向及び送りコンベヤＦＣの移動方向に対して直交するように構成される。しかしながら、他の構成では、ガントリ型ロボットＲ１、Ｒ２、Ｒ３、Ｒ４は、その主軸と送りコンベヤＦＣ及び仕分け機ＳＲＴのいずれか又は両方の移動方向との間に別の角度をなすようにセットアップされる。
【0101】
図５ｃのセットアップは、空間を占有し、仕分け機システムに余分な複雑さを加える誘導部を不要にする。しかしながら、ピックアンドプレースロボットＲ１、Ｒ２、Ｒ３、Ｒ４の制御システムは、仕分け機ＳＲＴ上のどの空の場所に物体をプレースするかを調整する必要がある。更に、制御システムは、好ましくは、ロボットＲ１、Ｒ２、Ｒ３、Ｒ４が仕分け機ＳＲＴ上の空の空間の位置に到達し、仕分け機速度に対する相対速度がゼロに近いか、少なくともゼロに近い相対速度で物体を送達するのに十分な時間を有するか否かを計算するように構成される。
【0102】
図６は、連続的に移動するばら荷の物体の流れから物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に個別にされた物体をプレースするための方法実施形態のステップを示す。本方法は、物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを提供することＰ＿Ｃ＿Ｇであって、把持部材が制御可能な把持構成に構成される、ことを含む。更に、制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供するＰ＿ＲＡ。更に、制御可能なロボットアクチュエータの位置の上流にある移動する物体の流れの物体の三次元画像を提供するＰ＿３ＤＩ。次に、ピックされる可能性のある三次元画像内の物体を識別するために三次元画像を処理するＩ＿ＤＯ。次に、識別された物体のうちのどの物体を把持するかを選択するＳ＿Ｗ＿Ｏ。次に、画像処理技法によって三次元画像に応じて選択された物体の特性を決定するＤ＿Ｐ＿Ｏ。例えば、ステップＤ＿Ｐ＿Ｏは、ステップＳ＿Ｗ＿Ｏの前、またステップＩ＿ＤＯの前に決定されてもよい。次に、選択された物体の前記特性に応じて、把持部材の把持構成を制御するＣ＿Ｇ＿ＣＦ。次に、選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御するＣ＿ＲＡ。次に、（例えば、把持部材が吸着カップである場合に真空を適用することによって）選択された物体を把持するように制御可能なグリッパを制御するＧ＿Ｏ。最後に、物体を移動し、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体を個別にして整列させて解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するＲ＿Ｏ。物体を解放した後、目標位置における物体の画像を（例えば、二次元又は三次元カメラによって）提供するＰ＿Ｉ＿ＴＰ。
【0103】
更なるステップは、処理された物体が目標位置に正常にプレースされたか否か、及びどのようにプレースされたかを判定するために、目標位置の画像を提供することを含み得る。機械学習アルゴリズムは、ステップＩＤ＿Ｏ、Ｓ＿Ｗ＿Ｏ、及びＣ＿Ｇ＿ＣＦのうちの１つ又は複数のステップのパラメータを変更することにより、ロボットシステムの性能を継続的に改善するための入力としてこの画像を提供し得る。
【0104】
原理上、すべてのタイプの物体又はアイテムが、説明されるロボットシステムによって処理され得ることを理解されたい。つまり、物体又はアイテムは、様々な形状、サイズのものとすることができ、且つ様々な表面特性を有し得る。特に、送りコンベヤＦＣに到着する物体又はアイテムの流れは、郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び靴、衣類、テキスタイルなど通販流通で扱われるアイテムのうちの少なくとも１つを含み得る。特に、ロボットシステムは、最大重量が１～１００ｋｇ（１～１０ｋｇなど、最大重量が２～３ｋｇなど）の物体又はアイテムを処理するように設計される。特に、最大重量が２～３ｋｇの物体又はアイテムは、中型サイズのロボットでも高速でピックアップして移動することができる。ロボットシステムは、代替的に、１００ｋｇより重い物体を処理するように設計され得ることを理解されたい。
【0105】
制御システムの機能は、好ましくは、プロセッサシステムによって実施されることを理解されたい。プロセッサは、例えば、仕分け機及び誘導部の構成の変更によって、また到来する物体又はアイテムの流れを処理するために最も効果的に協働するように制御される必要があるロボットをシステムにより多く含めることによって、システムの機能を容易に更新及び適合を可能とするように、ソフトウェアで実施される制御アルゴリズムを実行するデジタルプロセッサを含むコンピュータ化されたコントローラであってもよい。
【0106】
いくつかの実施形態では、制御システムは、プログラマブルロジックコントローラ（ＰＬＣ）により実施され得る。プロセッサは、専用ロボット制御プロセッサであってもよいし、仕分け機を制御する役割を果たすプロセッサの一部として、或いはこのようなプロセッサ共有して実施されてもよい。これにより、既存の仕分け機システムに１つ又は複数のロボットを追加することは、ロボットを制御するための追加のハードウェアを最小限に抑えて実施でき、このような実施では、ロボットを制御するためのプログラムコードは、純粋にプロセッサ実行可能プログラムコードとして実施され得る。同様に、プロセッサは、仕分け機にアイテムを移送するための１つ又は複数の誘導部を制御する役割を果たすプロセッサの一部として実施されても、このようなプロセッサを共有してもよい。また更に、プロセッサは、送りコンベヤを制御する役割を果たすプロセッサの一部として実施されても、又はこのようなプロセッサを共有してもよく、このことは、ロボットが、誘導部又は仕分け機にプレースするためにアイテムをピックアップする前に、送りコンベヤに到着するアイテムを個別にすることを意図される場合に有利であり得る。更なる他の変形形態は、仕分け機、誘導部、及び送りコンベヤを制御するための１つの共通のマシンコントローラへのインターフェースを備えた別個のロボットコントロールを有することもできる。そしてマシンコントローラは、システム全体のコントローラへのインターフェースを有することができ、システム全体のコントローラは、より高次の制御（例えば、倉庫管理システム（ＷＭＳ））へのインターフェースを有することができる。
【0107】
制御システムは、その機能の多くをコンピュータプログラムコードとして実施して実行され得、実際には、プログラムコードは、送りコンベヤから誘導部への手動でのピッキング及び移動に基づく、仕分け機及び誘導システムを制御するための既存のシステムに部分的又は完全に統合されてもよい。しかしながら、制御システムが２つ以上の別個のプロセッサ（例えば、三次元画像に必要な画像処理の少なくとも一部を実行する役割を果たす別個のプロセッサ）を有することが好ましい場合がある。
【0108】
ロボットシステムの実施形態が試験され、ロボットシステムの実施形態は、ランダムな形状、サイズ、及び質感の物体のばら荷が送りコンベヤに０．１～１．０ｍ／ｓの速度で到着するとき、１００％のピックアンドプレースの成功率で、１時間あたり最大１５００～２０００個の物体を処理する能力を得た。特定の変形形態では、１時間あたり２０００個を超える物体のスループットを得ることができる。
【0109】
図７は、マルチピックアンドプレースロボットシステムの一例を示し、ここでは、送りコンベヤＦＣに沿って構成され、送りコンベヤＦＣ上のそれぞれの把持領域から物体をピックし、目標コンベヤＴＣ上に個別にされ、間隔を空けて配置された物体をプレースするように協働して、目標コンベヤＴＣ上に物体をプレースするように構成された、ガントリ構成の２つのロボットＲ１、Ｒ２として示されている。目標コンベヤＴＣは、自動的に物体を仕分け機に誘導する役割を果たす誘導システム（図示せず）に、個別にされ、間隔を空けて配置された物体を移送する。このように、ピックアンドプレースロボットＲ１、Ｒ２は、仕分け機への誘導部に物体を間接的に提供し、ピックアンドプレースロボットＲ１、Ｒ２の主なタスクは、間隔を空けて、また好ましくは目標コンベヤＴＣ上に向きを揃えて物体を個別にすることである。
【0110】
ロボットＲ１、Ｒ２は前述のようなものであり得、グリッパは、回転及び傾斜するように構成され、４つの吸着カップは、到着する物体の形状及びサイズに適合するように制御可能な構成にされる。ロボットＲ１、Ｒ２は、単一の上流の画像システムを共有してもよいし、ロボットＲ１、Ｒ２は、別個の上流の画像システムを有して、各ロボットの上流で実際に到着した物体のばら荷の画像を提供してもよい。好ましくは、ロボットＲ１、Ｒ２のそれぞれが、ばら荷で到着する物体を個別に識別し、到着する物体の立体的なばら荷からどの物体をピックするかを決定するように構成される。また、個々のロボットＲ１、Ｒ２は、対象コンベヤ上にある目標位置上にプレースされた後の物体の画像を提供するように構成された別個の画像システムを有してもよい。
【0111】
図示の例では、送りコンベヤＦＣと目標コンベヤＴＣとは、互いに平行に配置され、反対方向に物体を移送するように構成される（黒矢印で示す）。
【0112】
図８は、別のマルチピックアンドプレースロボットシステムの例を示す。ここで、８つのガントリ型ピックアンドプレースロボットＲが、共通の送りコンベヤＦＣに沿って構成され、送りコンベヤＦＣ上のそれぞれの把持領域から物体をピックし、それと対になって、仕分け機（図示せず）上に物体を移送して誘導する４つの並列誘導部Ｉ１、Ｉ２、Ｉ３、Ｉ４上に個別にされた物体をプレースするように構成される。図７と同様に、８つのロボットは前述のようなものであり得、グリッパは、回転及び傾斜するように構成され、４つの吸着カップは、到着する物体の形状及びサイズに適合するように制御可能な構成にされる。８つのロボットは、単一の上流の画像システムを共有してもよいし、８つのロボットは、別個の上流の画像システムを有して、各ロボットの上流で実際に到着した物体のばら荷の画像を提供してもよい。
【0113】
まとめると、本発明は、連続的に移動するばら荷（例えば、立体的なばら荷）の物体の流れからランダムな形状及びサイズの物体をピックし、誘導部上に、又は直接仕分け機上に物体を個別にして並べてプレースするためのロボットシステムを提供する。ピックアンドプレースロボットは、様々な物体にグリッパを適合させるために、その把持部材（例えば、４つの吸着カップ）の制御可能な把持構成で、グリッパを移動するためのロボットアクチュエータを有する。制御システムは、ピックアンドプレースロボットの位置の上流にある物体の三次元画像を処理し、三次元画像において別個の物体を識別し、三次元画像から決定された識別された別個の物体のパラメータに基づいて、把持対象の物体を選択する。把持対象の選択された物体のサイズ及び形状などに基づいて、グリッパの把持構成が最適な把持のために把持対象の物体の表面に合うように調整される。次いで、ロボットアクチュエータ（例えば、ガントリ型ロボットアクチュエータ）は、物体を把持する位置までグリッパを移動させた後、把持された物体と共にグリッパを目標位置まで移動させて目標姿勢で物体の把持を解放し、誘導部上に、又は直接仕分け機上に物体をプレースするように制御される。物体をプレースした後の画像は、三次元画像から決定された物体の特性と共に、ロボットシステムのピックアンドプレース性能をオンラインで改善するため（例えば、ピック対象の物体を選択するため、また物体に合う適切な把持構成を選択するためのアルゴリズムをオンラインで改善するため）の機械学習への入力として使用され得る。
【0114】
以下に、いくつかの実施形態を記載する。
【0115】
Ｅ１．
ばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体をプレースするように構成されたロボットシステムであって、本システムが、
ピックアンドプレースロボットであって、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、ピックアンドプレースロボットと、
ピックアンドプレースロボットの位置の上流にある物体の画像を提供するように構成されたセンサシステムと、
前記画像を受信し、制御アルゴリズムを実行するように構成された制御システムであって、制御アルゴリズムが、
前記画像に応じて物体を識別し、
識別された物体のうちのどの物体を把持するかを選択し、
前記画像から決定された選択された物体の特性に応じて、複数の把持部材の把持構成を制御し、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御し、選択された物体を把持するように制御可能なグリッパを制御し、
物体を移動し、目標位置において物体を解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御する
ように構成される、制御システムと
を備える、ロボットシステム。
ばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体をプレースするように構成されたロボットシステムであって、本システムが、
ピックアンドプレースロボットであって、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパであって、複数の把持部材が制御可能な把持構成に構成される、制御可能なグリッパと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータと
を備える、ピックアンドプレースロボットと、
ピックアンドプレースロボットの位置の上流にある物体の画像を提供するように構成されたセンサシステムと、
前記画像を受信し、制御アルゴリズムを実行するように構成された制御システムであって、制御アルゴリズムが、
前記画像に応じて物体を識別し、
識別された物体のうちのどの物体を把持するかを選択し、
前記画像から決定された選択された物体の特性に応じて、複数の把持部材の把持構成を制御し、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御し、選択された物体を把持するように制御可能なグリッパを制御し、
物体を移動し、目標位置において物体を解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御する
ように構成される、制御システムと
を備える、ロボットシステム。
【0116】
Ｅ２．
制御可能なロボットアクチュエータが、ガントリ型のロボットアクチュエータなど、直交型のロボットアクチュエータを含む、Ｅ１に記載のロボットシステム。
制御可能なロボットアクチュエータが、ガントリ型のロボットアクチュエータなど、直交型のロボットアクチュエータを含む、Ｅ１に記載のロボットシステム。
【0117】
Ｅ３．
制御可能なロボットアクチュエータが、物体がピックアップされた後、連続的に動く仕分け機の方向に物体を加速し、目標位置において、仕分け機の速度で、又は仕分け機の速度と略同じ速度で直接仕分け機上に物体を個別にしてプレースするように構成される、Ｅ１又はＥ２に記載のロボットシステム。
制御可能なロボットアクチュエータが、物体がピックアップされた後、連続的に動く仕分け機の方向に物体を加速し、目標位置において、仕分け機の速度で、又は仕分け機の速度と略同じ速度で直接仕分け機上に物体を個別にしてプレースするように構成される、Ｅ１又はＥ２に記載のロボットシステム。
【0118】
Ｅ４．
センサシステムが、ピックアンドプレースロボットの位置の上流にあり、ピックアンドプレースロボットから離れた固定領域をカバーする静止画像を提供するように構成される、Ｅ１～Ｅ３のいずれか１つに記載のロボットシステム。
センサシステムが、ピックアンドプレースロボットの位置の上流にあり、ピックアンドプレースロボットから離れた固定領域をカバーする静止画像を提供するように構成される、Ｅ１～Ｅ３のいずれか１つに記載のロボットシステム。
【0119】
Ｅ５．
センサシステムが三次元画像を提供するように構成される、Ｅ１～Ｅ４のいずれか１つに記載のロボットシステム。
センサシステムが三次元画像を提供するように構成される、Ｅ１～Ｅ４のいずれか１つに記載のロボットシステム。
【0120】
Ｅ６．
センサシステムが、移動する物体の流れの上方にある固定位置に配置されたカメラシステムを備える、Ｅ１～Ｅ５のいずれか１つに記載のロボットシステム。
センサシステムが、移動する物体の流れの上方にある固定位置に配置されたカメラシステムを備える、Ｅ１～Ｅ５のいずれか１つに記載のロボットシステム。
【0121】
Ｅ７．
制御可能なグリッパによってピックアップされた後の物体の高さを感知するように構成されたセンサであって、制御システムが、前記センサに接続され、物体の高さを示す情報を受信し、制御システムが、物体の高さを示す前記情報に応じて、目標位置の上方のある高さでの物体の把持の解放を制御するように構成される、センサを備える、Ｅ１～Ｅ６のいずれか１つに記載のロボットシステム。
制御可能なグリッパによってピックアップされた後の物体の高さを感知するように構成されたセンサであって、制御システムが、前記センサに接続され、物体の高さを示す情報を受信し、制御システムが、物体の高さを示す前記情報に応じて、目標位置の上方のある高さでの物体の把持の解放を制御するように構成される、センサを備える、Ｅ１～Ｅ６のいずれか１つに記載のロボットシステム。
【0122】
Ｅ８．
目標位置にプレースされた後の物体の画像を提供するように構成されたセンサを備える、Ｅ１～Ｅ７のいずれか１つに記載のロボットシステム。
目標位置にプレースされた後の物体の画像を提供するように構成されたセンサを備える、Ｅ１～Ｅ７のいずれか１つに記載のロボットシステム。
【0123】
Ｅ９．
制御システムが、目標位置にプレースされた後の物体の画像を、センサシステムによって提供された物体の画像における物体と比較するように構成される、Ｅ８に記載のロボットシステム。
制御システムが、目標位置にプレースされた後の物体の画像を、センサシステムによって提供された物体の画像における物体と比較するように構成される、Ｅ８に記載のロボットシステム。
【0124】
Ｅ１０．
制御システムが、目標位置に対する物体の少なくとも位置を決定するために、目標位置にプレースされた後の物体の前記画像を処理するように構成され、制御システムが、目標位置に対して物体の少なくとも位置を比較し、物体の位置が目標位置から所定の閾値を超えて逸脱しているか否かを判定するように構成される、Ｅ９に記載のロボットシステム。
制御システムが、目標位置に対する物体の少なくとも位置を決定するために、目標位置にプレースされた後の物体の前記画像を処理するように構成され、制御システムが、目標位置に対して物体の少なくとも位置を比較し、物体の位置が目標位置から所定の閾値を超えて逸脱しているか否かを判定するように構成される、Ｅ９に記載のロボットシステム。
【0125】
Ｅ１１．
制御システムが、目標位置にプレースされた後の物体の画像と、センサシステムによって提供された物体の画像における物体との間の前記比較に応じて出力を生成するように構成される、Ｅ９又はＥ１０に記載のロボットシステム。
制御システムが、目標位置にプレースされた後の物体の画像と、センサシステムによって提供された物体の画像における物体との間の前記比較に応じて出力を生成するように構成される、Ｅ９又はＥ１０に記載のロボットシステム。
【0126】
Ｅ１２．
制御システムが、目標位置にプレースされた後の複数の物体の画像に応じて、ロボットシステムのピックアンドプレース性能を示す出力を提供するように構成される、Ｅ９～Ｅ１１のいずれか１つに記載のロボットシステム。
制御システムが、目標位置にプレースされた後の複数の物体の画像に応じて、ロボットシステムのピックアンドプレース性能を示す出力を提供するように構成される、Ｅ９～Ｅ１１のいずれか１つに記載のロボットシステム。
【0127】
Ｅ１３．
制御システムが、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成される、Ｅ９～Ｅ１２のいずれか１つに記載のロボットシステム。
制御システムが、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成される、Ｅ９～Ｅ１２のいずれか１つに記載のロボットシステム。
【0128】
Ｅ１４．
制御システムが、目標位置にプレースされた後の物体の複数の画像に基づいて、目標位置にプレースされる成功率が高い又は低い物体の画像における特性を学習するように構成された学習アルゴリズムを含む、Ｅ１３に記載のロボットシステム。
制御システムが、目標位置にプレースされた後の物体の複数の画像に基づいて、目標位置にプレースされる成功率が高い又は低い物体の画像における特性を学習するように構成された学習アルゴリズムを含む、Ｅ１３に記載のロボットシステム。
【0129】
Ｅ１５．
制御システムが、前記学習アルゴリズムに応じて、識別された物体のうちのどの物体を把持するかを選択するように構成される、請求項Ｅ１４に記載のロボットシステム。
制御システムが、前記学習アルゴリズムに応じて、識別された物体のうちのどの物体を把持するかを選択するように構成される、請求項Ｅ１４に記載のロボットシステム。
【0130】
Ｅ１６．
前記特性が、向き、寸法、及びタイプ識別情報のうちの１つ又は複数を含む、Ｅ１４又はＥ１５に記載のロボットシステム。
前記特性が、向き、寸法、及びタイプ識別情報のうちの１つ又は複数を含む、Ｅ１４又はＥ１５に記載のロボットシステム。
【0131】
Ｅ１７．
制御アルゴリズムが、ロボットシステムのピックアンドプレース性能を改善するために制御アルゴリズムの１つ又は複数の部分を訓練するために、目標位置にプレースされた後の物体の画像を処理するための人工知能アルゴリズム及び／又はニューラルネットワークアルゴリズムを含む少なくとも１つのアルゴリズム部分を含む、Ｅ１４～Ｅ１６のいずれか１つに記載のロボットシステム。
制御アルゴリズムが、ロボットシステムのピックアンドプレース性能を改善するために制御アルゴリズムの１つ又は複数の部分を訓練するために、目標位置にプレースされた後の物体の画像を処理するための人工知能アルゴリズム及び／又はニューラルネットワークアルゴリズムを含む少なくとも１つのアルゴリズム部分を含む、Ｅ１４～Ｅ１６のいずれか１つに記載のロボットシステム。
【0132】
Ｅ１８．
制御可能なグリッパが、
ロボットアクチュエータ上に取り付けられるように構成された基部部分と、
基部部分に取り付けられた少なくとも２本のアームであって、各アームが、
アームの遠位端に、又は遠位端付近に構成された把持部材であって、把持部材が物体を把持するために物体と係合するように構成される、把持部材を有し、
アームが基部部分に対する把持部材の位置に関して制御可能に調整されることを可能にするために、制御可能なアクチュエータによって作動される基部部分に対して、その長さに沿ってスライド可能に構成される、少なくとも２本のアームと
を備え、
把持部材が少なくともサイズに関して様々な把持構成を形成することを可能にするために、少なくとも２本のアームが基部部分に対して異なる方向にスライド可能に構成される、請求項Ｅ１～Ｅ１７のいずれか１つに記載のロボットシステム。
制御可能なグリッパが、
ロボットアクチュエータ上に取り付けられるように構成された基部部分と、
基部部分に取り付けられた少なくとも２本のアームであって、各アームが、
アームの遠位端に、又は遠位端付近に構成された把持部材であって、把持部材が物体を把持するために物体と係合するように構成される、把持部材を有し、
アームが基部部分に対する把持部材の位置に関して制御可能に調整されることを可能にするために、制御可能なアクチュエータによって作動される基部部分に対して、その長さに沿ってスライド可能に構成される、少なくとも２本のアームと
を備え、
把持部材が少なくともサイズに関して様々な把持構成を形成することを可能にするために、少なくとも２本のアームが基部部分に対して異なる方向にスライド可能に構成される、請求項Ｅ１～Ｅ１７のいずれか１つに記載のロボットシステム。
【0133】
Ｅ１９．
基部部分に取り付けられた４本の細長いアームであって、４本のアームが、４つの把持部材が様々な把持四角形サイズを形成することを可能にするために、基部部分に対して異なる方向にスライド可能に構成される、４本の細長いアームを備える、Ｅ１８に記載のロボットシステム。
基部部分に取り付けられた４本の細長いアームであって、４本のアームが、４つの把持部材が様々な把持四角形サイズを形成することを可能にするために、基部部分に対して異なる方向にスライド可能に構成される、４本の細長いアームを備える、Ｅ１８に記載のロボットシステム。
【0134】
Ｅ２０．
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームのそれぞれについて別個の制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームのそれぞれについて別個の制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
【0135】
Ｅ２１．
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームを作動させるために単一の制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームを作動させるために単一の制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
【0136】
Ｅ２２．
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームの制御のために少なくとも２つの制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
制御アルゴリズムが、前記画像に応じて選択された物体を把持するために制御可能なグリッパの複数のアームの制御のために少なくとも２つの制御可能なアクチュエータを制御するように構成される、Ｅ１８又はＥ１９に記載のロボットシステム。
【0137】
Ｅ２３．
各アームが、アームの遠位端に、又は遠位端付近に取り付けられた吸着カップを有する、Ｅ１８～Ｅ２２のいずれか１つに記載のロボットシステム。
各アームが、アームの遠位端に、又は遠位端付近に取り付けられた吸着カップを有する、Ｅ１８～Ｅ２２のいずれか１つに記載のロボットシステム。
【0138】
Ｅ２４．
吸着カップに真空を適用するために接続された制御可能な真空システムであって、制御システムが、物体を把持するために吸着カップに真空を適用するタイミングを制御するため、また物体を解放するために真空を中断するタイミングを制御するために、制御可能な真空システムを制御するように構成される、制御可能な真空システムを備える、Ｅ２３に記載のロボットシステム。
吸着カップに真空を適用するために接続された制御可能な真空システムであって、制御システムが、物体を把持するために吸着カップに真空を適用するタイミングを制御するため、また物体を解放するために真空を中断するタイミングを制御するために、制御可能な真空システムを制御するように構成される、制御可能な真空システムを備える、Ｅ２３に記載のロボットシステム。
【0139】
Ｅ２５．
基部部分が、基部部分が回転軸を中心として制御可能な回転を行うことができるように、制御可能な回転要素を介してロボットに取り付けられ、基部部分が、更に、基部部分が傾斜軸を中心として制御可能な傾斜を行うことができるように、制御可能な傾斜要素を介してロボットアクチュエータに取り付けられる、Ｅ１８～Ｅ２４のいずれか１つに記載のロボットシステム。
基部部分が、基部部分が回転軸を中心として制御可能な回転を行うことができるように、制御可能な回転要素を介してロボットに取り付けられ、基部部分が、更に、基部部分が傾斜軸を中心として制御可能な傾斜を行うことができるように、制御可能な傾斜要素を介してロボットアクチュエータに取り付けられる、Ｅ１８～Ｅ２４のいずれか１つに記載のロボットシステム。
【0140】
Ｅ２６．
制御システムが、物体を把持するための準備をするために把持部材に所定の把持構成を形成させるように、制御可能なグリッパを制御するように構成される、請求項Ｅ１８～Ｅ２５のいずれか１つに記載のロボットシステム。
制御システムが、物体を把持するための準備をするために把持部材に所定の把持構成を形成させるように、制御可能なグリッパを制御するように構成される、請求項Ｅ１８～Ｅ２５のいずれか１つに記載のロボットシステム。
【0141】
Ｅ２７．
制御システムの制御アルゴリズムが、前記画像から決定された複数の入力に応じて、ピック対象の選択された物体を把持するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成され、前記複数の入力が、物体の形状、物体の水平方向の境界、物体のサイズ、物体の向き、物体の上面曲率、及び物体の表面粗さに関する情報のうちの少なくとも１つを含み、制御アルゴリズムが、物体を把持するために制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって複数の入力を処理する、Ｅ１～Ｅ２６のいずれか１つに記載のロボットシステム。
制御システムの制御アルゴリズムが、前記画像から決定された複数の入力に応じて、ピック対象の選択された物体を把持するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成され、前記複数の入力が、物体の形状、物体の水平方向の境界、物体のサイズ、物体の向き、物体の上面曲率、及び物体の表面粗さに関する情報のうちの少なくとも１つを含み、制御アルゴリズムが、物体を把持するために制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって複数の入力を処理する、Ｅ１～Ｅ２６のいずれか１つに記載のロボットシステム。
【0142】
Ｅ２８．
制御アルゴリズムが、前記複数の入力に応じて、複数の把持部材の把持構成を制御するように構成される、Ｅ２７に記載のロボットシステム。
制御アルゴリズムが、前記複数の入力に応じて、複数の把持部材の把持構成を制御するように構成される、Ｅ２７に記載のロボットシステム。
【0143】
Ｅ２９．
制御アルゴリズムが、把持対象の物体の検出された傾斜及び回転に応じて、制御可能なグリッパの傾斜及び回転を制御するように構成される、Ｅ２７又はＥ２８に記載のロボットシステム。
制御アルゴリズムが、把持対象の物体の検出された傾斜及び回転に応じて、制御可能なグリッパの傾斜及び回転を制御するように構成される、Ｅ２７又はＥ２８に記載のロボットシステム。
【0144】
Ｅ３０．
前記複数の入力が、皺のある領域の場所、平坦な表面部分の場所、上面の傾斜の角度及び向きのうちの１つ又は複数に関する物体の上面に関する情報を含む、Ｅ２７～Ｅ２９のいずれか１つに記載のロボットシステム。
前記複数の入力が、皺のある領域の場所、平坦な表面部分の場所、上面の傾斜の角度及び向きのうちの１つ又は複数に関する物体の上面に関する情報を含む、Ｅ２７～Ｅ２９のいずれか１つに記載のロボットシステム。
【0145】
Ｅ３１．
制御アルゴリズムが、物体の平坦な表面を有する領域に少なくとも１つの把持部材を配置するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成される、Ｅ３０に記載のロボットシステム。
制御アルゴリズムが、物体の平坦な表面を有する領域に少なくとも１つの把持部材を配置するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成される、Ｅ３０に記載のロボットシステム。
【0146】
Ｅ３２．
制御アルゴリズムが、物体が矩形形状の平坦な表面を有することが検出された場合に物体の４つすべての角部付近に把持部材を配置するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成される、請求項Ｅ２７～Ｅ３１のいずれか１つに記載のロボットシステム。
制御アルゴリズムが、物体が矩形形状の平坦な表面を有することが検出された場合に物体の４つすべての角部付近に把持部材を配置するように、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するように構成される、請求項Ｅ２７～Ｅ３１のいずれか１つに記載のロボットシステム。
【0147】
Ｅ３３．
制御システムが、学習アルゴリズムにしたがって前記複数の入力と共に、プレースされた後の物体の複数の前記画像を処理し、それに応じて、物体を把持するために、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって前記複数の入力の処理に関して制御アルゴリズムを変更するように構成される、Ｅ１３若しくはＥ４又はＥ２７～Ｅ３２のいずれか１つに記載のロボットシステム。
制御システムが、学習アルゴリズムにしたがって前記複数の入力と共に、プレースされた後の物体の複数の前記画像を処理し、それに応じて、物体を把持するために、制御可能なロボットアクチュエータ及び制御可能なグリッパを制御するための制御パラメータに到達するように、所定のアルゴリズムにしたがって前記複数の入力の処理に関して制御アルゴリズムを変更するように構成される、Ｅ１３若しくはＥ４又はＥ２７～Ｅ３２のいずれか１つに記載のロボットシステム。
【0148】
Ｅ３４．
制御アルゴリズムが、
前記画像を解析し、識別された複数の物体を示す複数の異なるパラメータを抽出し、
所定のスコアアルゴリズムにしたがって、前記複数の異なるパラメータに応じて識別された複数の物体のそれぞれについてスコア値を計算し、
前記スコア値を比較し、前記比較の結果に応じて把持対象の物体を選択する
ように構成される物体選択アルゴリズムにしたがって、識別された物体のうちのどの物体を把持するかを選択するように構成される、Ｅ１～Ｅ３３のいずれか１つに記載のロボットシステム。
制御アルゴリズムが、
前記画像を解析し、識別された複数の物体を示す複数の異なるパラメータを抽出し、
所定のスコアアルゴリズムにしたがって、前記複数の異なるパラメータに応じて識別された複数の物体のそれぞれについてスコア値を計算し、
前記スコア値を比較し、前記比較の結果に応じて把持対象の物体を選択する
ように構成される物体選択アルゴリズムにしたがって、識別された物体のうちのどの物体を把持するかを選択するように構成される、Ｅ１～Ｅ３３のいずれか１つに記載のロボットシステム。
【0149】
Ｅ３５．
識別された複数の物体のそれぞれを示す前記複数の異なるパラメータが、物体とグリッパの現在位置との間の距離、物体と物体をプレースする目標位置との間の距離、物体の上面の質感、物体の上面の曲率、物体の上面からの傾斜、周囲の物体の高さと比較した物体の上面の高さ、物体の寸法、物体のタイプ、物体の形状、及び物体をカバーする前記画像の一部の品質のうちの少なくとも１つを含み、制御アルゴリズムが、各物体について、所定のテーブルにしたがって、前記複数の異なるパラメータのそれぞれについてパラメータ値を割り当てるように構成され、制御アルゴリズムが、割り当てられたパラメータ値に応じて、各物体についての総合スコア値を計算するように構成される、Ｅ３４に記載のロボットシステム。
識別された複数の物体のそれぞれを示す前記複数の異なるパラメータが、物体とグリッパの現在位置との間の距離、物体と物体をプレースする目標位置との間の距離、物体の上面の質感、物体の上面の曲率、物体の上面からの傾斜、周囲の物体の高さと比較した物体の上面の高さ、物体の寸法、物体のタイプ、物体の形状、及び物体をカバーする前記画像の一部の品質のうちの少なくとも１つを含み、制御アルゴリズムが、各物体について、所定のテーブルにしたがって、前記複数の異なるパラメータのそれぞれについてパラメータ値を割り当てるように構成され、制御アルゴリズムが、割り当てられたパラメータ値に応じて、各物体についての総合スコア値を計算するように構成される、Ｅ３４に記載のロボットシステム。
【0150】
Ｅ３６．
制御システムが、識別された複数の物体のうちのどの物体を把持するかを決定するステップに関して、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成され、制御システムが、ピックアンドプレース性能を改善するために、目標位置にプレースされた後の物体の複数の画像に基づいて、前記所定のスコアアルゴリズムにおける１つ又は複数のパラメータを変更するように構成された学習アルゴリズムを含む、Ｅ１３又はＥ１４及びＥ３４又はＥ３５のいずれか１つに記載のロボットシステム。
制御システムが、識別された複数の物体のうちのどの物体を把持するかを決定するステップに関して、目標位置にプレースされた後の物体の前記画像を制御アルゴリズムへのフィードバックとして提供するように構成され、制御システムが、ピックアンドプレース性能を改善するために、目標位置にプレースされた後の物体の複数の画像に基づいて、前記所定のスコアアルゴリズムにおける１つ又は複数のパラメータを変更するように構成された学習アルゴリズムを含む、Ｅ１３又はＥ１４及びＥ３４又はＥ３５のいずれか１つに記載のロボットシステム。
【0151】
Ｅ３７．
連続的に移動するばら荷の物体の流れとしてばら荷の物体を受け入れるように構成され、移動するばら荷の物体から選択された物体を把持するように構成される、Ｅ１～Ｅ３６のいずれか１つに記載のロボットシステム。
連続的に移動するばら荷の物体の流れとしてばら荷の物体を受け入れるように構成され、移動するばら荷の物体から選択された物体を把持するように構成される、Ｅ１～Ｅ３６のいずれか１つに記載のロボットシステム。
【0152】
Ｅ３８．
物体のばら荷を受け入れ、すべての物体をピックしてプレースした後に別の物体のばら荷を受け入れるように構成される、Ｅ１～Ｅ３６のいずれか１つに記載のロボットシステム。
物体のばら荷を受け入れ、すべての物体をピックしてプレースした後に別の物体のばら荷を受け入れるように構成される、Ｅ１～Ｅ３６のいずれか１つに記載のロボットシステム。
【0153】
Ｅ３９．
目標位置において、物体を個別にしてプレースするように構成される、Ｅ１～Ｅ３８のいずれか１つに記載のロボットシステム。
目標位置において、物体を個別にしてプレースするように構成される、Ｅ１～Ｅ３８のいずれか１つに記載のロボットシステム。
【0154】
Ｅ４０．
目標位置において、向きを揃えて物体をプレースするように構成される、Ｅ１～Ｅ３９のいずれか１つに記載のロボットシステム。
目標位置において、向きを揃えて物体をプレースするように構成される、Ｅ１～Ｅ３９のいずれか１つに記載のロボットシステム。
【0155】
Ｅ４１．
連続的に動くように構成されるコンベヤなど、様々な形状及びサイズの物体をばら荷で移送するコンベヤと、
個別にされた物体を受け入れるように構成された仕分け機と、
コンベヤからピックアップし、仕分け機への誘導部上に、又は直接仕分け機上に個別にされた物体をプレースするように構成された、Ｅ１～Ｅ３９のいずれか１つに記載の第１のロボットシステムと
を備える、仕分け機システム。
連続的に動くように構成されるコンベヤなど、様々な形状及びサイズの物体をばら荷で移送するコンベヤと、
個別にされた物体を受け入れるように構成された仕分け機と、
コンベヤからピックアップし、仕分け機への誘導部上に、又は直接仕分け機上に個別にされた物体をプレースするように構成された、Ｅ１～Ｅ３９のいずれか１つに記載の第１のロボットシステムと
を備える、仕分け機システム。
【0156】
Ｅ４２．
第１のロボットシステムが、仕分け機が一定の速度で動くときに、直接仕分け機上に物体をプレースするように構成される、Ｅ４１に記載の仕分け機システム。
第１のロボットシステムが、仕分け機が一定の速度で動くときに、直接仕分け機上に物体をプレースするように構成される、Ｅ４１に記載の仕分け機システム。
【0157】
Ｅ４３．
第１のロボットシステムが、仕分け機が一定の速度で動くときに、仕分け機への誘導部上に物体をプレースするように構成される、Ｅ４１に記載の仕分け機システム。
第１のロボットシステムが、仕分け機が一定の速度で動くときに、仕分け機への誘導部上に物体をプレースするように構成される、Ｅ４１に記載の仕分け機システム。
【0158】
Ｅ４４．
コンベヤが連続的に動くように構成される、Ｅ４１～Ｅ４３のいずれか１つに記載の仕分け機システム。
コンベヤが連続的に動くように構成される、Ｅ４１～Ｅ４３のいずれか１つに記載の仕分け機システム。
【0159】
Ｅ４５．
コンベヤと仕分け機とが互いに隣接して配置され、コンベヤが仕分け機の第１の側に向く第１の側を有し、制御可能なロボットアクチュエータが、第１の支持部がコンベヤの第２の側の位置にあり、第２の支持部が仕分け機の第２の側の位置にある状態で配置されたガントリ型又は直交型のロボットアクチュエータを備える、Ｅ４１～Ｅ４４のいずれか１つに記載の仕分け機システム。
コンベヤと仕分け機とが互いに隣接して配置され、コンベヤが仕分け機の第１の側に向く第１の側を有し、制御可能なロボットアクチュエータが、第１の支持部がコンベヤの第２の側の位置にあり、第２の支持部が仕分け機の第２の側の位置にある状態で配置されたガントリ型又は直交型のロボットアクチュエータを備える、Ｅ４１～Ｅ４４のいずれか１つに記載の仕分け機システム。
【0160】
Ｅ４６．
Ｅ１～Ｅ４０のいずれか１つに記載の第２のピックアンドプレースロボットシステムであって、第２のロボットシステムが、第１のロボットシステムと比較してコンベヤの下流に配置される、第２のピックアンドプレースロボットシステムを備える、Ｅ４１～Ｅ４５のいずれか１つに記載の仕分け機システム。
Ｅ１～Ｅ４０のいずれか１つに記載の第２のピックアンドプレースロボットシステムであって、第２のロボットシステムが、第１のロボットシステムと比較してコンベヤの下流に配置される、第２のピックアンドプレースロボットシステムを備える、Ｅ４１～Ｅ４５のいずれか１つに記載の仕分け機システム。
【0161】
Ｅ４７．
郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するためのＥ１～Ｅ４０のいずれか１つに記載のロボットシステムの使用法。
郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するためのＥ１～Ｅ４０のいずれか１つに記載のロボットシステムの使用法。
【0162】
Ｅ４８．
郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するための請求項Ｅ４１～Ｅ４６のいずれか１つに記載の仕分け機システムの使用法。
郵便物、小包、荷物、倉庫流通で扱われるアイテム、及び通販流通センタで扱われるアイテムのうちの少なくとも１つを含む物体を処理するための請求項Ｅ４１～Ｅ４６のいずれか１つに記載の仕分け機システムの使用法。
【0163】
Ｅ４９．
連続的に移動するばら荷の物体の流れなどのばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体をプレースするための方法であって、本方法が、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを提供することであって、把持部材が制御可能な把持構成に構成される、ことと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供することと、
制御可能なロボットアクチュエータの位置の上流にある移動する物体の流れの物体の画像を提供することと、
画像内の物体を識別するために画像を処理することと、
識別された物体のうちのどの物体を把持するかを選択することと、
画像に応じて選択された物体の特性を決定することと、
選択された物体の前記特性に応じて、把持部材の把持構成を制御することと、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御することと、
選択された物体を把持するように制御可能なグリッパを制御することと、
物体を移動し、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体を（例えば、個別にして及び／又は向きを揃えて）解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御することと
を含む、方法。
連続的に移動するばら荷の物体の流れなどのばら荷の物体から物体をピックし、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体をプレースするための方法であって、本方法が、
物体を把持するために物体の表面と係合するように構成された複数の把持部材を備える制御可能なグリッパを提供することであって、把持部材が制御可能な把持構成に構成される、ことと、
制御可能なグリッパを移動するように構成された制御可能なロボットアクチュエータを提供することと、
制御可能なロボットアクチュエータの位置の上流にある移動する物体の流れの物体の画像を提供することと、
画像内の物体を識別するために画像を処理することと、
識別された物体のうちのどの物体を把持するかを選択することと、
画像に応じて選択された物体の特性を決定することと、
選択された物体の前記特性に応じて、把持部材の把持構成を制御することと、
選択された物体を把持するための位置に制御可能なグリッパを移動するように制御可能なロボットアクチュエータを制御することと、
選択された物体を把持するように制御可能なグリッパを制御することと、
物体を移動し、目標位置において、仕分け機への誘導部上に、又は直接仕分け機上に物体を（例えば、個別にして及び／又は向きを揃えて）解放するように制御可能なロボットアクチュエータ及び制御可能なグリッパを制御することと
を含む、方法。
【0164】
Ｅ５０．
ばら荷の物体が移動している間に、ばら荷の物体から選択された物体を把持するように制御可能なグリッパを制御することを含む、Ｅ４８に記載の方法。
ばら荷の物体が移動している間に、ばら荷の物体から選択された物体を把持するように制御可能なグリッパを制御することを含む、Ｅ４８に記載の方法。
【0165】
Ｅ５１．
静止しているばら荷の物体から選択された物体を把持するように制御可能なグリッパを制御することを含む、Ｅ４８又はＥ４９に記載の方法。
静止しているばら荷の物体から選択された物体を把持するように制御可能なグリッパを制御することを含む、Ｅ４８又はＥ４９に記載の方法。
【0166】
本発明は、指定された実施形態に関連して説明されてきたが、いかなる仕方であっても、提示された例に限定されるものと解釈されるべきではない。本発明の範囲は、添付の特許請求の範囲に照らして解釈されるものとする。特許請求の範囲に関連して、用語「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」又は「含む（ｃｏｍｐｒｉｓｅｓ）」は、他の可能な要素又はステップを排除するものではない。また、「ａ」や「ａｎ」などの記載は、複数を排除するものと解釈されるべきではない。また、図示された要素に関して特許請求の範囲に参照符号を使用することは、本発明の範囲を限定するものと解釈されてはならない。更に、異なる請求項に記載された個々の特徴は、場合により有利に組み合わされてもよく、これらの特徴が異なる請求項に記載されることは、特徴の組み合わせが可能でなく有利でないことを排除するものではない。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8】
【国際調査報告】