特表 2024-539841 協働的にアイテムをピックアンドプレースするための複数のロボットの制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】協働的にアイテムをピックアンドプレースするための複数のロボットの制御

(51)【国際特許分類】

   B25J 13/00 20060101AFI20241024BHJP

   B25J 13/08 20060101ALI20241024BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 A

B25J13/08 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024519814

(86)(22)【出願日】2022-11-01

(85)【翻訳文提出日】2024-05-23

(86)【国際出願番号】 US2022048577

(87)【国際公開番号】W WO2023076726

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/274,465

(32)【優先日】2021-11-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521105662

【氏名又は名称】デクステリティ・インコーポレーテッド

【氏名又は名称原語表記】ＤＥＸＴＥＲＩＴＹ，ＩＮＣ．

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】サン・チョウエン

(72)【発明者】

【氏名】クルカーニ・ロフン

(72)【発明者】

【氏名】モリス－ダウニング・タルボット

(72)【発明者】

【氏名】スー・ハリー・ツェ

(72)【発明者】

【氏名】メノン・サミア

(72)【発明者】

【氏名】チャベス・ケヴィン・ホセ

(72)【発明者】

【氏名】ホルムバーグ・ロバート

(72)【発明者】

【氏名】アルヴァーヨ・アルベルト・レイヴァ

(72)【発明者】

【氏名】ベイカー・トビー・レオナルド

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707DS01

3C707FS01

3C707JS02

3C707JS07

3C707JU03

3C707KS31

3C707KT01

3C707KT02

3C707KT03

3C707KT06

3C707KT15

3C707KW01

3C707KW03

3C707LS15

3C707LV02

3C707MS05

(57)【要約】

【解決手段】物体を協働的にピックアンドプレースするよう複数のロボットを制御するためのロボットシステムが開示されている。様々な実施形態において、ロボットシステムは、第１エンドエフェクタを有する第１ロボットアームと、第２エンドエフェクタを有する第２ロボットアームと、第１ロボットアームおよび第２ロボットアームを用いて、複数の物体の内の１または複数をピックアンドプレースするよう協働的に作業することを含む、第１ロボットアームおよび第２ロボットアームを用いて複数の物体をピックアンドプレースするよう構成されている制御コンピュータと、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットシステムであって、
第１エンドエフェクタを有する第１ロボットアームと、
第２エンドエフェクタを有する第２ロボットアームと、
前記第１ロボットアームおよび前記第２ロボットアームを用いて、複数の物体の内の１または複数をピックアンドプレースするよう協働的に作業することを含む、前記第１ロボットアームおよび前記第２ロボットアームを用いて前記複数の物体をピックアンドプレースするよう構成されている制御コンピュータと、
を備える、システム。

【請求項2】

請求項１に記載のシステムであって、さらに、前記第１ロボットアームおよび前記第２ロボットアームが配置されている作業空間に関連付けられている画像データを生成するために配置されているカメラを備える、システム。

【請求項3】

請求項２に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームを用いて、所与の物体をピックアンドプレースするよう協働的に作業することを決定するために、前記画像データを利用するよう構成されている、システム。

【請求項4】

請求項３に記載のシステムであって、前記決定は、前記画像データを用いて直接的または間接的に決定された前記物体の属性に少なくとも部分的に基づく、システム。

【請求項5】

請求項１に記載のシステムであって、前記制御コンピュータは、２以上のノードに分散された２以上のプロセッサを含む、システム。

【請求項6】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームの各々のための個別のロボットコントローラと、前記物体の内の前記１または複数を協働的にピックアンドプレースするために前記第２ロボットアームと協働する前記第１ロボットアームの動作を調整するよう構成されているより高いレベルのコントローラとを備える階層プランナを実行する、システム。

【請求項7】

請求項１に記載のシステムであって、所与のアイテムを協働的にピックアンドプレースするための所与のタスクを実行するために、前記第１ロボットアームはリーダーモードで動作され、前記第２ロボットアームはフォロワーモードで動作される、システム。

【請求項8】

請求項７に記載のシステムであって、前記第１ロボットアームは、前記リーダーモードの時、協働的にピックアンドプレースされる所与の物体を移動させる軌道を独立的に計画し、前記所与の物体を把持し、前記計画された軌道に沿って前記所与の物体を移動させるよう構成されている、システム。

【請求項9】

請求項８に記載のシステムであって、前記第２ロボットアームは、前記フォロワーモードの時、前記所与の物体を把持し、前記第１エンドエフェクタの位置および向きに少なくとも部分的に基づいて変換を計算し、前記第２ロボットアームが前記所与の物体を移動させる準備ができたことを前記第１ロボットアームに通知するよう構成されている、システム。

【請求項10】

請求項１に記載のシステムであって、前記第１ロボットアームおよび前記第２ロボットアームは、前記物体の内の前記１または複数をピックアンドプレースするよう協働的に作業していない時、物体を個別でピックアンドプレースするよう構成されている、システム。

【請求項11】

請求項１に記載のシステムであって、前記制御コンピュータは、協働的にピックアンドプレースされる所与の物体のより遮られていないビューが、前記所与の物体に関するピックアンドプレースタスクを協働的に実行するために必要であるとの判定に少なくとも部分的に基づいて、カメラまたはその他のセンサから前記所与の物体への視線から前記複数の物体の内の１または複数を移動させるよう構成されている、システム。

【請求項12】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームを用いて所与の物体を協働的にピックアンドプレースするタスクを容易にするために、前記第１ロボットアームおよび前記第２ロボットアームの一方または両方を用いて、前記所与の物体をカメラまたはその他のセンサの視界の中に引き寄せるまたは押し出すよう構成されている、システム。

【請求項13】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームの一方または両方が所与の物体の把持に用いられることを可能にするために、前記第１ロボットアームおよび前記第２ロボットアームの一方または両方を用いて、前記複数の物体の内の１または複数を邪魔にならない所に移動させるよう構成されている、システム。

【請求項14】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームを用いて所与の物体をピックアンドプレースするよう協働的に作業していない時、前記第１ロボットアームおよび前記第２ロボットアームを用いて、前記複数の物体に含まれる物体を交互にピックアンドプレースよう構成されている、システム。

【請求項15】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームまたは前記第２ロボットアームを用いて、前記制御コンピュータにとって見えない位置にある物体に触れることによって把持を行うために、力センサまたはその他の触覚フィードバックを利用するよう構成されている、システム。

【請求項16】

請求項１に記載のシステムであって、前記制御コンピュータは、前記第１ロボットアームおよび前記第２ロボットアームが、ピックアンドプレースタスクを実行している時に前記作業空間において、互いにまたは障害物と衝突しないことを保証するよう構成されている、システム。

【請求項17】

方法であって、
第１ロボットアームおよび第２ロボットアームを用いて、複数の物体の内の１または複数をピックアンドプレースするよう協働的に作業することを含む、前記第１ロボットアームおよび前記第２ロボットアームを用いて前記複数の物体をピックアンドプレースすることを備える、方法。

【請求項18】

請求項１７に記載の方法であって、さらに、前記第１ロボットアームおよび前記第２ロボットアームを用いて、所与の物体をピックアンドプレースするよう協働的に作業することを決定するために、カメラからの画像データを利用することを備える、方法。

【請求項19】

請求項１７に記載の方法であって、前記第１ロボットアームおよび前記第２ロボットアームを用いて、所与の物体をピックアンドプレースするよう協働的に作業することは、前記第１ロボットアームをリーダーモードで利用し、前記第２ロボットアームをフォロワーモードで利用することを含む、方法。

【請求項20】

コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
第１ロボットアームおよび第２ロボットアームを用いて、複数の物体の内の１または複数をピックアンドプレースするよう協働的に作業することを含む、前記第１ロボットアームおよび前記第２ロボットアームを用いて前記複数の物体をピックアンドプレースするためのコンピュータ命令を備える、コンピュータプログラム製品。

【発明の詳細な説明】

【他の出願への相互参照】

【0001】

本願は、２０２１年１１月０１日出願の米国仮特許出願第６３／２７４，４６５号「ＣＯＮＴＲＯＬＬＩＮＧ ＭＵＬＴＩＰＬＥ ＲＯＢＯＴＳ ＴＯ ＣＯＯＰＥＲＡＴＩＶＥＬＹ ＰＩＣＫ ＡＮＤ ＰＬＡＣＥ ＩＴＥＭＳ」に基づく優先権を主張し、その仮特許出願は、すべての目的のために参照により本明細書に組み込まれる。

【背景技術】

【0002】

ロボットが、物体の操作など様々なタスクを実行するために提供されてきた。例えば、エンドエフェクタを有するロボットアームが、アイテムをピックアンドプレースするために利用されうる。かかるロボットの商業的用途の例は、仕分け、キッティング、パレチゼーション、デパレチゼーション、トラックまたはコンテナへの荷積みおよび荷降ろし、などを含む。

【0003】

いくつかの文脈において、操作される物体は、サイズ、重量、パッケージング、および、その他の属性がかなり多様である。典型的には、ロボットアームは、物体の最大サイズ、重量などまでに対応するように定格されている。いくつかの文脈において、従来のアプローチは、操作を求められうる最も大きい、最も重い、および／または、それ以外で最も困難な物体を操作できるロボットアームを必要としうる。

【図面の簡単な説明】

【0004】

以下の詳細な説明および添付の図面において、本発明の様々な実施形態を開示する。

【0005】

【図1】タスクを協働的に実行するように複数のロボットを制御するよう構成されたロボットシステムの一実施形態を示すブロック図。

【0006】

【図2A】本明細書で開されているロボットシステムの一実施形態において実行される協働的ピックアンドプレースタスクの一例を示す図。

【図2B】本明細書で開されているロボットシステムの一実施形態において実行される協働的ピックアンドプレースタスクの一例を示す図。

【図2C】本明細書で開されているロボットシステムの一実施形態において実行される協働的ピックアンドプレースタスクの一例を示す図。

【0007】

【図3】ロボット制御システムの一実施形態を示すブロック図。

【0008】

【図4】タスクを協働的に実行するように複数のロボットを制御するよう構成されたロボットシステムの一実施形態を示す状態図。

【0009】

【図5A】本明細書でロボットシステムの一実施形態において「リーダー」ロボットとしてタスクを協働的に実行するための処理の一実施形態を示すフローチャート。

【0010】

【図5B】本明細書でロボットシステムの一実施形態において「フォロワー」ロボットとしてタスクを協働的に実行するための処理の一実施形態を示すフローチャート。

【0011】

【図6A】２以上のロボットを用いて物体を協働的にピックアンドプレースするよう構成されているロボットシステムの一実施形態を示す図。

【0012】

【図6B】２以上のロボットを用いて物体を協働的にピックアンドプレースするよう構成されているロボットシステムの一実施形態を示す図。

【0013】

【図7】２以上のロボットを用いて物体を協働的にピックアンドプレースするための処理の一実施形態を示すフローチャート。

【発明を実施するための形態】

【0014】

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

【0015】

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

【0016】

パッケージを協働的にピックアンドプレースするために複数のロボットの利用を調整および制御するためのシステムが開示されている。様々な実施形態において、本明細書で開示されているシステムは、以下の技術的特徴の内の１または複数を有しうる。
・システムは、協働的にピックされる物体を検出する。
・安全な協働的動作に向けて、障害物を識別し、スタックからのパッケージのピックの優先順位を付けるための統合コンピュータビジョンシステム。
・複数のロボットによる単一の物体の協働的ピックの計画および実行。
・安全で制御された方法で物体を持ち上げてプレースするためにロボットが協働することを可能にする制御アーキテクチャ。
・ロボットは、協働的タスクをしていない時に個別に（単独で）行動できる。

【0017】

様々な実施形態において、複数のロボットアームが、単一のパッケージを協働的にピックアンドプレースするために用いられる。いくつかの実施形態において、ロボットシンギュレーション（または、その他のピック／プレース）システムが、例えば、物体のサイズ、重量、以前に失敗したピック試行、視覚的分類、および／または、物体と個々のロボットグリッパとの間のアフォーダンスの不一致により、物体が２以上のロボットを用いて協働的にピックされるべきであることを検出する。

【0018】

様々な実施形態において、両方のロボットが独立的にピックすることをやめた時、システムは、物体をピックする最良の方法を決定し、把持点がロボットのリーチ内にあり、物体の反対側にあることを保証する。ロボットは、ロボットが所望のパッケージをピックするのを阻止しうる任意の周囲のパッケージを取り除く。ロボットは、物体の両側にあるピック位置へ独立的に到達するための経路を計画する。両方のロボットが所定の位置に配置されると、リーダーロボットは後退を開始し、フォロワーロボットは、リーダーボットに対する相対的な位置／向きを維持しつつ、力の制御を用いて箱との接触を維持し、これにより、重いまたは大きすぎる物体を協働的に持ち上げて移動させることが可能になる。

【0019】

様々な実施形態において実施されるさらなる技術は、以下の内の１または複数を含むが、これらに限定されない。
・物体の見えない部分を強化するための触覚操作。複数のロボットが同じ物体について無衝突のピックを見出すことができるのを確実にするために、時に、ロボットの一方が、ロボットにとって見えない物体の側でピックしなければならない。いくつかの実施形態において、グリッパからの触覚知覚が、安定的かつ無衝突のピック位置を見つける目的で物体の裏側を見ることなしに探索するために用いられる。
・物体の視認性を改善し把持の安定性を向上させるために押す。時に、物体のすべての側が、協働的なピックを達成するためにロボットから見えるとは限らず、ロボットは、複数のロボットのピック可能な位置を見えるようにするために物体の位置／向きを変更する必要がある。この変更は、より安定した把持点を識別するために１つのロボットまたは複数のロボットで押すことによってなされてよい。
・複数のロボットの間の衝突回避。複数のロボットの動きを、衝突しない方法で、対応する環境と共に協調させることが好ましい。

【0020】

図１は、タスクを協働的に実行するように複数のロボットを制御するよう構成されたロボットシステムの一実施形態を示すブロック図である。図の例において、システムおよび環境１００は、吸着タイプのエンドエフェクタ１０４を備えた第１ロボットアーム１０２と、吸着タイプのエンドエフェクタ１０８を備えた第２ロボットアーム１０６と、を備える。図に示す状態において、ロボットアーム１０２およびロボットアーム１０６は、大きい箱１１０に対してピックアンドプレースタスクを協働的に実行するために配置されている。制御コンピュータ１１２が、作業空間内のロボットアーム１０２、ロボットアーム１０６、ならびに、１または複数のカメラまたはその他のセンサ１１４の内の１または複数と無線通信するよう構成されている。カメラ１１４から受信された画像データは、例えば、協働的ピックアンドプレースタスクを容易にする目的で、必要に応じて、作業空間の三次元ビューを生成し、ロボットアーム１０２およびロボットアーム１０６へコマンドおよび情報を送信するために、制御コンピュータ１１２によって用いられてよい。

【0021】

図２Ａ～図２Ｃは、本明細書で開されているロボットシステムの一実施形態において実行される協働的ピックアンドプレースタスクの一例を示す。図２Ａに示す例において、吸着タイプのエンドエフェクタ２０４を備えたロボットアーム２０２および吸着タイプのエンドエフェクタ２０８を備えたロボットアーム２０６は、図１に示した開始状態と同様に、大きい箱２１０に対してピックアンドプレースタスクを協働的に実行し始めるために配置されている。様々な実施形態において、本明細書で開示されている協働的ピックアンドプレースにおいて、ロボットアーム２０２は「リーダー」であってよく、ロボットアーム２０６は「フォロワー」であってよい。「リーダー」は、任意の適切な方法によって（例えば、協働的タスクを開始したロボットに「リーダー」の役割を割り当てることによって、参加するロボットの一方または他方にランダムに役割を割り当てることによって、「選挙」またはその他の選択方法によって）、選択されてよい。

【0022】

動作を開始するために、様々な実施形態において、「リーダー」としてのロボットアーム２０２は、図に示す位置へそのエンドエフェクタ２０４を移動させ、次いで、例えば、エンドエフェクタ２０４を箱２１０の側面と接触する位置またはほぼ接触する位置に移動させて吸着を行うことによって、箱を把持する。リーダーがその把持を完了したことを示すために、信号が、他方のロボット（および／または他方のロボットを制御するためのプロセス）へ送信されてよい。次いで、フォロワー（例えば、この例ではロボットアーム２０６）は、例えば、リーダ（すなわち、ロボットアーム２０２）が箱２１０を把持した側面と反対側の側面で、箱２１０を把持する。フォロワーは、リーダーのエンドエフェクタ２０４の位置および向きと、箱２１０の関連する寸法とに基づいて、変換を記録する。例えば、寸法を測定するため、もしくは、箱２１０を（例えば、具体的におよび／またはタイプ別に）認識し、アイテムおよび／またはタイプの情報を用いて（例えば、ルックアップによって）寸法を決定するために、ビジョンシステムおよび／またはその他のセンサが用いられてよい。

【0023】

図２Ｂに示すように、この時点までに、両方のロボット（２０２、２０６）が箱２１０を把持した。リーダー（この例では、ロボットアーム２０２）は、フォロワーロボットアーム２０６とは独立的に、計算を行い、ロボットアーム２０２（および／またはそれに関連付けられている制御プロセス）によって決定された軌道に沿って箱を移動させる。様々な実施形態において、フォロワーロボット（この例では、ロボットアーム２０６）は、リーダーロボットアーム２０２のエンドエフェクタ２０４の位置および向きの情報を（例えば、定期的に、継続的に、など）受信する。フォロワーロボットアーム２０６（および／またはそれに関連付けられている制御プロセス）は、リーダーロボット（２０２、２０４）の位置および向きの情報と、以前に決定および記録された変換とを用いて、フォロワーのエンドエフェクタ２０８の新たな目標となる位置および向きを計算し、そして、フォロワーのエンドエフェクタ２０８の現在の位置および向きと、（最も最近に更新された）目標との間の誤差（差）を最小化するために、必要に応じて、トルクを計算してロボットアーム２０６を構成するモータへ印加する。

【0024】

例えば図２Ｃに示すように、物体（箱２１０）が移動先位置にプレースされると、リーダーロボット（ロボットアーム２０２）は、その把持を解除し、ピックアンドプレースタスクが完了したことをフォロワーに通知する。それに応じて、フォロワー（ロボットアーム２０６）は、その把持を解除し、両方のロボット（２０２、２０６）が、他の作業（（元に戻って）より小さい／より軽い物体を個別でピックアンドプレースする作業、ならびに／もしくは、別の大きいまたは重い物体のための次のピックアンドプレースタスクを協働的に実行する作業、など）を実行できるようになる。

【0025】

図３は、ロボット制御システムの一実施形態を示すブロック図である。様々の実施形態において、図３のロボット制御システム３０２は、図１の制御コンピュータ１１２を含み、または、それに含まれる。様々な実施形態において、図３のロボット制御システム３０２を構成する１または複数のモジュールまたはサブシステムは、図１の制御コンピュータ１１２、ロボットアーム１０２、および／または、ロボットアーム１０６の内の１または複数を構成するコンピュータおよび／またはプロセッサなど、複数の計算ノードにわたって分散されていてよい。

【0026】

図の例において、ロボット制御システム３０２は、本明細書で開示されている２以上のロボットによるタスクの協働的実行を促進するよう構成されているロボット協働促進モジュール３０４と、ロボット固有のコントローラ３０６および３０８とを備えた階層プランナ、スケジューラ、および／または、制御モジュールを備える。例えば、ロボット１用コントローラ３０６は、図１のロボットアーム１０２および／または図２Ａ～図２Ｃのロボットアーム２０２に関連していてよく、一方、ロボット２用コントローラ３０８は、図１のロボットアーム１０６および／または図２Ａ～図２Ｃのロボットアーム２０６に関連していてよい。

【0027】

様々な実施形態において、ロボット１用コントローラ３０６およびロボット２用コントローラ３０８にそれぞれ関連付けられているそれぞれのロボットは各々、例えば、ロボットが個別で操作できる物体をピックアンドプレースするなどのために、独立的に動作しうる。様々な実施形態において、２以上のロボットを用いる協働タスクが、ロボット１用コントローラ３０６とロボット２用コントローラ３０８との間で送信される１または複数の通信、ロボット協働促進モジュール３０４と、それぞれのロボット１用コントローラ３０６およびロボット２用コントローラ３０８との間の二者間通信、ならびに／もしくは、すべての３つ（または４つ以上）のエンティティの間の通信、の内の１または複数によって開始および／または実行されてよい。

【0028】

図の例において、ロボット制御システム３０２は、さらに、１または複数の３Ｄカメラおよび／またはその他のセンサ（図１のカメラ１１４など）から画像および深度データを受信し、受信したデータを用いて、作業空間の三次元ビューを生成および／または更新するよう構成されているコンピュータビジョンサブシステム３１０を備える。コンピュータビジョンサブシステム３１０の出力は、アイテムをピックアンドプレースするためのタスクをロボットが協働的に開始および実行することを可能にするために、ロボット協働促進モジュール３０４、ロボット１用コントローラ３０６、および、ロボット２用コントローラ３０８の内の１または複数に提供されてよい。例えば、箱またはその他の物体が単一のロボットでピックアンドプレースするには大きすぎおよび／または重すぎると判定するために、画像データが用いられてよい。作業空間およびその中の物体の三次元ビューは、例えば、各ロボットに対するそれぞれの把持戦略および／または位置を決定し、各ロボットのエンドエフェクタをそれに対応するピック位置に移動させるための複数の無衝突軌道を決定し、物体がプレースされる移動先位置へ物体を協働的に移動させるための無衝突軌道を決定するために用いられてもよい。

【0029】

図４は、タスクを協働的に実行するように複数のロボットを制御するよう構成されたロボットシステムの一実施形態を示す状態図である。様々な実施形態において、図４の状態図４００は、２以上のロボットを用いて作業を協働的に実行するよう構成されているロボットによっておよび／またはそれに関して実施されうる。いくつかの実施形態において、図４の状態図４００は、図１の制御コンピュータ１１２、ならびに／もしくは、図３のロボット協働促進モジュール３０４、ロボット１用コントローラ３０６、および、ロボット２用コントローラ３０８の内の１または複数によって実施されてよい。

【0030】

図の例において、状態４０２では、ロボットは、タスクを実行するために個別で作業する。例えば、ロボットは、キッティング動作において箱またはその他の容器を満たすため、仕分け動作においてコンベヤベルトまたはその他の搬送手段の上にアイテムをプレースするため、パレットにアイテムを積み上げるためなどに、アイテムを個別でピックアンドプレースしてよい。認識されてピックアンドプレースされる必要のあるアイテムが１つのロボットで把持および移動させるには大きすぎるとの示唆など、タスクを実行するために支援（助け）が必要であるとの示唆を受信すると（４０４）、ロボットおよび／またはコントローラは、タスクの協働的実行が開始される状態４０６へ移行する。例えば、通信が、別のロボットへ（例えば、図３のロボット１用コントローラ３０６からロボット２用コントローラ３０８へ）、または、より高いレベルのプランナ／スケジューラへ（例えば、図３のロボット協働促進モジュール３０４へ）送信されてよく、もしくは、より高いレベルのプランナ／スケジューラが、タスクの協働的実行の必要性を認識してよく、状態４０６への移行を開始してよい。

【0031】

図の例において、ロボットおよび／またはコントローラは、「支援をキャンセルする」移行４０８を介して、状態４０２における個別での作業へ戻ってよい。例えば、ロボット／コントローラおよび／またはより高いレベルのプランナ／スケジューラは、タスクがすでに１または複数の他のロボットによって実行されおよび／または他のロボットに割り当てられたと判定しうる。

【0032】

いくつかの実施形態において、「協働を開始する」状態４０６において、タスクの協働的実行を開始しているロボット／コントローラは、例えば支援を要求することによって、ヘルパーロボットと直接的または間接的に通信する。別のロボットが、支援するために割り当てられてよく、および／または、支援することに同意してよい。ロボットは、或る将来の時点に、もしくは、将来の条件（ヘルパーロボットがすでに開始したタスクおよび／またはより高い優先度を有するタスクの完了など）の発生時に、支援するために割り当てられおよび／または支援することを同意してよい。例えば、協働的タスクを円滑にするために、大きいまたは重い物体の周りから他の物体を取り除くタスクが、より高い優先度を有してよく、したがって、最初に完了されてよい。ヘルパーロボットで協働的タスクを実行する準備が整うと、ヘルパーロボットは、ヘルパーロボットがレディ状態であることを、直接的にまたは間接的に（例えば、より高いレベルのプランナ／スケジューラ（図３のロボット協働促進モジュール３０４など）を介して）タスクイニシエータへ通知し、「協働を開始する」状態４１２への移行４１０をプロンプトする。ヘルパーは、図の例において、「支援を提供する」移行４１４を通して、個別で作業する状態４０２から「協働を開始する」状態４１２へ直接的に移行してよい。

【0033】

「協働を開始する」状態４１２においてすべての参加ロボットの準備が整うと、必要に応じて「リーダー」が決定され、リーダーは、「リーダーを務める」状態４１８へ移行し（４１６）、一方、フォロワーは、「フォロワーを務める」状態４２２へ移行する（４２０）。「リーダーを務める」状態４１８および「フォロワーを務める」状態４２２において、リーダーおよびフォロワーは、図２Ａ～図２Ｃに示した例のように、大きいまたは重い物体をピックアンドプレースするなどの目的で、タスクを協働的に実行するために、本明細書に開示されているように協働する。タスクが完了されると、リーダーおよびフォロワーは、「個別で作業する」状態４０２へ戻り（４２４、４２６）、個別作業を再開する。

【0034】

図５Ａは、本明細書でロボットシステムの一実施形態において「リーダー」ロボットとしてタスクを協働的に実行するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図５Ａの処理５００は、本明細書で開示されている２以上のロボットによるタスクの協働的実行に「リーダー」として参加しているロボットに関連付けられているロボットコントローラによって実行されてよい。

【0035】

図の例において、工程５０２で、「リーダー」の役割で（１または複数の他のロボットと共に）協働的タスクを開始する旨の指示が受信される。例えば、ピックアンドプレースタスクを協働的に実行する旨の指示が受信されてよい。工程５０４で、リーダーは、物体を把持する位置を決定し、物体を把持する位置へ自身のエンドエフェクタを安全に移動させるための軌道を計画し、工程５０６で、リーダーは、軌道に沿って把持位置へエンドエフェクタを移動させる。工程５０８で、リーダーは、関連付けられている移動先へ物体を移動させる軌道を（任意の他のロボットから独立的に）決定する。例えば、ロボットおよびその運動学のモデル、ならびに、作業空間に関する画像および／またはその他の情報（例えば、構成データ、ＣＡＤファイル、など）、物体の１または複数の属性（例えば、寸法、剛性、など）ならびに、画像／センサデータが、軌道を計画するために用いられてよい。工程５１０で、ロボットが協働すべき処理を一緒に実行する１または複数の「フォロワー」ロボットから、１または複数のフォロワーロボットがタスクの協働的実行を開始する準備が整った旨の示唆が受信される。それに応じて、工程５１２で、「リーダー」ロボットは、そのエンドエフェクタ（ならびに、リーダーおよびフォロワーに共同で把持されている物体）を、リーダーによって決定された軌道に沿って移動先へ移動させる。工程５１４で、物体を移動先にプレースすると、リーダーロボットは、その把持を解除し、タスクが完了したことをフォロワーロボットへ通知する。様々な実施形態において、リーダーは、その後、個別での動作を再開する。

【0036】

図５Ｂは、本明細書でロボットシステムの一実施形態において「フォロワー」ロボットとしてタスクを協働的に実行するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図５Ｂの処理５２０は、本明細書で開示されている２以上のロボットによるタスクの協働的実行に「フォロワー」として参加しているロボットに関連付けられているロボットコントローラによって実行されてよい。

【0037】

図の例において、工程５２２で、本明細書に開示されているように、「フォロワー」の役割で１または複数の他のロボットと協働的にタスクを実行する旨の指示が受信される。工程５２４で、フォロワーは、把持点（例えば、「リーダー」が示した物体を把持する側面とは反対側の物体の側面にある点）を決定し、その点で物体を把持するための位置へ移動する軌道を計画する。工程５２６で、フォロワーは、例えば、リーダーが自身の把持を完了したとの示唆を受信したことに応じて、自身のエンドエフェクタを決定済みの把持位置へ移動させ、物体を把持する。工程５２８で、リーダーのエンドエフェクタの位置および向きの情報が受信され、フォロワーは、物体に関する情報（例えば、リーダーのエンドエフェクタおよびフォロワーのエンドエフェクタを隔てる次元における物体のサイズ）と共にこの情報を用いて、変換を計算する。様々な実施形態において、変換は、エンドエフェクタおよびそれらの間に把持された物体が、その物体のプレースされる移動先へ作業空間を通して移動される時に、リーダーのエンドエフェクタに対してフォロワーのエンドエフェクタの相対的な位置および向きを維持するフォロワーのエンドエフェクタに対応する位置および向きを提供するために、リーダーのエンドエフェクタの位置および向き（典型的には、リーダーの基準系で表現される）に適用可能である行列またはその他の数学的構成を含む。工程５３０で、フォロワーロボットは、フォロワーが「レディ状態」である（例えば、フォロワーが物体を把持し、変換を計算し、リーダーのエンドエフェクタに対して（例えば、反対側に）そのエンドエフェクタの位置を維持する準備が整っている）ことをリーダーに通知する。

【0038】

工程５３２で、リーダーロボットが、リーダーによって独立的に決定された軌道に沿って移動を開始すると、フォロワーは、自身が計算した変換と、リーダーのエンドエフェクタが作業空間を通って移動された時に連続して受信されるリーダーのエンドエフェクタの位置および向きの情報とを利用する。例えば、受信されたリーダーのエンドエフェクタの位置および／または向きの少なくとも一部の各々について、フォロワーは、そのエンドエフェクタのための新たな目標の位置および／または向きを計算し、そのエンドエフェクタの現在の位置および／または向きと現在の目標との間の誤差（例えば、差）を最小化するために必要であると決定されたトルクを自身のモータに印加する。

【0039】

工程５３４で、フォロワーは、協働的タスクが「完了した」旨の示唆を（例えば、リーダーから）受信し、それに応じて、フォロワーは把持を解除し、処理５２０は終了する。

【0040】

様々な実施形態において、本明細書で開示されている技術は、例えば、シンギュレーション／仕分け、キッティング、パレチゼーションまたはデパレチゼーション、ならびに／もしくは、トラックまたはその他のコンテナへの荷積みまたは荷降ろしに関連して、ピックアンドプレースタスクを協働的に実行するために用いられる。

【0041】

図６Ａは、２以上のロボットを用いて物体を協働的にピックアンドプレースするよう構成されているロボットシステムの一実施形態を示す図である。図の例において、システムおよび環境６００Ａは、シンギュレーション／仕分け動作の文脈での本明細書に開示されている技術の利用を示している。様々なサイズ、形状、および、その他の属性を有するアイテムが、重力送りシュートまたはランプならびに／もしくは取り入れコンベヤベルトまたは同様の構造など、取り入れ搬送手段６０２を介して到着する。図の例では、図２Ａ～図２Ｃのロボット２０２、２０６が、取り入れ搬送手段６０２からアイテムをピックし、コンベヤ６０４にアイテムを１つずつプレースするために、独立動作モードで利用されている。作業空間の三次元ビューを生成することで、ロボット２０２、２０６が、ターゲット物体を識別して優先順位を付け、物体を把持するための計画および戦略を立て、物体をピックアンドプレースすることを可能にするために、カメラ６０６からの画像データが用いられてよい。

【0042】

様々な実施形態において、図６Ａに示す動作モードで、ロボット２０２、２０６は、独立的であるが協調的に動作する。例えば、ロボット２０２、２０６は、取り入れ搬送手段６０２からピックし、コンベヤ６０４にプレースする動作を交互に行ってよい。一方（例えば、２０２）が取り入れ搬送手段６０２からピックしている時に、他方がコンベヤ６０４にプレースを行い、その逆も同様である。

【0043】

図６Ｂは、２以上のロボットを用いて物体を協働的にピックアンドプレースするよう構成されているロボットシステムの一実施形態を示す図である。図６Ｂに示す例および状態において、ロボット２０２、２０６は、取り入れ搬送手段６０２のピックエリアに到着した大きい箱を協働的にピックアンドプレースするために用いられている。カメラ６０６からの画像データは、大きい箱を検出するため、ならびに／もしくは、２つのロボット２０２、２０６を用いて箱を協働的にピックアンドプレースする必要性を示す箱の重量および／またはその他の属性を（例えば、ルックアップによって）決定するために用いられてよい。

【0044】

様々な実施形態において、ロボット２０２、２０６は、大きい箱をピックアンドプレースするために、本明細書で開示されているように協働する。例えば、ロボット２０２が、「リーダー」ロボットとして動作して図５Ａの処理５００を実行してよく、一方、ロボット２０６が、「フォロワー」ロボットとして機能して図５Ｂの処理５２０を実行し、もしくは、その逆であってもよい。

【0045】

図６Ｂに示す大きい箱をコンベヤ６０４上にプレース動作が完了すると、ロボット２０２、２０６は、上述したように、個別での動作を再開してよい。

【0046】

図７は、２以上のロボットを用いて物体を協働的にピックアンドプレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、図７の処理７００は、１または複数のコンピュータ（図１の制御コンピュータ１１２など）によって、ならびに／もしくは、本明細書で開示されているロボットシステムを構成する１または複数の他のコンピュータおよび／またはプロセッサによって、実施されてよい。図の例において、工程７０２で、２以上のロボットを用いてピックアンドプレースタスクを協働的に実行する必要性が決定される。例えば、コンピュータ（図１の制御コンピュータ１１２など）、ならびに／もしくは、個々のロボットに関連付けられているコントローラまたはその他の制御モジュール、ならびに／もしくは、階層コントローラのより高レベルのコントローラが、その決定を行ってよい。工程７０４で、２以上のロボットが、協働的にタスクを実行するために（例えば、それら自身によって、コーディネータによって、など）割り当てられ、各々に対して、（物体上の）対応するピック位置および（例えば、エンドエフェクタおよび／またはロボットアームの）ポジションが決定される（または決定を試みられる）。工程７０６で、ロボットの内の１または複数についてピック位置を決定することを可能にするのに十分に明瞭なビューが利用可能ではないと判定された場合、工程７０８で、１または複数のロボットが、より明瞭な視界を提供する目的で、他の物体を邪魔にならない所に移動させるために用いられてよい。ピック位置が見える場合（工程７０６）、または、明瞭なビューを提供するために物体が移動されると（工程７０８）、工程７１０で、すべての参加ロボットが、各々衝突せずに対応するピック位置まで移動するためにクリアな経路または軌道を有しているか否かについて判定がなされる。任意のロボットがクリアな経路を有していない場合（工程７１２）、工程７１４で、１または複数のロボットが、クリアな経路を提供する目的で物体を移動させるために、必要に応じて用いられる。例えば、ターゲット物体が、雑然としたアイテムの山から押されまたは引き出されてよい。または、ターゲット物体に隣接する物体、または、エンドエフェクタとそのピック位置との間の経路にある物体が、ピック位置までの経路の障害物を取り除く必要のあるロボットによって、または、別のロボットによって、邪魔にならないように移動されてよい。

【0047】

いくつかの場合において、ロボットは、そのピック位置を明確に見ることができない場合がある。いくつかの実施形態において、かかるロボットは、力センサまたはその他の触覚フィードバックを用いて、物体を把持するための位置に手探りで進んでよい。

【0048】

すべての参加ロボットがそのピック位置へのクリアな経路を有するようになると（工程７１２、７１４）、ロボットは、本明細書で開示されているように、ピックアンドプレースタスクを協働的に実行するために作業する。例えば、一方のロボットが、「リーダー」として動作して図５Ａの処理５００を実行してよく、一方、別のロボットが、「フォロワー」として機能して図５Ｂの処理５２０を実行する。

【0049】

様々な実施形態において、本明細書で開示されている技術は、２以上のロボットを用いて、単一のロボットがピックアンドプレースするにはあまりに重い、柔らかい、かさばるなどの物体など、物体を協働的にピックアンドプレースするために用いられてよい。

【0050】

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供されている詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定を意図するものではない。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【国際調査報告】