特表 2022-521002 ロボットによる複数アイテムタイプのパレタイズおよびデパレタイズ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-04

(54)【発明の名称】ロボットによる複数アイテムタイプのパレタイズおよびデパレタイズ

(51)【国際特許分類】

   B25J 13/08 20060101AFI20220328BHJP

   B65G 61/00 20060101ALI20220328BHJP

【ＦＩ】

B25J13/08 A

B65G61/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021549234

(86)(22)【出願日】2019-11-06

(85)【翻訳文提出日】2021-10-19

(86)【国際出願番号】 US2019060035

(87)【国際公開番号】W WO2020171859

(87)【国際公開日】2020-08-27

(31)【優先権主張番号】16/380,859

(32)【優先日】2019-04-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/809,389

(32)【優先日】2019-02-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521105662

【氏名又は名称】デクステリティ・インコーポレーテッド

【氏名又は名称原語表記】ＤＥＸＴＥＲＩＴＹ，ＩＮＣ．

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】チャベス・ケヴィン・ホセ

(72)【発明者】

【氏名】ガオ・ユアン

(72)【発明者】

【氏名】ピダパーシ・ロイット

(72)【発明者】

【氏名】モリス－ダウニング・タルボット

(72)【発明者】

【氏名】スー・ハリー・ツェ

(72)【発明者】

【氏名】メノン・サミア

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS02

3C707BS10

3C707DS01

3C707FS01

3C707KS03

3C707KS09

3C707KS12

3C707KS33

3C707KT01

3C707KT05

3C707KT06

3C707LV14

3C707MS05

3C707NS02

(57)【要約】

【解決手段】ロボットアームを用いて、多様なアイテムをパレタイズまたはデパレタイズするための技術が開示されている。様々な実施形態において、移動先位置の位置上または位置内に積み重ねられる複数のアイテムに関連付けられているデータが受信される。移動先位置の位置上または位置内にアイテムを積み重ねるための計画が、受信されたデータに少なくとも部分的に基づいて生成される。計画は、少なくとも部分的には、計画に従って、アイテムをピックアップして荷役台の上または内に積み重ねるように、ロボットのロボットアームを制御することによって実施され、この実施は、各アイテムについて、移動先位置におけるそのアイテムの移動先場所の第一近似にアイテムを移動させるために、１または複数の一次センサを利用することと、アイテムを最終的な場所に収めるために、１または複数の二次センサを利用することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットシステムであって、
通信インターフェースと、
前記通信インターフェースに接続されているプロセッサと、を備え、
前記プロセッサは、
前記通信インターフェースを介して、移動先位置の位置上または位置内に積み重ねられる複数のアイテムに関連付けられているデータを受信し、
前記受信されたデータに少なくとも部分的に基づいて、前記移動先位置の位置上または位置内に前記アイテムを積み重ねるための計画を生成し、
少なくとも部分的には、前記計画に従って、前記アイテムをピックアップして前記移動先位置の位置上または位置内に積み重ねるように、ロボットアームを制御することによって、前記計画を実施し、前記計画を実施することは、各アイテムについて、
前記移動先位置における前記アイテムの移動先場所の第一近似に前記アイテムを移動させるために、１または複数の一次センサを利用し、
前記アイテムを最終的な場所に収めるために、１または複数の二次センサを利用することを含む、よう構成されている、システム。

【請求項2】

請求項１に記載のシステムであって、前記移動先位置は、パレット、箱、または、その他の荷役台を含む、システム。

【請求項3】

請求項１に記載のシステムであって、前記複数のアイテムに関連付けられている前記データは、前記アイテムの少なくとも一部に対するセンサデータを含む、システム。

【請求項4】

請求項３に記載のシステムであって、前記センサデータは、画像データ、重量データ、力データ、サイズデータ、寸法データ、の内の１または複数を含む、システム。

【請求項5】

請求項１に記載のシステムであって、前記複数のアイテムに関連付けられている前記データは、前記アイテムの少なくとも一部に対するアイテムデータおよびアイテムタイプデータの一方または両方を含む、システム。

【請求項6】

請求項５に記載のシステムであって、アイテムデータおよびアイテムタイプデータの前記一方または両方は、光学スキャナ出力またはその他のスキャナ出力を含む、システム。

【請求項7】

請求項１に記載のシステムであって、前記プロセッサは、少なくとも部分的には、アイテムの少なくとも一部の各々について、前記アイテムに対応するモデルを決定することによって、前記計画を生成し、前記モデルを用いて、前記アイテムに関する前記計画を決定するよう構成されている、システム。

【請求項8】

請求項７に記載のシステムであって、前記プロセッサは、さらに、新たなアイテムタイプまたはアイテム属性を検出し、前記新たなアイテムタイプまたはアイテム属性を反映するようにアイテムモデルのライブラリを更新するデータを生成して格納するよう構成されている、システム。

【請求項9】

請求項１に記載のシステムであって、前記プロセッサは、さらに、前記ロボットアームを用いて、前記アイテムの内の少なくとも一部のアイテムの属性を決定するよう構成されている、システム。

【請求項10】

請求項１に記載のシステムであって、前記プロセッサは、さらに、１または複数のアイテムに関する不安定性を検出し、結果として得られるアイテムのスタックをより安定させるように、１または複数のアイテムの前記計画および配置の一方または両方を調整するよう構成されている、システム。

【請求項11】

請求項１に記載のシステムであって、前記プロセッサは、さらに、前記複数のアイテムの一部を含む部分的なスタックに関する不安定性を検出し、前記不安定性の検出に応じて、前記部分的なスタックを自動的にラッピングするよう構成されている、システム。

【請求項12】

請求項１に記載のシステムであって、前記複数のアイテムは、第１複数のアイテムを含み、前記プロセッサは、さらに、第２複数のアイテムに関連付けられているデータを受信し、前記第１複数のアイテムに関連付けられている前記データおよび前記第２複数のアイテムに関連付けられている前記データを用いて、前記第１および第２複数のアイテムを含むアイテムを前記荷役台の上または内に積み重ねるための調整済み計画を動的に決定するよう構成されている、システム。

【請求項13】

請求項１に記載のシステムであって、前記プロセッサは、さらに、前記荷役台の上または内の移動先位置へ移動されているアイテムが障害物に遭遇したことを検出し、前記障害物に沿ってまたは前記障害物を避けて進むように前記アイテムの軌道を調整するよう構成されている、システム。

【請求項14】

ロボットを制御するための方法であって、
通信インターフェースを介して、移動先位置の位置上または位置内に積み重ねられる複数のアイテムに関連付けられているデータを受信し、
プロセッサを用いて、前記受信されたデータに少なくとも部分的に基づいて、前記移動先位置の位置上または位置内に前記アイテムを積み重ねるための計画を生成し、
前記プロセッサを用いて、少なくとも部分的には、前記計画に従って、前記アイテムをピックアップして前記移動先位置の位置上または位置内に積み重ねるように、前記ロボットのロボットアームを制御することによって、前記計画を実施することを備え、前記計画を実施することは、各アイテムについて、
前記移動先位置における前記アイテムの移動先場所の第一近似に前記アイテムを移動させるために、１または複数の一次センサを利用し、
前記アイテムを最終的な場所に収めるために、１または複数の二次センサを利用することを含む、方法。

【請求項15】

請求項１４に記載の方法であって、前記移動先位置は、パレット、箱、または、その他の荷役台を含む、方法。

【請求項16】

請求項１４に記載の方法であって、前記複数のアイテムに関連付けられている前記データは、前記アイテムの少なくとも一部に対するセンサデータを含む、方法。

【請求項17】

請求項１６に記載の方法であって、前記センサデータは、画像データ、重量データ、力データ、サイズデータ、寸法データ、の内の１または複数を含む、方法。

【請求項18】

請求項１４に記載の方法であって、前記複数のアイテムに関連付けられている前記データは、前記アイテムの少なくとも一部に対するアイテムデータおよびアイテムタイプデータの一方または両方を含む、方法。

【請求項19】

請求項１４に記載の方法であって、前記プロセッサは、少なくとも部分的には、アイテムの少なくとも一部の各々について、前記アイテムに対応するモデルを決定することによって、前記計画を生成し、前記モデルを用いて、前記アイテムに関する前記計画を決定するよう構成されている、方法。

【請求項20】

ロボットを制御するためのコンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
移動先位置の位置上または位置内に積み重ねられる複数のアイテムに関連付けられているデータを受信するためのコンピュータ命令と、
前記受信されたデータに少なくとも部分的に基づいて、前記移動先位置の位置上または位置内に前記アイテムを積み重ねるための計画を生成するためのコンピュータ命令と、
少なくとも部分的には、前記計画に従って、前記アイテムをピックアップして前記荷役台の上または内に積み重ねるように、前記ロボットのロボットアームを制御することによって、前記計画を実施するためのコンピュータ命令とを備え、前記計画を実施することは、各アイテムについて、
前記移動先位置における前記アイテムの移動先場所の第一近似に前記アイテムを移動させるために、１または複数の一次センサを利用し、
前記アイテムを最終的な場所に収めるために、１または複数の二次センサを利用することを含む、コンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

他の出願への相互参照
本願は、２０１９年２月２２日出願の米国仮特許出願第６２／８０９，３８９号「ＲＯＢＯＴＩＣ ＭＵＬＴＩ－ＩＴＥＭ ＴＹＰＥ ＰＡＬＬＥＴＩＺＩＮＧ＆ＤＥＰＡＬＬＥＴＩＺＩＮＧ」に基づく優先権を主張し、その仮特許出願は、すべての目的のために参照により本明細書に組み込まれる。

【0002】

出荷センターおよび流通センター、倉庫、荷役用ドック、航空貨物ターミナル、大規模小売店、および、不均質なアイテムセットを出荷および受け取るその他の活動は、箱、木箱、コンテナ、コンベヤベルト、および、パレット、などに異種のアイテムをパック（梱包、搭載）およびアンパック（開梱、荷下ろし）するなどの戦略を利用する。箱、木箱、パレットなどに異種のアイテムを梱包することで、結果として得られるアイテムセットを揚重機（フォークリフト、クレーンなど）によっハンドリングすることを可能にし、（例えば、倉庫内での）保管および／または（例えば、トラック、貨物倉などの中での）出荷に向けて、より効率的にアイテムを梱包することを可能にする。

【0003】

いくつかの文脈において、アイテムは、サイズ、重量、密度、かさばり、剛性、パッケージ強度などがあまりに異なりうるので、任意の所与のアイテムまたはアイテムセットが、（例えば、箱、コンテナ、パレットなどに）梱包する必要がありうる所与の他のアイテムのサイズ、重量、重量分布などをサポートすることを可能にする属性を、それらのアイテムが持つ場合と持たない場合がある。異種のアイテムをパレットまたはその他のセットにまとめる際に、パレタイズされたスタックが、（例えば、フォークリフトなどの機械によってハンドリングすることができなくなるように）、崩れ、傾き、または、その他の形で不安定にならないことを保証するために、そして、アイテムの損傷を避けるために、注意深くアイテムを選択して積み重ねなければならない。

【0004】

現在、パレットでは、通例、手作業で荷積みおよび／または荷下ろしがなされる。人間の労働者が、例えば、出荷伝票または積荷目録などに基づいて、積み重ねるアイテムを選択し、人間の判断力および直感を用いて、例えば、より大きく重いアイテムを底に置くように選択する。しかしながら、ある場合には、アイテムが、単に、コンベヤまたはその他のメカニズムで到着し、および／または、リスト順に置き場から選ばれる、などの結果として、パレタイズ（パレット化）またはその他の方法で梱包されたセットが不安定になる。

【0005】

アイテムの多様性と、例えば所与のパレット上に梱包されるアイテムの順序、数、および、組み合わせのばらつきと、コンテナおよび／または供給メカニズム（アイテムをパレットまたは他のコンテナに置くために、そこからピックアップしなければならない）のタイプおよび位置の多様性とに起因して、ロボット工学の利用は、多くの環境において、より困難になっている。

【図面の簡単な説明】

【0006】

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

【0007】

【図1】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態を示す図。

【0008】

【図2】パレタイズおよび／またはデパレタイズを行うための処理の一実施形態を示すフローチャート。

【0009】

【図3A】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態において組み上げられたパレットの一例を示す図。

【0010】

【図3B】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態において組み上げられたパレットの一例を示す図。

【0011】

【図4A】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図。

【0012】

【図4B】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図。

【0013】

【図4C】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図。

【0014】

【図5】パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャート。

【0015】

【図6】パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャート。

【0016】

【図7】パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャート。

【0017】

【図8】パレット上にアイテムをプレースする戦略を決定するための処理の一実施形態を示すフローチャート。

【0018】

【図9】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムにおける吸着ベースのエンドエフェクタの一実施形態を示すブロック図。

【0019】

【図10】多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムにおけるグリッパ式のエンドエフェクタの一実施形態を示すブロック図。

【0020】

【図11】移動先位置へアイテムをコンプライアントに移動させるための処理の一実施形態を示すフローチャート。

【0021】

【図12】アイテムのロボットアーム把持を変更するための処理の一実施形態を示すフローチャート。

【0022】

【図13】パレット上に積み重ねられるアイテムの属性を決定するためにロボットアームを用いる処理の一実施形態を示すフローチャート。

【0023】

【図14】パレット上に積み重ねられているアイテムのセットにおける不安定性を検出して対処するためにロボットアームを用いる処理の一実施形態を示すフローチャート。

【発明を実施するための形態】

【0024】

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

【0025】

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

【0026】

不均質なアイテム（例えば、異なるサイズ、形状、重量、重量分布、剛性、壊れやすさ、など）の任意のセットをパレタイズ（パレット化）／デパレタイズ（非パレット化）ならびに／もしくは他の方法で梱包および／または開梱するために、１または複数のロボット（例えば、吸着器、グリッパ、および／または、その他のエンドエフェクタを作用端に備えたロボットアーム）を含むロボットシステムをプログラム的に利用する技術が開示されている。

【0027】

様々な実施形態において、３Ｄカメラ、力センサ、および、その他のセンサが、ピックおよび／またはプレースされるアイテムの属性を検出および判定するために用いられる。（例えば、例えばプログラム的に決定された信頼スコアによって示されるように、十分な信頼性で）タイプを判定されたアイテムが、アイテムタイプ固有モデルから導出された戦略を用いて、把持およびプレースされてよい。識別できないアイテムは、所与のアイテムタイプに固有ではない戦略を用いてピックアンドプレースされる。例えば、サイズ、形状、および、重量の情報を用いたモデルが利用されてよい。

【0028】

様々な実施形態において、アイテムタイプ、それぞれの属性、および、把持戦略のライブラリが、各アイテムをピックアンドプレースするための戦略を決定および実施するために用いられる。ライブラリは、いくつかの実施形態において、動的である。例えば、ライブラリは、新たに遭遇したアイテムおよび／またはアイテムについて学習したさらなる属性（所与のコンテキストで機能した把持戦略または機能しなかった把持戦略など）を追加するために増強されてよい。いくつかの実施形態において、ロボットシステムがスタックした場合に、人的介入が要請されてよい。ロボットシステムは、例えば、遠隔操作でアイテムをピックアンドプレースする目的で、ロボットアームを利用するために、人間の遠隔オペレータがどのように介入するのかに基づいて、（例えば、センサを用いて）観察し、学習（例えば、ライブラリおよび／またはモデルを更新）するよう構成されていてよい。いくつかの実施形態において、遠隔操作は、ロボットが物体を把持すべき特定の点を２Ｄ ＲＧＢ画像内で人間が指し示すことなど、より高いレベルの形態のフィードバックを含んでよい。

【0029】

いくつかの実施形態において、本明細書に記載のロボットシステムは、未知または新たに発見したタイプのアイテムを識別してピック／プレースするために、属性および／または戦略を収集および格納（例えば、ライブラリに追加）するための処理を行ってよい。例えば、システムは、３Ｄカメラおよび／またはその他のセンサが、アイテムタイプを特徴付けると共にそのタイプのアイテムを識別およびピック／プレースする方法のモデルを格納するライブラリエントリを増強および／または作成するためのセンサデータを生成すること可能にするために、様々な角度および／または位置にアイテムを保持してよい。

【0030】

様々な実施形態において、パレットもしくはその他のコンテナまたは位置にあるアイテムをピックアンドプレースするための高レベル計画が立てられる。戦略が、計画に従って個々のアイテムをピックアンドプレースすることによって計画を実施するために、例えば、センサ情報に基づいて適用される。例えば、ロボットシステムがスタックした場合、パレット上のアイテムのスタックが不安定になったと（例えば、コンピュータビジョン、力センサなどによって）検出された場合、などに、計画からの逸脱および／または再計画がトリガされてよい。部分的な計画が、既知の情報（例えば、コンベヤ上に確認できる次のＮ個のアイテム、インボイスまたは積荷目録上の次のＮ個のアイテム、など）と、さらなる情報（例えば、確認できる次のアイテムなど）が受信された時になされた調整と、に基づいて立てられてよい。一部の場合に、システムは、システムが現在構築している層またはコンテナ（パレットまたはコンテナにおけるより低い（または、より高い）層など）に積み重ねられるのに適する可能性が低いと判定されたアイテムをステージングする（待機させる）（例えば、リーチの範囲内によけておく）よう構成されている。ピック／プレースされる次のアイテムについて、さらなる情報が知られると、ステージングされた（バッファリングされた）アイテムおよび次のアイテムを考慮に入れた戦略が、生成および実施される。

【0031】

図１は、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態を示す図である。図の例において、システム１００は、ロボットアーム１０２を備える。この例において、ロボットアーム１０２は、固定されているが、様々な別の実施形態において、ロボットアーム１０２は、例えば、レール上に取り付けられている、モータ駆動シャーシ上で完全に移動可能である、など、完全にまたは部分的に移動可能であってもよい。図に示すように、ロボットアーム１０２は、コンベヤベルト（またはその他のソース）１０４から任意のおよび／または異種のアイテムをピックして、パレットまたはその他の荷役台１０６に積み重ねるために用いられる。図の例において、荷役台１０６は、四隅に車輪を備え、四方の側面の内の３つが少なくとも部分的に閉じているパレットまたはベースを備えており、三面の「ロールパレット」、「ロールケージ」、および／または、「ロールトロリー」、「ケージトロリー」とも呼ばれる。他の実施形態において、より多い側面を備え、より少ない側面を備え、および／または、側面のないロールまたは車輪なしのパレットが用いられてもよい。いくつかの実施形態において、図１に示していない他のロボットが、積み下ろしのための所定位置ならびに／もしくは搬送されるためにトラックまたはその他の目的地、などに、荷役台１０６を押し込むために用いられてもよい。

【0032】

図の例において、ロボットアーム１０２は、吸着タイプのエンドエフェクタ１０８を備えている。エンドエフェクタ１０８は、複数の吸着カップ１１０を有する。ロボットアーム１０２は、図に示すように、ピックアップされるアイテムの上にエンドエフェクタ１０８の吸着カップ１１０を配置するために用いられ、真空源が、アイテムを把持し、アイテムをそのコンベヤ１０４から持ち上げ、アイテムを荷役台１０６上の移動先位置にプレースするための吸着力を提供する。

【0033】

様々な実施形態において、エンドエフェクタ１０８に取り付けられた３Ｄカメラまたはその他のカメラ１１２と、ロボットシステム１００が配備されている空間内に取り付けられたカメラ１１４、１１６と、の内の１または複数が、コンベヤ１０４上のアイテムを識別するため、および／または、アイテムを把持し、ピック／プレースし、荷役台１０６上に積み重ねるための計画を決定するために用いられる。様々な実施形態において、図示されていないさらなるセンサ（例えば、コンベヤ１０４および／またはロボットアーム１０２の中におよび／または隣接して具現化されている重量センサまたは力センサ、吸着カップ１１０のｘ－ｙ平面および／またはｚ－方向（垂直方向）の力センサ、など）が、例えばシステム１００によって、アイテムが配置および／または再配置されうるコンベヤ１０４および／またはその他の移動元および／またはステージングエリア上のアイテムを識別し、その属性を決定し、把持し、ピックアップし、決定された軌道を通って移動させ、および／または、荷役台１０６の上または内の移動先位置にプレースするために用いられてよい。

【0034】

図の例において、カメラ１１２は、エンドエフェクタ１０８の本体の側面に取り付けられているが、いくつかの実施形態において、カメラ１１２および／またはさらなるカメラが、他の位置に取り付けられてもよい（例えば、吸着カップ１１０の間の位置から下向きに、エンドエフェクタ１０８の本体の下面に取り付けられ、もしくは、ロボットアーム１０２のセグメントまたはその他の構造に取り付けられ、もしくは、その他の位置に取り付けられる、など）。様々な実施形態において、１１２、１１４、および、１１６などのカメラが、コンベヤ１０４上のアイテム上に見えるおよび／またはアイテムを構成する、テキスト、ロゴ、写真、図、画像、マーク、バーコード、ＱＲコード（登録商標）、または、その他の符号化および／またはグラフィック情報またはコンテンツを読み取るために用いられてよい。

【0035】

図１をさらに参照すると、図の例において、システム１００は、この例では無線通信を介して（ただし、様々な実施形態において、有線通信および無線通信の一方または両方で）、ロボットアーム１０２、コンベヤ１０４、エフェクタ１０８、および、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１に示していない重量センサ、力センサ、および／または、その他のセンサなど）などの要素と通信するよう構成されている制御コンピュータ１１８を備える。様々な実施形態において、制御コンピュータ１１８は、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１に示していない重量センサ、力センサ、および／または、その他のセンサなど）からの入力を用いて、荷役台１０６へ荷積みおよび／または荷役台１０６から荷下ろしされるアイテムの１または複数の属性を観察、識別、および、決定するよう構成されている。様々な実施形態において、制御コンピュータ１１８は、例えば、画像および／またはその他のセンサデータに基づいて、制御コンピュータ１１８に格納されたライブラリ内および／または制御コンピュータ１１８にとってアクセス可能なライブラリ内のアイテムモデルデータを用いて、アイテムおよび／またはその属性を識別する。制御コンピュータ１１８は、アイテムに対応するモデルを用いて、移動先（荷役台１０６など）の内／上に、他のアイテムと共に、アイテムを積み重ねるための計画を決定および実施する。様々な実施形態において、アイテム属性および／またはモデルは、アイテムを把持、移動させて、移動先位置（例えば、荷役台１０６の内／上にアイテム積み重ねるための計画／再計画処理の一部として、アイテムがプレースされると決定された位置）にプレースするための戦略を決定するのに利用される。

【0036】

図の例において、制御コンピュータ１１８は、「オンデマンド」遠隔操作装置１２２に接続されている。いくつかの実施形態において、制御コンピュータ１１８が、完全自動モードで続行できない場合、例えば、制御コンピュータ１１８が完全自動モードでアイテムのピックアンドプレースを完了するための戦略を持たなくなるように、アイテムを把持、移動、および、プレースするための戦略が、決定できなくなり、および／または、失敗した場合、制御コンピュータ１１８は、例えば、アイテムを把持、移動、および、プレースするために、遠隔操作装置１２２を用いて、ロボットアーム１０２および／またはエンドエフェクタ１０８を操作することによって介入するように人間ユーザ１２４に指示する。

【0037】

図２は、パレタイズおよび／またはデパレタイズを行うための処理の一実施形態を示すフローチャートである。様々な実施形態において、図２の処理２００は、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムを構成する制御コンピュータ（図１の制御コンピュータ１１８など）によって実行される。図の例において、工程２０２において、荷役台（パレットなど）に対して、１セットの異なるアイテム（すなわち、そのセットは、２以上の異なるタイプのアイテムを含む）をピックアンドプレースする高レベル目標を示すデータが受信される。例えば、制御コンピュータ（図１の制御コンピュータ１１８など）が、コンベヤ１０４で到着したアイテムを荷役台１０６上へ積み込むための入力を受信してよい。いくつかの実施形態において、積み込まれることを求められおよび／または望まれるアイテムを明確に示す入力（インボイスまたは積荷目録など）が受信されてよい。

【0038】

工程２０４において、工程２０２において受信された高レベル目標と、利用可能なセンサ情報とに基づいて、アイテムをピック／プレースする計画を生成するために、プランニング（または再プランニング）が実行される。例えば、図１に示した例において、コンベヤ１０４によって到着するアイテムをピックし、荷役台１０６上にプレースして積み重ねるための計画を特定および決定するために、カメラ１１２、１１４、および、１１６の内の１または複数によって生成された３Ｄまたはその他の画像データが、図１に示されていないセンサ（例えば、重量センサ）からのセンサデータと共に用いられてよい。

【0039】

いくつかの実施形態において、システムは、インボイスまたはその他のリストに少なくとも部分的に基づいて、計画を作成してよい。アイテムを積み重ねるための計画が、アイテムのサイズ、重量、密度、重量分布、剛性、アイテムの上部に積み重ねられる重量を支えるアイテムならびに／もしくはその箱またはその他のパッケージの能力、などに基づいて生成されてよい。制御コンピュータは、いくつかの実施形態において、コンベヤ１０４などによってアイテムが荷積み位置に到着する順序を制御する。いくつかの実施形態において、アイテムが事前に知られていない順序で到着する場合があり、および／または、アイテムのリストが知られていない場合がある。いくつかのかかる実施形態において、アイテムおよび／またはその属性を特定し、パレットまたはその他の荷役台（例えば、荷役台１０６）上にアイテムをスタックするための計画を生成／更新するため、ならびに／もしくは、工程２０４において決定された積み重ね計画に従って、各アイテムを把持、ピックアップ、移動して、対応する場所にプレースするための戦略を決定するために、カメラ（例えば、１１２、１１４、１１６）および／またはその他のセンサが用いられる。

【0040】

工程２０６において、アイテムは、工程２０４において決定および／または更新された計画に従って、ピックされ（例えば、図１に示した例においては、コンベヤ１０４から把持され）、アイテムがプレースされる場所の近くの位置へ（所定の／計画された）軌道を通して移動され、移動先にプレースされる。

【0041】

様々な実施形態において、梱包計画が、より小さいおよび／または不定形のアイテムをまとめて、より容易に積み重ねられる単位として梱包するために、積み重ね可能なトレイ、木箱、箱、置き場、または、その他のコンテナを計画的に利用することを含んでよい。いくつかの実施形態において、デパレタイズ動作において、本明細書で開示されているロボットシステムは、かかるコンテナを認識し、必要に応じてそれらを開き、個々のアイテムを取り出すことによってそれらを空にするよう構成されている。空になると、コンテナは、ステージング位置（待機位置）に移動され、そこから、様々な実施形態において、他のロボットおよび／または人間の労働者が、回収してどかしてよい。

【0042】

図の例において、（再）プランニングおよび計画実施（工程２０４、２０６）は、高レベル目標（工程２０２）が完了（工程２０８）するまで継続し、完了すると、処理２００は終了する様々な実施形態において、再プランニング（工程２０４）は、予期しないおよび／または識別できないアイテムの到着、属性を示すセンサ読み取り値が、アイテム識別および／または関連付けられているアイテムモデル情報に基づいて予測されたもの以外の値を有すること、などの条件によってトリガされてよい。予期されない条件の他の例は、予期されたアイテムが紛失していると判定すること、アイテム識別を再評価して、アイテムが元々識別されたもの以外であると判定すること、識別されたアイテムと一致しないアイテム重量またはその他の属性を検出すること、アイテムを落下させ、または、アイテムを把持しなおす必要があること、後に到着するアイテムが元々の計画および／または現在の計画によって予定されているように１または複数の他のアイテム上に積み重ねられるには重すぎると判定すること、ならびに、荷役台に積み重ねられたアイテムのセットにおける不安定性を検出することを含むが、これらに限定されない。

【0043】

図３Ａは、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態において組み上げられたパレットの一例を示す図である。様々な実施形態において、パレット３０２上に積み重ねられている図３Ａのアイテムは、図２の処理２００におけるように、コンピュータで決定（および／または更新）された計画に従って、ロボットシステム（図１のシステム１００など）によって積み重ねられたものであってよい。

【0044】

図の例では、アイテム３０４、３０６、および、３０８が、第１（最下）層に積まれ、アイテム３１０、３１２、３１４、および、３１６が、アイテム３０４、３０６、および、３０８の上部の層に積まれている。そして、アイテム３１８および３２０が、最上部に積まれている。

【0045】

様々な実施形態において、図示されているアイテムは、アイテムの識別および／または属性（例えば、画像、重量、および／または、その他のセンサデータに基づいて決定および／または測定されたもの）に基づいて、図３Ａに示すようにプレースされるよう選択および指定されたものであってよい。例えば、アイテム３０４、３０６、および、３０８は、それらの（相対的な）サイズ、重量、剛性、強度、および／または、上に積み重ねられた重量を支える（アイテムおよび／またはパッケージの）能力の他の指標に基づいて、最下層にプレースされたものであってよい。

【0046】

各アイテムの配置、向きなどは、様々な実施形態において、１または複数のヒューリスティクス、アルゴリズム、もしくは、その他のツールおよび／または技術を適用することによって決定される。例えば、各アイテムは、少なくとも部分的には、比較的（より）平坦な上面を提供して次の層のための土台を形成すること、スタックの表面積を最小化すること、現在の層の外周を最小化すること、などを満たすように、パレット全体の中で、および／または、現在積み重ねられおよび／または配列されている層の中で、位置を決定することによって、追加される。様々な実施形態において、以下のヒューリスティクスの内の１または複数が用いられてよい。重心をパレットの中心近くに維持するように次のアイテムを配置すること、後続のアイテムのためにロボットアームの明確な動作経路を維持すること、最上層の箱または箱に入っていないアイテムのすべてに対してカメラの視界を維持すること、など。

【0047】

図の例において、アイテム３１０および３１２は、（少なくとも断面が）円形であり、いくつかの実施形態において、それらの形状は、それらをプレースする場所を選択する際に考慮される。例えば、図３Ａに示すように、アイテム３１０および３１２がその他の隣接するアイテムによって拘束される内側の位置が、層の縁部または端部の位置よりも選択されてよい。

【0048】

アイテム３１８および３２０は、様々な実施形態において、１または複数の属性（それらの重量（または密度）、上に積み重ねられる重量を支える能力、など）に基づいて、最上部に配置されるように選択されたものであってよい。

【0049】

図３Ｂは、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態において組み上げられたパレットの一例を示す図である。この例において、図３Ａに示した例に含まれていたアイテム３１４は、省略されている。様々な実施形態において、図３Ｂに示すようにアイテムを積み重ねる計画が、制御コンピュータ（図１の制御コンピュータ１１８など）によって生成されうる。図の例において、アルゴリズムで生成された計画は、アイテム３１０、３１２上に積み重ねられたアイテム３１８が安定した位置にあると見なしうる。例えば、任意の点または軸に関する正味モーメントが計算されていない場合があり、計算していれば、制御コンピュータが図のような位置は安定していないと判断することになる。しかしながら、実際的に、パレット３０２上のアイテムの配置において計画から若干のずれがあると、例えば、アイテム３１８が、アイテム３１０、３１２上に積み重ねられた時に安定した位置にない結果となる。いくつかの実施形態において、アイテム３１８をプレースするために用いられるロボットアームおよびエンドエフェクタ（例えば、吸着、グリッパ）は、不安定性を検出するためのセンサおよびロジックを備える。例えば、画像データが処理されてよく、図に示すように、アイテムが右へ傾いていることを示しうる。あるいは、アイテム３１８を解放する前に、エンドエフェクタの力センサが、解放された場合にアイテムが安定しないことを検出するために用いられてもよい。例えば、まだ解放されていない状態で押し下げられた時に、アイテムが屈する（ｇｉｖｅｓ ｗａｙ）（または、偏った抵抗を与える）場合、様々な実施形態において、システムは、アイテムが安定していないと判定する。

【0050】

様々な実施形態において、予期せぬ不安定性の検出が、応答動作をトリガする。例えば、他のアイテム（例えば、図３Ａにおけるアイテム３１４）が、安定していなかったアイテムをさらに支えるために、適所に配置されてよい。あるいは、アイテムは、アイテムが新たな位置で安定するかどうかを確かめるために、異なる近くの位置に移されてもよい（例えば、図の例において左にぴったり寄せる）。様々な実施形態において、自動処理が解決策を決定できなかった場合、人的介入（例えば、遠隔操作、手動、などで）がトリガされてよい。

【0051】

図４Ａは、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図である。図の例において、パレット４０４上で、以前にプレースされたアイテム４０６に隣接する場所にアイテム（図４Ａでは図示されていない）をプレースするために、位置４０２が決定されている。例えば、位置４０２は、図２の工程２０４のように、アイテム属性（サイズ、重量、寸法、など）に基づいて決定されていてよい。

【0052】

図４Ｂは、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図である。図の例において、アイテム４０８は、意図された位置４０２またはその近くに一次精度で移動されている。この例において、アイテム４０８は、若干不規則な外側テクスチャを有しており、それが、位置４０２またはその近くへのアイテムの不完全なピックおよび／またはプレースにつながった可能性がある。いくつかの実施形態において、位置４０２、パレット４０４、アイテム４０６、および、アイテム４０８の内の１または複数に関して受信された画像データおよび／またはその他のセンサデータにおけるばらつきおよび／または不一致が、図４Ｂに示すアイテム４０８の不完全な配置という結果になった可能性がある。

【0053】

図４Ｃは、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムの一実施形態においてパレット上のアイテム配置の例を示す図である。図の例において、アイテム４０８は、計画された位置４０２またはその近くに二次精度で収められている。様々な実施形態において、ロボットアームおよび／またはエンドエフェクタに埋め込まれた二次センサ（力センサなど）が、スタックにおいてよりぴったりとはまる場所にアイテムを収めるために用いられる。例えば、ロボットアームが、アイテム（アイテム４０８など）を、隣接するアイテム（例えば、アイテム４０６）および／またはその他の構造（側壁など（例えば、１または複数の側壁を有するパレットまたはトロリーの場合））と、より近い場所に、（より完全に）接触させて、ぴったり収めるために用いられてよい。

【0054】

いくつかの実施形態において、アイテム（アイテム４０８）は、隣接するアイテム、側壁、などに、より密接に寄せられてよく、その結果、アイテムが元々の計画と完全には一致していない位置に収まってもよい。いくつかの実施形態において、隣接するアイテムを互いに、そして、（該当する場合）隣接する構造（側壁など）に寄せることによって、利用可能な空間を最大限に利用し、安定性を最大化するために、層内でぴったり配置することが望ましく好ましい。

【0055】

図５は、パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、処理５００は、例えば、計画に従って一連のアイテムをピックアンドプレースするために、制御コンピュータ（図１の制御コンピュータ１１８など）によって実行される。

【0056】

図の例において、工程５０２において、配置位置と、その位置に到達するための軌道が、ピックアンドプレースされる次のアイテムについて決定される。例えば、（例えば、計画に従って）予め決定されたおよび／または（例えば、アイテム識別、センサデータ、以前にプレースされたアイテムの位置、などに基づいて）動的に決定された位置とその位置までアイテムを移動させるための軌道とが、決定されてよい。工程５０４において、１または複数の一次センサ（例えば、画像データ）が、（例えば、図４Ｂに示した例のように）アイテムを一次精度で移動先位置へ移動させるために用いられる。工程５０６において、１または複数の二次センサ（例えば、力センサ）が、アイテムを（図４Ｃのように）所定位置に収めるため、および／または、（図３Ｂのような）不安定性またはその他の予期せぬ条件を検出するために用いられる。工程５０８において、アイテムのプレースに成功したと判定された場合、工程５１０において、処理は、次のアイテムに続き、そのアイテムに関して、処理５００の次の反復が実行される。工程５０８において、アイテムのプレースに成功していないと判定された場合（例えば、アイテムが予定された位置にないことが画像データによって判定された、アイテムが安定していない、スタックが安定していない、など）、工程５０８においてアイテムのプレースに成功したと判定されるまで、工程５１２において、システムが、アイテムをしっかりとプレースするために自動処理で再試行し（例えば、それを試みるためのさらなる戦略が利用可能である場合）、および／または、（例えば、オンデマンド遠隔操作による）人的介入が要請される。

【0057】

様々な実施形態において、本明細書で開示されているパレタイズ／デバレタイズのためのロボットシステムは、アイテムをプレースして積み重ねるための計画を動的に作成および／または更新するよう構成されている。例えば、プレースされる１または複数の次のアイテムが、前もって知られていない場合があり、計画の調整が必要になることがある。例えば、柔らかいおよび／または壊れやすいアイテムが、より下層にプレースされ、または、プレースされることが計画されていて、より重いアイテムが（次に）到着することが検出された場合、計画は、柔らかいおよび／または壊れやすいアイテムを一時待機させる（ステージングエリアによける）ように、動的に調整されてよく、それによって、より下のレベルにより重いアイテムを最初にプレースすることが可能になる。いくつかの実施形態において、柔らかいおよび／または壊れやすいアイテムがすでに（例えば、パレット上に）プレースされている場合、アイテムは、より重いアイテムをより低いレベルの適所に配置することを可能にするために、バッファ（ステージング）エリアへ移動されてよい。

【0058】

図６は、パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、処理６００は、カメラ１１２、１１４、および、１１６によって生成された画像データ、ならびに／もしくは、重量またはその他のセンサなどのセンサデータに基づいて、制御コンピュータ（図１の制御コンピュータ１１８など）によって実行される。図の例において、工程６０２において、パレットまたはその他の荷役台に追加される次のＮ個のアイテムに関するデータが受信される。例えば、画像、重量、形状、アイテム識別、インボイス、光学またはその他のスキャナ出力、ならびに／もしくは、その他のデータが受信されてよい。

【0059】

工程６０４において、アイテムをピック、移動、および、梱包／積み重ねするための計画が、工程６０２において受信されたデータおよび／または以前に決定されたデータに基づいて作成および／または更新される。例えば、計画は、次のＮ個のアイテムの属性、バッファ（ステージング）エリアにあるＭ個（ゼロ以上）のアイテムの属性、および、パレット上にすでにプレースされ現在配列されているアイテムＰ個（ゼロ以上）に基づいて、工程６０４において作成および／または更新されてよい。例えば、Ｎ個のアイテムが、バッファにあるＭ個のアイテムよりも重いアイテムを含むが、すでにパレット上にあるＰ個のアイテムよりも軽い場合、計画は、Ｎ個のアイテムをプレースした後に、（暫定的に）次にバッファのＭ個のアイテムをプレースするように更新されてよい。逆に、Ｎ個のアイテムが、バッファにあるＭ個のアイテムおよびすでにパレット上にあるＰ個のアイテムの両方よりも大きく重い場合、Ｐ個のアイテムがバッファへ移動され、Ｎ個のアイテムが最下層にプレースされてよい。

【0060】

工程６０６において、計画を実施するために、アイテムが（例えば、必要に応じて、コンベヤやその他の移動元、バッファまたはステージングエリア、ならびに／もしくは、パレットから）ピックされる。計画の実施の結果として、工程６０８において高レベル目標が完了した（例えば、すべてのアイテムがプレースされた）と判定された場合、処理は終了する。そうでない場合、データの受信、計画の更新、および、計画に従ったピック／プレース（工程６０２、６０４、６０６）が、完了まで（工程６０８）継続する。

【0061】

図７は、パレット上にアイテムをプレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、処理７００は、カメラ１１２、１１４、および、１１６によって生成された画像データなどのセンサデータに基づいて、制御コンピュータ（図１の制御コンピュータ１１８など）によって実行される。様々な実施形態において、処理７００は、例えば、画像データに少なくとも部分的に基づいて決定されたアイテムサイズおよび形状に基づいて、動的にアイテムの属性および配置を決定するために用いられる。

【0062】

図の例において、工程７０２において、画像データが受信および処理される。例えば、２以上のカメラからの画像データが受信され、三次元空間内の合成点集合を生成するためにマージされてよい。

【0063】

工程７０４において、工程７０２において受信および処理された画像データが、モデルにフィッティングされる。例えば、合成点集合が、アイテムモデルのライブラリに含まれる対応するデータと比較され、「最良適合」または「最良一致」モデルが決定されてよい。

【0064】

工程７０６において、画像データ内のギャップが、例えば最良適合モデルからのデータを用いて、埋められ、境界コンテナ（例えば、すべての次元で長方形またはほぼ長方形であるアイテムの境界「ボックス」）が、アイテムに対して決定される。

【0065】

任意選択的に、工程７０８において、例えば、動作を監視する人間のユーザに、合成表示を提供するために、境界コンテナのグラフィック表現が、アイテムの合成画像および／または生画像（例えば、生ビデオ）の上に重ねられる。

【0066】

工程７１０において、工程７０４において決定されたモデルと、工程７０６で決定された境界コンテナとを用いて、（例えば、パレット上で）アイテムをプレースする移動先位置を決定する。いくつかの実施形態において、境界コンテナは、例えば、アイテムをピックアンドプレースするための動作の視覚的表示および／または表現において、決定された配置位置に表示されてよい。

【0067】

図８は、パレット上にアイテムをプレースする戦略を決定するための処理の一実施形態を示すフローチャートである。様々な実施形態において、処理８００は、制御コンピュータ（図１の制御コンピュータ１１８など）によって実行される。図の例において、工程８０２において、アイテムデータが受信および処理される。アイテムデータの例は、画像データ、光学またはその他のスキャナ出力、アイテム重量、などを含むが、それらに限定されない。

【0068】

工程８０４において、モデル（例えば、アイテムモデルのライブラリに含まれるモデル）にアイテムデータをマッチングさせる試みがなされる。例えば、アイテムを識別し、アイテム固有モデルをルックアップするために、アイテムまたはそのパッケージ上のマークが読み取られてよい。いくつかの実施形態において、センサ読み取り値が、異なる方向を指し示しうる。いくつかの実施形態において、外れ値および／またはランダムに選択されたセンサデータを考慮から除外することで、残りのデータがアイテムモデルに（例えば、所定の信頼度で）マッチするか否かが判定されてよい。マッチした場合、そのセンサからのセンサデータが破棄され、工程８０６において、マッチが見つかったと判定される。

【0069】

工程８０２において受信されたデータに基づいて、アイテム固有モデルとの一致が見つかったと工程８０６で判定された場合、工程８０８において、そのモデルに基づいた戦略を用いて、アイテムを把持、ピックアップ、移動、および／または、プレースするための戦略が決定される。

【0070】

工程８０６において、アイテム固有モデルとのマッチが見つからないと判定された場合、工程８１０において、アイテムのサイズ、重量、形状、および／または、その他の属性が決定され、そのサイズ、重量、形状などを有するアイテムに関連付けられたモデルとのマッチングが試みられる。工程８１２において、かかるモデルへのマッチが見つかったと判定された場合、工程８１４において、決定されたモデルを用いて、アイテムを把持、ピックアップ、移動、および／または、プレースするための戦略が決定される。そうでない場合、工程８１６において、例えば、戦略および／または戦略にマッピングされるアイテム識別を手動で入力するため、および／または、遠隔操作、手動、などによってアイテムに関する操作のすべてまたは一部を完了させるために、人的介入がトリガされる。

【0071】

工程８１８では、アイテムの処理が、アイテムおよび／またはアイテムタイプに関するさらなる情報または新たな情報を生み出したか否かが判定される。そうである場合、工程８２０において、新たな情報を用いて、アイテムおよび／またはアイテムタイプのためのモデルが生成および／または更新される。新たな情報が生じていない場合、および／または、かかる情報が任意の適用可能なモデルに反映された場合、処理が終了する。

【0072】

いくつかの実施形態において、新たなアイテムまたはアイテムタイプの検出が、発見処理をトリガし、その処理では、アイテムの属性が決定され、より完全または正確に決定されうる。例えば、システムは、アイテムをモデル化する際、または、アイテムをより完全にモデル化する際に用いられるアイテムの（さらなる）画像またはビューを生成するために、ロボットアームを用いて、アイテムをピックアップし、様々な位置および／または向きにアイテムを保持してよい。

【0073】

様々な実施形態において、本明細書で開示されているように多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムは、吸着ベース、グリッパタイプ、または、その他のエンドエフェクタを作用端に備えたロボットアームを備える。エンドエフェクタは、様々な実施形態において、本明細書で開示されているように、多様なアイテムをパレタイズおよび／またはデパレタイズするために用いられる１または複数のセンサを備えてよい。例えば、エンドエフェクタは、アイテムの一次ピックアンドプレースを円滑にするために用いられる画像センサと、アイテムを適所（例えば、他のアイテム、側壁、および／または、他の構造に隣接した位置）に収めるのを円滑にするための１または複数の力センサと、を備えてよい。別の例で、いくつかの実施形態において、吸着ベースのエンドエフェクタは、物体表面を確実に把持したことを検出するため、および／または、物体が接触を失い、または、せん断していることを検出するために、空気圧センサを備えてよい。

【0074】

図９は、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムにおける吸着ベースのエンドエフェクタの一実施形態を示すブロック図である。様々な実施形態において、図９のロボットアームエンドエフェクタ９００は、図１のエンドエフェクタ１０８を実施するために用いられてよい。

【0075】

図の例において、エンドエフェクタ９００は、回転可能なカップリングを介してロボットアーム９０４に取り付けられている本体またはハウジング９０２を備える。いくつかの実施形態において、ハウジング９０２とロボットアーム９０４との間の接続は、制御コンピュータ（図１の制御コンピュータ１１８など）によって制御されるモータ駆動ジョイントを備えてよい。エンドエフェクタ９００は、さらに、吸着制御モジュール９０８へ真空源を供給するために、ロボットアーム９０４を通してハウジング９０２の中へ至る吸引ラインまたはその他の空気ライン９０６を備える。様々な実施形態において、制御モジュール９０８は、例えば、無線および／または有線通信によってて、通信インターフェース９１４を通してエンドエフェクタ９００の外部の制御コンピュータ（例えば、図１の制御コンピュータ１１）に接続されている。制御モジュール９０８は、例えば、エンドエフェクタ９００を用いてピックアップ、移動、および、プレースされるアイテムへ吸着によってエンドエフェクタをアイテムに付着させるために、吸着カップ９１０、９１２に吸着力を提供するよう動作可能な電子要素および／または電気機械要素を備える。

【0076】

図の例において、ハウジング９０２の側面に取り付けられたカメラ９１６が、エンドエフェクタ９００の下方の視野の画像データを提供する。複数の力センサ９１８、９２０、９２２、９２４、９２６、およ、９２８が、それぞれ、吸着カップ９１０および９１２に印加されている力を測定する。様々な実施形態において、力の測定値は、通信インターフェース９１４を介して、外部および／またはリモートの制御コンピュータへ通信される。センサの読み取り値は、様々な実施形態において、ロボットアーム９０４およびエンドエフェクタ９００を用いて、アイテムを他のアイテムおよび／または側壁またはその他の構造に隣接する場所にぴったり収めることを可能にするため、ならびに／もしくは、不安定性（例えば、まだ吸着下であるが、アイテムがプレースされて安定すると期待された場所にある時に、アイテムが押し下げられる不十分な押し返し）を検出するために、用いられる。様々な実施形態において、水平に取り付けられた力センサのペア（例えば、９１８および９２２、９２４および９２８）は、すべての水平方向において力を決定することを可能にするために、ｘ－ｙ平面において直角に配置されている。

【0077】

図１０は、多様なアイテムをパレタイズおよび／またはデパレタイズするためのロボットシステムにおけるグリッパ式のエンドエフェクタの一実施形態を示すブロック図である。様々な実施形態において、図１０のロボットアームエンドエフェクタ１０００は、図１のエンドエフェクタ１０８を実施するために用いられてよい。

【0078】

図の例において、エンドエフェクタ１０００は、回転可能なカップリングを介してロボットアーム１００４に取り付けられている本体またはハウジング１００２を備える。いくつかの実施形態において、ハウジング１００２とロボットアーム１００４との間の接続は、制御コンピュータ（図１の制御コンピュータ１１８など）によって制御されるモータ駆動ジョイントを備えてよい。エンドエフェクタ１０００は、さらに、関節のある指１０１０および１０１２を備えたグリッパと、グリッパ制御モジュール１００８に電力を供給するためにロボットアーム１００４を通ってハウジング１００２に至る電力ライン１００６と、を備える。様々な実施形態において、制御モジュール１００８は、例えば、無線および／または有線通信によってて、通信インターフェース１０１４を通してエンドエフェクタ１０００の外部の制御コンピュータ（例えば、図１の制御コンピュータ１１８）に接続されている。制御モジュール１００８は、例えば、エンドエフェクタ１０００を用いて、ピックアップ、移動、および、プレースされるアイテムを把持するために、グリッパ指１０１０、１０１２を操作するよう動作可能な電子要素および／または電気機械要素を備える。

【0079】

図の例において、ハウジング１００２の側面に取り付けられたカメラ１０１６が、エンドエフェクタ１０００の下方の視野の画像データを提供する。複数の力センサ１０１８、１０２０、１０２２、１０２４、１０２６、および、１０２８が、それぞれ、指１０１０および１０１２のマウント点に印加されている力を測定する。様々な実施形態において、力の測定値は、通信インターフェース１０１４を介して、外部および／またはリモートの制御コンピュータへ通信される。センサの読み取り値は、様々な実施形態において、ロボットアーム１００４およびエンドエフェクタ１０００を用いて、アイテムを他のアイテムおよび／または側壁またはその他の構造に隣接する場所にぴったり収めることを可能にするため、ならびに／もしくは、不安定性（例えば、まだ吸着下であるが、アイテムがプレースされて安定すると期待された場所にある時に、アイテムが押し下げられる不十分な押し返し）を検出するために、用いられる。

【0080】

吸着タイプのエフェクタが図９に示され、グリッパタイプのエフェクタは図１０に示されているが、様々な実施形態において、１または複数のその他のおよび／または異なるタイプのエンドエフェクタが、本明細書で開示されているように多様なアイテムをパレタイズ／デパレタイズするためにロボットシステムで用いられてもよい。

【0081】

様々な実施形態において、パレットまたはその他の荷役台の上のアイテムをピックして積み重ねるための計画、ならびに／もしくは、アイテムをデパレタイズするための計画は、各アイテムがロボットアームによって移動される軌道を考慮に入れる。例えば、大きい箱は、小さいアイテムよりも大きいクリアランスを必要とする。また、後にプレースされるアイテムは、以前にプレースされたアイテムなどとの衝突を避ける軌道を通って移動されなければならない。

【0082】

いくつかの実施形態において、他のアイテム、荷役台、および／または、環境との衝突を検出するため、ならびに、軌道の「コンプライアントな」調整によって自動動作を継続するために、センサが利用される。例えば、壁またはその他の構造にぶつかった場合、いくつかの実施形態において、ロボットアームは、力を弱め、障害物から離れるまで障害物に沿って辿るように軌道を調整する。

【0083】

図１１は、移動先位置へアイテムをコンプライアントに移動させるための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１１の処理１１００は、ロボットアーム、エンドエフェクタ、および／または、環境を含み、および／または、他の形でそれらに関連付けられているセンサからのセンサ読み取り値に少なくとも部分的に基づいて、制御コンピュータ（図１の制御コンピュータ１１８など）によって実施されてよい。

【0084】

図の例において、工程１１０２において、アイテムが把持され、そのアイテムは、計画された軌道に沿って移動され始める。予期せぬセンサ値または閾値センサ値が受信された場合（工程１１０４）、把持および／または記号の一方または両方が調整されてよい（工程１１０６）。例えば、アイテムが元々の把持から滑っていることが検出された場合、ロボットアームを用いて、アイテムを降ろし、よりしっかりと把持し直してよい。アイテムが障害物にぶつかったと（例えば、力センサ、画像センサ、それら両方、などに基づいて）判定された場合、障害物に沿ってまたは障害物を避けてアイテムを移動させるように軌道を調整してよい。例えば、力センサ読み取り値を閾値未満に維持するように、元々計画されていた軌道を逸脱してよい。反力が検出されなくなると、可能であれば、元々の軌道を再開してよく、および／または、新たな次のセグメント軌道を計算して、それに従ってよい。

【0085】

（さらなる）予期せぬセンサ値が生じなかった場合（工程１１０４）、アイテムは、その軌道に沿って移動先まで進み続ける（工程１１０８）。

【0086】

図１２は、アイテムのロボットアーム把持を変更するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１２の処理１２００は、ロボットアーム、エンドエフェクタ、および／または、環境を含み、および／または、他の形でそれらに関連付けられているセンサからのセンサ読み取り値に少なくとも部分的に基づいて、制御コンピュータ（図１の制御コンピュータ１１８など）によって実施されてよい。工程１２０２において、システムは（例えば、制御コンピュータが、力／トルクセンサおよび／またはその他のデータに基づいて）、アイテムがその重心または重心付近で把持されていないことを検出する。例えば、力センサおよび／またはトルクセンサは、エンドエフェクタがロボットアームに取り付けられている接続点に関する閾値を超えるトルクを検出しうる。または、画像データは、ロボットアームおよびエンドエフェクタに把持されている時にアイテムがほぼ水平な姿勢になっていないことを示唆しうる。工程１２０４において、アイテムは、（例えば、バッファまたはステージングエリア、もしくは、ピックアップされた位置、などに）降ろされ、把持が調整される（例えば、アイテムが解放され、別の位置で把持し直される）。工程１２０６において、システムは、移動先配置位置までの軌道に沿ってアイテムの移動を再開する。

【0087】

図１３は、パレット上に積み重ねられるアイテムの属性を決定するためにロボットアームを用いる処理の一実施形態を示すフローチャートである。様々な実施形態において、図１３の処理１３００は、制御コンピュータ（図１の制御コンピュータ１１８など）によって実施されてよい。図の例において、ロボットアームおよび／またはエンドエフェクタは、アイテムを調べて、そのアイテムの１または複数の属性（例えば、アイテムの柔らかさ、重さ、密度など）を決定するために用いられる。例えば、アイテムが軽い圧力でへこむ場合、それは柔らかいと判定される。アイテムが、画像データに基づいて決定されたそのサイズの割りに軽い場合、そのアイテムは、密度が低いと判定される。工程１３０４において、アイテムが柔らかいおよび／または密度が低いと判定された場合、工程１３０６において、そのアイテムは、スタックの上側の層にプレースされるために、必要であれば一時待機される。工程１３０４において、アイテムが、柔らかくも低密度でもないと判定された場合、そのアイテムは、工程１３０６で一時待機することなしにスタックに追加される。

【0088】

図１４は、パレット上に積み重ねられているアイテムのセットにおける不安定性を検出して対処するためにロボットアームを用いる処理の一実施形態を示すフローチャートである。様々な実施形態において、図１４の処理１４００は、制御コンピュータ（図１の制御コンピュータ１１８など）によって実施されてよい。様々な実施形態において、処理１４００は、例えば、内部（例えば、力）および／または外部（例えば、画像）センサデータに基づいて、スタックの不安定性を検出するために用いられる。

【0089】

図の例において、スタックの安定性が、工程１４０２で監視される。例えば、スタックが傾き、崩れ、滑りなどし始めたことを検出するために、環境内のカメラが用いられてよい。あるいは、スタックまたはその一部が不安定になったことを検出するために、ロボットアームおよび／またはエンドエフェクタ上の力センサが用いられてもよい。工程１４０４において、スタックが不安定になったと判定された場合、工程１４０６において、滑りを防止し、スタックの安定性および構造を補強するために、部分的なスタックが、例えばプラスチックで、自動ラッピングされる。工程１４０４において、スタックが不安定になったと（再び）判定されなかった場合に、いずれにしても、スタック全体（例えば、パレットまたはその他の荷役台）が完成すると（工程１４０８）、工程１４１０において、スタックおよび／またはスタックのラッピングされていない残り部分が、自動ラッピングされ、処理は終了する。

【0090】

様々な実施形態において、本明細書で開示されている技術は、多様なアイテムの任意のグループが、人的介入なしにまたは最小限の人的介入で、ロボットシステムによってパレタイズおよび／またはデパレタイズされることを可能にする。

【0091】

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供されている詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定を意図するものではない。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】