特開 2023-131146 物体の取り扱いを伴うロボットシステムのための非一時的コンピュータ可読媒体、システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131146

(43)【公開日】2023-09-21

(54)【発明の名称】物体の取り扱いを伴うロボットシステムのための非一時的コンピュータ可読媒体、システム及び方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230913BHJP

【ＦＩ】

B25J13/08 A

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023034778

(22)【出願日】2023-03-07

(31)【優先権主張番号】63/317,558

(32)【優先日】2022-03-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/177,578

(32)【優先日】2023-03-02

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】515182347

【氏名又は名称】株式会社Ｍｕｊｉｎ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100134371

【弁理士】

【氏名又は名称】中塚 隆志

(72)【発明者】

【氏名】碓井 渓

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS10

3C707DS05

3C707ES03

3C707KS03

3C707KS04

3C707KT01

3C707KT05

3C707KT06

(57)【要約】

【課題】規則的又は半規則的に配置される物体の検出、識別、及び物体の取り出しを等しく改善するコンピューティングシステムを提供すること。
【解決手段】コンピューティングシステムは、エンドエフェクタ装置を含む又はこれに取り付けられたロボットアームを有するロボットと通信する処理回路を含む。処理回路は、物体の供給源内の複数の物体の中から標的物体を識別し、ロボットアーム及びエンドエフェクタ装置が複数の物体に接近するための接近軌道を決定し、標的物体をエンドエフェクタ装置で把持するための把持動作を決定し、ロボットアーム及びエンドエフェクタ装置を制御して、決定された軌道をとおって標的物体を選び取る。処理回路は、目的地接近軌道を決定し、ロボットアーム及び標的物体をグリップするエンドエフェクタ装置を制御して、目的地に接近し、目的地内に標的物体を解放する。
【選択図】図４

【特許請求の範囲】

【請求項1】

コンピューティングシステムであって、
エンドエフェクタ装置を含む、又は当該エンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムと、
少なくとも１つの処理回路と、を備え、
前記少なくとも１つの処理回路は、前記ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む前記物体取り扱い環境内にあるとき、前記物体の供給源から前記目的地へ標的物体を移送するために、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別すること、
前記ロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成すること、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成すること、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成すること、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力すること、
前記エンドエフェクタ装置接近軌道内で前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力すること、及び
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力すること、
を実行するように構成された、コンピューティングシステム。

【請求項2】

前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記目的地において前記標的物体を解放するために、エンドエフェクタ装置解放コマンドを出力することと、を更に含む、請求項１に記載のコンピューティングシステム。

【請求項3】

前記ロボットアームの前記目的地軌道を決定することが、前記ロボットアームが前記供給源から前記目的地まで動くのに最適化された目的地軌道時間に基づく、請求項２に記載のコンピュータシステム。

【請求項4】

前記ロボットアームの前記目的地軌道を決定することが、前記エンドエフェクタ装置と前記標的物体との間の予測されたグリップ安定性に基づく、請求項２に記載のコンピュータシステム。

【請求項5】

前記エンドエフェクタ装置接近軌道を決定することが、前記把持動作で前記エンドエフェクタ装置が前記標的物体を把持するのに最適化されたエンドエフェクタ装置接近時間に基づく、請求項１に記載のコンピュータシステム。

【請求項6】

前記最適化されたエンドエフェクタ装置接近時間が、前記標的物体に対する利用可能な把持モデルに基づいて決定される、請求項５に記載のコンピュータシステム。

【請求項7】

前記把持動作を決定することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含む、請求項１に記載のコンピュータシステム。

【請求項8】

前記少なくとも１つの処理回路が、前記複数の把持モデルの各々の予測されたグリップ安定性に従って、前記複数の利用可能な把持モデルの各々に対するランクを決定するように更に構成されている、請求項７に記載のコンピュータシステム。

【請求項9】

前記エンドエフェクタ装置によって使用するための前記少なくとも１つの把持モデルを決定することが、前記予測されたグリップ安定性の最も高い判定値を有する前記ランクに基づく、請求項８に記載のコンピュータシステム。

【請求項10】

前記少なくとも１つの処理回路が、
各々が前記物体の供給源内の前記１つ以上の物体のうちの検出された物体を表す１つ以上の検出結果を生成することのために更に構成されており、
前記１つ以上の検出結果の各々は、前記検出された物体の物体配向、前記物体の供給源内の前記検出された物体の場所、他の物体に対する検出された物体の場所、及び信頼度決定のうちの少なくとも１つを定義する、対応する物体表現を含む、請求項１に記載のコンピュータシステム。

【請求項11】

前記複数の物体が、サイズ、形状、重量、及び材料組成物に関して実質的に同一である、請求項１に記載のコンピュータシステム。

【請求項12】

前記複数の物体が、サイズ、形状、重量、及び材料組成において互いに異なる、請求項１に記載のコンピュータシステム。

【請求項13】

前記１つ以上の検出結果から前記標的物体を識別することが、
前記検出された物体に対して利用可能な把持モデルが存在するかを決定することと、
前記検出された物体から、利用可能な把持モデルなしで、前記検出された物体を取り除くことと、を含む、請求項１０に記載のコンピュータシステム。

【請求項14】

前記物体配向、前記物体の供給源内の前記検出された物体の場所、及び／又は物体間距離のうちの少なくとも１つに基づいて、前記検出された物体を取り除くことを更に含む、請求項１３に記載のコンピュータシステム。

【請求項15】

前記少なくとも１つの処理回路が、前記標的物体を含む複数の標的物体を検出結果から識別するために更に構成されている、請求項１に記載のコンピュータシステム。

【請求項16】

前記標的物体が、第１の把持モデルと関連付けられた前記複数の標的物体の第１の標的物体であり、
前記複数の標的物体の第２の標的物体が、第２の把持モデルと関連付けられている、請求項１５に記載のコンピュータシステム。

【請求項17】

前記複数の標的物体を識別することが、前記エンドエフェクタ装置による把持のための前記第１の標的物体、及び前記エンドエフェクタ装置による把持のための前記第２の標的物体を選択することを含む、請求項１５に記載のコンピュータシステム。

【請求項18】

前記少なくとも１つの処理回路が、
前記ロボットアームを制御して前記第２の標的物体に接近するために、第２のエンドエフェクタ装置接近コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記第２の標的物体を把持するために、第２のエンドエフェクタ装置制御コマンドを出力し、前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記第１の標的物体及び前記第２の標的物体を前記目的地において解放するように、前記エンドエフェクタ装置を制御するために、エンドエフェクタ装置解放コマンドを出力することと、のために更に構成されている、請求項１７に記載のコンピュータシステム。

【請求項19】

物体の供給源から標的物体を選び取る方法であって、
前記標的物体を、前記物体の供給源内の複数の物体の中で識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力することと、
前記エンドエフェクタ装置接近軌道内の前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、方法。

【請求項20】

ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能である、実行可能な命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、物体の供給源から標的物体を選び取るための方法を実装するためのものであり、
前記方法は、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記複数の物体に接近する前記アーム接近軌道に従って前記ロボットアームを制御するために、アーム接近コマンドを出力することと、
前記標的物体に接近する前記エンドエフェクタ装置接近軌道で前記ロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＯＢＪＥＣＴ ＨＡＮＤＬＩＮＧ」と題する、２０２２年３月８日に出願された米国仮出願第６３／３１７，５５８号の利益を主張し、その全体の内容が参照により本明細書に組み込まれる。

【0002】

本技術は、概して、ロボットシステム、より詳細には、物体を検出し、取り扱うためのシステム、プロセス、及び技法を対象とする。より詳細には、本技術は、容器中の物体を検出し、取り扱うために使用され得る。

【背景技術】

【0003】

性能がますます向上し、コストが低減するにつれ、現在、多くのロボット（例えば、物理的アクションを自動／自律的に実行するように構成された機械）が様々な異なる分野で広く使用されている。ロボットは、例えば、製造及び／又は組立、梱包及び／又は包装、輸送及び／又は出荷などにおける様々なタスク（例えば、空間を通した物体の操作又は移送）を実行するために使用され得る。タスクを実行する際に、ロボットは、人のアクションを再現することができ、それによって、別様で危険又は反復的なタスクを実施するのに必要な人の関与を置き換えるか、又は低減することができる。

【0004】

しかしながら、技術が進歩しているにもかかわらず、ロボットは多くの場合、より大きな及び／又はより複雑なタスクを実行するために要求される、人間の相互作用を複製するのに必要な精巧さを欠く。したがって、ロボット間の動作及び／又は相互作用を管理するための改善された技法及びシステムに対するニーズが依然として存在する。

【発明の概要】

【0005】

実施形態では、コンピューティングシステムが提供される。コンピューティングシステムは、エンドエフェクタ装置を含む又はエンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムを含む。少なくとも１つの処理回路は、ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む物体取り扱い環境内にあるとき、物体の供給源から目的地へ標的物体を移送するために、標的物体を、物体の供給源内の複数の物体の中から識別することと、ロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力することと、エンドエフェクタ装置接近軌道に従ってロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を実行するように構成することができる。

【0006】

別の実施形態では、物体の供給源から標的物体を選び取る方法が提供される。方法は、標的物体を、物体の供給源内の複数の物体の中から識別するステップと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を決定するステップと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成するステップと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成するステップと、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力するステップと、エンドエフェクタ装置接近軌道に従ってロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力するステップと、エンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力するステップと、を含む。

【0007】

別の実施形態では、ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能で、物体の供給源から標的物体を選び取るための方法を実装するための実行可能な命令を有する非一時的コンピュータ可読媒体が提供される。方法は、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道に従ってロボットアームを制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道に従ってロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、エンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む。

【図面の簡単な説明】

【0008】

【図1A】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムを図示する。

【図1B】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの実施形態を図示する。

【図1C】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの別の実施形態を図示する。

【図1D】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの更に別の実施形態を図示する。

【図2A】本明細書の実施形態と一致する、物体の検出、識別及び取り出しを実施するか、又は容易にするように構成された計算システムを示すブロック図である。

【図2B】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成された計算システムの一実施形態を示すブロック図である。

【図2C】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成されたコンピューティングシステムの別の実施形態を図示するブロック図である。

【図2D】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成されたコンピューティングシステムの更に別の実施形態を図示するブロック図である。

【図2E】システムによって処理され、本明細書の実施形態と一致する、画像情報の実施例である。

【図2F】システムによって処理され、本明細書の実施形態と一致する、画像情報の実施例である。

【図3A】本明細書の実施形態による、ロボットシステムを動作させるための例示的な環境を図示する。

【図3B】本明細書の実施形態と一致する、ロボットシステムによる物体の検出、識別、及び取り出しのための例示的な環境を図示する。

【図3C】アーム、基部、及びエンドエフェクタ装置を有するロボットシステムを図示する。

【図3D】アーム、基部、及びエンドエフェクタ装置を有するロボットシステムの別の例示的な実施形態を図示する。

【図4】本明細書の実施形態による、標的物体の検出、計画、選び取り、移送、及び載置のための方法及び動作の全体的な流れを図示する、フロー図を提供する。

【図5A】複数の物体を含む容器又は供給源の場所を図示する。

【図5B】容器又は供給源の場所内の複数の物体からの複数の検出された物体についての、本明細書に記載の検出結果の視覚的描写を図示する。

【図5C】本明細書の実施形態と一致する検出結果からの物体認識の実施例を図示する。

【図6A】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図6B】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図6C】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図7A】供給源から目的地へのロボットアームによる物体の移送サイクルについての運動計画を図示する。

【図7B】本明細書に記載のロボットシステムを介した物体取り扱いのシステム及び方法の実施形態を図示する。

【図7C】容器又は供給源の場所内の複数の物体からの複数の検出された物体についての、本明細書に記載された検出結果の視覚的描写を図示し、一次物体及び二次物体は、本明細書に更に記述される動作を介して選択される。

【図7D】本明細書に記述されたように、把持動作中のロボットシステムを介したバウンディングボックス使用の実施例を図示する。

【図8A】エンドエフェクタ装置把持接近軌道を図示する。

【図8B】物体チャック動作を図示する。

【図8C】物体把持出発軌道を図示する。

【図9A】第２の物体把持接近軌道を図示する。

【図9B】第２の物体チャック動作を図示する。

【図9C】第２の物体把持出発軌道を図示する。

【発明を実施するための形態】

【0009】

物体の検出、識別、及び取り出しに関連するシステム及び方法が、本明細書に記載されている。具体的には、開示されたシステム及び方法は、物体が容器内に位置している場合における物体の検出、識別、及び取り出しを容易にすることができる。本明細書で論じるように、物体は、金属又は他の材料であってもよく、箱、ビン、木枠などの容器を含む、供給源内に位置してもよい。例えば、ねじで満たされた箱のように、物体は容器内で未整理又は不規則に置かれる可能性がある。こうした状況での物体の検出及び識別は、物体の不規則な配置のために困難であり得るが、本明細書で論じられるシステム及び方法は、規則的又は半規則的に配置される物体の検出、識別、及び物体の取り出しを等しく改善し得る。したがって、本明細書に記載のシステム及び方法は、複数の物体の中から個々の物体を識別するように設計され、個々の物体は、異なる場所、異なる角度などで配置されてもよい。本明細書で論じられるシステム及び方法は、ロボットシステムを含み得る。本明細書の実施形態に従って構成されたロボットシステムは、複数のロボットの動作を調整することによって、統合されたタスクを自律的に実行し得る。ロボットシステムは、本明細書に記載されるように、制御し、コマンドを発行し、ロボットデバイス及びセンサからの情報を受信し、ロボットデバイス、センサ及びカメラによって生成されたデータにアクセスし、分析し、及び処理し、ロボットシステムの制御に使用可能なデータ又は情報を生成し、ロボットデバイス、センサ、及びカメラのアクションを計画するように構成されたロボットデバイス、アクチュエータ、センサ、カメラ、及びコンピューティングシステムの任意の好適な組み合わせを含み得る。本明細書で使用される場合、ロボットシステムは、ロボットアクチュエータ、センサ、又はその他のデバイスに直ちにアクセス又は制御する必要はない。ロボットシステムは、本明細書に記載するように、情報の受信、分析、及び処理を通して、そのようなロボットアクチュエータ、センサ、及び他のデバイスの性能を改善するように構成された計算システムであり得る。

【0010】

本明細書に記載される技術は、物体の識別、検出、及び取り出しで使用するために構成されたロボットシステムに技術的改善を提供する。本明細書に記載する技術的改善は、これらのタスクの速度、精度、及び正確さを増加させ、容器からの物体の検出、識別、及び取り出しを更に容易にする。本明細書に記載されるロボットシステム及び計算システムは、容器からの物体を識別、検出、及び取り出す技術的問題に対処するものであり、物体は不規則に配置され得る。この技術的問題に対処することにより、物体の識別、検出、及び取り出しの技術が改善される。

【0011】

本出願は、システム及びロボットシステムを指す。ロボットシステムは、本明細書で論じるように、ロボットアクチュエータ構成要素（例えば、ロボットアーム、ロボットグリッパなど）、様々なセンサ（例えば、カメラなど）、及び様々なコンピューティング又は制御システムを含み得る。本明細書で論じるように、コンピューティングシステム又は制御システムは、ロボットアーム、ロボットグリッパ、カメラなどの様々なロボット構成要素を「制御すること」と呼んでもよい。そのような「制御」は、ロボット構成要素の様々なアクチュエータ、センサ、及びその他の機能的態様の直接的な制御及び相互作用を指し得る。例えば、コンピューティングシステムは、様々なモータ、アクチュエータ、及びセンサにロボット移動を引き起こすために必要な信号の全てを発行又は提供することによって、ロボットアームを制御することができる。そのような「制御」はまた、そのようなコマンドをロボット移動を引き起こすために必要な信号に変換する更なるロボット制御システムへの抽象的又は間接的なコマンドの発行を指し得る。例えば、コンピューティングシステムは、ロボットアームが移動すべき軌道又は目的地の場所を記述するコマンドを発行することによってロボットアームを制御してもよく、ロボットアームに関連付けられた更なるロボット制御システムは、そのようなコマンドを受信及び解釈し、次いで、ロボットアームの様々なアクチュエータ及びセンサに必要な直接信号を提供して、必要な移動を引き起こしてもよい。

【0012】

具体的には、本明細書に記載の本技術は、ロボットシステムが、容器内の複数の物体の間で標的物体と相互作用するのを支援する。容器からの物体の検出、識別、及び取り出しには、好適な物体認識テンプレートの生成、識別に使用可能な特徴の抽出、並びに検出仮説の生成、精密化、及び検証を含む、数点のステップが必要である。例えば、物体の不規則な配置の可能性があるため、複数の異なる姿勢（例えば、角度及び場所）の、かつ他の物体の部分によって潜在的に不明瞭な場合に、物体を認識し、識別することが必要な場合がある。

【0013】

以下に、本開示の技術の理解を提供するために、具体的な詳細が記載されている。実施形態では、本明細書に導入される技法は、本明細書に開示される各具体的な詳細を含まずに実施され得る。他の実例では、特定の機能又はルーチンなどの周知の特徴は、本開示を不必要に不明瞭化することを避けるために詳細には説明されない。この説明における「実施形態」、「一実施形態」、又は同様のものへの参照は、説明される特定の特徴、構造、材料、又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書におけるそのような語句の外観は、必ずしも全て同じ実施形態を指すわけではない。一方で、そのような参照は、必ずしも相互に排他的なものではない。更に、任意の１つの実施形態に関して記載される特定の特徴、構造、材料、又は特性は、このような項目が相互に排他的でない限り、任意の他の実施形態のものと任意の好適な様式で組み合わせることができる。図に示される様々な実施形態は、単に例示的な表現であり、必ずしも縮尺どおりに描かれるものではないことを理解されたい。

【0014】

周知であり、かつ多くの場合にロボットシステム及びサブシステムと関連付けられるが、本開示の技法のいくつかの重要な態様を不必要に不明瞭にし得る、構造又はプロセスを説明する数点の詳細は、明確化の目的で以下の説明には記載されていない。更に、以下の開示は、本技術の異なる態様の数点の実施形態を説明しているが、数点の他の実施形態は、本節に説明されるものとは異なる構成又は異なる構成要素を有し得る。したがって、開示された技術は、追加の要素を有するか、又は以下に説明される要素のうちの数点を有しない、他の実施形態を有し得る。

【0015】

以下に説明される本開示の多くの実施形態又は態様は、プログラム可能なコンピュータ又はコントローラによって実行されるルーチンを含む、コンピュータ又はコントローラ実行可能命令の形態を取り得る。関連分野の当業者であれば、開示された技法は、以下に示され説明されるもの以外のコンピュータ又はコントローラシステム上で、若しくはそれらを用いて実践され得ることを理解するであろう。本明細書に説明される技法は、以下に説明されるコンピュータ実行可能命令のうちの１つ以上を実行するように、特別にプログラム、構成、又は構築される、専用コンピュータ又はデータプロセッサで具現化され得る。したがって、本明細書において一般的に使用される「コンピュータ」及び「コントローラ」という用語は、任意のデータプロセッサを指し、インターネット家電及び手持ち式デバイス（パームトップコンピュータ、ウェアラブルコンピュータ、セルラ又は携帯電話、マルチプロセッサシステム、プロセッサベース又はプログラム可能な家庭用電化製品、ネットワークコンピュータ、ミニコンピュータなどを含む）を含み得る。これらのコンピュータ及びコントローラによって取り扱われる情報は、液晶ディスプレイ（ＬＣＤ）を含む、任意の好適なディスプレイ媒体において提示され得る。コンピュータ又はコントローラ実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組み合わせを含む、任意の好適なコンピュータ可読媒体内に、又はその上に記憶され得る。命令は、例えば、フラッシュドライブ、ＵＳＢデバイス、及び／又は他の好適な媒体を含む、任意の好適なメモリデバイスに包含され得る。

【0016】

「結合された」及び「接続された」という用語は、それらの派生語とともに、本明細書では、構成要素間の構造的な関係を説明するために使用され得る。これらの用語は、互いの同義語として意図されていないことが理解されるべきである。むしろ、特定の実施形態では、「接続された」は、２つ以上の要素が互いに直接接触していることを示すために使用され得る。文脈において別途明白にされない限り、「結合された」という用語は、２つ以上の要素が、互いに直接的又は間接的（それらの間の他の介在要素との）接触にあるか、又は２つ以上の要素が互いに協働するか、若しくは相互作用する（例えば、信号送信／受信のための、又は関数呼び出しのためのなどの、因果関係にあるような）か、又はその両方を示すために使用され得る。

【0017】

コンピューティングシステムによる画像分析に対する本明細書の任意の参照は、選択された点に対する様々な場所のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、物体を識別するか、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、物体の１つ以上の表面の場所を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に既知の他の形態が、本明細書に説明される方法に従って使用され得る。

【0018】

図１Ａは、物体検出、又はより具体的には、物体認識を実施するためのシステム１０００を図示する。より詳細には、システム１０００は、コンピューティングシステム１１００及びカメラ１２００を含み得る。この実施例では、カメラ１２００は、カメラ１２００が位置する環境を説明するか、若しくは別様で表し、又はより具体的には、カメラ１２００の視野（カメラ視野とも呼ぶ）中の環境を表す、画像情報を生成するように構成され得る。環境は、例えば、倉庫、製造工場、小売空間、又は他の施設であり得る。こうした実例では、画像情報が、箱、ビン、ケース、木枠、パレット、又は他の容器などの、そのような施設に位置する物体を表し得る。システム１０００は、以下でより詳細に論じるように、画像情報を使用して、カメラ視野内の個々の物体を区別すること、画像情報に基づき物体認識又は物体登録を実施すること、及び／又は画像情報に基づきロボット相互作用計画を実施することなど、画像情報を生成、受信、及び／又は処理するよう構成され得る（用語「及び／又は」並びに「又は」は、本開示では互換的に使用される）。ロボット相互作用計画は、例えば、ロボットと容器又は他の物体との間のロボット相互作用を容易にするように、施設においてロボットを制御するために使用され得る。コンピューティングシステム１１００及びカメラ１２００は、同じ施設において位置し得、又は互いに遠隔に位置し得る。例えば、コンピューティングシステム１１００は、倉庫又は小売空間から遠隔にあるデータセンタ内でホストされるクラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介してカメラ１２００と通信することができる。

【0019】

実施形態では、カメラ１２００（画像感知デバイスとも呼ばれ得る）は、２Ｄカメラ及び／又は３Ｄカメラであり得る。例えば、図１Ｂは、コンピューティングシステム１１００、及びいずれもカメラ１２００の実施形態であり得る、カメラ１２００Ａ並びにカメラ１２００Ｂを含むシステム１５００Ａ（システム１０００の実施形態であり得る）を図示する。この実施例では、カメラ１２００Ａは、カメラの視野中にある環境の視覚的外観を説明する２Ｄ画像を含む、又はそれを形成する、２Ｄ画像情報を生成するように構成されている２Ｄカメラであり得る。カメラ１２００Ｂは、カメラの視野中の環境に関する空間構造情報を含む、又はそれを形成する、３Ｄ画像情報を生成するように構成されている３Ｄカメラ（空間構造感知カメラ又は空間構造感知デバイスとも呼ばれる）であり得る。空間構造情報は、カメラ１２００Ｂの視野中にある様々な物体の表面上の場所など、カメラ１２００Ｂに対する様々な場所のそれぞれの奥行き値を説明する、奥行き情報（例えば、奥行きマップ）を含んでもよい。カメラの視野内又は物体の表面上のこれらの場所を、物理的場所と称することもできる。この実施例の奥行き情報は、物体が三次元（３Ｄ）空間の中で空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、カメラ１２００Ｂの視野内の物体の１つ以上の表面上の場所を説明する点群を含むことができ、又はこの点群を生成するために使用することができる。より具体的には、空間構造情報は、物体の構造（物体構造とも呼ぶ）上の様々な場所を説明することができる。

【0020】

実施形態では、システム１０００は、カメラ１２００の環境内でロボットと様々な物体との間のロボット相互作用を容易にするための、ロボット動作システムであり得る。例えば、図１Ｃは、図１Ａ及び図１Ｂのシステム１０００／１５００Ａの実施形態であり得る、ロボット動作システム１５００Ｂを図示する。ロボット動作システム１５００Ｂは、コンピューティングシステム１１００、カメラ１２００、及びロボット１３００を含んでもよい。上述のように、ロボット１３００は、カメラ１２００の環境内の１つ以上の物体、例えば、箱、木枠、ビン、パレット、又はその他の容器と相互作用するために使用することができる。例えば、ロボット１３００は、１つの場所から容器を選び取り、それらを別の場所に移動するように構成することができる。一部の事例では、ロボット１３００は、容器又は他の物体のグループが降ろされて、例えば、コンベヤベルトに移動される、パレットから降ろす動作を実施するために使用することができる。一部の実装形態では、カメラ１２００は、以下に論じる、ロボット１３００又はロボット３３００に取り付けることができる。これは、カメラの手持ち又は手元ソリューションとしても知られる。カメラ１２００は、ロボット１３００のロボットアーム３３２０に取り付けることができる。次いで、ロボットアーム３３２０は、様々なピック領域に移動して、それらの領域に関する画像情報を生成することができる。一部の実装形態では、カメラ１２００は、ロボット１３００から分離し得る。例えば、カメラ１２００は、倉庫又は他の構造の天井に装着されてもよく、構造に対して静止したままであってもよい。一部の実装形態では、ロボット１３００とは別個の複数のカメラ１２００、及び／又はロボット１３００とは別のカメラ１２００が手元カメラ１２００と組み合わせて使用されることを含む、複数のカメラ１２００を使用することができる。一部の実装形態では、１つのカメラ１２００又は複数のカメラ１２００は、ロボットアーム、ガントリ、又はカメラ移動のために構成された他の自動化システムなどの物体操作に使用されるロボット１３００とは別個に、専用のロボットシステムに装着又は固定されてもよい。本明細書全体を通して、カメラ１２００を「制御する（ｃｏｎｔｒｏｌ）」又は「制御している（ｃｏｎｔｒｏｌｌｉｎｇ）」について論じることができる。カメラの手持ちソリューションについては、カメラ１２００の制御は、カメラ１２００が装着又は取り付けられるロボット１３００の制御も含む。

【0021】

実施形態では、図１Ａ～図１Ｃのコンピューティングシステム１１００は、ロボットコントローラとも呼ばれ得るロボット１３００を形成してもよく、又はロボット１３００に組み込まれてもよい。ロボット制御システムは、システム１５００Ｂに含まれ得、例えば、ロボット１３００と容器又は他の物体との間のロボット相互作用を制御するためのロボット相互作用移動コマンドなどの、ロボット１３００用のコマンドを生成するように構成されている。そのような実施形態では、コンピューティングシステム１１００は、例えば、カメラ１２００によって生成された画像情報に基づき、そのようなコマンドを生成するように構成され得る。例えば、コンピューティングシステム１１００は、画像情報に基づき運動計画を決定するように構成されてもよく、運動計画は、例えば、物体をグリップするか、又は別様で把持することを意図し得る。コンピューティングシステム１１００は、運動計画を実行するために、１つ以上のロボット相互作用移動コマンドを生成することができる。

【0022】

実施形態では、コンピューティングシステム１１００は、視覚システムを形成し得るか、又はその一部であり得る。視覚システムは、例えば、ロボット１３００が位置する環境を説明する、又は、代替的に若しくはそれに加えて、カメラ１２００が位置する環境を説明する、視覚情報を生成するシステムであり得る。視覚情報が、上で論じられた３Ｄ画像情報及び／又は２Ｄ画像情報、若しくはいくつかの他の画像情報を含んでもよい。一部のシナリオでは、コンピューティングシステム１１００が、視覚システムを形成する場合、視覚システムは、上で論じられたロボット制御システムの一部であってもよく、又はロボット制御システムから分離してもよい。視覚システムが、ロボット制御システムから分離する場合、視覚システムは、ロボット１３００が位置する環境を説明する情報を出力するように構成され得る。情報は、ロボット制御システムに出力されてもよく、ロボット制御システムは、視覚システムからそのような情報を受信し、その情報に基づいて運動計画を実施し、及び／又はロボット相互作用運動コマンドを生成することができる。視覚システムに関する更なる情報は、以下に詳しく説明される。

【0023】

実施形態では、コンピューティングシステム１１００は、ＲＳ－２３２インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェースなどの専用有線通信インターフェースを介して、かつ／若しくは周辺構成要素相互接続（ＰＣＩ）バスなどのローカルコンピュータバスを介して提供される接続など、直接接続を介してカメラ１２００及び／又はロボット１３００と通信し得る。実施形態では、コンピューティングシステム１１００は、ネットワークを介してカメラ１２００と、かつ／又はロボット１３００と通信し得る。ネットワークは、パーソナルエリアネットワーク（ＰＡＮ）、例えば、イントラネットといったローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットなど、任意のタイプ及び／又は形態のネットワークであり得る。ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群（ＴＣＰ／ＩＰ）、ＡＴＭ（非同期転送モード）技法、ＳＯＮＥＴ（同期型光ネットワーク）プロトコル、又はＳＤＨ（同期デジタル階層）プロトコルを含む、プロトコルの異なる技法、及び層又はスタックを利用し得る。

【0024】

実施形態では、コンピューティングシステム１１００は、カメラ１２００と、かつ／若しくはロボット１３００と直接情報を通信してもよく、又は中間記憶デバイス、若しくはより一般的には、中間の非一時的コンピュータ可読媒体を介して通信することができる。例えば、図１Ｄは、システム１０００／１５００Ａ／１５００Ｂの実施形態であり得るシステム１５００Ｃを図示し、これは、コンピューティングシステム１１００の外部であってもよく、例えばカメラ１２００によって生成された画像情報を記憶するための外部バッファ又はリポジトリとして作用し得る、非一時的コンピュータ可読媒体１４００を含む。そのような実施例では、コンピューティングシステム１１００は、非一時的コンピュータ可読媒体１４００から、画像情報を取り出すか、又は別様で受信することができる。非一時的コンピュータ可読媒体１４００の実施例としては、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はそれらの任意の好適な組み合わせが挙げられる。非一時的コンピュータ可読媒体は、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、及び／又はメモリスティックを形成し得る。

【0025】

上述のように、カメラ１２００は、３Ｄカメラ及び／又は２Ｄカメラであり得る。２Ｄカメラは、カラー画像又はグレースケール画像などの、２Ｄ画像を生成するように構成され得る。３Ｄカメラは、例えば、飛行時間（ＴＯＦ）カメラ若しくは構造化光カメラなどの、奥行き感知カメラ、又は任意の他のタイプの３Ｄカメラであり得る。一部の事例では、２Ｄカメラ及び／又は３Ｄカメラは、電荷結合デバイス（ＣＣＤ）センサ及び／又は相補型金属酸化膜半導体（ＣＭＯＳ）センサなど、画像センサを含み得る。実施形態では、３Ｄカメラは、レーザ、ＬＩＤＡＲデバイス、赤外線デバイス、明／暗センサ、運動センサ、マイクロ波検出器、超音波検出器、レーダ探知機、又は奥行き情報若しくは他の空間構造情報を捕捉するように構成された任意の他のデバイスを含み得る。

【0026】

上述のように、画像情報が、コンピューティングシステム１１００によって処理され得る。実施形態では、コンピューティングシステム１１００は、（例えば、１つ以上のサーバブレード、プロセッサなどを有する）サーバ、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、スマートフォン、タブレットコンピューティングデバイス、及び／若しくは他の任意の他のコンピューティングシステムを含んでもよく、又はそれらとして構成され得る。実施形態では、コンピューティングシステム１１００の機能のいずれか又は全ては、クラウドコンピューティングプラットフォームの一部として実施されてもよい。コンピューティングシステム１１００は、単一のコンピューティングデバイス（例えば、デスクトップコンピュータ）であってもよく、又は複数のコンピューティングデバイスを含んでもよい。

【0027】

図２Ａは、コンピューティングシステム１１００の実施形態を図示する、ブロック図を提供する。本実施形態におけるコンピューティングシステム１１００は、少なくとも１つの処理回路１１１０、及び非一時的コンピュータ可読媒体（又は複数の媒体）１１２０を含む。一部の実例では、処理回路１１１０は、非一時的コンピュータ可読媒体１１２０（例えば、コンピュータメモリ）上に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、特殊用途コンピュータ、及び／又はオンボードサーバ）を含み得る。一部の実施形態では、プロセッサは、他の電子／電気デバイスに動作可能に結合された別個の／スタンドアローン型のコントローラに含まれてもよい。プロセッサは、プログラム命令を実装して、他のデバイスを制御／他のデバイスとインターフェース接続し、それによって、コンピューティングシステム１１００にアクション、タスク、及び／又は動作を実行させることができる。実施形態では、処理回路１１１０は、１つ以上のプロセッサ、１つ以上の処理コア、プログラマブルロジックコントローラ（「ＰＬＣ」）、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、それらの任意の組み合わせ、又は任意の他の処理回路を含む。

【0028】

実施形態では、コンピューティングシステム１１００の一部である、非一時的コンピュータ可読媒体１１２０は、上で論じられた中間の非一時的コンピュータ可読媒体１４００の代替又は追加であり得る。非一時的コンピュータ可読媒体１１２０は、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、それらの任意の組み合わせ、又は任意の他の記憶デバイスなど、それらの任意の好適な組み合わせなどの記憶デバイスであり得る。一部の実例では、非一時的コンピュータ可読媒体１１２０は、複数の記憶デバイスを含み得る。特定の実装形態では、非一時的コンピュータ可読媒体１１２０が、カメラ１２００によって生成され、計算システム１１００によって受信される画像情報を記憶するように構成される。一部の実例では、非一時的コンピュータ可読媒体１１２０は、本明細書で論じる方法及び動作を実施するために使用される１つ以上の物体認識テンプレートを記憶し得る。非一時的コンピュータ可読媒体１１２０が、処理回路１１１０によって実行されるとき、処理回路１１１０に、本明細書に説明される１つ以上の方法論を実施させるコンピュータ可読プログラム命令を、代替的又は追加的に記憶し得る。

【0029】

図２Ｂは、コンピューティングシステム１１００の一実施形態であり、通信インターフェース１１３１を含む、コンピューティングシステム１１００Ａを描写している。通信インターフェース１１３１は、例えば、図１Ａ～図１Ｄのカメラ１２００によって生成された画像情報を受信するように構成され得る。画像情報は、上で論じられた中間の非一時的コンピュータ可読媒体１４００若しくはネットワークを介して、又はカメラ１２００とコンピューティングシステム１１００／１１００Ａとの間のより直接的な接続を介して受信され得る。実施形態では、通信インターフェース１１３１は、図１Ｃのロボット１３００と通信するように構成され得る。コンピューティングシステム１１００が、ロボット制御システムの外部にある場合、コンピューティングシステム１１００の通信インターフェース１１３１は、ロボット制御システムと通信するように構成され得る。通信インターフェース１１３１はまた、通信構成要素又は通信回路と呼ばれる場合があり、例えば、有線又は無線プロトコル上で通信を実施するように構成された通信回路を含んでもよい。実施例として、通信回路は、ＲＳ－２３２ポートコントローラ、ＵＳＢコントローラ、イーサネットコントローラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラ、ＰＣＩバスコントローラ、任意の他の通信回路、又はそれらの組み合わせを含んでもよい。

【0030】

実施形態では、図２Ｃに描写されるように、非一時的コンピュータ可読媒体１１２０は、本明細書で論じられる１つ以上のデータ物体を記憶するように構成された記憶空間１１２５を含み得る。例えば、記憶空間は、物体認識テンプレート、検出仮説、画像情報、物体画像情報、ロボットアーム移動コマンド、及び本明細書で論じたコンピューティングシステムがアクセスを必要とし得る任意の追加のデータ物体を記憶し得る。

【0031】

実施形態では、処理回路１１１０は、非一時的コンピュータ可読媒体１１２０に記憶される、１つ以上のコンピュータ可読プログラム命令によってプログラムされ得る。例えば、図２Ｄは、コンピューティングシステム１１００／１１００Ａ／１１００Ｂの実施形態である、コンピューティングシステム１１００Ｃを図示し、処理回路１１１０は、物体認識モジュール１１２１、運動計画モジュール１１２９、及び物体操作計画モジュール１１２６を含む、１つ以上のモジュールによってプログラムされる。処理回路１１１０は更に、仮説生成モジュール１１２８、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、特徴抽出モジュール１１３４、仮説精密化モジュール１１３６、及び仮説検証モジュール１１３８を用いてプログラムされ得る。上記のモジュールの各々は、本明細書に記載されるプロセッサ、処理回路、コンピューティングシステムなどのうちの１つ以上でインスタンス化されたときに、特定のタスクを遂行するように構成された、コンピュータ可読プログラム命令を表し得る。上記のモジュールの各々は、本明細書に記載された機能を達成するために、互いに協働して動作してもよい。本明細書に記載される機能の様々な態様は、上述のソフトウェアモジュールのうちの１つ以上によって行われてもよく、ソフトウェアモジュール及びそれらの説明は、本明細書に開示されるシステムの計算構造を制限するものとして理解されるものではない。例えば、特定のタスク又は機能は、特定のモジュールに関して記述され得るが、そのタスク又は機能は、必要に応じて異なるモジュールによって実施されてもよい。更に、本明細書で説明するシステム機能は、機能の内訳又は割り当てが異なるように構成されたソフトウェアモジュールの異なるセットによって実施することができる。

【0032】

実施形態では、物体認識モジュール１１２１は、本開示全体を通して論じられたように、画像情報を取得及び分析するように構成され得る。画像情報に関して本明細書で論じられる方法、システム、及び技法は、物体認識モジュール１１２１を使用し得る。物体認識モジュールは、本明細書で論じるように、物体識別に関連する物体認識タスクのために更に構成することができる。

【0033】

運動計画モジュール１１２９は、ロボットの移動を計画及び実行するように構成することができる。例えば、運動計画モジュール１１２９は、本明細書に記載される他のモジュールと相互作用して、物体取り出し動作及びカメラ載置動作のためのロボット３３００の運動を計画することができる。ロボットアームの移動及び軌道に関して本明細書で論じられる方法、システム、及び技法は、運動計画モジュール１１２９によって実施され得る。

【0034】

物体操作計画モジュール１１２６は、例えば、物体の把持及び解放、並びにそのような把持及び解放を支援し、促進するためのロボットアームコマンドの実行などのロボットアームの物体操作活動を計画し、実行するように構成され得る。物体操作計画モジュール１１２６は、軌道決定、選び取り及びグリップ手順決定、及び物体とのエンドエフェクタの相互作用に関連する処理を実施するように構成され得る。物体操作計画モジュール１１２６の動作は、図４に関して更に詳細に説明される。

【0035】

仮説生成モジュール１１２８は、検出仮説を生成するためテンプレート合致及び認識タスクを実施するように構成され得る。仮説生成モジュール１１２８は、任意の他の必要なモジュールと相互作用又は通信するように構成され得る。

【0036】

物体登録モジュール１１３０は、本明細書で論じる様々なタスクに必要とされ得る物体登録情報を取得、記憶、生成、及び別様で処理するよう構成されてもよい。物体登録モジュール１１３０は、任意の他の必要なモジュールと相互作用又は通信するように構成され得る。

【0037】

テンプレート生成モジュール１１３２は、物体認識テンプレート生成タスクを完了するように構成され得る。テンプレート生成モジュール１１３２は、物体登録モジュール１１３０、特徴抽出モジュール１１３４、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0038】

特徴抽出モジュール１１３４は、特徴抽出及び生成タスクを完了するように構成され得る。特徴抽出モジュール１１３４は、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、仮説生成モジュール１１２８、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0039】

仮説精密化モジュール１１３６は、仮説精密化タスクを完了するように構成され得る。仮説精密化モジュール１１３６は、物体認識モジュール１１２１及び仮説生成モジュール１１２８、並びに任意の他の必要なモジュールと相互作用するように構成され得る。

【0040】

仮説検証モジュール１１３８は、仮説検証タスクを完了するように構成され得る。仮説検証モジュール１１３８は、物体登録モジュール１１３０、特徴抽出モジュール１１３４、仮説生成モジュール１１２８、仮説精密化モジュール１１３６、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0041】

図２Ｅ、図２Ｆ、図３Ａ及び図３Ｂを参照して、画像分析のために実施され得る物体認識モジュール１１２１に関連する方法を説明する。図２Ｅ及び図２Ｆは、画像分析方法と関連付けられた例示的な画像情報を図示するが、図３Ａ及び図３Ｂは、画像分析方法と関連付けられた例示的なロボット環境を図示する。コンピューティングシステムによる画像分析に関連する本明細書の参照は、選択された点に対する様々な場所のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、物体を識別するか、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、物体の１つ以上の表面の場所を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に既知の他の形態が、本明細書に説明される方法に従って使用され得る。

【0042】

実施形態では、コンピューティングシステム１１００は、カメラ１２００のカメラ視野（例えば、３２００）内の物体を表す画像情報を取得し得る。画像情報を取得するための、以下に説明するステップ及び技法は、以下、画像情報捕捉動作３００１と呼ぶことができる。一部の実例では、物体は、カメラ１２００の視野３２００の情景５０１３内の複数の物体５０１２からの１つの物体５０１２であってもよい。画像情報２６００、２７００は、物体５０１２がカメラ視野３２００にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、個々の物体５０１２又は情景５０１３のうちの１つ以上を記述してもよい。物体の外観は、カメラ１２００の視点からの物体５０１２の外観を記述する。カメラ視野内に複数の物体５０１２がある場合、カメラは、必要に応じて、複数の物体又は単一の物体を表す画像情報（単一の物体に関するそのような画像情報は、物体画像情報と呼ばれ得る）を生成し得る。画像情報は、物体のグループがカメラ視野にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、かつ、例えば、２Ｄ画像情報及び／又は３Ｄ画像情報を含み得る。

【0043】

一例として、図２Ｅは、画像情報の第１のセット、より具体的には、２Ｄ画像情報２６００を描写しており、これは、上述のように、カメラ１２００によって生成され、図３Ａの物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を表す。より具体的には、２Ｄ画像情報２６００は、グレースケール又はカラー画像であり得、カメラ１２００の視点からの物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の外観を記述し得る。実施形態では、２Ｄ画像情報２６００は、カラー画像の単一色チャネル（例えば、赤、緑、又は青のカラーチャネル）に対応し得る。カメラ１２００が物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の上方に配設される場合、２Ｄ画像情報２６００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１のそれぞれの上部表面の外観を表し得る。図２Ｅの実施例では、２Ｄ画像情報２６００は、物体３４１０Ａ／３４１０Ｂ／３４１Ｃ／３４１０Ｄ／３４０１のそれぞれの表面を表す、画像部分又は物体画像情報とも呼ばれる、それぞれの部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０を含み得る。図２Ｅでは、２Ｄ画像情報２６００の各画像部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０は、画像領域、又はより具体的には、ピクセル領域（画像がピクセルによって形成される場合）であり得る。２Ｄ画像情報２６００のピクセル領域内の各ピクセルは、座標［Ｕ、Ｖ］のセットによって記述される位置を有するものとして特徴付けることができ、図２Ｅ及び図２Ｆに示されるように、カメラ座標系、又は他の何らかの座標系に対する値を有し得る。ピクセルの各々はまた、０～２５５又は０～１０２３の値などの、強度値を有し得る。更なる実施形態では、ピクセルの各々は、様々なフォーマット（例えば、色相、飽和、強度、ＣＭＹＫ、ＲＧＢなど）のピクセルに関連付けられる任意の追加情報を含んでもよい。

【0044】

上述のように、画像情報は、一部の実施形態では、２Ｄ画像情報２６００などの画像の全て又は一部分であり得る。実施例では、コンピューティングシステム１１００は、対応する物体３４１０Ａと関連付けられた画像情報のみを取得するために、２Ｄ画像情報２６００から画像部分２０００Ａを抽出するように構成され得る。画像部分（画像部分２０００Ａなど）が単一の物体を対象とする場合、それは物体画像情報と呼ばれ得る。物体画像情報は、対象とする物体についての情報のみを包含する必要はない。例えば、対象とする物体は、１つ以上の他の物体近く、その下、その上、又は別様で近傍にあってもよい。そのような場合、物体画像情報は、対象とする物体、並びに１つ以上の隣接する物体についての情報を含み得る。コンピューティングシステム１１００は、図２Ｆに図示される２Ｄ画像情報２６００及び／又は３Ｄ画像情報２７００に基づいて、画像セグメンテーション又は他の分析又は処理動作を実施することによって、画像部分２０００Ａを抽出することができる。一部の実装形態では、画像セグメンテーション又は他の動作は、２Ｄ画像情報２６００内の物体の物理的縁部が現れる（例えば、物体の縁部）画像場所を検出することと、そのような画像場所を使用して、カメラ視野（例えば、３２００）内の個々の物体を表し、かつ他の物体を実質的に除外することに限定される、物体画像情報を識別することとを含み得る。「実質的に除外する」とは、画像セグメンテーション又はその他の処理技法が、非標的物体を物体画像情報から除外するように設計及び構成されるが、エラーが生じる可能性があり、ノイズが存在する可能性があり、様々な他の要因が他の物体の部分の包含をもたらす可能性があることが理解されることを意味する。

【0045】

図２Ｆは、画像情報が３Ｄ画像情報２７００である、実施例を描写している。より具体的には、３Ｄ画像情報２７００は、例えば、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の１つ以上の表面（例えば、上部表面、又は他の外側表面）上の様々な場所のそれぞれの奥行き値を示す、奥行きマップ又は点群を含み得る。一部の実装形態では、画像情報を抽出するための画像セグメンテーション動作は、物体の物理的縁部（例えば、箱の縁部）が３Ｄ画像情報２７００内に現れる画像場所を検出すること、及びそのような画像場所を使用して、カメラ視野（例えば、３４１０Ａ）内の個々の物体を表すことに限定される画像部分（例えば、２７３０）を識別することを含み得る。

【0046】

それぞれの奥行き値は、３Ｄ画像情報２７００を生成するカメラ１２００に対するものであってもよく、又はいくつかの他の基準点に対するものであり得る。一部の実施形態では、３Ｄ画像情報２７００は、カメラ視野（例えば、３２００）内にある物体の構造上の様々な場所についてのそれぞれの座標を含む、点群を含み得る。図２Ｆの実施例では、点群は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１のそれぞれの表面の場所を描写する、それぞれの座標セットを含み得る。座標は、［Ｘ Ｙ Ｚ］座標などの３Ｄ座標であってもよく、カメラ座標系、又は何らかの他の座標系に対する値を有し得る。例えば、３Ｄ画像情報２７００は、物体３４１０Ｄの表面上の物理的な場所とも呼ばれる、場所２７１０_１～２７１０_ｎのセットに対するそれぞれの奥行き値を示す、画像部分とも呼ばれる第１の画像部分２７１０を含み得る。更に、３Ｄ画像情報２７００は、第２の部分、第３の部分、第４の部分、及び第５の部分２７２０、２７３０、２７４０、及び２７５０を更に含み得る。次いで、これらの部分は、それぞれ、２７２０_１～２７２０_ｎ、２７３０_１～２７３０_ｎ、２７４０_１～２７４０_ｎ、及び２７５０_１～２７５０_ｎによって表され得る、場所のセットについてのそれぞれの奥行き値を更に示し得る。これらの図は単に実施例であり、対応する画像部分を有する任意の数の物体が使用され得る。上述のように、取得された３Ｄ画像情報２７００は、一部の実例では、カメラによって生成される３Ｄ画像情報２７００の第１のセットの部分であってもよい。図２Ｅの実施例では、取得された３Ｄ画像情報２７００が図３Ａの物体３４１０Ａを表す場合、３Ｄ画像情報２７００は、画像部分２７１０のみを参照するように狭められ得る。２Ｄ画像情報２６００の考察と同様に、識別された画像部分２７１０は、個々の物体に関連してもよく、物体画像情報と呼ばれてもよい。したがって、物体画像情報は、本明細書で使用される場合、２Ｄ及び／又は３Ｄ画像情報を含み得る。

【0047】

実施形態では、画像正規化動作は、画像情報を取得する一部として、コンピューティングシステム１１００によって実施され得る。画像正規化動作は、変換された画像又は変換された画像部分を生成するために、カメラ１２００によって生成された画像又は画像部分を変換することを伴い得る。例えば、取得された、２Ｄ画像情報２６００、３Ｄ画像情報２７００、又は２つの組み合わせを含み得る画像情報が、視点、物体姿勢、及び視覚的記述情報と関連付けられる照明条件において画像情報の変更を試みるために、画像正規化動作を受ける可能性がある場合である。そのような正規化は、画像情報とモデル（例えば、テンプレート）情報との間のより正確な比較を容易にするために実施され得る。視点は、カメラ１２００に対する物体の姿勢、及び／又はカメラ１２００が物体を表す画像を生成するときに、カメラ１２００が物体を見ている角度を指し得る。

【0048】

例えば、画像情報は、標的物体がカメラ視野３２００内にある、物体認識動作中に生成され得る。カメラ１２００は、標的物体がカメラに対して特定の姿勢を有するときに、標的物体を表す画像情報を生成し得る。例えば、標的物体は、その上部表面をカメラ１２００の光学軸に対して垂直にするような姿勢を有する場合がある。そのような例では、カメラ１２００によって生成される画像情報は、標的物体の上面図などの特定の視点を表し得る。一部の実例では、カメラ１２００が物体認識動作中に画像情報を生成しているときに、画像情報は、照明強度などの特定の照明条件で生成され得る。そのような実例では、画像情報は、特定の照明強度、照明色、又は他の照明条件を表し得る。

【0049】

実施形態では、画像正規化動作は、画像又は画像部分を、物体認識テンプレートの情報と関連付けられた視点及び／又は照明条件により良く合致させるように、カメラによって生成される情景の画像又は画像部分を調整することを伴い得る。調整は、画像又は画像部分を変換して、物体姿勢又は物体認識テンプレートの視覚的記述情報に関連付けられた照明条件のうちの少なくとも一方に合致する変換された画像を生成することを伴い得る。

【0050】

視点調整は、画像が物体認識テンプレート内に含まれ得る視覚的記述情報と同じ視点を表すように、情景の画像の処理、ワーピング、及び／又はシフトを伴い得る。処理は、例えば、画像の色、コントラスト、又は照明を変更することを含み得、情景のワーピングは、画像のサイズ、寸法、又は比率を変更することを含み得、画像のシフトは、画像の位置、向き、又は回転を変更することを含み得る。例示的な実施形態では、処理、ワーピング、及び／又はシフトを使用して、情景の画像内の物体を、物体認識テンプレートの視覚的記述情報に合致するか、又はそれにより良好に対応する向き及び／又はサイズを有するように変更することができる。物体認識テンプレートは、一部の物体の正面図（例えば、上面図）を記述する場合、情景の画像は、情景内の物体の正面図も表すようにワーピングされ得る。

【0051】

本明細書で実施される物体認識方法の更なる態様は、２０２０年８月１２日出願の米国特許出願第１６／９９１，５１０号、及び２０２０年８月１２日出願の米国特許出願第１６／９９１，４６６号により詳細に説明されており、その各々が参照により本明細書に組み込まれる。

【0052】

様々な実施形態では、「コンピュータ可読命令」及び「コンピュータ可読プログラム命令」という用語は、様々なタスク及び動作を遂行するように構成された、ソフトウェア命令又はコンピュータコードを記述するために使用される。様々な実施形態では、「モジュール」という用語は、処理回路１１１０に１つ以上の機能タスクを実施させるように構成された、ソフトウェア命令又はコードの集まりを広く指す。モジュール及びコンピュータ可読命令は、処理回路又は他のハードウェア構成要素が、モジュール若しくはコンピュータ可読命令を実行しているときに、様々な動作又はタスクを実施するものとして説明され得る。

【0053】

図３Ａ及び図３Ｂは、非一時的コンピュータ可読媒体１１２０上に記憶されたコンピュータ可読プログラム命令を、コンピューティングシステム１１００を介して利用して、物体識別、検出、並びに取り出し動作及び方法の効率を増大させる、例示的な環境を図示する。コンピューティングシステム１１００によって取得され、図３Ａにおいて例証される画像情報は、物体環境内に存在するロボット３３００へのシステムの意思決定手順及びコマンド出力に影響を与える。

【0054】

図３Ａ及び図３Ｂは、本明細書に説明されるプロセス及び方法が実施され得る例示的な環境を図示する。図３Ａは、少なくともコンピューティングシステム１１００、ロボット３３００、及びカメラ１２００を含む、（図１Ａ～図１Ｄのシステム１０００／１５００Ａ／１５００Ｂ／１５００Ｃの実施形態であり得る）システム３０００を有する環境を描写している。カメラ１２００は、カメラ１２００の実施形態であってもよく、カメラ１２００のカメラ視野３２００内の情景５０１３を表す、又はより具体的には、物体３０００Ａ、３０００Ｂ、３０００Ｃ、及び３０００Ｄなどの、カメラ視野３２００内の物体（箱など）を表す、画像情報を生成するように構成され得る。一実施例では、物体３０００Ａ～３０００Ｄの各々は、例えば、箱又は木枠などの容器であってもよく、一方で、物体３５５０は、例えば、上に容器が配設されるパレットであり得る。更に、物体３０００Ａ～３０００Ｄの各々は、更に個々の物体５０１２を含む容器であってもよい。各物体５０１２は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリであってもよい。図３Ａは、物体５０１２の複数の容器を含む実施形態を図示するが、図３Ｂは、物体５０１２の単一の容器を含む実施形態を図示する。

【0055】

実施形態では、図３Ａのシステム３０００は、１つ以上の光源を含み得る。光源は、例えば、発光ダイオード（ＬＥＤ）、ハロゲンランプ、又は任意の他の光源であってもよく、可視光、赤外線、又は物体３０００Ａ～３０００Ｄの表面に向かって任意の他の形態の光を発するように構成され得る。一部の実施態様では、コンピューティングシステム１１００は、光源と通信して、光源が起動されるときを制御するように構成され得る。他の実施態様では、光源は、コンピューティングシステム１１００とは独立して動作し得る。

【0056】

実施形態では、システム３０００は、カメラ１２００、又は２Ｄ画像情報２６００を生成するように構成されている２Ｄカメラと、３Ｄ画像情報２７００を生成するように構成されている３Ｄカメラとを含む、複数のカメラ１２００を含み得る。カメラ１２００又は複数のカメラ１２００は、ロボット３３００に装着されるか、又はロボット３３００に固定されてもよく、環境内に静止していてもよく、及び／又はロボットアーム、ガントリ、又はカメラ移動のために構成された他の自動化システムなどの物体操作に使用されるロボット３３００から分離された専用のロボットシステムに固定されてもよい。図３Ａは、静止カメラ１２００及び手持ちカメラ１２００を有する実施例を示し、一方、図３Ｂは、静止カメラ１２００のみを有する実施例を示す。２Ｄ画像情報２６００（例えば、カラー画像又はグレースケール画像）は、カメラ視野３２００における、物体３０００Ａ／３０００Ｂ／３０００Ｃ／３０００Ｄ又は物体５０１２などの１つ以上の物体の外観を説明し得る。例えば、２Ｄ画像情報２６００は、物体３０００Ａ／３０００Ｂ／３０００Ｃ／３０００Ｄ及び５０１２のそれぞれの外部表面（例えば、上部表面）上に配設される視覚的詳細、及び／又はそれらの外部表面の輪郭を捕捉するか、又は別様に表し得る。実施形態では、３Ｄ画像情報２７００は、物体３０００Ａ／３０００Ｂ／３０００Ｃ／３０００Ｄ／３５５０及び５０１２のうちの１つ以上の構造を説明してもよく、物体についての構造は、物体の構造又は物体の物理的構造とも呼ばれ得る。例えば、３Ｄ画像情報２７００は、奥行きマップを含んでもよく、より一般的には、カメラ１２００に対する、又は何らかの他の基準点に対する、カメラ視野３２００内の様々な場所のそれぞれの奥行き値を説明し得る、奥行き情報を含んでもよい。それぞれの奥行き値に対応する場所は、物体３０００Ａ／３０００Ｂ／３０００Ｃ／３０００Ｄ／３５５０及び５０１２のそれぞれの上部表面上の場所などの、カメラ視野３２００内の様々な表面上の場所（物理的な場所とも呼ばれる）であり得る。一部の実例では、３Ｄ画像情報２７００は、物体３０００Ａ／３０００Ｂ／３０００Ｃ／３０００Ｄ／３５５０及び５０１２、又はカメラ視野３２００内のいくつかの他の物体の１つ以上の外側表面上の様々な場所を説明する、複数の３Ｄ座標を含み得る、点群を含み得る。点群を図２Ｆに示される。

【0057】

図３Ａ及び図３Ｂの実施例では、（ロボット１３００の実施形態であり得る）ロボット３３００は、一端がロボット基部３３１０に取り付けられ、かつ他端がロボットグリッパなどのエンドエフェクタ装置３３３０に取り付けられるか、又はそれによって形成される、ロボットアーム３３２０を含み得る。ロボット基部３３１０は、ロボットアーム３３２０を装着するために使用され得るが、ロボットアーム３３２０、より具体的には、エンドエフェクタ装置３３３０は、ロボット３３００の環境で１つ以上の物体と相互作用するために使用され得る。相互作用（ロボット相互作用とも呼ぶ）は、例えば、物体３０００Ａ～３０００Ｄ及び５０１２のうちの少なくとも１つをグリップするか、又は別様で把持することを含み得る。例えば、ロボット相互作用は、物体５０１２を容器から識別、検出、及び取り出すための物体選び取り動作の一部であってもよい。エンドエフェクタ装置３３３０は、物体５０１２を把持するか、又は掴むための吸引カップ又は他の構成要素を有し得る。エンドエフェクタ装置３３３０は、吸引カップ又は他の把持構成要素を使用して、例えば、上面を介して、物体の単一の面又は表面との接触を通して、物体を把持するか、又は掴むように構成され得る。

【0058】

ロボット３３００は、構造部材を操作するため、及び／又はロボットユニットを輸送するためになど、タスクを実装するために使用される情報を取得するように構成された追加のセンサを更に含み得る。センサは、ロボット３３００の１つ以上の物理的特性（例えば、その状態、条件、及び／又は１つ以上の構造部材／ジョイントの場所）及び／又は周囲の環境の１つ以上の物理的特性を検出又は測定するよう構成されたデバイスを含み得る。センサの一部の実施例には、加速度計、ジャイロスコープ、力センサ、歪みゲージ、触覚センサ、トルクセンサ、位置エンコーダなどが含まれ得る。

【0059】

コンピューティングシステム１１００は、エンドエフェクタ装置３３３０を含む、又はそれに取り付けられるロボットアーム３３２０を有し、かつロボットアーム３３２０に取り付けられるカメラ１２００を有するロボット３３００と通信するように構成された制御システムを備える。図３Ｃ及び図３Ｄは、コンピューティングシステム１１００が通信し、コマンド／制御して本明細書に記載される方法を達成することができる、ロボット３３００の実施形態を図示する。実施形態では、カメラ１２００は、物体取り扱い環境３４００の他の場所に配設され、一方で、無線又はハード有線接続のいずれかを介してコンピューティングシステム１１００の制御システムと通信する。ロボット３３００は、ジョイント３３２０ａ、３３２０ｂにおいて接続されて、ロボットアーム３３２０及びエンドエフェクタ装置３３３０を形成し、より大きな運動範囲（例えば、回転及び／又は並進変位）を許容する、物理的又は構造的な部材３３２１ａ、３３２１ｂを含み得る。物理的又は構造的な部材３３２１ａは、ジョイント３３２０ａを介してロボット基部３３１０に更に接続してもよい。ロボット３３００は、対応するジョイント３３２０ａ、３３２０ｂの周り又はそこにおいて、構造部材３３２１ａ、３３２１ｂを駆動又は操作する（例えば、変位及び／又は再配向する）ように構成されたモータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなど（図示せず）などの作動デバイスを含み得る。例えば、ロボットアーム３３００は、ロボット基部３３１０に対してジョイント３３２０ａの周りで全方位３６０°回転することができてもよく、又は構造部材３３２１ａ、３３２１ｂは、ジョイント３３２０ａ、３３２０ｂ接続に接続する任意の点において全方位３６０°回転することができる。ロボットアーム３３００は、更に、ロボットアーム３３００の完全に延長した長さ（すなわち、まっすぐにした、又は１８０°）が、ロボットベース３３１０の中心軸（すなわち、ロボットアーム３３２０がロボットベース３３１０に接続する場所）からエンドエフェクタ器具３３３０の先端又は端部まで測定した、半球状の三次元空間の半径として作用する、半球状の三次元空間内の任意の場所を並進することができる。

【0060】

接続された構造部材３３２１ａ、３３２１ｂ及びジョイント３３２０ａ、３３２０ｂは、ロボット３３００の所望の使用に応じて、１つ以上のタスク（例えば、グリップすること、スピンすること、溶接することなど）を実行するように構成されたエンドエフェクタ装置３３３０を操作するように構成された動力鎖を形成し得る。ロボット３３００は、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなどの（図示せず）、エンドエフェクタ装置３３３０を駆動又は操作（例えば、変位及び／又は再配向する）するように構成された作動デバイスを含み得る。一般に、エンドエフェクタ装置３３３０は、様々なサイズ及び形状の物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を把持する能力を提供することができる。物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、ディスク、ワッシャ、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリを含む、任意の物体であってもよい。エンドエフェクタ装置３３３０は、図３Ｃに例証されるように、グリッピングフィンガ３３３２ａ、３３３２ｂを有する少なくとも１つのグリッパ３３３２を含み得る。グリッピングフィンガ３３３２ａ、３３３２ｂは、互いに対して並進して、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を挟む、把持する、又は別様で固定することができる。実施形態では、エンドエフェクタ装置３３３０は、図３Ｄに例証されるように、それぞれグリッピングフィンガ３３３２ａ、３３３２ｂ、３３３４ａ、３３３４ｂを有する少なくとも２つのグリッパ３３３２、３３３４を含む。グリッピングフィンガ３３３２ａ、３３３２ｂは、互いに対して並進することができ、グリッピングフィンガ３３３４ａ、３３３４ｂは、互いに対して並進して、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を挟む、把持する、又は別様で固定することができる。実施形態では、エンドエフェクタ装置３３３０は、３つ以上のグリッパ（図示せず）、及び／又は３つ以上のグリッピングフィンガ（図示せず）を有するグリッパを含んでもよく、各々が、物体を挟む、把持する、又は別様で固定するように設計された並進能力を有する。

【0061】

ロボット３３００は、物体処理環境３４００内の目的地３４４０への送達又は移送のために、その上又はその中に配設された物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を有する容器３４２０を含む、物体取り扱い環境３４００内の場所について構成することができる。容器３４２０は、例えば、ビン、箱、バケツ、又はパレットなど、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を保持するのに好適な任意の容器であってもよい。物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、ディスク、ワッシャ、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリを含む、任意の物体であってもよい。実施形態では、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１は、例えば、数グラム～数キログラムの範囲の質量、及び例えば、５ｍｍ～５００ｍｍの範囲のサイズを有する、容器３４２０からアクセス可能な物体を指し得る。実施例及び例示的目的で、本明細書の方法４０００の説明では、本明細書に記載の方法を使用してコンピュータシステム１１００及びロボット３３００が相互作用し得る複数の物体３５００（図５Ｂに示す）内の標的物体３５１０ａ（図５Ｂ及び図６Ａ～図６Ｃ）としてリング状物体に言及する。複数の物体３５００は、サイズ、形状、重量、及び材料組成物に関して実質的に同一であってもよい。実施形態では、複数の物体３５００は、前述したように、サイズ、形状、重量、及び材料組成物において互いに異なっていてもよい。本明細書で論じる物体の特定の形状は、例えば、実施例の目的のみに使用され、本明細書に記載の方法及びプロセスは、必要に応じて、異なる形状の物体とともに使用又は採用され得る。

【0062】

したがって、上記に関して、コンピューティングシステム１１００は、供給源又は容器３４２０から目的地３４４０へ標的物体を移送するために、以下のように動作するよう構成されてもよい。

【0063】

図４は、本明細書の実施形態による、標的物体の検出、計画、選び取り、移送、及び載置のための方法及び動作の全体的な流れを図示する、フロー図を提供する。検出、計画、選び取り、移送、及び載置の方法４０００は、本明細書に記載されるサブ方法及び動作の特徴の任意の組み合わせを含み得る。方法４０００は、物体検出動作４００２、物体把持性決定動作４００３、標的選択動作４００４、軌道決定動作４００５、選び取り／グリップ手順決定動作４００６、ロボットアーム／エンドエフェクタ装置軌道実行動作４００８、エンドエフェクタ相互作用動作４０１０、及びロボットアーム３３２０を制御する目的地軌道実行動作４０１２のいずれか又は全てを含み得る。物体検出動作４００２は、リアルタイムで、又はロボット動作の状況外の前処理又はオフライン環境で実施することができる。したがって、一部の実施形態では、これらの動作及び方法は、ロボットによる後のアクションを容易にするために事前に実施することができる。物体検出動作４００２及び物体把持性決定動作４００３は、方法４０００の計画部分における第１のステップであってもよい。標的選択動作４００４、軌道決定動作４００５、及び選び取り／グリップ手順決定動作４００６は、計画部分の残りのステップを提供してもよく、方法４０００の間に複数回実施されてもよい。ロボットアーム／エンドエフェクタ装置軌道実行動作４００８、エンドエフェクタ相互作用動作４０１０、及びロボットアーム３３２０を制御するための目的地軌道実行動作４０１２は各々、容器から標的物体を検出し、識別し、かつ取り出すためのロボット動作の状況下で実施することができる。

【0064】

動作４００２では、方法４０００は、カメラ１２００を介して、容器又は物体の源３４２０内の複数の物体３５００を検出することを含む。物体３５００は、複数の物理的な実世界の物体（図５Ａ）を表すことができる。動作４００２は、容器３４２０内の物体３５００のうちの１つ以上についての検出結果３５２０を生成し得る。検出結果３５２０は、個別に検出された物体３５１０と呼ばれ得る容器３４２０（図５Ｂ）内の複数の物体３５００のデジタル表現を含み得る。方法４０００の更なる動作は、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ、及び／又は把持不可能物体３５１０ｂである検出された物体３５１０から決定することができる（例えば、図７Ｂに関して論じたように。

【0065】

動作４００２は、本明細書に記載の方法に従って、カメラ１２００から受信した情報（例えば、画像情報）を分析して、検出結果３５２０（図５Ｃ）を生成することを含み得る。カメラ１２００から受信した情報は、複数の物体３５００の、物体容器３４２０の環境３４００の画像を含み得る。上で論じたように、複数の物体３５００は、検出された物体３５１０を含み得る。

【0066】

検出結果３５２０を生成することは、物体容器３４２０内の複数の物体３５００を識別して、その後、検出された物体３５１０を識別し、そこから、ロボット３３００を介して選び取って、目的地３４４０に移送する標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが後で決定されることを含み得る。図５Ｂは、容器３４２０内の複数の物体３５００のうち、複数の検出された物体３５１０についての検出結果３５２０の視覚的描写を提供する（それらの物理的表現は図５Ａとして提供される）。図５Ｃは、物理的世界に存在する物理的物体３５００を図示する一方、検出された物体３５１０は、検出結果３５２０によって説明される物理的物体３５００の表示を指す。検出結果３５２０は、検出された物体３５１０の各々についての情報、例えば、容器３４２０内の検出された物体３５１０の場所、他の検出された物体３５１０に対する検出された物体３５１０の場所（例えば、検出された物体３５１０が複数の物体３５００の山の頂部上、又は他の隣接する検出された物体３５１０の下にあるか）、検出された物体３５１０の向き及び姿勢、物体検出の信頼度、（以下でより詳細に説明するように）利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ、又はそれらの組み合わせを含む、検出された物体３５１０の各々についての複数の物体表現４０１３を含み得る。

【0067】

したがって、方法４０００の動作４００２は、物体検出に基づいて、複数の物体表現４０１３を含む検出結果３５２０を得ることを含み得る。コンピュータシステム１１００は、有効な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを決定する際に、検出結果３５２０から検出された全ての物体３５１０の複数の物体表現４０１３を使用することができる。検出された物体３５１０の各々は、検出された物体３５１０の各々についてのデジタル情報（すなわち、物体表現４０１３）を表す、対応する検出結果３５２０を有してもよい。実施形態では、対応する検出結果３５２０は、実世界内に物理的に存在する複数の物体３５００の中に、複数の検出された物体３５１０を組み込むことができる。検出された物体３５１０は、検出された物体３５００の各々についてのデジタル情報（すなわち、物体表現４０１３）を表す可能性がある。

【0068】

一実施形態では、検出結果３５２０を得るために複数の物体３５００を識別することは、任意の好適な手段によって遂行され得る。実施形態では、複数の物体３５００を識別することは、例えば、仮説生成モジュール１１２８、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、特徴抽出モジュール１１３４、仮説精密化モジュール１１３６、及び仮説検証モジュール１１３８によって実施されるように、物体登録、テンプレート生成、特徴抽出、仮説生成、仮説精密化、及び仮説検証を含むプロセスを含み得る。これらのプロセスは、２０２２年８月９日出願の米国特許出願第１７／８８４，０８１号に詳細に記載されており、その内容全体は本明細書に組み込まれる。

【0069】

物体登録は、物体登録データ、例えば、物体３５００に関連する既知の以前に記憶された情報を取得及び使用して、物理的な情景において類似の物体を識別及び認識する際に使用するための物体認識テンプレートを生成することを含むプロセスである。テンプレート生成は、物体ピック（物体選び取り）に関連する更なる動作のために、物体３５００を識別するのに使用する、コンピューティングシステム用の物体認識テンプレートのセットを生成することを含むプロセスである。特徴抽出（特徴生成とも呼ばれる）は、物体認識テンプレート生成で使用するための、物体画像情報からの特徴の抽出又は生成を含むプロセスである。仮説生成は、例えば、物体画像情報と１つ以上の物体認識テンプレートとの比較に基づいて、１つ以上の物体検出仮説を生成することを含むプロセスである。仮説精密化は、物体認識テンプレートが物体画像情報と正確に合致しないシナリオでも、物体認識テンプレートと物体画像情報の合致を精密化するためのプロセスである。仮説検証は、複数の仮説からの単一の仮説が、物体３５００の最良の適合又は最良の選択として選択されるプロセスである。

【0070】

動作４００３では、方法４０００は、複数の物体３５００の中から、把持可能な物体を識別することを含む。方法４０００の計画部分のステップとして、動作４００３は、検出された物体３５１０から把持可能な物体及び把持不可能な物体を決定することを含む。動作４００３は、検出された物体３５１０に基づいて実施されて、把持モデルを各検出された物体３５１０に割り当てるか、又は検出された物体３５１０が、把持不可能な物体３５１０ｂであると決定することができる。

【0071】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、検出された物体３５１０が、どのようにエンドエフェクタ装置３３３０によって把持され得るかを説明する。例示の目的で、図６Ａ～図６Ｃは、標的物体３５１０ａをグリップするための３つの異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを例示するが、他の把持モデルも可能であると理解されるべきである。

【0072】

把持モデル３３５０ａとして図示された図６Ａは、標的物体３５１０ａのリングの内壁に対してグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが逆挟み運動を実施するような内側チャックを実証している（すなわち、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、両方とも標的物体３５１０ａのリング内に入ると、外側へ、又は互いから離れるように並進する）。

【0073】

図６Ｂは、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａのリングの内壁及び外側を挟むような内外チャックを実証する把持モデル３３５０ｂを図示する。

【0074】

把持モデル３３５０ｃとして図示された図６Ｃは、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが対象物体３５１０ａのリングの外側ディスク部分を挟む側方チャックを実証している。

【0075】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々は、ロボットアーム３３２０によって物体を移動できる速度、加速、及び／又は減速を決定し得る関連付けられた移送速度修正器を有し得る、予測されたグリップ安定性４０１６などの要因に従ってランク付けされ得る。例えば、関連付けられた移送速度修正器は、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の移動速度を決定する値である。値は、ゼロと１との間で設定されてもよく、ゼロは、全停止（例えば、移動なし、完全に静止）を表し、１は、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の最大動作速度を表す。移送速度修正器は、オフラインで（例えば、実世界でのテストを通じて）、又はリアルタイムで（例えば、摩擦、重力、及び運動量を考慮するためのコンピュータモデルシミュレーションを通じて）決定することができる。

【0076】

予測されたグリップ安定性４０１６は更に、エンドエフェクタ装置３３３０によって一旦把持された標的物体３５１０ａがどれほど安全であるかの指標となり得る。例えば、把持モデル３３５０ａは、把持モデル３３５０ｂよりも高い予測されたグリップ安定性４０１６を有してもよく、把持モデル３３５０ｂは、把持モデル３３５０ｃよりも高い予測されたグリップ安定性４０１６を有してもよい。他の実施例では、異なる把持モデル３３５０は、予測されたグリップ安定性４０１６に従って異なるようにランク付けされてもよい。

【0077】

検出結果３５２０の処理によって、容器３４２０内の検出された物体３５１０の場所、他の検出された物体３５１０に対する検出された物体３５１０の場所（例えば、検出された物体３５１０が、複数の物体３５００の山の頂部上、又は他の隣接する検出された物体３５１０の下にあるかどうか）、検出された物体３５１０の配向及び姿勢、物体検出の信頼度、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ（以下でより詳細に説明する）、又はそれらの組み合わせを含む、検出された物体３５１０の各々についての複数の物体表現４０１３に基づいて、検出された物体３５１０の各々が把持モデルのうちの１つ以上によって把持され得るかどうかを示すデータを提供することができる。例えば、検出された物体３５１０のうちの１つは、把持モデル３３５０ａ及び３３５０ｂに従って把持され得るが、把持モデル３３５０ｃに従って把持されることはない。

【0078】

検出された物体３５１０は、物体の把持モデルが見つからなかった場合に、把持不可能な物体３５１０ｂとして決定され得る。例えば、検出された物体３５１０が、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかによって、把持するためにアクセスできず（それらが、奇妙な角度で覆われ、部分的に埋まっている、部分的に見えないなどの理由で）、したがって、エンドエフェクタ装置３３３０によって把持可能でない場合がある。把持不可能な物体３５１０ｂは、例えば、検出結果３５２０からそれらを除去することによって、又はそれらを把持不可能なものとしてフラグ付けすることによって、それらに対して更なる処理が実施されないように、検出結果３５２０から取り除くことができる。

【0079】

複数の物体３５００及び／又は検出された物体３５１０から、把持不可能な物体３５１０ｂを取り除くことは、以下に従って更に実施することができる。実施形態では、検出結果３５２０の複数の物体表現４０１３の少なくとも１つに基づいて、標的物体３５１０ａを評価するために、残りの検出された物体３５１０から把持不可能な物体３５１０ｂを更に決定し、取り除く。上述のように、検出された物体３５１０の各々の物体表現４０１３は、特に、容器３４２０内の検出された物体’３５１０の位置、検出された他の検出された物体３５１０に対する３５１０の位置、検出された物体３５１０の方向及び姿勢、物体検出の信頼度、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ、又はそれらの組み合わせを含む。例えば、把持不可能な物体３５１０ｂは、エンドエフェクタ装置３３３０による実際のアクセスを許容しないやり方で、容器３４２０の中に位置することができる（例えば、把持不可能な物体３５１０ｂは、容器の壁又は隅に対して寄りかかっている）。把持不可能な物体３５１０ｂは、把持不可能な物体の３５１０ｂの配向（例えば、把持不可能な物体３５１０ｂの配向／姿勢は、エンドエフェクタ装置３３３０が、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかを使用して、把持不可能な物体３５１０ｂを実際に把持又は選び取りできないようなものである）のために、エンドエフェクタ装置３３３０による選び取り／把持に利用できないと決定され得る。把持不可能な物体３５１０ｂは、エンドエフェクタ装置３３３０による実際のアクセスを許容しないやり方で、他の検出された物体３５１０によって囲まれてもよく、又は覆われてもよい（例えば、把持不可能な物体３５１０ｂは、他の検出された物体３５１０によって覆われた容器の底部に位置し、把持不可能な物体３５１０ｂは、複数の他の検出された物体３５１０の間に押し込まれる）。動作４００２で前述したように、複数の物体を検出する際に、コンピュータシステム１１００は、把持不可能な物体３５１０ｂを検出する際に低い信頼度を出力し得る（例えば、コンピュータシステム１１００は、他の検出された物体３５１０と比較して、把持不可能な物体３５１０ｂが適切に識別されていることを完全には確信していない／信じてはいない）。

【0080】

更なる例として、把持不可能な物体３５１０ｂは、検出結果３５２０に基づいて、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有さない、検出された物体３５１０であってもよい。例えば、本明細書で更に説明するように、特に、容器内の把持不可能な物体３５１０ｂの場所、他の検出された物体３５１０に対する場所、配向、信頼度、又は物体のタイプを含む、前述の物体表現４０１３の任意の組み合わせに起因して、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかによって、エンドエフェクタ装置３３３０が、把持不可能な物体３５１０ｂを選び取り／把持できないとコンピュータシステム１１００が決定する場合がある。把持不可能な物体３５１０ｂが、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを利用できないことに起因して、把持不可能な物体３５１０ｂは、コンピュータシステム１１００によって決定され得る。例えば、選び取り／グリップ手順動作４００６に関して本明細書で更に説明するように、把持不可能な物体３５１０ｂが、他の検出された物体３５１０よりも低い予測されたグリップ安定性４０１６又は他の測定された変数を有することに起因して、コンピュータシステム１１００によって把持不可能な物体３５１０ｂが決定され得る。

【0081】

残りの把持可能な物体は、１つ以上の基準に従ってランク付け又は順序付けされてもよい。把持可能な物体は、検出信頼性（例えば、物体に関連付けられた検出結果の信頼性）、物体位置（例えば、アクセスの容易さ、はっきり見えず、妨害されておらず、又は埋め込まれていない物体は、より高いランクを有し得る）及び把持可能な物体について識別された把持モデルのランク付けの任意の組み合わせに従ってランク付けされ得る。

【0082】

動作４００４では、方法４０００は、標的選択を含む。動作４００４では、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂは、把持可能な物体から選択され得る。

【0083】

ここで図７Ｃ及び図７Ｄでは、動作４００３によって識別された把持可能な物体は、候補物体３５１２ａ／３５１２ｂであってもよい。候補物体３５１２ａ／３５１２ｂは、逆運動学解を有さない任意の物体を排除又は除去することによって、更に取り除くことができる。候補物体３５１２ａ／３５１２ｂは、逆運動学解（例えば、ロボットアーム３３２０が候補物体３５１２ａ／３５１２ｂの把持を許容する位置に自身を移動し、次いで把持動作から離れるための解）を欠く。例えば、候補物体３５１２ａ／３５１２ｂに到達するためのロボット３３００の計算された構成が、ロボット３３００、ロボットアーム３３２０、及び／又はエンドエフェクタ装置３３３０の制約に違反する場合、逆運動学解が見出されない場合がある。候補物体３５１２ａ／３５１２ｂについて逆運動学解が存在するかを決定する際に、コンピューティングシステム１１００は、候補物体３５１２ａ／３５１２ｂについての軌道を、例えば、動作４００５に関して以下で論じる方法に従って決定し得る。実施例では、把持可能な検出物体３５１０は、ロボットアーム３３２０がその特定の候補物体３５１２ａ／３５１２ｂを適切に把持するか、又は候補物体３５１２ａ／３５１２ｂを把持した後に離れるための正しい位置決め又は構成を許容しない物体供給源３４２０の領域に位置することがある。

【0084】

把持可能な物体からの各候補物体候補物体３５１２ａ／３５１２ｂについて、以下を実施することができる。候補物体は、例えば、上述の把持可能な物体のランク付けに従った順序で、処理のために選択することができる。

【0085】

図７Ｃに示すように、候補物体３５１２ａは、例えば、二重選び取り動作における第１の物体であり得る物体などの、一次候補物体３５１２ａと呼ばれる。候補物体３５１２ｂは、二次候補物体３５１２ｂ、例えば、二重選び取り動作における第２の物体であり得る物体であってもよい。

【0086】

各一次候補物体３５１２ａについて、残りの二次候補物体３５１２ｂは、以下に従って、フィルタリングされるか、又は取り除かれてもよい。第一に、一次候補物体３５１２ａの妨害範囲３５３０内の二次的物体３５１２ｂは、取り除くことができる。妨害範囲３５３０は、第１の物体が物体の山から除去されたときに、他の近くの物体が位置又は姿勢においてシフトする可能性が低い、第１の物体からの最小距離を表す。妨害範囲３５３０は、物体のサイズ及び／又はその形状に依存し得る（より大きな物体は、より大きな範囲を必要とする場合があり、一部の物体形状は、移動時により大きな妨害を引き起こす場合がある）。したがって、一次候補物体３５１２ａの把持中に妨害又は移動される可能性が高い二次候補物体３５１２ｂは、取り除くことができる。

【0087】

残りの二次候補物体３５１２ｂは、一次候補物体３５１２ａ及び二次候補物体３５１２ｂについて識別された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの類似性に従って、更にフィルタリングされるか、又は取り除くことができる。実施形態では、二次候補物体３５１２ｂは、一次候補物体３５１２ａのものとは異なる、割り当てられた把持モデルを有する場合、取り除くことができる。実施形態では、二次候補物体３５１２ｂに割り当てられた把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのグリップ安定性が、一次候補物体３５１２ａに割り当てられた把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのグリップ安定性と閾値以上異なる場合に、二次候補物体３５１２ｂを取り除くことができる。物体移送は、最大速度でのロボット運動を提供することによって最適化され得る。異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに関して上述したように、一部の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、より大きなグリップ安定性を有し、それによってロボット運動のより大きな速度を可能にする。同じであるか、又は類似のグリップ安定性を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する一次候補物体３５１２ａ及び二次候補物体３５１２ｂを選択すると、ロボット動作の速度の増加が許容される。グリップ安定性が異なる場合、ロボット動作の速度は、より低いグリップ安定性によって許容される速度に限定される。したがって、高いグリップ安定性を有する複数の物体が利用可能であり、低いグリップ安定性を有する複数の物体が利用可能であるシナリオでは、高いグリップ安定性を有する物体と、低いグリップ安定性を有する物体とをペアリングすることが有利である。

【0088】

残りの二次候補物体３５１２ｂは、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の潜在的な軌道の分析に従って、更にフィルタリングするか、又は取り除くことができる。一次候補物体３５１２ａと二次候補物体３５１２ｂとの間に逆運動学解を生成することができない場合、二次候補物体３５１２ｂを取り除くことができる。上で論じたように、逆運動学解は、動作４００５に関して説明したものと類似した軌道決定を通して識別することができる。

【0089】

次に、一次候補物体３５１２ａを把持することが、二次候補物体３５１２ｂの把持を妨げると決定することができる。ここで図７Ｄを参照すると、図７Ｄに例示されるように、一次物体３５１２ａ及び二次物体３５１２ｂの各々との相互作用のために指定されたグリッパ３３３２／３３３４のうちの少なくとも一方の周りに、コンピュータシステム１１００によってバウンディングボックス３６００を生成することができる。グリッパ３３３２／３３３４のうちの第２のものが二次候補物体３５１２ｂに接近、移動、それと相互作用、それを把持、又はそれから離れようとするときに、一次候補物体３５１２ａ（その周りに生成したバウンディングボックス３６００を有する）をグリップしている間のグリッパ３３３２／３３３４の姿勢がバウンディングボックス３６００と物体取り扱い環境３４００／物体供給源又は容器３４２０及び／又は複数の物体３５００のうちの他の物体との衝突をもたらすかどうかを決定するために、コンピュータシステム１１００によってバウンディングボックス３６００を使用することができる。そうすることで、コンピュータシステム１１００は、バウンディングボックス３６００の対象となるグリッパ３３３２／３３３４によって把持された一次対象３５１２ａ及び二次対象３５１２ｂが、二次候補対象３５１２ｂの把持中に一次候補対象３５１２ａがグリッパ３３３２／３３３４の把持から弾き飛ばされることをもたらし得るやり方で、他の物体３５００及び／又は物体取り扱い環境３４００に衝突するかどうかを決定することができる。

【0090】

二次候補物体３５１２ｂをフィルタリングするか、又は取り除く他の手段を更に採用することができる。例えば、実施形態では、一次物体３５１２ａとは異なる配向を有する二次物体３５１２ｂを、取り除くことができる。実施形態では、一次物体３５１２ａとは異なる物体タイプ又はモデルを有する二次物体３５１２ｂを、取り除くことができる。

【0091】

二次候補物体３５１２ｂを取り除いた後、軌道決定のために、一次候補物体３５１２ａと取り除いていない二次候補物体３５１２ｂとの間の物体対を生成することができる。実施形態では、各一次候補物体３５１２ａは、単一の二次候補物体３５１２ｂを割り当てて、物体対を形成することができる。複数の取り除いていない二次候補物体３５１２ｂの場合、単一の二次候補物体３５１２ｂは、例えば、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の最も簡単又は最速の軌道に従って、かつ／又は動作４００３に関して上述したように、把握可能な物体のランク付けに基づいて選択され得る。更なる実施形態において、各一次候補物体３５１２ａは、複数の二次候補物体３５１２ｂを割り当てられて、複数の物体対を形成してもよく、軌道は、各々についてコンピュータであってもよい。そのような実施形態では、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の対合を最終決定するために、最速又は最も簡単な軌道を選択してもよい。

【0092】

一次物体３５１２ａが、把持可能な物体からのそれぞれの二次物体３５１２ｂと対合されると、コンピュータシステム１１００は、それぞれの二次物体３５１２ｂと対になった各一次物体３５１２ａを、本明細書でそれぞれ動作４００６／４００８／４０１０／４０１２で詳述されるように、把持決定、ロボットアーム軌道実行、エンドエフェクタ相互作用、及び目的地軌道実行のための標的物体３５１１ａ／３５１１ｂとして指定することができる。

【0093】

実施形態において、複数の標的物体３５１１ａ／３５１１ｂのうちの第１の標的物体３５１１ａは、第１の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと関連付けられ、複数の標的物体３５１１ａ／３５１１ｂのうちの第２の標的物体３５１１ｂは、第２の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと関連付けられている。第１の標的物体３５１１ａについて選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、上述のように、検出結果３５２０の複数の物体表現４０１３のうちの少なくとも１つに基づいて、第２の標的物体３５１１ｂについて選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと類似又は同一であってもよい。例えば、第１の標的物体３５１１ａは、図８Ａ～図８Ｃに示されるように、グリッパフィンガ３３３２ａ、３３３２ｂが第１の標的物体３５１１ａのリングの内壁に対して内側チャック、又は逆挟み運動を実施する、把持モデル３３５０ａを使用してグリッパ３３３２によって把持され得る。第２の標的物体３５１１ｂも、図９Ａ～図９Ｃに示されるように、グリッパフィンガ３３３４ａ、３３３４ｂが標的物体３５１１ｂのリングの内壁に対して内側チャック、又は逆挟み運動を実施する、把持モデル３３５０ａを使用してグリッパ３３３４によって把持され得る。

【0094】

動作４００５では、方法４０００は、ロボット軌道を決定することを含み得る。動作４００５は、少なくとも、アーム接近軌道３３６０を決定すること、エンドエフェクタ装置接近軌道３３６２を決定すること、及び目的地接近軌道３３６４を決定することを含み得る。

【0095】

動作４００５は、ロボットアーム３３２０が複数の物体３５００に接近するためにアーム接近軌道３３６０を決定すること、エンドエフェクタ装置接近軌道３３６２を決定すること、及び目的地接近軌道３３６４を決定することを含み得る。図７Ａは、供給源（すなわち、容器３４２０）から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による標的物体３５１０ａの移送サイクルについての運動計画を図示する。移送サイクルは、物体供給源又は容器から目的地３４４０への物体の移動を行うための、ロボットアーム３３２０による移動の全サイクルを指す。実施形態では、動作４００５は、ロボットアーム３３２０が複数の物体３５００に接近するために、複数のアーム接近軌道３３６０ａ／３３６０ｂを決定することを含む。図７Ｂは、供給源（すなわち、容器３４２０）から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による複数の標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画を図示する。

【0096】

動作４００５では、コンピュータシステム１１００は、アーム接近軌道３３６０を決定し、アーム接近軌道は、ロボットアーム３３２０が、供給源又は容器３４２０の近傍に向かう方向に移動又は並進するように制御される経路を含む。そのようなアーム接近軌道３３６０を決定する際に、ロボットアーム３３２０の現在の場所から容器３４２０への最短の進行距離及び／又はロボットアーム３３２０の進行の最大利用可能速度などの要因に基づいて、最も速い経路（例えば、ロボットアーム３３２０が、その現在の位置から供給減又は容器３４２０の近傍へ並進するのにかかる時間が最小になることを許容する経路）が望ましい。最大利用可能進行速度を決定する際に、エンドエフェクタ装置３３３０の状態、すなわち、エンドエフェクタ装置３３３０が現在標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをそのグリップ内に有しているかどうかが決定される。実施形態では、エンドエフェクタ装置３３３０は、いかなる標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂもグリップしておらず、したがって、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０から滑り落ちる／落下する実例が無効化されるので、ロボットアーム３３２０に利用可能な最大速度をアーム接近軌道３３６０に使用することができる。実施形態では、エンドエフェクタ装置３３３０は、そのグリッパ３３３２／３３３４によって把持された少なくとも１つの標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを有することができ、したがって、ロボットアーム３３２０の進行速度は、以下により詳細に説明するように、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂへのグリッパ３３３２／３３３４のグリップ安定性を考慮に入れて算出する。

【0097】

動作４００５では、方法４０００は、エンドエフェクタ装置３３３０が標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに接近するために、エンドエフェクタ装置接近軌道３３６２を決定することを含み得る。エンドエフェクタ装置接近軌道３３６２は、ロボットアーム３３２０に取り付けたエンドエフェクタ装置３３３０の予想される進行経路を表し得る。コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２を決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６２が決定された時点で、エンドエフェクタ装置接近軌道３３６２が決定される。エンドエフェクタ装置接近軌道３３６２は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。

【0098】

図７Ｂは、供給源又は容器３４２０から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による複数の標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画の別の実施例を図示する。実施形態では、コンピュータシステム１１００は、アーム接近軌道３３６０を決定し、ロボットアーム３３２０は、供給源又は容器３４２０の近傍に向かう方向に移動又は並進するように制御される。そのようなアーム接近軌道３３６０を決定する際に、ロボットアーム３３２０の現在の場所から容器３４２０への最短の進行距離、及び／又はロボットアーム３３２０の最大利用可能進行速度などの要因に基づいて、最短／最も速い経路が望ましい。最大利用可能進行速度を決定する際に、エンドエフェクタ装置３３３０の状態、すなわち、エンドエフェクタ装置３３３０が現在標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをそのグリップ内に有しているかどうかが決定される。軌道の実施例では、エンドエフェクタ装置３３３０は、いかなる標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂもグリップしておらず、したがって、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０から滑り落ちる／落下する実例が無効化されるので、ロボットアーム３３２０に利用可能な最大速度をアーム接近軌道３３６０に利用することができる。他の実施例では、エンドエフェクタ装置３３３０は、そのグリッパ３３３２／３３３４によって把持される少なくとも１つの標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを有してもよく、それゆえ、ロボットアーム３３２０の進行速度は、以下でより詳細に記載されるように、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ上のグリッパ３３３２／３３３４のグリップ安定性を考慮することによって計算される。

【0099】

図７Ｂは更に、標的物体３５１１ａ／３５１１ｂを選び取り又は把持するために使用される複数のエンドエフェクタ装置接近軌道３３６２ａ／３３６２ｂを図示する。実施形態では、コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、供給源又は容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６２が決定された時点で、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂが決定される。エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。エンドエフェクタ接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４の状態、すなわち、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが現在、少なくとも１つのグリッパ３３３２／３３３４によってグリップされているかどうかによって更に決定され得る。そのようなシナリオでは、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定することは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを把持するための把持動作において、エンドエフェクタ装置３３３０の最適化されたエンドエフェクタ装置接近時間に基づいており、最適化されたエンドエフェクタ装置接近時間は、以下に記載される計算に基づいて、決定される最も効率的なエンドエフェクタ装置接近時間である。最適化されたエンドエフェクタ装置接近時間は、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ上のグリッパ３３３２／３３３４のグリップ安定性に基づいて計算される。

【0100】

実施形態では、最適化されたエンドエフェクタ装置接近時間は、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂについての利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに従って決定される。例えば、エンドエフェクタ装置３３３０が、選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに従って、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することを許容できるようなやり方で、グリッパ３３３２／３３３４を標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して適切に載置するのに必要な時間量は、最適化エンドエフェクタ装置接近時間に織り込まれる。把持モデル３３５０ａを適切に実行するのに必要な時間は、把持モデル３３５０ｂ又は把持モデル３３５０ｃを適切に実行するのに必要な時間よりも短くてもよいか、又は長くてもよい。したがって、グリップを適切に実行するのに必要な決定された最小時間を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって選び取り又は把持される標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂのために選択され得る。選択された把持モデルは、例えば、グリップ３３５０ａ／３３５０ｂ／３３５０ｃを適切に実行するのに必要な決定された最小限の時間と予測されたグリップ安定性４０１６とのバランスを取ることによって、要因のバランシングに基づいて選択することができ、それによって、不十分な予測されたグリップ安定性４０１６よりも速度を犠牲にし、かつグリップ障害（すなわち、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって選び取り又は把持された後に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを落とす、変位させる、投げる、又は別様で誤って取り扱う）の可能性を低くするために、より高速な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを第２の高速把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに対して考慮に入れないことが可能である。

【0101】

動作４００５では、方法４０００は、１つ以上の目的地接近軌道３３６４（図７Ｂでは目的地接近軌道３３６４ａ及び３３６４ｂとして図示されている）の決定を更に含み得る。実施形態では、ロボットアーム３３２０の目的地軌道３３６４ａ／３３６４ｂを決定することは、ロボットアーム３３２０が容器３４２０から１つ以上の目的地３４４０に進行するのに最適化された目的地軌道時間に基づいてもよい。最適化された目的地の軌道時間は、ロボットアーム３３２０が容器３４２０から目的地３４４０まで進行するための、決定された最も効率的な目的地軌道時間であってもよい。例えば、最適化された軌道時間は、ロボットアームの３３２０の現在の場所（例えば、容器３４２０において、又はその近くで）と目的地３３６４との間の最短経路によって決定され得る。最適化された軌道時間は、ロボットアーム３３２０が目的地３３６４に向かって障害なしに最も速く進行し得る経路によって決定され得る。実施形態では、ロボットアーム３３２０の目的地軌道３３６４を決定することは、エンドエフェクタ装置３３３０と標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂとの間の予測されたグリップ安定性４０１６に基づく。例えば、より高い値を有する予測されたグリップ安定性４０１６は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに対して有し得る、より強いグリップ又は保持を示し得、これにより、目的地軌道３３６４を目的地３４４０に向かって横断する間に、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の高速移動が許容される可能性がある。逆により低い値を有する予測されたグリップ安定性４０１６は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに対して有し得る、より弱いグリップ又は保持を示し得、したがって、これにより、故障シナリオ、すなわち、標的物体３５１０ａ／３５１１ａ／３５１１ｂが落とされ、投げられ、又は別様で変位してしまうのを防止するために、目的地３４４０に向かって目的地軌道３３６４を横断する間に、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０のより遅い移動が必要となる可能性がある。

【0102】

実施形態では、単一の目的地接近軌道３３６４ａは、両方の標的物体３５１１ａ／３５１１ｂを同じ目的地３４４０に載置するために提供され得る。単一の目的地接近軌道３３６４ａは、標的物体３５１１ａ／３５１１ｂを解放するための１つ以上のチャック解除又は把持解除動作を含み得る。実施形態では、複数の目的地接近軌道３３６４ａ／３３６４ｂは、同じ目的地３４４０の異なる場所又は２つの異なる目的地３４４０のいずれかに、標的物体３５１１ａ／３５１１ｂを載置するように決定することができる。第２の目的地接近軌道３３６４ｂは、目的地３４４０内の場所の間又は２つの目的地３４４０の間でエンドエフェクタ装置３３３２／３３３４を移すように決定することができる。

【0103】

動作４００６では、方法４０００は、エンドエフェクタ装置３３３０が、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂの端部で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに到達すると、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをエンドエフェクタ装置３３３０で把持又はグリップするための選び取り又はグリップ手順を決定することを含む。選び取り又はグリップ手順は、エンドエフェクタ装置３３３０が、グリッパ３３３２／３３３４を用いて標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに接近し、相互作用し、接触し、触り、又は別様で把持する方法を表し得る。把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがどのようにエンドエフェクタ装置３３３０によって把持され得るかを説明する。例示の目的で、図６Ａ～図６Ｃは、上記で詳述したように、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをグリップするための３つの異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを例示するが、他の把持モデルも可能であることが理解されるべきである。

【0104】

把持動作を決定することは、動作４００６の把持動作決定において、エンドエフェクタ装置３３３０によって使用される、少なくとも１つの把持モデル３３５０ａ、３３５０ｂ、又は３３５０ｃを、複数の利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃから選択することを含み得る。実施形態では、コンピュータシステム１１００は、最高ランクを有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに基づいて、把持動作を決定する。コンピュータシステム１１００は、複数の利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々に対するランクを、複数の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々の予測されたグリップ安定性４０１６に従って決定するように構成されてもよい。把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々は、アーム接近軌道３３６０及び／又はエンドエフェクタ装置接近軌道３３６２の実行中に、ロボットアーム３３２０によって標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが移動できる速度、加速、及び／又は減速を決定することができる、関連付けられた移送速度修正器を有し得る、予測されたグリップ安定性４０１６などの要因に従ってランク付けすることができる。予測されたグリップ安定性４０１６は更に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０によって一旦選び取り又は把持されると、どのように固定されるかを示す指標であってもよい。一般に、予測されたグリップ安定性４０１６、又はエンドエフェクタ装置３３３０が標的物体３５１０ａ／３５１１ａ／３５１１ｂを保持する能力が強いほど、ロボット３３００は、故障シナリオ、すなわち、標的物体３５１０ａ／３５１１ａ／３５１１ｂがグリッパから落とされる、投げられる、又は別様で変位させられることをもたらすことなく、標的物体３５１０ａ／３５１１ａ／３５１１ｂを保持／把持しながら、決定したアーム接近軌道３３６０及び／又はエンドエフェクタ接近軌道３３６２／３３６２ａ／３３６２ｂを通してロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０を移動できる確率は上がる。

【0105】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々のランクを決定する実施例では、コンピュータシステム１１００は、把持モデル３３５０ａが、把持モデル３３５０ｂよりも高い予測されたグリップ安定性４０１６を有する可能性があり、把持モデル３３５０ｂが、把持モデル３３５０ｃよりも高い予測されたグリップ安定性４０１６を有する可能性があると決定することができる。別の例として、検出された物体３５１０は、検出された物体３５１０に対応する複数の物体表現４０１３に基づいて、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのうちの少なくとも１つによって把持するためにアクセスできない場合があり（すなわち、検出された物体３５１０のうちの少なくとも１つは、特定の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有効に使用することが許容されないような場所若しくは配向、又は形状である）、したがって、その時点では、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを介してエンドエフェクタ装置３３３０によって選び取ることができない。そのようなシナリオでは、残りの把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、予測されたグリップ安定性４０１６について測定される。例えば、把持モデル３３５０ａは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを、例えば、以前に決定された複数の物体表現４０１３に基づいて、選び取り又は把持する選択肢として利用できない場合がある。したがって、把持モデル３３５０ａは、可能な限り低いランク値、空のランク値、又は全くランクがない（すなわち、完全に無視される）ことを受け取ることができる。したがって、動作４００６の把持動作決定中に適用するランクを計算する際に、把持モデル３３５０ａの予測されたグリップ安定性４０１６を除外することができる。例えば、把持モデル３３５０ｂの予測されたグリップ安定性４０１６が、把持モデル３３５０ｃの予測されたグリップ安定性よりも高い値を有すると決定される場合、把持モデル３３５０ｂは、より高い値のランクを受け取る一方、把持モデル３３５０ｃは、より低い値のランクを受け取る（ただし、依然として、把持モデル３３５０ａよりも値が高い）。他の実施例では、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのうちのアクセス不可能なものは、ランク付け手順に含まれてもよいが、最低ランクを割り当ててもよい。

【0106】

実施形態では、エンドエフェクタ装置３３３０によって使用するための少なくとも１つの把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを決定することは、予測されたグリップ安定性４０１６の最高判定値を有する把持モデルのランクに基づく。把持モデル３３５０ａのランクは、把持モデル３３５０ｂ及び／又は３３５０ｃのランクよりも高い値を有する予測されたグリップ安定性４０１６を有する可能性があり、そのため、把持モデル３３５０ａは、把持モデル３３５０ｂ及び／又は３３５０ｃよりも高くランク付けされる可能性がある。各移送サイクル内の標的物体３５１０ａ／３５１１ａ／３５１１ｂの移送の速度を最大化又は最適化するために、コンピュータシステム１１００は、類似の予測されたグリップ安定性４０１６を有する標的物体３５１０ａ／３５１１ａ／３５１１ｂを選択することができる。実施形態では、コンピュータシステム１１００は、同じ把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する複数の標的物体３５１１ａ／３５１１ｂを選択することができる。コンピュータシステム１１００は、検出結果３５２０に基づいて、標的物体３５１１ａ／３５１１ｂをグリップしている間に移送サイクルについての運動計画を計算することができる。目的は、供給源容器３４２０と目的地３４４０との間の移送速度を最適化しながら、供給源容器３４２０において複数の標的物体３５１１ａ／３５１１ｂを選び取るための計算時間を短縮することである。このようにして、ロボット３３００は、両方の標的物体３５１１ａ／３５１１ｂが同一の予測されたグリップ安定性４０１６を有するため、両方の標的物体３５１１ａ／３５１１ｂを最大速度で移送することができる。逆にコンピュータシステム１１００が、より高いランク（すなわち、予測されたグリップ安定性４０１６のより高い判定値）を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって把持される標的物体３５１０ａ／３５１１ａ／３５１１ｂと、より低いランク（すなわち、予測されたグリップ安定性４０１６のより低い判定値）を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって把持される第２の標的物体３５１０ａ／３５１１ａ／３５１１ｂとを選択した場合、移送の速度は、ランクのより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する標的物体３５１０ａ／３５１１ａ／３５１１ｂのより低い予測されたグリップ安定性４０１６によって制限されるか、又は上限が設定される。つまり連続する移送サイクルの場合、予測されたグリップ安定性４０１６がより高く、かつ移送速度がより高い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する２つの標的物体３５１１ａ／３５１１ｂを選び取り、その後、予測されたグリップ安定性４０１６がより低く、かつ移送速度がより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する２つの標的物体３５１１ａ／３５１１ｂを選び取ることは、両方の移送サイクルが後のシナリオでより遅い移送速度に制限されるため、ともに予測されたグリップ安定性４０１６がより高い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する１つの標的物体３５１１ａと、予測されたグリップ安定性４０１６がより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する１つの標的物体３５１１ｂとを含む連続する移送サイクルよりも最適である。

【0107】

動作４００５の様々な軌道決定及び把持動作決定４００６は、方法４０００の動作に関して順次説明される。好適で適切な場合、方法４０００の様々な動作は、互いに同時に、又は次に提示される異なる順序で発生し得ることが理解される。例えば、軌道決定（目的地接近軌道３３６４など）は、他の軌道の実行中に行われてもよい。したがって、目標接近軌道３３６４は、アーム接近軌道３３６２の実行時に決定され得る。

【0108】

動作４００８では、方法４０００は、第１のコマンド（例えば、アーム接近コマンド）を出力して、アーム接近軌道３３６０内のロボットアーム３３００を制御して、複数の物体３５００に接近することを含み得る。図７Ｂに図示するように、コンピュータシステム１１００は、第１のコマンドを出力して、供給源又は容器３４２０の近傍外の領域から、供給源又は容器３４２０の近傍における、又は近傍内の場所へロボットアーム３３２０を制御することができる。第１のコマンドは、ロボットアーム３３２０を制御して、目的地３４４０における、又はその近くの領域から、供給源又は容器３４２０の近傍における、又は近傍内の場所に移動させることができる。動作４００８では、方法４０００は、第２のコマンド（例えば、エンドエフェクタ装置接近コマンド）を出力して、エンドエフェクタ装置接近軌道３３６２内のロボットアーム３３２０を制御して、標的物体３５１０ａ／３５１１ａ／３５１１ｂに接近する（例えば、エンドエフェクタ装置３３３０に標的物体３５１０ａ／３５１１ａ／３５１１ｂに接近させる）ことを含み得る。図７Ｂに図示するように、エンドエフェクタ装置接近軌道３３６２ａ／３３６２ｂを使用して、複数の標的物体３５１１ａ／３５１１ｂに接近することができる。

【0109】

動作４０１０では、方法４０００は、第３のコマンド（例えば、エンドエフェクタ装置制御コマンド）を出力して、把持動作でエンドエフェクタ装置３３３０を制御して、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを把持することを含む。エンドエフェクタ装置３３３０は、グリッパ３３３２／３３３４のグリッピングフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂを使用して、最高ランク及び／又は予測されたグリップ安定性４０１６を有すると以前に決定した把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して標的物体３５１０ａ／３５１１ａ／３５１１ｂを把持することができる。グリッピングフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、エンドエフェクタ装置３３３０が標的物体３５１０ａ／３５１１ａ／３５１１ｂと接触すると、所定の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で移動又は並進するように制御することができる。

【0110】

動作４０１２では、方法４０００は、目的地軌道３３６４を実行して、ロボットアーム３３２０を制御して、目的地に接近することを更に含むことができる。動作４０１２は、第４のコマンド（例えば、ロボットアーム制御コマンド）を出力して、目的地軌道３３６４内のロボットアーム３３２０を制御することを含み得る。実施形態では、目的地軌道３３６４は、上述の軌道決定動作４００５の間に決定され得る。実施形態では、目的地軌道３３６４は、軌道実行動作４００８、及びエンドエフェクタ相互作用動作４０１０の後に決定され得る。実施形態では、目的地軌道３３６４は、他の動作の実施中を含む、目的地軌道３３６４の実行前の任意の時点において、コンピュータシステム１１００によって決定され得る。実施形態では、動作４０１２は、第５コマンド（例えば、エンドエフェクタ装置解放コマンド）を出力して、ロボットアーム３３２０及びエンドエフェクタ装置３３３０が目的地軌道３３６４の終わりに目的地３４４０に到達した際に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０内に、又は目的地において解放、把持解除、又はチャック解除するようにエンドエフェクタ装置３３３０を制御することを更に含み得る。

【0111】

高レベルでは、供給源容器３４２０から目的地３４４０へのロボットアーム３３２０による標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画は、図７Ａに図示される動作である、供給源容器３４２０ ３４２０の場所から標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを選び取ることと、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０の場所に移送することと、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０の場所に載置することと、供給源容器３４２０の場所に戻ることと、を伴う。全体の移送サイクル時間は、ロボットアーム３３２０上のエンドエフェクタ装置３３３０による標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの予測された把持安定性４０１６に起因して、供給源容器３４２０ ３４２０から目的地３４４０への標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの移送によって上限が設定される。

【0112】

一般に、本明細書に記載の方法４０００は、開始／供給源の場所からタスク／目的地の場所への標的物体（例えば、実行タスクに対応するパッケージ、箱、ケース、ケージ、パレットなどのうちの１つ）の操作（例えば、移動及び／又は再配向）に使用され得る。例えば、荷下ろしユニット（例えば、デバンニングロボット）は、標的物体をキャリア（例えば、トラック）内の場所からコンベヤ上の場所に移送するように構成され得る。また、移送ユニットは、標的物体を１つの場所（例えば、コンベヤ、パレット、又はビン）から別の位置（例えば、パレット、ビンなど）に移送するように構成され得る。別の例として、移送ユニット（例えば、パレタイジングロボット）は、標的物体を、供給源の場所（例えば、パレット、選び取り領域、及び／又はコンベヤ）から目的地パレットに移送するように構成され得る。動作完了時に、輸送ユニット（例えば、コンベヤ、自動搬送車両（ＡＧＶ）、棚搬送ロボットなど）は、移送ユニットに関連付けられた領域から、装填ユニットに関連付けられた領域へ、標的物体を移送することができ、装填ユニットは、（例えば、標的物体を運ぶパレットを移動させることによって）移送ユニットから、格納場所（例えば、棚上の場所）へ、標的物体を移送することができる。タスク及び関連付けられたアクションに関する詳細は、上記に記載されている。

【0113】

例示のために、コンピュータシステム１１００のシステムは、包装及び／又は出荷センタの状況下で説明されるが、コンピュータシステム１１００は、製造、組立、保管／在庫、医療、及び／又は他のタイプの自動化のためなど、他の環境／他の目的のためにタスクを実行するように構成できることが理解される。また、コンピュータシステム１１００は、マニピュレータ、サービスロボット、モジュラロボットなどの他のユニット（図示せず）を含み得ることも理解される。例えば、いくつかの実施形態では、コンピュータシステム１１００は、ケージカート又はパレットからコンベヤ又は他のパレット上に物体を移送するためのデパレタイジングユニット、物体をある容器から別の容器に移送するための容器切り替えユニット、物体をラッピング／収納するための包装ユニット、その１つ以上の特性に従って物体をグループ分けするための選別ユニット、その１つ以上の特性に従って物体を異なって操作する（例えば、選別、グループ分け、及び／又は移送する）するピースピックユニット、又はそれらの組み合わせなどを含み得る

【0114】

関連分野の当業者にとって、本明細書に記載する方法及び用途への、その他の好適な修正並びに適応を、実施形態のうちのいずれの範囲からも逸脱することなく行うことができることは明らかであろう。上に記載する実施形態は、例示的な例であり、本開示がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示する様々な実施形態は、記載及び添付の図に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせてもよいことは理解されるべきである。実施例によって、本明細書に記載するプロセス若しくは方法のいずれのある特定の行為又は事象は、異なるシーケンスで実施されてもよく、追加、統合、又は完全に省略し得ることも理解されるべきである（例えば、記載した全ての行為又は事象が、方法又はプロセスを遂行するのに必要でなくてもよい）。加えて、本明細書の実施形態のある特定の特徴を、明確にするために、単一の構成要素、モジュール、又はユニットにより実施されていると記載しているものの、本明細書に記載する特徴及び機能は、構成要素、ユニット、又はモジュールのいかなる組み合わせによって実施されてもよいことは理解されるべきである。したがって、添付の特許請求の範囲で定義されるような、発明の趣旨又は範囲から逸脱することなく、様々な変更及び修正を当業者が及ぼし得る。

【0115】

更なる実施形態は、以下の実施形態を含む。
実施形態１は、コンピューティングシステムであって、エンドエフェクタ装置を含む、又はエンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムと、少なくとも１つの処理回路であって、ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む物体取り扱い環境内にあるとき、物体の供給源から目的地へ標的物体を移送するために、標的物体を、物体の供給源内の複数の物体の中から識別すること、ロボットアームが複数の物体に接近するために、アーム接近軌道を生成すること、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成すること、エンドエフェクタ装置で標的物体を把持するための把持動作を生成すること、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力すること、エンドエフェクタ装置接近軌道内でロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力すること、及び把持動作においてエンドエフェクタ装置を制御して、標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力すること、を実施するように構成された少なくとも１つの処理回路と、を備える、コンピューティングシステムである。
実施形態２は、ロボットアームが目的地に接近するための目的地軌道を生成することと、目的地軌道に従ってロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、エンドエフェクタ装置を制御して、目的地において標的物体を解放するために、エンドエフェクタ装置解放コマンドを出力することと、を更に含む、実施形態１のコンピュータシステムである。
実施形態３は、ロボットアームの目的地軌道を決定することが、ロボットアームが供給源から目的地に進行するための最適化された目的地軌道時間に基づく、実施形態２のコンピュータシステムである。
実施形態４は、ロボットアームの目的地軌道を決定することが、エンドエフェクタ装置と標的物体との間の予測されたグリップ安定性に基づく、実施形態２のコンピュータシステムである。
実施形態５は、エンドエフェクタ装置接近軌道を決定することが、把持動作でエンドエフェクタ装置が標的物体を把持するための最適化されたエンドエフェクタ装置接近時間に基づく、実施形態１のコンピュータシステムである。
実施形態６は、最適化されたエンドエフェクタ装置接近時間が、標的物体に対する利用可能な把持モデルに基づいて決定される、実施形態５のコンピュータシステムである。
実施形態７は、把持動作を決定することが、把持動作でエンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含む、実施形態１のコンピュータシステムである。
実施形態８は、少なくとも１つの処理回路が、複数の把持モデルの各々の予測されたグリップ安定性に従って、複数の利用可能な把持モデルの各々に対するランクを決定するように更に構成されている、実施形態７のコンピュータシステムである。
実施形態９は、エンドエフェクタ装置によって使用するための少なくとも１つの把持モデルを決定することが、予測されたグリップ安定性の最も高い判定値を有するランクに基づく、実施形態８のコンピュータシステムである。
実施形態１０は、少なくとも１つの処理回路が、各々が物体の供給源内の１つ以上の物体のうちの検出された物体を表し、検出された物体の物体配向、物体の供給源内の検出された物体の場所、他の物体に対する検出された物体の場所、及び信頼度決定のうちの少なくとも１つを定義する、対応する物体表現を含む、１つ以上の検出結果を生成することのために更に構成されている、実施形態１のコンピュータシステムである。
実施形態１１は、複数の物体が、サイズ、形状、重量、及び材料組成物に関して実質的に同一である、実施形態１のコンピュータシステムである。
実施形態１２は、複数の物体が、サイズ、形状、重量、及び材料組成において互いに異なる、実施形態１のコンピュータシステムである。
実施形態１３は、１つ以上の検出結果から標的物体を識別することが、検出された物体に対して利用可能な把持モデルが存在するかを決定することと、検出された物体から、利用可能な把持モデルなしで、検出された物体を取り除くことと、を含む、実施形態１０のコンピュータシステムである。
実施形態１４は、物体配向、物体の供給源内の検出された物体の場所、及び／又は物体間距離のうちの少なくとも１つに基づいて、検出された物体を取り除くことを更に含む、実施形態１３のコンピュータシステムである。
実施形態１５は、少なくとも１つの処理回路が、標的物体を含む複数の標的物体を検出結果から識別するために更に構成されている、実施形態１のコンピュータシステムである。
実施形態１６は、標的物体が、第１の把持モデルと関連付けられた複数の標的物体の第１の標的物体であり、複数の標的物体の第２の標的物体が、第２の把持モデルと関連付けられている、実施形態１５のコンピュータシステムである。
実施形態１７は、複数の標的物体を識別することが、エンドエフェクタ装置による把持のための第１の標的物体、及びエンドエフェクタ装置による把持のための第２の標的物体を選択することを含む、実施形態１５のコンピュータシステムである。
実施形態１８は、実施形態１７のコンピュータシステムであり、少なくとも１つの処理回路が、ロボットアームを制御して第２の標的物体に接近するために、第２のエンドエフェクタ装置接近コマンドを出力することと、エンドエフェクタ装置を制御して第２の標的物体を把持するために、第２のエンドエフェクタ装置制御コマンドを出力し、ロボットアームが目的地に接近するための目的地軌道を生成することと、目的地軌道に従ってロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、第１の標的物体及び第２の標的物体を目的地において解放するように、エンドエフェクタ装置を制御するために、エンドエフェクタ装置解放コマンドを出力することと、のために更に構成されている、実施形態１７のコンピュータシステムである。
実施形態１９は、物体の供給源から標的物体を選び取る方法であって、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道に従ってロボットアームを制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道に従ってロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、方法である。
実施形態２０は、ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能な、物体の供給源から標的物体を選び取るための方法を実装するための実行可能な命令で構成された、非一時的コンピュータ可読媒体であって、方法が、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道内でエンドエフェクタ装置を制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道内でロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、非一時的コンピュータ可読媒体である。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図7D】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【手続補正書】

【提出日】2023-07-12

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＯＢＪＥＣＴ ＨＡＮＤＬＩＮＧ」と題する、２０２２年３月８日に出願された米国仮出願第６３／３１７，５５８号の利益を主張し、その全体の内容が参照により本明細書に組み込まれる。

【0002】

本技術は、概して、ロボットシステム、より詳細には、物体を検出し、取り扱うためのシステム、プロセス、及び技法を対象とする。より詳細には、本技術は、容器中の物体を検出し、取り扱うために使用され得る。

【背景技術】

【0003】

性能がますます向上し、コストが低減するにつれ、現在、多くのロボット（例えば、物理的アクションを自動／自律的に実行するように構成された機械）が様々な異なる分野で広く使用されている。ロボットは、例えば、製造及び／又は組立、梱包及び／又は包装、輸送及び／又は出荷などにおける様々なタスク（例えば、空間を通した物体の操作又は移送）を実行するために使用され得る。タスクを実行する際に、ロボットは、人のアクションを再現することができ、それによって、別様で危険又は反復的なタスクを実施するのに必要な人の関与を置き換えるか、又は低減することができる。

【0004】

しかしながら、技術が進歩しているにもかかわらず、ロボットは多くの場合、より大きな及び／又はより複雑なタスクを実行するために要求される、人間の相互作用を複製するのに必要な精巧さを欠く。したがって、ロボット間の動作及び／又は相互作用を管理するための改善された技法及びシステムに対するニーズが依然として存在する。

【発明の概要】

【0005】

実施形態では、コンピューティングシステムが提供される。コンピューティングシステムは、エンドエフェクタ装置を含む又はエンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムを含む。少なくとも１つの処理回路は、ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む物体取り扱い環境内にあるとき、物体の供給源から目的地へ標的物体を移送するために、標的物体を、物体の供給源内の複数の物体の中から識別することと、ロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力することと、エンドエフェクタ装置接近軌道に従ってロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を実行するように構成することができる。

【0006】

別の実施形態では、物体の供給源から標的物体を選び取る方法が提供される。方法は、標的物体を、物体の供給源内の複数の物体の中から識別するステップと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を決定するステップと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成するステップと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成するステップと、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力するステップと、エンドエフェクタ装置接近軌道に従ってロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力するステップと、エンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力するステップと、を含む。

【0007】

別の実施形態では、ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能で、物体の供給源から標的物体を選び取るための方法を実装するための実行可能な命令を有する非一時的コンピュータ可読媒体が提供される。方法は、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道に従ってロボットアームを制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道に従ってロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、エンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む。

【図面の簡単な説明】

【0008】

【図1A】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムを図示する。

【図1B】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの実施形態を図示する。

【図1C】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの別の実施形態を図示する。

【図1D】本明細書の実施形態による、物体の検出、識別、及び取り出しを実施するか、又は容易にするためのシステムの更に別の実施形態を図示する。

【図2A】本明細書の実施形態と一致する、物体の検出、識別及び取り出しを実施するか、又は容易にするように構成された計算システムを示すブロック図である。

【図2B】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成された計算システムの一実施形態を示すブロック図である。

【図2C】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成されたコンピューティングシステムの別の実施形態を図示するブロック図である。

【図2D】本明細書の実施形態と一致する、物体の検出、識別、及び取り出しを実施するか、又は容易にするように構成されたコンピューティングシステムの更に別の実施形態を図示するブロック図である。

【図2E】システムによって処理され、本明細書の実施形態と一致する、画像情報の実施例である。

【図2F】システムによって処理され、本明細書の実施形態と一致する、画像情報の実施例である。

【図3A】本明細書の実施形態による、ロボットシステムを動作させるための例示的な環境を図示する。

【図3B】本明細書の実施形態と一致する、ロボットシステムによる物体の検出、識別、及び取り出しのための例示的な環境を図示する。

【図3C】アーム、基部、及びエンドエフェクタ装置を有するロボットシステムを図示する。

【図3D】アーム、基部、及びエンドエフェクタ装置を有するロボットシステムの別の例示的な実施形態を図示する。

【図4】本明細書の実施形態による、標的物体の検出、計画、選び取り、移送、及び載置のための方法及び動作の全体的な流れを図示する、フロー図を提供する。

【図5A】複数の物体を含む容器又は供給源の場所を図示する。

【図5B】容器又は供給源の場所内の複数の物体からの複数の検出された物体についての、本明細書に記載の検出結果の視覚的描写を図示する。

【図5C】本明細書の実施形態と一致する検出結果からの物体認識の実施例を図示する。

【図6A】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図6B】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図6C】ロボットシステムによって利用される、物体を掴むための様々な把持モデルを図示する。

【図7A】供給源から目的地へのロボットアームによる物体の移送サイクルについての運動計画を図示する。

【図7B】本明細書に記載のロボットシステムを介した物体取り扱いのシステム及び方法の実施形態を図示する。

【図7C】容器又は供給源の場所内の複数の物体からの複数の検出された物体についての、本明細書に記載された検出結果の視覚的描写を図示し、一次物体及び二次物体は、本明細書に更に記述される動作を介して選択される。

【図7D】本明細書に記述されたように、把持動作中のロボットシステムを介したバウンディングボックス使用の実施例を図示する。

【図8A】エンドエフェクタ装置把持接近軌道を図示する。

【図8B】物体チャック動作を図示する。

【図8C】物体把持出発軌道を図示する。

【図9A】第２の物体把持接近軌道を図示する。

【図9B】第２の物体チャック動作を図示する。

【図9C】第２の物体把持出発軌道を図示する。

【発明を実施するための形態】

【0009】

物体の検出、識別、及び取り出しに関連するシステム及び方法が、本明細書に記載されている。具体的には、開示されたシステム及び方法は、物体が容器内に位置している場合における物体の検出、識別、及び取り出しを容易にすることができる。本明細書で論じるように、物体は、金属又は他の材料であってもよく、箱、ビン、木枠などの容器を含む、供給源内に位置してもよい。例えば、ねじで満たされた箱のように、物体は容器内で未整理又は不規則に置かれる可能性がある。こうした状況での物体の検出及び識別は、物体の不規則な配置のために困難であり得るが、本明細書で論じられるシステム及び方法は、規則的又は半規則的に配置される物体の検出、識別、及び物体の取り出しを等しく改善し得る。したがって、本明細書に記載のシステム及び方法は、複数の物体の中から個々の物体を識別するように設計され、個々の物体は、異なる場所、異なる角度などで配置されてもよい。本明細書で論じられるシステム及び方法は、ロボットシステムを含み得る。本明細書の実施形態に従って構成されたロボットシステムは、複数のロボットの動作を調整することによって、統合されたタスクを自律的に実行し得る。ロボットシステムは、本明細書に記載されるように、制御し、コマンドを発行し、ロボットデバイス及びセンサからの情報を受信し、ロボットデバイス、センサ及びカメラによって生成されたデータにアクセスし、分析し、及び処理し、ロボットシステムの制御に使用可能なデータ又は情報を生成し、ロボットデバイス、センサ、及びカメラのアクションを計画するように構成されたロボットデバイス、アクチュエータ、センサ、カメラ、及びコンピューティングシステムの任意の好適な組み合わせを含み得る。本明細書で使用される場合、ロボットシステムは、ロボットアクチュエータ、センサ、又はその他のデバイスに直ちにアクセス又は制御する必要はない。ロボットシステムは、本明細書に記載するように、情報の受信、分析、及び処理を通して、そのようなロボットアクチュエータ、センサ、及び他のデバイスの性能を改善するように構成された計算システムであり得る。

【0010】

本明細書に記載される技術は、物体の識別、検出、及び取り出しで使用するために構成されたロボットシステムに技術的改善を提供する。本明細書に記載する技術的改善は、これらのタスクの速度、精度、及び正確さを増加させ、容器からの物体の検出、識別、及び取り出しを更に容易にする。本明細書に記載されるロボットシステム及び計算システムは、容器からの物体を識別、検出、及び取り出す技術的問題に対処するものであり、物体は不規則に配置され得る。この技術的問題に対処することにより、物体の識別、検出、及び取り出しの技術が改善される。

【0011】

本出願は、システム及びロボットシステムを指す。ロボットシステムは、本明細書で論じるように、ロボットアクチュエータ構成要素（例えば、ロボットアーム、ロボットグリッパなど）、様々なセンサ（例えば、カメラなど）、及び様々なコンピューティング又は制御システムを含み得る。本明細書で論じるように、コンピューティングシステム又は制御システムは、ロボットアーム、ロボットグリッパ、カメラなどの様々なロボット構成要素を「制御すること」と呼んでもよい。そのような「制御」は、ロボット構成要素の様々なアクチュエータ、センサ、及びその他の機能的態様の直接的な制御及び相互作用を指し得る。例えば、コンピューティングシステムは、様々なモータ、アクチュエータ、及びセンサにロボット移動を引き起こすために必要な信号の全てを発行又は提供することによって、ロボットアームを制御することができる。そのような「制御」はまた、そのようなコマンドをロボット移動を引き起こすために必要な信号に変換する更なるロボット制御システムへの抽象的又は間接的なコマンドの発行を指し得る。例えば、コンピューティングシステムは、ロボットアームが移動すべき軌道又は目的地の場所を記述するコマンドを発行することによってロボットアームを制御してもよく、ロボットアームに関連付けられた更なるロボット制御システムは、そのようなコマンドを受信及び解釈し、次いで、ロボットアームの様々なアクチュエータ及びセンサに必要な直接信号を提供して、必要な移動を引き起こしてもよい。

【0012】

具体的には、本明細書に記載の本技術は、ロボットシステムが、容器内の複数の物体の間で標的物体と相互作用するのを支援する。容器からの物体の検出、識別、及び取り出しには、好適な物体認識テンプレートの生成、識別に使用可能な特徴の抽出、並びに検出仮説の生成、精密化、及び検証を含む、数点のステップが必要である。例えば、物体の不規則な配置の可能性があるため、複数の異なる姿勢（例えば、角度及び場所）の、かつ他の物体の部分によって潜在的に不明瞭な場合に、物体を認識し、識別することが必要な場合がある。

【0013】

以下に、本開示の技術の理解を提供するために、具体的な詳細が記載されている。実施形態では、本明細書に導入される技法は、本明細書に開示される各具体的な詳細を含まずに実施され得る。他の実例では、特定の機能又はルーチンなどの周知の特徴は、本開示を不必要に不明瞭化することを避けるために詳細には説明されない。この説明における「実施形態」、「一実施形態」、又は同様のものへの参照は、説明される特定の特徴、構造、材料、又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書におけるそのような語句の外観は、必ずしも全て同じ実施形態を指すわけではない。一方で、そのような参照は、必ずしも相互に排他的なものではない。更に、任意の１つの実施形態に関して記載される特定の特徴、構造、材料、又は特性は、このような項目が相互に排他的でない限り、任意の他の実施形態のものと任意の好適な様式で組み合わせることができる。図に示される様々な実施形態は、単に例示的な表現であり、必ずしも縮尺どおりに描かれるものではないことを理解されたい。

【0014】

周知であり、かつ多くの場合にロボットシステム及びサブシステムと関連付けられるが、本開示の技法のいくつかの重要な態様を不必要に不明瞭にし得る、構造又はプロセスを説明する数点の詳細は、明確化の目的で以下の説明には記載されていない。更に、以下の開示は、本技術の異なる態様の数点の実施形態を説明しているが、数点の他の実施形態は、本節に説明されるものとは異なる構成又は異なる構成要素を有し得る。したがって、開示された技術は、追加の要素を有するか、又は以下に説明される要素のうちの数点を有しない、他の実施形態を有し得る。

【0015】

以下に説明される本開示の多くの実施形態又は態様は、プログラム可能なコンピュータ又はコントローラによって実行されるルーチンを含む、コンピュータ又はコントローラ実行可能命令の形態を取り得る。関連分野の当業者であれば、開示された技法は、以下に示され説明されるもの以外のコンピュータ又はコントローラシステム上で、若しくはそれらを用いて実践され得ることを理解するであろう。本明細書に説明される技法は、以下に説明されるコンピュータ実行可能命令のうちの１つ以上を実行するように、特別にプログラム、構成、又は構築される、専用コンピュータ又はデータプロセッサで具現化され得る。したがって、本明細書において一般的に使用される「コンピュータ」及び「コントローラ」という用語は、任意のデータプロセッサを指し、インターネット家電及び手持ち式デバイス（パームトップコンピュータ、ウェアラブルコンピュータ、セルラ又は携帯電話、マルチプロセッサシステム、プロセッサベース又はプログラム可能な家庭用電化製品、ネットワークコンピュータ、ミニコンピュータなどを含む）を含み得る。これらのコンピュータ及びコントローラによって取り扱われる情報は、液晶ディスプレイ（ＬＣＤ）を含む、任意の好適なディスプレイ媒体において提示され得る。コンピュータ又はコントローラ実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組み合わせを含む、任意の好適なコンピュータ可読媒体内に、又はその上に記憶され得る。命令は、例えば、フラッシュドライブ、ＵＳＢデバイス、及び／又は他の好適な媒体を含む、任意の好適なメモリデバイスに包含され得る。

【0016】

「結合された」及び「接続された」という用語は、それらの派生語とともに、本明細書では、構成要素間の構造的な関係を説明するために使用され得る。これらの用語は、互いの同義語として意図されていないことが理解されるべきである。むしろ、特定の実施形態では、「接続された」は、２つ以上の要素が互いに直接接触していることを示すために使用され得る。文脈において別途明白にされない限り、「結合された」という用語は、２つ以上の要素が、互いに直接的又は間接的（それらの間の他の介在要素との）接触にあるか、又は２つ以上の要素が互いに協働するか、若しくは相互作用する（例えば、信号送信／受信のための、又は関数呼び出しのためのなどの、因果関係にあるような）か、又はその両方を示すために使用され得る。

【0017】

コンピューティングシステムによる画像分析に対する本明細書の任意の参照は、選択された点に対する様々な場所のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、物体を識別するか、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、物体の１つ以上の表面の場所を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に既知の他の形態が、本明細書に説明される方法に従って使用され得る。

【0018】

図１Ａは、物体検出、又はより具体的には、物体認識を実施するためのシステム１０００を図示する。より詳細には、システム１０００は、コンピューティングシステムもしくはコンピュータシステム１１００及びカメラ１２００を含み得る。この実施例では、カメラ１２００は、カメラ１２００が位置する環境を説明するか、若しくは別様で表し、又はより具体的には、カメラ１２００の視野（カメラ視野とも呼ぶ）中の環境を表す、画像情報を生成するように構成され得る。環境は、例えば、倉庫、製造工場、小売空間、又は他の施設であり得る。こうした実例では、画像情報が、箱、ビン、ケース、木枠、パレット、又は他の容器などの、そのような施設に位置する物体を表し得る。システム１０００は、以下でより詳細に論じるように、画像情報を使用して、カメラ視野内の個々の物体を区別すること、画像情報に基づき物体認識又は物体登録を実施すること、及び／又は画像情報に基づきロボット相互作用計画を実施することなど、画像情報を生成、受信、及び／又は処理するよう構成され得る（用語「及び／又は」並びに「又は」は、本開示では互換的に使用される）。ロボット相互作用計画は、例えば、ロボットと容器又は他の物体との間のロボット相互作用を容易にするように、施設においてロボットを制御するために使用され得る。コンピューティングシステム１１００及びカメラ１２００は、同じ施設において位置し得、又は互いに遠隔に位置し得る。例えば、コンピューティングシステム１１００は、倉庫又は小売空間から遠隔にあるデータセンタ内でホストされるクラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介してカメラ１２００と通信することができる。

【0019】

実施形態では、カメラ１２００（画像感知デバイスとも呼ばれ得る）は、２Ｄカメラ及び／又は３Ｄカメラであり得る。例えば、図１Ｂは、コンピューティングシステム１１００、及びいずれもカメラ１２００の実施形態であり得る、カメラ１２００Ａ並びにカメラ１２００Ｂを含むシステム１５００Ａ（システム１０００の実施形態であり得る）を図示する。この実施例では、カメラ１２００Ａは、カメラの視野中にある環境の視覚的外観を説明する２Ｄ画像を含む、又はそれを形成する、２Ｄ画像情報を生成するように構成されている２Ｄカメラであり得る。カメラ１２００Ｂは、カメラの視野中の環境に関する空間構造情報を含む、又はそれを形成する、３Ｄ画像情報を生成するように構成されている３Ｄカメラ（空間構造感知カメラ又は空間構造感知デバイスとも呼ばれる）であり得る。空間構造情報は、カメラ１２００Ｂの視野中にある様々な物体の表面上の場所など、カメラ１２００Ｂに対する様々な場所のそれぞれの奥行き値を説明する、奥行き情報（例えば、奥行きマップ）を含んでもよい。カメラの視野内又は物体の表面上のこれらの場所を、物理的場所と称することもできる。この実施例の奥行き情報は、物体が三次元（３Ｄ）空間の中で空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、カメラ１２００Ｂの視野内の物体の１つ以上の表面上の場所を説明する点群を含むことができ、又はこの点群を生成するために使用することができる。より具体的には、空間構造情報は、物体の構造（物体構造とも呼ぶ）上の様々な場所を説明することができる。

【0020】

実施形態では、システム１０００は、カメラ１２００の環境内でロボットと様々な物体との間のロボット相互作用を容易にするための、ロボット動作システムであり得る。例えば、図１Ｃは、図１Ａ及び図１Ｂのシステム１０００／１５００Ａの実施形態であり得る、ロボット動作システム１５００Ｂを図示する。ロボット動作システム１５００Ｂは、コンピューティングシステム１１００、カメラ１２００、及びロボット１３００を含んでもよい。上述のように、ロボット１３００は、カメラ１２００の環境内の１つ以上の物体、例えば、箱、木枠、ビン、パレット、又はその他の容器と相互作用するために使用することができる。例えば、ロボット１３００は、１つの場所から容器を選び取り、それらを別の場所に移動するように構成することができる。一部の事例では、ロボット１３００は、容器又は他の物体のグループが降ろされて、例えば、コンベヤベルトに移動される、パレットから降ろす動作を実施するために使用することができる。一部の実装形態では、カメラ１２００は、以下に論じる、ロボット１３００又はロボット３３００に取り付けることができる。これは、カメラの手持ち又は手元ソリューションとしても知られる。カメラ１２００は、ロボット１３００のロボットアーム３３２０に取り付けることができる。次いで、ロボットアーム３３２０は、様々なピック領域に移動して、それらの領域に関する画像情報を生成することができる。一部の実装形態では、カメラ１２００は、ロボット１３００から分離し得る。例えば、カメラ１２００は、倉庫又は他の構造の天井に装着されてもよく、構造に対して静止したままであってもよい。一部の実装形態では、ロボット１３００とは別個の複数のカメラ１２００、及び／又はロボット１３００とは別のカメラ１２００が手元カメラ１２００と組み合わせて使用されることを含む、複数のカメラ１２００を使用することができる。一部の実装形態では、１つのカメラ１２００又は複数のカメラ１２００は、ロボットアーム、ガントリ、又はカメラ移動のために構成された他の自動化システムなどの物体操作に使用されるロボット１３００とは別個に、専用のロボットシステムに装着又は固定されてもよい。本明細書全体を通して、カメラ１２００を「制御する（ｃｏｎｔｒｏｌ）」又は「制御している（ｃｏｎｔｒｏｌｌｉｎｇ）」について論じることができる。カメラの手持ちソリューションについては、カメラ１２００の制御は、カメラ１２００が装着又は取り付けられるロボット１３００の制御も含む。

【0021】

実施形態では、図１Ａ～図１Ｃのコンピューティングシステム１１００は、ロボットコントローラとも呼ばれ得るロボット１３００を形成してもよく、又はロボット１３００に組み込まれてもよい。ロボット制御システムは、システム１５００Ｂに含まれ得、例えば、ロボット１３００と容器又は他の物体との間のロボット相互作用を制御するためのロボット相互作用移動コマンドなどの、ロボット１３００用のコマンドを生成するように構成されている。そのような実施形態では、コンピューティングシステム１１００は、例えば、カメラ１２００によって生成された画像情報に基づき、そのようなコマンドを生成するように構成され得る。例えば、コンピューティングシステム１１００は、画像情報に基づき運動計画を決定するように構成されてもよく、運動計画は、例えば、物体をグリップするか、又は別様で把持することを意図し得る。コンピューティングシステム１１００は、運動計画を実行するために、１つ以上のロボット相互作用移動コマンドを生成することができる。

【0022】

実施形態では、コンピューティングシステム１１００は、視覚システムを形成し得るか、又はその一部であり得る。視覚システムは、例えば、ロボット１３００が位置する環境を説明する、又は、代替的に若しくはそれに加えて、カメラ１２００が位置する環境を説明する、視覚情報を生成するシステムであり得る。視覚情報が、上で論じられた３Ｄ画像情報及び／又は２Ｄ画像情報、若しくはいくつかの他の画像情報を含んでもよい。一部のシナリオでは、コンピューティングシステム１１００が、視覚システムを形成する場合、視覚システムは、上で論じられたロボット制御システムの一部であってもよく、又はロボット制御システムから分離してもよい。視覚システムが、ロボット制御システムから分離する場合、視覚システムは、ロボット１３００が位置する環境を説明する情報を出力するように構成され得る。情報は、ロボット制御システムに出力されてもよく、ロボット制御システムは、視覚システムからそのような情報を受信し、その情報に基づいて運動計画を実施し、及び／又はロボット相互作用運動コマンドを生成することができる。視覚システムに関する更なる情報は、以下に詳しく説明される。

【0023】

実施形態では、コンピューティングシステム１１００は、ＲＳ－２３２インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェースなどの専用有線通信インターフェースを介して、かつ／若しくは周辺構成要素相互接続（ＰＣＩ）バスなどのローカルコンピュータバスを介して提供される接続など、直接接続を介してカメラ１２００及び／又はロボット１３００と通信し得る。実施形態では、コンピューティングシステム１１００は、ネットワークを介してカメラ１２００と、かつ／又はロボット１３００と通信し得る。ネットワークは、パーソナルエリアネットワーク（ＰＡＮ）、例えば、イントラネットといったローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットなど、任意のタイプ及び／又は形態のネットワークであり得る。ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群（ＴＣＰ／ＩＰ）、ＡＴＭ（非同期転送モード）技法、ＳＯＮＥＴ（同期型光ネットワーク）プロトコル、又はＳＤＨ（同期デジタル階層）プロトコルを含む、プロトコルの異なる技法、及び層又はスタックを利用し得る。

【0024】

実施形態では、コンピューティングシステム１１００は、カメラ１２００と、かつ／若しくはロボット１３００と直接情報を通信してもよく、又は中間記憶デバイス、若しくはより一般的には、中間の非一時的コンピュータ可読媒体を介して通信することができる。例えば、図１Ｄは、システム１０００／１５００Ａ／１５００Ｂの実施形態であり得るシステム１５００Ｃを図示し、これは、コンピューティングシステム１１００の外部であってもよく、例えばカメラ１２００によって生成された画像情報を記憶するための外部バッファ又はリポジトリとして作用し得る、非一時的コンピュータ可読媒体１４００を含む。そのような実施例では、コンピューティングシステム１１００は、非一時的コンピュータ可読媒体１４００から、画像情報を取り出すか、又は別様で受信することができる。非一時的コンピュータ可読媒体１４００の実施例としては、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はそれらの任意の好適な組み合わせが挙げられる。非一時的コンピュータ可読媒体は、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、及び／又はメモリスティックを形成し得る。

【0025】

上述のように、カメラ１２００は、３Ｄカメラ及び／又は２Ｄカメラであり得る。２Ｄカメラは、カラー画像又はグレースケール画像などの、２Ｄ画像を生成するように構成され得る。３Ｄカメラは、例えば、飛行時間（ＴＯＦ）カメラ若しくは構造化光カメラなどの、奥行き感知カメラ、又は任意の他のタイプの３Ｄカメラであり得る。一部の事例では、２Ｄカメラ及び／又は３Ｄカメラは、電荷結合デバイス（ＣＣＤ）センサ及び／又は相補型金属酸化膜半導体（ＣＭＯＳ）センサなど、画像センサを含み得る。実施形態では、３Ｄカメラは、レーザ、ＬＩＤＡＲデバイス、赤外線デバイス、明／暗センサ、運動センサ、マイクロ波検出器、超音波検出器、レーダ探知機、又は奥行き情報若しくは他の空間構造情報を捕捉するように構成された任意の他のデバイスを含み得る。

【0026】

上述のように、画像情報が、コンピューティングシステム１１００によって処理され得る。実施形態では、コンピューティングシステム１１００は、（例えば、１つ以上のサーバブレード、プロセッサなどを有する）サーバ、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、スマートフォン、タブレットコンピューティングデバイス、及び／若しくは他の任意の他のコンピューティングシステムを含んでもよく、又はそれらとして構成され得る。実施形態では、コンピューティングシステム１１００の機能のいずれか又は全ては、クラウドコンピューティングプラットフォームの一部として実施されてもよい。コンピューティングシステム１１００は、単一のコンピューティングデバイス（例えば、デスクトップコンピュータ）であってもよく、又は複数のコンピューティングデバイスを含んでもよい。

【0027】

図２Ａは、コンピューティングシステム１１００の実施形態を図示する、ブロック図を提供する。本実施形態におけるコンピューティングシステム１１００は、少なくとも１つの処理回路１１１０、及び非一時的コンピュータ可読媒体（又は複数の媒体）１１２０を含む。一部の実例では、処理回路１１１０は、非一時的コンピュータ可読媒体１１２０（例えば、コンピュータメモリ）上に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、特殊用途コンピュータ、及び／又はオンボードサーバ）を含み得る。一部の実施形態では、プロセッサは、他の電子／電気デバイスに動作可能に結合された別個の／スタンドアローン型のコントローラに含まれてもよい。プロセッサは、プログラム命令を実装して、他のデバイスを制御／他のデバイスとインターフェース接続し、それによって、コンピューティングシステム１１００にアクション、タスク、及び／又は動作を実行させることができる。実施形態では、処理回路１１１０は、１つ以上のプロセッサ、１つ以上の処理コア、プログラマブルロジックコントローラ（「ＰＬＣ」）、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、それらの任意の組み合わせ、又は任意の他の処理回路を含む。

【0028】

実施形態では、コンピューティングシステム１１００の一部である、非一時的コンピュータ可読媒体１１２０は、上で論じられた中間の非一時的コンピュータ可読媒体１４００の代替又は追加であり得る。非一時的コンピュータ可読媒体１１２０は、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、それらの任意の組み合わせ、又は任意の他の記憶デバイスなど、それらの任意の好適な組み合わせなどの記憶デバイスであり得る。一部の実例では、非一時的コンピュータ可読媒体１１２０は、複数の記憶デバイスを含み得る。特定の実装形態では、非一時的コンピュータ可読媒体１１２０が、カメラ１２００によって生成され、計算システム１１００によって受信される画像情報を記憶するように構成される。一部の実例では、非一時的コンピュータ可読媒体１１２０は、本明細書で論じる方法及び動作を実施するために使用される１つ以上の物体認識テンプレートを記憶し得る。非一時的コンピュータ可読媒体１１２０が、処理回路１１１０によって実行されるとき、処理回路１１１０に、本明細書に説明される１つ以上の方法論を実施させるコンピュータ可読プログラム命令を、代替的又は追加的に記憶し得る。

【0029】

図２Ｂは、コンピューティングシステム１１００の一実施形態であり、通信インターフェース１１３１を含む、コンピューティングシステム１１００Ａを描写している。通信インターフェース１１３１は、例えば、図１Ａ～図１Ｄのカメラ１２００によって生成された画像情報を受信するように構成され得る。画像情報は、上で論じられた中間の非一時的コンピュータ可読媒体１４００若しくはネットワークを介して、又はカメラ１２００とコンピューティングシステム１１００／１１００Ａとの間のより直接的な接続を介して受信され得る。実施形態では、通信インターフェース１１３１は、図１Ｃのロボット１３００と通信するように構成され得る。コンピューティングシステム１１００が、ロボット制御システムの外部にある場合、コンピューティングシステム１１００の通信インターフェース１１３１は、ロボット制御システムと通信するように構成され得る。通信インターフェース１１３１はまた、通信構成要素又は通信回路と呼ばれる場合があり、例えば、有線又は無線プロトコル上で通信を実施するように構成された通信回路を含んでもよい。実施例として、通信回路は、ＲＳ－２３２ポートコントローラ、ＵＳＢコントローラ、イーサネットコントローラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラ、ＰＣＩバスコントローラ、任意の他の通信回路、又はそれらの組み合わせを含んでもよい。

【0030】

実施形態では、図２Ｃに描写されるように、非一時的コンピュータ可読媒体１１２０は、本明細書で論じられる１つ以上のデータ物体を記憶するように構成された記憶空間１１２５を含み得る。例えば、記憶空間は、物体認識テンプレート、検出仮説、画像情報、物体画像情報、ロボットアーム移動コマンド、及び本明細書で論じたコンピューティングシステムがアクセスを必要とし得る任意の追加のデータ物体を記憶し得る。

【0031】

実施形態では、処理回路１１１０は、非一時的コンピュータ可読媒体１１２０に記憶される、１つ以上のコンピュータ可読プログラム命令によってプログラムされ得る。例えば、図２Ｄは、コンピューティングシステム１１００／１１００Ａ／１１００Ｂの実施形態である、コンピューティングシステム１１００Ｃを図示し、処理回路１１１０は、物体認識モジュール１１２１、運動計画モジュール１１２９、及び物体操作計画モジュール１１２６を含む、１つ以上のモジュールによってプログラムされる。処理回路１１１０は更に、仮説生成モジュール１１２８、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、特徴抽出モジュール１１３４、仮説精密化モジュール１１３６、及び仮説検証モジュール１１３８を用いてプログラムされ得る。上記のモジュールの各々は、本明細書に記載されるプロセッサ、処理回路、コンピューティングシステムなどのうちの１つ以上でインスタンス化されたときに、特定のタスクを遂行するように構成された、コンピュータ可読プログラム命令を表し得る。上記のモジュールの各々は、本明細書に記載された機能を達成するために、互いに協働して動作してもよい。本明細書に記載される機能の様々な態様は、上述のソフトウェアモジュールのうちの１つ以上によって行われてもよく、ソフトウェアモジュール及びそれらの説明は、本明細書に開示されるシステムの計算構造を制限するものとして理解されるものではない。例えば、特定のタスク又は機能は、特定のモジュールに関して記述され得るが、そのタスク又は機能は、必要に応じて異なるモジュールによって実施されてもよい。更に、本明細書で説明するシステム機能は、機能の内訳又は割り当てが異なるように構成されたソフトウェアモジュールの異なるセットによって実施することができる。

【0032】

実施形態では、物体認識モジュール１１２１は、本開示全体を通して論じられたように、画像情報を取得及び分析するように構成され得る。画像情報に関して本明細書で論じられる方法、システム、及び技法は、物体認識モジュール１１２１を使用し得る。物体認識モジュールは、本明細書で論じるように、物体識別に関連する物体認識タスクのために更に構成することができる。

【0033】

運動計画モジュール１１２９は、ロボットの移動を計画及び実行するように構成することができる。例えば、運動計画モジュール１１２９は、本明細書に記載される他のモジュールと相互作用して、物体取り出し動作及びカメラ載置動作のためのロボット３３００の運動を計画することができる。ロボットアームの移動及び軌道に関して本明細書で論じられる方法、システム、及び技法は、運動計画モジュール１１２９によって実施され得る。

【0034】

物体操作計画モジュール１１２６は、例えば、物体の把持及び解放、並びにそのような把持及び解放を支援し、促進するためのロボットアームコマンドの実行などのロボットアームの物体操作活動を計画し、実行するように構成され得る。物体操作計画モジュール１１２６は、軌道決定、選び取り及びグリップ手順決定、及び物体とのエンドエフェクタの相互作用に関連する処理を実施するように構成され得る。物体操作計画モジュール１１２６の動作は、図４に関して更に詳細に説明される。

【0035】

仮説生成モジュール１１２８は、検出仮説を生成するためテンプレート合致及び認識タスクを実施するように構成され得る。仮説生成モジュール１１２８は、任意の他の必要なモジュールと相互作用又は通信するように構成され得る。

【0036】

物体登録モジュール１１３０は、本明細書で論じる様々なタスクに必要とされ得る物体登録情報を取得、記憶、生成、及び別様で処理するよう構成されてもよい。物体登録モジュール１１３０は、任意の他の必要なモジュールと相互作用又は通信するように構成され得る。

【0037】

テンプレート生成モジュール１１３２は、物体認識テンプレート生成タスクを完了するように構成され得る。テンプレート生成モジュール１１３２は、物体登録モジュール１１３０、特徴抽出モジュール１１３４、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0038】

特徴抽出モジュール１１３４は、特徴抽出及び生成タスクを完了するように構成され得る。特徴抽出モジュール１１３４は、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、仮説生成モジュール１１２８、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0039】

仮説精密化モジュール１１３６は、仮説精密化タスクを完了するように構成され得る。仮説精密化モジュール１１３６は、物体認識モジュール１１２１及び仮説生成モジュール１１２８、並びに任意の他の必要なモジュールと相互作用するように構成され得る。

【0040】

仮説検証モジュール１１３８は、仮説検証タスクを完了するように構成され得る。仮説検証モジュール１１３８は、物体登録モジュール１１３０、特徴抽出モジュール１１３４、仮説生成モジュール１１２８、仮説精密化モジュール１１３６、及び任意の他の必要なモジュールと相互作用するように構成され得る。

【0041】

図２Ｅ、図２Ｆ、図３Ａ及び図３Ｂを参照して、画像分析のために実施され得る物体認識モジュール１１２１に関連する方法を説明する。図２Ｅ及び図２Ｆは、画像分析方法と関連付けられた例示的な画像情報を図示するが、図３Ａ及び図３Ｂは、画像分析方法と関連付けられた例示的なロボット環境を図示する。コンピューティングシステムによる画像分析に関連する本明細書の参照は、選択された点に対する様々な場所のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、物体を識別するか、又は物体が空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、物体の１つ以上の表面の場所を説明する点群を含んでもよく、又はこの点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者に既知の他の形態が、本明細書に説明される方法に従って使用され得る。

【0042】

実施形態では、コンピューティングシステム１１００は、カメラ１２００のカメラ視野（例えば、３２００）内の物体を表す画像情報を取得し得る。画像情報を取得するための、以下に説明するステップ及び技法は、以下、画像情報捕捉動作と呼ぶことができる。一部の実例では、物体は、カメラ１２００の視野３２００の情景５０１３内の複数の物体５０１２からの１つの物体５０１２であってもよい。画像情報２６００、２７００は、物体５０１２がカメラ視野３２００にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、個々の物体５０１２又は情景５０１３のうちの１つ以上を記述してもよい。物体の外観は、カメラ１２００の視点からの物体５０１２の外観を記述する。カメラ視野内に複数の物体５０１２がある場合、カメラは、必要に応じて、複数の物体又は単一の物体を表す画像情報（単一の物体に関するそのような画像情報は、物体画像情報と呼ばれ得る）を生成し得る。画像情報は、物体のグループがカメラ視野にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、かつ、例えば、２Ｄ画像情報及び／又は３Ｄ画像情報を含み得る。

【0043】

一例として、図２Ｅは、画像情報の第１のセット、より具体的には、２Ｄ画像情報２６００を描写しており、これは、上述のように、カメラ１２００によって生成され、図３Ａの物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを表す。より具体的には、２Ｄ画像情報２６００は、グレースケール又はカラー画像であり得、カメラ１２００の視点からの物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの外観を記述し得る。実施形態では、２Ｄ画像情報２６００は、カラー画像の単一色チャネル（例えば、赤、緑、又は青のカラーチャネル）に対応し得る。カメラ１２００が物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの上方に配設される場合、２Ｄ画像情報２６００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄのそれぞれの上部表面の外観を表し得る。図２Ｅの実施例では、２Ｄ画像情報２６００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄのそれぞれの表面を表す、画像部分又は物体画像情報とも呼ばれる、それぞれの部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０を含み得る。図２Ｅでは、２Ｄ画像情報２６００の各画像部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０は、画像領域、又はより具体的には、ピクセル領域（画像がピクセルによって形成される場合）であり得る。２Ｄ画像情報２６００のピクセル領域内の各ピクセルは、座標［Ｕ、Ｖ］のセットによって記述される位置を有するものとして特徴付けることができ、図２Ｅ及び図２Ｆに示されるように、カメラ座標系、又は他の何らかの座標系に対する値を有し得る。ピクセルの各々はまた、０～２５５又は０～１０２３の値などの、強度値を有し得る。更なる実施形態では、ピクセルの各々は、様々なフォーマット（例えば、色相、飽和、強度、ＣＭＹＫ、ＲＧＢなど）のピクセルに関連付けられる任意の追加情報を含んでもよい。

【0044】

上述のように、画像情報は、一部の実施形態では、２Ｄ画像情報２６００などの画像の全て又は一部分であり得る。実施例では、コンピューティングシステム１１００は、対応する物体３４１０Ａと関連付けられた画像情報のみを取得するために、２Ｄ画像情報２６００から画像部分２０００Ａを抽出するように構成され得る。画像部分（画像部分２０００Ａなど）が単一の物体を対象とする場合、それは物体画像情報と呼ばれ得る。物体画像情報は、対象とする物体についての情報のみを包含する必要はない。例えば、対象とする物体は、１つ以上の他の物体近く、その下、その上、又は別様で近傍にあってもよい。そのような場合、物体画像情報は、対象とする物体、並びに１つ以上の隣接する物体についての情報を含み得る。コンピューティングシステム１１００は、図２Ｅに図示される２Ｄ画像情報２６００及び／又は図２Ｆに図示される３Ｄ画像情報２７００に基づいて、画像セグメンテーション又は他の分析又は処理動作を実施することによって、画像部分２０００Ａを抽出することができる。一部の実装形態では、画像セグメンテーション又は他の動作は、２Ｄ画像情報２６００内の物体の物理的縁部が現れる（例えば、物体の縁部）画像場所を検出することと、そのような画像場所を使用して、カメラ視野（例えば、３２００）内の個々の物体を表し、かつ他の物体を実質的に除外することに限定される、物体画像情報を識別することとを含み得る。「実質的に除外する」とは、画像セグメンテーション又はその他の処理技法が、非標的物体を物体画像情報から除外するように設計及び構成されるが、エラーが生じる可能性があり、ノイズが存在する可能性があり、様々な他の要因が他の物体の部分の包含をもたらす可能性があることが理解されることを意味する。

【0045】

図２Ｆは、画像情報が３Ｄ画像情報２７００である、実施例を描写している。より具体的には、３Ｄ画像情報２７００は、例えば、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの１つ以上の表面（例えば、上部表面、又は他の外側表面）上の様々な場所のそれぞれの奥行き値を示す、奥行きマップ又は点群を含み得る。一部の実装形態では、画像情報を抽出するための画像セグメンテーション動作は、物体の物理的縁部（例えば、箱の縁部）が３Ｄ画像情報２７００内に現れる画像場所を検出すること、及びそのような画像場所を使用して、カメラ視野（例えば、３４１０Ａ）内の個々の物体を表すことに限定される画像部分（例えば、２７３０）を識別することを含み得る。

【0046】

それぞれの奥行き値は、３Ｄ画像情報２７００を生成するカメラ１２００に対するものであってもよく、又はいくつかの他の基準点に対するものであり得る。一部の実施形態では、３Ｄ画像情報２７００は、カメラ視野（例えば、３２００）内にある物体の構造上の様々な場所についてのそれぞれの座標を含む、点群を含み得る。図２Ｆの実施例では、点群は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄのそれぞれの表面の場所を描写する、それぞれの座標セットを含み得る。座標は、［Ｘ Ｙ Ｚ］座標などの３Ｄ座標であってもよく、カメラ座標系、又は何らかの他の座標系に対する値を有し得る。例えば、３Ｄ画像情報２７００は、物体３４１０Ｄの表面上の物理的な場所とも呼ばれる、場所２７１０_１～２７１０_ｎのセットに対するそれぞれの奥行き値を示す、画像部分とも呼ばれる第１の画像部分２７１０を含み得る。更に、３Ｄ画像情報２７００は、第２の部分、第３の部分、第４の部分、及び第５の部分２７２０、２７３０、２７４０、及び２７５０を更に含み得る。次いで、これらの部分は、それぞれ、２７２０_１～２７２０_ｎ、２７３０_１～２７３０_ｎ、２７４０_１～２７４０_ｎ、及び２７５０_１～２７５０_ｎによって表され得る、場所のセットについてのそれぞれの奥行き値を更に示し得る。これらの図は単に実施例であり、対応する画像部分を有する任意の数の物体が使用され得る。上述のように、取得された３Ｄ画像情報２７００は、一部の実例では、カメラによって生成される３Ｄ画像情報２７００の第１のセットの部分であってもよい。図２Ｆの実施例では、取得された３Ｄ画像情報２７００が図３Ａの物体３４１０Ａを表す場合、３Ｄ画像情報２７００は、画像部分２７１０のみを参照するように狭められ得る。２Ｄ画像情報２６００の考察と同様に、識別された画像部分２７１０は、個々の物体に関連してもよく、物体画像情報と呼ばれてもよい。したがって、物体画像情報は、本明細書で使用される場合、２Ｄ及び／又は３Ｄ画像情報を含み得る。

【0047】

実施形態では、画像正規化動作は、画像情報を取得する一部として、コンピューティングシステム１１００によって実施され得る。画像正規化動作は、変換された画像又は変換された画像部分を生成するために、カメラ１２００によって生成された画像又は画像部分を変換することを伴い得る。例えば、取得された、２Ｄ画像情報２６００、３Ｄ画像情報２７００、又は２つの組み合わせを含み得る画像情報が、視点、物体姿勢、及び視覚的記述情報と関連付けられる照明条件において画像情報の変更を試みるために、画像正規化動作を受ける可能性がある場合である。そのような正規化は、画像情報とモデル（例えば、テンプレート）情報との間のより正確な比較を容易にするために実施され得る。視点は、カメラ１２００に対する物体の姿勢、及び／又はカメラ１２００が物体を表す画像を生成するときに、カメラ１２００が物体を見ている角度を指し得る。

【0048】

例えば、画像情報は、標的物体がカメラ視野３２００内にある、物体認識動作中に生成され得る。カメラ１２００は、標的物体がカメラに対して特定の姿勢を有するときに、標的物体を表す画像情報を生成し得る。例えば、標的物体は、その上部表面をカメラ１２００の光学軸に対して垂直にするような姿勢を有する場合がある。そのような例では、カメラ１２００によって生成される画像情報は、標的物体の上面図などの特定の視点を表し得る。一部の実例では、カメラ１２００が物体認識動作中に画像情報を生成しているときに、画像情報は、照明強度などの特定の照明条件で生成され得る。そのような実例では、画像情報は、特定の照明強度、照明色、又は他の照明条件を表し得る。

【0049】

実施形態では、画像正規化動作は、画像又は画像部分を、物体認識テンプレートの情報と関連付けられた視点及び／又は照明条件により良く合致させるように、カメラによって生成される情景の画像又は画像部分を調整することを伴い得る。調整は、画像又は画像部分を変換して、物体姿勢又は物体認識テンプレートの視覚的記述情報に関連付けられた照明条件のうちの少なくとも一方に合致する変換された画像を生成することを伴い得る。

【0050】

視点調整は、画像が物体認識テンプレート内に含まれ得る視覚的記述情報と同じ視点を表すように、情景の画像の処理、ワーピング、及び／又はシフトを伴い得る。処理は、例えば、画像の色、コントラスト、又は照明を変更することを含み得、情景のワーピングは、画像のサイズ、寸法、又は比率を変更することを含み得、画像のシフトは、画像の位置、向き、又は回転を変更することを含み得る。例示的な実施形態では、処理、ワーピング、及び／又はシフトを使用して、情景の画像内の物体を、物体認識テンプレートの視覚的記述情報に合致するか、又はそれにより良好に対応する向き及び／又はサイズを有するように変更することができる。物体認識テンプレートは、一部の物体の正面図（例えば、上面図）を記述する場合、情景の画像は、情景内の物体の正面図も表すようにワーピングされ得る。

【0051】

本明細書で実施される物体認識方法の更なる態様は、２０２０年８月１２日出願の米国特許出願第１６／９９１，５１０号、及び２０２０年８月１２日出願の米国特許出願第１６／９９１，４６６号により詳細に説明されており、その各々が参照により本明細書に組み込まれる。

【0052】

様々な実施形態では、「コンピュータ可読命令」及び「コンピュータ可読プログラム命令」という用語は、様々なタスク及び動作を遂行するように構成された、ソフトウェア命令又はコンピュータコードを記述するために使用される。様々な実施形態では、「モジュール」という用語は、処理回路１１１０に１つ以上の機能タスクを実施させるように構成された、ソフトウェア命令又はコードの集まりを広く指す。モジュール及びコンピュータ可読命令は、処理回路又は他のハードウェア構成要素が、モジュール若しくはコンピュータ可読命令を実行しているときに、様々な動作又はタスクを実施するものとして説明され得る。

【0053】

図３Ａ及び図３Ｂは、非一時的コンピュータ可読媒体１１２０上に記憶されたコンピュータ可読プログラム命令を、コンピューティングシステム１１００を介して利用して、物体識別、検出、並びに取り出し動作及び方法の効率を増大させる、例示的な環境を図示する。コンピューティングシステム１１００によって取得され、図３Ａにおいて例証される画像情報は、物体環境内に存在するロボット３３００へのシステムの意思決定手順及びコマンド出力に影響を与える。

【0054】

図３Ａ及び図３Ｂは、本明細書に説明されるプロセス及び方法が実施され得る例示的な環境を図示する。図３Ａは、少なくともコンピューティングシステム１１００、ロボット３３００、及びカメラ１２００を含む、（図１Ａ～図１Ｄのシステム１０００／１５００Ａ／１５００Ｂ／１５００Ｃの実施形態であり得る）システム３０００を有する環境を描写している。カメラ１２００は、カメラ１２００の実施形態であってもよく、カメラ１２００のカメラ視野３２００内の情景５０１３を表す、又はより具体的には、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄなどの、カメラ視野３２００内の物体（箱など）を表す、画像情報を生成するように構成され得る。一実施例では、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの各々は、例えば、箱又は木枠などの容器であってもよく、一方で、物体３５５０は、例えば、上に容器が配設されるパレットであり得る。更に、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの各々は、更に個々の物体５０１２を含む容器であってもよい。各物体５０１２は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリであってもよい。図３Ａは、物体５０１２の複数の容器を含む実施形態を図示するが、図３Ｂは、物体５０１２の単一の容器を含む実施形態を図示する。

【0055】

実施形態では、図３Ａのシステム３０００は、１つ以上の光源を含み得る。光源は、例えば、発光ダイオード（ＬＥＤ）、ハロゲンランプ、又は任意の他の光源であってもよく、可視光、赤外線、又は物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの表面に向かって任意の他の形態の光を発するように構成され得る。一部の実施態様では、コンピューティングシステム１１００は、光源と通信して、光源が起動されるときを制御するように構成され得る。他の実施態様では、光源は、コンピューティングシステム１１００とは独立して動作し得る。

【0056】

実施形態では、システム３０００は、カメラ１２００、又は２Ｄ画像情報２６００を生成するように構成されている２Ｄカメラと、３Ｄ画像情報２７００を生成するように構成されている３Ｄカメラとを含む、複数のカメラ１２００を含み得る。カメラ１２００又は複数のカメラ１２００は、ロボット３３００に装着されるか、又はロボット３３００に固定されてもよく、環境内に静止していてもよく、及び／又はロボットアーム、ガントリ、又はカメラ移動のために構成された他の自動化システムなどの物体操作に使用されるロボット３３００から分離された専用のロボットシステムに固定されてもよい。図３Ａは、静止カメラ１２００及び手持ちカメラ１２００を有する実施例を示し、一方、図３Ｂは、静止カメラ１２００のみを有する実施例を示す。２Ｄ画像情報２６００（例えば、カラー画像又はグレースケール画像）は、カメラ視野３２００における、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ又は物体５０１２などの１つ以上の物体の外観を説明し得る。例えば、２Ｄ画像情報２６００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ及び５０１２のそれぞれの外部表面（例えば、上部表面）上に配設される視覚的詳細、及び／又はそれらの外部表面の輪郭を捕捉するか、又は別様に表し得る。実施形態では、３Ｄ画像情報２７００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ及び５０１２のうちの１つ以上の構造を説明してもよく、物体についての構造は、物体の構造又は物体の物理的構造とも呼ばれ得る。例えば、３Ｄ画像情報２７００は、奥行きマップを含んでもよく、より一般的には、カメラ１２００に対する、又は何らかの他の基準点に対する、カメラ視野３２００内の様々な場所のそれぞれの奥行き値を説明し得る、奥行き情報を含んでもよい。それぞれの奥行き値に対応する場所は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ及び５０１２のそれぞれの上部表面上の場所などの、カメラ視野３２００内の様々な表面上の場所（物理的な場所とも呼ばれる）であり得る。一部の実例では、３Ｄ画像情報２７００は、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ及び５０１２、又はカメラ視野３２００内のいくつかの他の物体の１つ以上の外側表面上の様々な場所を説明する、複数の３Ｄ座標を含み得る、点群を含み得る。点群を図２Ｆに示される。

【0057】

図３Ａ及び図３Ｂの実施例では、（ロボット１３００の実施形態であり得る）ロボット３３００は、一端がロボット基部３３１０に取り付けられ、かつ他端がロボットグリッパなどのエンドエフェクタ装置３３３０に取り付けられるか、又はそれによって形成される、ロボットアーム３３２０を含み得る。ロボット基部３３１０は、ロボットアーム３３２０を装着するために使用され得るが、ロボットアーム３３２０、より具体的には、エンドエフェクタ装置３３３０は、ロボット３３００の環境で１つ以上の物体と相互作用するために使用され得る。相互作用（ロボット相互作用とも呼ぶ）は、例えば、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ及び５０１２のうちの少なくとも１つをグリップするか、又は別様で把持することを含み得る。例えば、ロボット相互作用は、物体５０１２を容器から識別、検出、及び取り出すための物体選び取り動作の一部であってもよい。エンドエフェクタ装置３３３０は、物体５０１２を把持するか、又は掴むための吸引カップ又は他の構成要素を有し得る。エンドエフェクタ装置３３３０は、吸引カップ又は他の把持構成要素を使用して、例えば、上面を介して、物体の単一の面又は表面との接触を通して、物体を把持するか、又は掴むように構成され得る。

【0058】

ロボット３３００は、構造部材を操作するため、及び／又はロボットユニットを輸送するためになど、タスクを実装するために使用される情報を取得するように構成された追加のセンサを更に含み得る。センサは、ロボット３３００の１つ以上の物理的特性（例えば、その状態、条件、及び／又は１つ以上の構造部材／ジョイントの場所）及び／又は周囲の環境の１つ以上の物理的特性を検出又は測定するよう構成されたデバイスを含み得る。センサの一部の実施例には、加速度計、ジャイロスコープ、力センサ、歪みゲージ、触覚センサ、トルクセンサ、位置エンコーダなどが含まれ得る。

【0059】

コンピューティングシステム１１００は、エンドエフェクタ装置３３３０を含む、又はそれに取り付けられるロボットアーム３３２０を有し、かつロボットアーム３３２０に取り付けられるカメラ１２００を有するロボット３３００と通信するように構成された制御システムを備える。図３Ｃ及び図３Ｄは、コンピューティングシステム１１００が通信し、コマンド／制御して本明細書に記載される方法を達成することができる、ロボット３３００の実施形態を図示する。実施形態では、カメラ１２００は、物体取り扱い環境３４００の他の場所に配設され、一方で、無線又はハード有線接続のいずれかを介してコンピューティングシステム１１００の制御システムと通信する。ロボット３３００は、ジョイント３３２０ａ、３３２０ｂにおいて接続されて、ロボットアーム３３２０及びエンドエフェクタ装置３３３０を形成し、より大きな運動範囲（例えば、回転及び／又は並進変位）を許容する、物理的又は構造的な部材３３２１ａ、３３２１ｂを含み得る。物理的又は構造的な部材３３２１ａは、ジョイント３３２０ａを介してロボット基部３３１０に更に接続してもよい。ロボット３３００は、対応するジョイント３３２０ａ、３３２０ｂの周り又はそこにおいて、構造部材３３２１ａ、３３２１ｂを駆動又は操作する（例えば、変位及び／又は再配向する）ように構成されたモータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなど（図示せず）などの作動デバイスを含み得る。例えば、ロボットアーム３３２０は、ロボット基部３３１０に対してジョイント３３２０ａの周りで全方位３６０°回転することができてもよく、又は構造部材３３２１ａ、３３２１ｂは、ジョイント３３２０ａ、３３２０ｂ接続に接続する任意の点において全方位３６０°回転することができる。ロボットアーム３３２０は、更に、ロボットアーム３３２０の完全に延長した長さ（すなわち、まっすぐにした、又は１８０°）が、ロボットベース３３１０の中心軸（すなわち、ロボットアーム３３２０がロボットベース３３１０に接続する場所）からエンドエフェクタ器具３３３０の先端又は端部まで測定した、半球状の三次元空間の半径として作用する、半球状の三次元空間内の任意の場所を並進することができる。

【0060】

接続された構造部材３３２１ａ、３３２１ｂ及びジョイント３３２０ａ、３３２０ｂは、ロボット３３００の所望の使用に応じて、１つ以上のタスク（例えば、グリップすること、スピンすること、溶接することなど）を実行するように構成されたエンドエフェクタ装置３３３０を操作するように構成された動力鎖を形成し得る。ロボット３３００は、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなどの（図示せず）、エンドエフェクタ装置３３３０を駆動又は操作（例えば、変位及び／又は再配向する）するように構成された作動デバイスを含み得る。一般に、エンドエフェクタ装置３３３０は、様々なサイズ及び形状の物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを把持する能力を提供することができる。物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄは、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、ディスク、ワッシャ、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリを含む、任意の物体であってもよい。エンドエフェクタ装置３３３０は、図３Ｃに例証されるように、グリッピングフィンガ３３３２ａ、３３３２ｂを有する少なくとも１つのグリッパ３３３２を含み得る。グリッピングフィンガ３３３２ａ、３３３２ｂは、互いに対して並進して、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを挟む、把持する、又は別様で固定することができる。実施形態では、エンドエフェクタ装置３３３０は、図３Ｄに例証されるように、それぞれグリッピングフィンガ３３３２ａ、３３３２ｂ、３３３４ａ、３３３４ｂを有する少なくとも２つのグリッパ３３３２、３３３４を含む。グリッピングフィンガ３３３２ａ、３３３２ｂは、互いに対して並進することができ、グリッピングフィンガ３３３４ａ、３３３４ｂは、互いに対して並進して、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを挟む、把持する、又は別様で固定することができる。実施形態では、エンドエフェクタ装置３３３０は、３つ以上のグリッパ（図示せず）、及び／又は３つ以上のグリッピングフィンガ（図示せず）を有するグリッパを含んでもよく、各々が、物体を挟む、把持する、又は別様で固定するように設計された並進能力を有する。

【0061】

ロボット３３００は、物体処理環境３４００内の目的地３４４０への送達又は移送のために、その上又はその中に配設された物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを有する容器３４２０を含む、物体取り扱い環境３４００内の場所について構成することができる。容器３４２０は、例えば、ビン、箱、バケツ、又はパレットなど、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄを保持するのに好適な任意の容器であってもよい。物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄは、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、ディスク、ワッシャ、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリを含む、任意の物体であってもよい。実施形態では、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄは、例えば、数グラム～数キログラムの範囲の質量、及び例えば、５ｍｍ～５００ｍｍの範囲のサイズを有する、容器３４２０からアクセス可能な物体を指し得る。実施例及び例示的目的で、本明細書の方法４０００の説明では、本明細書に記載の方法を使用してコンピュータシステム１１００及びロボット３３００が相互作用し得る複数の物体３５００（図５Ａに示す）内の標的物体３５１０ａ（図５Ｂ及び図６Ａ～図６Ｃ）としてリング状物体に言及する。複数の物体３５００は、サイズ、形状、重量、及び材料組成物に関して実質的に同一であってもよい。実施形態では、複数の物体３５００は、前述したように、サイズ、形状、重量、及び材料組成物において互いに異なっていてもよい。本明細書で論じる物体の特定の形状は、例えば、実施例の目的のみに使用され、本明細書に記載の方法及びプロセスは、必要に応じて、異なる形状の物体とともに使用又は採用され得る。

【0062】

したがって、上記に関して、コンピューティングシステム１１００は、供給源又は容器３４２０から目的地３４４０へ標的物体を移送するために、以下のように動作するよう構成されてもよい。

【0063】

図４は、本明細書の実施形態による、標的物体の検出、計画、選び取り、移送、及び載置のための方法及び動作の全体的な流れを図示する、フロー図を提供する。検出、計画、選び取り、移送、及び載置の方法４０００は、本明細書に記載されるサブ方法及び動作の特徴の任意の組み合わせを含み得る。方法４０００は、物体検出動作４００２、物体把持性決定動作４００３、標的選択動作４００４、軌道決定動作４００５、選び取り／グリップ手順決定動作４００６、ロボットアーム／エンドエフェクタ装置軌道実行動作４００８、エンドエフェクタ相互作用動作４０１０、及びロボットアーム３３２０を制御する目的地軌道実行動作４０１２のいずれか又は全てを含み得る。物体検出動作４００２は、リアルタイムで、又はロボット動作の状況外の前処理又はオフライン環境で実施することができる。したがって、一部の実施形態では、これらの動作及び方法は、ロボットによる後のアクションを容易にするために事前に実施することができる。物体検出動作４００２及び物体把持性決定動作４００３は、方法４０００の計画部分における第１のステップであってもよい。標的選択動作４００４、軌道決定動作４００５、及び選び取り／グリップ手順決定動作４００６は、計画部分の残りのステップを提供してもよく、方法４０００の間に複数回実施されてもよい。ロボットアーム／エンドエフェクタ装置軌道実行動作４００８、エンドエフェクタ相互作用動作４０１０、及びロボットアーム３３２０を制御するための目的地軌道実行動作４０１２は各々、容器から標的物体を検出し、識別し、かつ取り出すためのロボット動作の状況下で実施することができる。

【0064】

動作４００２では、方法４０００は、カメラ１２００を介して、容器又は物体の源３４２０内の複数の物体３５００を検出することを含む。物体３５００は、複数の物理的な実世界の物体（図５Ａ）を表すことができる。動作４００２は、容器３４２０内の物体３５００のうちの１つ以上についての検出結果３５２０を生成し得る。検出結果３５２０は、個別に検出された物体３５１０と呼ばれ得る容器３４２０（図５Ａ－５Ｂ）内の複数の物体３５００のデジタル表現を含み得る。方法４０００の更なる動作は、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ、及び／又は把持不可能物体３５１０ｂである検出された物体３５１０から決定することができる（例えば、図７Ｂに関して論じたように）。

【0065】

動作４００２は、本明細書に記載の方法に従って、カメラ１２００から受信した情報（例えば、画像情報）を分析して、検出結果３５２０（図５Ｃ）を生成することを含み得る。カメラ１２００から受信した情報は、複数の物体３５００の、物体容器３４２０の環境３４００の画像を含み得る。上で論じたように、複数の物体３５００は、検出された物体３５１０を含み得る。

【0066】

検出結果３５２０を生成することは、物体容器３４２０内の複数の物体３５００を識別して、その後、検出された物体３５１０を識別し、そこから、ロボット３３００を介して選び取って、目的地３４４０に移送する標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが後で決定されることを含み得る。図５Ｂは、容器３４２０内の複数の物体３５００のうち、複数の検出された物体３５１０についての検出結果３５２０の視覚的描写を提供する（それらの物理的表現は図５Ａとして提供される）。図５Ｃは、物理的世界に存在する物理的物体３５００を図示する一方、検出された物体３５１０は、検出結果３５２０によって説明される物理的物体３５００の表示を指す。検出結果３５２０は、検出された物体３５１０の各々についての情報、例えば、容器３４２０内の検出された物体３５１０の場所、他の検出された物体３５１０に対する検出された物体３５１０の場所（例えば、検出された物体３５１０が複数の物体３５００の山の頂部上、又は他の隣接する検出された物体３５１０の下にあるか）、検出された物体３５１０の向き及び姿勢、物体検出の信頼度、（以下でより詳細に説明するように）利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ、又はそれらの組み合わせを含む、検出された物体３５１０の各々についての複数の物体表現４０１３を含み得る。

【0067】

したがって、方法４０００の動作４００２は、物体検出に基づいて、複数の物体表現４０１３を含む検出結果３５２０を得ることを含み得る。コンピュータシステム１１００は、有効な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを決定する際に、検出結果３５２０から検出された全ての物体３５１０の複数の物体表現４０１３を使用することができる。検出された物体３５１０の各々は、検出された物体３５１０の各々についてのデジタル情報（すなわち、物体表現４０１３）を表す、対応する検出結果３５２０を有してもよい。実施形態では、対応する検出結果３５２０は、実世界内に物理的に存在する複数の物体３５００の中に、複数の検出された物体３５１０を組み込むことができる。検出された物体３５１０は、検出された物体３５００の各々についてのデジタル情報（すなわち、物体表現４０１３）を表す可能性がある。

【0068】

一実施形態では、検出結果３５２０を得るために複数の物体３５００を識別することは、任意の好適な手段によって遂行され得る。実施形態では、複数の物体３５００を識別することは、例えば、仮説生成モジュール１１２８、物体登録モジュール１１３０、テンプレート生成モジュール１１３２、特徴抽出モジュール１１３４、仮説精密化モジュール１１３６、及び仮説検証モジュール１１３８によって実施されるように、物体登録、テンプレート生成、特徴抽出、仮説生成、仮説精密化、及び仮説検証を含むプロセスを含み得る。これらのプロセスは、２０２２年８月９日出願の米国特許出願第１７／８８４，０８１号に詳細に記載されており、その内容全体は本明細書に組み込まれる。

【0069】

物体登録は、物体登録データ、例えば、物体３５００に関連する既知の以前に記憶された情報を取得及び使用して、物理的な情景において類似の物体を識別及び認識する際に使用するための物体認識テンプレートを生成することを含むプロセスである。テンプレート生成は、物体ピック（物体選び取り）に関連する更なる動作のために、物体３５００を識別するのに使用する、コンピューティングシステム用の物体認識テンプレートのセットを生成することを含むプロセスである。特徴抽出（特徴生成とも呼ばれる）は、物体認識テンプレート生成で使用するための、物体画像情報からの特徴の抽出又は生成を含むプロセスである。仮説生成は、例えば、物体画像情報と１つ以上の物体認識テンプレートとの比較に基づいて、１つ以上の物体検出仮説を生成することを含むプロセスである。仮説精密化は、物体認識テンプレートが物体画像情報と正確に合致しないシナリオでも、物体認識テンプレートと物体画像情報の合致を精密化するためのプロセスである。仮説検証は、複数の仮説からの単一の仮説が、物体３５００の最良の適合又は最良の選択として選択されるプロセスである。

【0070】

動作４００３では、方法４０００は、複数の物体３５００の中から、把持可能な物体を識別することを含む。方法４０００の計画部分のステップとして、動作４００３は、検出された物体３５１０から把持可能な物体及び把持不可能な物体を決定することを含む。動作４００３は、検出された物体３５１０に基づいて実施されて、把持モデルを各検出された物体３５１０に割り当てるか、又は検出された物体３５１０が、把持不可能な物体３５１０ｂであると決定することができる。

【0071】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、検出された物体３５１０が、どのようにエンドエフェクタ装置３３３０によって把持され得るかを説明する。例示の目的で、図６Ａ～図６Ｃは、標的物体３５１０ａをグリップするための３つの異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを例示するが、他の把持モデルも可能であると理解されるべきである。

【0072】

把持モデル３３５０ａとして図示された図６Ａは、標的物体３５１０ａのリングの内壁に対してグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが逆挟み運動を実施するような内側チャックを実証している（すなわち、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、両方とも標的物体３５１０ａのリング内に入ると、外側へ、又は互いから離れるように並進する）。

【0073】

図６Ｂは、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａのリングの内壁及び外側を挟むような内外チャックを実証する把持モデル３３５０ｂを図示する。

【0074】

把持モデル３３５０ｃとして図示された図６Ｃは、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが対象物体３５１０ａのリングの外側ディスク部分を挟む側方チャックを実証している。

【0075】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々は、ロボットアーム３３２０によって物体を移動できる速度、加速、及び／又は減速を決定し得る関連付けられた移送速度修正器を有し得る、予測されたグリップ安定性４０１６などの要因に従ってランク付けされ得る。例えば、関連付けられた移送速度修正器は、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の移動速度を決定する値である。値は、ゼロと１との間で設定されてもよく、ゼロは、全停止（例えば、移動なし、完全に静止）を表し、１は、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の最大動作速度を表す。移送速度修正器は、オフラインで（例えば、実世界でのテストを通じて）、又はリアルタイムで（例えば、摩擦、重力、及び運動量を考慮するためのコンピュータモデルシミュレーションを通じて）決定することができる。

【0076】

予測されたグリップ安定性４０１６は更に、エンドエフェクタ装置３３３０によって一旦把持された標的物体３５１０ａがどれほど安全であるかの指標となり得る。例えば、把持モデル３３５０ａは、把持モデル３３５０ｂよりも高い予測されたグリップ安定性４０１６を有してもよく、把持モデル３３５０ｂは、把持モデル３３５０ｃよりも高い予測されたグリップ安定性４０１６を有してもよい。他の実施例では、異なる把持モデル３３５０は、予測されたグリップ安定性４０１６に従って異なるようにランク付けされてもよい。

【0077】

検出結果３５２０の処理によって、容器３４２０内の検出された物体３５１０の場所、他の検出された物体３５１０に対する検出された物体３５１０の場所（例えば、検出された物体３５１０が、複数の物体３５００の山の頂部上、又は他の隣接する検出された物体３５１０の下にあるかどうか）、検出された物体３５１０の配向及び姿勢、物体検出の信頼度、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ（以下でより詳細に説明する）、又はそれらの組み合わせを含む、検出された物体３５１０の各々についての複数の物体表現４０１３に基づいて、検出された物体３５１０の各々が把持モデルのうちの１つ以上によって把持され得るかどうかを示すデータを提供することができる。例えば、検出された物体３５１０のうちの１つは、把持モデル３３５０ａ及び３３５０ｂに従って把持され得るが、把持モデル３３５０ｃに従って把持されることはない。

【0078】

検出された物体３５１０は、物体の把持モデルが見つからなかった場合に、把持不可能な物体３５１０ｂとして決定され得る。例えば、検出された物体３５１０が、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかによって、把持するためにアクセスできず（それらが、奇妙な角度で覆われ、部分的に埋まっている、部分的に見えないなどの理由で）、したがって、エンドエフェクタ装置３３３０によって把持可能でない場合がある。把持不可能な物体３５１０ｂは、例えば、検出結果３５２０からそれらを除去することによって、又はそれらを把持不可能なものとしてフラグ付けすることによって、それらに対して更なる処理が実施されないように、検出結果３５２０から取り除くことができる。

【0079】

複数の物体３５００及び／又は検出された物体３５１０から、把持不可能な物体３５１０ｂを取り除くことは、以下に従って更に実施することができる。実施形態では、検出結果３５２０の複数の物体表現４０１３の少なくとも１つに基づいて、標的物体３５１０ａを評価するために、残りの検出された物体３５１０から把持不可能な物体３５１０ｂを更に決定し、取り除く。上述のように、検出された物体３５１０の各々の物体表現４０１３は、特に、容器３４２０内の検出された物体３５１０の位置、検出された他の検出された物体３５１０に対する３５１０の位置、検出された物体３５１０の方向及び姿勢、物体検出の信頼度、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃ、又はそれらの組み合わせを含む。例えば、把持不可能な物体３５１０ｂは、エンドエフェクタ装置３３３０による実際のアクセスを許容しないやり方で、容器３４２０の中に位置することができる（例えば、把持不可能な物体３５１０ｂは、容器の壁又は隅に対して寄りかかっている）。把持不可能な物体３５１０ｂは、把持不可能な物体の３５１０ｂの配向（例えば、把持不可能な物体３５１０ｂの配向／姿勢は、エンドエフェクタ装置３３３０が、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかを使用して、把持不可能な物体３５１０ｂを実際に把持又は選び取りできないようなものである）のために、エンドエフェクタ装置３３３０による選び取り／把持に利用できないと決定され得る。把持不可能な物体３５１０ｂは、エンドエフェクタ装置３３３０による実際のアクセスを許容しないやり方で、他の検出された物体３５１０によって囲まれてもよく、又は覆われてもよい（例えば、把持不可能な物体３５１０ｂは、他の検出された物体３５１０によって覆われた容器の底部に位置し、把持不可能な物体３５１０ｂは、複数の他の検出された物体３５１０の間に押し込まれる）。動作４００２で前述したように、複数の物体を検出する際に、コンピュータシステム１１００は、把持不可能な物体３５１０ｂを検出する際に低い信頼度を出力し得る（例えば、コンピュータシステム１１００は、他の検出された物体３５１０と比較して、把持不可能な物体３５１０ｂが適切に識別されていることを完全には確信していない／信じてはいない）。

【0080】

更なる例として、把持不可能な物体３５１０ｂは、検出結果３５２０に基づいて、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有さない、検出された物体３５１０であってもよい。例えば、本明細書で更に説明するように、特に、容器内の把持不可能な物体３５１０ｂの場所、他の検出された物体３５１０に対する場所、配向、信頼度、又は物体のタイプを含む、前述の物体表現４０１３の任意の組み合わせに起因して、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのいずれかによって、エンドエフェクタ装置３３３０が、把持不可能な物体３５１０ｂを選び取り／把持できないとコンピュータシステム１１００が決定する場合がある。把持不可能な物体３５１０ｂが、利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを利用できないことに起因して、把持不可能な物体３５１０ｂは、コンピュータシステム１１００によって決定され得る。例えば、選び取り／グリップ手順動作４００６に関して本明細書で更に説明するように、把持不可能な物体３５１０ｂが、他の検出された物体３５１０よりも低い予測されたグリップ安定性４０１６又は他の測定された変数を有することに起因して、コンピュータシステム１１００によって把持不可能な物体３５１０ｂが決定され得る。

【0081】

残りの把持可能な物体は、１つ以上の基準に従ってランク付け又は順序付けされてもよい。把持可能な物体は、検出信頼性（例えば、物体に関連付けられた検出結果の信頼性）、物体位置（例えば、アクセスの容易さ、隠されておらず、妨害されておらず、又は埋め込まれていない物体は、より高いランクを有し得る）及び把持可能な物体について識別された把持モデルのランク付けの任意の組み合わせに従ってランク付けされ得る。

【0082】

動作４００４では、方法４０００は、標的選択を含む。動作４００４では、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂは、把持可能な物体から選択され得る。

【0083】

ここで図７Ｃ及び図７Ｄでは、動作４００３によって識別された把持可能な物体は、候補物体３５１２ａ／３５１２ｂであってもよい。候補物体３５１２ａ／３５１２ｂは、逆運動学解を有さない任意の物体を排除又は除去することによって、更に取り除くことができる。候補物体３５１２ａ／３５１２ｂは、逆運動学解（例えば、ロボットアーム３３２０が候補物体３５１２ａ／３５１２ｂの把持を許容する位置に自身を移動し、次いで把持動作から離れるための解）を欠く。例えば、候補物体３５１２ａ／３５１２ｂに到達するためのロボット３３００の計算された構成が、ロボット３３００、ロボットアーム３３２０、及び／又はエンドエフェクタ装置３３３０の制約に違反する場合、逆運動学解が見出されない場合がある。候補物体３５１２ａ／３５１２ｂについて逆運動学解が存在するかを決定する際に、コンピューティングシステム１１００は、候補物体３５１２ａ／３５１２ｂについての軌道を、例えば、動作４００５に関して以下で論じる方法に従って決定し得る。実施例では、把持可能な検出物体３５１０は、ロボットアーム３３２０がその特定の候補物体３５１２ａ／３５１２ｂを適切に把持するか、又は候補物体３５１２ａ／３５１２ｂを把持した後に離れるための正しい位置決め又は構成を許容しない物体供給源３４２０の領域に位置することがある。

【0084】

把持可能な物体からの各候補物体３５１２ａ／３５１２ｂについて、以下を実施することができる。候補物体は、例えば、上述の把持可能な物体のランク付けに従った順序で、処理のために選択することができる。

【0085】

図７Ｃに示すように、候補物体３５１２ａは、例えば、二重選び取り動作における第１の物体であり得る物体などの、一次候補物体３５１２ａと呼ばれる。候補物体３５１２ｂは、二次候補物体３５１２ｂ、例えば、二重選び取り動作における第２の物体であり得る物体であってもよい。

【0086】

各一次候補物体３５１２ａについて、残りの二次候補物体３５１２ｂは、以下に従って、フィルタリングされるか、又は取り除かれてもよい。第一に、一次候補物体３５１２ａの妨害範囲３５３０内の二次的物体３５１２ｂは、取り除くことができる。妨害範囲３５３０は、第１の物体が物体の山から除去されたときに、他の近くの物体が位置又は姿勢においてシフトする可能性が低い、第１の物体からの最小距離を表す。妨害範囲３５３０は、物体のサイズ及び／又はその形状に依存し得る（より大きな物体は、より大きな範囲を必要とする場合があり、一部の物体形状は、移動時により大きな妨害を引き起こす場合がある）。したがって、一次候補物体３５１２ａの把持中に妨害又は移動される可能性が高い二次候補物体３５１２ｂは、取り除くことができる。

【0087】

残りの二次候補物体３５１２ｂは、一次候補物体３５１２ａ及び二次候補物体３５１２ｂについて識別された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの類似性に従って、更にフィルタリングされるか、又は取り除くことができる。実施形態では、二次候補物体３５１２ｂは、一次候補物体３５１２ａのものとは異なる、割り当てられた把持モデルを有する場合、取り除くことができる。実施形態では、二次候補物体３５１２ｂに割り当てられた把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのグリップ安定性が、一次候補物体３５１２ａに割り当てられた把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのグリップ安定性と閾値以上異なる場合に、二次候補物体３５１２ｂを取り除くことができる。物体移送は、最大速度でのロボット運動を提供することによって最適化され得る。異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに関して上述したように、一部の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、より大きなグリップ安定性を有し、それによってロボット運動のより大きな速度を可能にする。同じであるか、又は類似のグリップ安定性を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する一次候補物体３５１２ａ及び二次候補物体３５１２ｂを選択すると、ロボット動作の速度の増加が許容される。グリップ安定性が異なる場合、ロボット動作の速度は、より低いグリップ安定性によって許容される速度に限定される。したがって、高いグリップ安定性を有する複数の物体が利用可能であり、低いグリップ安定性を有する複数の物体が利用可能であるシナリオでは、高いグリップ安定性を有する物体と、低いグリップ安定性を有する物体とをペアリングすることが有利である。

【0088】

残りの二次候補物体３５１２ｂは、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の潜在的な軌道の分析に従って、更にフィルタリングするか、又は取り除くことができる。一次候補物体３５１２ａと二次候補物体３５１２ｂとの間に逆運動学解を生成することができない場合、二次候補物体３５１２ｂを取り除くことができる。上で論じたように、逆運動学解は、動作４００５に関して説明したものと類似した軌道決定を通して識別することができる。

【0089】

次に、一次候補物体３５１２ａを把持することが、二次候補物体３５１２ｂの把持を妨げると決定することができる。ここで図７Ｄを参照すると、図７Ｄに例示されるように、一次物体３５１２ａ及び二次物体３５１２ｂの各々との相互作用のために指定されたグリッパ３３３２／３３３４のうちの少なくとも一方の周りに、コンピュータシステム１１００によってバウンディングボックス３６００を生成することができる。グリッパ３３３２／３３３４のうちの第２のものが二次候補物体３５１２ｂに接近、移動、それと相互作用、それを把持、又はそれから離れようとするときに、一次候補物体３５１２ａ（その周りに生成したバウンディングボックス３６００を有する）をグリップしている間のグリッパ３３３２／３３３４の姿勢がバウンディングボックス３６００と物体取り扱い環境３４００／物体供給源又は容器３４２０及び／又は複数の物体３５００のうちの他の物体との衝突をもたらすかどうかを決定するために、コンピュータシステム１１００によってバウンディングボックス３６００を使用することができる。そうすることで、コンピュータシステム１１００は、バウンディングボックス３６００の対象となるグリッパ３３３２／３３３４によって把持された一次対象３５１２ａ及び二次対象３５１２ｂが、二次候補対象３５１２ｂの把持中に一次候補対象３５１２ａがグリッパ３３３２／３３３４の把持から弾き飛ばされることをもたらし得るやり方で、他の物体３５００及び／又は物体取り扱い環境３４００に衝突するかどうかを決定することができる。

【0090】

二次候補物体３５１２ｂをフィルタリングするか、又は取り除く他の手段を更に採用することができる。例えば、実施形態では、一次物体３５１２ａとは異なる配向を有する二次物体３５１２ｂを、取り除くことができる。実施形態では、一次物体３５１２ａとは異なる物体タイプ又はモデルを有する二次物体３５１２ｂを、取り除くことができる。

【0091】

二次候補物体３５１２ｂを取り除いた後、軌道決定のために、一次候補物体３５１２ａと取り除いていない二次候補物体３５１２ｂとの間の物体対を生成することができる。実施形態では、各一次候補物体３５１２ａは、単一の二次候補物体３５１２ｂを割り当てて、物体対を形成することができる。複数の取り除いていない二次候補物体３５１２ｂの場合、単一の二次候補物体３５１２ｂは、例えば、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の最も簡単又は最速の軌道に従って、かつ／又は動作４００３に関して上述したように、把握可能な物体のランク付けに基づいて選択され得る。更なる実施形態において、各一次候補物体３５１２ａは、複数の二次候補物体３５１２ｂを割り当てられて、複数の物体対を形成してもよく、軌道は、各々についてコンピュータであってもよい。そのような実施形態では、一次候補物体３５１２ａと二次候補物体３５１２ｂとの間の対合を最終決定するために、最速又は最も簡単な軌道を選択してもよい。

【0092】

一次物体３５１２ａが、把持可能な物体からのそれぞれの二次物体３５１２ｂと対合されると、コンピュータシステム１１００は、それぞれの二次物体３５１２ｂと対になった各一次物体３５１２ａを、本明細書でそれぞれ動作４００６／４００８／４０１０／４０１２で詳述されるように、把持決定、ロボットアーム軌道実行、エンドエフェクタ相互作用、及び目的地軌道実行のための標的物体３５１１ａ／３５１１ｂとして指定することができる。

【0093】

実施形態において、複数の標的物体３５１１ａ／３５１１ｂのうちの第１の標的物体３５１１ａは、第１の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと関連付けられ、複数の標的物体３５１１ａ／３５１１ｂのうちの第２の標的物体３５１１ｂは、第２の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと関連付けられている。第１の標的物体３５１１ａについて選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、上述のように、検出結果３５２０の複数の物体表現４０１３のうちの少なくとも１つに基づいて、第２の標的物体３５１１ｂについて選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと類似又は同一であってもよい。例えば、第１の標的物体３５１１ａは、図８Ａ～図８Ｃに示されるように、グリッパフィンガ３３３２ａ、３３３２ｂが第１の標的物体３５１１ａのリングの内壁に対して内側チャック、又は逆挟み運動を実施する、把持モデル３３５０ａを使用してグリッパ３３３２によって把持され得る。第２の標的物体３５１１ｂも、図９Ａ～図９Ｃに示されるように、グリッパフィンガ３３３４ａ、３３３４ｂが標的物体３５１１ｂのリングの内壁に対して内側チャック、又は逆挟み運動を実施する、把持モデル３３５０ａを使用してグリッパ３３３４によって把持され得る。

【0094】

動作４００５では、方法４０００は、ロボット軌道を決定することを含み得る。動作４００５は、少なくとも、アーム接近軌道３３６０を決定すること、エンドエフェクタ装置接近軌道３３６２を決定すること、及び目的地軌道３３６４を決定することを含み得る。

【0095】

動作４００５は、ロボットアーム３３２０が複数の物体３５００に接近するためにアーム接近軌道３３６０を決定すること、エンドエフェクタ装置接近軌道３３６２を決定すること、及び目的地軌道３３６４を決定することを含み得る。図７Ａは、供給源（すなわち、容器３４２０）から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による標的物体３５１０ａの移送サイクルについての運動計画を図示する。移送サイクルは、物体供給源又は容器から目的地３４４０への物体の移動を行うための、ロボットアーム３３２０による移動の全サイクルを指す。実施形態では、動作４００５は、ロボットアーム３３２０が複数の物体３５００に接近するために、複数のアーム接近軌道３３６０ａ／３３６０ｂを決定することを含む。図７Ｂは、供給源（すなわち、容器３４２０）から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による複数の標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画を図示する。

【0096】

動作４００５では、コンピュータシステム１１００は、アーム接近軌道３３６０を決定し、アーム接近軌道は、ロボットアーム３３２０が、供給源又は容器３４２０の近傍に向かう方向に移動又は並進するように制御される経路を含む。そのようなアーム接近軌道３３６０を決定する際に、ロボットアーム３３２０の現在の場所から容器３４２０への最短の進行距離及び／又はロボットアーム３３２０の進行の最大利用可能速度などの要因に基づいて、最も速い経路（例えば、ロボットアーム３３２０が、その現在の位置から供給源又は容器３４２０の近傍へ並進するのにかかる時間が最小になることを許容する経路）が望ましい。最大利用可能進行速度を決定する際に、エンドエフェクタ装置３３３０の状態、すなわち、エンドエフェクタ装置３３３０が現在標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをそのグリップ内に有しているかどうかが決定される。実施形態では、エンドエフェクタ装置３３３０は、いかなる標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂもグリップしておらず、したがって、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０から滑り落ちる／落下する実例が無効化されるので、ロボットアーム３３２０に利用可能な最大速度をアーム接近軌道３３６０に使用することができる。実施形態では、エンドエフェクタ装置３３３０は、そのグリッパ３３３２／３３３４によって把持された少なくとも１つの標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを有することができ、したがって、ロボットアーム３３２０の進行速度は、以下により詳細に説明するように、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂへのグリッパ３３３２／３３３４のグリップ安定性を考慮に入れて算出する。

【0097】

動作４００５では、方法４０００は、エンドエフェクタ装置３３３０が標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに接近するために、エンドエフェクタ装置接近軌道３３６２を決定することを含み得る。エンドエフェクタ装置接近軌道３３６２は、ロボットアーム３３２０に取り付けたエンドエフェクタ装置３３３０の予想される進行経路を表し得る。コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２を決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６２が決定された時点で、エンドエフェクタ装置接近軌道３３６２が決定される。エンドエフェクタ装置接近軌道３３６２は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。

【0098】

図７Ｂは、供給源又は容器３４２０から目的地３４４０へのロボットアーム３３２０及びエンドエフェクタ装置３３３０による複数の標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画の別の実施例を図示する。実施形態では、コンピュータシステム１１００は、アーム接近軌道３３６０を決定し、ロボットアーム３３２０は、供給源又は容器３４２０の近傍に向かう方向に移動又は並進するように制御される。そのようなアーム接近軌道３３６０を決定する際に、ロボットアーム３３２０の現在の場所から容器３４２０への最短の進行距離、及び／又はロボットアーム３３２０の最大利用可能進行速度などの要因に基づいて、最短／最も速い経路が望ましい。最大利用可能進行速度を決定する際に、エンドエフェクタ装置３３３０の状態、すなわち、エンドエフェクタ装置３３３０が現在標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをそのグリップ内に有しているかどうかが決定される。軌道の実施例では、エンドエフェクタ装置３３３０は、いかなる標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂもグリップしておらず、したがって、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０から滑り落ちる／落下する実例が無効化されるので、ロボットアーム３３２０に利用可能な最大速度をアーム接近軌道３３６０に利用することができる。他の実施例では、エンドエフェクタ装置３３３０は、そのグリッパ３３３２／３３３４によって把持される少なくとも１つの標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを有してもよく、それゆえ、ロボットアーム３３２０の進行速度は、以下でより詳細に記載されるように、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ上のグリッパ３３３２／３３３４のグリップ安定性を考慮することによって計算される。

【0099】

図７Ｂは更に、標的物体３５１１ａ／３５１１ｂを選び取り又は把持するために使用される複数のエンドエフェクタ装置接近軌道３３６２ａ／３３６２ｂを図示する。実施形態では、コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、供給源又は容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６２が決定された時点で、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂが決定される。エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。エンドエフェクタ接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４の状態、すなわち、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが現在、少なくとも１つのグリッパ３３３２／３３３４によってグリップされているかどうかによって更に決定され得る。そのようなシナリオでは、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定することは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを把持するための把持動作において、エンドエフェクタ装置３３３０の最適化されたエンドエフェクタ装置接近時間に基づいており、最適化されたエンドエフェクタ装置接近時間は、以下に記載される計算に基づいて、決定される最も効率的なエンドエフェクタ装置接近時間である。最適化されたエンドエフェクタ装置接近時間は、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ上のグリッパ３３３２／３３３４のグリップ安定性に基づいて計算される。

【0100】

実施形態では、最適化されたエンドエフェクタ装置接近時間は、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂについての利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに従って決定される。例えば、エンドエフェクタ装置３３３０が、選択された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに従って、グリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することを許容できるようなやり方で、グリッパ３３３２／３３３４を標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して適切に載置するのに必要な時間量は、最適化エンドエフェクタ装置接近時間に織り込まれる。把持モデル３３５０ａを適切に実行するのに必要な時間は、把持モデル３３５０ｂ又は把持モデル３３５０ｃを適切に実行するのに必要な時間よりも短くてもよいか、又は長くてもよい。したがって、グリップを適切に実行するのに必要な決定された最小時間を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって選び取り又は把持される標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂのために選択され得る。選択された把持モデルは、例えば、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを適切に実行するのに必要な決定された最小限の時間と予測されたグリップ安定性４０１６とのバランスを取ることによって、要因のバランシングに基づいて選択することができ、それによって、不十分な予測されたグリップ安定性４０１６よりも速度を犠牲にし、かつグリップ障害（すなわち、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって選び取り又は把持された後に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを落とす、変位させる、投げる、又は別様で誤って取り扱う）の可能性を低くするために、より高速な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを第２の高速把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに対して考慮に入れないことが可能である。

【0101】

動作４００５では、方法４０００は、１つ以上の目的地軌道３３６４（図７Ｂでは目的地軌道３３６４ａ及び３３６４ｂとして図示されている）の決定を更に含み得る。実施形態では、ロボットアーム３３２０の目的地軌道３３６４ａ／３３６４ｂを決定することは、ロボットアーム３３２０が容器３４２０から１つ以上の目的地３４４０に進行するのに最適化された目的地軌道時間に基づいてもよい。最適化された目的地の軌道時間は、ロボットアーム３３２０が容器３４２０から目的地３４４０まで進行するための、決定された最も効率的な目的地軌道時間であってもよい。例えば、最適化された軌道時間は、ロボットアームの３３２０の現在の場所（例えば、容器３４２０において、又はその近くで）と目的地３４４０との間の最短経路によって決定され得る。最適化された軌道時間は、ロボットアーム３３２０が目的地３４４０に向かって障害なしに最も速く進行し得る経路によって決定され得る。実施形態では、ロボットアーム３３２０の目的地軌道３３６４を決定することは、エンドエフェクタ装置３３３０と標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂとの間の予測されたグリップ安定性４０１６に基づく。例えば、より高い値を有する予測されたグリップ安定性４０１６は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに対して有し得る、より強いグリップ又は保持を示し得、これにより、目的地軌道３３６４を目的地３４４０に向かって横断する間に、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０の高速移動が許容される可能性がある。逆により低い値を有する予測されたグリップ安定性４０１６は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに対して有し得る、より弱いグリップ又は保持を示し得、したがって、これにより、故障シナリオ、すなわち、標的物体３５１０ａ／３５１１ａ／３５１１ｂが落とされ、投げられ、又は別様で変位してしまうのを防止するために、目的地３４４０に向かって目的地軌道３３６４を横断する間に、ロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０のより遅い移動が必要となる可能性がある。

【0102】

実施形態では、単一の目的地軌道３３６４ａは、両方の標的物体３５１１ａ／３５１１ｂを同じ目的地３４４０に載置するために提供され得る。単一の目的地軌道３３６４ａは、標的物体３５１１ａ／３５１１ｂを解放するための１つ以上のチャック解除又は把持解除動作を含み得る。実施形態では、複数の目的地軌道３３６４ａ／３３６４ｂは、同じ目的地３４４０の異なる場所又は２つの異なる目的地３４４０のいずれかに、標的物体３５１１ａ／３５１１ｂを載置するように決定することができる。第２の目的地軌道３３６４ｂは、目的地３４４０内の場所の間又は２つの目的地３４４０の間でグリッパ３３３２／３３３４を移すように決定することができる。

【0103】

動作４００６では、方法４０００は、エンドエフェクタ装置３３３０が、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂの端部で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに到達すると、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをエンドエフェクタ装置３３３０で把持又はグリップするための選び取り又はグリップ手順を決定することを含む。選び取り又はグリップ手順は、エンドエフェクタ装置３３３０が、グリッパ３３３２／３３３４を用いて標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに接近し、相互作用し、接触し、触り、又は別様で把持する方法を表し得る。把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがどのようにエンドエフェクタ装置３３３０によって把持され得るかを説明する。例示の目的で、図６Ａ～図６Ｃは、上記で詳述したように、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂをグリップするための３つの異なる把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを例示するが、他の把持モデルも可能であることが理解されるべきである。

【0104】

把持動作を決定することは、動作４００６の把持動作決定において、エンドエフェクタ装置３３３０によって使用される、少なくとも１つの把持モデル３３５０ａ、３３５０ｂ、又は３３５０ｃを、複数の利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃから選択することを含み得る。実施形態では、コンピュータシステム１１００は、最高ランクを有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃに基づいて、把持動作を決定する。コンピュータシステム１１００は、複数の利用可能な把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々に対するランクを、複数の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々の予測されたグリップ安定性４０１６に従って決定するように構成されてもよい。把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々は、アーム接近軌道３３６０及び／又はエンドエフェクタ装置接近軌道３３６２の実行中に、ロボットアーム３３２０によって標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが移動できる速度、加速、及び／又は減速を決定することができる、関連付けられた移送速度修正器を有し得る、予測されたグリップ安定性４０１６などの要因に従ってランク付けすることができる。予測されたグリップ安定性４０１６は更に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂがエンドエフェクタ装置３３３０によって一旦選び取り又は把持されると、どのように固定されるかを示す指標であってもよい。一般に、予測されたグリップ安定性４０１６、又はエンドエフェクタ装置３３３０が標的物体３５１０ａ／３５１１ａ／３５１１ｂを保持する能力が強いほど、ロボット３３００は、故障シナリオ、すなわち、標的物体３５１０ａ／３５１１ａ／３５１１ｂがグリッパから落とされる、投げられる、又は別様で変位させられることをもたらすことなく、標的物体３５１０ａ／３５１１ａ／３５１１ｂを保持／把持しながら、決定したアーム接近軌道３３６０及び／又はエンドエフェクタ接近軌道３３６２／３３６２ａ／３３６２ｂを通してロボットアーム３３２０及び／又はエンドエフェクタ装置３３３０を移動できる確率は上がる。

【0105】

把持モデル３３５０ａ／３３５０ｂ／３３５０ｃの各々のランクを決定する実施例では、コンピュータシステム１１００は、把持モデル３３５０ａが、把持モデル３３５０ｂよりも高い予測されたグリップ安定性４０１６を有する可能性があり、把持モデル３３５０ｂが、把持モデル３３５０ｃよりも高い予測されたグリップ安定性４０１６を有する可能性があると決定することができる。別の例として、検出された物体３５１０は、検出された物体３５１０に対応する複数の物体表現４０１３に基づいて、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのうちの少なくとも１つによって把持するためにアクセスできない場合があり（すなわち、検出された物体３５１０のうちの少なくとも１つは、特定の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有効に使用することが許容されないような場所若しくは配向、又は形状である）、したがって、その時点では、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを介してエンドエフェクタ装置３３３０によって選び取ることができない。そのようなシナリオでは、残りの把持モデル３３５０ａ／３３５０ｂ／３３５０ｃは、予測されたグリップ安定性４０１６について測定される。例えば、把持モデル３３５０ａは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを、例えば、以前に決定された複数の物体表現４０１３に基づいて、選び取り又は把持する選択肢として利用できない場合がある。したがって、把持モデル３３５０ａは、可能な限り低いランク値、空のランク値、又は全くランクがない（すなわち、完全に無視される）ことを受け取ることができる。したがって、動作４００６の把持動作決定中に適用するランクを計算する際に、把持モデル３３５０ａの予測されたグリップ安定性４０１６を除外することができる。例えば、把持モデル３３５０ｂの予測されたグリップ安定性４０１６が、把持モデル３３５０ｃの予測されたグリップ安定性よりも高い値を有すると決定される場合、把持モデル３３５０ｂは、より高い値のランクを受け取る一方、把持モデル３３５０ｃは、より低い値のランクを受け取る（ただし、依然として、把持モデル３３５０ａよりも値が高い）。他の実施例では、把持モデル３３５０ａ／３３５０ｂ／３３５０ｃのうちのアクセス不可能なものは、ランク付け手順に含まれてもよいが、最低ランクを割り当ててもよい。

【0106】

実施形態では、エンドエフェクタ装置３３３０によって使用するための少なくとも１つの把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを決定することは、予測されたグリップ安定性４０１６の最高判定値を有する把持モデルのランクに基づく。把持モデル３３５０ａのランクは、把持モデル３３５０ｂ及び／又は３３５０ｃのランクよりも高い値を有する予測されたグリップ安定性４０１６を有する可能性があり、そのため、把持モデル３３５０ａは、把持モデル３３５０ｂ及び／又は３３５０ｃよりも高くランク付けされる可能性がある。各移送サイクル内の標的物体３５１０ａ／３５１１ａ／３５１１ｂの移送の速度を最大化又は最適化するために、コンピュータシステム１１００は、類似の予測されたグリップ安定性４０１６を有する標的物体３５１０ａ／３５１１ａ／３５１１ｂを選択することができる。実施形態では、コンピュータシステム１１００は、同じ把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する複数の標的物体３５１１ａ／３５１１ｂを選択することができる。コンピュータシステム１１００は、検出結果３５２０に基づいて、標的物体３５１１ａ／３５１１ｂをグリップしている間に移送サイクルについての運動計画を計算することができる。目的は、供給源容器３４２０と目的地３４４０との間の移送速度を最適化しながら、供給源容器３４２０において複数の標的物体３５１１ａ／３５１１ｂを選び取るための計算時間を短縮することである。このようにして、ロボット３３００は、両方の標的物体３５１１ａ／３５１１ｂが同一の予測されたグリップ安定性４０１６を有するため、両方の標的物体３５１１ａ／３５１１ｂを最大速度で移送することができる。逆にコンピュータシステム１１００が、より高いランク（すなわち、予測されたグリップ安定性４０１６のより高い判定値）を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって把持される標的物体３５１０ａ／３５１１ａ／３５１１ｂと、より低いランク（すなわち、予測されたグリップ安定性４０１６のより低い判定値）を有する把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して、エンドエフェクタ装置３３３０のグリッパ３３３２／３３３４によって把持される第２の標的物体３５１０ａ／３５１１ａ／３５１１ｂとを選択した場合、移送の速度は、ランクのより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する標的物体３５１０ａ／３５１１ａ／３５１１ｂのより低い予測されたグリップ安定性４０１６によって制限されるか、又は上限が設定される。つまり連続する移送サイクルの場合、予測されたグリップ安定性４０１６がより高く、かつ移送速度がより高い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する２つの標的物体３５１１ａ／３５１１ｂを選び取り、その後、予測されたグリップ安定性４０１６がより低く、かつ移送速度がより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する２つの標的物体３５１１ａ／３５１１ｂを選び取ることは、両方の移送サイクルが後のシナリオでより遅い移送速度に制限されるため、ともに予測されたグリップ安定性４０１６がより高い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する１つの標的物体３５１１ａと、予測されたグリップ安定性４０１６がより低い把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを有する１つの標的物体３５１１ｂとを含む連続する移送サイクルよりも最適である。

【0107】

動作４００５の様々な軌道決定及び把持動作決定４００６は、方法４０００の動作に関して順次説明される。好適で適切な場合、方法４０００の様々な動作は、互いに同時に、又は次に提示される異なる順序で発生し得ることが理解される。例えば、軌道決定（目的地軌道３３６４など）は、他の軌道の実行中に行われてもよい。したがって、目的地軌道３３６４は、アーム接近軌道３３６２の実行時に決定され得る。

【0108】

動作４００８では、方法４０００は、第１のコマンド（例えば、アーム接近コマンド）を出力して、アーム接近軌道３３６０内のロボットアーム３３２０を制御して、複数の物体３５００に接近することを含み得る。図７Ｂに図示するように、コンピュータシステム１１００は、第１のコマンドを出力して、供給源又は容器３４２０の近傍外の領域から、供給源又は容器３４２０の近傍における、又は近傍内の場所へロボットアーム３３２０を制御することができる。第１のコマンドは、ロボットアーム３３２０を制御して、目的地３４４０における、又はその近くの領域から、供給源又は容器３４２０の近傍における、又は近傍内の場所に移動させることができる。動作４００８では、方法４０００は、第２のコマンド（例えば、エンドエフェクタ装置接近コマンド）を出力して、エンドエフェクタ装置接近軌道３３６２内のロボットアーム３３２０を制御して、標的物体３５１０ａ／３５１１ａ／３５１１ｂに接近する（例えば、エンドエフェクタ装置３３３０に標的物体３５１０ａ／３５１１ａ／３５１１ｂに接近させる）ことを含み得る。図７Ｂに図示するように、エンドエフェクタ装置接近軌道３３６２ａ／３３６２ｂを使用して、複数の標的物体３５１１ａ／３５１１ｂに接近することができる。

【0109】

動作４０１０では、方法４０００は、第３のコマンド（例えば、エンドエフェクタ装置制御コマンド）を出力して、把持動作でエンドエフェクタ装置３３３０を制御して、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを把持することを含む。エンドエフェクタ装置３３３０は、グリッパ３３３２／３３３４のグリッピングフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂを使用して、最高ランク及び／又は予測されたグリップ安定性４０１６を有すると以前に決定した把持モデル３３５０ａ／３３５０ｂ／３３５０ｃを使用して標的物体３５１０ａ／３５１１ａ／３５１１ｂを把持することができる。グリッピングフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、エンドエフェクタ装置３３３０が標的物体３５１０ａ／３５１１ａ／３５１１ｂと接触すると、所定の把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で移動又は並進するように制御することができる。

【0110】

動作４０１２では、方法４０００は、目的地軌道３３６４を実行して、ロボットアーム３３２０を制御して、目的地に接近することを更に含むことができる。動作４０１２は、第４のコマンド（例えば、ロボットアーム制御コマンド）を出力して、目的地軌道３３６４内のロボットアーム３３２０を制御することを含み得る。実施形態では、目的地軌道３３６４は、上述の軌道決定動作４００５の間に決定され得る。実施形態では、目的地軌道３３６４は、軌道実行動作４００８、及びエンドエフェクタ相互作用動作４０１０の後に決定され得る。実施形態では、目的地軌道３３６４は、他の動作の実施中を含む、目的地軌道３３６４の実行前の任意の時点において、コンピュータシステム１１００によって決定され得る。実施形態では、動作４０１２は、第５コマンド（例えば、エンドエフェクタ装置解放コマンド）を出力して、ロボットアーム３３２０及びエンドエフェクタ装置３３３０が目的地軌道３３６４の終わりに目的地３４４０に到達した際に、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０内に、又は目的地において解放、把持解除、又はチャック解除するようにエンドエフェクタ装置３３３０を制御することを更に含み得る。

【0111】

高レベルでは、供給源容器３４２０から目的地３４４０へのロボットアーム３３２０による標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの移送サイクルについての運動計画は、図７Ａに図示される動作である、供給源容器３４２０の場所から標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを選び取ることと、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０の場所に移送することと、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを目的地３４４０の場所に載置することと、供給源容器３４２０の場所に戻ることと、を伴う。全体の移送サイクル時間は、ロボットアーム３３２０上のエンドエフェクタ装置３３３０による標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの予測された把持安定性４０１６に起因して、供給源容器３４２０から目的地３４４０への標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂの移送によって上限が設定される。

【0112】

一般に、本明細書に記載の方法４０００は、開始／供給源の場所からタスク／目的地の場所への標的物体（例えば、実行タスクに対応するパッケージ、箱、ケース、ケージ、パレットなどのうちの１つ）の操作（例えば、移動及び／又は再配向）に使用され得る。例えば、荷下ろしユニット（例えば、デバンニングロボット）は、標的物体をキャリア（例えば、トラック）内の場所からコンベヤ上の場所に移送するように構成され得る。また、移送ユニットは、標的物体を１つの場所（例えば、コンベヤ、パレット、又はビン）から別の位置（例えば、パレット、ビンなど）に移送するように構成され得る。別の例として、移送ユニット（例えば、パレタイジングロボット）は、標的物体を、供給源の場所（例えば、パレット、選び取り領域、及び／又はコンベヤ）から目的地パレットに移送するように構成され得る。動作完了時に、輸送ユニット（例えば、コンベヤ、自動搬送車両（ＡＧＶ）、棚搬送ロボットなど）は、移送ユニットに関連付けられた領域から、装填ユニットに関連付けられた領域へ、標的物体を移送することができ、装填ユニットは、（例えば、標的物体を運ぶパレットを移動させることによって）移送ユニットから、格納場所（例えば、棚上の場所）へ、標的物体を移送することができる。タスク及び関連付けられたアクションに関する詳細は、上記に記載されている。

【0113】

例示のために、コンピュータシステム１１００のシステムは、包装及び／又は出荷センタの状況下で説明されるが、コンピュータシステム１１００は、製造、組立、保管／在庫、医療、及び／又は他のタイプの自動化のためなど、他の環境／他の目的のためにタスクを実行するように構成できることが理解される。また、コンピュータシステム１１００は、マニピュレータ、サービスロボット、モジュラロボットなどの他のユニット（図示せず）を含み得ることも理解される。例えば、いくつかの実施形態では、コンピュータシステム１１００は、ケージカート又はパレットからコンベヤ又は他のパレット上に物体を移送するためのデパレタイジングユニット、物体をある容器から別の容器に移送するための容器切り替えユニット、物体をラッピング／収納するための包装ユニット、その１つ以上の特性に従って物体をグループ分けするための選別ユニット、その１つ以上の特性に従って物体を異なって操作する（例えば、選別、グループ分け、及び／又は移送する）するピースピックユニット、又はそれらの組み合わせなどを含み得る

【0114】

関連分野の当業者にとって、本明細書に記載する方法及び用途への、その他の好適な修正並びに適応を、実施形態のうちのいずれの範囲からも逸脱することなく行うことができることは明らかであろう。上に記載する実施形態は、例示的な例であり、本開示がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示する様々な実施形態は、記載及び添付の図に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせてもよいことは理解されるべきである。実施例によって、本明細書に記載するプロセス若しくは方法のいずれのある特定の行為又は事象は、異なるシーケンスで実施されてもよく、追加、統合、又は完全に省略し得ることも理解されるべきである（例えば、記載した全ての行為又は事象が、方法又はプロセスを遂行するのに必要でなくてもよい）。加えて、本明細書の実施形態のある特定の特徴を、明確にするために、単一の構成要素、モジュール、又はユニットにより実施されていると記載しているものの、本明細書に記載する特徴及び機能は、構成要素、ユニット、又はモジュールのいかなる組み合わせによって実施されてもよいことは理解されるべきである。したがって、添付の特許請求の範囲で定義されるような、発明の趣旨又は範囲から逸脱することなく、様々な変更及び修正を当業者が及ぼし得る。

【0115】

更なる実施形態は、以下の実施形態を含む。
実施形態１は、コンピューティングシステムであって、エンドエフェクタ装置を含む、又はエンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムと、少なくとも１つの処理回路であって、ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む物体取り扱い環境内にあるとき、物体の供給源から目的地へ標的物体を移送するために、標的物体を、物体の供給源内の複数の物体の中から識別すること、ロボットアームが複数の物体に接近するために、アーム接近軌道を生成すること、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成すること、エンドエフェクタ装置で標的物体を把持するための把持動作を生成すること、アーム接近軌道に従ってロボットアームを制御して、複数の物体に接近するために、アーム接近コマンドを出力すること、エンドエフェクタ装置接近軌道内でロボットアームを制御して、標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力すること、及び把持動作においてエンドエフェクタ装置を制御して、標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力すること、を実施するように構成された少なくとも１つの処理回路と、を備える、コンピューティングシステムである。
実施形態２は、ロボットアームが目的地に接近するための目的地軌道を生成することと、目的地軌道に従ってロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、エンドエフェクタ装置を制御して、目的地において標的物体を解放するために、エンドエフェクタ装置解放コマンドを出力することと、を更に含む、実施形態１のコンピュータシステムである。
実施形態３は、ロボットアームの目的地軌道を決定することが、ロボットアームが供給源から目的地に進行するための最適化された目的地軌道時間に基づく、実施形態２のコンピュータシステムである。
実施形態４は、ロボットアームの目的地軌道を決定することが、エンドエフェクタ装置と標的物体との間の予測されたグリップ安定性に基づく、実施形態２のコンピュータシステムである。
実施形態５は、エンドエフェクタ装置接近軌道を決定することが、把持動作でエンドエフェクタ装置が標的物体を把持するための最適化されたエンドエフェクタ装置接近時間に基づく、実施形態１のコンピュータシステムである。
実施形態６は、最適化されたエンドエフェクタ装置接近時間が、標的物体に対する利用可能な把持モデルに基づいて決定される、実施形態５のコンピュータシステムである。
実施形態７は、把持動作を決定することが、把持動作でエンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含む、実施形態１のコンピュータシステムである。
実施形態８は、少なくとも１つの処理回路が、複数の把持モデルの各々の予測されたグリップ安定性に従って、複数の利用可能な把持モデルの各々に対するランクを決定するように更に構成されている、実施形態７のコンピュータシステムである。
実施形態９は、エンドエフェクタ装置によって使用するための少なくとも１つの把持モデルを決定することが、予測されたグリップ安定性の最も高い判定値を有するランクに基づく、実施形態８のコンピュータシステムである。
実施形態１０は、少なくとも１つの処理回路が、各々が物体の供給源内の１つ以上の物体のうちの検出された物体を表し、検出された物体の物体配向、物体の供給源内の検出された物体の場所、他の物体に対する検出された物体の場所、及び信頼度決定のうちの少なくとも１つを定義する、対応する物体表現を含む、１つ以上の検出結果を生成することのために更に構成されている、実施形態１のコンピュータシステムである。
実施形態１１は、複数の物体が、サイズ、形状、重量、及び材料組成物に関して実質的に同一である、実施形態１のコンピュータシステムである。
実施形態１２は、複数の物体が、サイズ、形状、重量、及び材料組成において互いに異なる、実施形態１のコンピュータシステムである。
実施形態１３は、１つ以上の検出結果から標的物体を識別することが、検出された物体に対して利用可能な把持モデルが存在するかを決定することと、検出された物体から、利用可能な把持モデルなしで、検出された物体を取り除くことと、を含む、実施形態１０のコンピュータシステムである。
実施形態１４は、物体配向、物体の供給源内の検出された物体の場所、及び／又は物体間距離のうちの少なくとも１つに基づいて、検出された物体を取り除くことを更に含む、実施形態１３のコンピュータシステムである。
実施形態１５は、少なくとも１つの処理回路が、標的物体を含む複数の標的物体を検出結果から識別するために更に構成されている、実施形態１のコンピュータシステムである。
実施形態１６は、標的物体が、第１の把持モデルと関連付けられた複数の標的物体の第１の標的物体であり、複数の標的物体の第２の標的物体が、第２の把持モデルと関連付けられている、実施形態１５のコンピュータシステムである。
実施形態１７は、複数の標的物体を識別することが、エンドエフェクタ装置による把持のための第１の標的物体、及びエンドエフェクタ装置による把持のための第２の標的物体を選択することを含む、実施形態１５のコンピュータシステムである。
実施形態１８は、実施形態１７のコンピュータシステムであり、少なくとも１つの処理回路が、ロボットアームを制御して第２の標的物体に接近するために、第２のエンドエフェクタ装置接近コマンドを出力することと、エンドエフェクタ装置を制御して第２の標的物体を把持するために、第２のエンドエフェクタ装置制御コマンドを出力し、ロボットアームが目的地に接近するための目的地軌道を生成することと、目的地軌道に従ってロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、第１の標的物体及び第２の標的物体を目的地において解放するように、エンドエフェクタ装置を制御するために、エンドエフェクタ装置解放コマンドを出力することと、のために更に構成されている、実施形態１７のコンピュータシステムである。
実施形態１９は、物体の供給源から標的物体を選び取る方法であって、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道に従ってロボットアームを制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道に従ってロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、方法である。
実施形態２０は、ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能な、物体の供給源から標的物体を選び取るための方法を実装するための実行可能な命令で構成された、非一時的コンピュータ可読媒体であって、方法が、標的物体を、物体の供給源内の複数の物体の中から識別することと、エンドエフェクタ装置を有するロボットアームが複数の物体に接近するために、アーム接近軌道を生成することと、エンドエフェクタ装置が標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、エンドエフェクタ装置で標的物体を把持するための把持動作を生成することと、複数の物体に接近するアーム接近軌道内でエンドエフェクタ装置を制御するために、アーム接近コマンドを出力することと、標的物体に接近するエンドエフェクタ装置接近軌道内でロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、把持動作においてエンドエフェクタ装置を制御して、物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含む、非一時的コンピュータ可読媒体である。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティングシステムであって、
エンドエフェクタ装置を含む、又は当該エンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムと、
少なくとも１つの処理回路と、を備え、
前記少なくとも１つの処理回路は、前記ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む前記物体取り扱い環境内にあるとき、前記物体の供給源から前記目的地へ標的物体を移送するために、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別すること、
前記ロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成すること、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成すること、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成すること、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力すること、
前記エンドエフェクタ装置接近軌道内で前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力すること、及び
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力すること、
を実行するように構成されており、
前記把持動作を決定することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
コンピューティングシステム。

【請求項2】

前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記目的地において前記標的物体を解放するために、エンドエフェクタ装置解放コマンドを出力することと、を更に含む、請求項１に記載のコンピューティングシステム。

【請求項3】

前記ロボットアームの前記目的地軌道を決定することが、前記ロボットアームが前記供給源から前記目的地まで動くのに最適化された目的地軌道時間に基づく、請求項２に記載のコンピューティングシステム。

【請求項4】

前記ロボットアームの前記目的地軌道を決定することが、前記エンドエフェクタ装置と前記標的物体との間の予測されたグリップ安定性に基づく、請求項２に記載のコンピューティングシステム。

【請求項5】

前記エンドエフェクタ装置接近軌道を決定することが、前記把持動作で前記エンドエフェクタ装置が前記標的物体を把持するのに最適化されたエンドエフェクタ装置接近時間に基づく、請求項１に記載のコンピューティングシステム。

【請求項6】

前記最適化されたエンドエフェクタ装置接近時間が、前記標的物体に対する利用可能な把持モデルに基づいて決定される、請求項５に記載のコンピューティングシステム。

【請求項7】

前記エンドエフェクタ装置は複数の把持モデルを用いて前記把持動作中に前記標的物体を把持することができる、請求項１に記載のコンピューティングシステム。

【請求項8】

前記少なくとも１つの処理回路が、前記複数の把持モデルの各々の予測されたグリップ安定性に従って、前記複数の利用可能な把持モデルの各々に対するランクを決定するように更に構成されている、請求項１に記載のコンピューティングシステム。

【請求項9】

前記エンドエフェクタ装置によって使用するための前記少なくとも１つの把持モデルを決定することが、前記予測されたグリップ安定性の最も高い判定値を有する前記ランクに基づく、請求項８に記載のコンピューティングシステム。

【請求項10】

前記少なくとも１つの処理回路が、
各々が前記物体の供給源内の前記１つ以上の物体のうちの検出された物体を表す１つ以上の検出結果を生成することのために更に構成されており、
前記１つ以上の検出結果の各々は、前記検出された物体の物体配向、前記物体の供給源内の前記検出された物体の場所、他の物体に対する検出された物体の場所、及び信頼度決定のうちの少なくとも１つを定義する、対応する物体表現を含む、請求項１に記載のコンピューティングシステム。

【請求項11】

前記複数の物体が、サイズ、形状、重量、及び材料組成物に関して実質的に同一である、請求項１に記載のコンピューティングシステム。

【請求項12】

前記複数の物体が、サイズ、形状、重量、及び材料組成において互いに異なる、請求項１に記載のコンピューティングシステム。

【請求項13】

前記１つ以上の検出結果から前記標的物体を識別することが、
前記検出された物体に対して利用可能な把持モデルが存在するかを決定することと、
前記検出された物体から、利用可能な把持モデルなしで、前記検出された物体を取り除くことと、を含む、請求項１０に記載のコンピューティングシステム。

【請求項14】

前記物体配向、前記物体の供給源内の前記検出された物体の場所、及び／又は物体間距離のうちの少なくとも１つに基づいて、前記検出された物体を取り除くことを更に含む、請求項１３に記載のコンピューティングシステム。

【請求項15】

前記少なくとも１つの処理回路が、前記標的物体を含む複数の標的物体を検出結果から識別するために更に構成されている、請求項１に記載のコンピューティングシステム。

【請求項16】

前記標的物体が、第１の把持モデルと関連付けられた前記複数の標的物体の第１の標的物体であり、
前記複数の標的物体の第２の標的物体が、第２の把持モデルと関連付けられている、請求項１５に記載のコンピューティングシステム。

【請求項17】

前記複数の標的物体を識別することが、前記エンドエフェクタ装置による把持のための第１の標的物体、及び前記エンドエフェクタ装置による把持のための第２の標的物体を選択することを含む、請求項１５に記載のコンピューティングシステム。

【請求項18】

前記少なくとも１つの処理回路が、
前記ロボットアームを制御して前記第２の標的物体に接近するために、第２のエンドエフェクタ装置接近コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記第２の標的物体を把持するために、第２のエンドエフェクタ装置制御コマンドを出力し、前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記第１の標的物体及び前記第２の標的物体を前記目的地において解放するように、前記エンドエフェクタ装置を制御するために、エンドエフェクタ装置解放コマンドを出力することと、のために更に構成されている、請求項１７に記載のコンピューティングシステム。

【請求項19】

物体の供給源から標的物体を選び取る方法であって、
前記標的物体を、前記物体の供給源内の複数の物体の中で識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力することと、
前記エンドエフェクタ装置接近軌道内の前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含み、
前記把持動作を決定することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
方法。

【請求項20】

ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能である、実行可能な命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、物体の供給源から標的物体を選び取るための方法を実装するためのものであり、
前記方法は、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記複数の物体に接近する前記アーム接近軌道に従って前記ロボットアームを制御するために、アーム接近コマンドを出力することと、
前記標的物体に接近する前記エンドエフェクタ装置接近軌道で前記ロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含み、
前記把持動作を決定することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
非一時的コンピュータ可読媒体。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図２Ｂ

【補正方法】変更

【補正の内容】

【図2B】

【手続補正4】

【補正対象書類名】図面

【補正対象項目名】図２Ｆ

【補正方法】変更

【補正の内容】

【図2F】

【手続補正5】

【補正対象書類名】図面

【補正対象項目名】図７Ｂ

【補正方法】変更

【補正の内容】

【図7B】

【手続補正書】

【提出日】2023-09-06

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正の内容】

【0054】

図３Ａ及び図３Ｂは、本明細書に説明されるプロセス及び方法が実施され得る例示的な環境を図示する。図３Ａは、少なくともコンピューティングシステム１１００、ロボット３３００、及びカメラ１２００を含む、（図１Ａ～図１Ｄのシステム１０００／１５００Ａ／１５００Ｂ／１５００Ｃの実施形態であり得る）システム３０００を有する環境を描写している。カメラ１２００は、カメラ１２００の実施形態であってもよく、カメラ１２００のカメラ視野３２００内の情景５０１３を表す、又はより具体的には、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄなどの、カメラ視野３２００内の物体（箱など）を表す、画像情報を生成するように構成され得る。一実施例では、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの各々は、例えば、箱又は木枠などの容器であってもよく、もしくは、物体は、例えば、上に容器が配設されるパレットであり得る。更に、物体３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの各々は、更に個々の物体５０１２を含む容器であってもよい。各物体５０１２は、例えば、ロッド、バー、ギア、ボルト、ナット、ねじ、くぎ、リベット、ばね、リンケージ、歯車の歯、又は任意の他のタイプの物理的物体、並びに複数の物体のアセンブリであってもよい。図３Ａは、物体５０１２の複数の容器を含む実施形態を図示するが、図３Ｂは、物体５０１２の単一の容器を含む実施形態を図示する。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００９７

【補正方法】変更

【補正の内容】

【0097】

動作４００５では、方法４０００は、エンドエフェクタ装置３３３０が標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに接近するために、エンドエフェクタ装置接近軌道３３６２を決定することを含み得る。エンドエフェクタ装置接近軌道３３６２は、ロボットアーム３３２０に取り付けたエンドエフェクタ装置３３３０の予想される進行経路を表し得る。コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２を決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６０が決定された時点で、エンドエフェクタ装置接近軌道３３６２が決定される。エンドエフェクタ装置接近軌道３３６２は、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００９９

【補正方法】変更

【補正の内容】

【0099】

図７Ｂは更に、標的物体３５１１ａ／３５１１ｂを選び取り又は把持するために使用される複数のエンドエフェクタ装置接近軌道３３６２ａ／３３６２ｂを図示する。実施形態では、コンピュータシステム１１００は、ロボットアーム３３２０、エンドエフェクタ装置３３３０、又はロボットアーム３３２０とエンドエフェクタ装置３３３０の組み合わせが、供給源又は容器３４２０内の標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに向かう方向に移動又は並進するように制御される、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定し得る。実施形態では、ロボットアーム３３２０が供給源又は容器３４２０の近傍において、又は近傍内でその軌道を終了するように、ロボットアーム軌道３３６０が決定された時点で、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂが決定される。エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂが、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂに隣接して載置されるようなやり方で決定できるので、グリッパ３３３２／３３３４のグリッパフィンガ３３３２ａ／３３３２ｂ／３３３４ａ／３３３４ｂは、前述したように、決定された把持モデル３３５０ａ／３３５０ｂ／３３５０ｃと一致するやり方で、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを適切に把持することができる。エンドエフェクタ接近軌道３３６２／３３６２ａ／３３６２ｂは、グリッパ３３３２／３３３４の状態、すなわち、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂが現在、少なくとも１つのグリッパ３３３２／３３３４によってグリップされているかどうかによって更に決定され得る。そのようなシナリオでは、エンドエフェクタ装置接近軌道３３６２／３３６２ａ／３３６２ｂを決定することは、標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂを把持するための把持動作において、エンドエフェクタ装置３３３０の最適化されたエンドエフェクタ装置接近時間に基づいており、最適化されたエンドエフェクタ装置接近時間は、以下に記載される計算に基づいて、決定される最も効率的なエンドエフェクタ装置接近時間である。最適化されたエンドエフェクタ装置接近時間は、把持された標的物体３５１０ａ又は標的物体３５１１ａ／３５１１ｂ上のグリッパ３３３２／３３３４のグリップ安定性に基づいて計算される。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０１０７

【補正方法】変更

【補正の内容】

【0107】

動作４００５の様々な軌道決定及び把持動作決定４００６は、方法４０００の動作に関して順次説明される。好適で適切な場合、方法４０００の様々な動作は、互いに同時に、又は次に提示される異なる順序で発生し得ることが理解される。例えば、軌道決定（目的地軌道３３６４など）は、他の軌道の実行中に行われてもよい。したがって、目的地軌道３３６４は、アーム接近軌道３３６０の実行時に決定され得る。

【手続補正5】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティングシステムであって、
エンドエフェクタ装置を含む、又は当該エンドエフェクタ装置に取り付けられたロボットアームを有するロボットと通信し、かつカメラと通信するように構成された制御システムと、
少なくとも１つの処理回路と、を備え、
前記少なくとも１つの処理回路は、前記ロボットが、物体取り扱い環境内の目的地に移送するための物体の供給源を含む前記物体取り扱い環境内にあるとき、前記物体の供給源から前記目的地へ標的物体を移送するために、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別すること、
前記ロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成すること、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成すること、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成すること、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力すること、
前記エンドエフェクタ装置接近軌道内で前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力すること、及び
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力すること、
を実行するように構成されており、
前記把持動作を生成することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから、当該複数の利用可能な把持モデルの各々の予測されたグリップ安定性に従って、少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
コンピューティングシステム。

【請求項2】

前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記目的地において前記標的物体を解放するために、エンドエフェクタ装置解放コマンドを出力することと、を更に含む、請求項１に記載のコンピューティングシステム。

【請求項3】

前記ロボットアームの前記目的地軌道を決定することが、前記ロボットアームが前記供給源から前記目的地まで動くのに最適化された目的地軌道時間に基づく、請求項２に記載のコンピューティングシステム。

【請求項4】

前記ロボットアームの前記目的地軌道を決定することが、前記エンドエフェクタ装置と前記標的物体との間の予測されたグリップ安定性に基づく、請求項２に記載のコンピューティングシステム。

【請求項5】

前記エンドエフェクタ装置接近軌道を決定することが、前記把持動作で前記エンドエフェクタ装置が前記標的物体を把持するのに最適化されたエンドエフェクタ装置接近時間に基づく、請求項１に記載のコンピューティングシステム。

【請求項6】

前記最適化されたエンドエフェクタ装置接近時間が、前記標的物体に対する利用可能な把持モデルに基づいて決定される、請求項５に記載のコンピューティングシステム。

【請求項7】

前記エンドエフェクタ装置は複数の把持モデルを用いて前記把持動作中に前記標的物体を把持することができる、請求項１に記載のコンピューティングシステム。

【請求項8】

前記少なくとも１つの処理回路が、前記複数の把持モデルの各々の前記予測されたグリップ安定性に従って、前記複数の利用可能な把持モデルの各々に対するランクを決定するように更に構成されている、請求項１に記載のコンピューティングシステム。

【請求項9】

前記エンドエフェクタ装置によって使用するための前記少なくとも１つの把持モデルを決定することが、前記予測されたグリップ安定性の最も高い判定値を有する前記ランクに基づく、請求項８に記載のコンピューティングシステム。

【請求項10】

前記少なくとも１つの処理回路が、
各々が前記物体の供給源内の前記１つ以上の物体のうちの検出された物体を表す１つ以上の検出結果を生成することのために更に構成されており、
前記１つ以上の検出結果の各々は、前記検出された物体の物体配向、前記物体の供給源内の前記検出された物体の場所、他の物体に対する検出された物体の場所、及び信頼度決定のうちの少なくとも１つを定義する、対応する物体表現を含む、請求項１に記載のコンピューティングシステム。

【請求項11】

前記複数の物体が、サイズ、形状、重量、及び材料組成物に関して実質的に同一である、請求項１に記載のコンピューティングシステム。

【請求項12】

前記複数の物体が、サイズ、形状、重量、及び材料組成において互いに異なる、請求項１に記載のコンピューティングシステム。

【請求項13】

前記１つ以上の検出結果から前記標的物体を識別することが、
前記検出された物体に対して利用可能な把持モデルが存在するかを決定することと、
前記検出された物体から、利用可能な把持モデルなしで、前記検出された物体を取り除くことと、を含む、請求項１０に記載のコンピューティングシステム。

【請求項14】

前記物体配向、前記物体の供給源内の前記検出された物体の場所、及び／又は物体間距離のうちの少なくとも１つに基づいて、前記検出された物体を取り除くことを更に含む、請求項１３に記載のコンピューティングシステム。

【請求項15】

前記少なくとも１つの処理回路が、前記標的物体を含む複数の標的物体を検出結果から識別するために更に構成されている、請求項１に記載のコンピューティングシステム。

【請求項16】

前記標的物体が、第１の把持モデルと関連付けられた前記複数の標的物体の第１の標的物体であり、
前記複数の標的物体の第２の標的物体が、第２の把持モデルと関連付けられている、請求項１５に記載のコンピューティングシステム。

【請求項17】

前記複数の標的物体を識別することが、前記エンドエフェクタ装置による把持のための第１の標的物体、及び前記エンドエフェクタ装置による把持のための第２の標的物体を選択することを含む、請求項１５に記載のコンピューティングシステム。

【請求項18】

前記少なくとも１つの処理回路が、
前記ロボットアームを制御して前記第２の標的物体に接近するために、第２のエンドエフェクタ装置接近コマンドを出力することと、
前記エンドエフェクタ装置を制御して前記第２の標的物体を把持するために、第２のエンドエフェクタ装置制御コマンドを出力し、前記ロボットアームが前記目的地に接近するための目的地軌道を生成することと、
前記目的地軌道に従って前記ロボットアームを制御するために、ロボットアーム制御コマンドを出力することと、
前記第１の標的物体及び前記第２の標的物体を前記目的地において解放するように、前記エンドエフェクタ装置を制御するために、エンドエフェクタ装置解放コマンドを出力することと、のために更に構成されている、請求項１７に記載のコンピューティングシステム。

【請求項19】

物体の供給源から標的物体を選び取る方法であって、
前記標的物体を、前記物体の供給源内の複数の物体の中で識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記アーム接近軌道に従って前記ロボットアームを制御して前記複数の物体に接近するために、アーム接近コマンドを出力することと、
前記エンドエフェクタ装置接近軌道内の前記ロボットアームを制御して前記標的物体に接近するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含み、
前記把持動作を生成することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから、当該複数の利用可能な把持モデルの各々の予測されたグリップ安定性に従って、少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
方法。

【請求項20】

ロボットシステムと通信するように構成された通信インターフェースを介して少なくとも１つの処理回路によって動作可能である、実行可能な命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、物体の供給源から標的物体を選び取るための方法を実装するためのものであり、
前記方法は、
前記標的物体を、前記物体の供給源内の複数の物体の中から識別することと、
エンドエフェクタ装置を有するロボットアームが前記複数の物体に接近するために、アーム接近軌道を生成することと、
前記エンドエフェクタ装置が前記標的物体に接近するために、エンドエフェクタ装置接近軌道を生成することと、
前記エンドエフェクタ装置で前記標的物体を把持するための把持動作を生成することと、
前記複数の物体に接近する前記アーム接近軌道に従って前記ロボットアームを制御するために、アーム接近コマンドを出力することと、
前記標的物体に接近する前記エンドエフェクタ装置接近軌道で前記ロボットアームを制御するために、エンドエフェクタ装置接近コマンドを出力することと、
前記把持動作において前記エンドエフェクタ装置を制御して前記標的物体を把持するために、エンドエフェクタ装置制御コマンドを出力することと、を含み、
前記把持動作を生成することが、前記把持動作で前記エンドエフェクタ装置によって使用するための、複数の利用可能な把持モデルから、当該複数の利用可能な把持モデルの各々の予測されたグリップ安定性に従って、少なくとも１つの把持モデルを決定することを含み、前記利用可能な把持モデルは、検出された物体が、どのようにエンドエフェクタ装置によって把持されるかを説明する
非一時的コンピュータ可読媒体。

【手続補正6】

【補正対象書類名】図面

【補正対象項目名】図７Ｂ

【補正方法】変更

【補正の内容】

【図7B】

【外国語明細書】