知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-12
(45)【発行日】2023-01-20
(54)【発明の名称】ロボット車両の積荷フットプリントの協働決定
(51)【国際特許分類】
G05D 1/02 20200101AFI20230113BHJP
【ＦＩ】
G05D1/02 H
【請求項の数】
15
(21)【出願番号】P 2021553122
(86)(22)【出願日】2020-03-06
(65)【公表番号】
(43)【公表日】2022-04-27
(86)【国際出願番号】 US2020021555
(87)【国際公開番号】W WO2020181257
(87)【国際公開日】2020-09-10
【審査請求日】2021-11-10
(31)【優先権主張番号】16/296,192
(32)【優先日】2019-03-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521400279
【氏名又は名称】スカイラ テクノロジーズ， インク．
【氏名又は名称原語表記】ＳＫＹＬＬＡ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＩＮＣ．
【住所又は居所原語表記】２４ Ｈａｒｔｗｅｌｌ Ａｖｅｎｕｅ， Ｌｅｘｉｎｇｔｏｎ， ＭＡ ０２４２１ （ＵＳ）
(74)【代理人】
【識別番号】100098899
【弁理士】
【氏名又は名称】飯塚 信市
(74)【代理人】
【識別番号】100163865
【弁理士】
【氏名又は名称】飯塚 健
(72)【発明者】
【氏名】ウィーバー， コータ
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開２０１０－４４５３０（ＪＰ，Ａ）
【文献】特開２０１３－４０２３（ＪＰ，Ａ）
【文献】特開平１１－２１１４３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
ペイロードを積載した第２のロボット車両の周りの命令された経路に沿って第１のロボット車両を移動させる１または複数のアクチュエータを含む前記第１のロボット車両と、前記第１のロボット車両に結合された１または複数の距離センサであって、前記第１のロボット車両が前記命令された経路を通過するときに前記第２のロボット車両までの距離を測定するように構成される１または複数の距離センサと、
前記第１のロボット車両に結合された１または複数の画像取込みデバイスであって、前記第１のロボット車両が前記命令された経路を通過するときに前記第２のロボット車両を撮像するように構成される、１または複数の画像取込みデバイスと、
１または複数の計算システムであって、
前記第１のロボット車両が前記命令された経路を通過するときに前記１または複数の画像取込みデバイスによって集められた画像に基づいて前記第１のロボット車両に対して前記第２のロボット車両を空間的に配置し、
前記第１のロボット車両が前記命令された経路を通過するときに前記１または複数の画像取込みデバイスによって集められた画像および前記１または複数の距離センサによって集められた前記距離に基づいて、前記第２のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第２のロボット車両の複数の幾何学的特徴点の各々の位置を特定し、
前記ペイロードを積載した前記第２のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化し、
前記第２のロボット車両へ前記幾何学的モデルを伝達する
ように構成される１または複数の計算システムと、
を備える、システム。
【請求項2】
前記１または複数の画像取込みデバイスの視野が、前記１または複数の距離センサの視野を含む、請求項１に記載のシステム。
【請求項3】
前記第１のロボット車両が前記命令された経路を通過するときに前記第１のロボット車両に対して前記第２のロボット車両を前記配置することが、前記第２のロボット車両に固定された複数の基準タグの前記１または複数の画像取込みデバイスによって集められた画像に基づく、請求項１に記載のシステム。
【請求項4】
前記計算システムが、前記１または複数の画像取込みデバイスによって集められた前記画像および前記１または複数の距離センサによって集められた前記距離に基づいて前記複数の幾何学的特徴を検出する
ようにさらに構成される、請求項１に記載のシステム。
【請求項5】
前記第２のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項１に記載のシステム。
【請求項6】
前記計算システムが、前記複数の幾何学的特徴点をクラスタ化し、
前記ペイロードを積載した前記第２のロボット車両の中心点と同じクラスタ内にはない幾何学的特徴点を破棄し、
各々の後続の画像フレーム間の幾何学的特徴点を一致させ、
重複した幾何学的特徴点を統合する
ようにさらに構成される、請求項１に記載のシステム。
【請求項7】
ペイロードを積載した第２のロボット車両の周りの命令された経路に沿って第１のロボット車両を移動させることと、前記第１のロボット車両が前記命令された経路を通過するときに前記第１のロボット車両からの前記第２のロボット車両までの距離のシーケンスを測定することと、
前記第２のロボット車両が前記命令された経路を通過するときに前記第１のロボット車両から前記第２のロボット車両の画像のシーケンスを集めることと、
前記集められた画像に基づいて前記第１のロボット車両に対して前記第２のロボット車両を空間的に配置することと、
前記集められた画像および前記測定された距離に基づいて、前記第２のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第２のロボット車両の複数の幾何学的特徴点の各々の位置を特定することと、
前記ペイロードを積載した前記第２のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化することと、
前記第２のロボット車両へ前記幾何学的モデルを伝達することと、
を含む、方法。
【請求項8】
前記第１のロボット車両が前記命令された経路を通過するときに前記第１のロボット車両に対して前記第２のロボット車両を前記配置することが、前記第２のロボット車両に固定された複数の基準タグを含む前記画像のシーケンスに基づく、請求項７に記載の方法。
【請求項9】
前記画像のシーケンスおよび前記測定した距離のシーケンスに基づいて前記複数の幾何学的特徴を検出すること、をさらに含む、請求項７に記載の方法。
【請求項10】
前記第２のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項７に記載の方法。
【請求項11】
前記複数の幾何学的特徴点をクラスタ化することと、前記ペイロードを積載した前記第２のロボット車両の中心点と同じクラスタ内にはない幾何学的特徴点を破棄することと、
各々の後続の画像フレーム間の幾何学的特徴点を一致させることと、
重複した幾何学的特徴点を統合することと、
をさらに含む、請求項７に記載の方法。
【請求項12】
ペイロードを積載した第２のロボット車両の周りの命令された経路に沿って第１のロボット車両を移動させる１または複数のアクチュエータを含む前記第１のロボット車両と、前記第１のロボット車両に結合された１または複数の距離センサであって、前記第１のロボット車両が前記命令された経路を通過するときに前記第２のロボット車両までの距離を測定するように構成される、１または複数の距離センサと、
前記第１のロボット車両に結合された１または複数の画像取込みデバイスであって、前記第１のロボット車両が前記命令された経路を通過するときに前記第２のロボット車両を撮像するように構成される１または複数の画像取込みデバイスと、
命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令が計算システムよって実行されるときに前記計算システムに、
前記第１のロボット車両が前記命令された経路を通過するときに前記１または複数の画像取込みデバイスによって集められた画像に基づいて前記第１のロボット車両に対して前記第２のロボット車両を空間的に配置させ、
前記第１のロボット車両が前記命令された経路を通過するときに前記１または複数の画像取込みデバイスによって集められた画像および前記１または複数の距離センサによって集められた前記距離に基づいて、前記第２のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第２のロボット車両の複数の幾何学的特徴点の各々の位置を特定させ、
前記ペイロードを積載した前記第２のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化させ、
前記第２のロボット車両へ前記幾何学的モデルを伝達させる、非一時的なコンピュータ可読媒体と、
を備える、システム。
【請求項13】
前記第１のロボット車両が前記命令された経路を通過するときに前記第１のロボット車両に対して前記第２のロボット車両を前記配置することが、前記第２のロボット車両に固定された複数の基準タグの前記１または複数の画像取込みデバイスによって集められた画像に基づく、請求項１２に記載のシステム。
【請求項14】
前記第２のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項１２に記載のシステム。
【請求項15】
前記非一時的なコンピュータ可読媒体は、命令が前記計算システムよって実行されるときに前記計算システムに、前記１または複数の画像取込みデバイスによって集められた前記画像および前記１または複数の距離センサによって集められた前記距離に基づいて、前記複数の幾何学的特徴を検出させる
前記命令をさらに記憶する、請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、２０１９年３月７日出願の米国特許出願第１６／２９６，１９２号、名称「Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ａ Ｌｏａｄ Ｆｏｏｔｐｒｉｎｔ Ｏｆ Ａ Ｒｏｂｏｔｉｃ Ｖｅｈｉｃｌｅ」の優先権を主張し、その主題全体が参照により本明細書に組み込まれている。
本特許出願は、２０１９年３月７日出願の米国特許出願第１６／２９６，１９２号、名称「Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ａ Ｌｏａｄ Ｆｏｏｔｐｒｉｎｔ Ｏｆ Ａ Ｒｏｂｏｔｉｃ Ｖｅｈｉｃｌｅ」の優先権を主張し、その主題全体が参照により本明細書に組み込まれている。
【0002】
記載した実施形態は、サービス環境におけるペイロード（payload）搬送のためのシステムおよび方法に関する。
【背景技術】
【0003】
ロボットシステムは、典型的にはよく制御された工場環境において、繰返し性の高いタスクを実行するために広く展開されている。ファクトリーオートメーションのいくつかの例では、ロボットは、長い期間（例えば、月または年）にわたって単一のタスクを繰り返して実行する。しかしながら、ロボットシステムは、人間の日常生活の一部であるタスクを実行することにはまだ広く展開されていない。人間の日常生活ならびにカスタムワークフローへとロボットシステムを上手く組み込むために、ロボットシステムは、新たなタスクおよび環境条件に適応することができなければならない。
【0004】
いくつかの例では、ロボットシステムは、構造化されていない環境において広範囲のタスクをロボットシステムが実行することを可能にするために高い知能で開発されてきている。知能ロボットシステムは、複雑なタスクを上手く理解することが可能であり、そして少ない命令を用いて手元のタスクを実行することが可能である。加えて、ユーザインターフェースの改善が、人間とロボットシステムとの間のコミュニケーションを高め、協働ロボットシステムが手元のタスクをよく理解することを可能にする。ユーザインターフェースに対する最近の改善は、ロボットの使いやすさを改善するためのナチュラルユーザインターフェースの使用および会話や身振りに基づく技術の使用を含む。しかしながら、これらの手法は、ロボットシステムによる単独の実行のため協働ロボットシステムに対するタスクゴールおよび制約を伝達することに焦点を当てている。このことは、ロボットシステムの物理的および知的能力の限界ならびにロボットシステムへのタスクパラメータおよび制約を伝達する能力の限界のためにロボットシステムによって達成され得るタスクの複雑さを制限する。
【0005】
ロボット車両（robotic vehicle）のナビゲーションサブシステムの重要な構成要素は、ロボット車両の幾何学的形状（geometry）の内部モデルである。この内部モデルは、ロボット車両が経路プラニングを行うことおよび障害物回避を実行することならびに周囲の環境との物理的相互作用を容易にすることを可能にする。ロボット車両の幾何学的形状のモデルは、多くの場合にロボットシステムへと事前にプログラムされている固定されたモデルである。しかしながら、この手法は、ロボット車両ペイロードが時間とともに変化する状況には適応しない。ロボット車両に搭載されたカメラおよび他のセンサを、ペイロードの形状およびサイズを推定してロボットシステムの総合的なフットプリントを決定するために使用することができる。残念ながら、ペイロードがロボット車両自体よりも著しく大きいときにペイロードのサイズおよび形状を正確に決定するために十分な視野を有する十分な数のセンサを含むことは、多くの場合、実現不可能である。
【0006】
ロボット車両が搭載する前にペイロードを走査する機会がある場合には、ロボット車両は、十分な精度でペイロードのサイズおよび形状を推定することが可能であり得る。しかしながら、ペイロードが構造化されていない方式で、例えば、人間または別の機械的なシステムによってロボット車両に設置される場合には、いずれの利用可能なサイズおよび形状情報が、積載したロボット車両のフットプリントを正確に決定するためロボットへ容易には中継できない。この制限を克服するために、ロボット車両は、非常に保守的なナビゲーションモデルを仮定すること、またはより正確なフットプリント推定値を特定するために人間の入力を頼りにすることが必要であり得る。
【0007】
要約すると、高度に構造化されていない環境におけるナビゲーションを向上させるため、積載したロボット車両の高精度の幾何学的モデリングを可能にするためにロボットシステムを改善することが望まれている。
【発明の概要】
【0008】
積載したロボット車両のフットプリントの幾何学的モデルを正確に決定するために２つのロボット車両システム間の協働作業のための方法およびシステムが、本明細書において説明される。走査ロボットが、ペイロードを積載したロボット車両（robotic vehicle）を走査（scan）するために利用される。走査ロボットは、積載したロボット車両の幾何学的モデルを決定するために必要な幾何学的情報を測定する。
【0009】
走査ロボットがペイロードロボットの周りの経路を通過し（ｔｒａｖｅｒｓｅ）、その間、１または複数の距離センサは、走査ロボットとペイロードロボットとの間の距離を繰り返し測定し、１または複数の画像取込みデバイスは、ペイロードロボットを繰り返し撮像する。
【0010】
１つの態様では、計算システムは、ペイロードロボットに搭載された基準タグの画像を含んでいる集められた画像のシーケンスに基づいて走査ロボットに対してペイロードロボットを空間的に配置する（ｌｏｃａｔｅ）。
【0011】
もう１つの態様では、計算システムは、集められた画像および距離のシーケンスからペイロードロボットの多数の幾何学的特徴点を検出する。いくつかの実施形態では、幾何学的特徴点は、シトマシ（Ｓｈｉ－Ｔｏｍａｓｉ）コーナ検出器、軌道検出器にとっての良い特徴（ｇｏｏｄ ｆｅａｔｕｒｅｓ ｔｏ ｔｒａｃｋ ｄｅｔｅｃｔｏｒ）、加速セグメント試験からの特徴（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）（ＦＡＳＴ）検出器などの標準的なオープンソース特徴検出器ソフトウェアを使用して特定されるコーナ点である。いくつかの実施形態では、特徴検出器は、距離データとともに各々の取り込まれた画像の３つのカラーチャネルのすべてに適用される。
【0012】
もう１つの態様では、計算システムは、ホモグラフィを使用してペイロードロボット１００に固定された座標フレームに対して検出された特徴点の位置推定値を計算する。推定値は、走査ロボットの知られている位置および速度に関連するカルマンフィルタを通して位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）の結果をフィルタ処理することによって精緻化される。
【0013】
いくつかの実施形態では、計算システムは、幾何学的特徴点を距離によってフィルタ処理し、そしてフィルタ処理した幾何学的特徴点をクラスタ化する。いくつかの実施形態では、凝集型階層クラスタリングなどのクラスタリングアルゴリズムが利用される。ペイロードロボット１００のプラットフォームの中心点と同じクラスタ内に位置するすべての点が維持され、残りは破棄される。
【0014】
いくつかの実施形態では、速度および位置に関するモデルを有するカルマフィルタが、変動を減少させるために各々の幾何学的特徴点に適用される。
【0015】
もう１つの態様では、計算システムは、各々の後続の画像フレーム間の幾何学的特徴点を一致させる。いくつかの実施形態では、バイナリロバスト独立基本的特徴（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）（ＢＲＩＥＦ）などのスケールおよび回転不変量特徴記述子（ｓｃａｌｅ ａｎｄ ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ）がマッチングを実行するために利用される。いくつかの実施形態では、重複した特徴点が統合される。１つの例では、互いに２標準偏差内の特徴点が統合される。
【0016】
幾何学的特徴点のセットを配置した後で、メッシュが作られる。いくつかの実施形態では、メッシュは、ポアソン表面再構成により生成される。いくつかの他の実施形態では、ペイロードロボットの座標フレームの軸の各々の最小値および最大値によってパラメータ表示された単純で境界を接するボックスメッシュが生成される。
【0017】
メッシュ生成の後で、メッシュデータが、ペイロードロボットへ伝達される。ペイロードロボットは、ペイロードを含めペイロードロボット自体のフットプリントの幾何学的モデルを更新する。いくつかの実施形態では、ペイロードロボットは、そのフットプリントの二次元モデルを利用する。これらの実施形態では、三次元幾何学的モデルが上からの正投影を介して平坦化される。
【0018】
さらなる態様では、ペイロードロボットの周りの仮想境界が、ペイロードロボットの幾何学的モデルに基づいて規定される。いくつかの例では、仮想境界は、障害物回避をともなうナビゲーションタスクを実行するために利用される。
【0019】
前述は、概要であり、したがって、必要性によっては、単純化、一般化、および詳細の省略を含み、その結果、当業者なら、概要が単に例示に過ぎず、そして決して限定しないことを認識するだろう。本明細書において説明されるデバイスおよび／またはプロセスの他の態様、独創的な特徴、および利点は、本明細書で述べられる非限定的な詳細な説明において明らかになるだろう。
【図面の簡単な説明】
【0020】
【図1】ペイロードロボットのペイロードを含めペイロードロボットの幾何学的モデルを構築するためにペイロードロボットの周りの経路を通過する走査ロボットを例示する図である。
【0021】
【図2】ペイロードロボットの積荷フットプリントを協働して決定するためのシステムの構成要素を例示する模式図である。
【0022】
【図3】車輪付きロボット車両およびペイロードプラットフォームを含んでいるペイロードロボットシステム１００の実施形態を例示する側面図である。
【0023】
【図4】車輪付きロボット車両およびペイロードプラットフォームを含んでいるペイロードロボットシステム１００の実施形態を例示する上面図である。
【0024】
【図5】ペイロードロボットシステム１００のいくつかの構成要素を例示する模式図である。
【0025】
【図6A】混雑した環境を通って物体を移動させることを含め協働作業者と協働してタスクを実行しているペイロードロボットシステムを示す図である。
【図6B】混雑した環境を通って物体を移動させることを含め協働作業者と協働してタスクを実行しているペイロードロボットシステムを示す図である。
【図6C】混雑した環境を通って物体を移動させることを含め協働作業者と協働してタスクを実行しているペイロードロボットシステムを示す図である。
【図6D】混雑した環境を通って物体を移動させることを含め協働作業者と協働してタスクを実行しているペイロードロボットシステムを示す図である。
【0026】
【図7】ペイロードロボットシステムと周囲環境内の物体との間の相互作用を示す図である。
【0027】
【図8】本明細書において説明するようなペイロードロボットの積荷フットプリントを協働して決定するための方法６００のフローチャートである。
【発明を実施するための形態】
【0028】
発明の背景例およびいくつかの実施形態をここで詳細に参照し、その例が、添付の図面に図示されている。
【0029】
積載したロボット車両（robotic vehicle）のフットプリントの幾何学的モデルを正確に決定するために２つのロボット車両システム間の協働作業のための方法およびシステムが本明細書において説明される。第２のロボット車両は、積載したロボット車両を走査（scan）するため、そして積載したロボット車両の幾何学的モデルを決定するために必要な幾何学的情報を提供するために利用される。
【0030】
図１は、ペイロードロボットのペイロードを含めペイロードロボットの幾何学的モデルを構築するためにペイロードロボットの周りの経路を通過する走査ロボット（scanning robot）を例示する図である。図１に描かれたように、走査ロボット３００は、ペイロード（payload）１１０を積載したペイロードロボット（payload robot）１００の周りの経路１５０を通過する。図１に描かれたように、走査ロボット３００は、計算システム４００、１または複数の距離センサ３０１、および１または複数の撮像デバイス３０２を含む。座標フレーム｛ＸＳＲ，ＹＳＲ，およびＺＳＲ｝が、走査ロボット３００に付けられる。ペイロードロボット１００は、計算システム２００、ペイロードプラットフォーム１０６、ペイロード１１０、および基準タグ１１５Ａ～１１５Ｄを含む。座標フレーム｛ＸＬＲ，ＹＬＲ，およびＺＬＲ｝が、ペイロードロボット１００に付けられる。
【0031】
図１～図２に描かれたように、走査ロボット３００は、計算システム４００から受信するコマンド信号３０６に応じてペイロードロボット１００の周りの経路１５０に沿って走査ロボットを移動させる１または複数のアクチュエータ３０５を含む。１または複数の距離センサ３０１は、走査ロボット３００が命令された経路１５０を通過するときにペイロードロボット１００までの距離を繰り返し測定する。１または複数の距離センサによって測定された距離のシーケンスを示す信号３０３が計算システム４００へ伝達される。加えて、１または複数の画像取込みデバイス３０２は、走査ロボット３００が命令された経路１５０を通過するときにペイロードロボット１００を繰り返し撮像する。１または複数の画像取込みデバイスによって取り込まれた画像のシーケンスを示す信号３０４が計算システム４００へ伝達される。いくつかの実施形態では、１または複数の画像取込みデバイスの視野は、１または複数の距離センサの視野を含む。いくつかの実施形態では、画像取込みデバイス３０２は、３つの異なるカラーチャネルを有する状態の画像を生成する３チャネルカメラ（例えば、ＲＧＢカメラ）である。
【0032】
いくつかの実施形態では、計算システム４００は、集められた画像のシーケンスに基づいて走査ロボット３００に対してペイロードロボット１００を空間的に配置する。図１～図２に図示された実施形態では、集められた画像のシーケンスは、１または複数の撮像デバイスの視野内の基準タグ１１５Ａ～１１５Ｄの画像を含む。基準タグの画像は、計算システム４００によって解析されて、１または複数の適切な位置特定アルゴリズムを使用して走査ロボット３００に対するペイロードロボット１００の場所を推定する。いくつかの実施形態では、基準タグはエイプリルタグ（ＡｐｒｉｌＴａｇｓ）である。エイプリルタグおよび付随する位置特定ソフトウェアの両方が、下記のインターネットアドレスにおいてミシガン大学（ＵＳＡ）から無料で入手可能である：
ｈｔｔｐｓ：／／ａｐｒｉｌ.ｅｅｃｓ.ｕｍｉｃｈ.ｅｄｕ／ｓｏｆｔｗａｒｅ／ａｐｒｉｌｔａａ.ｈｔｍｌ.
ｈｔｔｐｓ：／／ａｐｒｉｌ.ｅｅｃｓ.ｕｍｉｃｈ.ｅｄｕ／ｓｏｆｔｗａｒｅ／ａｐｒｉｌｔａａ.ｈｔｍｌ.
【0033】
計算システム４００はまた、集められた画像および距離のシーケンスからペイロードロボット１００の多数の幾何学的特徴点も検出する。いくつかの実施形態では、幾何学的特徴点は、シトマシコーナ検出器、軌道検出器にとっての良い特徴、加速セグメント試験からの特徴（ＦＡＳＴ）検出器、などの標準的なオープンソース特徴検出器ソフトウェアを使用して特定されるコーナ点である。いくつかの実施形態では、特徴検出器は、距離データとともに各々の取り込まれた画像の３つのカラーチャネルのすべてに適用される。
【0034】
計算システム４００はまた、ホモグラフィを使用してペイロードロボット１００に固定された座標フレームに対して検出された特徴点の位置推定値も計算する。推定値は、走査ロボット３００の知られている位置および速度に関連するカルマンフィルタを通して位置特定の結果をフィルタ処理することによって精緻化される。走査ロボット３００がペイロードロボット１００の周りを通過するときに、重要な特徴点の位置が記録される。
【0035】
いくつかの実施形態では、計算システム４００は、幾何学的特徴点を距離によってフィルタ処理し、そしてフィルタ処理した幾何学的特徴点をクラスタ化する。いくつかの実施形態では、凝集型階層クラスタリングなどのクラスタリングアルゴリズムが利用される。ペイロードロボット１００のプラットフォームの中心点と同じクラスタ内に位置するすべての点が維持され、残りは破棄される。このように、走査ロボット３００によりペイロードロボット１００を走査するときにペイロードロボット１００と周囲の物体との間に十分な空間がなくてはならない。
【0036】
いくつかの実施形態では、速度および位置に関するモデルを有するカルマフィルタが、変動を減少させるために各々の幾何学的特徴点に適用される。
【0037】
計算システム４００はまた、各々の後続の画像フレーム間の幾何学的特徴点を一致させる。いくつかの実施形態では、バイナリロバスト独立基本的特徴（ＢＲＩＥＦ）などのスケールおよび回転不変量特徴記述子がマッチングを実行するために利用される。いくつかの実施形態では、重複した特徴点が統合される。１つの例では、互いに２標準偏差内の特徴点が統合される。ペイロードロボット１００の走査は、走査ロボット３００がペイロードロボット１００を完全に一周する経路を通過した後で完了する。
【0038】
幾何学的特徴点のセットを配置した後で、メッシュが作られる。いくつかの実施形態では、メッシュは、ポアソン表面再構成により生成される。いくつかの他の実施形態では、ペイロードロボット１００の座標フレームの軸の各々の最小値および最大値によってパラメータ表示された単純で境界を接するボックスメッシュが生成される。ペイロードロボット１００がペイロードおよびロボット車両自体の両方を含んでいる全体の系を移動するときに、ロボット車両に関係する特徴点は、フィルタ処理では除去されない。
【0039】
メッシュ生成の後で、メッシュデータ（すなわち、ペイロードロボット１００の幾何学的モデル）が、ペイロードロボット１００へ伝達される。ペイロードロボット１００は、ペイロードを含めペイロードロボット自体のフットプリントの幾何学的モデルを更新する。いくつかの実施形態では、ペイロードロボット１００は、そのフットプリントの二次元モデルを利用する。これらの実施形態では、三次元幾何学的モデルが上からの正投影を介して平坦化される。
【0040】
図２は、ペイロードロボットの積荷フットプリントを協働して決定するためのシステムの構成要素を例示する模式図である。いくつかの実施形態では、ペイロードロボット１００は、未知の積荷がペイロードプラットフォーム１０６に置かれた後でペイロードロボットのフットプリントの走査を要求する。いくつかの例では、ペイロードロボット１００は、ピアツーピアネットワークを通して走査要求を伝達する。走査ロボット３００は、この要求を受信し、そして走査ロボット３００に直接応答する。いくつかの他の例では、ペイロードロボットは、サーバ５００へ走査要求を伝達する。順に、サーバ５００は、ペイロードロボット１００の走査要求、識別番号、および場所を同報通信する。サーバ５００は、いずれのタスクも現在引き受けていない近くのいずれかの走査ロボットの検索を行う。サーバ５００は、ある走査ロボット（例えば、走査ロボット３００）を選択し、そして走査を行うように走査ロボットに通知する。
【0041】
図２に描かれたように、計算システム４００は、センサインターフェース４１０、少なくとも１つのプロセッサ４２０、メモリ４３０、バス４４０、無線通信トランシーバ４５０、および制御されたデバイスインターフェース４６０を含む。センサインターフェース４１０、プロセッサ４２０、メモリ４３０、無線通信トランシーバ４５０、および制御されたデバイスインターフェース４６０は、バス４４０を通して通信するように構成される。
【0042】
センサインターフェース４１０は、アナログ－デジタル変換（ＡＤＣ）電子機器４１１を含む。加えて、いくつかの実施形態では、センサインターフェース４１０は、デジタル入力／出力インターフェース４１２を含む。いくつかの他の実施形態では、センサインターフェース４１０は、センサから測定データを受信するためにセンサと通信するように構成された無線通信トランシーバ（図示せず）を含む。
【0043】
図２に描かれたように、ＡＤＣ４１１は、距離センサ３０１から信号３０３を受信するように構成される。ＡＤＣ４１１は、アナログ信号３０３を、デジタル記憶およびさらなるデジタル処理のために適した等価なデジタル信号へと変換するようにさらに構成される。ＡＤＣ４１１は、得られるデジタル信号が着信アナログ信号の適切で正確な表現である（すなわち、数値化誤差および時間離散化誤差が許容可能な誤差レベル内である）ことを確実にするように選択される。いくつかの他の実施形態では、距離センサ３０１は、オンボードの信号取込み能力および処理能力を含む。これらの実施形態では、距離データは、計算システム４００へデジタルで伝達される。
【0044】
図２に描かれたように、デジタルＩ／Ｏ４１２は、画像取込みデバイス３０２からデジタル信号３０４を受信するように構成される。この例では、画像取込みデバイス３０２は、取り込んだ画像を示すデジタル信号３０４を発生させるためのオンボード電子機器を含む。このようにして、計算システム４００は、アナログセンサおよびデジタルセンサの両方とインターフェースで接続されるように構成される。一般に、本明細書において説明するセンサのうちのいずれかを、デジタルセンサまたはアナログセンサとすることができ、そして適切なインターフェースによって計算システム４００に通信可能に結合することができる。
【0045】
制御されたデバイスインターフェース４６０は、適切なデジタルアナログ変換（ＤＡＣ）電子機器を含む。加えて、いくつかの実施形態では、制御されたデバイスインターフェース４６０は、デジタル入力／出力インターフェースを含む。いくつかの他の実施形態では、制御されたデバイスインターフェース４６０は、制御信号の送信を含め、デバイスと通信するように構成された無線通信トランシーバを含む。
【0046】
図２に描かれたように、制御されたデバイスインターフェース４６０は、走査ロボット３００を、例えば、所望の走行経路に沿って移動させる１または複数の車両アクチュエータ３０５へ制御コマンド３０６を送信するように構成される。
【0047】
メモリ４３０は、ペイロードロボット１００の幾何学的モデルを推定するために走査ロボット３００によって利用されるセンサデータを記憶するある量のメモリ４３１を含む。メモリ４３０はまた、プロセッサ４２０により実行されるときに、本明細書において説明したようなペイロードスキャニングタスク実行機能をプロセッサ４２０に実施させるプログラムコードを記憶するある量のメモリ４３２も含む。
【0048】
いくつかの例では、プロセッサ４２０は、センサインターフェース４１０によって発生されたデジタル信号をメモリ４３０へと記憶するように構成される。加えて、プロセッサ４２０は、メモリ４３０に記憶されたデジタル信号を読み出すように、そして無線通信トランシーバ４５０へデジタル信号を送信するように構成される。いくつかの実施形態では、無線通信トランシーバ４５０は、計算システム４００から無線通信リンクを通してサーバ５００、計算システム２００、または外部計算デバイス（図示せず）へデジタル信号を伝達するように構成される。図２に描かれたように、無線通信トランシーバ４５０は、アンテナ４５１を介して無線周波数信号４５２を送信する。無線周波数信号４５２は、計算システム４００から外部計算デバイスへ伝達されるべきデジタル信号を示すデジタル情報を含む。１つの例では、コンピュータシステム２００によって生成されたセンサデータは、センサデータに基づいてペイロードロボット１００を走査しそして幾何学的モデルを生成する目的でサーバ５００、計算システム２００、または外部計算システム（図示せず）へ伝達される。
【0049】
いくつかの実施形態では、無線通信トランシーバ４５０は、無線通信リンクを通してサーバ５００、計算システム２００、または外部計算デバイス（図示せず）からデジタル信号を受信するように構成される。無線周波数信号４５３は、サーバ５００、計算システム２００、または外部計算システム（図示せず）から計算システム４００へ伝達されるべきデジタル信号を示しているデジタル情報を含む。
【0050】
図２に描かれたように、サーバ５００は、少なくとも１つのプロセッサ５２０、メモリ５３０、バス５４０、および無線通信トランシーバ５５０を含む。プロセッサ５２０、メモリ５３０、および無線通信トランシーバ５５０は、バス５４０を通して通信するように構成される。
【0051】
いくつかの実施形態では、メモリ５３０は、走査ロボット３００によって走査されたセンサデータ、ペイロードロボット１００の幾何学的モデルに関連するメッシュデータ等を記憶するある量のメモリ５３１を含む。メモリ５３０はまた、プロセッサ５２０によって実行されるときに、本明細書において説明したような走査ロボット３００により集められたセンサデータに基づいてペイロードロボット１００の幾何学的モデルをプロセッサ５２０に生成させるプログラムコードを記憶するある量のメモリ５３２も含む。
【0052】
いくつかの例では、プロセッサ５２０は、計算システム４００および２００から受信するデジタル信号をメモリ５３０へと記憶するように構成される。加えて、プロセッサ５２０は、メモリ５３０に記憶されたデジタル信号を読み出すように、そして無線通信トランシーバ５５０へデジタル信号を送信するように構成される。いくつかの実施形態では、無線通信トランシーバ５５０は、サーバ５００から無線通信リンクを通して計算システム４００、計算システム２００、または外部計算デバイス（図示せず）へデジタル信号を伝達するように構成される。図２に描かれたように、無線通信トランシーバ５５０は、アンテナ５５１を介して無線周波数信号５５２を送信する。無線周波数信号５５２は、サーバ５００から計算システム４００、計算システム２００、外部計算デバイス、等、へ伝達されるべきデジタル信号を示すデジタル情報を含む。
【0053】
いくつかの実施形態では、無線通信トランシーバ５５０は、無線通信リンクを通して計算システム４００、計算システム２００、または外部計算デバイス（図示せず）からデジタル信号を受信するように構成される。無線周波数信号５５３は、計算システム４００、計算システム２００、または外部計算システム（図示せず）からサーバ５００へ伝達されるべきデジタル信号を示しているデジタル情報を含む。
【0054】
いくつかの実施形態では、ペイロードロボット１００を走査することおよび幾何学的モデルを構築することは、計算システム４００によって実行され、そしてサーバ５００は、メッシュデータを計算システム４００から計算システム２００へ単純に伝達するように働く。あるいは、計算システム４００および２００は、直接通信し、そしてサーバ５００はまったく利用されない。しかしながら、いくつかの実施形態では、サーバ５００は、走査ロボット３００によって生成された画像データおよび距離データからペイロードロボット１００の幾何学的モデルを生成するために必要な計算のうちの一部またはすべてを行うために利用される。
【0055】
図３および図４は、１つの実施形態における、それぞれペイロードロボットシステム１００の側面図および上面図を描いている。ペイロードロボットシステム１００は、車両１０１のフレーム１０３に取り付けられた１または複数の作動型車輪（actuated wheel）（例えば、作動型車輪１０２Ａ～１０２Ｄ）を有する車輪付きロボット車両１０１を含む。いくつかの実施形態では、車輪付きロボット車両１０１は、ｘｙ平面内の任意の方向に移動することおよびｚ軸に平行な任意の軸の周りを回転することが可能である全方向ロボット車両である。これらの実施形態のうちのいくつかでは、車輪付きロボット車両１０１がまた、ホロノミックであり、したがって独立してｘｙ平面内を移動することおよびｚ軸に平行な任意の軸の周りを回転することが可能である。いくつかの実施形態では、１または複数の作動型車輪は、メカナムホイール、全方向ホイール、またはこれらの任意の組み合わせを含む。１つの実施形態では、車輪付きロボット車両１０１は、ダイレクトドライブの４つのメカナムホイールを利用する。計算システム２００は、車輪付きロボット車両をｘｙ平面内の所望の方向に移動させそしてｚ軸に平行な所望の軸の周りを回転させる車輪付きロボット車両の作動型車輪へ制御コマンドを伝達する。
【0056】
図３および図４に描かれたように、協働ロボットシステム１００はまた、ペイロード１１０を搬送するように構成されたペイロードプラットフォーム１０６も含む。いくつかの実施形態では、ペイロードロボットシステム１００は、フレームおよびペイロードプラットフォームに取り付けられた１または複数のペイロードプラットフォームアクチュエータ（図示せず）を含む。ペイロードプラットフォームアクチュエータは、ペイロードプラットフォームの積荷搬送面に垂直な方向にペイロードプラットフォームを移動させるように構成される。このようにして、ペイロードロボットシステム１００は、様々な輸送タスクの必要条件を満足するようにペイロードプラットフォーム１０６の高さを調節することが可能である。
【0057】
図３に描かれたように、ペイロードロボットシステム１００は、荷重センサ（例えば、荷重センサ１０４Ａ～１０４Ｄ）を含む。図３に描かれた実施形態では、荷重センサ１０４Ａ～１０４Ｄは、ペイロードプラットフォーム１０６およびフレーム１０３に結合される。一般に、荷重センサ１０４Ａ～１０４Ｄを、ペイロードプラットフォーム１０６と作動型車輪（例えば、作動型車輪１０２Ａ～１０２Ｄ）との間の荷重経路内の任意の適切な場所に設置することができる。荷重センサは、ペイロードプラットフォーム上の荷重の分布を解析するために利用される。
【0058】
いくつかの実施形態では、協働ロボットシステム１００の荷重センサは、ペイロードプラットフォームの積載面に平行な面内の力を測定する。図３および図４に描かれた実施形態では、荷重センサ１０４Ａ～１０４Ｄは、ｘｙ平面に平行な平面内の力を測定する。荷重センサ１０４Ａ～１０４Ｄによって生成された信号は、さらなる処理のために計算システム２００へ伝達される。
【0059】
いくつかの実施形態では、ペイロードロボットシステムは、ロボットシステムまでの物体の近接度を推定するように構成された１または複数の近接センサを含む。一般に、ペイロードロボットシステム１００は、いずれかの適切なタイプの近接センサを含む。非限定的な例として、ペイロードロボットシステム１００は、容量センサ、ドップラ効果センサ、渦電流センサ、誘導センサ、磁気センサ、光学センサ、光電センサ、光電セルセンサ、レーザ距離計センサ、受動型センサ（例えば、電荷結合デバイス）、受動型熱赤外線センサ、レーダセンサ、イオン化放射線の反射に基づくセンサ、ソナーに基づくセンサ、超音波センサ、光ファイバセンサ、ホール効果センサ、またはこれらの任意の組み合わせなどの近接センサを含み得る。いくつかの実施形態では、近接センサは、ロボットシステム１００の周囲に沿って（例えば、ロボットシステム１００の前面、側面、背面、またはこれらの任意の組み合わせに沿って）配置された三次元センサ（例えば、三次元ＬＩＤＡＲセンサ、ステレオカメラ、タイムオブフライトカメラ、単眼深度（depth）カメラ、等）を含む。いくつかの実施形態では、ＲＧＢカラー情報が、ロボットシステム１００に対する物体の近接度を推定するために深度（depth）データとともに利用される。
【0060】
ペイロードロボットシステム１００の近接センサを、いずれかの適切な方式で車輪付きロボット車両１０１に結合することができる。いくつかの例では、近接センサは、フレーム１０３に結合される。図３および図４に描かれた実施形態では、近接センサ１０４Ａ～１０４Ｄは、ペイロードプラットフォーム１０６に結合される。近接センサ１０５Ａ～１０５Ｄによって生成された信号は、さらなる処理のために計算システム２００へ伝達される。
【0061】
いくつかの実施形態では、ペイロードロボットシステム１００は、さらにロボットシステムまでの物体の近接度を推定するようにも構成された１または複数の画像取込みデバイス（例えば、電荷結合デバイス（ＣＣＤ）カメラ、相補型金属オンシリコン（ＣＭＯＳ）カメラ、等）を含む。画像取込みデバイスにより生成された信号は、さらなる処理のために計算システム２００へ伝達される。
【0062】
図４は、ペイロードロボットシステム１００の車輪付きロボット車両１０１およびペイロードプラットフォーム１０６の上面図を描いている。図４に描かれたように、車輪付きロボット車両１０１は、作動型駆動輪（actuated drive wheel）１０２Ａ～１０２Ｄを含む。作動型駆動輪１０２Ａ～１０２Ｄの各々の相対角速度は、車輪付きロボット車両１０１の走行経路の方向および走行経路に沿った速度の両方を制御する。計算システム２００により生成された信号は、作動型駆動輪１０２Ａ～１０２Ｄへ伝達され、これが作動型駆動輪に所望の速度で所望の走行経路に沿って車輪付きロボット車両１０１を移動させる。
【0063】
いくつかの他の実施形態では、車輪付きロボット車両１０１の１または複数の車輪は、多数の軸の周りを回転することが自由である受動車輪である。これらの実施形態では、受動車輪は、地表面に垂直な荷重を支持するように主に機能し、一方で、作動型駆動輪の回転が車輪付きロボット車両１０１の走行経路を規定する。いくつかの他の実施形態では、地表面に垂直な軸の周りの１または複数の受動車輪の向きが、積極的に制御される。これらの実施形態では、これらの操舵車輪（steering wheel）もまた、車輪付きロボット車両１０１の走行経路の方向を制御するように機能する。いくつかの他の実施形態では、地表面に垂直な軸の周りの操舵車輪の回転および操舵車輪の向きの両方が、積極的に制御される。これらの実施形態では、操舵車輪は、車輪付きロボット車両１０１の走行経路の方向および走行経路に沿った速度の両方を制御するように機能する。
【0064】
図５は、計算システム２００、プラットフォーム荷重検知デバイス１０４、車輪検知デバイス１０７（例えば、各々の作動型車輪に設置されたエンコーダ、車輪速度センサ、等）、近接度検知デバイス１０５、画像取込みデバイス１０８、および車輪アクチュエータ１０２を含め、ロボットシステム１００の構成要素を説明する図である。図５に描かれた実施形態では、計算システム２００は、有線通信リンクによってプラットフォーム荷重検知デバイス１０４、車輪検知デバイス１０７（例えば、各々の作動型車輪に設置されたエンコーダ）、近接度検知デバイス１０５、画像取込みデバイス１０８、および車輪アクチュエータ１０２に通信可能に結合される。しかしながら、一般に、計算システム２００を、有線通信リンクまたは無線通信リンクのいずれかによって本明細書において説明されるセンサおよびデバイスのうちのいずれかに通信可能に結合することができる。
【0065】
一般に、協働作業者と音響的に、視覚的に、および物理的に相互に作用するセンサおよびデバイスを含め協働ロボットシステム１００に取り付けられた任意の数のセンサおよびデバイスもまた、計算システム２００に通信可能に結合することができる。
【0066】
図５に描かれたように、計算システム２００は、センサインターフェース２１０、少なくとも１つのプロセッサ２２０、メモリ２３０、バス２４０、無線通信トランシーバ２５０、および制御されたデバイスインターフェース２６０を含む。センサインターフェース２１０、プロセッサ２２０、メモリ２３０、無線通信トランシーバ２５０、および制御されたデバイスインターフェース２６０は、バス２４０を通して通信するように構成される。
【0067】
センサインターフェース２１０は、アナログ－デジタル変換（ＡＤＣ）電子機器２１１を含む。加えて、いくつかの実施形態では、センサインターフェース２１０は、デジタル入力／出力インターフェース２１２を含む。いくつかの他の実施形態では、センサインターフェース２１０は、センサから測定データを受信するためにセンサと通信するように構成された無線通信トランシーバ（図示せず）を含む。
【0068】
図５に描かれたように、ＡＤＣ２１１は、画像取込みデバイス１０８から信号２０２を受信するように構成される。もう１つの非限定的な例では、ＡＤＣ２１１は、近接度検知デバイス１０５から信号２０３を受信するように構成される。もう１つの非限定的な例では、ＡＤＣ２１１は、プラットフォーム荷重検知デバイス１０４から信号２０４を受信するように構成される。ＡＤＣ２１１は、アナログ信号２０２～２０４を、デジタル記憶およびさらなるデジタル処理のために適した等価なデジタル信号へと変換するようにさらに構成される。ＡＤＣ２１１は、得られるデジタル信号が着信アナログ信号の適切で正確な表現である（すなわち、量子化誤差および時間離散化誤差が許容可能な誤差レベル内である）ことを確実にするように選択される。いくつかの他の実施形態では、画像取込みデバイス１０８、近接度検知デバイス１０５、およびプラットフォーム荷重検知デバイス１０４は、オンボードの信号取得および処理能力を含む。これらの実施形態では、画像データ、近接度データ、および荷重データは、計算システム２００へデジタルで伝送される。
【0069】
図５に描かれたように、デジタルＩ／Ｏ２１２は、車輪検知デバイス１０７からデジタル信号２０１を受信するように構成される。この例では、車輪検知デバイス１０７は、車輪付きロボット１０１の各々の作動型車輪の測定した変位、速度、等を示すデジタル信号２０１を生成するためのオンボード電子機器を含む。このようにして、計算システム２００は、アナログセンサおよびデジタルセンサの両方とインターフェースで接続されるように構成される。一般に、本明細書において説明するセンサのうちのいずれかを、デジタルセンサまたはアナログセンサとすることができ、そして適切なインターフェースによって計算システム２００に通信可能に結合することができる。
【0070】
制御されたデバイスインターフェース２６０は、適切なデジタルアナログ変換（ＤＡＣ）電子機器を含む。加えて、いくつかの実施形態では、制御されたデバイスインターフェース２６０は、デジタル入力／出力インターフェースを含む。いくつかの他の実施形態では、制御されたデバイスインターフェース２６０は、制御信号の伝送を含め、デバイスと通信するように構成された無線通信トランシーバを含む。
【0071】
図５に描かれたように、制御されたデバイスインターフェース２６０は、協働ロボットシステム１００を、例えば、所望の走行経路に沿って移動させる１または複数の車輪アクチュエータ１０２へ制御コマンド２０５を伝送するように構成される。もう１つの非限定的な例では、制御されたデバイスインターフェース２６０は、スピーカに協働作業者と音響的に通信させるスピーカなどのオーディオ出力デバイスへコマンド信号（図示せず）を伝送するように構成される。さらにもう１つの非限定的な例では、制御されたデバイスインターフェース２６０は、画像ディスプレイデバイスに協働作業者と視覚的に通信させる画像ディスプレイデバイスへディスプレイ信号（図示せず）を伝送するように構成される。一般に、オーディオ／ビジュアル入力および出力デバイスの任意の組み合わせが、本明細書において説明したような協働タスク実行を容易にするために、協働ロボットシステム１００と協働作業者との間の自然言語通信インターフェースを実装するために考えられることがある。
【0072】
メモリ２３０は、協働作業者とタスクを協働して実行しながら環境をナビゲートするために協働ロボットシステム１００によって利用されるセンサデータを記憶するある量のメモリ２３１を含む。メモリ２３０はまた、プロセッサ２２０により実行されるときに、本明細書において説明したような幾何学的モデルに基づいて障害物回避を含めペイロード輸送タスク実行機能をプロセッサ２２０に実行させるプログラムコードを記憶するある量のメモリ２３２も含む。
【0073】
いくつかの例では、プロセッサ２２０は、センサインターフェース２１０によって生成されたデジタル信号をメモリ２３０へと記憶するように構成される。加えて、プロセッサ２２０は、メモリ２３０に記憶されたデジタル信号を読み出すように、そして無線通信トランシーバ２５０へデジタル信号を送信するように構成される。いくつかの実施形態では、無線通信トランシーバ２５０は、計算システム２００から無線通信リンクを通して外部計算デバイス（図示せず）へデジタル信号を伝送するように構成される。図５に描かれたように、無線通信トランシーバは、アンテナ２５１を介した無線周波数信号２５２を送信する。無線周波数信号２５２は、計算システム２００から外部計算デバイスへ伝達されるべきデジタル信号を示すデジタル情報を含む。１つの例では、コンピュータシステム２００によって生成されたセンサデータは、センサデータに基づいてロボットシステム１００をモニタし向きを変える目的で外部計算システム（図示せず）へ伝達される。
【0074】
いくつかの実施形態では、無線通信トランシーバ２５０は、無線通信リンクを通して外部計算デバイス（図示せず）からデジタル信号を受信するように構成される。無線周波数信号２５３は、外部計算システム（図示せず）から計算システム２００へ伝達されるべきデジタル信号を示しているデジタル情報を含む。１つの例では、外部計算システム（例えば、計算システム４００または計算システム５００）によって生成されたペイロードを積載したロボットシステム１００の幾何学的メッシュモデルが、ロボットシステム１００による実施のためにコンピュータシステム２００へ伝達される。いくつかの例では、外部計算システムは、協働ロボットシステム１００にはそうでなければ利用できない追加のセンサデータ（例えば、画像データ）にアクセスする。この追加のセンサデータは、例えば、協働ロボットシステム１００の視野内にはない障害物を避けるために、協働ロボットシステム１００の走行経路を更新するために外部計算システムによって利用される。
【0075】
１つの例では、ロボットシステム１００は、混雑した環境（例えば、事務所）を通って大きな物体（例えば、机）を搬送するために協働作業者と作業する。図６Ａ～図６Ｄは、物体１２５を含んでいる混雑した環境を通って協働作業者１２０と机１３０を協働して移動するロボットシステム１００の図を描いている。
【0076】
図６Ａに描かれたように、ロボットシステム１００は、そのペイロードプラットフォーム上で机１３０の一部分を搬送し、そして協働作業者１２０が机１３０の残りの部分を搬送する。図６Ａに描かれたシナリオでは、ロボットシステム１００および協働作業者１２０は、Ｙ方向に（すなわち、図面ページを横切って右から左へ）机１２５を移動する。協働作業者１２０は、ＸＹ平面に平行な平面内で机１３０に力を加えることによって一般的なナビゲーション命令を与える。ロボットシステム１００は、荷重センサ１０４Ａ～１０４Ｄから受信される力信号に基づいて、協働作業者１２０によってＸＹ平面に平行な平面内でペイロードに加えられた力を測定する。計算システム２００は、ＸＹ平面に平行な平面内で協働作業者によってペイロードに加えられた測定した力ベクトルの方向である所望の移動方向を決定する。例えば、ＸＹ平面に平行な平面内で机１３０に加えられた力がＹ方向に合わせられる場合には、ロボットシステム１００は、所望の移動方向がＹ方向になると決定する。しかしながら、ＸＹ平面に平行な平面内で机１３０に加えられた力がＸ方向に合わせられる場合には、ロボットシステム１００は、所望の移動方向がＸ方向に合わせられると決定する。
【0077】
例えば、図６Ａに描かれたように、協働作業者１２０は、Ｙ方向に合わせた方向に机１３０に横方向の力を加える。このとき、ロボットシステム１００は、Ｙ方向に移動することにより応じる。しかしながら、図６Ｂに描かれたように、協働作業者１２０は、Ｘ成分およびＹ成分の両方を含む方向に机１３０に力を加える。このとき、ロボットシステム１００は、協働作業者１２０によって机１３０に加えられた力に合わせた方向に移動することによって応じる。
【0078】
図６Ｂおよび図６Ｃに描かれたように、協働作業者１２０によって机１３０に加えられた力（すなわち、ナビゲーショナルキュー（navigational cue））は、物体１２５との衝突コースに机１３０を導く。
【0079】
もう１つの態様では、ロボットシステム１００は、環境内の物体と、ロボットシステム自体、協働作業者、共有ペイロード、またはこれらの任意の組み合わせのうちのいずれかとの間の衝突を避けるために協働作業者のナビゲーショナルキューを無視（override）する。
【0080】
図６Ａ～図６Ｄに描かれたように、ロボットシステム１００は、近接センサ１０５Ａ～１０５Ｄ、画像取込みデバイス１０８、またはこれらの組み合わせからのフィードバックに基づいてロボットシステム１００、共有ペイロード、および協働作業者に対する周囲の環境の物体の位置をモニタする。図６Ａ～図６Ｄに描かれた実施形態では、ロボットシステム１００は、ロボットシステム１００、共有ペイロード１３０、および協働作業者１２０の周りに保持された２つの仮想境界１３５および１４０に対して物体１２５の測定した位置を比較する。仮想境界１３５は、「ハード」境界と考えられる、すなわち、ロボットシステム１００は、周囲の環境の物体が仮想境界１３５に入り込むことを認めるはずのいずれの位置へもナビゲートすべきではない。仮想境界１４０は、「ソフト」境界と考えられる、すなわち、ロボットシステム１００は、仮想境界１４０内の周囲の環境の物体の侵入（penetration）を減らす位置へナビゲートすべきである。
【0081】
さらなる態様では、仮想境界１３５および１４０は、本明細書において説明したような協働走査ロボットによって決定されるロボットシステム１００、ペイロード１１０、および協働作業者１２０の幾何学的モデルに基づいて規定される。いくつかの例では、仮想境界は、幾何学的モデルによって規定されるロボットシステム１００、共有ペイロード１３０、および協働作業者１２０のモデル化した寸法からの所定のしきい値距離の値によって規定される。仮想境界１４０は、仮想境界１３５よりも大きなセットの所定のしきい値距離の値によって規定される。
【0082】
物体１２５が仮想境界１４０の外であることをロボットシステム１００が判断するときには、ロボットシステム１００は、障害物回避対策を取らない。これらのときには、ロボットシステム１００は、荷重センサ１０４Ａ～１０４Ｄによって測定されるような協働作業者１２０によって机１３０に加えられた力によって決定されるように、協働作業者１２０によって望まれる移動方向に沿って車輪付きロボット車両１０１を移動させる車輪付きロボット車両１０１の作動型車輪１０２Ａ～１０２Ｄへコマンド信号を伝達する。これらのときには、ロボットシステム１００の速度ベクトル、
は、式（１）により示されたように、協働作業者１２０により指示されたような所望の速度ベクトル、
に等しい。
【数1】
【数2】
【数3】
【0083】
しかしながら、物体１２５が仮想境界１４０を侵害（impinge）し始めると、ロボットシステム１００は、違ったふうに振る舞う。むしろ、協働作業者１２０により提供されるナビゲーショナルキューに完全に従うよりも、ロボットシステム１００は、物体１２５との衝突を避けるために望まれた経路を修正する。いくつかの実施形態では、式（２）により示されるような比例制御アルゴリズムが利用される、
【数4】
【0084】
ここでは、
が協働作業者１２０により指示された所望の速度であり、ｄＯＢが物体１２５と仮想境界１３５との間の最も近い距離であり、ｄｂｕｆｆｅｒが仮想境界１４０の中への物体１２５の最も深い侵害の場所における仮想境界１３５と１４０との間の距離であり、
がロボットシステム１００の経路を制御するためにロボットシステム１００により実装される修正した速度ベクトルであり、
が仮想境界１３５と１４０との間のバッファゾーンに当たる物体１２５の表面の法線に沿った単位ベクトルであり、そしてＫｐが、一定値（すなわち、式（２）により示される制御法則に関係する比例ゲイン）である。一般に、Ｋｐは、安定性を維持するためおよび仮想境界１３５によって規定される障害物までの最小の許容される距離よりも近くに物体１２５をロボットシステム１００がナビゲートすることを可能にすることを避けるためにオーバーダンプされたシステム応答という結果になるように選択されるべきである。いくつかの実施形態では、ｄｂｕｆｆｅｒの値、すなわち、仮想境界１３５および１４０によって規定されるバッファゾーンの深さが、ベクトル、
の方向にロボットシステム１００の速度でスケーリングされる。このようにして、ロボットシステム１００が比較的速い速度で物体１２５に近付いている場合には、バッファゾーンの深さは、物体１２５を迂回してナビゲートするための時間を提供するために大きくされる。同様に、ロボットシステム１００が比較的遅い速度で物体１２５に近付いている場合には、バッファゾーンの深さは、協働作業者１２０により提供されるナビゲーショナルキューをロボットシステム１００が無視せずに協働作業者１２０が物体１２５のより近くに机１３０を移動させることを可能にするために小さくされる。
【数5】
【数6】
【数7】
【数8】
【0085】
図７は、式（２）により示された制御法則を図示している。図７に図示された事例において、物体１２５は、仮想境界１４０を侵害している。侵害の大きさは、バッファ距離、Ｄｂｕｆｆｅｒ、と、物体１２５と仮想境界１３５との間の距離、ＤＯＢ、との間の差で
ある。協働作業者１２０により指示された所望の速度、Ｖｄｅｓｉｒｅｄ、は、物体１２５が仮想境界１３５と１４０との間のバッファゾーンを侵害する物体１２５の表面に垂直な方向、Ｖｘ、の成分および物体１２５が仮想境界１３５と１４０との間のバッファゾーンを侵害する物体１２５の表面に接する方向、Ｖｙ、の成分を含む。衝突を避けるためには、ＶｄｅｓｉｒｅｄのＶｙ成分は、重要ではない、しかしロボットシステム１００は、例えば、式（２）に示された制御法則により示されるように、ＶｄｅｓｉｒｅｄのＶｘ成分を打ち消す修正した制御速度、Ｖｍｏｄ、を決定する。
ある。協働作業者１２０により指示された所望の速度、Ｖｄｅｓｉｒｅｄ、は、物体１２５が仮想境界１３５と１４０との間のバッファゾーンを侵害する物体１２５の表面に垂直な方向、Ｖｘ、の成分および物体１２５が仮想境界１３５と１４０との間のバッファゾーンを侵害する物体１２５の表面に接する方向、Ｖｙ、の成分を含む。衝突を避けるためには、ＶｄｅｓｉｒｅｄのＶｙ成分は、重要ではない、しかしロボットシステム１００は、例えば、式（２）に示された制御法則により示されるように、ＶｄｅｓｉｒｅｄのＶｘ成分を打ち消す修正した制御速度、Ｖｍｏｄ、を決定する。
【0086】
図６Ｃおよび図６Ｄに描かれたように、ロボットシステム１００は、物体１２５から離れるようロボットシステム１００および机１３０をナビゲートするために修正した制御速度を実行する。一般に、周囲の環境の物体、例えば、物体１２５、は、地面に対して静止していても動いていてもよい。
【0087】
いくつかの実施形態では、協働作業者１２０は、ペイロード１３０の輸送には関係しない。これらの実施形態では、ロボットシステム１００は、その全体のペイロード１３０を搬送し、そしてペイロード１３０を有する周囲の環境をナビゲートする。これらの実施形態では、ペイロード１３０を積載したロボットシステム１００の幾何学的モデルが、本明細書において説明したように決定され、そしてロボットシステム１００が、仮想境界を規定するためおよび本明細書において説明したような障害物回避を実行するためにこのモデルを利用する。これらの実施形態では、ロボットシステム１００は、協働作業者からの影響を受けずに走行経路を規定する。しかしながら、ロボットシステム１００は、本明細書において説明したように周囲の環境の物体（例えば、物体１２５）による仮想境界（例えば、仮想境界１４０）の侵害に基づいて障害物を避けるためにそれ自体の走行経路を修正する／更新する。
【0088】
図８は、本明細書において説明したような協働ロボットシステムによる実装のために適した方法６００のフローチャートを図示する。いくつかの実施形態では、図１～図２を参照して説明した協働ロボットシステムは、図８に図説された方法６００にしたがって動作可能である。しかしながら、一般に、方法６００の実行は、図１～図２を参照して説明した協働ロボットシステムの実施形態に限定されない。これらの図および対応する説明は、多くの他の実施形態および動作例がこの発明文書の範囲内で考えられるので例として提供される。
【0089】
ブロック６０１では、第１のロボット車両が、ペイロードを積載した第２のロボット車両の周りの命令された経路に沿って移動する。
【0090】
ブロック６０２では、第１のロボット車両から第２のロボット車両までの距離のシーケンスは、第１のロボット車両が命令された経路を通過するときに測定される。
【0091】
ブロック６０３では、第２のロボット車両の画像のシーケンスは、第２のロボット車両が命令された経路を通過するときに第１のロボット車両から集められる。
【0092】
ブロック６０４では、第２のロボット車両は、集められた画像に基づいて第１のロボット車両に対して空間的に配置される。
【0093】
ブロック６０５では、第２のロボット車両に固定された座標フレームに対してペイロードを積載した第２のロボット車両の複数の幾何学的特徴点の各々の位置が、集められた画像および測定された距離に基づいて特定される。
【0094】
ブロック６０６では、複数の幾何学的特徴点が、ペイロードを積載した第２のロボット車両の幾何学的モデルを生成するためにメッシュ化される。
【0095】
ブロック６０７では、幾何学的モデルが、第２のロボット車両へ伝達される。
【0096】
計算システム２００、４００、および５００は、限定されないが、パーソナルコンピュータシステム、メインフレームコンピュータシステム、ワークステーション、画像コンピュータ、並列プロセッサ、または本技術で知られているいずれかの他の計算デバイスを含み得る。一般に、「計算システム」という用語は、メモリ媒体からの命令を実行する１または複数のプロセッサを有する任意のデバイスまたは複数のデバイスの組み合わせを包含するように広く規定されてもよい。一般に、計算システム２００、４００、および５００は、ロボットシステム１００および３００などのロボットとともに集積されることがある、あるいは、いずれかのロボットから完全にまたは一部が分離されてもよい。この点で、計算システム２００、４００、および５００は、遠くに設置され、そしてデータを受信し、データを送信し、かつロボットシステム１００および３００のいずれかの構成要素へコマンド信号を送信する。
【0097】
１または複数の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせに実装されることがある。ソフトウェアに実装される場合には、機能は、コンピュータ可読媒体に記憶されることがある、または１または複数の命令もしくはコードとしていたるところに送信されることがある。コンピュータ可読媒体は、コンピュータ記憶媒体および１つの場所から別の場所へのコンピュータプログラムの伝送を容易にするいずれかの媒体を含んでいる通信媒体の両方を含む。記録媒体を、汎用コンピュータまたは専用コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。例として、そして限定ではなく、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、あるいは命令もしくはデータ構造の形態で所望のプログラムコード手段を搬送するもしくは記憶するために使用することができそして汎用コンピュータもしくは専用コンピュータまたは汎用プロセッサもしくは専用プロセッサによりアクセスされ得る任意の他の媒体を含むことができる。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、撚線対、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、そのときには、同軸ケーブル、光ファイバケーブル、撚線対、ＤＳＬ、または赤外線、無線、およびマイクロ波などの無線技術が、媒体の定義に含まれる。ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、本明細書において使用されるように、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタルバーサタイルディスク（ＤＶＤ）、フロッピディスク、およびブルーレイディスクを含み、ここでは、ディスク（ｄｉｓｋ）は通常磁気的にデータを再生し、一方でディスク（ｄｉｓｃ）はレーザを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【0098】
ある種の具体的な実施形態が教育的な目的で上に説明されているが、この特許文書の教示は、汎用的な適用可能性を有し、そして上に説明した具体的な実施形態に限定されない。したがって、説明した実施形態の様々な特徴の様々な変形、改造、および組み合わせを、特許請求の範囲に記述されたような発明の範囲から逸脱せずに実行することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
