特表 2022-538370 ロボットのタスクに力のベクトルを割り当てるための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-01

(54)【発明の名称】ロボットのタスクに力のベクトルを割り当てるための方法及びシステム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20220825BHJP

   G05B 19/42 20060101ALI20220825BHJP

【ＦＩ】

B25J9/22 Z

G05B19/42 D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022516078

(86)(22)【出願日】2020-08-20

(85)【翻訳文提出日】2022-05-02

(86)【国際出願番号】 US2020047132

(87)【国際公開番号】W WO2021050232

(87)【国際公開日】2021-03-18

(31)【優先権主張番号】62/900,143

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/692,272

(32)【優先日】2019-11-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518102470

【氏名又は名称】トヨタ リサーチ インスティテュート，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ジョシュ ピーターソン

【テーマコード（参考）】

3C269

3C707

【Ｆターム（参考）】

3C269AB33

3C269BB09

3C269SA14

3C269SA31

3C707BS12

3C707CS08

3C707DS01

3C707JU03

3C707KS33

3C707KS39

3C707KT02

3C707KT03

3C707KT04

3C707LS15

3C707LW12

3C707WA16

3C707WL07

3C707WM07

(57)【要約】

開示するシステムは、環境の仮想現実表現を生成するように構成された電子コントローラを含む。電子コントローラは、環境の仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成し、力のパラメータを構成するためのオプションがメニュの少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定するように構成される。電子コントローラは、仮想ロボット操作タスクのために力のパラメータを構成するよう促すプロンプトをユーザーへ発し、力のパラメータを構成するためのプロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を仮想ロボット操作タスクに割り当てるように構成される。
【選択図】図３

【特許請求の範囲】

【請求項1】

システムであって、
環境の仮想現実表現を生成し、
前記環境の前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するよう促すプロンプトをユーザーへ発し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てる、
ように構成された電子コントローラ、
を備える、システム。

【請求項2】

前記電子コントローラは、
画像捕捉機器から前記環境の画像データを受信し、
画像化機器から前記環境に対応する奥行情報を受信し、
前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成する、
ように構成される、請求項１に記載のシステム。

【請求項3】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定する、請求項１に記載のシステム。

【請求項4】

前記電子コントローラは、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信するように構成される、請求項１に記載のシステム。

【請求項5】

前記電子コントローラは、
入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信し、
前記入力デバイスから前記力のパラメータを構成するための前記プロンプトからの前記入力を受信する、
ように構成される、請求項１に記載のシステム。

【請求項6】

システムであって、
環境の仮想現実表現を表示し、
前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを表示し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するようにユーザーに命令するプロンプトを表示し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方の前記仮想ロボット操作タスクへの割当てを示す信号を送信する、
ように構成された電子コントローラ、
を備える、システム。

【請求項7】

前記プロンプトを表示することは、更に、
力の規模を示すように構成された力の規模要素と、
力の方向を示すように構成された力の方向要素と、
を表示することを含む、請求項６に記載のシステム。

【請求項8】

前記プロンプトから受信した前記入力は、更に、
入力デバイスを使用する前記力の規模要素との第１対話と、
前記入力デバイスを使用する前記力の方向要素との第２対話と、
を含む、請求項７に記載のシステム。

【請求項9】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、入力デバイスを使用する前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することを含む、請求項６に記載のシステム。

【請求項10】

前記電子コントローラは、
画像捕捉機器から前記環境の画像データを受信し、
前記画像データに基づいて前記仮想現実表現を表示する、
ように構成される、請求項６に記載のシステム。

【請求項11】

前記電子コントローラは、
画像化機器から前記環境の画像化データを受信し、
前記画像化データに基づいて前記仮想現実表現を表示する、
ように構成される、請求項１０に記載のシステム。

【請求項12】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、更に、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられるという指示を受信する、請求項６に記載のシステム。

【請求項13】

１つ又は複数のプロセッサによって、環境の仮想現実表現を生成することと、
前記１つ又は複数のプロセッサによって、前記環境の前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成することと、
前記１つ又は複数のプロセッサによって、力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することと、
前記１つ又は複数のプロセッサによって、仮想ロボット操作タスクのために前記力のパラメータを構成するように促すプロンプトをユーザーに発することと、
前記１つ又は複数のプロセッサによって、前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てることと、
を含む、方法。

【請求項14】

前記１つ又は複数のプロセッサによって、画像捕捉機器から前記環境の画像データを受信することと、
前記１つ又は複数のプロセッサによって、画像化機器から前記環境に対応する奥行情報を受信することと、
前記１つ又は複数のプロセッサによって、前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成することと、
を更に含む、請求項１３に記載の方法。

【請求項15】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、前記１つ又は複数のプロセッサによって、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定することを含む、請求項１３に記載の方法。

【請求項16】

前記１つ又は複数のプロセッサによって、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信することを更に含む、請求項１３に記載の方法。

【請求項17】

前記１つ又は複数のプロセッサによって、入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することと、
前記１つ又は複数のプロセッサによって、前記入力デバイスから前記力のパラメータを構成するためのプロンプトからの入力を受信すること、
を更に含む、請求項１３に記載の方法。

【請求項18】

前記１つ又は複数のプロセッサによって、前記仮想現実表現を仮想現実システムへ送信することであって、前記仮想現実表現が、前記仮想現実表現の受信に応答して前記仮想現実システムのディスプレイ機器を使用して前記仮想現実システムに前記仮想現実表現を表示させるように構成されるという、前記仮想現実表現を送信すること、
を更に含む、請求項１３に記載の方法。

【請求項19】

前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記メニュを送信することであって、前記メニュを送信することが、前記メニュの受信に応答して前記ディスプレイ機器を使用して前記仮想現実システムに前記メニュを表示させるように構成されるという、前記メニュを送信すること、
を更に含む、請求項１８に記載の方法。

【請求項20】

前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記プロンプトを送信することであって、前記プロンプトを送信することが、前記プロンプトの受信に応答して前記仮想現実システムに前記プロンプトを表示させるように構成されるという、前記プロンプトを送信すること、
を更に含む、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年９月１３日に提出された米国仮特許出願第６２／９００１４３号の利益又はこれに対する優先権を主張する２０１９年１１月２２日に提出された米国非仮特許出願第１６／６９２２７２号（その各々の内容は参照により本明細書に援用される）の利益又はこれに対する優先権を主張する。

【0002】

本開示は、概略的に、ロボットのタスクに力のベクトルを割り当てるため、特に仮想現実環境内でロボットのタスクに力のベクトルを割り当てるための方法及びシステムに関する。

【背景技術】

【0003】

ロボットは、ユーザーから命令を受信し、受信した命令に基づいてタスクを実行できる。例えば、ロボットは、ユーザーから目標位置まで移動するための命令の受信に応答して、目標位置まで移動できる。別の例として、ロボットは、ユーザーからのアイテムを移動するための命令の受信に応答して第１位置から第２位置までこのアイテムを運送できる。更に、特定のタスクは、対応するタスクを実行するとき、ロボットが所定規模の力を物体に加えることを要求する。例えば、第１位置から第２位置まで物体を移動するとき、ロボットの手は、物体に対してグリップ力を加えて、ロボットが物体を第１位置から第２位置まで確実に移動できるようにする。

【0004】

したがって、タスクを実行するためにロボットを訓練するために力をマニピュレータへ教示するシステム及び方法が必要とされる。

【0005】

１つの形態において、システムは環境の仮想現実表現を生成するように構成された電子コントローラを含む。電子コントローラは、環境の仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成し、力のパラメータを構成するためのオプションがメニュの中の少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定するように構成される。電子コントローラは、仮想ロボット操作タスクのために力のパラメータを構成するように促すプロンプトをユーザーに発し(prompt a user)、力のパラメータを構成するためのプロンプトから受信した入力に応答して力の規模及び力の方向の少なくとも一方を仮想ロボット操作タスクに割り当てるように構成される。

【0006】

別の形態において、システムは、環境の仮想現実表現を表示するように構成された電子コントローラを含む。電子コントローラは、仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを表示し、力のパラメータを構成するためのオプションがメニュの中の少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定するように構成される。電子コントローラは、仮想ロボット操作タスクのために力のパラメータを構成するようにユーザーに命令するプロンプトを表示し、力のパラメータを構成するためのプロンプトから受信した入力に応答して仮想ロボット操作タスクへの力の規模又は力の方向の少なくとも一方の割当てを示す信号を送信するように構成される。

【0007】

更に別の形態において、開示する方法は、１つ又は複数のプロセッサによって環境の仮想現実表現を生成することを含む。方法は、１つ又は複数のプロセッサによって、環境の仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成することを含む。方法は、１つ又は複数のプロセッサによって、力のパラメータを構成するためのオプションがメニュの中の少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することを含む。方法は、１つ又は複数のプロセッサによって、仮想ロボット操作タスクのために力のパラメータを構成するように促すプロンプトをユーザーに発することを含む。方法は、１つ又は複数のプロセッサによって、力のパラメータを構成するためのプロンプトから受信したインプットに応答して力の規模又は力の方向の少なくとも一方を仮想ロボット操作タスクに割り当てることを含む。

【0008】

本明細書において説明する実施形態によって与えられる上記の及び付加的な特徴は、図面と一緒に以下の詳細な説明を読むことでより良く理解できる。

【0009】

図面に示す実施形態は、例示的かつ模範的性質を持ち、請求項によって画定される内容を限定することを意図しない。例示的実施形態の下記の詳細な説明は、下記の図面と一緒に読めば理解できる。図面において、同様の構造体には同様の参照番号が付いている。

【図面の簡単な説明】

【0010】

【図1A】本明細書において説明し例証する１つ又は複数の実施形態に従ったロボットシステム及び環境の例の概略図である。

【図1B】本明細書において説明し例証する１つ又は複数の実施形態に従ったロボット例の概略図である。

【図2】本明細書において説明し例証する１つ又は複数の実施形態に従ったロボット及び仮想現実システムの例の例示的システム図である。

【図3】本明細書委おいて説明し例証する１つ又は複数の実施形態に従ったロボットの特定のタスクに力のベクトルを割り当てる方法のフローチャートである。

【図4A】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【図4B】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【図4C】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【図4D】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【図4E】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【図4F】本明細書において説明し例証する１つ又は複数の実施形態に従った仮想現実システムによって表示された環境の仮想現実表現の例を示す。

【発明を実施するための形態】

【0011】

本明細書において説明する実施形態は、ロボット及びロボットの各種タスクに力のベクトルを割り当てる仮想現実システムに関する。下でさらに詳しく説明するように、ロボットは、１つ又は複数の画像化機器と、１つ又は複数の画像捕捉機器と、を含む。仮想現実システムのコントローラは、通信上ロボットに結合され、機械可読命令を含む。機械可読命令がコントローラの１つ又は複数のプロセッサによって実行されるとき、仮想現実システムは、１つ又は複数の画像化機器及び／又は１つ又は複数の画像捕捉機器によって取得されたデータに基づいて環境の仮想現実表現（例えば、二次元（２Ｄ）表現、三次元（３Ｄ）表現など）を表示するように構成される。いくつかの実施形態において、環境の仮想現実表現は、環境のコンピュータモデルによって生成できる。

【0012】

更に、機械可読命令がコントローラの１つ又は複数のプロセッサによって実行されるとき、仮想現実システムは、１つ又は複数のタスクユーザーインターフェイス要素を含むメニュを生成するように構成される。タスクユーザーインターフェイス要素は、例えば、仮想現実システムの入力デバイスを使用して選択可能である。選択されたタスクが力のベクトルと関連付けられる場合、仮想現実システムは、仮想現実システムのユーザーがロボットの特定のタスクに力のベクトルを割り当てられるようにする力のベクトルユーザーインターフェイス要素を表示できる。いくつかの実施形態において、ロボットタスク及びこれに対応する力のベクトルは、コントローラを介してユーザーによって、それぞれ選択され、割り当てられて、ロボットシステムを使用して記憶できる。

【0013】

特定のタスクに力のベクトルを割り当てることによって、ロボットを好ましく作動できるようにする。例えば、あるタスクに力のベクトルを割り当てることによって、例えば、ドアを開けるためにドアのハンドル又はノブを掴んで引っ張るなど、特定のタスクを実施するために最小の力の値が与えられるようにする。別の例として、あるタスクに力のベクトルを割り当てることによって、特定のタスクを実施するための最大の力の値を上回ることなく、それによって、ロボットが、例えばドアを開けるためにドアのハンドル又はノブを掴んで引っ張るときに物体を損傷することを防止できる。更に別の例として、ワイピングタスク（例えば、平行ジョーグリッパを使用して把持されるスポンジエンドエフェクタを使用してテーブルの表面を拭くタスク）にある規模及び方向を持つ力のベクトルを割り当てることによって、ロボットマニピュレータの側方移動は、表面を拭くために一定の又は可変的力がテーブルの表面に与えられるようにできる。したがって、力のベクトルが特定のタスクに割り当てられたときロボットの最適の作動が得られる。

【0014】

本明細書の説明において、「タスク」は、組み合わせて所望の成果を得るために実施されるように構成された１つ又は複数のロボットコンポーネントの１つ又は複数の動きを意味する。非限定的例として、ワイピングタスクは、テーブルの表面から所定距離にロボットマニピュレータを位置付けて、ロボットマニピュレータをテーブルの表面に対して概ね平行の方向に側方に移動することを含む。

【0015】

本明細書の説明において、「力のベクトル」は、規模と方向を有する力（例えば、コンポーネントの運動又は加速）を意味する。規模は、規模を量化するために使用される適切な任意の数値及び測定規準（例えば、ニュートン）によって表すことができる。いくつかの実施形態において、ロボットシステムは、加えられた力の規模をフォースセンサを使用して計測するように構成できる。別の実施形態において、ロボットシステムは、加えられた力の規模を直接計測するようには構成されない。ロボットシステムは、第１から第２位置までのコンポーネントの速度及び／又は加速を監視することによって加えられた力を測定し、その後、モーター制御システムまたはその他のフィードバックシステムを使用して加えられた力を測定できる。方向は、力が同平面上、非同平面上、線形、非線形、回転などであることを示すことができる。

【0016】

図１Ａは、ロボット１００-１を含むロボットシステム及び環境１０-１の例を略図的に示す。図１Ａの実施形態に示すように、ロボット１００-１は、居住施設、職場、学校、医療施設、製造施設及び／又はこれに類似するものにおいて人の様々なタスクを支援するように構成されたサービスロボットとすることができる。非限定的例として、ロボット１００-１は、人がテーブル１２０から物体１２２を取り除くのを支援する。

【0017】

様々な実施形態において、ロボット１００-１は、画像捕捉機器１０２ａ、１０２ｂ（まとめて画像捕捉機器１０２と呼ぶ）と、ロコモーション機器１０４と、アーム１０６と、グリップ組立体１０８と、スクリーン１１０と、マイクロフォン１１２と、スピーカ１１４と、１つ又は複数の画像化機器１１６と、を含む。ロボット１００-１は、他の実施形態において他のコンポーネントを含むことができることが分かるはずである。又、本明細書において説明する実施形態は、ロボットの具体的なタイプに限定されないこと、及びロボット１００-１は、他の実施形態において任意のサイズ、構成、自由度及び／又は他の特徴を持つことができることが分かるはずである。

【0018】

いくつかの実施形態において、画像捕捉機器１０２は、画像データを取得するように構成される任意の機器とすることができる。非限定的例として、画像捕捉機器１０２は、テーブル１２０及びオブジェクト１２２などの環境１０-１内に置かれた物体の静止画像及び／又はデジタルビデオを取得するように構成されたデジタルカメラとすることができる。したがって、コントローラ（図２）は、画像データを受信し、画像データに基づいて様々な機能を実行できる。機能の例は、画像処理アルゴリズム（例えば、機械学習アルゴリズム又はその他の適切なアルゴリズム）及び環境１０-１内のロボット１００-１をナビゲートするためのナビゲーションアルゴリズムを使用する物体認識を含むが、これに限定されない。

【0019】

いくつかの実施形態において、画像捕捉機器１０２の少なくとも１つは、標準解像度（例えば、６４０ピクセルｘ４８０ピクセル）のカメラとすることができる。様々な実施形態において、画像捕捉機器１０２の少なくとも１つは、高解像度カメラ（例えば、１４４０ピクセルｘ１０２４ピクセル又は１２６６ピクセルｘ１０２４ピクセル）とすることができる。いくつかの実施形態において、画像捕捉機器１０２の少なくとも１つは、６４０ピクセルｘ４８０ピクセル、１４４０ピクセルｘ１０２４ピクセル又は１２６６ピクセルｘ１０２４ピクセル以外の解像度を持つことができる。

【0020】

いくつかの実施形態において、ロコモーション機器１０４は、環境１０-１内で移動するためにロボット１００-１によって利用できる。非限定的例として、ロコモーション機器１０４は、軌道ロコモーション機器とすることができる。非限定的例として、図１Ｂを参照して下で更に詳しく説明するように、ロボット１００-１は、１つ又は複数のホイールを使用して作動空間内を移動できる。いくつかの実施形態において、ロボット１００-１は、無人航空機又は無人潜水艦とすることができる。

【0021】

様々な実施形態において、アーム１０６及びグリップ組立体１０８は、環境１０-１内でロボット１００-１が遭遇するアイテムを操作するために様々な機構（例えば、サーボモータードライブ、空圧ドライブ、油圧ドライブ、電気活性高分子モーター及び／又はこれに類似するもの）を使用して作動できる。グリップ組立体１０８は、回転可能にアーム１０６に結合でき、アーム１０６は、例えば、自由度６を持つことができる。グリップ組立体１０８は、１つ又は複数の画像化機器１１６を含むことができ、１つ又は複数の画像化機器１１６の視界及び／又は向きは、グリップ組立体１０８の回転に応答して回転するように構成される。

【0022】

図の実施形態は１つのアーム１０６及び１つのグリップ組立体１０８を示すが、ロボット１００-１は、他の実施形態において、任意の数のアーム及びグリップ組立体を含むことができることが分かるはずである。非限定的例として、図１Ｂを参照して更に詳しく説明するように、ロボット１００-１は、２つのアームを含むことができる。

【0023】

いくつかの実施形態において、スクリーン１１０は、テキスト、図形、画像捕捉機器１０２が取得した画像、及び／又は画像捕捉機器１０２が取得したビデオを表示できる。非限定的例として、スクリーン１１０は、ロボット１００-１が現在実行しているタスク（例えば、物体１２２を拾い上げる）を説明するテキストを表示できる。いくつかの実施形態において、スクリーン１１０は、タッチスクリーンディスプレイ又はその他の適切なディスプレイ機器とすることができる。

【0024】

様々な実施形態において、マイクロフォン１１２は、環境１０-１において伝播する音響信号（例えば、ユーザーの音声）を記録できる。非限定的例として、マイクロフォン１１２は、ユーザーによって生成された音響信号（例えば、ユーザーの音声コマンド）を受信し、音響信号に関連付けられる音響振動をスピーチ入力信号に変換するように構成できる。スピーチ入力信号は、更なる処理のためにコントローラ（図２）に与えられる。いくつかの実施形態において、スピーカ１１４は、データ信号を可聴機械振動へ変換し、ロボット１００-１に近接するユーザーがロボット１００-１と対話できるように可聴音を出力する。

【0025】

ロボット１００-１は、環境１０-１の奥行情報(depth information)を取得するように構成される１つ又は複数の画像化機器１１６を含むことができる。１つ又は複数の画像化機器１１６は、ＲＧＢ-Ｄセンサ及び／又は環境１０-１の奥行情報を取得するように構成された他の奥行センサを含むことができるが、これに限定されない。１つ又は複数の画像化機器１１６は、適切な任意の解像度を持つことができ、紫外線波長帯、近紫外線波長帯、可視光線波長帯、近赤外線波長帯、赤外線波長帯及び／又はこれに類似するものなど、好ましい任意の波長帯の放射を検出するように構成できる。

【0026】

いくつかの実施形態において、ロボット１００-１は、図２を参照して下でさらに詳しく説明するように、コンピューティング機器１４０、モービル機器１５０及び／又は仮想現実システム１６０の少なくとも１つと、ネットワーク１７０を介して及び／又は無線通信プロトコルを使用して、通信できる。非限定的例として、ロボット１００-１は、画像捕捉機器１０２を使用して画像を捕捉し、１つ又は複数の画像化機器１１６を使用して奥行情報を取得できる。その後、ロボット１００-１は、無線通信プロトコルを使用して画像及び奥行情報を仮想現実システム１６０へ送信できる。画像及び奥行情報の受信に応答して、仮想現実システム１６０は、下で更に詳しく説明するように、環境１０-１の仮想現実表現（本明細書において仮想現実環境と呼ぶ場合もある）を表示できる。非限定的例として、仮想現実表現は、画像捕捉機器１０２が捕捉したロボット１００-１の視界、ロボット１００-１が位置する部屋又はビルのマップ、ロボット１００-１の経路、又はロボット１００-１が対話できる物体（例えば、物体１２２）のハイライトを示すことができる。

【0027】

別の非限定的例として、コンピューティング機器１４０及び／又はモービル機器１５０（例えば、スマートフォン、ラップトップ、ＰＤＡ及び／又はこれに類似するもの）は、画像捕捉機器１０２が捕捉した画像を受信し、それぞれのディスプレイ上で画像を表示できる。画像及び奥行情報の受信に応答して、コンピューティング機器１４０及び／又はモービル機器１５０は、環境１０-１の仮想現実表現も表示できる。

【0028】

図１Ｂは、ロボット１００-２を含む別の環境１０-２の例の概略図である。ロボット１００-２は、図１Ａを参照して上で説明したロボット１００-１と同様であるが、この実施形態において、ロボット１００-２は、シャーシ部分１２４と、胴体部分１２６と、アーム１２８ａ、１２８ｂ（まとめて、アーム１２８と呼ぶ）と、ヘッド部分１３０と、を含む。

【0029】

いくつかの実施形態において、シャーシ部分１２４は、ロコモーション機器１０４を含む。非限定的例として、ロコモーション機器１０４は、シャーシ部分１２４に自由度８を与える４つの電動ホイールを含むので、ロボット１００-２が、環境１０-２内で選択的に操縦及び位置付けを行えるようにする。更に、シャーシ部分１２４に取り付けられる胴体部分１２６は、例えば自由度５を胴体部分１２６に与える１つ又は複数のロボットリンクを含むことができるので、ロボット１００-２が広範囲の高さ及び向きに胴体部分１２６を位置付けられるようにする。

【0030】

いくつかの実施形態において、アーム１２８は、各々、例えば自由度７を持つことができるので、ロボット１００-２が広範囲の高さ及び向きにアーム１２８を位置付けられるようにする。更に、アーム１２８の各々は、それぞれのグリップ組立体１０８を含むことができ、アーム１２８は、導体部分１２６に回転可能に取り付けることができる。いくつかの実施形態において、ロボットのヘッド部分１３０は、画像捕捉機器１０２と、スクリーン１１０と、１つ又は複数の画像化機器１１６と、マイクロフォン１１２と、スピーカ１１４と、を含む。

【0031】

図２は、ロボット１００（即ち、ロボット１００-１、１００-２の一方）の様々な内部コンポーネントを示す。ロボット１００は、１つ又は複数のプロセッサ２０２及び１つ又は複数のメモリモジュール２０４を含むコントローラ２１０と、画像化機器１０２ａ、１０２ｂと、衛星アンテナ２２０と、アクチュエータドライブハードウェア２３０と、ネットワークインターフェイスハードウェア２４０と、スクリーン１１０と、マイクロフォン１１２と、スピーカ１１４と、１つ又は複数の画像化機器１１６と、を含む。いくつかの実施形態において、１つ又は複数のプロセッサ２０２及び１つ又は複数のメモリモジュール２０４は、単一の集積回路（例えば、チップ上のシステム）に与えることができる。いくつかの実施形態において、１つ又は複数のプロセッサ２０２及び１つ又は複数のメモリモジュール２０４は、別個の集積回路として与えることができる。

【0032】

１つ又は複数のプロセッサ２０２の各々は、電気的に結合されたコンポーネントと通信するように構成され、ロボット１００が作動するように設計される特定の用途に適する市販の又は顧客対応仕様のプロセッサとすることができる。更に、１つ又は複数のプロセッサ２０２の各々は、機械可読命令を実行できる任意の機器とすることができる。したがって、１つ又は複数のプロセッサ２０２の各々は、コントローラ、集積回路、マイクロチップ、コンピュータ又はその他の任意のコンピューティング機器とすることができる。１つ又は複数のプロセッサ２０２は、ロボット１００の様々なモジュールの間に信号の相互接続性を与える通信路２０６に結合される。通信路２０６は、任意の数のプロセッサを通信上相互に結合でき、通信路２０６に結合されたモジュールが分散コンピューティング環境において作動できるようにする。具体的には、モジュールの各々は、データを送受信できるノードとして作動できる。本明細書において使用する場合、「通信上結合（される）」は、結合されたコンポーネントが、例えば、導体媒体を介して電気信号を、空気を介して電磁信号を、光導波路を介して光学信号を、など、相互にデータ信号を交換できることを意味する。

【0033】

従って、通信路２０６は、例えば、導線、導体トレース、光導波路又はこれに類似するものなど、信号を送信できる任意の媒体から形成できる。更に、通信路２０６は、信号を送信できる媒体の組合体から形成できる。１つの実施形態において、通信路２０６は、プロセッサ、メモリ、センサ、入力機器、出力機器及び通信機器などのコンポーネントへ協働して電気データ信号を送信できるようにする導体トレース、導線、コネクタ及びバスの組合せを備える。更に、「信号」は、ＤＣ、ＡＣ、正弦波、三角波、方形波、振動及びこれに類似するものなど、媒体を介して移動できる波形（例えば、電気、光、磁気、機械的又は電磁気）を意味する。

【0034】

１つ又は複数のメモリモジュール２０４は、通信路２０６に結合できる。１つ又は複数のメモリモジュール２０４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、又は１つ又は複数のプロセッサ２０２によって機械可読命令にアクセスできるように機械可読命令を記憶できる任意の媒体など、揮発性及び／又は非揮発性コンピュータ可読記憶媒体を含むことができる。機械可読命令は、機械可読命令に編集又はアセンブルでき１つ又は複数のメモリモジュール２０４に記憶できる、プロセッサによって直接実行できる機械言語又はアセンブリ言語、ユーザー本位プログラミング（ＯＯＰ）、スクリプト言語、マイクロオードなどの、任意の世代の任意のプログラム言語（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ又は５ＧＬ）で書けるロジック又はアルゴリズムを含むことができる。又は、機械可読命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成又は特定用途集積回路（ＡＳＩＣ）又はこれと同等物を介して実現されるロジックなど、ハードウェア記述言語（ＨＤＬ）で書くことができる。したがって、本明細書において説明する方法は、プレプログラムドハードウェア要素として又はハードウェアコンポーネントとソフトウェアコンポーネントの組合せとして従来のコンピュータプログラミング言語で実現できる。

【0035】

１つ又は複数のメモリモジュール２０４は、１つ又は複数のモジュールを記憶するように構成でき、その各々は、１つ又は複数のプロセッサ２０２によって実行されたとき本明細書において説明するモジュールの機能性をロボット１００に実行させる命令セットを含む。例えば、１つ又は複数のメモリモジュール２０４は、１つ又は複数のプロセッサ２０２によって実行されたときロボット１００に全般的ロボット作動を実行させる命令セットを含めて（但し、これに限定されない）ロボット作動モジュールを記憶するように構成できる。

【0036】

更に、１つ又は複数のメモリモジュール２０４は、仮想現実表現生成モジュール、物体検出モジュール及びメニュモジュールを記憶できる。いくつかの実施形態において、仮想現実表現生成モジュールは、画像捕捉機器１０２によって取得された画像データ及び１つ又は複数の画像化機器１１６によって取得された奥行データに基づいて、環境１０の仮想現実表現を生成するように構成される。仮想現実表現の生成に応答して、仮想現実表現生成モジュールは、それぞれの機器及び／又はシステムによってその後表示するためにコンピューティング機器１４０、モービル機器１５０及び／又は仮想現実システム１６０の少なくとも１つへ仮想現実表現を送信するように構成される。いくつかの実施形態において、物体検出モジュールは、生成された仮想現実表現に基づいて環境１０の中に在る物体を識別し認識するように構成される。様々な実施形態において、メニュモジュールは、仮想現実表現内に表示される１つ又は複数のタスクユーザーインターフェイス要素を生成するように構成される。図３及び図４Ａ～４Ｆを参照して下で更に詳しく説明するように、メニュモジュールは、対応するロボットタスクが負荷力と対話することを示すタスクユーザーインターフェイス要素の選択に応答して、力のベクトルインターフェイス要素を生成するように構成される。力のベクトルインターフェイス要素は、図３を参照して下で更に詳しく説明するように、ユーザーが、特定のタスクに対応する力のベクトルを指定できるように構成される。

【0037】

仮想現実表現生成モジュール、メニュモジュール及び物体検出モジュールは、オペレーティングシステム、アプリケーションプログラムモジュール及び１つ又は複数のメモリモジュールに記憶できるその他のプログラムモジュールの形式のプログラムモジュールとすることができる。メニュモジュール及び物体検出モジュールは、固有のタスクを実施するため又は図３を参照して下で説明する固有のデータタイプを実行するためのルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造及びこれに類似するものを含むことができるが、これらに限定されない。

【0038】

画像捕捉機器１０２は、通信路２０６に結合できる。画像捕捉機器１０２は、処理及び／又は記憶のために、周囲の作動空間の画像データを取得するためにかつ取得した画像データを１つ又は複数のプロセッサ２０２及び／又は１つ又は複数のメモリモジュール２０４へ送信するために、１つ又は複数のプロセッサ２０２から制御信号を受信できる。画像捕捉機器１０２は、１つ又は複数のメモリモジュール２０４に直接結合できる。別の実施形態において、画像捕捉機器１０２は、検索のために１つ又は複数のプロセッサ２０２にアクセス可能な専用メモリ機器（例えば、フラッシュメモリ）を含む。

【0039】

同様に、スクリーン１１０、マイクロフォン１１２、スピーカ１１４及び１つ又は複数の画像化機器１１８は、通信路２０６がスクリーン１１０、マイクロフォン１１２、スピーカ１１４及び１つ又は複数の画像化機器１１８をロボット１００の他のモジュールに通信上結合するように、通信路２０６に結合できる。スクリーン１１０、マイクロフォン１１２、スピーカ１１４及び１つ又は複数の画像化機器１１８は、１つ又は複数のメモリモジュール２０４に直接接続できる。別の実施形態において、スクリーン１１０、マイクロフォン１１２、スピーカ１１４及び１つ又は複数の画像化機器１１８は、検索のために１つ又は複数のプロセッサ２０２にアクセス可能な専用メモリ機器を含むことができる。

【0040】

ロボット１００は、通信路２０６がロボット１００の他のモジュールに衛星アンテナ２２０を通信上結合するように、通信路２０６に結合された衛星アンテナ２２０を含む。衛星アンテナ２２０は、全地球測位システム（ＧＰＳ）衛星から信号を受信するように構成される。具体的には、１つの実施形態において、衛星アンテナ２２０は、全地球測位システム衛星によって送信された電磁信号と対話する１つ又は複数の伝導要素を含む。受信した信号は、１つ又は複数のプロセッサ２０２によって、衛星アンテナ２２０又は衛星アンテナ２２０付近に居るユーザーの位置を示すデータ信号に変換される。いくつかの実施形態において、ロボット１００は、衛星アンテナ２２０を含まなくても良い。

【0041】

アクチュエータドライブハードウェア２３０は、ロコモーション機器１０４、アーム１０６、グリップ組立体１０８及びロボット１００の中に在るその他の任意の外部コンポーネントを制御するためにアクチュエータ及び関連付けられるドライブエレクトロニクスを備えることができる。アクチュエータドライブハードウェア２３０は、１つ又は複数のプロセッサ２０２から制御信号を受信し、これに従ってロボット１００を作動するように構成できる。アクチュエータドライブハードウェア２３０の作動パラメータ及び／又はゲインは、１つ又は複数のメモリモジュール２０４に記憶できる。

【0042】

ロボット１００は、ロボット１００をコンピューティング機器１４０、モービル機器１５０及び／又は仮想現実システム１６０と通信上結合するためのネットワークインターフェイスハードウェア２４０を含む。ネットワークインターフェイスハードウェア２４０は、通信路２０６に結合でき、ロボット１００が外部システム及び機器と通信できるように無線通信回路として構成できる。ネットワークインターフェイスハードウェア２４０は、無線通信規格に従ってデータを送受信するために通信トランシーバを含むことができる。例えば、ネットワークインターフェイスハードウェア２４０は、例えばワイヤレスフィデリティ（Ｗｉ-Ｆｉ）、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、Ｗｉｒｅｌｅｓｓ ＵＳＢ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ（登録商標）又はこれと類似のものなど無線コンピュータネットワーク越しに通信するためにチップセット（例えば、アンテナ、プロセッサ、機械可読命令など）を含むことができる。いくつかの実施形態において、ネットワークインターフェイスハードウェア２４０は、ロボット１００がＢｌｕｅｔｏｏｔｈ（登録商標）通信を介してコンピューティング機器１４０、モービル機器１５０及び／又は仮想現実システム１６０と情報を交換できるようにするＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバを含む。いくつかの実施形態において、コンピューティング機器１４０、モービル機器１５０及び／又は仮想現実システム１６０は、ネットワークインターフェイスハードウェア２４０を介してロボット１００との通信を開始する前に認証を受けることができる。いくつかの実施形態において、ロボット１００は、ネットワークインターフェイスハードウェア２４０を含まなくても良い。

【0043】

仮想現実システム１６０は、１つ又は複数のプロセッサ２６２及び１つ又は複数のメモリモジュール２６４を含むコントローラ２６０と、入力デバイス２６６（例えば、ハンドヘルド運動感知コントローラ、ジェスチャ認識デバイス、ボタン、ダイアル、ノブ、ジョイスティックなどを含むデバイス）と、ネットワークインターフェイスハードウェア２６８と、ディスプレイ機器２７０と、を含む。１つ又は複数のプロセッサ２６２、１つ又は複数のメモリモジュール２６４及びネットワークインターフェイスハードウェア２６８は、１つ又は複数のプロセッサ２０２、１つ又は複数のメモリモジュール２０４及びネットワークインターフェイスハードウェア２４０と同様のコンポーネントとすることができる。上記の実施形態は、メニュモジュール及び物体検出モジュールを記憶する１つ又は複数のメモリモジュール２０４について説明するが、１つ又は複数のメモリモジュール２６４は、他の実施形態において、仮想現実表現モジュール、メニュモジュール及び／又は物体検出モジュールを含むことができることが分かるはずである。又、コンピューティング機器１４０及びモービル機器１５０は、他の実施形態において、１つ又は複数のプロセッサ、１つ又は複数のメモリモジュール、入力機器、ネットワークインターフェイスハードウェア及びディスプレイを含むことができることが分かるはずである。

【0044】

様々な実施形態において、ユーザーは、１つ又は複数のタスクユーザーインターフェイス要素の１つを選択し、入力デバイス２６６を使用して力のベクトルを画定できる。ディスプレイ機器２７０は、ユーザーが着用するように構成でき、ディスプレイ機器２７０をユーザーの身体（例えば、ユーザーの頭部）に固定するためのストラップ又はその他の同様の要素を含むことができる。更に、ディスプレイ機器２７０は、ロボット１００によって生成された仮想現実表現を表示するように構成されたディスプレイを含むことができる。

【0045】

図３は、ロボットタスクに力のベクトルを割り当てる方法３００のフローチャートである。いくつかの実施形態において、方法３００は、１つ又は複数のプロセッサ２０２によって実行されたとき本明細書において説明するステップを実施する機械可読命令の中のロジックとして実現される。方法３００は、具体的な順序のステップを示すが、本開示の付加的実施形態は、特定の順序に限定されず、付加的なステップ又はもっと少ないステップを含むことができる。本明細書において説明するステップは、他の実施形態において、コンピューティング機器１４０、モービル機器１５０及び仮想現実システム１６０の少なくとも１つによって実行できることが分かるはずである。

【0046】

ステップ３０５において、仮想現実システム１６０は、環境１０の表現を表示する。いくつかの実施形態において、ロボット１００は、最初に１つ又は複数の画像捕捉機器１０２を使用して環境１０の画像データを、１つ又は複数の画像化機器１１６を使用して環境１０の奥行情報を取得できる。その後、ロボット１００の１つ又は複数のプロセッサ２０２は、取得した画像データ及び奥行情報に基づいて、環境１０の仮想現実表現を生成するように構成できる。更に、物体検出モジュールは、環境１０内に在る物体を識別し認識し、識別され認識された物体に対応する指示を生成できる。更に、メニュモジュールは、１つ又は複数のタスクユーザーインターフェイス要素を生成できる。

【0047】

その後、１つ又は複数のプロセッサ２０２は、環境１０の仮想現実表現、識別され認識された物体に対応するインディケータ及び１つ又は複数のタスクユーザーインターフェイス要素を仮想現実システム１６０へ送信できる。したがって、仮想現実システム１６０のディスプレイ機器２７０は、その後、仮想現実表現、識別され認識された物体に対応するインディケータ及び１つ又は複数のタスクユーザーインターフェイス要素を表示できる。非限定的例として、図４Ａに示すように、仮想現実表現４００は、識別され認識された物体（例えば、キャビネットドアのノブ／ハンドル）に関連付けられる複数の領域４０５、１つ又は複数のタスクユーザーインターフェイス要素４１５を含むメニュ４１０及びロボット１００の様々な作動特性及び／又は特徴を説明する補足的テキスト４２０を含むことができる。

【0048】

１つ又は複数のタスクユーザーインターフェイス要素４１５の各々は、他のロボットタスクと順次配列できるロボットタスクと関連付けることができる。非限定的例として、１つ又は複数のタスクユーザーインターフェイス要素４１５は、把持、リフト、プレース、引張り、後退、ワイプ、ジョイントの運動、ある位置までのドライブ、ロボット１００の速度の制御、追跡、ルック及びストップ及びこれに類似することを含む（但し、これらに限定されない）ロボットタスクと関連付けることができる。更に、各ロボットタスクは、ロボット１００の１つ又は複数の部分の関節運動又はカルテシアン運動などのロボットタスクと関連付けられる１つ又は複数の移動を持つことができる。１つ又は複数の移動の各々は、位置制御、速度制御、アドミッタンス制御及び／又は運動制御など異なる制御方法を実現できる。

【0049】

いくつかの実施形態において、各ロボットタスクは、様々なパラメータ化された動作を持つことができる。本明細書において使用する場合、パラメータ化された動作は、パラメータで表すことができる動作を指すことができる。非限定的例として、把持タスクは、グリップ組立体１０８のグリッパ角度パラメータ、６Ｄアプローチパラメータ、把持パラメータ及びリフトポーズパラメータを含むことができるが、これらに限定されない。いくつかの実施形態において、パラメータ化動作を画定することは、ロボット１００が把持タスクと関連付けられる一連のステップを実行できるようにする。非限定的例として、一連のステップは、グリップ組立体１０８を所望のグリッパ角度まで開くこと、６Ｄアプローチポーズまでグリップ組立体１０８の無衝突経路を企画し実行すること、６Ｄ把持ポーズまでグリップ組立体１０８を移動すること、接触したら停止すること、グリップ組立体１０８を閉じること、６Ｄリフトポーズまでグリップ組立体１０８を移動すること、を含むことができる。

【0050】

いくつかの実施形態において、各ロボットタスクは、ユーザーが画定できる様々な非パラメータ化ロボット操作及び／又は動作を持つことができる。本明細書において使用する場合、非パラメータ化動作は、パラメータで表されない動作を指すことができる。非パラメータ化ロボット操作及び／又は動作の非限定的例は、画定方向にロボット１００を移動することを含むことができるが、これに限定されない。非パラメータ化ロボット操作及び／又は動作は、仮想現実環境において入力デバイス２６６（例えば、ハンドヘルド運動コントローラ）を介してユーザーが画定できる。

【0051】

図３に戻ると、ステップ３１０において、仮想現実システム１６０のユーザーは、ロボット１００を操作し、タスクを選択する。いくつかの実施形態において、ユーザーは、ロボット１００を操作しかつ／又はロボット１００のタスクを選択するために仮想現実システム１６０の入力デバイス２６６を使用できる。非限定的例として、図４Ｂに示すように、ユーザーが入力デバイス２６６を使用するとき、仮想現実表現４００は、入力デバイス２６６を表すグラフィカル要素４３０を含むことができる。入力デバイス２６６の移動及びこれとの対話は、入力デバイス２６６の移動及び／又はこれとの対話に基づいて、仮想現実表現４００内でグラフィカル要素４３０を動かしかつ／又はその向きを調節できるようにする。非限定的例として、入力デバイス２６６を地面へ向けて傾けると、グラフィカル要素４３０を仮想現実表現４００の地面へ向けて傾けることができる。グラフィカル要素４３０は、入力デバイスとして図示するが、グラフィカル要素４３０は他の実施形態において可変的なサイズ及び／又は形状を持つことができることが分かるはずである。

【0052】

更に、グラフィカル要素４３０は、入力デバイス２６６が現在整列されているのが１つ又は複数のタスクユーザーインターフェイス要素４１５のどのタスクユーザーインターフェイス要素なのかを示す、グラフィカル要素から突出するインディケータ４３２を含むことができる。非限定的例として、図４Ｂに示すように、ユーザーは、今、対応するグラフィカル要素４３０が引張りタスクに対応するタスクユーザーインターフェイス要素と整列するように入力デバイス２６６を位置付けている。

【0053】

再び図３を参照すると、ステップ３１５において、１つ又は複数のプロセッサ２０２は、選択されたタスクが負荷力とのロボット１００の対話と関連付けられるか否かを判定する。いくつかの実施形態において、タスクは、対応するパラメータ化動作の少なくとも１つが負荷力との対話と関連付けられる場合、負荷力とのロボット１００の対話と関連付けることができる。負荷力との対話と関連付けることができるタスクの非限定的例は、把持、リフト、プレース、引張り、後退、ワイプ及びこれと類似することを含む。負荷力との対話と関連付け出来ないタスクの非限定的例は、ドライブ、活動的障害物回避の追跡、ルック及びストップを含む。様々なタスクの任意の１つを負荷力と対話するタスクとして指定でき、１つ又は複数のプロセッサ２０２は、タスクが負荷力と対話するものとして指定されるかどうか判定するために、１つ又は複数のメモリモジュール２０４のルックアップテーブルを参照できることが分かるはずである。選択されたタスクが負荷力とのロボット１００の対話と関連付けられる場合、方法３００は、ステップ３２０へ進み、そうでなければ、方法３００はステップ３４０へ進む。

【0054】

ステップ３１５の非限定的例として、１つ又は複数のプロセッサ２０２は、引張りタスクに対応する選択されたタスクユーザーインターフェイス要素が負荷力とのロボット１００の対話と関連付けられると判定する。選択に応答して（例えば、入力デバイス２６６を仕様して）、ユーザーは、その後、下でさらに詳しく説明するように引張りタスクのパラメータ化動作を画定できる。

【0055】

ステップ３２０において、ユーザーは、選択されたタスクの１つ又は複数のパラメータ化動作を画定し、１つ又は複数のプロセッサ２０２は、力のベクトルインターフェイスを生成し、仮想現実システム１６０へこれを送信する。力のベクトルインターフェイスの受信に応答して、仮想現実システムのディスプレイ機器２７０は、力のベクトルインターフェイスを表示する。上に説明するように、タスクのパラメータ化動作の少なくとも１つは、負荷力との対話と関連付けることができない場合がある。したがって、ディスプレイ機器２７０は、ユーザーが画定する特定のパラメータ化動作が負荷力との対話と関連付けられる場合、力のベクトルインターフェイスを表示できる。ステップ３２０の非限定的例として、図４Ｃ～４Ｄに示すように、仮想現実表現４００は、第１ポイント４５０-１及び第２ポイント４５０-２を使用して（即ち、第１ラインポイント及び第２ラインポイントに注釈を付ける）引張りタスクの代表位置を画定するなど引張りタスクのパラメータ化動作を画定するための命令を示す命令テキスト４４０を表示できる。更に、代表位置を画定することは、負荷力との対話と関連付けられないので、仮想現実表現４００は、力のベクトルインターフェイスを生成しない。

【0056】

別の非限定的例として、引張りタスクの所望の角度までグリップ組立体１０８を開くパラメータ化動作は、たとえ全体として引張りタスクが負荷力との対話と関連付けられても、負荷力との対話と関連付けできない。更に別の非限定的例として、６Ｄリフトポーズまでグリップ組立体１０８を移動するパラメータ化動作は、負荷力との対話と関連付けできる（例えば、グリップ組立体１０８は、６Ｄリフトポーズまでグリップ組立体１０８を移動するために１００Ｎの力を生成する必要がある）。

【0057】

いくつかの実施形態において、仮想現実システム１６０のディスプレイ機器２７０は、パラメータ化動作が画定されるとき付加的グラフィカル要素を表示できる。非限定的例として、図４Ｅに概略的に示すように、引張りタスクの代表位置の画定に応答して、ディスプレイ機器２７０は、ロボット１００のグリップ組立体１０８を表すグラフィカル要素４６０及びロボット１００のアーム１０６を表すグラフィカル要素４６５を含むように仮想現実表現４００を更新できる。仮想現実システム１６０の入力デバイス２６６を使用して、ユーザーは、第１ポイント４５０-１と第２ポイント４５０-２との間に位置するライン４５５と整列するようにグラフィカル要素の４６０及びグラフィカル要素４６５の一方の位置を操作できる。

【0058】

更に、ユーザーによって画定されるパラメータ化動作が負荷力との対話と関連付けられる場合、ディスプレイ機器２７０は、力のベクトルインターフェイスを含むように仮想現実表現４００を更新できる。非限定的例として、図４Ｆに示すように、ユーザーは、ロボットアーム１０６の回転特性を画定するなど引張りタスクの次のパラメータ化動作を画定できる。したがって、ディスプレイ機器２７０は、力のベクトルインターフェイスを含むむように仮想現実表現４００を更新でき、仮想現実表現は、力の規模値４７０を入力し力の矢印４８０を対話式に位置付けるよう促すプロンプトを含むことができる。力の規模値４７０は、パラメータ化動作と関連付けられる力の値（例えば、１１ニュートン）を示し、力の矢印４８０は、パラメータ化動作と関連付けられる方向を示すことができる。

【0059】

図３に戻ると、ユーザーがステップ３２０において力の規模及び力の方向の少なくとも一方をパラメータ化動作に割り当てるとき、力の規模及び／又は力の方向を割り当てるために、モーショントレーニングを一時停止できる（例えば、入力デバイス２６６を使用して）。モーショントレーニングは、力の規模及び／又は力の方向がパラメータ化動作に割り当てられたら、その後、再開できる。したがって、１つ又は複数のパラメータ化運動によって画定されるタスクは、予画定されたタスクを自律的に作動するときロボット１００によって利用できる力のパラメータを含む。

【0060】

ステップ３２５において、１つ又は複数のプロセッサ２０２は、対応するパラメータ化動作についての力のベクトル選択を受信する。ステップ３２５の非限定的例として、ユーザーは、仮想現実システム１６０の入力デバイス２６６を使用して力の規模及び力の方向の少なくとも一方を画定できる。いくつかの実施形態において、図４Ｆを参照すると、力の規模値４７０及び力の矢印４８０は、ユーザーが力の規模及び／又は力の方向を画定するのに応答して更新するように構成できる。非限定的例として、パラメータ化動作の力の値の増大に応答して、更新された力の値を反映するために、力の規模値４７０は更新され、かつ／又は力の矢印４８０の長さは増大する。別の非限定的例として、パラメータ化動作の力の値の減少に応答して、更新された力の値を反映するために、力の規模値４７０は更新されかつ／又は力の矢印４８０の長さは減少する。更に別の非限定的例として、力の方向の調節に応答して、力の矢印４８０は、調節された力の方向に基づいて、その形状、サイズ及び／又は向きを調節できる。

【0061】

図３を参照すると、ステップ３３０において、１つ又は複数のプロセッサ２０２は、選択された力のベクトルをパラメータ化動作に割り当てて、その後ステップ３３５へ進む。

【0062】

ステップ３３５において、１つ又は複数のプロセッサ２０２は、タスクが付加的パラメータ化動作を含むか否かを判定する。これを含む場合、方法３００は、ステップ３２０へ進む。これを含まない場合、方法３００は、ステップ３４０へ進む。ステップ３４０において、１つ又は複数のプロセッサ２０２は、ロボット１００の付加的タスクを画定する必要があるか否かを判定する。ステップ３４０の非限定的例として、ユーザーは、仮想現実システム１６０の入力デバイス２６６を使用して、ロボット１００の付加的タスクを画定する必要があるか否かを示す信号をロボット１００へ送信できる。必要な場合、方法３００はステップ３４５へ進む。ステップ３４５において、仮想現実システム１６０のユーザーは、ロボット１００を操作し、画定すべき次のタスクを選択して、ステップ３１５へ進む。画定を必要とするロボットの付加的なタスク１００がない場合、方法３００は終了する。

【0063】

本開示の実施形態は、ロボット及びロボットの様々なタスクに力のベクトルを割り当てるように構成された仮想現実システムに関することが分かるはずである。特定のタスクへの力のベクトルの割当てによって、ロボットが様々なタスクを実行するとき最適の確固さを保証する。更に、ロボットの１つ又は複数のタスクに力のベクトルを割り当てるために仮想現実システムを使用することによって、ユーザーは、ロボットの１つ又は複数のタスクを画定するためにタスク空間運動制御を使用することなく、１つ又は複数のタスク及びこれと関連付けられる力のベクトルを画定できる。

【0064】

特定の実施形態を図示しこれについて本明細書において説明したが、主張する内容の範囲から逸脱することなく、様々な他の変更及び修正を加えることができることが分かるはずである。更に、主張する内容の様々な形態について本明細書において説明したが、前記の形態は、組み合わせて利用する必要はない。したがって、特許請求の範囲は、主張する内容の範囲内にある全ての変更及び修正を包含することを意図する。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【手続補正書】

【提出日】2022-05-02

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正の内容】

【0064】

特定の実施形態を図示しこれについて本明細書において説明したが、主張する内容の範囲から逸脱することなく、様々な他の変更及び修正を加えることができることが分かるはずである。更に、主張する内容の様々な形態について本明細書において説明したが、前記の形態は、組み合わせて利用する必要はない。したがって、特許請求の範囲は、主張する内容の範囲内にある全ての変更及び修正を包含することを意図する。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
システムであって、
環境の仮想現実表現を生成し、
前記環境の前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するよう促すプロンプトをユーザーへ発し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てる、
ように構成された電子コントローラ、
を備える、システム。
〔態様２〕
前記電子コントローラは、
画像捕捉機器から前記環境の画像データを受信し、
画像化機器から前記環境に対応する奥行情報を受信し、
前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成する、
ように構成される、態様１に記載のシステム。
〔態様３〕
前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定する、態様１に記載のシステム。
〔態様４〕
前記電子コントローラは、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信するように構成される、態様１に記載のシステム。
〔態様５〕
前記電子コントローラは、
入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信し、
前記入力デバイスから前記力のパラメータを構成するための前記プロンプトからの前記入力を受信する、
ように構成される、態様１に記載のシステム。
〔態様６〕
システムであって、
環境の仮想現実表現を表示し、
前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを表示し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するようにユーザーに命令するプロンプトを表示し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方の前記仮想ロボット操作タスクへの割当てを示す信号を送信する、
ように構成された電子コントローラ、
を備える、システム。
〔態様７〕
前記プロンプトを表示することは、更に、
力の規模を示すように構成された力の規模要素と、
力の方向を示すように構成された力の方向要素と、
を表示することを含む、態様６に記載のシステム。
〔態様８〕
前記プロンプトから受信した前記入力は、更に、
入力デバイスを使用する前記力の規模要素との第１対話と、
前記入力デバイスを使用する前記力の方向要素との第２対話と、
を含む、態様７に記載のシステム。
〔態様９〕
前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、入力デバイスを使用する前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することを含む、態様６に記載のシステム。
〔態様１０〕
前記電子コントローラは、
画像捕捉機器から前記環境の画像データを受信し、
前記画像データに基づいて前記仮想現実表現を表示する、
ように構成される、態様６に記載のシステム。
〔態様１１〕
前記電子コントローラは、
画像化機器から前記環境の画像化データを受信し、
前記画像化データに基づいて前記仮想現実表現を表示する、
ように構成される、態様１０に記載のシステム。
〔態様１２〕
前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、更に、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられるという指示を受信する、態様６に記載のシステム。
〔態様１３〕
１つ又は複数のプロセッサによって、環境の仮想現実表現を生成することと、
前記１つ又は複数のプロセッサによって、前記環境の前記仮想現実表現内に少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成することと、
前記１つ又は複数のプロセッサによって、力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することと、
前記１つ又は複数のプロセッサによって、仮想ロボット操作タスクのために前記力のパラメータを構成するように促すプロンプトをユーザーに発することと、
前記１つ又は複数のプロセッサによって、前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てることと、
を含む、方法。
〔態様１４〕
前記１つ又は複数のプロセッサによって、画像捕捉機器から前記環境の画像データを受信することと、
前記１つ又は複数のプロセッサによって、画像化機器から前記環境に対応する奥行情報を受信することと、
前記１つ又は複数のプロセッサによって、前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成することと、
を更に含む、態様１３に記載の方法。
〔態様１５〕
前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、前記１つ又は複数のプロセッサによって、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定することを含む、態様１３に記載の方法。
〔態様１６〕
前記１つ又は複数のプロセッサによって、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信することを更に含む、態様１３に記載の方法。
〔態様１７〕
前記１つ又は複数のプロセッサによって、入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することと、
前記１つ又は複数のプロセッサによって、前記入力デバイスから前記力のパラメータを構成するためのプロンプトからの入力を受信すること、
を更に含む、態様１３に記載の方法。
〔態様１８〕
前記１つ又は複数のプロセッサによって、前記仮想現実表現を仮想現実システムへ送信することであって、前記仮想現実表現が、前記仮想現実表現の受信に応答して前記仮想現実システムのディスプレイ機器を使用して前記仮想現実システムに前記仮想現実表現を表示させるように構成されるという、前記仮想現実表現を送信すること、
を更に含む、態様１３に記載の方法。
〔態様１９〕
前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記メニュを送信することであって、前記メニュを送信することが、前記メニュの受信に応答して前記ディスプレイ機器を使用して前記仮想現実システムに前記メニュを表示させるように構成されるという、前記メニュを送信すること、
を更に含む、態様１８に記載の方法。
〔態様２０〕
前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記プロンプトを送信することであって、前記プロンプトを送信することが、前記プロンプトの受信に応答して前記仮想現実システムに前記プロンプトを表示させるように構成されるという、前記プロンプトを送信すること、
を更に含む、態様１８に記載の方法。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

システムであって、
画像捕捉機器から環境の画像データを受信し、
前記画像データから前記環境の中に在る物体を識別し、
表示のために、前記識別された物体と関連付けられる領域及び前記領域と現在整列しているタスクユーザーインターフェイス要素を示す領域に対応するインディケータを生成し、
ロボットのコンポーネントを表すグラフィカル要素及び前記識別された物体に関連付けられる前記領域を含む、前記環境の仮想現実表現を生成し、
前記環境の前記仮想現実表現を介してユーザーから前記ロボットの前記コンポーネントを表す前記グラフィカル要素の操作を受信し、
前記環境の前記仮想現実表現内に、前記グラフィカル要素のために各種パラメータ化動作によって画定されるロボットタスクに関連付けられる少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するよう促すプロンプトをユーザーへ発することであって、前記プロンプトが、力の方向を示すために前記ユーザーが対話式に位置付ける力の矢印を表示することを含むという、プロンプトを発し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てる、
ように構成された電子コントローラ、
を備える、システム。

【請求項2】

前記電子コントローラは、
画像化機器から前記環境に対応する奥行情報を受信し、
前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成する、
ように構成される、請求項１に記載のシステム。

【請求項3】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定する、請求項１に記載のシステム。

【請求項4】

前記電子コントローラは、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信するように構成される、請求項１に記載のシステム。

【請求項5】

前記電子コントローラは、
入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信し、
前記入力デバイスから前記力のパラメータを構成するための前記プロンプトからの前記入力を受信する、
ように構成される、請求項１に記載のシステム。

【請求項6】

システムであって、
画像捕捉機器から環境の画像データを受信し、
前記画像データから前記環境の中に在る物体を識別し、
表示のために、前記識別された物体と関連付けられる領域及び前記領域と現在整列しているタスクユーザーインターフェイス要素を示す前記領域に対応するインディケータを生成し、
ロボットのコンポーネントを表すグラフィカル要素及び前記識別された物体と関連付けられる前記領域を含む、前記環境の仮想現実表現を表示し、
前記環境の仮想現実表現を介してユーザーから前記ロボットの前記コンポーネントを表す前記グラフィカル要素の操作を受信し、
前記仮想現実表現内に、前記グラフィカル要素のために各種パラメータ化動作によって画定されたロボットタスクと関連付けられる少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを表示し、
力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定し、
仮想ロボット操作タスクのために前記力のパラメータを構成するようにユーザーに命令するプロンプトを表示することであって、前記プロンプトが、力の方向を示すために前記ユーザーが対話式に位置付ける力の矢印を表示することを含むという、プロンプトを表示し、
前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は前記力の方向の少なくとも一方の前記仮想ロボット操作タスクへの割当てを示す信号を送信する、
ように構成された電子コントローラ、
を備える、システム。

【請求項7】

前記プロンプトを表示することは、更に、
力の規模を示すように構成された力の規模要素と、
力の方向を示すように構成された力の方向要素と、
を表示することを含む、請求項６に記載のシステム。

【請求項8】

前記プロンプトから受信した前記入力は、更に、
入力デバイスを使用する前記力の規模要素との第１対話と、
前記入力デバイスを使用する前記力の方向要素との第２対話と、
を含む、請求項７に記載のシステム。

【請求項9】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、入力デバイスを使用する前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することを含む、請求項６に記載のシステム。

【請求項10】

前記電子コントローラは、
前記画像データに基づいて前記仮想現実表現を表示する、
ように構成される、請求項６に記載のシステム。

【請求項11】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することによって、更に、前記電子コントローラが、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられるという指示を受信する、請求項６に記載のシステム。

【請求項12】

画像捕捉機器から環境の画像データを受信することと、
前記画像データから前記環境の中に在る物体を識別することと、
表示のために、前記識別された物体と関連付けられる領域および前記領域と現在整列しているタスクユーザーインターフェイス要素を示す前記領域に対応するインディケータを生成することと、
１つ又は複数のプロセッサによって、ロボットのコンポーネントを表すグラフィカル要素及び前記識別された物体と関連付けられる前記領域を含む前記環境の仮想現実表現を生成することと、
前記環境の前記仮想現実表現を介してユーザーから前記ロボットの前記コンポーネントを表すグラフィカル要素の操作を受信することと、
前記１つ又は複数のプロセッサによって、前記環境の前記仮想現実表現内に前記グラフィカル要素のために各種パラメータ化動作によって画定されたロボットタスクと関連付けられる少なくとも１つのタスクユーザーインターフェイス要素を含むメニュを生成することと、
前記１つ又は複数のプロセッサによって、力のパラメータを構成するためのオプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することと、
前記１つ又は複数のプロセッサによって、仮想ロボット操作タスクのために前記力のパラメータを構成するように促すプロンプトをユーザーに発することであって、前記プロンプトを発することが、前記ユーザーが力の方向を指示するために対話式に位置付ける力の矢印を表示することを含むという、プロンプトを発することと、
前記１つ又は複数のプロセッサによって、前記力のパラメータを構成するための前記プロンプトから受信した入力に応答して力の規模又は力の方向の少なくとも一方を前記仮想ロボット操作タスクに割り当てることと、
を含む、方法。

【請求項13】

前記１つ又は複数のプロセッサによって、画像化機器から前記環境に対応する奥行情報を受信することと、
前記１つ又は複数のプロセッサによって、前記画像データ及び前記奥行情報に基づいて前記仮想現実表現を生成することと、
を更に含む、請求項１２に記載の方法。

【請求項14】

前記力のパラメータを構成するための前記オプションが前記メニュの前記少なくとも１つのタスクユーザーインターフェイス要素から選択されたときを判定することは、更に、前記１つ又は複数のプロセッサによって、前記少なくとも１つのタスクユーザーインターフェイス要素が少なくとも１つのパラメータ化動作と関連付けられると判定することを含む、請求項１２に記載の方法。

【請求項15】

前記１つ又は複数のプロセッサによって、前記仮想現実表現及び前記メニュの少なくとも一方をディスプレイ機器へ送信することを更に含む、請求項１２に記載の方法。

【請求項16】

前記１つ又は複数のプロセッサによって、入力デバイスから前記少なくとも１つのタスクユーザーインターフェイス要素の選択を受信することと、
前記１つ又は複数のプロセッサによって、前記入力デバイスから前記力のパラメータを構成するためのプロンプトからの入力を受信すること、
を更に含む、請求項１２に記載の方法。

【請求項17】

前記１つ又は複数のプロセッサによって、前記仮想現実表現を仮想現実システムへ送信することであって、前記仮想現実表現が、前記仮想現実表現の受信に応答して前記仮想現実システムのディスプレイ機器を使用して前記仮想現実システムに前記仮想現実表現を表示させるように構成されるという、前記仮想現実表現を送信すること、
を更に含む、請求項１２に記載の方法。

【請求項18】

前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記メニュを送信することであって、前記メニュを送信することが、前記メニュの受信に応答して前記ディスプレイ機器を使用して前記仮想現実システムに前記メニュを表示させるように構成されるという、前記メニュを送信すること、
を更に含む、請求項１７に記載の方法。

【請求項19】

前記１つ又は複数のプロセッサによって、前記仮想現実システムへ前記プロンプトを送信することであって、前記プロンプトを送信することが、前記プロンプトの受信に応答して前記仮想現実システムに前記プロンプトを表示させるように構成されるという、前記プロンプトを送信すること、
を更に含む、請求項１７に記載の方法。

【国際調査報告】