特許 7507263 人間が知覚できない印に関連付けられた情報をロボットの動作環境内で人間オペレータに伝達するための拡張現実システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-19

(45)【発行日】2024-06-27

(54)【発明の名称】人間が知覚できない印に関連付けられた情報をロボットの動作環境内で人間オペレータに伝達するための拡張現実システムおよび方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240620BHJP

   B25J 13/00 20060101ALI20240620BHJP

   G06T 19/00 20110101ALI20240620BHJP

【ＦＩ】

G06F3/01 510

B25J13/00 Z

G06T19/00 600

【請求項の数】 28

(21)【出願番号】P 2022580731

(86)(22)【出願日】2021-07-06

(65)【公表番号】

(43)【公表日】2023-08-17

(86)【国際出願番号】 US2021040578

(87)【国際公開番号】W WO2022010944

(87)【国際公開日】2022-01-13

【審査請求日】2022-12-27

(31)【優先権主張番号】63/048,123

(32)【優先日】2020-07-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518429137

【氏名又は名称】サ－コス コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スミス，フレイザー エム．

【審査官】塚田 肇

(56)【参考文献】

【文献】特開２０１９－１２１３９３（ＪＰ，Ａ）

【文献】特開２０１９－２０５１１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｂ２５Ｊ １３／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ロボットシステムであって、
ロボットと、
前記ロボットが動作する環境内の物体に関連付けられた人間が知覚できない印であって、相互作用情報へのアクセスを容易にする人間が知覚できない印と、
前記人間が知覚できない印を感知するように動作可能な少なくとも１つのセンサと、
コンピュータを含む拡張現実システムであって、前記ロボットと通信し、前記相互作用情報に関連付けられた人間が理解可能な情報を人間オペレータに伝達するように動作可能な拡張現実システムと、を含み、
前記ロボットはカメラを含み、前記拡張現実システムは、人間オペレータが見ることができる視覚ディスプレイをさらに含み、前記拡張現実システムは、少なくとも部分的に、前記カメラによってキャプチャされる動作環境の電子的に送信された実世界ビューを前記視覚ディスプレイ上に表示するように動作可能であり、
前記拡張現実システムは、前記相互作用情報を前記人間が理解可能な情報に変換し、前記人間が理解可能な情報を前記視覚ディスプレイに送信するように動作可能な変換モジュールをさらに含む、ロボットシステム。

【請求項2】

リンク情報は、前記ロボットによるデータベースおよびその中の前記相互作用情報へのアクセスを容易にするように動作可能である、請求項１に記載のロボットシステム。

【請求項3】

リンク情報は、前記拡張現実システムによるデータベースおよびその中の前記相互作用情報へのアクセスを容易にするように動作可能である、請求項１に記載のロボットシステム。

【請求項4】

データベースは、前記ロボット上でサポートされる、請求項１に記載のロボットシステム。

【請求項5】

データベースは、前記拡張現実システム上でサポートされる、請求項１に記載のロボットシステム。

【請求項6】

データベースは、ネットワークを介して前記ロボットまたは前記拡張現実システムのうちの少なくとも１つによってアクセス可能なリモートサーバ上でサポートされる、請求項１に記載のロボットシステム。

【請求項7】

前記相互作用情報は、前記人間が理解可能な情報を含み、前記拡張現実システムは、前記人間が理解可能な情報を前記視覚ディスプレイに直接送信するように動作する、請求項１に記載のロボットシステム。

【請求項8】

前記人間が知覚できない印およびリンク情報を感知するように動作可能な前記センサは、前記拡張現実システムの前記コンピュータまたは頭部装着型ディスプレイのうちの少なくとも１つでサポートされ、前記センサは、動作環境内から前記ロボット上のカメラによって取得された画像データを前記センサに送信するように構成された前記カメラと通信する、請求項１に記載のロボットシステム。

【請求項9】

前記人間が知覚できない印およびリンク情報を感知するように動作可能な前記センサは、前記ロボット上でサポートされる、請求項１に記載のロボットシステム。

【請求項10】

前記拡張現実システムは、前記人間が理解可能な情報を、前記送信された実世界ビュー上に重ね合わされたコンピュータ生成画像の形態で表示するように動作し、前記コンピュータ生成画像は、前記相互作用情報のうちの少なくとも一部を表す、請求項１に記載のロボットシステム。

【請求項11】

前記視覚ディスプレイは、頭部装着型ディスプレイ（ＨＭＤ）を含む、請求項１に記載のロボットシステム。

【請求項12】

前記視覚ディスプレイは、１つまたは複数の表示画面を含む、請求項１に記載のロボットシステム。

【請求項13】

動作環境内での前記ロボットの少なくとも部分的な人間による操作を容易にするために、前記拡張現実システムとともに動作可能な遠隔操作制御システムをさらに含む、請求項１に記載のロボットシステム。

【請求項14】

ロボットシステムであって、
ロボットと、
前記ロボットが動作する環境内の物体に関連付けられた人間が知覚できない印であって、前記人間が知覚できない印は、前記ロボットと前記物体との所定の意図された相互作用に関する相互作用情報をその上に直接含み、前記相互作用情報は、前記所定の意図された相互作用にしたがって前記ロボットによる前記物体との相互作用を容易にするように動作可能である、人間が知覚できない印と、
前記人間が知覚できない印および前記相互作用情報を感知するように動作可能な少なくとも１つのセンサと、
コンピュータを含む拡張現実システムであって、前記ロボットと通信し、前記相互作用情報に関連付けられた人間が理解可能な情報を人間オペレータに伝達するように動作可能な拡張現実システムと、
前記拡張現実システムは、前記センサによって知覚された前記人間が知覚できない印および前記相互作用情報を前記人間が理解可能な情報に変換し、前記人間が理解可能な情報を視覚ディスプレイに送信するように動作可能な変換モジュールと、を含む、ロボットシステム。

【請求項15】

前記ロボットはカメラを含み、前記拡張現実システムは、人間オペレータが見ることができる視覚ディスプレイをさらに含み、前記拡張現実システムは、少なくとも部分的に、前記カメラによってキャプチャされる動作環境の電子的に送信された実世界ビューを前記視覚ディスプレイ上に表示するように動作可能である、請求項１４に記載のロボットシステム。

【請求項16】

前記相互作用情報は、前記人間が理解可能な情報を含み、前記拡張現実システムは、前記センサによって知覚された前記人間が理解可能な情報を視覚ディスプレイに直接送信するように動作する、請求項１４に記載のロボットシステム。

【請求項17】

前記変換モジュールは、前記ロボット上でサポートされる、請求項１４に記載のロボットシステム。

【請求項18】

前記変換モジュールは、前記視覚ディスプレイとともに動作可能な前記コンピュータ上でサポートされる、請求項１４に記載のロボットシステム。

【請求項19】

前記変換モジュールは、変換ソフトウェアを含む、請求項１４に記載のロボットシステム。

【請求項20】

前記センサは、前記拡張現実システムの前記コンピュータまたは頭部装着型ディスプレイのうちの少なくとも１つ上でサポートされ、前記センサは、動作環境内から前記ロボット上のカメラによって取得された画像データを前記センサに送信するように構成された前記カメラと通信する、請求項１４に記載のロボットシステム。

【請求項21】

前記センサは、前記ロボット上でサポートされる、請求項１４に記載のロボットシステム。

【請求項22】

前記相互作用情報は、識別情報、警告情報、状態情報、移動方向情報、命令情報、連続ロボット移動情報、およびこれらの任意の組合せからなる群から選択される、前記物体に関する情報を含む、請求項１４に記載のロボットシステム。

【請求項23】

前記拡張現実システムは、前記人間が理解可能な情報を、前記送信された実世界ビュー上に重ね合わされたコンピュータ生成画像の形態で表示するように動作し、前記コンピュータ生成画像は、前記相互作用情報のうちの少なくとも一部を表す、請求項１４に記載のロボットシステム。

【請求項24】

前記視覚ディスプレイは、頭部装着型ディスプレイ（ＨＭＤ）を含む、請求項１４に記載のロボットシステム。

【請求項25】

前記視覚ディスプレイは、１つまたは複数の表示画面を含む、請求項１４に記載のロボットシステム。

【請求項26】

動作環境内での前記ロボットの少なくとも部分的な制御を容易にするために、前記拡張現実システムとともに動作可能な遠隔操作制御システムをさらに含み、前記遠隔操作制御システムは、前記拡張現実システムとさらに通信する、請求項１４に記載のロボットシステム。

【請求項27】

拡張現実プラットフォームの一部として、機械ナビゲート可能環境内にロボットを配備するための方法であって、
前記ロボットが動作することとなる所望の空間を識別するステップと、
前記空間内に位置する、または位置することになる１つまたは複数の物体を選択するステップと、
機械可読であり人間が知覚できない印で前記１つまたは複数の物体をマーキングするステップであって、前記人間が知覚できない印は、相互作用情報、または相互作用情報を含むデータベースにリンクするリンク情報のうちの少なくとも１つを含む、ステップと、
前記空間内に前記ロボットを導入するステップであって、前記ロボットは前記空間内で移動可能である、ステップと、
前記ロボットと通信する拡張現実システムを動作させるステップであって、前記拡張現実システムは、コンピュータを含み、人間が理解可能な情報を人間オペレータに伝達するように動作可能であり、前記人間が理解可能な情報は、前記相互作用情報または前記リンク情報のうちの少なくとも１つに対応する、ステップと、
前記ロボットに前記人間が知覚できない印を感知させるステップと、
前記人間が理解可能な情報を人間オペレータに伝達するステップと、
前記人間が理解可能な情報にしたがって、前記ロボットによる前記１つまたは複数の物体との相互作用を容易にするステップと、
前記拡張現実システムを動作させるステップは、前記相互作用情報または前記リンク情報のうちの少なくとも１つを前記人間が理解可能な情報に変換するステップと、を含む、方法。

【請求項28】

前記人間が理解可能な情報を前記人間オペレータに伝達するステップは、前記人間が理解可能な情報を前記拡張現実システムに関連付けられたディスプレイに伝達するステップを含む、請求項２７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本出願は、２０２０年７月４日に出願された、「Augmented Reality System and Method for Conveying To a Human Operator Information Associated With Human-Imperceptible Indicia within an Operating Environment of a Robot」と題する米国仮特許出願第６３／０４８，１２３号の利益を主張するものであり、その全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

ロボットが空間を横切り、物体と相互作用するのは、困難なタスクであり得る。ロボットは、ロボットに損傷を与える可能性がある障害物またはロボットによって損傷を受ける可能性がある障害物を区別することができなければならない。加えて、ロボットは、タスクを実行するためおよび／または命令に従うために、ロボットが相互作用しなければならない物体を識別することができなければならない。さらに、いくつかの物体は、冷凍庫と冷蔵庫のドアの違い、またはコンロ上のどのノブがどのバーナーに対応しているのかなど、相互作用に危険または困難をもたらすことがある。

【0003】

いくつかの動作シナリオでは、自律ロボットは、動作環境内で動作することができる。他の動作シナリオでは、ロボットまたはロボットデバイスの制御は、リモート制御デバイス、遠隔操作制御システム（例えば、マスタ／スレーブシステム）、またはこれらの組合せなどを用いて、少なくとも部分的に、人間オペレータによって実行することができる。これは、典型的には、ロボットが完全に自律的になるのではなく、ロボットの移動に対して少なくともある程度の制御を維持することが望まれる場合に行われる。これらの動作シナリオ内では、人間オペレータが動作環境（ロボットが存在し動作している環境）を直接の実世界で見ることができないかまたは望まれない場合に人間オペレータがロボットから離れた位置にいる事例があり得る。これらの場合、人間オペレータは、ロボットとともに動作可能な拡張現実プラットフォームの一部として拡張現実システムを利用することができ、人間オペレータは、電子ディスプレイ（例えば、ヘッドセット、１つまたは複数の画面など）を使用して、ロボットが存在する動作環境を見ることができる。電子ディスプレイは、感知された情報（例えば、ロボット上の１つまたは複数のカメラからの静止画像またはビデオ画像）、および／または動作環境内のセンサ（例えば、動作環境内に搭載されるか、または他の方法で存在する１つまたは複数のカメラ）から直接感知された情報を受信するために、ロボットと電子的に接続またはインターフェースされ得る。拡張現実システムは、人間オペレータが動作環境内に物理的に存在しなくても、リモートの電子的に送信された実世界の人間オペレータによる動作環境の視認、および動作環境内のロボットに対する任意の所望の制御を容易にする。拡張現実システムを採用することで、ロボットのタイプおよび／またはロボットに関連付けられるべき人間の制御のレベルに応じて、リモート環境で動作する自律ロボットを監督すること、またはリモート環境におけるロボットの少なくとも部分的な人間オペレータ制御（すなわち、遠隔操作制御または操作）を容易にすることができる。

【0004】

拡張現実システムは、ロボットがリモートで操作（遠隔操作）されているときに特定の利点を提供することができるが、いくつかの従来の拡張現実システムでは、動作環境内の物体のうちの１つまたは複数に関連付けられた固有の困難性によって引き起こされ得る性能欠陥のうちの、すべてではないにしても、いくつかを克服するのに十分な情報を人間オペレータに伝達することができないので、動作環境内のロボットの少なくとも部分的な人間オペレータ制御またはロボットの完全な自律動作（人間オペレータによる監視の実行を伴う）が、必要とされるまたは所望の性能に達しない状況がある。例えば、完全な自律ロボットは、不適切なプログラミング、タスクもしくは相互作用要件の複雑さの結果としてまたは他の理由で、特定のタスクを適切に実行することまたは動作環境内で１つまたは複数の物体と相互作用することができない場合がある。別の例では、人間オペレータによって少なくとも部分的に制御されるロボットは、人間オペレータが不慣れであるか、もしくは本質的に複雑であるか、もしくは任意の他の理由で、タスク（複数可）の完了もしくは物体との相互作用を行う人間オペレータの能力を禁止もしくは制限する、特定のタスクに遭遇し得るか、または１つまたは複数の物体と相互作用することが要求され得る。これらの状況では、従来の拡張現実システムのうちのいくつかを使用する人間オペレータは、拡張現実システムを通して人間オペレータに伝達される情報の限界により、動作環境の実世界ビューを視認することができるようになるだけでは、ロボットの性能を向上させることが不可能である可能性が高いであろう。

【0005】

当然ながら、いくつかの拡張現実システムは、物体認識または他の機械学習方法を利用して、特定の物体とどのように相互作用するかをロボットに教示しようとし、次いで、物体認識プロセスの結果に基づいてコンピュータ生成画像の形態で人間オペレータに関連情報を伝達するが、これらの方法は、非常にコストがかかる可能性があり、ロボットが相互作用するのがより複雑または困難であるものなど、動作環境内でのいくつかの物体との相互作用には不十分であり得る複雑なアルゴリズムを使用する可能性がある。

【図面の簡単な説明】

【0006】

本発明の特徴および利点は、例として本発明の特徴をともに示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。

【図1】一例による拡張現実システムを含むロボットシステムの概略ブロック図である。

【図2】一例による、ウェアラブルマスタ制御システムの形態のロボット用遠隔操作制御システムを示す拡張現実システムと、頭部装着型ディスプレイの形態の人間オペレータディスプレイと、ロボットがナビゲートおよび相互作用することができる機械ナビゲート可能環境を定義する、機械可読であるが人間が知覚できない印でマーキングされた物体を中に有する空間または動作環境とを含むロボットシステムの概略斜視図である。

【図3a】一例による、図２の物体をマーキングするための、機械可読であるが人間が知覚できないラベルまたは印の概略正面図であり、明確にするために可視化して示される。

【図3b】一例による、図２の物体をマーキングするためのラベルまたは印の概略正面図であり、不可視性を示すように図示される。

【図4】一例による、図２の物体をマーキングするためのラベルまたは印の概略側面図である。

【図5】一例による、図２の物体をマーキングするためのラベルまたは印の概略側断面図である。

【図6】一例による、図２の物体の概略正面図である。

【図7】一例による、図２の物体の概略正面図である。

【図8】一例による、図２の物体の概略正面図である。

【図9】印のルックアップテーブルまたはライブラリの概略図である。

【0007】

次に、示される例示的な実施形態を参照し、本明細書では、特定の言語を使用してそれを説明する。それにもかかわらず、それが本発明の範囲の限定を意図しないことは理解されよう。

【発明を実施するための形態】

【0008】

［発明の概要］
技術実施形態の最初の概要が以下に提供され、その後、具体的な技術実施形態についてさらに詳細に説明する。この最初の概要は、読者が技術をより迅速に理解するのを助けることを意図しているが、技術の重要な特徴または本質的な特徴を特定することは意図しておらず、特許請求される主題の範囲を限定することも意図していない。

【0009】

本開示は、ロボットと、前記ロボットが動作する環境内の物体に関連付けられた人間が知覚できない印であって、相互作用情報へのアクセスを容易にする人間が知覚できない印と、前記人間が知覚できない印および前記相互作用情報を感知するように動作可能な少なくとも１つのセンサと、コンピュータを含む拡張現実システムであって、ロボットと通信し、相互作用情報に対応するかまたは他の方法でそれに関連付けられた人間が理解可能な情報を人間オペレータに伝達するように動作可能な拡張現実システムと、データベースに記憶された相互作用情報であって、リンク情報に関連付けられ、前記ロボットと前記物体との所定の意図された相互作用に関し、前記所定の意図された相互作用にしたがって前記ロボットによる前記物体との相互作用を容易にするように動作可能な相互作用情報とを含むロボットシステムを記載する。

【0010】

一例では、拡張現実システムは、相互作用情報を人間が理解可能な情報に変換し、人間が理解可能な情報をオペレータに送信するように動作可能な変換モジュールをさらに含むことができる。

【0011】

本開示はまた、ロボットと、前記ロボットが動作する環境内の物体に関連付けられた人間が知覚できない印であって、前記人間が知覚できない印は、前記ロボットと前記物体との所定の意図された相互作用に関する相互作用情報をその上に直接含み、前記相互作用情報は、前記所定の意図された相互作用にしたがって前記ロボットによる前記物体との相互作用を容易にするように動作可能である、人間が知覚できない印と、前記人間が知覚できない印および前記相互作用情報を感知するように動作可能な少なくとも１つのセンサと、コンピュータを含む拡張現実システムであって、ロボットと通信し、相互作用情報に対応するかまたは他の方法でそれに関連付けられた人間が理解可能な情報を人間オペレータに伝達するように動作可能な拡張現実システムとを含むロボットシステムを記載する。

【0012】

一例では、ロボットはカメラを含むことができ、拡張現実システムは、人間オペレータが見ることができる視覚ディスプレイをさらに含むことができ、前記拡張現実システムは、少なくとも部分的に、前記カメラによってキャプチャされる前記動作環境の電子的に送信された実世界ビューを前記視覚ディスプレイ上に表示するように動作可能である。ロボットは、カメラを利用して、動作環境の実世界ビューを拡張現実システムに送信し、人間が理解可能な情報と組み合わせて、ロボットの拡張現実操作を提供することができる。

【0013】

本開示は、拡張現実プラットフォームの一部として、機械ナビゲート可能環境内にロボットを配備するための方法をさらに記載し、方法は、前記ロボットが動作することとなる所望の空間を識別するステップと、前記空間内に位置する、または位置することになる１つまたは複数の物体を選択するステップと、機械可読であり人間が知覚できない印で前記１つまたは複数の物体をマーキングするステップであって、前記人間が知覚できない印は、相互作用情報、または相互作用情報を含むデータベースにリンクするリンク情報のうちの少なくとも１つを含む、ステップと、前記空間内に前記ロボットを導入するステップであって、前記ロボットは前記空間内で移動可能である、ステップと、前記ロボットと通信する拡張現実システムを動作させるステップであって、前記拡張現実システムは、コンピュータを含み、人間が理解可能な情報を人間オペレータに伝達するように動作可能であり、人間が理解可能な情報は、相互作用情報またはリンク情報のうちの少なくとも１つに対応するかまたは他の方法でそれに関連付けられる、ステップと、人間が知覚できない印を感知するステップと、前記人間が理解可能な情報を人間オペレータに伝達するステップと、前記人間が理解可能な情報にしたがって、前記ロボットによる前記１つまたは複数の物体との相互作用を容易にするステップとを含む。

【0014】

システムおよび方法は、人間には見えないまたは実質的に見えないままで、ロボットまたは拡張現実システムが知覚できる（すなわち、機械可読である）ように物体をマーキングまたは識別することを含むことができる。そのようなマーキングは、ロボット、または、拡張現実システムおよび拡張現実システムを通して人間オペレータに伝達されるような人間可読相互作用命令を使用して、ロボットを監督もしくは少なくとも部分的に操作する人間オペレータによる識別、相互作用、およびナビゲーションを容易にすることができる。マーキングは、自律的に動作されるか、少なくとも部分的に人間オペレータによって（例えば、ロボットの少なくとも部分的な制御を容易にするために拡張現実システムとともに動作可能な遠隔操作制御システムを介して）操作されるかにかかわらず、ロボットのための機械またはロボットナビゲート可能環境（動作環境）を作成することができる。例として、そのような物体は、アイテム（例えば、飲料）を取り出すといったタスクを完了するためにロボットが接近して相互作用する冷蔵庫などの電化製品とすることができる。したがって、電化製品または冷蔵庫は、機械可読であり、電化製品を冷蔵庫として、ひいては、アイテムを取り出すために機械またはロボットが相互作用する物体として識別することができるとともに、冷蔵庫についての情報、例えば、それとどのように相互作用するか、それの状態、および冷蔵庫に関する任意の他の情報、またはロボットが冷蔵庫とどのように相互作用することができるか、を提供することができるマーキング、ラベル、タグ（すなわち、印）を有することができる。明らかに、電化製品を含む動作環境は、他のタイプの物体が存在する任意の動作環境内にロボットを配置することができるので、決して限定することを意図するものではない。そのような環境および関連する物体は、敵対意のある物体を有する敵意のある動作環境、危険な物体を有する危険な動作環境など、人間にとって危険であるかまたは実用的ではない可能性がある。本明細書で使用される場合、「印（indicia）」という用語は、物体に関連付けられるかまたは他の方法で動作環境内に存在する１つまたは２つ以上の「印」を指す。印は、物体上に配置されたタグまたは他のマーカ内にまたはその上に含まれるか、物体に印刷されるか、他の方法で物体に取り付けるもしくは関連付けられるか、動作環境内の構造上で支持されるか、などであり得る。印は、冷蔵庫のハンドルなど、この場合もロボットが相互作用する物体の部分を識別する情報などの様々な情報を含むことができる。複数の異なるマーキング、ラベル、タグ、または他の印を使用して、物体の複数の異なる部分を区別することができる。冷蔵庫の例で言えば、これは、冷蔵庫のハンドル、冷凍庫のハンドル、製氷機ディスペンサ、水ディスペンサ、異なる棚またはビンなどを含むことができる。さらに、印はまた、１つまたは複数の物体の状態、方向（進行方向）、大きさ、動作、または他の相互作用命令に関する情報、物体に関連するかまたは物体に付随する情報、あるいはロボットが物体とどのように相互作用すべきかまたは相互作用することができるかに関して有用であり得る任意の他の情報またはパラメータを、自律的に動作しているか、遠隔操作制御システムおよび拡張現実システムなどを介して少なくとも部分的に人間オペレータによって操作されているかにかかわらず、示すことができる。冷蔵庫の例を使用すると、印は、ドアがどの方向に開くか、ドアを開けるためにどの程度の力が加えられるべきか、実行されるべき回転の程度、冷蔵庫内の異なる位置へのアイテムの移動または取り出しに関する命令、冷蔵庫の型／モデル、冷蔵庫が使用されている期間、修理またはメンテナンスの命令、および任意の他の関連情報を示すことができる。

【0015】

機械可読印は、ロボットまたは拡張現実システムによって知覚および解釈され得るが、人間の肉眼では見えない記号、コード、文言などを含むことができる。一例では、ロボットまたは拡張現実システムは、画像センサを有するカメラを利用して、印を視認することができる。加えて、印は、そのような印が人間にとって不快な環境を作らず、人間にとって審美的に快いままであるように、人間の肉眼では見えないまたは実質的に見えないものであり得る。例えば、印は、ＵＶ光を反射することができ、画像センサは、そのようなＵＶ光を検出する能力があり得る。したがって、印は、環境の美観を妨げずに、ロボットまたは拡張現実システムによって知覚することができる。

【0016】

物体に関連付けられた機械可読印は、物体自体によってまたは物体自体の上に担持された印を含むことができ、印は、動作環境内の物体の識別および物体との相互作用を容易にする情報のすべてまたは一部を含む。別の例では、物体に関連付けられた機械可読印は、物体自体によって担持される印を含むことができ、印は、物体に関する相互作用情報が、ロボットによって、または動作環境内の物体の識別および物体との相互作用を容易にする拡張現実システムの一部としての１つまたは複数のコンピュータシステムによってアクセスされ得る、データベースへのリンクを容易にするリンク情報を含む。

【0017】

［詳細な説明］
本明細書で使用される場合、「実質的に（substantially）」という用語は、作用、特徴、特性、状態、構造、項目、または結果の完全なまたはほぼ完全な範囲または程度を指す。例えば、「実質的に」囲まれている物体は、物体が完全に囲まれているか、またはほぼ完全に囲まれていることを意味する。絶対的な完全性からの逸脱の正確な許容度は、場合によっては、特定のコンテキストに依存し得る。しかしながら、一般的に言えば、完全性に近い（nearness of completion）とは、全体的な結果が、絶対的かつ全体的な完全性が得られた場合と同じとなるようなものである。「実質的に」の使用は、作用、特徴、特性、状態、構造、項目、または結果の完全なまたはほぼ完全な欠如を指すために否定的な意味合いで使用される場合にも等しく適用可能である。

【0018】

本明細書で使用される場合、「隣接する（adjacent）」は、２つの構造または要素の近接を指す。特に、「隣接している」と識別される要素は、当接しているかまたは接続されているかのいずれかであり得る。そのような要素はまた、必ずしも互いに接触することなく、互いに近くにあるかまたは近接しているであろう。近接の正確な程度は、場合によっては、特定のコンテキストに依存し得る。

【0019】

本明細書で使用される場合、「可視／見える（visible）」は、人間の肉眼で見えること、および約４００～７５０ナノメートルの波長を有する可視スペクトル内の光で可視であることを指す。

【0020】

本明細書で使用される場合、「印」は、特に指定されない限り、複数の印および単数の印の両方を指す。

【0021】

図１は、本開示の一例によるロボットシステムの概略ブロック図を示す。図２は、図１のロボットシステムを代表する特定のロボットシステム１０が含み得るものの概略斜視図を示す。図１および図２を参照すると、一例によれば、ロボットシステム１０は、動作環境内の空間１２内でナビゲートおよび相互作用するように構成されたロボット２２を含むことができ、空間１２は、ロボット２２がナビゲートおよび相互作用することができる機械ナビゲート可能動作環境を定義する、機械可読であるが人間が知覚できない印１８でマーキングされた任意の数の例示的な物体（例えば、物体１４ａ～１４ｎ、ここで、「ｎ」は任意の数を表す）（例えば、特に図２の物体１４ａ～１４ｊを参照されたい）を有する。

【0022】

ロボット２２は、動力作動式関節、推進システム（例えば、車輪およびモータ）、ならびに他の構成要素およびシステムなどにより、移動式および自己推進式であり得る。ロボット２２は、遠隔操作ロボット、人型ロボット、または当業者によって理解されるような任意の他のものなど、任意のタイプのロボットを含むことができる。ロボット２２は、物体を把持または係合するためのグリッパまたは指などの形態の１つまたは複数のエンドエフェクタを有する１つまたは複数のアームを有することができる。ロボット２２は、カメラを含む１つまたは複数のセンサまたはセンサデバイス２６を含むことができる。一例では、ロボット２２は、人間オペレータによって少なくとも部分的に遠隔操作することができる。実際、ロボットシステム１０は、例えばネットワークを介してロボット２２と通信するリモートまたは遠隔操作制御システム１０４（例えば、マスタ制御システム）をさらに含むことができ、遠隔操作制御システム１０４は、人間オペレータに、少なくともある程度、ロボット２２の移動、移動運動、センサ展開、および他の機能を制御する能力を提供する。これは、ロボット２２に近接して、またはリモート位置から行うことができる。一例では、遠隔操作制御システム１０４は、人間オペレータが身に着けることができる外骨格を含むウェアラブルマスタ制御システムを含むことができる（例えば、図２を参照）。遠隔操作制御システム１０４は、ロボット２２の少なくとも部分的なリモート操作（遠隔操作）を容易にするように設計および構成された様々なセンサ、通信構成要素／機能、およびその上に支持される任意の他の構成要素またはシステム（図２参照）を含むことができる。

【0023】

ロボットシステム１０は、１つまたは複数の物体１４上に担持または支持された任意の識別または相互作用情報（リンク情報を含む）を含む、前記人間が知覚できない印を感知するように動作可能な少なくとも１つのセンサをさらに含むことができる。一例では、センサは、ロボット２２上に支持されるような画像センサを有するカメラ２６を含むことができ、画像センサは、物体および環境を視認または感知するように動作可能である。一態様では、カメラ２６または画像センサは、ＵＶスペクトル内で動作可能であることができ、ＵＶ光を視認または感知することが可能であることができる。加えて、ロボット２２は、物体および環境に照射して反射させるためにＵＶ光を放出することができるＵＶ光源３０を有することができる。一態様では、ＵＶ光源３０は、２００～３８０ナノメートルの波長を有する近ＵＶ光（ＮＵＶ）を放出することができ、ＵＶカメラ２６またはその画像センサは、それを検出することができる。

【0024】

ロボットシステム１０は、ロボット２２、または遠隔操作制御システム１０４、またはこれらの両方と通信する拡張現実システム１２０をさらに含むことができる。拡張現実システム１２０は、ロボットシステム１０のすべてまたは一部を操作するオペレータに、動作環境の空間１２の少なくとも一部の電子的に送信された実世界ビューを伝達（例えば、表示）するように動作可能であることができる。実世界ビューは、カメラ２６またはロボット２２の他のセンサによってキャプチャされた静止画像またはビデオ画像から生成することができる。拡張現実システム１２０はさらに、人間が理解可能な情報をロボットシステム１０の人間オペレータに伝達するように動作可能であることができる。「人間が理解可能な情報（human-understandable information）」は、人間が理解し、１つまたは複数の印１８の特定のタイプもしくは形態に対応する情報、および／または印１８に関連付けられた相互作用情報を指し、これは、例えば、１つまたは複数の印が機械可読であるので、最初は人間が知覚することができないものである。以下で説明するように、いくつかの印１８は、人間オペレータに直接伝達することができる人間が理解可能な情報を含むことができ、いくつかの印１８は、人間オペレータによって理解されるためには人間オペレータに伝達する前に人間が理解可能な情報に変換されなければならない機械可読相互作用情報のうちの少なくとも１つを含むか、またはそれへのアクセスを容易にすることができる。ロボット２２は、カメラ２６または他のセンサを利用して、動作環境の実世界ビューを拡張現実システム１２０に送信することができ、人間が理解可能な情報と組み合わせて、ロボット２２の拡張現実操作を提供することができる。

【0025】

拡張現実システム１２０は、拡張現実を容易にするために必要とされる必要なプロセッサ、メモリ、Ｉ／Ｏ通信デバイスのすべてを有するコンピュータを含むことができる。拡張現実システム１２０は、コンピュータと関連して、１つまたは複数のオペレータまたは視覚ディスプレイ１２４をさらに含むことができ、視覚ディスプレイ１２４は、人間オペレータが見ることができるものであり、拡張現実システム１２０は、少なくとも部分的に、空間１２の電子的に送信された実世界ビューおよび任意の人間が理解可能な情報を表示することができる。１つまたは複数のディスプレイ１２４は、１つまたは複数の画面またはモニタ１２８、頭部装着型ディスプレイ（ＨＭＤ）１３２、または人間オペレータが見ることができる任意の他のタイプのディスプレイ、またはこれらの任意の組合せを含むことができる。拡張現実システム１２０はさらに、センサおよび送信デバイスなどの可聴または触覚デバイスを含むことができ、これにより、人間オペレータは、可聴音または触覚フィードバックの形態で人間が理解可能な情報を受信することができる。

【0026】

拡張現実システム１２０は、遠隔操作制御システム１０４に接続することができ、これにより、人間オペレータは、以下でより詳細に述べられるように、任意の伝達された人間が理解可能な情報を使用することを含めて、拡張現実を使用して、ロボット２２を少なくとも部分的に制御することができる。

【0027】

一例では、任意の相互作用、またはリンク情報もしくは他の情報を含む、人間が知覚できない印を感知するように動作可能な画像センサ（複数可）１３６は、拡張現実システム１２０のコンピュータまたは頭部装着型ディスプレイ１３２のうちの少なくとも１つの上など、拡張現実システム１２０内で支持され得る。画像センサ１３６は、ロボット２２上のセンサデバイス（複数可）２６（例えば、カメラ）と通信することができ、センサデバイス２６は、動作環境の空間１２内からカメラ２６によって取得された画像データ（例えば、静止画像データまたはビデオ画像データ）を画像センサ１３６に送信するように構成され得る。別の例では、人間が知覚できない印を感知するように動作可能な画像センサ１３６は、上述したように、ロボット２２上に支持することができる（例えば、センサは、カメラ２６および適切な画像センサを含むことができる）。いずれのシナリオにおいても、拡張現実システム１２０は、人間が理解可能な情報の形態で、印１８、または印１８によって提供もしくは容易にされる（例えば、リンクされる）情報を人間オペレータに表示するように構成され得、一例では、ロボットと１つまたは複数の物体１４との所定の意図された相互作用に関する情報であり得る。しかしながら、人間が理解可能な情報は、ロボットシステムを操作する際にオペレータを支援するように設計されたものなど、目的に応じて任意の情報を含むことができるので、これは決して限定することを意図するものではない。実際に、人間オペレータは、ロボット２２が空間１２内の１つまたは複数の物体と相互作用させられるときにロボット２２をより効率的におよび／または専門的に操作するため、ロボット２２の適切な動作を管理または監督および検証するため、ロボット２２のトレーニングのためなど、様々な理由で、人間が知覚できない印１８から取得または導出され、拡張現実で人間オペレータに伝達される人間が理解可能な情報を利用することができる。ロボット２２が自律ロボットからなる例では、拡張現実システム１２０は、人間オペレータが、印１８に関連付けられた人間が理解可能な情報を見ることができることによって、ロボット２２の動き、およびロボット２２が空間１２内の物体とどのように相互作用するかを監督することを可能にすることができ、印１８は、空間１２内の物体１４に関連付けられている。この情報は、必要に応じてロボットシステムにおいて様々な補正を行うために使用することができる。ロボット１２が、例えば、マスタ制御システムを介して、人間オペレータによって少なくとも部分的に操作または制御される例では、拡張現実システム１２０は、空間１２内の物体１４に関連付けられた１つまたは複数の印に関連付けられた人間が理解可能な情報を見ることによって、空間１２内の物体１４と相互作用するように人間オペレータがロボット２２の１つまたは複数の動きを制御することを可能にすることができる。人間が理解可能な情報が、印１８を感知する画像センサ１３６から人間オペレータに伝達されると、人間オペレータは、物体（複数可）１４との相互作用に関連する命令を実行し、物体（複数可）１４の状態または他のパラメータを記憶し（note）、物体（複数可）１４に対して保守または他の機能を実行し、物体（複数可）１４を指示された方法で操作し、および／または人間が理解可能な情報を用いて可能にされ得るまたはより効率的にされ得る任意の他の機能またはタスクを実行することができる。加えて、人間オペレータは、意図された方法で物体（複数可）１４と相互作用するためにより良く装備されているので、安全性を高めることができる。さらに、前述のように、ロボット２２のトレーニングは、ロボット２２がより効率的な方法で物体と相互作用する方法を学習するので、拡張現実システム１２０によって容易にされ得る。

【0028】

物体（複数可）１４上の１つまたは複数の印１８は人間が知覚できない（可視スペクトルにおいて人間が見ることができない）ので、拡張現実システム１２０は、印１８に関連付けられた情報の受信およびそのような情報の人間オペレータへの伝達を容易にするために、センサ１３６およびロボット２２に接続され得る。一例では、印１８は、印１８が可視スペクトルで見ることができるものであったなら、人間オペレータが読み取ることができたであろう情報を含むことができる。言い換えると、印１８は、拡張現実システムとともに動作可能なセンサが印１８を感知する（例えば、機械で読み取りする）と、拡張現実システムが、例えば、オペレータディスプレイ（複数可）を介して、人間オペレータに直接伝達することができる、人間が理解可能な情報を含むことができる。

【0029】

別の例では、印１８は、センサ１３６によって感知され得る（すなわち、機械で読み取りされ得る）が、人間オペレータに表示することができる人間が理解可能な情報に変換されなければならない相互作用情報（任意のリンク情報を含む）を含むことができる。そのため、拡張現実システム１２０は、印１８に関連付けられた相互作用情報（任意のリンク情報を含む）を人間が理解可能な情報に変換し、例えば、オペレータディスプレイ（複数可）１２４または可聴もしくは触覚デバイスを介して、人間が理解可能となった情報を人間オペレータに送信または伝達するように動作可能な変換モジュールまたは変換システム１４０をさらに含むことができる。変換モジュール１４０は、人間が理解可能な情報への相互作用情報の変換を容易にすることができる１つまたは複数の変換アルゴリズムを含む変換ソフトウェアを含むことができる。例えば、人間が知覚できない印１８は、特定の相互作用情報および／またはリンク情報を含んでいるかまたはそれに関連付けられた、クイックレスポンスまたはＱＲコード（登録商標）などの機械可読印を含むことができ、拡張現実システム１２０のコンピュータは、適切な変換アルゴリズム（例えば、ＱＲコード（登録商標）アルゴリズム）を実行する変換ソフトウェアを使用して、人間が理解可能な情報へのそのような相互作用情報の変換を達成または実行するようにプログラムされ得る。この変換は、印１８上の相互作用情報にリンクされた、マッピングされた、または他の方法で関連付けられた、予めプログラムされたユーザが理解可能な情報のデータベースにアクセスすることを含むことができる。例えば、変換モジュール１４０は、変換アルゴリズムを実行することができ、その一部は、画像センサによって感知されたまたは機械で読み取られた印１８上の相互作用情報とリンクされた、マッピングされた、または他の方法で関連付けられた人間が理解可能な情報のデータベースにアクセスするための命令を含むことができる。取り出されると、情報は、拡張現実システムによってオペレータに見えるようになった実世界ビューと併せて、オペレータに伝達（すなわち、送信）することができる。人間が理解可能な情報は、印１８を感知して相互作用情報を読み取る際にロボット２２が利用し得る情報とは異なるものであってもよい。例えば、本明細書で述べるように、ロボット２２は、使用する力の大きさ、行う動きのタイプおよび程度（例えば、１つまたは複数の関節が受ける回転の程度）など、１つまたは複数の印１８が支持される物体とロボット２２がどのように相互作用するかに関して、ロボット２２によって実行可能なコンピュータ化された命令または他の情報の形態で相互作用情報を受信することができる。一方で、変換モジュール１４０は、人間が理解可能な情報への相互作用情報の変換を容易にすることができ、人間が理解可能な情報は、ロボット２２が印１８を支持する物体（複数可）と相互作用することに関連するので、ロボット２２がどのように実行すべきか、および／またはロボット２２が何をすべきかに関しては本質的に同等であるが、オペレータは、ロボット２２と物体との同じまたはより効率的な相互作用を達成するために理解することができるものである。言い換えると、変換モジュール１４０によって変換され、オペレータに伝達される人間が理解可能な情報は、単純な命令から複雑なタスク（例えば、冷蔵庫に行って冷蔵庫のドアを開け、最上段の棚から炭酸飲料を取り出す）を処理する人間の能力により、よりハイレベルな情報である可能性が高い。印１８自体は、相互作用情報（任意のリンク情報を含む）に加えて識別子を含むことができる。印識別子、相互作用情報、またはこれらの組合せは、特定の１つまたは複数の印が画像センサ１３６によって機械で読み取りされると、好適な人間が理解可能な情報が取り出され、オペレータに伝達され得るように、データベースに記憶され、適切にマッピングされた人間が理解可能な情報とリンクされるか、または他の方法で関連付けられることができる。人間が理解可能な情報は、物体または物体との相互作用に関して必要とされるかまたは所望されるだけの詳細な情報であって、ロボット２２が物体と相互作用するかまたは物体に関連する機能を実行するのを支援するために、または物体に関連付けられたタスクを実行するために、オペレータが、その特定の１つまたは複数の印１８の目的および機能に関して十分に与えられる必要がある情報を含むことができる。オペレータディスプレイ（複数可）１２４または他のデバイス（例えば、ＨＭＤ１３２またはモニタ（複数可）１２８）は、センサ１３６の位置に応じて、ロボット２２からまたは拡張現実システム１２０のコンピュータから、人間が理解可能な情報を受信することができることに留意されたい。

【0030】

拡張現実システム１２０は、電子的に送信された実世界ビューに加えて、および／またはそれと同期して、人間が理解可能な情報をオペレータディスプレイ（複数可）１２４（例えば、ＨＭＤ１３２または１つもしくは複数の画面／モニタ１２８）上に表示するように構成され得る。そのため、拡張現実システム１２０は、人間が理解可能な情報を、それが導出された印１８にリンクさせて、印１８が画像センサ（複数可）１３６によって感知される（および必要に応じて変換される）と、人間が理解可能な情報をオペレータに（具体的には、オペレータが見ることができるディスプレイに）適切かつ適時に伝達する（すなわち、電子的に送信する）ことができる。一例では、人間が理解可能な情報は、オペレータが見ることができる電子的に送信された実世界ビュー上に重ね合わされた、コンピュータ生成画像（例えば、テキスト、写真、および他のグラフィック）の形態であることができる。別の例では、人間が理解可能な情報は、オペレータに伝達される可聴または触覚メッセージを含むことができ、そのメッセージは、それらが導出される印にリンクされ、オペレータが見ることができる実世界ビューと関連して伝達され得る。コンピュータ生成画像は、センサ１３６が空間１２内の１つまたは複数の物体１４上の１つまたは複数の印１８を感知することによって取得されるような、印１８に関連付けられた相互作用または他の情報の少なくとも一部を表すことができる。

【0031】

本明細書で述べられる拡張現実システムのいくつかの認識された利点がある。１つのそのような利点は、ロボットに、他の場合では実行することができない可能性のある動作環境内で複雑なタスクおよび他の機能を実行させることができることである。動作環境内に存在する印１８に関連付けられた相互作用情報を利用し、これを人間が理解可能な情報の形態でオペレータに伝達（すなわち、送信）することにより、動作環境内の物体のうちの１つまたは複数に関連付けられた固有の困難性によって引き起こされ得る性能欠陥のうちの、すべてではないにしても、いくつかを克服することができる。例えば、そうでなければ、不適切なプログラミング、タスクまたは相互作用要件の複雑さの結果としてまたは他の理由で、特定のタスクを適切に行うことまたは動作環境内で１つまたは複数の物体と相互作用することができない場合がある部分的なまたは完全な自律ロボットは、拡張現実システムおよび人間が理解可能な情報を利用してオペレータから支援を受けて、タスクを実行するか、または、動作環境内の印１８に関連付けられた相互作用情報がオペレータに人間が理解可能な情報の形態で伝達されることにより、適切かつより効率的に物体と相互作用することができる。別の例では、人間オペレータによって少なくとも部分的に制御されるロボットであって、人間オペレータが不慣れであるか、もしくは本質的に複雑であるか、もしくは任意の他の理由で、タスク（複数可）の完了もしくは物体との相互作用を行う人間オペレータの能力を別様に禁止もしくは制限し得る、特定のタスクに遭遇し得るか、または１つまたは複数の物体と相互作用することが要求され得るロボットは、動作環境内の印に関連付けられた相互作用情報が拡張現実システムによって提供されるような人間が理解可能な情報の形態でオペレータに伝達されることにより、より機能的かつ有能なもの（capable）にすることができる。本明細書に開示される拡張現実システムにより、人間オペレータは、印および印に関連付けられた相互作用情報から導出され、拡張現実システムを通してオペレータに伝達される人間が理解可能な情報と併せて、動作環境の実世界ビューを見ることができることができ、それによって、ロボットの性能を向上させることができるであろう。

【0032】

別の利点は、本明細書で述べられる拡張現実システムが、物体認識または他の機械学習方法を利用して、特定の物体とどのように相互作用するかをロボットに教示しようとし、次いで、物体認識プロセスの結果に基づいてコンピュータ生成画像の形態で人間オペレータに関連情報を伝達する従来の拡張現実システム（これは、非常にコストがかかる可能性があり、ロボットが相互作用するのがより複雑または困難であるものなど、動作環境内でのいくつかの物体との相互作用には不十分であり得る複雑なアルゴリズムを使用する可能性がある）よりもはるかに効率的、効果的、かつ経済的な代替手段を提供することである。

【0033】

物体（例えば、物体１４ａ、１４ｂ、および１４ｃ）は、動作環境または空間１２によって異なり得る。一態様では、環境または空間１２は、家またはその中の台所であり得る。したがって、物体は、冷蔵庫１４ｂ、レンジ１４ｃまたはコンロおよびレンジ台上面、電子レンジ１４ｄ、食器洗い機、ゴミ圧縮機などのビルトイン電化製品を含むことができる。別の態様では、物体は、ブレンダー、炊飯器、野菜蒸し器、クロックポット（crockpot）、圧力調理器などのカウンタートップ電化製品を含むことができる。加えて、物体は、ハンドル、ノブ、ボタン、アクチュエータなどのインターフェースを有することができる。加えて、物体は、壁１４ｆ、カウンタまたはアイランド家具１４ｇなどの、ロボット２２の動きまたは動作に対する物理的境界または障壁であり得るか、またはそれを表すことができる。加えて、物体は、屋外窓１４ｈ、オーブン窓、電子レンジの窓、鏡、キャビネットのガラス戸などの、ロボット２２による物体の損傷を受ける物理的境界または障壁であり得るか、またはそれを表すことができる。加えて、物体は、階段、機械などの、ロボット２２に危険な物理的境界または障壁であり得るか、またはそれを表すことができる。さらに、物体は、椅子１４ｉ、ドア１４ｊなどの、頻繁に動きやすい物理的境界または障壁であり得るか、またはそれを表すことができる。物体は、外向きにかつ空間１２の中に面する、外側の外向きの表面を有することができ、冷蔵庫１４ｂの３４ｂによって表される。空間１２は、商業用、政府用、または住居用構造物内などの任意のタイプの空間、屋内または屋外環境内の任意のタイプの空間を含むことができ、物体は、任意のタイプの物体を含むことができる。そのため、本明細書で具体的に特定され、述べられるものは、決して限定することを意図するものではない。

【0034】

印１８は、外側の外向きの表面などの上など、物体１４上に配置され、物体１４によって担持され得る。一態様では、印１８は、物体、ロボットと物体との相互作用、環境などに関する情報を含むことができる。例えば、印１８は、物体、物体のインターフェースの位置を識別すること、その物理的境界または障壁を示すこと、タスクのシーケンスを含むかまたはそれに関連付けられた一連の印内の印の位置を示すことができるか、または直接その上に特定の相互作用情報を含むことができるか、またはそれは、例えば、情報を含むコンピュータデータベースへのリンクを提供すること、開くまたは開かせること、または他のアクセス開始印によって、そのような相互作用情報へのアクセスを容易にするデータベース関連またはリンク情報を含むことができ、ここにおいて、ロボット２２または拡張現実システムを通したオペレータは、コンピュータデータベースと相互作用して、ロボット２２が、物体、その環境などとどのように相互作用するのかを支援するように設計された情報を取得することができる。これについて、以下でさらに詳細に説明する。

【0035】

「相互作用情報（interaction information）」という語句は、本明細書で使用される場合、１つまたは複数の方法で物体と相互作用するためにロボット２２によって必要とされるかまたはロボット２２にとって有用であることができるマーキング印１８を読み取ることによって容易にされるロボット２２または拡張現実システム１２０によって（例えば、情報を含むコンピュータデータベースへのリンクを提供すること、開くまたは開かせること、または他のアクセス開始印などによって、そのような相互作用情報へのアクセスを容易にするデータベース関連情報またはリンク情報を通して）、伝達されるかまたは取り出し可能な情報を意味することができ、相互作用情報は、ロボット２２による物体との効率的で正確かつ有用な相互作用を容易にする。より具体的には、相互作用情報は、ロボット２２と物体との所定の意図された相互作用に関する情報、および１つまたは複数の方法で物体との所定の意図されたロボット相互作用を実行する際に有用であり得る、本開示を読めば当業者に容易に明らかになる任意の他のタイプの情報を含むことができる。相互作用情報は、物体の識別に関する情報（例えば、物体が何であるか、物体の型またはモデルなど）、物体の特性に関する情報（例えば、物体の材料構成、サイズ、形状、構成、向き、重量、構成部品、表面特性、材料特性などについての情報）、ロボットが物体または物体の構成部品もしくは要素を操作することができる特定の方法に関するコンピュータ可読命令（例えば、物体に関するタスクベースの命令またはアルゴリズムおよびそれがどのように相互作用することができるか（例えば、このタスクの場合、これらの命令））、物体の状態に関する情報、ロボット２２が物体とどのように相互作用することができるかに関する情報（例えば、方向、大きさ、持続時間など）、物体に関する相対的な情報（例えば、その環境に対する物体についての情報（例えば、壁からの距離、移動先の位置など）または１つまたは複数の他の物体、その位置についての情報（例えば、ＧＰＳまたは他のナビゲーション情報に基づく座標）など）、複数のマーキング印を利用するタスクについての情報（例えば、シーケンスの識別、一連の印内の各印の位置、次の連続マーキング印が何であるか、次の連続マーキング印を見つけるためにどこに行くべきかなどを含むことができるシーケンス命令）を含むことができるが、これらに限定されない。相互作用情報の性質、量、および詳細は、変化することができ、ロボット２２がすでに知っているもの、ロボット２２がどのように操作されか、例えば、ロボット２２が、自律的に機能することが意図されているのか、半自律的に機能することが意図されているのか、拡張現実システム１２０と連携してリモートまたは遠隔操作制御システム１０４（例えば、マスタ制御システム）を介して完全または部分的に制御されて機能することが意図されているのかなど、様々な事柄に依存することができる。本明細書で説明され、識別される相互作用情報は、決して限定することを意図するものではない。実際に、当業者は、ロボット２２または拡張現実システム１２０に利用可能にすることができる他の相互作用情報を認識し、ここで、相互作用情報は、印を介して、人間が理解可能な情報の形態で表示される。そのような相互作用情報は、ロボット２２、人間オペレータ、またはこれらの組合せが任意の所与の物体と相互作用するために必要とされ得るかまたは所望され得る任意のものであることができ、そのため、すべての可能なシナリオが本明細書で識別され述べられ得るわけではないことが企図される。一態様では、印１８は、ロボット２２もしくはそのコンピュータプロセッサによって、または拡張現実システム１２０もしくはそのコンピュータプロセッサ（複数可）によって認識可能かつ理解され、ロボット２２と空間１２内の１つまたは複数の物体との相互作用を容易にする、機械語の形態の相互作用情報（例えば、識別情報、相互作用命令など）を含むことができる。別の態様では、印１８は、ロボット２２または拡張現実システム１２０、もしくはそのコンピュータプロセッサによって認識可能である、機械語の形態のリンク情報（例えば、コード、数字など）を含むことができ、リンク情報は、相互作用情報を含むデータリポジトリへのアクセス（例えば、コンピュータネットワークを通した）を容易にする。データリポジトリは、ルックアップテーブルまたはライブラリを含むことができる。したがって、ルックアップテーブルまたはライブラリは、相互作用情報に関連するコードまたは数字を含むことができる。一態様では、データリポジトリおよび相互作用情報は、ロボット２２の内部にあるかまたは拡張現実システム１２０の一部であることができる。別の態様では、サーバおよびデータリポジトリならびに相互作用情報は、ロボット２２または拡張現実システム１２０の外部にあることができ、ロボット２２１または拡張現実システム１２０は、動作中、ロボット２２または拡張現実システム１２０によってアクセス可能なコンピュータネットワークまたはクラウドベースのシステムを介して、それと通信することができる。

【0036】

上で示したように、空間１２および動作環境は、１つまたは複数のロボットを動作させることが望ましい可能性のある任意の位置において任意のタイプで構成され得る。一例では、環境または空間１２はオフィスとすることができる。したがって、物体は、壁、キュービクル、机、コピー機などを含むことができる。別の例では、環境または空間１２は、工業用倉庫または製造倉庫、工場、造船所とすることができる。さらに、物体は、製品、機械、または任意の他の物体を含むことができる。本質的に、本明細書では、印１８を有するラベルについて、ロボットが動作することができる任意の考えられる環境で利用することができること、そのような環境内の任意の物体またはアイテムまたは構造要素上で利用することができること、および環境、物体、これらの互いの相互作用などの、またはそれらに関する任意のタイプの情報を含むことができることが企図される。

【0037】

図３ａは、一例による、物体に適用されるように構成された印１８を含むラベルの形態のマーカの概略正面図を示す。そのため、マーカは、マーキング印１８をそれ上で支持または担持するように動作可能な物理的媒体または担体を含むことができる。明確にするために、印１８を有するラベルは、可視であるように示されているが、このような印１８は、人間の肉眼では見えず（人間が知覚できず）、可視光に対して実質的に透明であるように構成され得る。図３ｂは、ラベルおよびその上に支持された印１８の概略正面図を示すが、人間の肉眼に対する不可視性および可視光に対する実質的な透明性を示すように示されている。印１８は機械可読である。したがって、図１～図３ａを参照すると、印１８は、センサ（例えば、ロボット２２上のカメラ２６もしくは画像センサ（または他のセンサもしくは検出器）、または拡張現実システム１２０内で支持されるようなセンサ）によって知覚され、ロボット２２によって認識されることができる記号もしくはパターン３８または両方を含むことができる。一態様では、印１８は、固有のコードを提供するために可変の太さもしくは間隔を有する一連の平行線を有する線形もしくは一次元のバーコード、または固有のコードを提供するために長方形もしくは正方形のドットのパターンを有する二次元のＭａｘｉＣｏｄｅもしくはＱＲコード（登録商標）などとすることができるか、またはそれらを含むことができる。別の態様では、印は、記号、文字、さらには矢印４２などを含むことができる。別の態様では、印１８は、無線周波数識別（ＲＦＩＤ）デバイスまたはタグなどの能動的な識別子とは対照的に、受動的であり得る。

【0038】

加えて、印１８は、図３ｂに示されるように、人間が知覚できない、または人間の肉眼ではでは見えないまたは実質的に見えないものとすることができる。一態様では、印１８は、可視スペクトルでは見えないものとすることができ、したがって、可視光を実質的に反射しない。一態様では、印１８は、可視光が実質的に通過するように、透明または半透明とすることができる。一態様では、印１８は、紫外線とすることができ、太陽などの周囲の光源からの、またはロボット２２のＵＶ光源３０から照らされる紫外線を反射することができる。したがって、印１８は、ＵＶスペクトルで可視であることができる。したがって、印１８は、物体に適用することができ、人間の目には可視光に対して半透明もしくはクリアまたは透明であるように見え、したがって、人間の肉眼では実質的に知覚することができないようにして、物体の美的外観を維持することができる。しかしながら、印１８は、ＵＶ光が印１８に入射させられると、ＵＶスペクトルでの場合と同様に、ロボット２２のカメラ１６に対して可視であることができる。

【0039】

印１８は、可視スペクトルの外側で可視であることができる。一態様では、印１８は、特定のスペクトル内の光（例えば、ＵＶ光）に曝露されたときに蛍光を発することができるか、または赤外線もしくはＩＲ（近、中および／もしくは遠）で可視であることができる。例えば、物体は、ＩＲ反射性であり、ＩＲスペクトルで可視である印でマーキングされることができ、ロボットは、ＩＲスペクトル内で動作可能な画像センサを有するカメラと、ＩＲ光源とを有することができる。別の態様では、印１８は、無線周波数または人間の可聴域外の波長の音とすることができる。例えば、物体は、ＲＦ反射性である印でマーキングされることができ、ロボットは、ＲＦスペクトルで動作可能なセンサを有することができる。別の例として、ロボットは、超音波エミッタで物体に接触し、特徴的な戻り信号を受信するか、または識別を提供する所与の周波数で内部機構を共振させる音を発することができる。したがって、物体は、超音波波長を放出する印でマーキングされることができ、ロボット２２または拡張現実システム１２０は、超音波スペクトル内で動作可能なセンサを有することができる。この場合も同様に、印１８および／またはそれに関連付けられた相互作用情報は、人間オペレータに表示され、理解されるために、拡張現実システム１２０によって人間が理解可能な情報に変換または解釈され得る。

【0040】

図１および図２を再び参照すると、レンジ１４ｃの窓、または電子レンジ１４ｄの窓、または外側窓１４ｈなどの物体１４は、透明部分を有することができる。印１８は、透明部分上に配置することができ、印が物体またはその透明部分の動作に干渉しないように、上述したように、透明であることができる。したがって、窓１４ｈまたはレンジ１４ｃもしくは電子レンジ１４ｄの透明部分に適用された印１８は、窓または透明部分を通した視認を妨げない。

【0041】

図４は、物体１４をマーキングするための印１８を有するラベルの概略側断面図を示す。一態様では、印１８は、物体１４の仕上げ面４６上に配置することができる。一態様では、印１８は、物体１４の最も外側の仕上げ面４６上に取り外し可能に配置された、またはそれに適用された取り外し可能なラベルまたは取り外し可能なアップリケ５０上に支持され得る。例えば、印１８は、ラベルまたはアップリケ５０上に印刷することができる。アップリケ５０は、例えば、剥離可能な接着剤または永久接着剤を用いて、物体の仕上げ面４６に接着することができる。したがって、印１８は、既存の空間内で、かつ物体の製造および空間への輸送後に、物体１４に適用することができる。印１８またはラベル５０は、既存の空間およびその中の物体に適用することができる。

【0042】

図５は、物体１４をマーキングするためのラベルまたは印１８の概略側断面図を示す。一態様では、印１８は、物体１４の最も外側の仕上げ面４６の下に配置することができる。例えば、印１８は、印刷または塗装などによって物体上に直接配置することができ、次いで、クリアコートなどの最も外側の仕上げ面４６を印１８の上に適用することができる。したがって、印１８は、外側層４６が印１８の上に配置された積層体とすることができるか、またはそれらを含むことができる。一態様では、外側層４６は、クリアコートなど、可視光に対して透明または半透明であることができる。別の態様では、外側層４６は、可視光に対して不透明であることができる。別の態様では、外側層４６は、ＵＶ光に対して透明または半透明であることができる。したがって、印１８は、物体の仕上げ外側層４６によって覆われている場合であっても、ロボットまたは拡張現実システムまたはそのカメラもしくは画像センサに対して可視であり得る。これにより、物体の美観を維持することができる。加えて、印１８は、製造中および製造場所で物体に適用することができる。

【0043】

別の例では、印１８は、担体媒体（例えば、ラベルなど）を使用せずに、物体に直接適用することができる。一例では、印１８は、適切なインクを使用して物体上に印刷することによって適用することができる。特定の波長で蛍光を発するものなど、多くの異なるタイプのインクが利用可能である。

【0044】

別の態様では、印１８は、物体の製造中に適用または塗装することができる。一態様では、物体全体を蛍光塗料で塗装することまたは覆うことができ、印１８は、塗装されていないまたは覆われていない部分により形成することができる。別の態様では、印１８または物体は、別の化学物質が塗料に塗布されたときに蛍光を発することができるようになる塗料を含むことができる。

【0045】

別の態様では、蛍光マーカを使用することができる。例えば、蛍光マーカは、蛍光的にドープされたシリカおよびゾルゲル、親水性ポリマー（ヒドロゲル）、疎水性有機ポリマー、半導体ポリマードット、量子ドット、炭素ドット、他の炭素質ナノ物質、アップコンバージョンＮＰ、貴金属ＮＰ（主に金および銀）、様々な他のナノ物質、およびデンドリマーを含むことができる。

【0046】

別の態様では、印１８は、取り付けられた部品の一部であることができる。例えば、印１８は、物体に機械的に固定されたまたは化学的に接着されたハンドルまたはトリム上にあることができる。別の例として、印１８は、ハンドル、トリムまたは他の部品のポリマーに成形することができる。

【0047】

図６は、一例による、物体、すなわち冷蔵庫１４ｂの概略正面図を示す。図６を参照し、引き続き図１および図２を参照すると、物体１４ｂは、１つもしくは複数のハンドル５４または１つもしくは複数のボタン、ノブ、もしくはアクチュエータ５８などのインターフェースを有することができる。加えて、物体１４ｂは、複数のラベルまたは印１８を有することができる。一態様では、印１８は、物体１４ｂを冷蔵庫として識別することができる。別の態様では、他の印６２および６４は、インターフェース、すなわちハンドル５４もしくはアクチュエータ５８の位置をそれぞれ識別することができる。したがって、物体１４ｂは、単一の物体の異なる部分上に複数の異なる印１８、６２、および６４を有することができ、単一の物体の異なる部分５４および５８ならびにそれらとどのように相互作用するかに関する情報を識別する。上述したように、印１８は、インターフェースの位置を示すために矢印４２（図３ａおよび図３ｂ）を含むことができる。印６２および６４は、矢印４２がインターフェースの近位にあるように、物体のインターフェース、すなわちハンドル５４およびアクチュエータ５８に隣接して配置または位置することができる。加えて、印は、他の情報を含むことができるか、またはインターフェースまたはハンドルの動作の方向（例えば、外向き、内向き、下向き、右向き、または左向き）、またはインターフェースを動作させるために必要とされる力の大きさもしくは限界などの他の情報（相互作用情報）へのアクセスを容易にすることができる。例えば、図６の印６２は、物体１４ｂが冷蔵庫であることを示すか、またはそれを示す情報へのアクセスを容易にすることか、ハンドル５４の位置、ドアを開けるのに１０～２０ポンドの力が必要であること、加えられる力が３０ポンドを超えてはならないこと、ドアは右に開くかもしくはドアの最大回転が１２０度を超えてはならないことを識別することか、またはその両方を行うことができる。そのような情報は、従来のロボット制御および機械学習システムと比較して、タスクを完了するためにロボットが必要とする計算時間および計算能力、またはタスクを完了するためにロボット２２をリモートで制御する人間オペレータが必要とする時間および労力を低減することができ、物体（複数可）と相互作用するために有用であるかまたは必要とされる特定の側面を学習する必要性を低減することができる。

【0048】

印１８、６２、および６４は、物体１４ｃの周囲６８または側方周囲の内側に位置または配置することができる。別の態様では、印７２は、物体の境界の識別を助けるために、物体１４ｃの周囲６８または側方周囲に配置することができる。印７２は、物体の周囲を実質的に囲むことができる。

【0049】

図７は、一例による、インターフェース、すなわち出入口を通る開口部８０を有する物体、すなわち出入口７８の概略正面図を示す。図７を参照し、引き続き図１および図２を参照すると、印８２は、壁または出入口７８を識別し、そのインターフェースまたは開口部８０および他の関連情報を示すために、壁１４ｆ上に配置することができる。印８２は、その周囲において開口部８０に隣接してまたは近位に位置することができる。

【0050】

同様に、図８は、一例による、インターフェース、すなわちドアノブ８８を有する物体、すなわちドア８６の概略正面図を示す。図８を参照し、引き続き図１および図２を参照すると、印９０は、ドアを識別し、インターフェースまたはそのドアノブ８８および他の関連情報を示すために、ドア８６上に配置することができる。そうするために、印９０は、それぞれ、インターフェースまたはドアノブ９０に隣接してまたは近位に位置することができる。この場合も、印９０はまた、物体またはドアの動作方向（例えば、内向き、外向き、左向き、右向き）、インターフェースまたはドアノブの動作方向（例えば、時計回りまたは反時計回り）、ドアまたはドアノブを開けるのに必要な力などを示すことができるか、またはそれを示すことができる情報へのアクセスを容易にすることができる。

【0051】

図９は、印１８に対応する情報のルックアップテーブル１００またはライブラリの概略図を示す。図９を参照し、引き続き図１および図２を参照すると、情報のルックアップテーブル１００またはライブラリは、当技術分野で知られている１つまたは複数の方法を介してロボット２２または拡張現実システムのうちの少なくとも１つによってアクセス可能なコンピュータデータベースに記憶され得る。上で示したように、印１８は、物体１４、物体１４のインターフェースの位置を識別するか、またはその識別を容易にすることができ、その物理的境界または障壁を示すか、またはその指示を容易にすることができ、物体１４とのロボットの相互作用に関する情報（または相互作用情報もしくは命令）を含むか、またはその情報へのアクセスを容易にすることができる。

【0052】

上で示したように、一態様では、印１８は、単一の物体１４上に複数の印１８を含むことができる。別の態様では、印１８は、一連の物体（例えば、物体１４ａ～ｃ）または単一の物体１４上に一連の印を含むことができる。したがって、印１８は、一連の印内でのその位置を示すシリーズ識別子を含むことができ、その一連の印は、ロボットによって実行されるべきタスクのシーケンスを含むことができる。実際に、一連の印は、ロボット２２が連続してまたは順番に相互作用しなければならない（すなわち、１つまたは複数のタスクを実行しなければならない）一連の物体または１つまたは複数の物体の態様に対応することができる。例えば、第１の印は、冷蔵庫のドアに関連付けられ得、一連の印のうちの第１の印であることを示す印を含むことができ、第２の印は、冷蔵庫内の引き出しに関連付けられ得、一連の印のうちの第２の印であることを示す印を含むことができ、第３の印は、引き出し内の容器に関連付けられ得、一連の印のうちの第３の印であることを示す印を含むことができる。したがって、ロボット２２が冷蔵庫のドアを開け、引き出しから容器を見つけ、第３の印を見た場合、ロボット２２は、シーケンスにスキップがあったことを知り、第２の印を探索しなければならないことを知ることになる。印におけるそのようなシーケンスにより、ロボット２２が正しいタスクを実行するのを助けることができるとともに、物体およびロボット２２に安全性を提供することができる。

【0053】

別の態様では、印は、さらなる命令を提供することができる。例えば、印は、物体と相互作用するために必要となるセンサをオンにするようにロボット２２に命令するための命令を表すことができる。

【0054】

上述したような拡張現実システムまたはプラットフォームの一部としてロボット２２を機械ナビゲート可能環境内に配備するための方法は、ロボット２２が動作する所望の空間１２（例えば、家または台所または倉庫など）を識別するステップと、空間１２内に位置する、または位置することになる１つまたは複数の物体１４（例えば、冷蔵庫１４ｄ）を選択するステップと、１つまたは複数の物体１４を、機械可読かつ人間が知覚できない印１８でマーキングするステップであって、印１８が相互作用情報またはリンク情報のうちの少なくとも１つを含む、ステップと、ロボット２２を空間１２内に導入するステップとを含む。ロボット２２は、空間１２内で移動することができ、前記ロボット２２と通信する拡張現実システムを動作させるステップであって、前記拡張現実システムは、コンピュータを含み、人間が理解可能な情報を人間オペレータに伝達するように動作可能であり、前記人間が理解可能な情報は、前記相互作用情報または前記リンク情報のうちの少なくとも１つに対応する、ステップと、人間が知覚できない印を感知するステップと、前記人間が理解可能な情報を人間オペレータに伝達するステップと、人間が理解可能な情報にしたがってロボット２２による１つまたは複数の物体との所定の意図された相互作用を容易にするステップとを行うことができる。一態様では、人間が理解可能な情報を人間オペレータに伝達するステップは、コンピュータ生成画像（例えば、テキスト、写真、および他のグラフィック）の形態の人間が理解可能な情報を、頭部装着型ディスプレイ、拡張現実システムに関連付けられた画面、または任意の他のタイプのディスプレイのうちの少なくとも１つに伝達するステップを含むことができる。一例では、人間が理解可能な情報は、拡張現実システムによって生成されるように、動作空間の電子的に送信される実世界ビュー上に重ね合わされ得る。別の態様では、人間が理解可能な情報を人間オペレータに伝達するステップは、人間が理解可能な情報を可聴情報の形態で、拡張現実システムに関連付けられたスピーカに伝達するステップを含むことができる。

【0055】

方法は、相互作用情報を含むデータベースにアクセスするステップをさらに含むことができる。アクセスは、ロボット２２によって、または拡張現実システムによって実行することができる。

【0056】

一例では、拡張現実システムを動作させるステップは、拡張現実システムを介してロボット２２を制御しながら人間オペレータが理解し、次いで使用することができる形態に情報をするために、人間が理解可能な情報を人間オペレータに伝達する前に、相互作用情報またはリンク情報のうちの少なくとも１つを人間が理解可能な情報に変換するステップ（例えば、適切な変換ソフトウェアを使用して処理するステップ）を含むことができる。

【0057】

人間が知覚できない印の感知は、上述したように、ロボット２２上のセンサ（例えば、カメラ２６および画像センサ）を動作させること、または拡張現実システム上に支持されたセンサを動作させることを含むことができる。

【0058】

図面に示された例が参照され、それを説明するために特定の言語が本明細書で使用された。それにもかかわらず、それによって本技術の範囲の限定が意図されないことが理解されるであろう。本明細書に示された特徴の変更およびさらなる修正、ならびに本明細書に示された例の追加の適用は、説明の範囲内であると考えられるべきである。

【0059】

本開示は、本明細書で説明されるいくつかの実施形態または特徴が本明細書で説明される他の実施形態または特徴と組み合わされ得ることを明示的に開示しない場合があるが、本開示は、当業者によって実施可能であろう任意のそのような組合せを説明するために読まれるべきである。本開示における「または」という用語は、本明細書で別段の指示がない限り、非排他的な「または」、すなわち「および／または」を意味するものと理解されたい。

【0060】

さらに、説明された特徴、構造、または特性は、１つまたは複数の例において任意の適切な方法で組み合わされ得る。前述の説明では、説明される技術の例の完全な理解を提供するために、様々な構成の例などの多数の具体的詳細が提供された。しかしながら、本技術は、特定の詳細のうちの１つまたは複数を伴わずに、または他の方法、構成要素、デバイスなどを伴って実施され得ることが認識されるであろう。他の事例では、技術の態様を不明瞭にすることを回避するために、周知の構造または動作は、詳細に示されないか、または説明されない。

【0061】

主題は、構造的特徴および／または動作に特有の言語で説明されているが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明された特定の特徴および動作に限定されないことを理解されたい。むしろ、上述した特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の趣旨および範囲から逸脱することなく、多数の修正および代替の構成が考案され得る。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】