特表 2024-532830 エクステンデッド・リアリティ（ＸＲ）協働環境

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】エクステンデッド・リアリティ（ＸＲ）協働環境

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240903BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024509320

(86)(22)【出願日】2022-08-17

(85)【翻訳文提出日】2024-04-15

(86)【国際出願番号】 US2022075070

(87)【国際公開番号】W WO2023023547

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】63/234,452

(32)【優先日】2021-08-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】504466834

【氏名又は名称】ジョージア テック リサーチ コーポレイション

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(74)【代理人】

【識別番号】100121223

【弁理士】

【氏名又は名称】森本 悟道

(72)【発明者】

【氏名】アッシャー，コリン

(72)【発明者】

【氏名】アーリン，コンラート

(72)【発明者】

【氏名】デーリー，ウェイン ディー．

(72)【発明者】

【氏名】ジョフィ，ベンジャミン

【テーマコード（参考）】

5L050

【Ｆターム（参考）】

5L050CC03

(57)【要約】

本開示の例示としての実施形態は、自律型ロボット装置とユーザインターフェースとを含むエクステンデッド・リアリティ（ＸＲ）システムを提供する。自律型ロボット装置は、物理的環境に配置され得る。ユーザインターフェースは、物理的環境の少なくとも一部に対応するＸＲ環境を表示し、ＸＲ環境におけるユーザの知覚に基づいた入力をユーザから受信するように構成され得る。自律型ロボット装置は、ユーザから受信した入力に少なくとも部分的に基づいて自律動作を実行するように構成され得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

物理的環境に配置された自律型ロボット装置と、
前記物理的環境の少なくとも一部に対応するエクステンデッド・リアリティ（ＸＲ）環境を表示し、前記ＸＲ環境におけるユーザの知覚に基づいた入力を当該ユーザから受信するように構成されるユーザインターフェースと、を備え、
前記自律型ロボット装置は、前記ユーザから受信した前記入力に少なくとも部分的に基づいて自律動作を実行するように構成される、エクステンデッド・リアリティ（ＸＲ）システム。

【請求項2】

前記自律型ロボット装置は、機械学習アルゴリズムを用いて自律動作を実行するようにさらに構成される、請求項１に記載のＸＲシステム。

【請求項3】

前記機械学習アルゴリズムは、前記物理的環境を表すデータポイントと、前記ＸＲ環境におけるユーザの知覚に基づいた前記ユーザから受信した入力とを用いて訓練される、請求項２に記載のＸＲシステム。

【請求項4】

前記機械学習アルゴリズムは、前記自律動作の成功スコアを示すデータポイントを用いてさらに訓練される、請求項３に記載のＸＲシステム。

【請求項5】

前記自律型ロボット装置は、前記ＸＲシステムの前記ユーザに入力を提供するよう要求するように構成される、請求項１に記載のＸＲシステム。

【請求項6】

前記自律型ロボット装置は、ユーザの入力なしに当該ロボット装置が機械学習アルゴリズムを用いて前記自律動作を実行できない場合に、前記エクステンデッド・リアリティシステムの前記ユーザに入力を提供するよう要求するように構成される、請求項５に記載のＸＲシステム。

【請求項7】

前記ユーザインターフェースは、ネットワークインターフェースを介して前記ユーザからの入力を受信するように構成される、請求項１に記載のＸＲシステム。

【請求項8】

前記ＸＲインターフェースは、前記ユーザによって提供された入力を、１人以上の別のユーザが前記ＸＲ環境と相互作用してモニタリングできるように構成される、請求項１に記載のＸＲシステム。

【請求項9】

前記物理的環境における少なくとも１つの離散データ値をモニタリングするように構成された１つ以上のセンサをさらに備え、
前記ユーザインターフェースは、前記少なくとも１つの離散データ値に少なくとも部分的に基づいて前記ＸＲ環境を表示するようにさらに構成される、請求項１に記載のＸＲシステム。

【請求項10】

前記ユーザが前記ユーザインターフェースと相互作用できるように構成されたユーザ機器をさらに備える、請求項１に記載のＸＲシステム。

【請求項11】

前記ユーザ機器は、前記ＸＲ環境を前記ユーザに対して表示するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を備える、請求項１０に記載のＸＲシステム。

【請求項12】

前記ユーザ機器は、ＸＲ環境におけるユーザの知覚に基づいた入力を当該ユーザが提供できるように構成されたコントローラを備える、請求項１１に記載のＸＲシステム。

【請求項13】

前記ユーザインターフェースは、前記ユーザによる前記コントローラの操作をモニタリングし、当該操作に基づいて前記ＸＲ環境の表示を変更するようにさらに構成される、請求項１２に記載のＸＲシステム。

【請求項14】

物理的環境に配置された自律型ロボット装置をエクステンデッド・リアリティ（ＸＲ）システムを用いて操作する方法であって、
前記物理的環境の少なくとも一部に対応してユーザインターフェースにＸＲ環境を表示する工程と、
前記ＸＲ環境におけるユーザの知覚に基づいた入力を当該ユーザから受信する工程と、
前記自律型ロボット装置に、前記ユーザから受信した前記入力に少なくとも部分的に基づいて自律動作を実行させる工程と、を含む方法。

【請求項15】

前記自律型ロボット装置に機械学習アルゴリズムを用いて自律動作を実行させる工程をさらに含む、請求項１４に記載の方法。

【請求項16】

前記物理的環境を表すデータポイントと、前記ＸＲ環境におけるユーザの知覚に基づいた前記ユーザから受信した入力とを用いて、前記機械学習アルゴリズムを訓練する工程をさらに含む、請求項１５に記載の方法。

【請求項17】

前記自律型ロボット装置が実行した前記自律動作の成功スコアを示すデータポイントを用いて、前記機械学習アルゴリズムをさらに訓練する工程をさらに含む、請求項１６に記載の方法。

【請求項18】

前記ＸＲシステムの前記ユーザに入力を提供するよう要求する工程をさらに含む、請求項１４に記載の方法。

【請求項19】

ユーザの入力なしに前記自律型ロボット装置が機械学習アルゴリズムを用いて前記自律動作を実行できない場合に、前記ＸＲシステムの前記ユーザに入力を提供するよう要求する工程をさらに含む、請求項１４に記載の方法。

【請求項20】

ネットワークインターフェースを介してユーザからの入力が受信される、請求項１４に記載の方法。

【請求項21】

前記ユーザによって提供された入力を、１人以上の別のユーザが前記ＸＲ環境と相互作用してモニタリングする工程をさらに含む、請求項１４に記載の方法。

【請求項22】

前記物理的環境における少なくとも１つの離散データ値を１つ以上のセンサでモニタリングする工程をさらに含み、
前記表示されるＸＲ環境は、前記少なくとも１つの離散データ値に少なくとも部分的に基づいている、請求項１４に記載の方法。

【請求項23】

前記ユーザがユーザ機器を用いて前記ユーザインターフェースと相互作用する工程をさらに含む、請求項１４に記載の方法。

【請求項24】

前記ユーザ機器がヘッドマウントディスプレイ（ＨＭＤ）を備え、
前記ＸＲ環境を前記ユーザに対して前記ＨＭＤに表示する工程をさらに含む、請求項２３に記載の方法。

【請求項25】

前記ユーザ機器がコントローラを備え、
前記ＸＲ環境におけるユーザの知覚に基づいた入力を当該ユーザが前記コントローラで生成する工程をさらに含む、請求項２３に記載の方法。

【請求項26】

前記ユーザによる前記コントローラの操作をモニタリングし、当該コントローラの操作に基づいて前記ＸＲ環境の表示を変更する工程をさらに含む、請求項２５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年８月１８日付で出願された米国仮出願第６３／２３４，４５２号の利益を主張するものであり、参照によりその全体が以下に完全に記載されているものとして本明細書に組み込まれる。

【0002】

（技術分野）
本開示の様々な実施形態は、概してエクステンデッド・リアリティ（ＸＲ）協働システムに関する。

【背景技術】

【0003】

自然な空間での製造作業には課題が多く、必要な作業を実行するために多大な人的資本を必要とする。製造作業における人的資本の価値は、特にこうした自然な空間内で、対象となる原料の自然の変動性に対応する能力である。従来、製造作業の役割を果たす作業員は、リモートワークができず、仕事に関連する作業を実行するためには製造施設に実際に存在していなければならない。製造作業の作業員にリモートワークを可能にしようとするこれまでの試みは、システムのプログラムおよび実装には課題が多くあることが判明したため、好ましくないものであった。したがって、自然な空間で製造作業を行う際に存在する前述の問題に対処するために、人と自律型ロボット装置との間の協働環境を提供する必要性がある。

【発明の概要】

【0004】

本開示の例示としての実施形態は、自律型ロボット装置とユーザインターフェースとを含むエクステンデッド・リアリティ（ＸＲ）システムを提供する。自律型ロボット装置は、物理的環境に配置され得る。ユーザインターフェースは、物理的環境の少なくとも一部に対応するＸＲ環境を表示し、ＸＲ環境におけるユーザの知覚に基づいた入力をユーザから受信するように構成され得る。自律型ロボット装置は、ユーザから受信した入力に少なくとも部分的に基づいて自律動作を実行するように構成され得る。

【0005】

本明細書に開示される実施形態のいずれかにおいて、自律型ロボット装置は、機械学習アルゴリズムを用いて自律動作を実行するようにさらに構成され得る。

【0006】

本明細書に開示される実施形態のいずれかにおいて、機械学習アルゴリズムは、物理的環境を表すデータポイントと、ＸＲ環境におけるユーザの知覚に基づいた入力とを用いて訓練され得る。

【0007】

本明細書に開示される実施形態のいずれかにおいて、機械学習アルゴリズムは、自律動作の成功スコアを示すデータポイントを用いてさらに訓練され得る。

【0008】

本明細書に開示される実施形態のいずれかにおいて、自律型ロボット装置は、ＸＲシステムのユーザに入力を提供するよう要求するように構成され得る。

【0009】

本明細書に開示される実施形態のいずれかにおいて、自律型ロボット装置は、ユーザの入力なしにロボット装置が機械学習アルゴリズムを用いて自律動作を実行できない場合に、エクステンデッド・リアリティシステムのユーザに入力を提供するよう要求するように構成され得る。

【0010】

本明細書に開示される実施形態のいずれかにおいて、ユーザインターフェースは、ネットワークインターフェースを介してユーザからの入力を受信するように構成され得る。

【0011】

本明細書に開示される実施形態のいずれかにおいて、ＸＲシステムは、物理的環境における少なくとも１つの離散データ値をモニタリングするように構成された１つ以上のセンサをさらに含み得、ユーザインターフェースは、少なくとも１つの離散データ値に少なくとも部分的に基づいてＸＲ環境を表示するようにさらに構成され得る。

【0012】

本明細書に開示される実施形態のいずれかにおいて、ＸＲシステムは、ユーザがユーザインターフェースと相互作用できるように構成され得るユーザ機器をさらに含み得る。

【0013】

本明細書に開示される実施形態のいずれかにおいて、ユーザ機器は、ＸＲ環境をユーザに対して表示するように構成され得るヘッドマウントディスプレイ（ＨＭＤ）を含み得る。

【0014】

本明細書に開示される実施形態のいずれかにおいて、ユーザ機器は、ＸＲ環境におけるユーザの知覚に基づいた入力をユーザが提供できるように構成され得るコントローラを含み得る。

【0015】

本明細書に開示される実施形態のいずれかにおいて、ユーザインターフェースは、ユーザによるコントローラの操作をモニタリングし、操作に基づいてＸＲ環境の表示を変更するようにさらに構成され得る。

【0016】

本開示の別の実施形態は、物理的環境に配置された自律型ロボット装置をエクステンデッド・リアリティ（ＸＲ）システムを用いて操作する方法を提供する。本方法は、環境の少なくとも一部に対応してユーザインターフェースにＸＲ環境を表示することと、ＸＲ環境におけるユーザの知覚に基づいた入力をユーザから受信することと、ロボット装置に、ユーザから受信した入力に少なくとも部分的に基づいて自律動作を実行させることとを含み得る。

【0017】

本明細書に開示される実施形態のいずれかにおいて、本方法は、自律型ロボット装置に機械学習アルゴリズムを用いて自律動作を実行させることをさらに含み得る。

【0018】

本明細書に開示される実施形態のいずれかにおいて、本方法は、物理的環境を表すデータポイントと、ＸＲ環境におけるユーザの知覚に基づいたユーザから受信した入力とを用いて、機械学習アルゴリズムを訓練することをさらに含み得る。

【0019】

本明細書に開示される実施形態のいずれかにおいて、本方法は、自律型ロボット装置が実行した自律動作の成功スコアを示すポイントを用いて、機械学習アルゴリズムをさらに訓練することをさらに含み得る。

【0020】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ＸＲシステムのユーザに入力を提供するよう要求することをさらに含み得る。

【0021】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ユーザの入力なしに自律型ロボット装置が機械学習アルゴリズムを用いて自律動作を実行できない場合に、ＸＲシステムのユーザに入力を提供するよう要求することをさらに含み得る。

【0022】

本明細書に開示される実施形態のいずれかにおいて、ネットワークインターフェースを介してユーザからの入力が受信され得る。

【0023】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ユーザによって提供された入力を、１人以上の別のユーザがＸＲ環境と相互作用してモニタリングすることをさらに含み得る。

【0024】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ユーザがユーザ機器を用いてユーザインターフェースと相互作用することをさらに含み得る。

【0025】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ユーザ機器がヘッドマウントディスプレイ（ＨＭＤ）を備え、ＸＲ環境をユーザに対してＨＭＤに表示することをさらに含み得る。

【0026】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ＸＲ環境におけるユーザの知覚に基づいた入力をユーザがコントローラで生成することをさらに含み得る。

【0027】

本明細書に開示される実施形態のいずれかにおいて、本方法は、ユーザによるコントローラの操作をモニタリングし、コントローラの操作に基づいてＸＲ環境の表示を変更することをさらに含み得る。

【0028】

本開示のこれらおよび他の態様は、以下の「発明を実施するための形態」および添付の図面に記載されている。実施形態の他の態様および特徴は、特定の例示としての実施形態に関する以下の説明を図面と併せて検討することにより、当業者には明らかになるであろう。本開示の特徴は、特定の実施形態および図面に関連して記載されることがあるが、本開示のすべての実施形態は、本明細書で記載される特徴の１つ以上を含み得る。さらに、１つ以上の実施形態が特定の有利な特徴を有するものとして記載されることがあるが、そのような特徴の１つ以上を、本明細書で記載される様々な実施形態とともに用いることもできる。同様に、例示としての実施形態は、デバイス、システム、または方法の実施形態として以下で記載されることがあるが、そのような例示としての実施形態は、本開示の様々なデバイス、システム、および方法において実施され得ることを理解されたい。

【0029】

本開示の特定の実施形態に関する以下の詳細な説明は、添付の図面と併せて読むと、よりよく理解されるであろう。本開示を説明する目的で、特定の実施形態が図面に示されている。しかしながら、本開示は、図面に示された実施形態の正確な構成および手段に限定されないことを理解されたい。

【図面の簡単な説明】

【0030】

【図1】図１は、本開示の例示としての実施形態に従って、ユーザがエクステンデッド・リアリティ（ＸＲ）環境においてユーザ機器を介してユーザインターフェースに入力を提供し、その結果、自律型ロボット装置によって自律動作が実行される様子を示す説明図である。

【0031】

【図2】図２は、本開示の例示としての実施形態に従って、センサが物理的環境における少なくとも１つの離散データ値をモニタリングし、ユーザインターフェースを介してユーザに表示されるＸＲ環境の構築を少なくとも部分的に支援する様子を示す説明図である。

【0032】

【図3】図３は、本開示の例示としての実施形態に従って、ユーザがユーザ機器を介してユーザインターフェースと相互作用する様子を示す説明図である。

【0033】

【図4】図４は、本開示の例示としての実施形態に従って、ＸＲ環境を用いて自律型ロボット装置に自律動作を実行させるプロセス例のフローチャートである。

【図5】図５は、本開示の例示としての実施形態に従って、ＸＲ環境を用いて自律型ロボット装置に自律動作を実行させるプロセス例のフローチャートである。

【発明を実施するための形態】

【0034】

本開示の原理および特徴の理解を容易にするために、様々な例示としての実施形態を以下に説明する。本明細書に開示される実施形態の様々な要素を構成するものとして以下に説明される構成要素、工程、および物質は、例示としてのものであり、制限的なものではないことが意図される。本明細書に記載される構成要素、工程、および物質と同一または同様の機能を果たすことになる多くの適切な構成要素、工程、および物質は、本開示の範囲内に包含されることが意図される。本明細書に記載されていないそのような他の構成要素、工程、および物質としては、本明細書に開示される実施形態の開発後に開発された同様の構成要素または工程が挙げられるが、これらに限定されない。

【0035】

また、本明細書および添付の特許請求の範囲で用いられる場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上明らかにそうでないことが指示されない限り、複数への言及をも含むことに留意されたい。例えば、ある成分への言及は、複数の成分の組成物も含むことを意図している。「ある（ａ）」構成成分を含む組成物への言及は、その指定された構成成分に加えて他の構成成分を含むことを意図している。

【0036】

また、例示としての実施形態を説明する際に、明瞭化のために用語が援用される。各用語は、当業者によって理解されるその最も広い意味を意図し、同様の目的を達成するために同様の方法で動作する全ての技術的同等物を含むことが意図される。

【0037】

「備える」、「含有する」、または「含む」とは、少なくとも指定された化合物、元素、粒子、または方法工程が、組成物、物品、または方法中に存在することを意味するが、仮に他の化合物、物質、粒子、方法工程が指定されたものと同じ機能を有する場合、そのような他の化合物、物質、粒子、方法工程の存在を排除するものではない。

【0038】

また、１つ以上の方法工程の記載は、追加の方法工程または明示的に特定された工程間に介在する方法工程の存在を排除するものではないことも理解されたい。同様に、組成物中の１つ以上の成分についての言及は、明示的に特定された成分以外の追加の成分の存在を排除するものではないことも理解されたい。

【0039】

本発明の様々な要素を構成するものとして記載された物質は、例示としてのものであり、制限的なものではないことが意図される。本明細書に記載された物質と同一または同様の機能を果たすことになる多くの適切な物質が、本発明の範囲内に包含されることが意図されている。本明細書に記載されていないそのような他の物質としては、例えば、本発明の開発後に開発された物質が挙げられるが、これらに限定されない。

【0040】

特に生物の世界では、自立したロボットは存在しない。したがって、特に自然な空間内での製造作業を支援するために、人とロボット装置との間の容易でシームレスな協働を提供できるツールが必要とされている。本明細書で説明するツールは、人的資本を増加するのに多大なコストが必要となることとは対照的に、製造施設内で機械を遠隔操作して作業を実行し、生産性を向上させる等の利点を可能にする。

【0041】

協働型エクステンデッド・リアリティ（ＸＲ）システム（１００）は、自律動作を実行するように構成された自律型ロボット装置（３００）、ＸＲ環境を表示するように構成されたユーザインターフェース（６００）、ユーザインターフェース（６００）を表示し、ユーザ（２００）がユーザインターフェース（６００）と相互作用できるように構成されたユーザ機器（４００）、および物理的環境における少なくとも１つの離散データ値をモニタリングするように構成された１つ以上のセンサ（５００）を含み得る。

【0042】

説明の便宜上、ＸＲシステム（１００）は、家禽生産業への適用という文脈で記載される。しかしながら、本開示はそれに限定されない。むしろ、当業者であれば理解できるように、本明細書で開示するＸＲシステム（１００）は、作業完了を支援するためにユーザ入力を提供することが望ましいと考えられる様々な用途において、多くの用途を見出すことができる。家禽生産業では、二次加工および更なる加工作業には、人間の作業員の多大な参加が必要である。一般的に、作業は、製品全体またはその一部分を機械から機械へと移動させることを含む動きの大きな作業と、解剖学的な知識や手先の器用さをより必要とする、包装時に原料を切断したり適切に積み重ねたりすることを含む細かい作業とのいずれかに分類される。本明細書に記載されたＸＲシステム（１００）を用いることにより、ユーザ（２００）は、ユーザインターフェース（６００）を介して自律型ロボット装置（３００）に入力を提供し、家禽生産施設における動きの大きな作業または細かい作業に対応する自律的動作を実行させることができる。

【0043】

当業者であれば理解できるように、自律型ロボット装置（３００）は、遠隔ロボット装置とは異なるクラスの装置である。具体的には、自律型ロボット装置（３００）は実行する動作の各側面を制御するためにユーザの入力を必要しないのに対して、遠隔ロボット装置はユーザによって直接制御されるという点において、自律型ロボット装置（３００）は遠隔ロボット装置とは異なる。同様に、自律型ロボット装置（３００）によって実行される自律動作は、ユーザ（２００）から受信した指示／入力を考慮するが同一ではない動作である。例えば、家禽生産における用途では、自律動作を実行する自律型ロボット装置（３００）は、組立ラインを通って移動するコーンに天然原材料を載せることができる。ユーザの入力は、自律型ロボット装置（３００）が天然原材料を把持すべき箇所を指定し得るが、自律型ロボット装置（３００）は、天然原材料を現在の位置からコーンまで移動させる経路をユーザの入力とは無関係に決定し得る。言い換えれば、ユーザ（２００）は、自律型ロボット装置（３００）が天然原材料を把持する場所を決定するために用いる入力を提供するが、ロボットは天然原材料をコーンに移動させるために自律的に追加の決定を行う。

【0044】

ＸＲシステム（１００）のユーザ（２００）は、ユーザ機器（４００）を用いることにより、自律型ロボット装置（３００）が自律動作を実行できるような入力を与え得る。ユーザ機器（４００）は、当該技術分野で知られている多くの異なる構成要素を含み得る。例えば、いくつかの実施形態では、ユーザ機器（４００）は、ユーザ（２００）がユーザインターフェース（６００）と相互作用できるようにするために、コントローラ（４２０）および／またはヘッドマウントディスプレイ（ＨＭＤ）（４１０）を含み得る。いくつかの実施形態では、例えば、ＨＭＤ（４１０）は、透過型ディスプレイを視覚化するための脳インプラントや、没入型ディスプレイヘルメット等を含み得るが、これらに限定されない。
図１は、ユーザ（２００）が、ＸＲシステム（１００）内でユーザ機器（４００）のコントローラ（４２０）を用いて、天然原材料を把持する箇所（例えば、どこで／どのように家禽を把持するか）を指定する様子を示している。この入力は、自律型ロボット装置（３００）に提供され、天然原材料を用いて自律動作（例えば、家禽を把持し、所望の場所に移動させる）を実行させることができる。自律型ロボット装置（３００）により実行される作業内の条件には自然の変動性が存在するが、ユーザ機器（４００）を用いてＸＲ環境を視認するユーザ（２００）との協働により、自律型ロボット装置（３００）はリアルタイムの新規状況に適切に対応することができる。ユーザ（２００）が、ＸＲ環境と相互作用し、ユーザ機器（４００）を介してユーザインターフェース（６００）に入力を提供し、自律型ロボット装置（３００）が実行する自律動作をユーザによるこれまでの経験および状況認識を利用してガイドすることによって、このような結果が生じ得る。当業者であれば理解できるように、ユーザ（２００）がユーザインターフェース（６００）と相互作用するために用いることができるユーザ機器（４００）の例としては、Oculus Quest IIやMeta Quest II等を挙げることができるが、これらに限定されない。

【0045】

ＸＲシステム（１００）内では、ユーザインターフェース（６００）が１つ以上のセンサ（５００）からの離散データセットを集約する。当業者であれば理解できるように、物理的環境における離散データ値をモニタリングするように構成することができる様々な種類のセンサが多数存在する。様々な種類のセンサの例としては、温度センサ、光センサ、振動センサ、モーションセンサ、カラーセンサ等を挙げることができるが、これらに限定されない。ＸＲシステム（１００）内で、１つ以上のセンサ（５００）は、物理的環境における離散データセットをモニタリングすることができ、離散データセットはユーザインターフェース（６００）によって集約することができる。ユーザインターフェースは、離散データセットに少なくとも部分的に基づき、物理的環境に少なくとも部分的に対応するＸＲ環境をユーザ（２００）に対して構築することができる。

【0046】

図２は、物理的環境内に位置する自律型ロボット装置（３００）、物理的環境における少なくとも１つの離散データセットをモニタリングする１つ以上のセンサ（５００）、および１つ以上のセンサ（５００）によってモニタリングされた離散データセットによって少なくとも部分的に構築されたＸＲ環境を表示するユーザインターフェース（６００）を含むＸＲシステム（１００）を示す。ＸＲシステム（１００）の１つ以上のセンサ（５００）によってモニタリングされる離散データセットは、ＸＲ環境の構築に寄与する以外に、ユーザ（２００）がＸＲ環境において意思決定を行い、ユーザインターフェース（６００）と相互作用するのを支援することもできる。

【0047】

ユーザ（２００）は、ユーザ機器（４００）を用いて、１つ以上のセンサ（５００）によってモニタリングされた離散データセットに部分的に基づいて構築されたＸＲ環境を表示するユーザインターフェース（６００）と相互作用することができる。ユーザインターフェース（６００）は、ユーザ機器（４００）のＨＭＤ（４１０）を介してユーザ（２００）に対して表示することができる。当業者であれば理解できるように、ユーザインターフェース（６００）およびそこにＸＲ環境を表示するためにＨＭＤ（４１０）を用いることによって、ユーザインターフェース（６００）と相互作用する際のユーザ（２００）の知覚を補助することができる。さらに、ＨＭＤ（４１０）を用いることによって、ユーザ（２００）は、コントローラ（４２０）を介してユーザインターフェース（６００）に提供することができる入力ポイントを決定することができる。ユーザ（２００）によって提供された入力は、ユーザインターフェース（６００）によって受信され、ネットワークインターフェースを介して自律型ロボット装置（３００）に送信され得る。当業者であれば理解できるように、ネットワークインターフェースは、大きな物理的距離で隔てられた２つの装置間の相互接続の媒体となり得る。好ましい用途に関連する相互接続媒体の例としては、クラウドベースのネットワーク、有線ネットワーク、無線（Ｗｉ－Ｆｉ）ネットワーク、ブルートゥースネットワーク等を挙げることができるが、これらに限定されない。

【0048】

図３は、ユーザ機器（４００）のＨＭＤ（４１０）およびコントローラ（４２０）を有するユーザ（２００）が、ＸＲ環境内をナビゲートし、ユーザインターフェース（６００）と相互作用する様子を示す図である。いくつかの実施形態において、ユーザ（２００）は、ユーザ（２００）から物理的に大きく離れた場所に位置する自律型ロボット装置（３００）にネットワークインターフェースを介して入力を送信することができるユーザインターフェース（６００）に天然原材料を把持する箇所を提供することができ、天然原材料をコーン装置に載せる等の自律動作を実行させることができる。いくつかの実施形態では、ユーザ（２００）は、ユーザ機器（４００）を用いて、ユーザインターフェース（６００）を介して自律型ロボット装置（３００）に複数の入力を提供し、さらに長いプロセスのためのガイダンスを提供することができる。例えば、ユーザ（２００）が、自律型ロボット装置（３００）に自律動作を実行させるための、ユーザインターフェース（６００）への複数の入力を経時的に必要とするプロセスをモニタリングしている場合、特許請求される発明は複数の入力が可能となるように支援を行い得る。ユーザ（２００）がプロセス中に複数の入力を提供する例は、商業用ベーキングオーブン、農業生産作業等を含むがこれらに限定されない機会に適用され得る。例えば、商業用ベーキングオーブンには、時間の経過とともに膨張性等のいくつかの特性を示す捏上後の生地が投入される。その後、生地はオーブンを通過しながら焼成される。生地の焼き色は、仕様を満たすようにモニタリングされる。小麦イースト混合物には自然の変動性があるため、オーブンに関するパラメータは、所望の結果を達成するためにプロセス全体を通して操作する必要がある場合もある。これらのパラメータには、温度、滞留時間、湿度等が含まれるが、これらに限定されない。焼成プロセスを通してオーブンに関するパラメータを操作する能力は、本明細書で説明するＸＲシステム（１００）を用いて実現可能である。ＸＲシステム（１００）は、ユーザ（２００）が、プロセス中に複数の自律的動作を実行できる自律型ロボット装置（３００）に複数の入力を提供することを可能にし得る。さらに、ＸＲシステム（１００）は、プロセスが実行されている間、ユーザ（２００）が「ラインにいる」ことを可能にし、ユーザ（２００）がリアルタイムで複数の必要な入力を提供することを可能にし、ユーザ（２００）が、人間にとって現実的に存在不可能または危険であり得る物理的環境におけるプロセスの一部をモニタリングすることを可能にし得る。

【0049】

図４は、ユーザ（２００）が入力をＸＲシステム（１００）に提供して、自律型ロボット装置（３００）が自律動作を実行できるようにする方法を説明する方法フローチャート（７００）を示す。本方法は、ＸＲシステム（１００）を初期化し、物理的環境の少なくとも一部に対応し得る、１つ以上のセンサ（５００）によってモニタリングされた離散データセットに少なくとも部分的に基づいて構築されたＸＲ環境を表示すること（７１０）を含み得る。本方法は、ユーザ機器（４００）を用いて、ユーザインターフェース（６００）のユーザ（２００）の知覚に基づいた入力を、ネットワークインターフェースを介してユーザから受信すること（７２０）をさらに含み得、ユーザ機器（４００）は、ユーザインターフェース（６００）をユーザ（２００）に対して表示するためのＨＭＤ（４１０）と、ＸＲ環境において入力を生成するためのコントローラ（４２０）とを含む。本方法は、自律型ロボット装置（３００）に、ユーザ（２００）から受信した入力に少なくとも部分的に基づいて自律動作を実行させること（７３０）をさらに含み得る。

【0050】

ＸＲシステム（１００）の自律型ロボット装置（３００）は、ユーザ（２００）からの入力なしに機械学習アルゴリズムを用いて自律動作を実行するように構成することもできる。この構成は、製造作業内の生産性を向上させることができるため望ましく、特に、天然原材料の自然の変動性を考慮しながら、自律型ロボット装置（３００）が反復作業を高い効率で実行できるようにすることができるため望ましい。好ましい用途において、上述の自然の変動性には、動きの大きな作業の場合は天然原材料の把持位置を決定すること、または細かい作業の場合は原料の解剖学的表現を変更することが含まれ得るが、これらに限定されない。当業者であれば理解できるように、機械学習アルゴリズムは、人工知能（ＡＩ）内のサブフィールドであり、コンピュータシステムおよび他の関連デバイスがタスクを実行する方法を学習し、タスクを実行する際のパフォーマンスを時間とともに向上させることを可能にする。用いることができる種類の機械学習の例としては、教師あり学習アルゴリズム、教師なし学習アルゴリズム、半教師あり学習アルゴリズム、強化学習アルゴリズム等が挙げられるが、これらに限定されない。前述の例に加えて、機械学習またはＡＩに基づくだけでない決定論的アルゴリズムや統計的アルゴリズム等の他のアルゴリズムを用いて、自律型ロボット装置（３００）に自律動作を実行させることもできる。いくつかの実施形態では、原材料の自然の変動性のために機械学習アルゴリズムを用いて自律動作を完了させられない場合、ＸＲシステム（１００）は、入力をユーザインターフェース（６００）に提供するようユーザ（２００）に要求することができ、当該入力はネットワークインターフェースを介して自律型ロボット装置（３００）に送信され、自律動作が実行可能となる。自律動作を完了させるために自律型ロボット装置（３００）に入力を提供するようユーザ（２００）に要求することによるこの協働作業は、意図された自律動作を直ちに実行させるというだけではなく、ユーザ（２００）が自律型ロボット装置（３００）をさらに訓練することを可能にするため、有利であり得る。ユーザ（２００）が自律型ロボット装置（３００）に提供する入力は、自律型ロボット装置（３００）によって用いられる特定の自律動作アプリケーションの開発を支援するために用いることもできる。

【0051】

図５は、自律型ロボット装置（３００）が機械学習アルゴリズムを用いてどのように自律動作を実行できるかを説明する方法フローチャート（８００）を示す。本方法（８１０）は、ＸＲシステム（１００）を初期化し、物理的環境の少なくとも一部に対応し得る、１つ以上のセンサ（５００）によってモニタリングされた離散データセットに少なくとも部分的に基づいて構築されたＸＲ環境を表示することを含み得る。本方法は、自律型ロボット装置（３００）に、物理的環境を表すデータポイント、ＸＲ環境におけるユーザの知覚に基づいたユーザ（２００）からの履歴入力データ、および自律型ロボット装置（３００）によって実行された自律動作の成功スコアを示すデータポイントに基づいて訓練され得る機械学習アルゴリズムを用いて自律動作を実行させること（８２０）をさらに含み得る。本方法は、自律型ロボット装置（３００）が機械学習アルゴリズムを用いて自律動作を実行できない場合に、ＸＲシステム（１００）がユーザインターフェース（６００）に入力を提供するようユーザ（２００）に要求すること（８３０）をさらに含み得る。例えば、自律型ロボット装置（３００）が自律動作の予測成功スコアを決定した場合、ＸＲシステム（１００）は、ユーザ（２００）に入力を提供するよう要求することができ、これにより、自律動作が成功裏に完了する可能性を高めることができる。

【0052】

本明細書に開示された実施形態および特許請求の範囲は、その適用において、本明細書に記載され図面に示された構成要素の構造および配置の詳細に限定されないことを理解されたい。むしろ、本明細書および図面は、想定される実施形態の例を提供するものである。本明細書に開示された実施形態および特許請求の範囲は、さらに他の実施形態が可能であり、様々な方法で実施および実施されることが可能である。また、本明細書で採用される表現および用語は、説明のためのものであり、特許請求の範囲を限定するものとみなされるべきではないことを理解されたい。

【0053】

したがって、当業者であれば、本出願および特許請求の範囲の基礎となる着想は、本出願に提示された実施形態および特許請求の範囲のいくつかの目的を実施するための他の構造、方法、およびシステムの設計の基礎として容易に利用できることが理解できるであろう。したがって、特許請求の範囲は、このような同等の構成を含むものとみなされることが重要である。

【0054】

さらに、要約書の目的は、米国特許商標庁および特に特許や法律の用語や表現に精通していない当業者を含む一般公衆が、一読するだけで本出願の技術開示の内容および要旨を迅速に把握できるようにすることにある。要約書は、本出願の特許請求の範囲を定義するものではなく、また、特許請求の範囲をいかようにも限定するものでない。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】