知財求人 - 知財ポータルサイト「IP Force」
▶ ザ・リージエンツ・オブ・ザ・ユニバーシテイ・オブ・コロラド、ア・ボデイー・コーポレイトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150577
(43)【公開日】2024-10-23
(54)【発明の名称】人間とロボットの相互作用の拡張現実調整
(51)【国際特許分類】
G06F 3/01 20060101AFI20241016BHJP
G06F 3/04815 20220101ALI20241016BHJP
G05D 1/224 20240101ALI20241016BHJP
G06T 19/00 20110101ALI20241016BHJP
G05D 1/46 20240101ALN20241016BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G05D1/224
G06T19/00 600
G05D1/46
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024114564
(22)【出願日】2024-07-18
(62)【分割の表示】P 2022188052の分割
【原出願日】2019-03-05
(31)【優先権主張番号】62/638,578
(32)【優先日】2018-03-05
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＸＢＯＸ
２．ＡＮＤＲＯＩＤ
３．ＭｙＳＱＬ
(71)【出願人】
【識別番号】508128082
【氏名又は名称】ザ・リージエンツ・オブ・ザ・ユニバーシテイ・オブ・コロラド、ア・ボデイー・コーポレイト
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ジャファ，ダニエル
(72)【発明者】
【氏名】ウォーカー，マイケル イー．
(72)【発明者】
【氏名】ヘダヤティ，フーマン
(57)【要約】 （修正有）
【課題】ロボットの意図を直感的に伝達することにより、安全性および共同作業の効率を大幅に向上させる方法を提供する。
【解決手段】方法は、ヘッドマウントディスプレイ１４０を装着したユーザ１２０と併置されたロボット１１０によって収集されたデータを受信するステップと、ヘッドマウントディスプレイ１４０を装着したユーザ１２０の視線内のロボット１１０の過去または現在のローカル環境内のロボット１１０またはオブジェクトの向きに対するヘッドマウントディスプレイ１４０のビューの座標系を特定するステップと、環境のユーザ視点をロボット１１０によって収集されたデータにリンクするステップと、ユーザ視点をロボットデータと統合するために、ユーザ視点にリンクされたデータに基づいて、ヘッドマウントディスプレイ１４０内の拡張現実または複合現実のビューを更新するステップと、を含む。
【選択図】図１
【解決手段】方法は、ヘッドマウントディスプレイ１４０を装着したユーザ１２０と併置されたロボット１１０によって収集されたデータを受信するステップと、ヘッドマウントディスプレイ１４０を装着したユーザ１２０の視線内のロボット１１０の過去または現在のローカル環境内のロボット１１０またはオブジェクトの向きに対するヘッドマウントディスプレイ１４０のビューの座標系を特定するステップと、環境のユーザ視点をロボット１１０によって収集されたデータにリンクするステップと、ユーザ視点をロボットデータと統合するために、ユーザ視点にリンクされたデータに基づいて、ヘッドマウントディスプレイ１４０内の拡張現実または複合現実のビューを更新するステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイを動作させるための方法であって、
ヘッドマウントディスプレイを装着したユーザと併置されたロボットによって収集されたデータを受信するステップであって、
前記ロボットから収集された前記データが、前記ロボットの過去または現在の環境内のローカル環境またはオブジェクトおよび１つまたは複数のロボット状態に関する情報を含む、ステップと、
前記ヘッドマウントディスプレイを装着した前記ユーザの視線内の前記ロボットの過去または現在のローカル環境内の前記ロボットまたはオブジェクトの向きに対する前記ヘッドマウントディスプレイのビューの座標系を特定するステップと、
前記環境のユーザ視点を前記ロボットによって収集された前記データにリンクするステップと、
前記ユーザ視点をロボットデータと統合するために、前記ユーザ視点にリンクされた前記データに基づいて、前記ヘッドマウントディスプレイ内の拡張現実または複合現実のビューを更新するステップと、
を含む、方法。
ヘッドマウントディスプレイを装着したユーザと併置されたロボットによって収集されたデータを受信するステップであって、
前記ロボットから収集された前記データが、前記ロボットの過去または現在の環境内のローカル環境またはオブジェクトおよび１つまたは複数のロボット状態に関する情報を含む、ステップと、
前記ヘッドマウントディスプレイを装着した前記ユーザの視線内の前記ロボットの過去または現在のローカル環境内の前記ロボットまたはオブジェクトの向きに対する前記ヘッドマウントディスプレイのビューの座標系を特定するステップと、
前記環境のユーザ視点を前記ロボットによって収集された前記データにリンクするステップと、
前記ユーザ視点をロボットデータと統合するために、前記ユーザ視点にリンクされた前記データに基づいて、前記ヘッドマウントディスプレイ内の拡張現実または複合現実のビューを更新するステップと、
を含む、方法。
【請求項2】
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する前記ユーザからの１つまたは複数のコマンドを受け取るステップと、
実行時の前記ロボットもしくは前記ローカル環境の損傷、または動作規則の違反につながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析するステップと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを生成するステップと、
前記ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記ヘッドマウントディスプレイ内の前記拡張現実または複合現実のビューを更新するステップと、
実行される前記ロボットに対する１つまたは複数の修正されたコマンドの前記セットを送信するステップと、をさらに含む、請求項１に記載の方法。
実行時の前記ロボットもしくは前記ローカル環境の損傷、または動作規則の違反につながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析するステップと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを生成するステップと、
前記ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記ヘッドマウントディスプレイ内の前記拡張現実または複合現実のビューを更新するステップと、
実行される前記ロボットに対する１つまたは複数の修正されたコマンドの前記セットを送信するステップと、をさらに含む、請求項１に記載の方法。
【請求項3】
実行時の前記ロボットもしくは前記ローカル環境の損傷、または動作規則の違反につながる可能性がある危険を識別すると、前記１つまたは複数のコマンドを分析することによって前記ユーザの意図を判断するステップをさらに含み、
１つまたは複数の修正されたコマンドの前記セットを生成するステップが、前記ユーザの意図を維持する、請求項２に記載の方法。
１つまたは複数の修正されたコマンドの前記セットを生成するステップが、前記ユーザの意図を維持する、請求項２に記載の方法。
【請求項4】
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する前記ユーザからの１つまたは複数のコマンドを受け取るステップと、
前記１つまたは複数のコマンドの結果を表示するように、前記ヘッドマウントディスプレイ内の前記拡張現実ビューを更新するステップと、
実行される前記ロボットに対する前記１つまたは複数のコマンドを送信するステップと、をさらに含む、請求項１に記載の方法。
前記１つまたは複数のコマンドの結果を表示するように、前記ヘッドマウントディスプレイ内の前記拡張現実ビューを更新するステップと、
実行される前記ロボットに対する前記１つまたは複数のコマンドを送信するステップと、をさらに含む、請求項１に記載の方法。
【請求項5】
前記拡張現または複合現実のビューを更新するステップが、拡張現実を用いて、前記ロボットの外観を仮想的に拡張するステップ、または前記ロボットのローカル環境に仮想画像を追加するステップを含む、請求項１に記載の方法。
【請求項6】
前記ロボットまたは前記ロボットのローカル環境が、遠隔操作コマンドに対する前記ロボットの応答を伝達し、ユーザインターフェースを介して前記ロボットの遠隔操作を容易
にするように仮想的に拡張される、請求項５に記載の方法。
にするように仮想的に拡張される、請求項５に記載の方法。
【請求項7】
前記拡張現実を更新するステップが、拡張現実を用いて、前記ロボットを遠隔操作するユーザインターフェースを仮想的に拡張するステップを含む、請求項１に記載の方法。
【請求項8】
前記ユーザインターフェースが、周辺設計を使用して前記ロボットの遠隔操作を容易にするように仮想的に拡張される、請求項７に記載の方法。
【請求項9】
前記ユーザインターフェースが、以下の
リアルタイム仮想サロゲートの仮想遠隔操作が前記ロボットの遠隔操作を指示するような、前記ロボットのリアルタイム仮想サロゲート、
通過点仮想サロゲートを使用する仮想通過点の操作が前記ロボットの遠隔操作を指示するような、前記ロボットの前記通過点仮想サロゲート、または
前記ロボットが動作している環境コンテキストの１つまたは複数の非仮想シーンオブジェクトのうちの１つまたは複数を含むように仮想的に拡張される、請求項７に記載の方法。
リアルタイム仮想サロゲートの仮想遠隔操作が前記ロボットの遠隔操作を指示するような、前記ロボットのリアルタイム仮想サロゲート、
通過点仮想サロゲートを使用する仮想通過点の操作が前記ロボットの遠隔操作を指示するような、前記ロボットの前記通過点仮想サロゲート、または
前記ロボットが動作している環境コンテキストの１つまたは複数の非仮想シーンオブジェクトのうちの１つまたは複数を含むように仮想的に拡張される、請求項７に記載の方法。
【請求項10】
前記拡張現実または複合現実のビューが、ロボットの運動意図を伝達するように仮想的に拡張されたユーザインターフェースを含む、請求項１に記載の方法。
【請求項11】
前記ヘッドマウントディスプレイ内の前記拡張現実ビューが、以下のＮａｖＰｏｉｎｔｓ手法、矢印手法、凝視手法、またはユーティリティ手法のうちの少なくとも１つによってロボット運動意図を伝達する、請求項１に記載の方法。
【請求項12】
前記ロボットが移動した場所を追跡するステップをさらに含み、前記ヘッドマウントディスプレイ内の前記拡張現実ビューを更新するステップが、前記ロボットが移動した場所を識別するロボットデータを表示するステップを含む、請求項１に記載の方法。
【請求項13】
ロボットによって収集された前記データのいくつかを含む位置にデータドロップを生成するステップをさらに含む、請求項１に記載の方法。
【請求項14】
前記データドロップが、前記ロボットがイベントを検出することに応答して自動的に作成される、請求項１３に記載の方法。
【請求項15】
前記イベントが、しきい値を超える１つまたは複数のセンサパラメータを含む、請求項１４に記載の方法。
【請求項16】
前記データドロップが、前記ユーザからのデータドロップコマンドに応答して前記位置に作成される、請求項１３に記載の方法。
【請求項17】
前記位置を通過するさらなるロボットが前記データドロップを識別し、前記データドロップ内に格納された前記データを視覚化するために、任意の拡張現実または複合現実のビューが更新される、請求項１３に記載の方法。
【請求項18】
相対位置ガイドラインを含むように前記拡張現実または複合現実のビューを更新するステップをさらに含む、請求項１に記載の方法。
【請求項19】
前記ヘッドマウントディスプレイが、拡張現実ディスプレイまたは複合現実ディスプレイである、請求項１に記載の方法。
【請求項20】
前記ロボットの場所を識別するステップをさらに含み、前記ヘッドマウントディスプレイ内の前記拡張現実または複合ビューを更新するステップが、前記ロボットの遠隔操作を支援するレーダー様設計を含む、請求項１に記載の方法。
【請求項21】
前記ロボットが地上ベースのロボットであり、前記ロボットの場所が前記地上にあるか、または前記ロボットが飛行可能であり、前記ロボットの場所が空にある、請求項２０に記載の方法。
【請求項22】
前記ロボットから収集された前記データが、ロボットの意図または前記ユーザから発行されたコマンドを含む、請求項１に記載の方法。
【請求項23】
センサまたはカメラを使用して、非仮想ロボットが環境をナビゲートするときにデータを収集する前記非仮想ロボットを備える、システムであって、
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットの前記環境および１つまたは複数のロボット状態に関する情報を含み、
拡張現実システムが、拡張現実ディスプレイ、通信モジュール、プロセッサ、前記プロセッサによって実行されると、
前記通信モジュールを介して、前記非仮想ロボットによって収集された前記データの少なくとも一部分を受信し、
前記拡張現実ディスプレイを介して現在ユーザの視線内にある前記環境のユーザ視点を識別するために、前記拡張現実ディスプレイのビューを特定し、
現在前記ユーザの視線内にある前記環境のユーザ視点を、前記非仮想ロボットによって収集された前記データにリンクし、
前記ユーザ視点にリンクされた前記データに基づいて、前記ユーザ視点を非仮想ロボットデータと統合するために、前記拡張現実ディスプレイ内の拡張現実ビューを更新することを前記拡張現実システムに行わせる命令を記憶した非一時コンピュータ可読媒体
を備える、システム。
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットの前記環境および１つまたは複数のロボット状態に関する情報を含み、
拡張現実システムが、拡張現実ディスプレイ、通信モジュール、プロセッサ、前記プロセッサによって実行されると、
前記通信モジュールを介して、前記非仮想ロボットによって収集された前記データの少なくとも一部分を受信し、
前記拡張現実ディスプレイを介して現在ユーザの視線内にある前記環境のユーザ視点を識別するために、前記拡張現実ディスプレイのビューを特定し、
現在前記ユーザの視線内にある前記環境のユーザ視点を、前記非仮想ロボットによって収集された前記データにリンクし、
前記ユーザ視点にリンクされた前記データに基づいて、前記ユーザ視点を非仮想ロボットデータと統合するために、前記拡張現実ディスプレイ内の拡張現実ビューを更新することを前記拡張現実システムに行わせる命令を記憶した非一時コンピュータ可読媒体
を備える、システム。
【請求項24】
前記非仮想ロボットの環境および状態情報に関する前記情報を格納するクラウドベースのプラットフォームをさらに備える、請求項２３に記載のシステム。
【請求項25】
前記拡張現実ディスプレイが、前記非仮想ロボットを遠隔操作する前記ユーザからのコマンドを監視するために１つまたは複数のセンサと関連付けられ、前記通信モジュールが、前記拡張現実ディスプレイに関連付けられた前記１つまたは複数のセンサによって検出された前記コマンドを送信し、前記拡張現実ビューが更新されることを可能にする前記１つまたは複数のロボット状態に関する情報を転送する、請求項２３に記載のシステム。
【請求項26】
前記拡張現実システムが、前記非仮想ロボットの状態を変更するコマンドを受信するための１つまたは複数のインターフェースを含む、請求項２３に記載のシステム。
【請求項27】
前記拡張現実システムが、前記プロセッサの制御下で、
前記非仮想ロボットの状態を変更する前記コマンドを受信し、
実行時に前記非仮想ロボットに損傷を与え、前記非仮想ロボットの環境に損傷を与え、同じ場所にいる人間を傷つけ、または操作規則に違反する可能性がある危険を識別するために、前記コマンドを分析し、
前記危険または前記操作規則の違反を回避するために、１つまたは複数の修正されたコマンドのセットを生成することを行う危険検出モジュールを含む、請求項２６に記載のシステム。
前記非仮想ロボットの状態を変更する前記コマンドを受信し、
実行時に前記非仮想ロボットに損傷を与え、前記非仮想ロボットの環境に損傷を与え、同じ場所にいる人間を傷つけ、または操作規則に違反する可能性がある危険を識別するために、前記コマンドを分析し、
前記危険または前記操作規則の違反を回避するために、１つまたは複数の修正されたコマンドのセットを生成することを行う危険検出モジュールを含む、請求項２６に記載のシステム。
【請求項28】
前記拡張現実システムが、
前記非仮想ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ上の前記拡張現実ビューを更新し、
前記通信モジュールを使用して、実行される前記ロボットに対する１つまたは複数のコマンドの前記セットをおよびロボット状態を送信し、その結果、前記拡張現実ディスプレイ内の画像が前記非仮想ロボットおよび現在の状態に関するさらなる洞察を前記ユーザに与えることができる、請求項２７に記載のシステム。
前記非仮想ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ上の前記拡張現実ビューを更新し、
前記通信モジュールを使用して、実行される前記ロボットに対する１つまたは複数のコマンドの前記セットをおよびロボット状態を送信し、その結果、前記拡張現実ディスプレイ内の画像が前記非仮想ロボットおよび現在の状態に関するさらなる洞察を前記ユーザに与えることができる、請求項２７に記載のシステム。
【請求項29】
前記拡張現実システムが、
実行時に前記非仮想ロボットに損傷を与え、前記非仮想ロボットの環境に損傷を与え、同じ場所にいる人間を傷つけ、または操作規則に違反する可能性がある危険を識別すると、前記コマンドを分析することによって前記ユーザの意図を特定し、
前記ユーザの意図を維持するために、１つまたは複数の修正されたコマンドのセットを生成するように構成された意図分析器を含む、請求項２６に記載のシステム。
実行時に前記非仮想ロボットに損傷を与え、前記非仮想ロボットの環境に損傷を与え、同じ場所にいる人間を傷つけ、または操作規則に違反する可能性がある危険を識別すると、前記コマンドを分析することによって前記ユーザの意図を特定し、
前記ユーザの意図を維持するために、１つまたは複数の修正されたコマンドのセットを生成するように構成された意図分析器を含む、請求項２６に記載のシステム。
【請求項30】
前記拡張現実ディスプレイがヘッドマウントディスプレイを含む、請求項２３に記載のシステム。
【請求項31】
前記非仮想ロボットが、コールアウト設計を使用して前記非仮想ロボットの遠隔操作を容易にするように仮想的に拡張される、請求項２３に記載のシステム。
【請求項32】
前記拡張現実ディスプレイが、前記非仮想ロボットが動作している環境コンテキスト内の１つまたは複数の非仮想シーンオブジェクトの表現を含み、前記１つまたは複数の非仮想シーンオブジェクトが、ロボットの動作意図を伝達するように仮想的に拡張される、請求項３１に記載のシステム。
【請求項33】
前記拡張現実ディスプレイが、非仮想オブジェクトを拡張する必要なしに、ローカル環境の表現に追加された仮想画像の表現を含む、請求項３１に記載のシステム。
【請求項34】
前記拡張現実ディスプレイが、前記非仮想ロボットが動作している環境コンテキスト内の１つまたは複数の非仮想シーンオブジェクトの表現を含み、ユーザインターフェースまたは錐台設計を介して前記非仮想ロボットの遠隔操作を容易にするように仮想的に拡張される、請求項３１に記載のシステム。
【請求項35】
前記拡張現実ディスプレイが、リアルタイムフィードバックをもたない可能性があるセンサのフィードバックを示す錐台設計を含む、請求項３１に記載のシステム。
【請求項36】
リアルタイムフィードバックをもたない前記センサが、Ｘ線またはライダーを含む、請求項３５に記載のシステム。
【請求項37】
前記拡張現実システムが、以下のＮａｖＰｏｉｎｔｓ手法、矢印手法、凝視手法、またはユーティリティ手法のうちの少なくとも１つによって非仮想ロボットのロボット運動意図を伝達する、請求項２３に記載のシステム。
【請求項38】
非仮想ロボットを遠隔操作する方法であって、
ユーザによって遠隔操作されている前記非仮想ロボットによって収集されたデータを受信するステップであって、
前記ユーザが拡張現実システムを使用して前記非仮想ロボットを制御し、
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットのローカル環境および１つまたは複数の非仮想ロボット状態に関する情報を含む、ステップと、
前記１つまたは複数の非仮想ロボット状態を変更する１つまたは複数のコマンドを受信
するステップと、
前記ロボット、前記ロボットの環境、もしくは同じ場所にいる人間に損傷を与えるか、または操作規則違反を引き起こす実行危険を識別するために、前記１つまたは複数のコマンドを分析するステップと、
前記実行危険または前記規則違反を回避するために、前記１つまたは複数のコマンドを修正するステップと、
前記実行危険または前記規則違反を回避するために修正された前記１つまたは複数のコマンドに対する前記非仮想ロボットの予想される応答をエミュレートするサロゲートロボットを表示するように、前記拡張現実システム内の拡張現実ビューを更新するステップと、
を含む、方法。
ユーザによって遠隔操作されている前記非仮想ロボットによって収集されたデータを受信するステップであって、
前記ユーザが拡張現実システムを使用して前記非仮想ロボットを制御し、
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットのローカル環境および１つまたは複数の非仮想ロボット状態に関する情報を含む、ステップと、
前記１つまたは複数の非仮想ロボット状態を変更する１つまたは複数のコマンドを受信
するステップと、
前記ロボット、前記ロボットの環境、もしくは同じ場所にいる人間に損傷を与えるか、または操作規則違反を引き起こす実行危険を識別するために、前記１つまたは複数のコマンドを分析するステップと、
前記実行危険または前記規則違反を回避するために、前記１つまたは複数のコマンドを修正するステップと、
前記実行危険または前記規則違反を回避するために修正された前記１つまたは複数のコマンドに対する前記非仮想ロボットの予想される応答をエミュレートするサロゲートロボットを表示するように、前記拡張現実システム内の拡張現実ビューを更新するステップと、
を含む、方法。
【請求項39】
前記規則違反が、前記非仮想に、最大高さを超えさえ、最小高さを下回らせ、最大速度を超えさせ、または最小速度を下回らせる、請求項３８に記載の方法。
【請求項40】
前記非仮想ロボットの将来の状態をさらなる拡張現実システムにブロードキャストするステップをさらに含む、請求項３８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、２０１８年３月５日に出願された米国仮出願第６２／６３８，５７８号に対する優先権を主張する。
連邦政府による資金提供を受けた研究に関する声明
本出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、２０１８年３月５日に出願された米国仮出願第６２／６３８，５７８号に対する優先権を主張する。
連邦政府による資金提供を受けた研究に関する声明
【0002】
本発明は、ＮＡＳＡによって与えられた認可番号ＮＮＸ１６ＡＲ５８Ｇの下で政府の支援を受けて行われた。政府は本発明に一定の権利を有する。
【0003】
いくつかの実施形態は、人間とロボットの伝達に関し、より詳細には、拡張現実を使用して、人間とロボットの協調環境におけるロボットの意図の伝達および遠隔操作を容易にするための新規の技法に関する。
【背景技術】
【0004】
人間がロボットと一緒に仕事を行うことが増えてきている。たとえば、空中ドローン、ローバー、ロボットアーム、および他のロボットは、工場従業員と一緒に製造環境で、救急隊員と一緒に緊急状況で、および他の多くの協調環境で使用されている。これらの環境におけるロボットの効果的で安全な配置は、いくつかの要因に依存する可能性がある。非自律型および半自律型のロボットの場合、そのような要因の１つは効果的なロボットの遠隔操作である。たとえば、いくつかの状況は、人間のオペレータがロボットの場所、ロボットのセンサフィードバック、環境オブジェクトの場所、環境フィードバック、および他の入力を監視できると同時に、１つまたは複数のロボットを正確かつ予測可能に制御できることに依存する場合がある。自律型ロボットの場合、別のそのような要因は、ロボットの意図の効果的な伝達である。たとえば、ロボットがどこにどのように動くつもりかについて動的な判断を行っているとき、それらの動きはロボットの環境内の人間には予測できない可能性があり、その結果、ロボットの意図を直感的に伝達することは、安全性および共同作業の効率を大幅に向上させることができる。
【発明の概要】
【課題を解決するための手段】
【0005】
拡張現実を使用して、人間とロボットの協調環境におけるロボットの意図の伝達および遠隔操作を容易にするための新規の技法のためのシステムおよび方法が記載される。いくつかの実施形態では、拡張現実ディスプレイを動作させるための方法が提供される。方法は、拡張現実ディスプレイを使用して（たとえば、ヘッドマウントディスプレイを装着して）、ユーザによって遠隔操作されているロボットによって収集されたデータを受信することを含むことができる。ロボットから収集されたデータは、ローカル環境（たとえば、温度、ノイズ、放射レベルなど）および／または１つもしくは複数のロボット状態もしくはロボットに関する情報を含んでよい。次いで、拡張現実システムは、拡張現実ディスプレイのビューを位置特定して、現在、ヘッドマウントディスプレイを装着しているユーザの視線内にある環境のユーザ視点を識別することができる。次いで、システムは、現在ユーザの視線内にある環境のユーザ視点を、ロボットによって収集されたデータにリンクすることができる。拡張現実ディスプレイ内の拡張現実ビューは、ユーザ視点にリンクされたデータに基づいて、ロボットデータでユーザ視点を改善するように更新ことができる。
【0006】
いくつかの実施形態では、１つまたは複数のロボット状態を変更するようにロボットに命令する１つまたは複数のコマンドをユーザから受け取ることができる。１つまたは複数
のコマンドは、実行時にロボットに損傷を与えるか、または安全規則に違反する可能性がある任意の危険を識別するために分析することができる。危険が検出された場合、危険を回避するために１つまたは複数の修正されたコマンドのセットを生成することができる。拡張現実ディスプレイ内の拡張現実ビューは、ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように更新することができる。次いで、１つまたは複数の修正されたコマンドのセットは、実行されるためにロボットに送信することができる。
のコマンドは、実行時にロボットに損傷を与えるか、または安全規則に違反する可能性がある任意の危険を識別するために分析することができる。危険が検出された場合、危険を回避するために１つまたは複数の修正されたコマンドのセットを生成することができる。拡張現実ディスプレイ内の拡張現実ビューは、ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように更新することができる。次いで、１つまたは複数の修正されたコマンドのセットは、実行されるためにロボットに送信することができる。
【0007】
本発明の実施形態はまた、本明細書に記載された方法、方法の変形形態、および他の動作を１つまたは複数のプロセッサに実行させる命令のセットを含むコンピュータ可読記憶媒体を含む。
【0008】
複数の実施形態が開示されているが、本発明のさらに他の実施形態は、本発明の例示的な実施形態を示し記載する以下の発明を実施するための形態から当業者には明らかになるであろう。実現されるように、本発明は、すべて本発明の範囲から逸脱することなく、様々な態様において修正することが可能である。したがって、図面および発明を実施するための形態は、本質的に例示と見なされるべきであり、限定と見なされるべきではない。
【0009】
添付の図面を使用して本技術の実施形態が記載および説明される。
【図面の簡単な説明】
【0010】
【図1】本技術のいくつかの実施形態が利用され得る環境の一例を示す図である。
【0011】
【図2】本技術の１つまたは複数の実施形態に従って使用され得るロボットのための構成要素のセットを示す図である。
【0012】
【図3】本技術のいくつかの実施形態による、拡張現実インターフェースを動作させるための動作のセットを示すフローチャートである。
【0013】
【図4】本技術の様々な実施形態による、拡張現実インターフェース内の危険検出のための動作のセットを示すフローチャートである。
【0014】
【図5】本技術のいくつかの実施形態による、遠隔操作ロボットの様々な構成要素間の例示的な通信のセットを示すシーケンス図である。
【0015】
【図6A】本技術の１つまたは複数の実施形態に従って使用され得るロボットの遠隔操作の拡張現の例を示す図である。
【図6B】本技術の１つまたは複数の実施形態に従って使用され得るロボットの遠隔操作の拡張現実の例を示す図である。
【図6C】本技術の１つまたは複数の実施形態に従って使用され得るロボットの遠隔操作の拡張現実の例を示す図である。
【0016】
【図7A】本技術のいくつかの実施形態による、物理的に具体化された空中ロボットと物理的環境を共有する仮想空中ロボットのリアルタイム仮想サロゲート（ＲＶＳ）を使用する拡張現実の例を示す図である。
【図7B】本技術のいくつかの実施形態による、物理的に具体化された空中ロボットと物理的環境を共有する仮想空中ロボットのリアルタイム仮想サロゲート（ＲＶＳ）を使用する拡張現実の例を示す図である。
【0017】
【図8A】本技術の様々な実施形態による、ロボットの動作意図を視覚的に伝達することにより、併置された人間とロボットの相互作用を仲介するためにロボットの意図を表示する拡張現実の一例を示す図である。
【図8B】本技術の様々な実施形態による、ロボットの動作意図を視覚的に伝達することにより、併置された人間とロボットの相互作用を仲介するためにロボットの意図を表示する拡張現実の一例を示す図である。
【図8C】本技術の様々な実施形態による、ロボットの動作意図を視覚的に伝達することにより、併置された人間とロボットの相互作用を仲介するためにロボットの意図を表示する拡張現実の一例を示す図である。
【図8D】本技術の様々な実施形態による、ロボットの動作意図を視覚的に伝達することにより、併置された人間とロボットの相互作用を仲介するためにロボットの意図を表示する拡張現実の一例を示す図である。
【0018】
【図9】本技術の様々な実施形態の拡張現実インターフェース設計が、凝視移動の数および注意散漫の総時間に関して注意散漫を最小化しながら、正確さおよび衝突の数に関して仕事のパフォーマンスを改善したことを示す客観的な結果を示す図である。
【0019】
【図10】いくつかの実施形態において使用されるＲＶＳシステムおよびＷＶＳシステムが、すべての客観的な尺度においてベースラインを超える改善を示したという客観的な結果を示す図である。
【0020】
【図11】ＮａｖＰｏｉｎｔｓ、矢印、および凝視が非効率および浪費時間を削減することにより仕事のパフォーマンスを改善したという客観的な結果を示す図である。
【0021】
【図12】本技術の様々な実施形態において使用され得る監視プラットフォームのコンピュータシステム化を表す例示的な機械を示すブロック図である。
【発明を実施するための形態】
【0022】
図面は必ずしも縮尺通りに描かれているわけではない。同様に、いくつかの構成要素および／または動作は、本技術のいくつかの実施形態の説明目的で、様々なブロックに分離されるか、または単一のブロックに組み合わされてよい。その上、本技術は様々な修正および代替の形態を受け入れるが、特定の実施形態が例として図面に示され、以下で詳細に記載される。しかしながら、その意図は、記載された特定の実施形態に本技術を限定することではない。それに反して、本技術は、添付の特許請求の範囲によって定義される技術の範囲内にあるすべての修正形態、均等物、および代替形態を網羅するものである。
【0023】
人間とロボットの活動との間の調整を伴うますます多くの環境が発生している。それらの環境の一部では、人間およびロボットは、重複する空間内で完全に別々の仕事を実行しているので、調整は、衝突、干渉、負傷、および／または他の望ましくない結果を回避することに役立つことができる。たとえば、都市の歩行者または工場の労働者が自律型車両および工場ロボットとの衝突を回避することは望ましいことであり得る。それらの環境の他では、人間およびロボットが協働して特定の仕事を遂行しているので、協調は、ロボットと人間の活動との間の協働を促進することに役立つことができる。たとえば、調整は、人間とロボットアクタとの間のツールまたは部品のやり取り、残りの仕事および完了した仕事の人間とロボットアクタとの間の通知、一方によって得られた知識の他方への貢献などを容易にすることができる。
【0024】
本明細書に記載される実施形態は、拡張現実（ＡＲ）を使用して、人間とロボットアクタとの間の協調を改善するための新規の技法を含む。様々な実装形態は、ロボットアクタ、ロボットが動作している環境、および／またはロボットを制御するためのユーザインターフェースを仮想的に拡張する新規の手法を含む。たとえば、いくつかの実装形態は、消費者向けシースルー拡張現実ヘッドマウントディスプレイ（ＡＲＨＭＤ）の開発における
最近の進歩を活用して、新規の人間とロボットの相互作用を可能にする。一般に、手法は、「ロボット遠隔操作」実施形態および「ロボット意図」実施形態として本明細書では分類される。分類はさらに明確にする目的のためだけであり、ロボット遠隔操作実施形態に関して記載された技法は、ロボット意図実施形態の実施形態に適用することができ、逆もまた同様であることが諒解されよう。
最近の進歩を活用して、新規の人間とロボットの相互作用を可能にする。一般に、手法は、「ロボット遠隔操作」実施形態および「ロボット意図」実施形態として本明細書では分類される。分類はさらに明確にする目的のためだけであり、ロボット遠隔操作実施形態に関して記載された技法は、ロボット意図実施形態の実施形態に適用することができ、逆もまた同様であることが諒解されよう。
【0025】
特定の実施形態を説明する前に、いくつかの関連技術の概要を提供することは役に立つ。
ロボットインターフェース技術
ロボットインターフェース技術
【0026】
本明細書に記載される実施形態は、任意の適切なタイプのロボット（たとえば、空中ロボット、ローバー、ロボットアームなど）に適用されるが、説明は役に立つ例示的コンテキストを提供するために空中ロボットインターフェースに焦点を当てる。現在、空中ロボット用のほとんどのインターフェースは、２つの形式：ロボットがビデオディスプレイ付きのジョイスティック（もしくは同様のデバイス）を介してユーザによって制御される直接遠隔操作インターフェース、またはユーザが所望のロボット経路の輪郭を描く通過点をプロットすることを可能にする高水準監視インターフェースのうちの１つを採用する。
【0027】
空中ロボット用の遠隔操作インターフェースは、ユーザが、ライブロボットビデオフィードを監視しながら、潜在的に不慣れな自由度でロボットを操縦することができる多くのスキルを有することをしばしば要求する。必要なスキルの一例として、米国の連邦航空局（ＦＡＡ）は当初、民間の空中ロボットオペレータがパイロットの免許を取得することを要求する規制を検討したが、今日でもそのようなロボットは視線範囲内で操作されることが必要である。
【0028】
遠隔操作のパラダイムを改善するために、多くの研究が試みられてきた。たとえば、特定のインターフェースは、ディスプレイグラスを介してロボットのビデオフィードの一人称ビューをオペレータに提供する。これは特定の仕事に役立つ場合があるが、オペレータがロボットの直接の視野の外にある周囲の環境のすべてのコンテキスト知識を失うので、全体的な状況認識を低下させる可能性もある。他のインターフェースは、ライブビデオ表示を仮想地図データと組み合わせ、しばしば遠隔操作を自律型通過点ナビゲーションの形式と混ぜ合わせる。さらに他の手法は、ユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着し、ロボットが「浮動ヘッド」メタファを介して制御され、ユーザと同期して向きを変えるエキゾチックな設計を含むマルチモーダルインターフェースを使用する制御システムの開発を目指してきた。最後に、他の研究は、「認知一次制御」の概念を発展させ、それにより、ユーザがモバイルタッチスクリーン上のジェスチャを使用して空中ロボットを「ゆっくり動かす」ことが可能になり、より正確で安全な操作をサポートする。
【0029】
多くの既存のシステムの１つの制限は、併置制御が役立つ可能性がある多くの配置（たとえば、建設現場の監視、丘の上の偵察、工場の物流管理、工場の環境調査など）が存在する場合でも、または視線規制のために必要な場合でも、それらは、しばしば併置遠隔操作ではなくリモート遠隔操作に焦点を当てる。加えて、現在のインターフェースは、ユーザが、動作環境内でロボット自体を直接監視しながら、ロボットによって収集された情報（たとえば、ライブビデオフィード）を見ることを可能にしない傾向がある。代わりに、従来のインターフェースは、通常、ロボットビデオフィードおよび他のセンサ情報をディスプレイ（たとえば、モバイルデバイス）に提示し、ユーザが、運転中にメールを打つ人に類似するパラダイムで、ロボットを監視するか、またはロボットのビデオフィードを監視するかを選択することを要求する。運転中にメールを打つことと同様に、遠隔操作中にモバイルデバイスを監視すると、ユーザの注意がそらされ、状況認識が低下し、操縦不足につながり、場合によっては衝突する可能性がある。本明細書に記載されたいくつかの拡
張現実手法は、この問題を軽減する遠隔操作インターフェースの新しいモデルを可能にし、ユーザが一人称ビューと三人称ビューの両方の知識と利点を合成することを可能にする。
拡張現実技術
張現実手法は、この問題を軽減する遠隔操作インターフェースの新しいモデルを可能にし、ユーザが一人称ビューと三人称ビューの両方の知識と利点を合成することを可能にする。
拡張現実技術
【0030】
拡張現実技術は、リアルタイムでコンピュータグラフィックスを実際の環境に重ね合わせる。ＡＲインターフェースは３つの主な特徴を有する：（１）ユーザは、実際のオブジェクトおよび仮想オブジェクトを結合されたシーンで見ることができる、（２）ユーザは、仮想オブジェクトが実際に表現され、現実世界に直接組み込まれている印象を受ける、（３）仮想オブジェクトはリアルタイムで相互作用することができる。これは、純粋な仮想環境、または実際のオブジェクトが仮想環境に混在する拡張仮想などの複合現実連続体の他の部分とは対照的である。
【0031】
初期のＡＲシステムは、しばしば研究所でカスタムメイドされ、ディスプレイの忠実度、レンダリング速度、相互作用のサポート、一般化可能性がかなり制限されていた。しかしながら、拡張現実ヘッドマウントディスプレイ（ＡＲＨＭＤ）技術の最近の進歩により、標準化された消費者向けシースルーＡＲＨＭＤのエコシステムが作成されている。たとえば、ＨｏｌｏＬｅｎｓおよびＭｅｔａ２ ＡＲＨＭＤは両方とも、６０Ｈｚのリフレッシュレートで表示される高解像度の立体仮想画像、内蔵のジェスチャトラッキング、深度センシング、ならびにＵｎｉｔｙおよびＵｎｒｅａｌ Ｅｎｇｉｎｅなどの標準開発ツールとの統合をもたらす。ハードウェアアクセシビリティにおけるこの進歩は、人間とロボットの相互作用（ＨＲＩ）を強化するための相互作用媒体としてＡＲを探索するための新しい機会を生み出している。
【0032】
本明細書に記載された本技術の様々な実施形態は、新規のタイプのロボット遠隔操作およびロボット意図伝達のための実現技術としてのＡＲ技術の使用を探究する。詳細には、本明細書に記載された実施形態は、（１）環境を拡張すること、（２）ロボットを拡張すること、および／または（３）ユーザインターフェースを拡張することによる３つの分類方法でＡＲを使用して、仮想画像を用いて人間とロボットの相互作用を拡張する。そのような分類は、さらに明確にするためだけのものであり、任意の特定の実施形態の範囲を限定するものではない。ＡＲＨＭＤを参照して様々な例が記載され、ＡＲＨＭＤは、（たとえば、奥行き手掛かりなどを含む）立体情報、人間のユーザの通常の視野に匹敵する視野、ハンズフリー操作、および超高水準の没入感などのいくつかの特徴を可能にする。それでも、本明細書に記載された実施形態の一部またはすべては、「世界の窓（ｗｉｎｄｏｗ
ｏｎ ｔｈｅ ｗｏｒｌｄ）」ＡＲインターフェースとして動作する、携帯型ハンドヘルドタブレットなどの任意の他の適切なＡＲインターフェースを使用して同様に実装することができる。
ｏｎ ｔｈｅ ｗｏｒｌｄ）」ＡＲインターフェースとして動作する、携帯型ハンドヘルドタブレットなどの任意の他の適切なＡＲインターフェースを使用して同様に実装することができる。
【0033】
環境の拡張：このパラダイムでは、インターフェースは、ロボット操作に関する情報およびロボットによって収集されたデータを、キャンバスとしての環境メタファを使用して、動作環境のコンテキストに直接組み込まれた仮想画像として表示することができる。たとえば、ユーザ／ロボットが検査した（または検査を計画している）オブジェクトが強調表示されてよく、またはロボットの視野をよりよく示すために情報が追加されてよい。この概念は、３つの主要な方法で複合現実投影システムを使用して過去の作業を拡張する。第１に、ＡＲＨＭＤは、プロジェクタシステムからの２次元のキャンバスではなく、仮想画像に利用する完全な３次元の「キャンバス（ｃａｎｖａｓ）」をもたらす。第２に、ＡＲＨＭＤ環境の拡張は、ユーザまたはロボットが投影された光を妨害するときなどの閉塞される危険を冒さない。第３に、ＡＲＨＭＤは、従来のプロジェクタシステム内の単眼手掛かりとは対照的に、人間の奥行き知覚をより効果的に活用することができる立体的な環境の手掛かりをサポートする。
【0034】
ロボットの拡張：この原型では、仮想画像は、ロボットとしてのキャンバスメタファ内のロボットプラットフォームに直接取り付けられてよい。この技法は、従来のインターフェースよりも流動的な方式で、状況に応じた手掛かりをオペレータに提供することができる。たとえば、２Ｄディスプレイにバッテリインジケータを表示し、オペレータがロボットから目を離してステータスを確認することを必要とするのではなく、仮想画像は、代わりに、物理空間内のロボットの真上に指示アイコンを提供し、オペレータがロボットの位置とステータスの両方の認識を維持することを可能にする。この技法は、新しい「仮想的／物理的に具体化された」手掛かりを作成することにより、ロボットの形状および／または機能を変更することもでき、従来ロボットの物理的側面を使用して生成された手掛かりは、区別できない仮想画像を使用して生成される。
【0035】
たとえば、信号灯を含めるようにロボットプラットフォームを直接修正するのではなく、同様に、ＡＲＨＭＤインターフェースは、同一の方式で仮想信号灯をロボットに重ね合わせてよい。あるいは、仮想画像は、この物理的能力をもたないロボットに擬人化または動物化した特徴を与える（たとえば、単一のマニピュレータに仮想ボディを追加するか、または空中ロボットに仮想ヘッドを追加する）ために使用されてよい。最終的に、仮想画像は、ユーザの役割に基づいてロボットの形態の様々な側面を目立たなくするか、またはより際立たせるために使用されてよい（たとえば、オーバーライドスイッチは通常のユーザには隠されているが、技術者には見えていてよい）。たとえば、プロトタイプを製造し操作することが高速、簡単、および安価な設計変数としてのロボットの形態は、非常に高いコスト、時間、および／または他の制約などのロボットの形態の修正に関する従来の制限とは対照的に、いくつかの新規の手法を可能にすることができる。
【0036】
ユーザインターフェースの拡張：このパラダイムでは、仮想画像は、パイロットに使用される「世界の窓（ｗｉｎｄｏｗ－ｏｎ－ｔｈｅ－ｗｏｒｌｄ）」のＡＲアプリケーションおよびヘッドアップディスプレイ技術に触発されて、物理的な世界へのインターフェースを提供するために、オーバーレイとしてユーザの正面に直接表示される。このキャンバスとしてのインターフェースのメタファは、従来の２Ｄインターフェースの設計から多くのインスピレーションを得ている可能性があり、たとえば、ロボットの視界を維持しながら、ユーザの周辺におけるロボットの方位、姿勢、ＧＰＳ座標、または接続品質に関する補足情報を提供し、環境の状況認識を維持する。さらに、キャンバスとしてのインターフェースのメタファは、環境またはロボットを拡張することによって提供されるエキソセントリックなフィードバックと比較して、ユーザのビューの正面またはそれらの周辺のいずれかで直接、エゴセントリックな手掛かりを一意に提供することができる。たとえば、ユーザインターフェースの拡張には、ユーザに対するロボットの場所または計画ルートに関する情報を提供する空間ミニマップ、ロボットステータスインジケータ（バッテリレベル、仕事の進捗状況、仕事の待ち行列など）、またはロボットのカメラからのライブビデオストリームが含まれてよい。
【0037】
これらの設計パラダイムは、従来のインターフェースよりも優れている場合がある。たとえば、ＡＲＨＭＤは、従来のインターフェース内の単眼手掛かりとは対照的に、人間の奥行き知覚をより効果的に活用することができる立体的な手掛かりをサポートする。その上、これらのパラダイムにより、ロボットが実際に動作している状況で直接フィードバックを提供するインターフェースが可能になり、ロボットの監視と動作データの監視との間でコンテキストを切り替える必要が減少し、したがって、視線取得問題の解決に役立つ。
ロボット遠隔操作の実施形態
ロボット遠隔操作の実施形態
【0038】
本技術の様々な実施形態は、拡張現実技術の使用を探求して、直観的で視覚的なフィードバックの新規の形でロボット遠隔操作を仲介するのに役立つ。ロボット、特に非自律型
ロボットおよび半自律型ロボットとの人間の相互作用は、しばしば、ある種の遠隔操作を伴う。一般的に、遠隔操作は、ロボットまたは他のタイプの機械の遠隔電子制御である。遠隔操作は、ユーザがインジケータまたはセンサの動き、作動などの一部またはすべてのロボット機能を制御することができるユーザインターフェースの操作を含むことができる。ロボットの遠隔操作は、特に自由度が高いプラットフォーム（たとえば、産業用マニピュレータおよび空中ロボット）の場合、しばしば、多くのユーザトレーニングおよび専門知識を必要とする困難な仕事であり得る。ユーザは、しばしば、ロボットが収集する情報（たとえば、カメラストリーム）を環境内でロボットがどのように動いているかの状況知識と合成するのに苦労する。
ロボットおよび半自律型ロボットとの人間の相互作用は、しばしば、ある種の遠隔操作を伴う。一般的に、遠隔操作は、ロボットまたは他のタイプの機械の遠隔電子制御である。遠隔操作は、ユーザがインジケータまたはセンサの動き、作動などの一部またはすべてのロボット機能を制御することができるユーザインターフェースの操作を含むことができる。ロボットの遠隔操作は、特に自由度が高いプラットフォーム（たとえば、産業用マニピュレータおよび空中ロボット）の場合、しばしば、多くのユーザトレーニングおよび専門知識を必要とする困難な仕事であり得る。ユーザは、しばしば、ロボットが収集する情報（たとえば、カメラストリーム）を環境内でロボットがどのように動いているかの状況知識と合成するのに苦労する。
【0039】
ユーザがロボットを手動で操作するロボット遠隔操作は、通常、高度なオペレータの専門知識を必要とし、かなりの認知負担を課す可能性がある。しかしながら、それは、高い精度ももたらし、ロボットの側の自律性をほとんど必要としなくてよい。結果として、遠隔操作は、依然、医療目的の外科用ロボット、宇宙探査のロボットマニピュレータ、および災害対応用の空中ロボットの操作を含む多くの領域で人間とロボットの相互作用についての主要なパラダイムである。ロボットが現在の人間とロボットのチームよりも高度な自律性を実現している将来のシステムでさえ、遠隔操作が依然として役割を果たしてよい。たとえば、「共有制御（ｓｈａｒｅｄ ｃｏｎｔｒｏｌ）」および「ユーザ主導のガードモーション（ｕｓｅｒ－ｄｉｒｅｃｔｅｄ ｇｕａｒｄｅｄ ｍｏｔｉｏｎ）」のパラダイムでは、ロボットはユーザが直接遠隔操作コマンドを入力することを可能にするが、特に受信された入力が安全でない操作につながる可能性がある場合、受信された入力に正確に従うのではなく、ユーザの意図を推測しようと試みる際にこれらのコマンドを使用する。
【0040】
研究の実質的な本体は、様々な形態のロボット遠隔操作インターフェースおよび混合遠隔操作／監視制御システムにおける人間のパフォーマンスの問題を調査している。特に、以前の研究は、ロボットおよびその作業環境の認識の悪さが状況認識を低下させ、したがって、操作の有効性に悪影響を及ぼす可能性があるという概念の視点取得の問題を浮き彫りにしている。これは、（宇宙探査で見られるような）遠隔探査と、（捜索救助または建物の検査シナリオで発生する可能性がある）オペレータとロボットが併置されたときの両方で問題になり得る。
【0041】
ライブロボットカメラフィードは、通常、２つの方法：ディスプレイグラスで直接見るか、または従来の画面（たとえば、モバイルデバイス、タブレット、もしくはラップトップコンピュータ）に表示するうちの１つで提示されるので、現在のインターフェース設計はこの問題を悪化させる可能性がある。ビデオ・ディスプレイ・グラスは、ロボットが見ることができるものの自己中心的な理解をユーザが実現するのに役立つが、それらは、ロボットが直視できない障害物および他の周囲の物体の識別などの、操作状況の理解に役立つことができる第三者の視点を取り除くことにより、全体的な状況認識を低下させる可能性がある。一方、従来のディスプレイを介してロボットカメラフィードをルーチンすることは、いずれの時点でも、オペレータが、自分のディスプレイまたは物理空間内のロボットでビデオストリームを見ることしかできないことを意味する。結果として、オペレータは、ロボットのビデオフィードの監視とロボットの監視との間で常にコンテキストを切り替えなければならず、運転中のメール作成との類似点をもつ注意パラダイムが分割される。
【0042】
以下の説明では、説明の目的で、本技術の実施形態を完全に理解するために、多くの具体的な詳細が記載される。しかしながら、これらの具体的な詳細の一部がなくても本技術の実施形態が実践され得ることは、当業者には明らかであろう。ここで紹介される技法は、専用ハードウェア（たとえば、回路）として、ソフトウェアおよび／もしくはファーム
ウェアで適切にプログラムされたプログラム可能な回路として、または専用回路とプログラム可能な回路の組合せとして具体化することができる。したがって、実施形態は、コンピュータ（または他の電子デバイス）をプログラムしてプロセスを実行するために使用され得る命令を記憶した機械可読媒体を含んでよい。機械可読媒体には、限定はしないが、フロッピーディスケット、光ディスク、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、光磁気ディスク、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、磁気カードもしくは光カード、フラッシュメモリ、または電子命令を記憶するのに適した他のタイプの媒体／機械可読媒体が含まれてよい。
ウェアで適切にプログラムされたプログラム可能な回路として、または専用回路とプログラム可能な回路の組合せとして具体化することができる。したがって、実施形態は、コンピュータ（または他の電子デバイス）をプログラムしてプロセスを実行するために使用され得る命令を記憶した機械可読媒体を含んでよい。機械可読媒体には、限定はしないが、フロッピーディスケット、光ディスク、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、光磁気ディスク、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、磁気カードもしくは光カード、フラッシュメモリ、または電子命令を記憶するのに適した他のタイプの媒体／機械可読媒体が含まれてよい。
【0043】
「いくつかの実施形態では」、「いくつかの実施形態に従って」、「示された実施形態では」、「他の実施形態では」などの語句は、一般に、語句に続く特定の特徴、構造、または特性が、本技術の少なくとも１つの実装形態に含まれ、２つ以上の実装形態に含まれてよいことを意味する。加えて、そのような語句は、必ずしも同じ実施形態または異なる実施形態を指すとは限らない。
【0044】
図１は、本技術のいくつかの実施形態が利用され得る環境１００の一例を示す。図１に示されたように、通信環境１００は、１つまたは複数のモバイルロボット１１０、ロボット１１０を遠隔操作するコントローラをもつユーザ１２０、およびロボットの動作または意図された動作に関するコンテキスト情報をユーザに提供する拡張現実システム（たとえば、ヘッドマウントディスプレイ１４０）を含んでよい。ロボットおよび／またはコントローラからのデータは、監視サービス１５０から通信または検索されてよい。そのため、いくつかの実施形態では、ロボット１１０、拡張現実システム、およびコントローラは、これらのデバイスが、通信ネットワーク上の認可スペクトル、半認可スペクトル、または無認可スペクトルを使用してワイヤレス信号を送受信することにより、リモートサーバまたは他のポータブル電子デバイスと通信することを可能にするネットワーク通信構成要素を含んでよい。場合によっては、通信ネットワークは、複数のネットワーク、さらには、様々なネットワーク間の通信を容易にするように動作可能なゲートウェイを介して相互接続された１つもしくは複数の境界ネットワーク、音声ネットワーク、ブロードバンドネットワーク、サービスプロバイダネットワーク、インターネットサービスプロバイダ（ＩＳＰ）ネットワーク、および／または公衆交換電話網（ＰＳＴＮ）などの、複数の異種ネットワークから構成されてよい。通信ネットワークは、モバイル用グローバルシステム（ＧＳＭ（登録商標））モバイル通信ネットワーク、符号分割／時分割多元接続（ＣＤＭＡ／ＴＤＭＡ）モバイル通信ネットワーク、第３世代もしくは第４世代（３Ｇ／４Ｇ）モバイル通信ネットワーク（たとえば、汎用パケット無線サービス（ＧＰＲＳ／ＥＧＰＲＳ）、ＧＳＭ（登録商標）エボリューション用拡張データレート（ＥＤＧＥ）、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）、もしくはロングタームエボリューション（ＬＴＥ）ネットワーク）、または他の通信ネットワークなどのサードパーティ通信ネットワークを含むこともできる。
【0045】
拡張現実システム１４０は、ロボット１１０に直接視線を提供することができ、または拡張現実システム内でロボットを再現することができる。ユーザ１２０は、コントローラ１３０を使用してロボット１１０を制御するためのコマンドを開発することができる。より具体的には、様々な実施形態によれば、従来の遠隔操作のように物理ロボットを直接制御するのではなく、遠隔操作コマンドが傍受されて仮想サロゲートに向けられる。これらのコマンドは、拡張現実システムによって処理され、実際のロボット１１０に実装される前にヘッドマウントディスプレイ１４０上に視覚化することができる。そのため、拡張現実ディスプレイ１４２は時間とともに変化してよい。たとえば、図１に示されたように、時間Ｔ１において、拡張現実ディスプレイ１４２は、いかなる拡張もなしに、部屋の中のロボットおよび他の物理的アイテムのみを示すことができる。ユーザは、ロボットがテー
ブルのまわりを飛ぶように要求することができ、ユーザ１２０を支援するために、様々な拡張現実情報が表示されてよい。
ブルのまわりを飛ぶように要求することができ、ユーザ１２０を支援するために、様々な拡張現実情報が表示されてよい。
【0046】
たとえば、ユーザからの最初のコマンドに応答して、拡張現実システムは、時間Ｔ２において、深度インジケータとして機能する地面にあおむけに置かれた二重リング視覚化にそれを接続するロボットの真下に仮想ライン１４７Ａを表示することができる。時間Ｔ３において、ディスプレイ１４２は、ロボットがどこでどのように飛ぶかを示すリアルタイム仮想サロゲート（ＲＶＳ）を表示するように更新することができる。物理ロボットが到着すると、拡張現実ディスプレイ１４２内で、時間Ｔ４において、追加のコンテキスト情報１４９Ａ～１４９Ｂ（たとえば、ロボットのバッテリ寿命、高さ、センサの読取り値など）を表示することができる。
【0047】
図２は、本技術の１つまたは複数の実施形態に従って使用され得るロボット２００のための構成要素のセットを示す。図２に示されたように、ロボット２００は、電源２０５（たとえば、充電式バッテリ）、メモリ２１０（たとえば、揮発性メモリおよび／もしくは不揮発性メモリ）、アクチュエータ２２０、センサ２２５、ナビゲーションシステム２３０、通信システム２３５、ヒューマンインターフェースモジュール２４０、慣性測定ユニット（ＩＭＳ）２４５、全地球測位システム（ＧＰＳ）２５０、経路推定器２５５、将来状態推定器２６０、ならびに／またはコントローラスーパーバイザ２６５を含んでよい。
【0048】
加えて、ロボット２００は、アプリケーションプロセッサ、様々なコプロセッサ、およびロボット２００を動作させるための他の専用プロセッサなどの様々なプロセッサを含んでよい。いくつかの実施形態では、プロセッサは、信号処理を実行するように構成された１つまたは複数の専用または共有プロセッサ（たとえば、セルラー通信用のベースバンドプロセッサ）を含み、（たとえば、ヘッドマウントディスプレイなどの近くの拡張現実デバイスへの）リアルタイム無線送信動作を実装／管理し、または他の計算もしくは判断を行うことができる。プロセッサは、メモリ２１０と通信可能に結合され、オペレーティングシステム、ユーザインターフェース、センサ２２５、ナビゲーションシステム２３０、通信システム２３５、ヒューマンインターフェースモジュール２４０、慣性測定ユニット（ＩＭＳ）２４５、全地球測位システム（ＧＰＳ）２５０、経路推定器２５５、将来状態推定器２６０、および／もしくはコントローラスーパーバイザ２６５、ならびに／または他の構成要素を実行するように構成されてよい。これらのプロセッサは、他の構成要素とともに、電源２０５によって電力供給されてよい。様々な実施形態において見出される揮発性メモリおよび不揮発性メモリは、プロセッサ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための記憶媒体を含んでよい。記憶され得る情報のいくつかの例には、基本入出力システム（ＢＩＯＳ）、オペレーティングシステム、およびアプリケーションが含まれる。
【0049】
アクチュエータ２２０は、ロボット２００の様々な構成要素または部品を移動および制御することに関与することができる。たとえば、いくつかの実施形態では、アクチュエータ２２０には、限定はしないが、電気モータ、線形アクチュエータ、圧電アクチュエータ、サーボ、ソレノイド、ステッピングモータなどが含まれてよい。センサ２２５は、周囲環境内の状態、イベント、または変化を検出し、ロボット内の様々な構成要素が作用することができる対応する信号を生成するために使用されてよい。いくつかの実施形態では、センサ２２５には、以下のマイクロフォン、カメラ、エンコーダ、加速度計、光センサ、モーションセンサ、放射線センサ、水分センサ、化学センサ、ライダー、レーダーなどの１つまたは複数が含まれてよい。これらのセンサのいくつかは、たとえば、（たとえば、センサ２２５によって検出された障害物を考慮して）ロボット２００のナビゲーション経路を決定することに関与することができるナビゲーションシステム２３０の部品として使用されてよい。ナビゲーションシステム２３０はまた、通信システム２３５、ＩＭＵ２４
５、および／またはＧＰＳ２５０を使用して外部ソースから入力を受信して、最適な飛行経路を決定し、物体を検出および回避し、通信システム２３５を使用して他の近くのロボットと調整するなどを行うことができる。たとえば、ＩＭＵ２４５は、ロボット２００の向きおよび速度を決定することができる。コントローラスーパーバイザ２６５は
５、および／またはＧＰＳ２５０を使用して外部ソースから入力を受信して、最適な飛行経路を決定し、物体を検出および回避し、通信システム２３５を使用して他の近くのロボットと調整するなどを行うことができる。たとえば、ＩＭＵ２４５は、ロボット２００の向きおよび速度を決定することができる。コントローラスーパーバイザ２６５は
【0050】
通信システム２３５は、他のロボット、拡張現実システム、コントローラ、データドロップなどから情報を送信および／または受信するためのセルラーおよび／または短距離通信構成要素を含んでよい。ヒューマンインターフェースモジュール２４０は、人間から入力を受け取り、人間に出力を与えることができる。ヒューマンインターフェースモジュール２４０は、マイクロフォンを使用して、近くの人間から口頭のコマンドまたはクエリを受け取ることができる。たとえば、人間が通り掛かる場合、人間は、人間が安全に通り抜けられるように、ヒューマンインターフェースモジュール２４０を使用して動作を一時停止するようにロボット２００に要求することができる。ユーザが通り抜けたことを（たとえば、センサ２２５を使用して）検出すると、ロボット２００は、要求された動作を再開することができる。別の例として、ヒューマンインターフェースモジュール２４０は、ロボット２００の意図の近くのユーザを支援するために、１つまたは複数の視覚的キュー（たとえば、投影、ホログラム、ライトなど）を表示することができる。様々な実施形態によれば、ヒューマンインターフェースモジュールは、拡張現実ディスプレイを使用することができる。コントローラ／スーパーバイザ２６５は、１つまたは複数のコマンドの実装を遅延させて、ロボットおよび近くの物体または人間の安全を確保することができる。
【0051】
経路推定器２５５は、現在の状態（たとえば、速度、場所、待ち行列内のコマンドなど）を受け取り、ロボット２００が取ることができる現在のナビゲーション経路を推定することができる。将来状態推定器２６０は、ロボット２００が取る可能性が高い経路および活動の予測を生成することができる。ヒューマンインターフェースモジュール２４０を使用すると、ロボット２００の予想される経路、意図、または活動を理解する際に人間を支援するために、それらの経路のインジケータ（たとえば、確率的指示）が、（たとえば、人間が使用している拡張現実ディスプレイを介して）表示されてよい。たとえば、この情報は、近くのヘッドマウントディスプレイまたは他の拡張現実システムがユーザ向けの視覚化を作成することを可能にするために、通信システム２３５を使用してブロードキャストされてよい。
【0052】
図３は、本技術のいくつかの実施形態による、拡張現実インターフェースを動作させるための動作のセット３００を示すフローチャートである。これらの動作は、限定はしないが、１つもしくは複数のプロセッサ、ＡＳＩＣ、ディスプレイ、通信モジュール（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラー、無線周波数など）および／または他の構成要素などの、拡張現実インターフェースの様々な構成要素によって実装または実行されてよい。図３に示されたように、受信動作３１０は、ロボット状態情報（たとえば、向き、速度、位置、加速度など）および（たとえば、１つまたは複数のセンサによって収集された）環境データを含むロボットデータを受信することができる。このデータは、ロボットから直接受信されるか、または中間ソース（たとえば、監視サービス１５０、リレー、衛星など）を介して間接的に受信されてよい。いくつかの実施形態では、データのソースは、仕事情報、遅延許容度、通信ネットワーク特性（たとえば、遅延）、および／または他の情報に基づいて、選択および／または切り替えられてよい。いくつかの実施形態では、いくつかのデータはロボットから直接得られてよいが、他のデータは、ロボットおよび／または拡張現実システムによって（たとえば、ロボットの位置に基づいて）識別され得る情報データドロップから取り出されてよい。そのため、一部のデータは他のソースから取り出されてよい。
【0053】
変換動作３２０は、データを人間に意味のある視覚的表現に変換することができる。人
間に意味のある表現は、環境内のロボットの場所、環境内のオブジェクト、および／または収集されたデータを示すことができる。たとえば、人間に意味のある表現には、仮想ロボット、通過点、コールアウト、データのテーブルなどが含まれてよい。データが人間に意味のある視覚的表現に変換されると、更新動作３３０は、拡張現実ディスプレイを介して視覚化のレンダリングを生成または更新することができる。
間に意味のある表現は、環境内のロボットの場所、環境内のオブジェクト、および／または収集されたデータを示すことができる。たとえば、人間に意味のある表現には、仮想ロボット、通過点、コールアウト、データのテーブルなどが含まれてよい。データが人間に意味のある視覚的表現に変換されると、更新動作３３０は、拡張現実ディスプレイを介して視覚化のレンダリングを生成または更新することができる。
【0054】
拡張現実システムは、（たとえば、ロボットを遠隔操作するための）ユーザからの指示を監視するように構成されてよい。システムは、限定はしないが、音声コマンド、ハンドジェスチャなどの様々な形態をとることができるユーザの指示を常に監視している場合がある。ユーザの指示が受け取られていないと判断動作３４０が判断すると、判断動作３４０は、さらなるロボットデータが収集される受信動作３１０に分岐する。１つまたは複数のユーザ指示が受け取られたと判断動作３４０が判断すると、判断動作３４０は更新判定動作３５０に分岐する。更新判定動作３５０は、コマンドを分析して、更新が必要かどうかを判定することができる。更新が必要であると更新判定動作３５０が判定すると、更新判定動作３５０は、ヘッドマウントディスプレイがユーザの指示に従って更新される更新動作３６０に分岐する。たとえば、ディスプレイは、コンテキスト情報、予想されるロボット経路、危険の識別、特定の領域のズームインまたはズームアウトなどを提供するために更新されてよい。
【0055】
更新が必要でないかまたは更新動作３６０が完了したと更新判定動作３５０が判定すると、これらの動作は、命令が送信動作３８０によって送信される前にロボット状態情報に変換される変換動作３７０に分岐する。次いで、ロボットは、（たとえば、１つまたは複数のコントローラを使用して）望ましい状態情報に基づいてコマンドを実施することができる。次いで、プロセスが繰り返される。
【0056】
図４は、本技術の様々な実施形態による、拡張現実インターフェース内の危険検出のための動作のセット４００を示すフローチャートである。図４に示されたように、接続動作４１０はヘッドマウントディスプレイをロボットに接続する。次いで、物理オブジェクトおよび仮想オブジェクトの適切な表示を保証するために、較正動作４２０を開始することができる。たとえば、いくつかの拡張現実インターフェースには、（たとえば、クローズドシステムの場合）視線を再現するカメラ、およびコンテキストデータをディスプレイに投影またはレンダリングするカメラが含まれる。どちらの場合も、拡張現実インターフェースは、ユーザに視点を適切に提供するために、カメラの場所および向きを識別する必要があり得る。
【0057】
較正が完了すると、監視動作４３０は、ロボットを制御するユーザコマンドを監視することができる。いくつかの実施形態は、ユーザの意図、潜在的な危険、または規則違反（たとえば、最大高さ未満、最大速度未満などにとどまる）を識別し、ロボットが損傷しないようにコマンドを自動的に修正することができる修正機能４４０を含む。これにより、たとえば、ロボットを（たとえば、ビーコンによって識別されるか、もしくは規則に組み込まれた）望ましい位置の境界内に保持するか、またはロボットが壁、人、もしくは環境内の他の障害物に衝突するのを防止することができる。
【0058】
図４に示されたように、危険検出機能４４２は、最初に、ユーザの意図および実行の危険のためのコマンドを分析することができる。たとえば、ユーザの意図は、壁に沿って放射線を走査することであってよい。しかしながら、ユーザコマンドにより、ロボットが特定のポイントで壁に衝突するか、または領域を見失うことになる。判定動作４４４は、危険または意図が識別されたかどうかを判定することができる。いくつかの実施形態では、識別された意図または危険は、拡張現実ディスプレイ上にすぐに表示されてよい。危険または意図が識別されたと判定動作４４４が判定すると、判定動作４４４は、検出された危
険または意図に基づいてコマンドを修正する修正動作４４６に分岐する。結果として、ロボットはより直感的に動作し、いかなる危険も自動的に回避する。危険または意図が識別されていないと判定動作４４４が判定すると、判定動作４４４は、拡張現実視覚化が更新される更新動作４５０に分岐する。更新動作４５０はまた、修正動作４４６の完了時に実行されてよい。この視覚化は、いかなる修正も拒絶するか、または送信動作４６０を使用してロボットに送信される前にコマンドを変更する時間をユーザに与える。
険または意図に基づいてコマンドを修正する修正動作４４６に分岐する。結果として、ロボットはより直感的に動作し、いかなる危険も自動的に回避する。危険または意図が識別されていないと判定動作４４４が判定すると、判定動作４４４は、拡張現実視覚化が更新される更新動作４５０に分岐する。更新動作４５０はまた、修正動作４４６の完了時に実行されてよい。この視覚化は、いかなる修正も拒絶するか、または送信動作４６０を使用してロボットに送信される前にコマンドを変更する時間をユーザに与える。
【0059】
図５は、本技術のいくつかの実施形態による、遠隔操作ロボットの様々な構成要素間の例示的な通信のセットを示すシーケンス図５００である。図５に示されたように、ロボット５１０は監視サービス５２０に接続することができる。監視サービス５２０は、検証資格を確認し、ロボット５１０に確認応答を送り返すことができる。ロボットは、状態および環境データを収集し、次いで監視サービス５２０に報告することができる。監視サービスはデータを記憶することができる。次いで、ヘッドマウントディスプレイは、監視サービスに接続し、その現在位置に基づいて、ロボットによって収集されたデータを要求することができる。次いで、このデータは、データを用いて拡張現実視覚化を生成することができるヘッドマウントディスプレイに送り返すことができる。たとえば、これは、ロボット経路またはデータ収集活動を再生するのに役立つ場合がある。同様に、そのようなデータドロップ機能は、様々なロボットが様々なセンサおよび機能（たとえば、熱センサ、放射線センサ、モーションセンサなど）を有する可能性があるので、役立つ場合がある。そのため、複数のロボットから収集された情報は、環境のより首尾一貫した理解が提供されるように、オーバーレイまたは提供することができる。
【0060】
図６Ａ～図６Ｃは、本技術の１つまたは複数の実施形態に従って使用され得るロボットの遠隔操作の拡張現実の例を示す。図６Ａでは、錐台設計６１０は、ロボットの視野内にある実際の物体が何であるかについての明確なビューをユーザに与える環境を拡張することを示す。図６Ｂは、ロボットを思考の吹き出しのように拡張し、パネルをロボットの上のライブビデオフィードとともに取り付けるコールアウト設計６２０を示す。図６Ｃは、ライブビデオフィードがユーザの周辺に固定されたウィンドウを提供する周辺設計６３０を示す。
【0061】
錐台設計６１０は、環境を拡張する一例を提供する。コンピュータグラフィックスおよびモデリングアプリケーション（たとえば、Ｍａｙａ、Ｕｎｉｔｙなど）内の仮想カメラから発するように見えるものと同様に、ロボットカメラの錐台を一連の線および点として表示する仮想画像を提供するので、この設計は空間的な焦点を有する。仮想錐台は、環境内のどのオブジェクトがロボットの視野内にあるかを明示的に強調表示しながら、ロボットのアスペクト比、向き、および位置に関する情報を提供する。この設計のもう１つの利点は、本質的にリアルタイムのフィードバックがない場合、および／または集約測定（ＬｉＤＡＲ、大気質センサ、分光計など）を行っている場合でも、ロボットセンサの錐台を見ることができることである。
【0062】
コールアウト設計６２０は、ロボット自体を仮想画像で拡張する一例を表す。それは、ロボット環境の仮想表現のコンテキスト内で実際のロボットカメラフィードをレンダリングする以前の作業にとともに、コールアウト、吹き出し、および思考の吹き出しから発想を得たメタファを使用する。同様に、ロボットのライブカメラフィードは、物理ロボット上のカメラの向きに対応する向きでパネルに表示され、ビデオ内の情報が対応する物理環境に空間的に類似することが可能になる。このフィードはまた、ユーザとロボットとの間の計算されたオフセットに基づいて、ビデオコールアウトパネルに透視投影変換が適用されるためのロボットとオペレータとの間の距離に関する暗黙的な情報を提供する。結果として、実際のオブジェクトの知覚されたサイズが見る人の距離に比例するのと全く同じように、パネルサイズは動作距離に比例する。この設計判断は長距離動作を損なう可能性が
あるが、複数のロボットを操作するためのスケーラビリティおよびファンアウトをより良好にサポートすることができ、いつでもロボットがデータを収集している状況では、より現実的な情報の組込みを直接提供する。この設計の別の変形形態は、代わりに、コールアウトパネルが常にオペレータに面するようにビルボードを使用してよい。これにより、オペレータが常にロボットのビデオストリームの直接ビューを有するが、潜在的に有用な向きの手掛かりが取り除かれる可能性がある。別の設計変形形態は、遠近法ではなく正投影を使用する場合があり、その結果、ロボットの距離にかかわらず、ビデオパネルは常にオペレータに対して固定サイズで留まる（これにより、以下で説明される周辺設計と同様の効果がもたらされる）。
あるが、複数のロボットを操作するためのスケーラビリティおよびファンアウトをより良好にサポートすることができ、いつでもロボットがデータを収集している状況では、より現実的な情報の組込みを直接提供する。この設計の別の変形形態は、代わりに、コールアウトパネルが常にオペレータに面するようにビルボードを使用してよい。これにより、オペレータが常にロボットのビデオストリームの直接ビューを有するが、潜在的に有用な向きの手掛かりが取り除かれる可能性がある。別の設計変形形態は、遠近法ではなく正投影を使用する場合があり、その結果、ロボットの距離にかかわらず、ビデオパネルは常にオペレータに対して固定サイズで留まる（これにより、以下で説明される周辺設計と同様の効果がもたらされる）。
【0063】
周辺設計６３０は、ロボットのカメラフィードに関するコンテキスト情報を自己中心的な方式で提供する拡張現実ユーザインターフェースのための潜在的な方法を示す。この設計は、ユーザのビュー内の固定ウィンドウ内にライブロボットビデオフィードを表示する。設計者は、ウィンドウのサイズおよび位置（たとえば、ユーザの正面もしくはそれらの周辺ビュー内）に関する固定パラメータを指定するか、またはユーザがウィンドウの幅、高さ、位置、さらには不透明度をカスタマイズすることを可能にする動的な相互作用に対するサポートを提供することができる。この作業は、ウィンドウをユーザの周辺に配置し、周囲および周辺のディスプレイから着想を得た方式で、ユーザのビューの右上隅に固定した。
仮想サロゲートを使用するロボット遠隔操作の実施形態
仮想サロゲートを使用するロボット遠隔操作の実施形態
【0064】
実施形態の別のセットは、ＡＲを使用して、仮想サロゲートを生成および活用することによってロボット遠隔操作に対処する。本明細書で使用される仮想サロゲートは、一般に、実際のロボットを表すＡＲ環境における任意の適切な投影である。これらの実施形態は、物理ロボットを直接制御するのではなく、制御する没入型仮想ロボットサロゲートをユーザに提供するために、ＡＲが使用されてよいことを示す。サロゲートを制御することは、ユーザが、自分のアクションがシステムにどのように影響するかをよりよく予測し、サロゲートが取るアクションを模倣する物理ロボットの最終的な姿勢および場所を予測することが可能になる。そのようなシステムは、多種多様なロボット（たとえば、マニピュレータ、水中ロボットなど）を操作するのに役立つ可能性があるが、この作業は、空中ロボットの遠隔操作用のインターフェースを調査する。２つの主要な設計は、そのようなサロゲートインターフェースが遠隔操作の有効性にどのように影響するかについて、潜在的なトレードオフを探求する。
【0065】
様々な実施形態は、リアルタイム仮想サロゲート（ＲＶＳ）を使用することができる。この設計は、物理的に具体化された空中ロボットと物理的環境を共有する仮想空中ロボットをユーザに提示する。図７Ａは、仮想サロゲート７１０および物理的に具体化された空中ロボット７２０を有するＲＶＳ実装形態の一例を示す。仮想サロゲートの外観は、物理ロボット７２０をモデルにしており、サロゲート７１０を物理ロボット７２０に接続する仮想「釣り糸（ｆｉｓｈｉｎｇ ｌｉｎｅ）」７３０を表示することができる。加えて、仮想ライン７４０がロボットの真下にレンダリングすることができ、（ＡＲアプリケーション内の奥行きを伝達する際に効果的であるように示しているドロップシャドウの奥行きの手掛かりを模倣している）奥行きインジケータとして機能する地面にあおむきに置かれたダブルリング視覚化７５０にそれを接続する。
【0066】
この設計では、従来の遠隔操作のように物理ロボットを直接制御するのではなく、ユーザ遠隔操作コマンドが傍受され、仮想サロゲートに向けられる。仮想サロゲート７１０は、物理ロボット７２０にサロゲート７１０を絶えず「追跡（ｃｈａｓｅ）」させ、仮想ロボットと物理ロボットとの間のユークリッド距離がゼロである場合にのみ停止させる、物理ロボット上で実行される計画アルゴリズム用のセットポイントまたは目標状態として使
用される。実装形態は単純なＰＩＤコントローラを選択したが、任意の望ましい計画アルゴリズムが使用されてよい。この設計は、仮想ロボットの制御速度、物理ロボット７２０の「追跡速度（ｃｈａｓｅ ｓｐｅｅｄ）」または遅延時間、およびプランナによって強制される任意の追加の制約（たとえば、モーションの滑らかさ）を含む、いくつかの調整可能なパラメータを提供するが、実装の観点から、このシステムは、サロゲートの６ＤＯＦ姿勢が、サロゲートを表示する拡張現実座標系から、搭載ロボット自律の望ましい目標状態として計画座標システムに変換することのみを必要とする。全体として、設計は、物理ロボット７２０が、ユーザが発行したコマンドにリアルタイムでどのように反応するかをユーザがよりよく理解する助けになり、（適切な「追跡速度（ｃｈａｓｅ ｓｐｅｅｄ）」が与えられれば）物理ロボット７２０が実際にそれらを実行する前に誤ったコマンドを評価し修正する機会をユーザに与える。
用される。実装形態は単純なＰＩＤコントローラを選択したが、任意の望ましい計画アルゴリズムが使用されてよい。この設計は、仮想ロボットの制御速度、物理ロボット７２０の「追跡速度（ｃｈａｓｅ ｓｐｅｅｄ）」または遅延時間、およびプランナによって強制される任意の追加の制約（たとえば、モーションの滑らかさ）を含む、いくつかの調整可能なパラメータを提供するが、実装の観点から、このシステムは、サロゲートの６ＤＯＦ姿勢が、サロゲートを表示する拡張現実座標系から、搭載ロボット自律の望ましい目標状態として計画座標システムに変換することのみを必要とする。全体として、設計は、物理ロボット７２０が、ユーザが発行したコマンドにリアルタイムでどのように反応するかをユーザがよりよく理解する助けになり、（適切な「追跡速度（ｃｈａｓｅ ｓｐｅｅｄ）」が与えられれば）物理ロボット７２０が実際にそれらを実行する前に誤ったコマンドを評価し修正する機会をユーザに与える。
【0067】
いくつかの実施形態は、通過点仮想サロゲート（ＷＶＳ）を使用することができる。この設計はＲＶＳモデルを拡張して、潜在的に即時の精密制御を犠牲にして、長期計画により多くのサポートを提供する。図７ＢはＷＶＳ実装形態の一例を示す。ＲＶＳモデルと同様に、遠隔操作者は、物理ロボットを直接操作するのではなく、仮想ロボットサロゲートを制御する。しかしながら、ＷＶＳパラダイムでは、ユーザが仮想サロゲート７１０を操作して仮想通過点７６０を追加／削除／編集することによって計画を作成する間、物理ロボット７２０は適所にとどまる。任意の時点で、ユーザは、物理ロボット７２０に信号を送って、通過点７６０によって指定された一連の６ＤＯＦ目標姿勢によって定義された計画経路の実行を開始することができる。ユーザは最新の通過点を編集することができ、任意の計画された通過点を削除することができ、オンザフライでさらなる通過点を追加することができる。このインターフェースは、高水準の空中ロボットインターフェースにおける最近の研究によって触発され、ＲＶＳシステムとより多くの監視制御方式との間のトレードオフを調査することを可能にする。
【0068】
これら２つの設計に加えて、ユーザが仮想サロゲートを制御するのではなく、物理ロボットを直接操縦することを可能にするベースライン遠隔操作システムを実装することができる。このシステムは最新の空中ロボット遠隔操作インターフェースに基づくことができ、ユーザがジョイスティックを使用して３Ｄ空間でロボットを動かす必要があるが、ユーザ入力がない場合、ロボットは自律的に安定したホバリングを維持する。
【0069】
様々な実施形態で使用される設計は、Ｕｎｉｔｙエンジン内のカスタムアプリケーションとして開発されたバックエンド調整システムの上に構築されてよい。このシステムの基礎は、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ上で実行されるＵｎｉｔｙアプリケーション内の仮想空中ロボットオブジェクトである。アプリケーションは、Ｘｂｏｘコントローラからのユーザ入力を仮想ロボット用の望ましい姿勢のセグメント化されたリストに変換し、次いで、仮想ロボットは通過点リストの仕様に従ってシーンをナビゲートする。アプリケーションエンジンの更新ループが繰り返されるたびに、仮想ロボットの３Ｄ姿勢は、ＨｏｌｏＬｅｎｓからＵＤＰを介して物理ロボットを制御する搭載システムに送信される。仮想ロボットの姿勢値は、各座標系用の相対的な原点および基底ベクトルを計算する初期較正手順で事前に計算された変換行列を使用して、Ｕｎｉｔｙ座標から実際の座標に変換される。この変換後、Ｕｎｉｔｙシーン内の姿勢値はユーザの実際の環境内の同じ場所に対応し、物理ロボットが仮想ドローンと一致する方式で学習空間を飛行することを可能にする。
【0070】
ＲＶＳシステムとＷＶＳシステムの両方において、物理ロボットを制御する自律性は、現在、仮想ロボットの姿勢をセットポイントとして使用するＰＩＤループの形態を取る場合があるが、任意のロボット計画アルゴリズムを使用することができる。ＰＩＤコントローラは２０Ｈｚで動作し、空中ロボットの高度、位置、および向きを正確に制御する。現
在のロボットプラットフォーム（ＡｓｃＴｅｃ Ｈｕｍｍｉｎｇｂｉｒｄ）は、正確な位置特定に十分な搭載センシング機能を欠くので、ＰＩＤコントローラは、現在、環境に組み込まれたモーション・トラッキング・カメラを使用して物理ロボットを追跡する。ユーザコントロールは、Ｘｂｏｘコントローラを使用して実装され、入力は、最新の遠隔操作システムを代表するデフォルトのＡｓｃＴｅｃコントローラと整合する（図８Ａ～図８Ｄ）。Ｘｂｏｘコントローラの感度は、商用の遠隔操作システムにできる限り類似するように較正され、すべてのインターフェース設計にわたって一定に保たれた。
ロボット意図の実施形態
在のロボットプラットフォーム（ＡｓｃＴｅｃ Ｈｕｍｍｉｎｇｂｉｒｄ）は、正確な位置特定に十分な搭載センシング機能を欠くので、ＰＩＤコントローラは、現在、環境に組み込まれたモーション・トラッキング・カメラを使用して物理ロボットを追跡する。ユーザコントロールは、Ｘｂｏｘコントローラを使用して実装され、入力は、最新の遠隔操作システムを代表するデフォルトのＡｓｃＴｅｃコントローラと整合する（図８Ａ～図８Ｄ）。Ｘｂｏｘコントローラの感度は、商用の遠隔操作システムにできる限り類似するように較正され、すべてのインターフェース設計にわたって一定に保たれた。
ロボット意図の実施形態
【0071】
上述された実施形態に加えて、他の実施形態は、物理的に具体化された、かつ／または他の直感的な手掛かりを生成および提示することなどによる、人間とロボットの相互作用の拡張現実ベースの仲介を使用して、ロボットの動作意図を伝達する新規の手法を含む。人間は、ジェスチャおよび凝視の行動などの社会的な手掛かりを通して意図を伝達することにより、チームワークを調整する。ロボット、（半自律型ロボットまたは非自律型ロボットの場合も同様であり得るが）特に自律型ロボットと連携するとき、同様の調整はロボットの意図を伝達することから恩恵を受けることができる。たとえば、ロボットがどこにどのように動くつもりかについて動的な判断を行っているとき、それらの動きはロボットの環境内の人間には予測できない可能性があり、その結果、ロボットの意図を直感的に伝達することは、安全性および共同作業の効率を大幅に向上させることができる。しかしながら、これらの方法は、空中ロボットまたは球形ロボットなどの、擬人化または動物化された特徴をもたない、外観が制約されたロボットでは可能でない場合がある。
【0072】
効果的なコラボレーションは、チームメイトが共通の基盤を構築し、共同行動を調整し、将来の活動を計画するという意思を迅速かつ正確に伝達することが必要である。たとえば、社会科学、認知科学、および行動科学の以前の研究は、共同活動が基本的に相互予測可能性、つまり、各チームメンバがチームメイトの態度および行動を迅速に理解し予測する能力に依存することを見出した。併置された人間とロボットのチームでは、ロボットの意図および計画された動きの伝達が不十分な場合、安全性、仕事のパフォーマンス、およびロボットの使いやすさの認識を低下させる重大な故障につながる可能性がある。
【0073】
結果として、ロボットのチームメイトがいつ、どこで、どのように動くかをユーザが理解することが困難になる可能性があるこのモーション推測の問題に対するサポートを提供することは、安全で使いやすいロボットシステムを実現することに対する主要な課題を表す。人間と人間のチームでは、人々は、計画された行動および動きを伝達して、チームの有効性を高め、信頼維持を助ける凝視、ジェスチャ、または他の社会的行動などの様々な暗黙的および明示的な手掛かりを使用する。研究は、ロボットが社会的な手掛かりを使用して、動作の意図と感情の状態の両方を伝達することもできることを立証している。しかしながら、産業用のロボットマニピュレータまたは空中ロボットの無人フライヤなどの、擬人化および動物化の特徴を欠くロボットにこれらの調査結果を適用する方法はいつも明確とは限らない。
【0074】
代わりに、読みやすい動きの軌跡の生成、表現力のあるモーションプリミティブの開発、自然言語を使用したロボットの意図の言語化、追加情報を提供するプロジェクタベースまたは電子ディスプレイシステムの使用、および明示的な方向性の手掛かりとしての光信号の使用を含む、代替の手法が動きの推測をサポートすることができる。そのような進歩は相互作用の安全性および流動性を高める際に有望であるが、環境、仕事、パワー、計算、およびプラットフォームの考慮事項から生じる様々な制約が、特定の状況でのそれらの実現可能性または有効性を制限する可能性がある。たとえば、読みやすさまたは表現力のためにロボットの動作を変更することは、動的な環境または雑然とした環境では常に可能であるとは限らない場合があり、自然言語は、騒がしい環境（たとえば、製造倉庫もしく
は建設現場）または大量のノイズを発生させるロボットプラットフォーム（たとえば、空中ロボット）に対するフィードバックの実用的な形態ではない場合があり、投影は、平坦でない表面にレンダリングすることが困難な場合があり、明るい環境では目立たない場合があり、ユーザまたはロボットによって遮られる可能性がある。
は建設現場）または大量のノイズを発生させるロボットプラットフォーム（たとえば、空中ロボット）に対するフィードバックの実用的な形態ではない場合があり、投影は、平坦でない表面にレンダリングすることが困難な場合があり、明るい環境では目立たない場合があり、ユーザまたはロボットによって遮られる可能性がある。
【0075】
ロボットの動きの推測の問題は、システムによって提供される表現とシステムを解釈するユーザの能力との間に一般的に発生する「評価の隔たり（ｇｕｌｆ ｏｆ ｅｖａｌｕａｔｉｏｎ）」問題の類似物と見なされてよい。これは、空中ロボットなどの自由度が高いロボットにとって特に困難であり得る。従来の方法を使用して意図および目標を伝達するためのロボット機能の欠如、ならびにロボットの行動を理解するための成熟したメンタルモデルの技術的新規性／欠如を含む、他の問題がこの問題を悪化させる可能性がある。
【0076】
以前の研究は、効果的なロボット通信が、ロボットの信頼性、予測可能性、および透明性に対するユーザの認識を向上させ、ユーザが作業環境で新しいロボット技術を受け入れて使用する意欲を高めることができることを示唆している。研究はまた、ロボットの意図の合図が、ユーザがロボットの方向性運動をより早く予想および予測するのに役立ち、ロボットとの作業に対するユーザの好みを増やしながら、ユーザが双方向の仕事でより迅速に応答することを可能にすることも示している。ロボットの意図を表現する読みやすい動きは、人間とロボットとの間のコラボレーションにおける相互作用の流動性および効率をさらに向上させることができる。
【0077】
ロボット設計における過去の研究は、人間と人間のコラボレーションにおけるユーザの以前の経験およびメンタルモデルを効果的に活用して、人間とロボットのコラボレーションをブートストラップし、人々が通常使用する凝視およびジェスチャなどの社会的行動をロボットに浸透させる方法を検討した。そのような行動は、擬人化および動物化の特徴を使用して様々なロボットに対して探求されてきた。そのような特徴をもたない空中ロボットの場合、以前の研究は、表現力のある飛行パターンを検討しており、生物の動きならびに映画およびアニメーションからの原理に基づく特定の行動が、無人飛行運動用の開発したメンタルモデルの欠如を補うのに役立つ可能性があることを立証している。研究はまた、インジケータとしてのライトの使用および複合現実投影システムなどのより明示的な手掛かりを探求しており、投影された画像の使用が、ロボットの意図した経路を人間の共同作業者に通知することなどの、空間的な意図および指示を伝達するのに有利であり得ることが分かった。
【0078】
そのような研究は、空中ロボットを含む人間とロボットの相互作用を改善するための有望な利点を示しているが、従来の方法には制限がないわけではない。たとえば、表現された飛行運動は、制約された環境では実現可能でないか、またはユーザがロボットを見ただけで動きの一部しか目撃していない場合は効果的でない場合がある。投影システムは、環境の計測に依存し、混沌とした環境では、離れた場所で困難に直面し、閉塞の危険を冒す。ロボットの動作意図を伝達する手段としてＡＲを使用することにより、本明細書に記載された実施形態はこれらの制限によって拘束されない。
【0079】
本明細書では、新規のロボット意図手法を実装するための様々な実施形態が記載されている。図８は、拡張現実を使用して、ロボットの動きの意図を視覚的に伝達することにより、併置された人間とロボットの相互作用を仲介する手法のいくつかの例を示す。たとえば、空中ロボットの飛行運動を合図するための４つの異なる手法：それぞれ、ＮａｖＰｏｉｎｔｓ手法、矢印手法、凝視手法、およびユーティリティ手法が図８Ａ～図８Ｄに示されている。これらの手法は共に、様々な設計フレームワークパラダイムのサンプルを示し、伝達される情報、情報の精度、一般化可能性、および注意散漫／インターフェースの誇張の可能性に関して、潜在的なトレードオフを提供する。
【0080】
これらは、主な設計のメタファおよびインターフェース技法とともに、空中ロボット、同様の設計フレームワークおよび方法論を参照して記載されているが、人間とロボットの相互作用を容易にするための任意の適切なコンテキスト（たとえば、高い自由度で動く産業用ロボットマニピュレータ）に適用することができる。
【0081】
（図８Ａに示された）ＮａｖＰｏｉｎｔｓ設計は、環境を拡張する一例である。この設計は、従来の通過点委任または監視インターフェースにおいて見られるものと同様に、ロボットの計画された飛行経路を一連のＸ本のラインおよびナビゲーション通過点として表示する仮想画像を提供するので、空間的な焦点を有する。ラインは、ロボットの現在位置をその将来の目的地に順番に接続する。目的地通過点は球として視覚化され、ロボットの正確な目的地を３Ｄ空間内で示す。各目的地の球はまた、そのすぐ下の地面にドロップシャドウをレンダリングし、それはユーザが行った奥行き推定に役立つことが示されている。各ナビゲーションポイントの上には、２つのラジアルタイマがある。内側の白いタイマは、ドローンがその位置に到着するときを示し、外側の濃い青色のタイマは、ロボットがその位置を離れるときを示す。小さい球はラインに沿って移動し、ロボットが目的地の間を移動するのと同じ方向および速度で移動するので、将来のロボットの速度および方向を予測するための手掛かりを提供する。速度および到着／出発のタイミングに関してこの設計によって表示される情報は、このようにユーザに明示的に表示される。
【0082】
（図８Ｂに示された）矢印設計は、仮想画像が共有環境をどのように拡張するかの代替例を提供する。ＮａｖＰｏｉｎｔｓ設計はユーザに大量の情報を提供するが、それは、潜在的な誇張に起因して、ユーザの注意をそらしているかまたは混乱させている可能性がある。矢印設計は、より最小限の手法を採用し、特に、最新のＧＰＳシステムによる一般的なユーザエクスペリエンスによって触発された時間情報を伝達することに焦点を当てる。仮想画像は、ロボットが最終的に将来Ｘ秒かかる正確な経路で３Ｄ空間を移動する青い矢じりから構成される。矢印が移動すると、矢印の経路をロボットに遡るラインが後ろに残る。このラインを使用すると、ユーザは矢印が辿った経路を明示的に見ることができ、ロボットは最終的にその経路を辿る。矢印が作成するラインは、そのすぐ下の地面にドロップシャドウをレンダリングする。速度および到着／出発のタイミングに関してこの設計によって表示される情報は、空間を通る矢印の個別の動きを観察することにより、ユーザによって推測されなければならない。
【0083】
（図８Ｃに示された）凝視設計は、仮想画像でロボット自体を拡張する一例を表す。この設計は、空中ロボットの場合でも、意図を伝達するための凝視行動の顕著な可能性を実証した依然の研究、ならびにロボット飛行船の先行設計、および空中ロボットを「浮動ヘッド（ｆｌｏａｔｉｎｇ ｈｅａｄ）」として扱うメタファを探索したロボット遠隔操作における研究によって触発される。この設計は、Ｘメートルの直径の白い球を空中ロボットの真上の瞳孔と重ね合わせることにより、ロボットの形を完全に変える仮想画像を提供し、マルチローターから「空飛ぶ目（ｆｌｙｉｎｇ ｅｙｅ）」にロボットを効果的に変換する。目的地の間を移動している間、目モデルは、それ自体と現在の目的地との間にＹメートルの所定の距離しきい値に入るまでその現在の目的地を見つめ、そのポイントで目は向きを変え、ロボットの次の目的地に焦点を合わせる。このような凝視移動は、人間の行動意図を予測する際に役立つことが示されている。これらの焦点の変化により、ロボットの現在の目的地がユーザに先制的に明らかにされる。
【0084】
ロボットがＺ秒より長い間目的地に静止したままになるべき場合、通常は透明な瞳孔上のレンズは不透明になる。現在静止しているロボットが出発からＺ秒以内になると、レンズはフェードインして透明に戻る。このフェードインは、Ｚ秒の経過に対する線形補間として行われる。このレンズのフェードイン／アウトの効果は、ロボットが静止し、調節－
毛様筋が収縮するにつれてシフトし、焦点が近距離と遠距離のターゲット間で切り替わるときに人間の凝視で弛緩する－および従来のカメラにおけるレンズの焦点合わせによって触発された時間の長さをユーザに通知する。ディスプレイのサイズは、ユーザがロボットから近い距離と遠い距離で注視方向をより簡単に判断するのを助けるように選択された。瞳孔の真後ろにある球体の背面は平らにレンダリングされて、ユーザがロボットの正面を向いていないときに目の回転を推測するのに役立つ。最後に、目はそのすぐ下の地面にドロップシャドウを投じる。
毛様筋が収縮するにつれてシフトし、焦点が近距離と遠距離のターゲット間で切り替わるときに人間の凝視で弛緩する－および従来のカメラにおけるレンズの焦点合わせによって触発された時間の長さをユーザに通知する。ディスプレイのサイズは、ユーザがロボットから近い距離と遠い距離で注視方向をより簡単に判断するのを助けるように選択された。瞳孔の真後ろにある球体の背面は平らにレンダリングされて、ユーザがロボットの正面を向いていないときに目の回転を推測するのに役立つ。最後に、目はそのすぐ下の地面にドロップシャドウを投じる。
【0085】
（図８Ｄに示された）別の設計は、自己中心的な方式でコンテキスト情報を提供するためにユーザインターフェースを拡張するための潜在的な方法を示す。この設計は、ミニマップ、レーダー、ならびに、しばしば、パイロットインターフェース、ロボット制御インターフェース、ビデオゲームインターフェース、および軍事アプリケーションを拡張する画面外インジケータなどの周辺ユーティリティによって触発される。この設計は、ＡＲＨＭＤディスプレイの左下隅に固定された２Ｄ円形「レーダー（ｒａｄａｒ）」を表示する。ユーザは常にレーダー内の中心にある青い点として表示されるが、ロボットはユーザの位置を基準にしてレーダー上の赤いドットとしてレンダリングされる。ロボットのレーダードットのサイズは、その現在の高さに正比例する。レーダーの検出半径Ｘは、インターフェース設計者によってカスタマイズされるか、またはユーザによって調整され得る。ロボットがユーザの視野（ＦＯＶ）内にあるとき、それは照準ボックスと重ね合わされ、ＦＯＶ内にないとき、画面外インジケータが方向矢印の形で現れる。この矢印は、画面外ロボットの位置を指すＡＲＨＭＤディスプレイの側面に沿ってレンダリングされる。レーダーと照準ボックス／画面外インジケータの両方は、自分自身に対してロボットをすばやく位置決めする手段をユーザに提供する。
【0086】
ロボット遠隔操作実験
【0087】
発明者らは、４×１の参加者間実験を行って、併置された飛行ロボットのユーザの遠隔操作に設計がどのように影響するかを評価した。研究は、空中ロボットの検査および調査の仕事の類似物として、参加者にＰａｒｒｏｔ Ｂｅｂｏｐクワッドコプタを操作させ、実験室環境でいくつかの写真を撮らせた。この研究における独立変数は、参加者が使用した遠隔操作インターフェースのタイプ（錘台設計、コールアウト設計、および周辺設計とベースラインの４つのレベル）に対応していた。ベースライン条件では、参加者はまだ（単にＨＭＤを装着することの起こり得る効果を制御するために）ＡＲＨＭＤを装着しているが、いかなる拡張現実画像も見なかった。代わりに、参加者は、Ｂｅｂｏｐロボット（この実験で使用されたプラットフォーム）用にＰａｒｒｏｔによって提供された公式の操縦インターフェースであるＦｒｅｅｆｌｉｇｈｔ Ｐｒｏアプリケーションを使用した。従属変数は、仕事完了の客観的な尺度、ならびにオペレータの快適さおよび信頼性の主観的な尺度を含んでいた。
【0088】
我々の全体的な実験設計は、無人飛行ロボットが人間の環境内の環境検査および調査を支援するコンテキストによって触発され、そのままで、ドローン愛好家の間ですでに一般的な慣行であり、まもなく災害対応、国際宇宙ステーション上での運用、およびジャーナリズムを含む領域内で発見される可能性がある。研究では、参加者は共有環境内で空中ロボットを操作した。環境は５ｍ×５ｍ×３ｍあり、ロボットを正確に追跡してＡＲＨＭＤ視覚化が錐台およびコールアウトの設計の適切な位置に表示されることを保証するために利用されたモーション追跡カメラを含んでいた（ベースライン条件または周辺設計ではモーション追跡は必要でなかった）。
【0089】
２つの検査ターゲットは、オレンジの輪郭をもつピンクおよび紫に着色された長方形のフレームの形で実験環境の壁を飾った。大きいピンクのターゲットは１．７８ｍ×１．０
ｍであり、地面からその下端まで１．３ｍの位置にある。小さい紫色のターゲットは１．３５ｍ×０．７６ｍであり、地面からその下端まで０．３４ｍの位置にある。ターゲットのアスペクト比は、ロボットのカメラのアスペクト比と完全に一致する。これにより、参加者はターゲットの正確な写真を撮ることができる。ピンクのターゲットは大きく地面から高く離れているので、完璧な画像を撮ることが比較的容易であるが、紫のターゲットは、サイズが小さく、地面からの高さが短いのでより困難である（空中ロボットを地面の近くで操作することは、不安定になり、上昇気流が地面に反射されるのでより困難である）。
ｍであり、地面からその下端まで１．３ｍの位置にある。小さい紫色のターゲットは１．３５ｍ×０．７６ｍであり、地面からその下端まで０．３４ｍの位置にある。ターゲットのアスペクト比は、ロボットのカメラのアスペクト比と完全に一致する。これにより、参加者はターゲットの正確な写真を撮ることができる。ピンクのターゲットは大きく地面から高く離れているので、完璧な画像を撮ることが比較的容易であるが、紫のターゲットは、サイズが小さく、地面からの高さが短いのでより困難である（空中ロボットを地面の近くで操作することは、不安定になり、上昇気流が地面に反射されるのでより困難である）。
【0090】
紫色のターゲットの完璧な画像をキャプチャするために、ロボットが壁と地面の両方にもっと接近して飛行する必要があり、それにより、オペレータのミスが原因で衝突する可能性が高くなる。参加者は、設定された順序でターゲットの写真を撮るように空中ロボットを操縦し、最初に大きいピンクのターゲットを検査し、次いで小さい紫色のターゲットを検査する仕事を課された。参加者は、できるだけ早く、できるだけ正確に、できるだけ少ない数の全写真で画像をキャプチャすることを優先するように指示された。精度に関して、参加者は、ピンクまたは紫のターゲット領域全体をキャプチャした写真を記録し、写真内の追加の画像（たとえば、オレンジのターゲットフレームまたはシーンの他の部分）はできるだけ小さくするように指示された。参加者は、次のターゲットに移動できるように、適切な画像であると考えられるものをいつキャプチャしたかを判断することができた。全体として、この仕事は環境検査ミッションを模倣し、参加者は設定された開始位置から離陸し、一連のターゲットを順番に検査し、ロボットを６分以内に着陸させるように視線ロボットを操作する必要があった。参加者がロボットを衝突させた場合、ロボットは開始位置にリセットされ、その後、時間が残っている限り、仕事の実行を続けることが可能であった。
【0091】
実験装置および実装形態は、コンテキストについて記載されている。ロボットプラットフォームは、実験用の空中ロボットとしてＰａｒｒｏｔ Ｂｅｂｏｐクワッドコプタを使用した。Ｂｅｂｏｐは、デジタル的に安定した１４ＭＰｉｘｅｌ ＨＤカメラおよび自律型ホバリング機能を有し、屋内外での飛行に適した人気のある消費者向け「ドローン」である。ＡＲＨＭＤプラットフォームは、ＡＲＨＭＤとしてＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓを含んでいた。ＨｏｌｏＬｅｎｓは、３０°×１７．５°ＦＯＶ、慣性測定ユニット、深度センサ、環境光センサ、ならびに音声入力、ジェスチャ認識、および頭部追跡をサポートする複数のカメラおよびマイクロフォンを有する、ワイヤレスの光学式シースルー立体拡張現実ＨＭＤである。ＨｏｌｏＬｅｎｓは、その人気の高まり、アクセスの容易さ、ハンズフリーＡＲをサポートする能力、および将来の消費者向けＡＲＨＭＤシステム用のモデルとしての高い可能性のために選択された。遠隔操作インターフェースの実装形態は、ＨｏｌｏＬｅｎｓ ＡＲＨＭＤを装着したベースライン条件の参加者を含んでいたが、拡張現実の視覚化は受けていない。代わりに、それらは、ｉＰａｄ（登録商標）上の「Ｆｒｅｅ Ｆｌｉｇｈｔ Ｐｒｏ」アプリケーションを介してロボットを制御した。Ｆｒｅｅ Ｆｌｉｇｈｔアプリケーションは、Ｂｅｂｏｐロボット用のデフォルトの制御ソフトウェアであり、同じくＰａｒｒｏｔ（Ｂｅｂｏｐの製造元）によって開発された。それは（Ａｎｄｒｏｉｄ Ａｐｐ Ｓｔｏｒｅでの２４，６５４件のレビューから平均３．８の評価がある）人気のあるアプリケーションであり、直感的な制御方式をユーザに提供することを目的とする、今日実際に使用されている最新の空中ロボット制御インターフェースを代表している。アプリケーションは、ロボットからのライブビデオフィードにすべて重ね合わされた、ロボットの離陸／着陸、配置／向き、および写真／ビデオの記録のためのタッチスクリーンコントロールを提供する。ユーザ入力がない場合、アプリケーションは、ロボットがホバリングし続けることを保証し、バッテリ低下を検出するとロボットを自動的に着陸させる。
【0092】
残念ながら、ロボットプラットフォームおよびＦｒｅｅｆｌｉｇｈｔアプリケーションの制限により、発明者がそれを他の実験条件の制御入力として使用することはできず、Ｆｒｅｅｆｌｉｇｈｔがロボットに接続されている場合、ロボットのビデオフィードを任意の他のデバイスにストリーミングすることもできない。これにより、コールアウト設計または周辺設計でＦｒｅｅｆｌｉｇｈｔインターフェースを使用することができなくなる。代わりに、ＡＲ条件では、参加者はワイヤレスＸｂｏｘ Ｏｎｅコントローラを使用してロボットを操作している間にＡＲフィードバックを受け取った。ボタン／ジョイスティックのマッピングは、Ｆｒｅｅｆｌｉｇｈｔ Ｐｒｏアプリケーション内のタッチスクリーンコントロールと一致するようにＸｂｏｘコントローラ上で設定され、較正されたＸｂｏｘコントローラの感度は、それを可能な限りＦｒｅｅｆｌｉｇｈｔコントローラに類似するようにした（図７）。Ｆｒｅｅｆｌｉｇｈｔ Ｐｒｏアプリと同様に、ユーザ入力がない場合、ロボットは適所にホバリングし続ける。
【0093】
錘台設計、コールアウト設計、および周辺設計の拡張現実ビジュアルは、Ｕｎｉｔｙゲームエンジンを使用して実装され、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ上で実行されるアプリケーションとして配置された。錘台設計およびコールアウト設計は、ロボットの場所をリアルタイムで理解することを要求し、その結果、仮想画像は、ロボットを基準とする環境内で（錐台）、またはロボット自体への付属品として直接（コールアウト）正確に表示することができる。これを遂行するために、モーション・トラッキング・カメラは、ロボットを正確に位置特定し、ロボットの場所および向きの値をＨｏｌｏＬｅｎｓアプリケーションに供給した。周辺設計はモーショントラッキングのセットアップに依存していなかったが、コールアウト設計と周辺設計の両方は、拡張現実内の仮想オブジェクトとしてロボットのカメラからのライブビデオフィードを表示した。これを遂行するために、ロボットのビデオストリームは、デスクトップコンピュータを介してそれをルーチンすることにより、ＨｏｌｏＬｅｎｓにワイヤレスにブロードキャストされた。この方法は、Ｆｒｅｅｆｌｉｇｈｔ Ｐｒｏアプリケーションによってベースライン条件の参加者に提供される～３０ＦＰＳよりも少し遅い、１５フレーム／秒（ＦＰＳ）の平均フレームレートをもたらした。
【0094】
テストされた３つの主な設計の各々は、設計者またはユーザによって調整され得るいくつかのパラメータを有するが、これらのパラメータの各々は、実験における潜在的な分散を制御するように修正された。錐台は、環境または仕事のターゲットの潜在的な閉塞を最小化するために影付きまたは強調表示された領域とは対照的に、ワイヤフレームビュー内で赤い線ラインとして表示された。コールアウトは、ロボットの上部から発するように設計され、その結果、オペレータが環境全体にわたってそれを飛ばしている間、ビデオフィードは常にＢｅｂｏｐの中心から１３．５ｃｍ上に現れた。周辺設計は、カメラフィードウィンドウをユーザのビューの右上隅に設定した。
【0095】
実験は、４８人の参加者（男性２８人、女性１９人、自己申告のノンバイナリ１人）を含んでいた。男性と女性は、条件間で均等に分散された。参加者の平均年齢は２２．２歳（ＳＤ＝７．２）であり、範囲は１８～５８歳であった。７点満点で、参加者は、空中ロボット（Ｍ＝３．４８、ＳＤ＝１．６）とＡＲＨＭＤ（Ｍ＝３．３８、ＳＤ＝１．７５）の両方について、ある程度以前の知識があることを報告した。
【0096】
手順的に、実験は約３０分かかり、（１）導入、（２）較正、（３）訓練、（４）仕事、および（５）結論の５つの主要フェーズから構成された。最初に、参加者は実験の高水準の概要を与えられ、同意書に署名し、次いで実験スペースに案内された。次いで、参加者はＨｏｌｏＬｅｎｓを装着し、条件に応じて、Ｆｒｅｅｆｌｉｇｈｔ Ｐｒｏアプリケーションを実行するｉＰａｄ（登録商標）またはＸｂｏｘコントローラのいずれかを与えられた。この時点で、条件（ベースライン参加者用のＡＲアプリケーションがない錐台、
コールアウト、または周辺）に基づいて適切なＨｏｌｏＬｅｎｓアプリケーションも開始された。次いで、参加者はコントロールに関する指示（すなわち、Ｆｒｅｅｆｌｉｇｈｔ用のボタンマップおよびＸｂｏｘコントローラ）を受け取り、２分間でロボットの操縦を実践した。２分が過ぎた後、ロボットが着陸し、すべての参加者のための固定された開始位置に配置された。
コールアウト、または周辺）に基づいて適切なＨｏｌｏＬｅｎｓアプリケーションも開始された。次いで、参加者はコントロールに関する指示（すなわち、Ｆｒｅｅｆｌｉｇｈｔ用のボタンマップおよびＸｂｏｘコントローラ）を受け取り、２分間でロボットの操縦を実践した。２分が過ぎた後、ロボットが着陸し、すべての参加者のための固定された開始位置に配置された。
【0097】
次いで、参加者はターゲットを順番に検査するというメインの仕事を完了した。参加者は、固定された開始位置から離陸するようにロボットを操縦し、ターゲットの画像をキャプチャしてから着陸させ、環境検査任務をシミュレートするために６分間を受け取った。参加者がロボットを衝突させた場合、ロボットは開始位置にリセットされ、時間が残っている場合参加者は仕事を続行することができた。参加者が仕事を完了するか、仕事に割り当てられた６分がなくなると、参加者は自分の経験に関する事後調査を受け、次いで事情聴取された。
【0098】
インターフェース設計の有用性を特徴付けるために、客観的、行動的、および主観的な測定が行われた。参加者の写真が検査ターゲットをどれほど良好にキャプチャしたかによって測定され、それらの各々が２９７ｍｍ×２１０ｍｍの長方形の目に見える均一のグリッドから構成され、それらが完璧な写真内の長方形を参加者によってキャプチャされた写真と比較することによって精度を測定することを可能にする精度、総飛行時間（少ない時間がより効率的なパフォーマンスを意味する）によって測定された完了時間、および参加者がロボットを衝突させるか、そうでない場合ロボットの着陸が早過ぎた回数である操作ミスを含む、仕事の精度のいくつかの客観的な側面が測定された。
【0099】
参加者の動作の行動パターンを分析するために、一人称ビデオおよび三人称ビデオも記録された。２人のコーダは、参加者がいつロボットを見ることができ、いつ見ることができなかったかに基づいて、各相互作用からのビデオデータに注釈を付けた。データはコーダ間で均等に分割され、両方によってコーディングされたデータの１５％の重複があった。評価者間の信頼性分析は、評価者間の実質的な一致を明らかにした（コーエンのκ＝．９２）。このコーディングにより、注意散漫な凝視移動－参加者が仕事中にロボットから目をそらして注意散漫になった回数、および注意散漫時間－ロボットを見ないで費やした合計時間を計算することが可能になった。多くの小さい凝視移動は、注意散漫の期間が少ないが長くなるのと同じくらい有害な可能性があるので、両方の尺度が関連していた。
【0100】
いくつかの７点スケールは、主観的な参加者の応答をキャプチャするためにリッカート型アンケート項目を使用して構築された。これらのスケールは、インターフェースの設計が参加者の快適性（３項目、クロンバックのα＝．８６）、信頼度（５項目、クロンバックのα＝．９５）、およびロボットの操作中の仕事の難易度認識（５項目、クロンバックのα＝．９３）にどのように影響したかを測定した。参加者はまた、彼らの経験に関する自由回答を与えた。
【0101】
参加者は、業界標準の１０項目の意識調査であるＳｙｓｔｅｍ Ｕｓａｂｉｌｉｔｙ Ｓｃａｌｅ（ＳＵＳ）を使用して、認識された使いやすさを評価した。６８未満のＳＵＳスコアは平均以下と見なされ、６８を超えるスコアは平均以上と見なされ、８０．３を超えるスコアは上位１０パーセンタイル以内と見なされる。
【0102】
客観的および主観的な尺度からのデータはまた、固定効果として実験条件（すなわち、遠隔操作インターフェース）を伴う一元配置分散分析（ＡＮＯＶＡ）を使用して分析された。事後テストは、ＴｕｋｅｙのＨｏｎｅｓｔｌｙ Ｓｉｇｎｉｆｉｃａｎｔ Ｄｉｆｆｅｒｅｎｃｅ（ＨＳＤ）を使用して、各インターフェースにわたって比較された有効性のタイプＩエラーを制御した。
【0103】
図９は、拡張現実インターフェース設計が、凝視移動の数および注意散漫の総時間に関して注意散漫を最小化しながら、正確さおよび衝突の数に関して仕事のパフォーマンスを改善したことを示す客観的な結果を示す。（＊）、（＊＊）、および（＊＊＊）は、それぞれ、ｐ＜．０５、ｐ＜．０１、およびｐ＜．００１を有する比較を意味する。
【0104】
客観的な結果－参加者が併置された空中ロボットをより効果的に遠隔操作することを可能にする設計が有用であることを確認するために、客観的な仕事メトリックが分析された。結果は、精度についての仕事パフォーマンススコアに対する設計の重要な主効果、Ｆ（３，４４）＝２５．０１、ｐ＜．０００１を見出した。ＴｕｋｅｙのＨＳＤは、錐台（Ｍ＝６３．２％）およびコールアウト（Ｍ＝６７．０％）のインターフェースがベースラインインターフェース（Ｍ＝３１．３３％）よりも検査性能を大幅に向上させ、周辺設計（Ｍ＝８１．１％）が錐台とコールアウトの両方を大幅に上回る（ｐ＜．０００１のすべての事後結果）ことによってさらなる利点を示すことを明らかにした。結果はまた、仕事の完了時間に対する設計の重要な主効果、Ｆ（３，４４）＝３．８３、ｐ＝．０１６も見出した。ベースライン（Ｍ＝２３９．７０秒）との事後の比較は、参加者が錐台（Ｍ＝１４０．６９ｓ）、ｐ＝．０１７、および周辺（Ｍ＝１５４．４４ｓ）、ｐ＝．０５０を使用するが、コールアウト（Ｍ＝１９１．０９ｓ）、ｐ＝．４３４を使用せずに、著しく早く仕事を完了することができたことを明らかにした。ユーザがロボットを衝突させたときの発生を調べると、結果は操作ミスに対するインターフェース設計の大きい影響、Ｆ（３，４４）＝９．２４、ｐ＜．００１を示し、ＡＲ設計の各々は、ベースラインと比較して衝突の数が大幅に減少している（錐台：Ｍ＝．２５０、ｐ＜．０００１、コールアウト：Ｍ＝．６６７、ｐ＝．００３、周辺：Ｍ＝．５８４、ｐ＝．００１、ベースライン：Ｍ＝２．１７）。
【0105】
ユーザの注意散漫を理解するために行動指標も分析され、注意散漫な凝視移動の数、Ｆ（３，４４）＝４０．２８、ｐ＜．００１、および総注意散漫時間、Ｆ（３，４４）＝４８．７２、ｐ＜．００１に対する重要な主効果を示す。事後テストは、３つのＡＲ設計すべてが、ベースラインと比較して、注意散漫の数と長さの両方が大幅に減少したことを示した（すべての比較でｐ＜．０００１）。
【0106】
主観的な結果－参加者は、空中ロボットを遠隔操作した経験に関するいくつかの様相を評価した。結果は、ロボットとともに働くユーザの快適性に対するインターフェース設計の重要な効果、Ｆ（３，４４）＝８．１２、ｐ＜．００１を示し、ユーザは、現在のＦｒｅｅｆｌｉｇｈｔインターフェース（Ｍ＝３．６４）以外の設計である、錐台（Ｍ＝５．５８）、ｐ＝．００２、コールアウト（Ｍ＝５．８７）、ｐ＜．００１、および周辺（Ｍ＝５．１４）、ｐ＝．０１９を使用するとより快適であった。結果は、ロボットを操作する信頼性に対する設計の重要な効果、Ｆ（３，４４）＝７．９３、ｐ＜．００１も示した。ベースライン（Ｍ＝３．０）にとの事後の比較は、ユーザが錐台（Ｍ＝５．０２）およびコールアウト（Ｍ＝５．０）の設計、両方ともｐ＜．００１を使用するが、周辺（Ｍ＝４．０）、ｐ＝．１７９を使用しないで著しく信頼性が高かったことを明らかにした。結果はまた、認識された仕事の困難さに対する設計の重要な効果、Ｆ（３，４４）＝４．１７、ｐ＝．０１１を示し、参加者は、ベースライン（Ｍ＝２．５）以外の設計である、錐台（Ｍ＝４．０３）、ｐ＝．０２７、コールアウト（Ｍ＝４．１３）、ｐ＝．０１６、および周辺（Ｍ＝３．７８）、ｐ＝．０４７を使用して仕事を著しく容易に見つけた。
【0107】
認識されたインターフェースの使いやすさは、ＳＵＳで評価された。結果は、ＳＵＳの合計スコアに対するインターフェース設計の重要な効果、Ｆ（３，４４）＝７．３８、ｐ＜．００１を示した。ＴｕｋｅｙのＨＳＤは、ＡＲ設計の各々がベースラインよりもはるかに高い使いやすさの評価を有することを明らかにした（錐台：Ｍ＝８０．２１、ｐ＜．
００１、コールアウト：Ｍ＝７６．８８、ｐ＝．００３、周辺：Ｍ＝７１．０４、ｐ＝．０４１、ベースライン：Ｍ＝５５．０）。
００１、コールアウト：Ｍ＝７６．８８、ｐ＝．００３、周辺：Ｍ＝７１．０４、ｐ＝．０４１、ベースライン：Ｍ＝５５．０）。
【0108】
上述された実験の結果は、概して、現在使用されている人気の設計を代表する最新のインターフェースと比べて大幅な改善を立証した。各設計により、ユーザがロボットのデフォルトの制御インターフェースを使用する場合よりも高速かつ正確に検査仕事を完了することが可能になり、同時に衝突が少なく安全な操作につながった。全体として、ユーザはこれらの設計を、ロボットを操作するときの有用性ならびに自分自身の快適さおよび信頼性の点で、はるかに好ましいと評価した。たとえば、本明細書に記載されたインターフェース設計の実施形態により、ユーザがロボットから目を離すことなくライブビデオフィードバックを得ることが可能になったが、従来の設計は、いつでもロボットのカメラフィードを近くで監視するために、環境内のロボットの状況認識またはそれらの能力のいずれかを犠牲にするコンテキストスイッチをユーザに強制する傾向がある。
【0109】
この実験では、実際の配置と同様に、ユーザは自分の仕事を正常に完了するためにこれらの側面の両方を理解する必要があった。参加者が地面に近かかった小さいピンクのターゲットを検査しようとするときに、これは特に重要であった。このターゲットのサイズおよび配置は、参加者が壁と地面の両方にかなり近くナビゲートすることを要求し、それにより、ロボットの内部安定化メカニズムが困難になり、ホバリング中にロボットがドリフトする可能性がある。実験記録を観察すると、錐台、コールアウト、および周辺の設計を使用する参加者が、ドリフトにすばやく気づき、ロボットを再び安定させることができたことが分かる。しかしながら、ベースライン条件の参加者は、しばしば、ロボット自体を監視するのではなく、ロボットのビデオフィードを提供するタブレットを見つめていたので、ロボットがドリフトしていることに気づくまでにはるかに長い時間がかかった。これらの参加者がドリフトに気付いたときまで、修正が遅すぎて衝突、着陸、または過剰修正のループにつながることが多く、ロボットの制御が難しいという印象を参加者に与えた。仮想サロゲートの実施形態によるロボット遠隔操作
【0110】
発明者らは、３×１の参加者内実験を行って、ＲＶＳおよびＷＶＳの設計が、併置された飛行ロボットを遠隔操作するときにユーザエクスペリエンスにどのように影響するかを評価した。研究プロトコルは、参加者に実験環境全体を通してＡｓｃＴｅｃ Ｈｕｍｍｉｎｇｂｉｒｄクワッドコプタをナビゲートさせ、その結果、参加者は、オンザフライでロボットが収集したデータを同時に分析しながら、ロボットを操作する仕事を模倣するクイズを同時に完了しながら、６つの興味のあるポイントを訪問し、そこから「データを収集（ｃｏｌｌｅｃｔｅｄ ｄａｔａ）」した。この研究の独立変数は、参加者が使用した遠隔操作インターフェースのタイプ：Ｘｂｏｘコントローラ入力が物理ロボットを直接制御したベースライン遠隔操作システム、リアルタイム仮想サロゲート設計、または通過点仮想サロゲートシステムに対応した。従属変数は、平均完了時間、応答時間、およびインターフェース使用率の客観的な尺度、ならびに各インターフェースを直接比較する主観的なランキング、および認識されたマルチタスキング能力、ストレス、および使いやすさの全体的な評価を含んでいた。
【0111】
実験は、災害対応、建設、および宇宙探査における空中ロボットについての類似するユースケースから着想を得て、ユーザが視線の空中ロボットを遠隔操作して環境データを収集し分析するシナリオを表す。参加者が空中ロボットを操作した実験環境は６ｍ×１０ｍ×６ｍあり、ロボットの位置を特定し安全な操作を保証するためにバックエンドシステムの一部として使用された、いくつかのモーション・トラッキング・カメラを含んでいた。
【0112】
実験的な仕事は、ユーザが２つのサブ仕事を完了することを要求した：（１）一連の「関心のあるポイント（ｐｏｉｎｔｓ ｏｆ ｉｎｔｅｒｅｓｔ）」（ＰＯＩ）を訪問し「
データを収集（ｃｏｌｌｅｃｔｅｄ ｄａｔａ）」するように空中ロボットを操縦し、（２）ロボットが収集したばかりのデータを分析する概念を表すクイズを定期的に完了する。ＰＯＩは、環境内に置かれた６つのスツールによって指定された。参加者は、ロボットを操縦して各スツールを特定の順序で訪問し、環境データの収集をシミュレートするために５秒間スツール上に安定したホバリングを維持するように指示された。スツールは３個ずつ２行に配列された。各行において、最初と２番目のＰＯＩ間の距離は２メートルであったが、２番目と３番目のＰＯＩは４メートル離れていた。様々な距離にわたってロボットを操作するユーザエクスペリエンスを調べるために、環境はテープによって２つのゾーン：ユーザ許可エリアおよびユーザ制限エリアに分割された。結果として、時々（ユーザ許可エリア内のスツールを訪問したとき）ユーザはより近くでロボットを操作することができたが、他の場合（ユーザ制限エリア内の離れたスツールを訪問したとき）ユーザはロボットをより遠くから操作することを強制された。
データを収集（ｃｏｌｌｅｃｔｅｄ ｄａｔａ）」するように空中ロボットを操縦し、（２）ロボットが収集したばかりのデータを分析する概念を表すクイズを定期的に完了する。ＰＯＩは、環境内に置かれた６つのスツールによって指定された。参加者は、ロボットを操縦して各スツールを特定の順序で訪問し、環境データの収集をシミュレートするために５秒間スツール上に安定したホバリングを維持するように指示された。スツールは３個ずつ２行に配列された。各行において、最初と２番目のＰＯＩ間の距離は２メートルであったが、２番目と３番目のＰＯＩは４メートル離れていた。様々な距離にわたってロボットを操作するユーザエクスペリエンスを調べるために、環境はテープによって２つのゾーン：ユーザ許可エリアおよびユーザ制限エリアに分割された。結果として、時々（ユーザ許可エリア内のスツールを訪問したとき）ユーザはより近くでロボットを操作することができたが、他の場合（ユーザ制限エリア内の離れたスツールを訪問したとき）ユーザはロボットをより遠くから操作することを強制された。
【0113】
すべての条件において、ロボットを遠隔操作している間、参加者は拡張現実画像を使用してＰＯＩを訪問する順序を提示するＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ ＡＲＨＭＤを装着し、ＰＯＩ順序は、各スツールの上に現れた仮想番号（１～６）によって指定された。すべての条件において、参加者はまた、ロボットが「データを収集している（ｃｏｌｌｅｃｔｉｎｇ ｄａｔａ）」ことを示すＰＯＩの上を参加者がホバリングすると満たされる仮想プログレスバーの形式でＡＲフィードバックを受け取った。参加者が早く（ＰＯＩエリアの輪郭を描く仮想シリンダによって指定された）ＰＯＩを離れた場合、参加者の進捗は失われ、参加者は、ＰＯＩ半径内にあったようにロボットを再配置しなければならず、「データ収集（ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ）」（すなわち、プログレスバー）が再スタートする。
【0114】
各ＰＯＩを完了すると、参加者はデータ分析サブ仕事を提示され、２つの多肢選択式クイズの質問に答えるように要求された。これらの質問は、ロボットがＰＯＩにおいて収集したばかりの「データ（ｄａｔａ）」を参加者が分析する概念をシミュレートした。クイズの質問は、ユーザの腕（ユーザが選択した好みの腕）に取り付けられたスマートフォンに表示され、現場でロボットを使用してフィールドでデータを収集し分析するアイデアを再びシミュレートした。各クイズの質問は、ユーザに約２５文字の文章を提示し、ユーザに４つのオプションからその文章に含まれる母音の数に対応する回答を選択するように要求した。参加者はクイズをすぐに完了するように強制されなかったが、代わりにロボットを新しいＰＯＩに操縦し続け、好きなときにいつでも「データ分析（ｄａｔａ ａｎａｌｙｓｉｓ）」を完了することができた。しかしながら、完了した各ＰＯＩは別の２つの質問をクイズキューに追加した。仕事全体を正常に完了するには、参加者がすべてのＰＯＩからデータを収集し、すべてのクイズの質問に答えることが要求された。
【0115】
この実験では、ＡｓｃＴｅｃ Ｈｕｍｍｉｎｇｂｉｒｄクワッドコプタが空中ロボットとして使用された。Ｈｕｍｍｉｎｇｂｉｒｄは、屋内および屋外の飛行に適した人気のある調査「ドローン（ｄｒｏｎｅ）」である。様々な実施形態は、ＡＲＨＭＤとしてのマイクロソフトＨｏｌｏＬｅｎｓ、およびアプリケーションを開発し展開するために使用されるＵｎｉｔｙゲームエンジンを使用することができる。ＨｏｌｏＬｅｎｓは、３０°×１７．５°ＦＯＶ、慣性測定ユニット、深度センサ、環境光センサ、ならびに音声入力、ジェスチャ認識、および頭部追跡をサポートする複数のカメラおよびマイクロフォンを有する、ワイヤレスの光学式シースルー立体拡張現実ＨＭＤである。ＨｏｌｏＬｅｎｓは、その人気の高まり、アクセスの容易さ、ハンズフリーＡＲをサポートする能力、および将来の消費者向けＡＲＨＭＤシステム用のモデルとしての高い可能性のために選択された。
【0116】
合計１８人の参加者（男性１１人、女性７人）が研究に参加した。人口サンプルは、初心者ユーザと空中ロボットの操縦経験者の両方を含んでいた。全体として、７人の参加者
は地元の「ドローンクラブ（Ｄｒｏｎｅ Ｃｌｕｂ）」から採用されたエキスパートユーザを表し、８人の参加者は空中ロボットにある程度慣れていると報告したが、３人の参加者は飛行ロボットを操作した経験が少ししか、またはまったくなかった。参加者の平均年齢は２０．７歳（ＳＤ＝３．５９）であり、範囲は１８～２７歳であった。
は地元の「ドローンクラブ（Ｄｒｏｎｅ Ｃｌｕｂ）」から採用されたエキスパートユーザを表し、８人の参加者は空中ロボットにある程度慣れていると報告したが、３人の参加者は飛行ロボットを操作した経験が少ししか、またはまったくなかった。参加者の平均年齢は２０．７歳（ＳＤ＝３．５９）であり、範囲は１８～２７歳であった。
【0117】
調査は約８０分かかり、４つの主要フェーズ：（１）導入、（２）プロトタイプ評価（６つのサブフェーズがあり、参加者ごとに３回繰り返された）、（３）要約評価、および（４）結論から構成された。最初のフェーズでは、（１）参加者が同意フォームに署名し、実験環境に案内され、仕事および仕事規則の詳細を示す指示シートを読んだ。次のフェーズでは、（２）参加者は３つのインターフェース（ベースライン、リアルタイム仮想サロゲート、または通過点仮想サロゲート）のうちの１つを使用して、メインの実験仕事（ＰＯＩを訪問して「データを収集」し、クイズの質問に答える）を完了した。各参加者はこのフェーズを３回完了し、各インターフェースを１回使用し、参加者間でインターフェースの順序を調整して、参加者内の設計が原因で発生する可能性のある学習または疲労などの潜在的な移動の影響を軽減した。
【0118】
このフェーズは６つのサブフェーズから構成された：（Ａ）参加者は最初に、使用する予定のインターフェース設計を提示する短い６０秒の、コントロールと視覚的なフィードバックがどのように見えるかの両方を網羅するチュートリアルビデオを視聴した。（Ｂ）次に、ＡＲＨＭＤアプリケーションが開始され、較正され、各参加者に適合され、研究者は、参加者が拡張現実画像を意図したとおりに見ることができたことを口頭で確認した。（Ｃ）次に、参加者は２分間インターフェースをテストし、コントローラ、拡張現実画像、およびロボットに慣れる時間を与えられた。（Ｄ）次に、参加者はメインの実験仕事を実行し、その中で、空中ロボットを一連のＰＯＩに操縦し、各々５秒間ホバリングしてから、クイズを実行した。ＰＯＩの順序は、試行間の潜在的な変動を制御するために一定に保たれた。上述されたように、参加者はＰＯＩおよびクイズを選択した順序で自由に完了できる（たとえば、参加者はすべてのＰＯＩを完了してからすべてのクイズを完了するか、またはロボットの操縦中にクイズを同時に実行してよい）が、参加者はそのクイズに対応するＰＯＩを完了する前にクイズを開始することはできなかった。参加者は、すべての仕事（すべてのＰＯＩを訪問し、すべてのクイズを完了する）をできるだけ早く完了することが目標であると指示された。（Ｅ）全部の仕事を完了した後、実験者は、使用したばかりのインターフェース設計に関して参加者を調査するアンケートを実施した。調査を完了した後、参加者はこのフェーズ全体をさらに２回繰り返した。各インターフェース設計を使用してメインの仕事を完了した後、（４）参加者は、要約評価の一部として、最後に一度全部の仕事を完了した。このフェーズの間、参加者は、望む回数だけ任意の時点で任意のインターフェース設計を自由に切り替えることができ、使用することを選んだインターフェースに関するユーザ設定に関する客観的なデータを記録することが可能になった。（５）要約評価を完了した後、参加者は、全体的な経験および各インターフェースを比較する主観的なランキングに関するデータを収集する最終的な事後調査が与えられた。
【0119】
設計を評価するために、客観的測定と主観的測定の両方が使用された。仕事を開始してから最後のデータ分析クイズを完了するまでに経過した時間によって秒単位で測定された完了時間、ＰＯＩを走査してから、関心のある６つのポイントすべてについての関連するデータ分析クイズを完了するまでに経過した秒単位の平均時間である応答時間、および参加者が設計を自由に切り替えながら仕事を完了した要約評価フェーズ中に、参加者が各インターフェース設計を使用した合計仕事時間の割合によって測定された設計使用率を含む、仕事のパフォーマンスのいくつかの客観的な側面が測定された。
【0120】
データはまた、いくつかの主観的な測定から収集された。各インターフェースを使用した後、参加者は、業界標準の１０項目の意識調査であるＳｙｓｔｅｍ Ｕｓａｂｉｌｉｔ
ｙ Ｓｃａｌｅ（ＳＵＳ）を使用して、認識されたインターフェースの使いやすさを評価した。６８未満のＳＵＳスコアは平均以下と見なされ、６８を超えるスコアは平均以上と見なされ、８０．３を超えるスコアは上位１０パーセンタイル以内と見なされる。ＳＵＳに加えて、参加者の認識および好みを測定するために、７点のリッカートスタイルのアンケート項目からいくつかのスケールが構築された。スケールは、認識された遠井操作の容易さ（２項目、クロンバックのａ＝．７７）、正確な位置決めの容易さ（２項目、クロンバックのａ＝．７７）、マルチ仕事能力（３項目、クロンバックのａ＝．９４）、およびストレス（５項目、クロンバックのａ＝．９１）を順位付けした。要約評価フェーズに続いて、参加者は、３つの設計を直接比較して、それらを互いに相対的にランク付けするように要求された（１（最良）～３（最悪））。参加者は、学びやすさの観点から設計を評価し、将来使用したいと考えた。最後に、様々な調査の一部として各参加者に課された自由回答形式の質問を通して、質的フィードバックが得られた。質問は、（限定はしないが）「仕事の実行を容易にしたもの（ｗｈａｔ ｍａｄｅ ｐｅｒｆｏｒｍｉｎｇ ｔｈｅ
ｔａｓｋ ｅａｓｉｅｒ）」、「仕事の実行を困難にしたもの（ｗｈａｔ ｍａｄｅ ｐｅｒｆｏｒｍｉｎｇ ｔｈｅ ｔａｓｋ ｈａｒｄｅｒ）」、および「この設計がドローンを制御する自分の能力にどのように影響したか（ｈｏｗ ｄｉｄ ｔｈｉｓ ｄｅｓｉｇｎ ｉｍｐａｃｔ ｙｏｕｒ ａｂｉｌｉｔｙ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｄｒｏｎｅ）」を含んでいた。客観的尺度、ＳＵＳ、および構築された評価スケールは、固定効果として実験条件（すなわち、インターフェース設計）を用いた分散の反復測定分析を使用して分析され、条件の順序は、効果の順序付けから発生する可能性のある潜在的な分散を制御するために、共変量として含まれた。事後テストは、ＴｕｋｅｙのＨｏｎｅｓｔｌｙ Ｓｉｇｎｉｆｉｃａｎｔ Ｄｉｆｆｅｒｅｎｃｅ（ＨＳＤ）を使用して、各インターフェース間の有効性を比較する際のタイプＩエラーを制御した。各インターフェースの参加者の順位付けは、固定効果として実験条件を用いたノンパラメトリックなクラスカル－ワリス検定で分析された。事後比較は、特定の設計サンプルのペアを確率的優位性について分析するためにダン検定を使用した。
ｙ Ｓｃａｌｅ（ＳＵＳ）を使用して、認識されたインターフェースの使いやすさを評価した。６８未満のＳＵＳスコアは平均以下と見なされ、６８を超えるスコアは平均以上と見なされ、８０．３を超えるスコアは上位１０パーセンタイル以内と見なされる。ＳＵＳに加えて、参加者の認識および好みを測定するために、７点のリッカートスタイルのアンケート項目からいくつかのスケールが構築された。スケールは、認識された遠井操作の容易さ（２項目、クロンバックのａ＝．７７）、正確な位置決めの容易さ（２項目、クロンバックのａ＝．７７）、マルチ仕事能力（３項目、クロンバックのａ＝．９４）、およびストレス（５項目、クロンバックのａ＝．９１）を順位付けした。要約評価フェーズに続いて、参加者は、３つの設計を直接比較して、それらを互いに相対的にランク付けするように要求された（１（最良）～３（最悪））。参加者は、学びやすさの観点から設計を評価し、将来使用したいと考えた。最後に、様々な調査の一部として各参加者に課された自由回答形式の質問を通して、質的フィードバックが得られた。質問は、（限定はしないが）「仕事の実行を容易にしたもの（ｗｈａｔ ｍａｄｅ ｐｅｒｆｏｒｍｉｎｇ ｔｈｅ
ｔａｓｋ ｅａｓｉｅｒ）」、「仕事の実行を困難にしたもの（ｗｈａｔ ｍａｄｅ ｐｅｒｆｏｒｍｉｎｇ ｔｈｅ ｔａｓｋ ｈａｒｄｅｒ）」、および「この設計がドローンを制御する自分の能力にどのように影響したか（ｈｏｗ ｄｉｄ ｔｈｉｓ ｄｅｓｉｇｎ ｉｍｐａｃｔ ｙｏｕｒ ａｂｉｌｉｔｙ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｄｒｏｎｅ）」を含んでいた。客観的尺度、ＳＵＳ、および構築された評価スケールは、固定効果として実験条件（すなわち、インターフェース設計）を用いた分散の反復測定分析を使用して分析され、条件の順序は、効果の順序付けから発生する可能性のある潜在的な分散を制御するために、共変量として含まれた。事後テストは、ＴｕｋｅｙのＨｏｎｅｓｔｌｙ Ｓｉｇｎｉｆｉｃａｎｔ Ｄｉｆｆｅｒｅｎｃｅ（ＨＳＤ）を使用して、各インターフェース間の有効性を比較する際のタイプＩエラーを制御した。各インターフェースの参加者の順位付けは、固定効果として実験条件を用いたノンパラメトリックなクラスカル－ワリス検定で分析された。事後比較は、特定の設計サンプルのペアを確率的優位性について分析するためにダン検定を使用した。
【0121】
図１０は、ＲＶＳシステムおよびＷＶＳシステムが、すべての客観的な尺度においてベースラインを超える改善を示した客観的な結果を示す。
【0122】
客観的な結果－参加者が併置された空中ロボットをより効果的に遠隔操作するのにＡＲサロゲート設計が役立つかどうかを判定するために、仕事パフォーマンスメトリックが分析された。ロボットインターフェース設計の重要な主効果は、仕事完了時間で発見された、Ｆ（２，４５）＝１３．６５、ｐ＜０．００１。ＴｕｋｅｙのＨＳＤを使用して、リアルタイム仮想サロゲート（Ｍ＝１８６．３９ｓ）、ｐ＝．００１および通過点仮想サロゲート（Ｍ＝１８４．３９ｓ）、ｐ＝．００１設計により、ベースラインインターフェース（Ｍ＝２６０．１１ｓ）に比べて完了時間が大幅に改善されたことが発見された。設計の重要な主効果は、応答時間で発見された、Ｆ（２，４５）＝８．４３、ｐ＜．００１。ベースライン（Ｍ＝９０．５６ｓ）との事後の比較は、参加者がＲＶＳ（Ｍ＝４７．４４秒）、ｐ＝．００４、およびＷＶＳ（Ｍ＝４４．６１ｓ）、ｐ＝．００２、設計を使用してデータ分析クイズに大幅に速く応答できたことを明らかにした。最後に、重要な主効果は、最終的な要約評価仕事の間の設計の使用率に関して発見された、Ｆ（２，５１）＝３４．９２、ｐ＜．００１。ＴｕｋｅｙのＨＳＤは、参加者が仮想サロゲート（Ｍ＝１８．０６％）およびベースライン（Ｍ＝０％）設計（ｐ＜．００１でのすべての比較）よりも大幅に多くＷＶＳ（Ｍ＝８１．９４％）を使用し、一人の参加者も任意の時点でベースライン設計をこれまでに使用していないことを明らかにした。
【0123】
主観的な結果－認識されたインターフェースの使いやすさは、ＳＵＳで評価された。インターフェース設計の重要な効果は、ＳＵＳの合計スコア上で発見された、Ｆ（２，４５）＝５．９１、ｐ＝．００５。ＴｕｋｅｙのＨＳＤは、両方のＡＲ設計がベースラインよ
りもはるかに高い使いやすさの評価をもらったことを明らかにした（ＲＶＳ：Ｍ＝８６、ｐ＝．００８、ＷＶＳ：Ｍ＝８３．６、ｐ＝．０２２、ベースライン：Ｍ＝６６．８）。参加者は、遠隔操作の容易さの観点から設計を評価した。遠位操作の容易さの観点から重要な主効果が発見された、Ｆ（２，４５）＝５．５６、ｐ＝．００７。ＴｕｋｅｙのＨＳＤは、ＲＶＳ（Ｍ＝６．２５）、ｐ＝．０１６、およびＷＶＳ（Ｍ＝６．２５）、ｐ＝．０１６の両方が、ベースライン（Ｍ＝４．６１）よりも大幅に高く評価されたことを確認した。最後に、設計および正確な位置決めの容易さに関して重要な主効果があった、Ｆ（２，４５）＝４．９、ｐ＝．０１２。事後分析は、ＲＶＳ（Ｍ＝６．３１）、ｐ＝．０１２がベースライン（Ｍ＝４．７２）よりも大幅に高く評価されたことを明らかにしたが、ＷＶＳ（Ｍ＝５．８９）、ｐ＝．０７５は、ａ＝．０５レベルで重要でないことが発見された。参加者は、各インターフェースを使用してマルチ仕事を実行するそれらの識別された能力も評価した。これらの評価に対するインターフェース設計の重要な主効果、Ｆ（２，４５）＝２２．９３、ｐ＜．００１が発見された。ＴｕｋｅｙのＨＳＤは、ＲＶＳ（Ｍ＝５．４２）、ｐ＜．００１およびＷＶＳ（Ｍ＝６．１０）、ｐ＜．００１の両方がベースライン（Ｍ＝３．００）よりも大幅に高く評価されたことを示した。事後調査は、認識されたストレスに関するデータも収集した。インターフェースの重要な主効果は、ストレス評価、Ｆ（２、４５）＝６．８７、ｐ＝．００３で発見され、ＴｕｋｅｙのＨＳＤは、ベースライン（Ｍ＝３．２７）設計が、どちらのＡＲ設計（ＲＶＳ：Ｍ＝２．１４、ｐ＝．０１３、ＷＶＳ：Ｍ＝１．９９、ｐ＝．００４）よりも多くの認識されたストレスを引き起こしたことを示した。最後に、概要評価フェーズに続いて、参加者は設計を互いに直接比較して、学習するインターフェースがどれほど簡単に発見され、将来どの設計を使用したいかについて、１（最良）～３（最悪）にランク付けした。参加者のランク付けにおいて、設計がどれほど容易に学習されたかという重要な主効果は発見されなかった、Ｈ＝５．０７、ｐ＝．０７９。しかしながら、参加者が将来どの設計を使用したいかに関して重要な主効果が発見された、Ｈ＝１６．８５、ｐ＜．００１。ダンの検定を用いた事後分析は、参加者がベースライン（Ｍ＝２．６１）より高いＲＶＳ（Ｍ＝１．８９）、ｐ＝．０１７、およびＷＶＳ（Ｍ＝１．５）、ｐ＜．００１の両方を一貫してランク付けしたことを発見したが、ＲＶＳとＷＶＳとの間の相対的なランキングを比較すると重要な違いは観察されなかった。
りもはるかに高い使いやすさの評価をもらったことを明らかにした（ＲＶＳ：Ｍ＝８６、ｐ＝．００８、ＷＶＳ：Ｍ＝８３．６、ｐ＝．０２２、ベースライン：Ｍ＝６６．８）。参加者は、遠隔操作の容易さの観点から設計を評価した。遠位操作の容易さの観点から重要な主効果が発見された、Ｆ（２，４５）＝５．５６、ｐ＝．００７。ＴｕｋｅｙのＨＳＤは、ＲＶＳ（Ｍ＝６．２５）、ｐ＝．０１６、およびＷＶＳ（Ｍ＝６．２５）、ｐ＝．０１６の両方が、ベースライン（Ｍ＝４．６１）よりも大幅に高く評価されたことを確認した。最後に、設計および正確な位置決めの容易さに関して重要な主効果があった、Ｆ（２，４５）＝４．９、ｐ＝．０１２。事後分析は、ＲＶＳ（Ｍ＝６．３１）、ｐ＝．０１２がベースライン（Ｍ＝４．７２）よりも大幅に高く評価されたことを明らかにしたが、ＷＶＳ（Ｍ＝５．８９）、ｐ＝．０７５は、ａ＝．０５レベルで重要でないことが発見された。参加者は、各インターフェースを使用してマルチ仕事を実行するそれらの識別された能力も評価した。これらの評価に対するインターフェース設計の重要な主効果、Ｆ（２，４５）＝２２．９３、ｐ＜．００１が発見された。ＴｕｋｅｙのＨＳＤは、ＲＶＳ（Ｍ＝５．４２）、ｐ＜．００１およびＷＶＳ（Ｍ＝６．１０）、ｐ＜．００１の両方がベースライン（Ｍ＝３．００）よりも大幅に高く評価されたことを示した。事後調査は、認識されたストレスに関するデータも収集した。インターフェースの重要な主効果は、ストレス評価、Ｆ（２、４５）＝６．８７、ｐ＝．００３で発見され、ＴｕｋｅｙのＨＳＤは、ベースライン（Ｍ＝３．２７）設計が、どちらのＡＲ設計（ＲＶＳ：Ｍ＝２．１４、ｐ＝．０１３、ＷＶＳ：Ｍ＝１．９９、ｐ＝．００４）よりも多くの認識されたストレスを引き起こしたことを示した。最後に、概要評価フェーズに続いて、参加者は設計を互いに直接比較して、学習するインターフェースがどれほど簡単に発見され、将来どの設計を使用したいかについて、１（最良）～３（最悪）にランク付けした。参加者のランク付けにおいて、設計がどれほど容易に学習されたかという重要な主効果は発見されなかった、Ｈ＝５．０７、ｐ＝．０７９。しかしながら、参加者が将来どの設計を使用したいかに関して重要な主効果が発見された、Ｈ＝１６．８５、ｐ＜．００１。ダンの検定を用いた事後分析は、参加者がベースライン（Ｍ＝２．６１）より高いＲＶＳ（Ｍ＝１．８９）、ｐ＝．０１７、およびＷＶＳ（Ｍ＝１．５）、ｐ＜．００１の両方を一貫してランク付けしたことを発見したが、ＲＶＳとＷＶＳとの間の相対的なランキングを比較すると重要な違いは観察されなかった。
【0124】
概して、サロゲートＡＲ設計により、ユーザが仕事を完了し、今日一般的に使用されている既存のシステムの後にモデル化されたベースラインの遠隔操作インターフェースよりも速くデータ分析クイズに応答することが可能になった。ＲＶＳとＷＶＳの両方の設計は、ロボットアクションのプレビューを提供し、これは、ユーザがプレビューに満足している場合、他の同時仕事を完了する間にロボットを監視する時間が解放されるという利点を有する。この視点は我々の主観的な結果によってもサポートされ、その中で、サロゲート設計は、マルチ仕事を実行する認識された能力の点でベースラインを上回り、将来サロゲートインターフェースを使用したいと考えている。全体的に、初心者と専門家の両方の参加者は、サロゲート設計がロボットの動きのプレビューを提供し、プレビューがロボットの操作時に非常に役立つことを発見したことを諒解した。これらの調査結果は、目標／アクション／評価サイクルのサポートを提供することが遠隔操作を改善することができるという仮説を支持するのに役立つ。
ロボット意図実験
ロボット意図実験
【0125】
発明者らは、５×１の参加者間実験を行って、共有された作業空間内の飛行ロボットとのユーザの相互作用に設計がどのように影響するかを評価した。この研究の独立変数は、ユーザが受け取ったＡＲフィードバックのタイプ（５つのレベル：ベースラインおよび上述された４つの設計）であった。ベースライン条件では、参加者はまだＡＲＨＭＤを装着していたが、いかなる仮想画像も見ていなかった。代わりに、この条件の参加者は、ロボットが飛行の方向を常に示す明確な「フロント（ｆｒｏｎｔ）」を有することが知らされ
ていて、このベースラインの行動は、ロボットが常に移動方向に自分の向きを合わせ、ロボットのデフォルトの形態が提供する物理的に具体化された唯一の手掛かりを活用することを意味した。すべての条件がこのベースライン方向の行動を共有した。従属変数は、仕事のパフォーマンスおよび効率の客観的な尺度、ならびに伝達の明瞭さおよびロボットの使いやすさの主観的な評価を含んでいた。
ていて、このベースラインの行動は、ロボットが常に移動方向に自分の向きを合わせ、ロボットのデフォルトの形態が提供する物理的に具体化された唯一の手掛かりを活用することを意味した。すべての条件がこのベースライン方向の行動を共有した。従属変数は、仕事のパフォーマンスおよび効率の客観的な尺度、ならびに伝達の明瞭さおよびロボットの使いやすさの主観的な評価を含んでいた。
【0126】
全体的な実験のセットアップは、近い将来、製造現場において無人飛行ロボットが物流管理を支援する可能性がある状況によって触発された。研究では、参加者は、小さい倉庫を模倣するように設計された共有環境内で空中ロボットとともに働いた。環境は２０フィート×３５フィート×２０フィートあり、参加者の安全を確保するために正確なロボットナビゲーションに利用されるモーション・トラッキング・カメラを含んでいた。６つの仕事場が３行２列で物理的な空間内に配置された。各仕事場には、周囲に少なくとも５フィートの空きスペースがあり、カラービーズのコンテナがサポートされた。各ビーズコンテナは、緑、黒、黄色、白、青、または赤のいずれかに対応する１色のみのビーズを保持した。参加者は、空中ロボットと環境を共有しながら、これらのコンテナからビーズを収集し、それらを一緒に結び付けてビーズひもを作る仕事を任された。参加者は、自分の目標が正確に８分でできるだけ多くのビーズひもを作ることであると指示された。完成した各ひもは、２５個のビーズから構成されていた。ターゲットの色と使用されるビーズの量を記述する個別の指示がひもごとに存在した。たとえば、１つのひもが１０個の青いビーズ、５個の赤いビーズ、および１０個の緑のビーズを要求する場合があった。これらの指示とともに、参加者は３つの追加規則について指示された。
１．参加者は一度に１つのビーズしか拾えず、仕事場にいる間はひもにビーズを付けることしかできなかった。
２．参加者は任意の順序で色を収集することができたが、色を選択すると、ひもの指示によって示されたように、その色のすべてのビーズを張るまで、その色の場所に留まる必要があった（すなわち、色を混在させることはできなかった）。
３．ロボットは時々（表向きはビーズの供給を監視するために）各仕事場を訪問した。参加者が作業している仕事場にロボットが飛んできた場合、参加者は仕事場から少なくとも２メートル離れて移動し（すなわち、近接学によって通知された社会的距離まで戻り）、仕事を続ける前にロボットが去るまで（すなわち、ロボットに仕事場の優先権を与えて）待つように要求された。
１．参加者は一度に１つのビーズしか拾えず、仕事場にいる間はひもにビーズを付けることしかできなかった。
２．参加者は任意の順序で色を収集することができたが、色を選択すると、ひもの指示によって示されたように、その色のすべてのビーズを張るまで、その色の場所に留まる必要があった（すなわち、色を混在させることはできなかった）。
３．ロボットは時々（表向きはビーズの供給を監視するために）各仕事場を訪問した。参加者が作業している仕事場にロボットが飛んできた場合、参加者は仕事場から少なくとも２メートル離れて移動し（すなわち、近接学によって通知された社会的距離まで戻り）、仕事を続ける前にロボットが去るまで（すなわち、ロボットに仕事場の優先権を与えて）待つように要求された。
【0127】
この仕事は、ユーザとロボットとの間の共有リソース（すなわち、仕事場）を用いて、倉庫内で見られる可能性がある組立作業をエミュレートするように設計された。仕事場ではロボットが優先権をもつので、仕事は、参加者がロボットの意図を理解し予測して、自分の活動を最適に計画し仕事の効率を最大化するように要求した。
【0128】
実験は、無人飛行プラットフォームとしてＡｓｃＴｅｃ Ｈｕｍｍｉｎｇｂｉｒｄロボットを使用した（図８）。実験中、ロボットは、モーションキャプチャシステムを使用してロボットの位置に関する入力を受け取ったＰＩＤコントローラを使用して、実験環境全体にわたって事前にプログラムされた通過点に自律的に飛行した。研究中、研究者は、安全のためにロボットを武装解除できる緊急キルスイッチを用意したが、これは一度も要求されなかった。実験は、ＡＲＨＭＤとしてＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓを使用した。ＨｏｌｏＬｅｎｓは、３０°×１７．５°ＦＯＶ、慣性測定ユニット、深度センサ、環境光センサ、ならびに音声入力、ジェスチャ認識、および頭部追跡をサポートする複数のカメラおよびマイクロフォンを有する、ワイヤレスの光学式シースルー立体拡張現実ＨＭＤである。ＨｏｌｏＬｅｎｓは、その人気の高まり、アクセスの容易さ、ハンズフリーＡＲをサポートする能力、および将来の消費者向けＡＲＨＭＤシステム用のモデルとしての高い可能性のために選択された。
【0129】
カスタム実験フレームワークは、設計を実装し、それらをＨｏｌｏＬｅｎｓに展開し、視覚化がロボットの行動と適切に同期されることを保証するために開発された。上述された４つの設計は、仮想アプリケーションおよびＡＲアプリケーションを設計および開発するための人気のゲームおよびアニメーションエンジンであるＵｎｉｔｙを使用してプロトタイプが作成された。所望のロボットの目的地（すなわち、６自由度の空間内のターゲットロボットの場所および向き）、各目的地への所望の移動速度、および各目的地での待ち時間（おそらくゼロ）の順次リストの仕様を可能にする通過点システムも開発された。通過点リストの仕様に従ってシーンをナビゲートする目に見えない仮想ドローンオブジェクトがＵｎｉｔｙシーンに追加され、その動きが物理的なロボットの飛行を制御する。
【0130】
ゲームエンジンの更新ループが繰り返されるたびに、仮想ドローンの３Ｄ姿勢がＨｏｌｏＬｅｎｓからＵＤＰを介して物理ロボットを制御するバックエンドシステムに送信される。仮想ドローンの姿勢値は、最初の較正手順で事前に計算された変換行列を使用して、Ｕｎｉｔｙ座標から実際の座標に変換される。この変換後、Ｕｎｉｔｙシーン内の姿勢値はユーザの環境内の同じ場所に対応し、Ｕｎｉｔｙアプリケーションを通過点委任インターフェースに向けて、物理ロボットが仮想ドローンと一致する方式で学習空間を飛行することを可能にする。通過点リストは、参加者が学習するための飛行経路パターンが存在しないことを保証するために、仕事場の目的地、待機時間、および速度を上記に列挙された範囲からランダムに選択することによって入力された。このリストは、全体として研究の開始前に１回入力され、次いで、すべての条件にわたってすべての参加者に対して一定に保たれて、様々なロボットの軌跡から生じる潜在的な変動が取り除かれた。通過点リストを移動する合計時間は、完了するまでに８分かかり、これは、（バッテリ／飛行時間の能力に起因して選択された）仕事の合計継続時間に等しかった。
【0131】
ヒューリスティックパラメータも、設計の実装時に調整された。ＮａｖＰｏｉｎｔｓは、すべての通過点の完全な飛行経路を表示する可能性をもつが、初期のパイロットテストは、これが気を散らす誇張のケースにつながったことを明らかにした。代わりに、ロボットの経路の一部分のみが示され、それは、視覚化が常にロボットの現在位置の前に３つの通過点の目的地を表示するように動的に更新された。矢印設計は、青い矢印が常に空中ロボットの１５秒前に留まる（すなわち、１５秒後のロボットの位置を示す）ように実装された。凝視設計において目の動きのために選択されたヒューリスティックパラメータは、人間の凝視行動に対する研究から導出され、２ｍの距離しきい値、３秒のフェードしきい値に設定されている。目のモデルの半径は、ホログラムがロボットの体全体を覆うように０．６ｍに設定されている。ユーティリティ設計の「レーダー」は、１５ｍの検出半径を使用して、実験環境の全領域をカバーした。
【0132】
合計６０名の参加者（４０名の男性、２０名の女性、条件全体でバランスが取れている）が研究に参加した。参加者の平均年齢は２０．７歳（ＳＤ＝４．８）であり、範囲は１８～４５歳であった。７点満点で、参加者は、空中ロボット（Ｍ＝３．７５、ＳＤ＝１．７１）についてある程度以前の知識があることを報告したが、ＡＲＨＭＤ（Ｍ＝２．６５、ＳＤ＝１．８３）についてはあまり知らなかった。研究は約３０分かかり、５つのフェーズ：（１）導入、（２）訓練、（３）較正、（４）仕事、および（５）結論から構成されていた。（１）最初に、参加者は同意書に署名し、仕事スペースに案内された。（２）次に、参加者は、各々仕事および仕事規則の詳細が記載された同一の指示シートを読んだ。４つのＡＲ設計条件のいずれかに割り当てられた参加者は、ＡＲＨＭＤ技術の相対的な新規性に基づいて受け取るＡＲフィードバックに関する簡単な指示を提供した、対応する６０秒のチュートリアルビデオを見た。
【0133】
ベースライン条件に割り当てられた参加者だけは、ロボットが常にそのマークされた「フロント」が向いているところに向かって移動することを口頭で伝えられた。（３）次に
、ＡＲＨＭＤアプリケーションが開始され、較正され、（ＡＲフィードバックを受け取っていない場合でも）ベースライン条件に割り当てられた参加者を含む各参加者に適合された。（４）次に、参加者はメインの仕事を８分間実行し、併置された空中ロボットと環境を共有しながら、可能な限り多くのビーズひもを作成した。（５）８分の仕事時間が完了すると、参加者は中止するように言われ、自分の経験についての事後調査を受けた。
、ＡＲＨＭＤアプリケーションが開始され、較正され、（ＡＲフィードバックを受け取っていない場合でも）ベースライン条件に割り当てられた参加者を含む各参加者に適合された。（４）次に、参加者はメインの仕事を８分間実行し、併置された空中ロボットと環境を共有しながら、可能な限り多くのビーズひもを作成した。（５）８分の仕事時間が完了すると、参加者は中止するように言われ、自分の経験についての事後調査を受けた。
【0134】
設計の効果を特徴付けるために、４つの客観的および主観的な測定の組合せが使用された。客観的な仕事効率は、参加者がロボットによって中断されている間の待機に費やした合計時間によって測定され、これは、ロボットの意図を理解して自分の作業を計画することによって回避することができた（少ない時間は、パフォーマンス／効率が良いことを示す）。仕事の効率を計算する際に、仕事場を敬遠したユーザにおける時間分散が取り除かれた。割込みタイマは、ロボットが仕事場の真上にあるときにのみ開始された。これにより、参加者間の一貫した測定が可能になった。主観的な参加者の認識および嗜好を測定するために、７点のリッカートスタイルのアンケート項目からいくつかのスケールが構築された。スケールは、インターフェース設計の明快さ（４項目、クロンバックのα＝．８５）、個人の作業パートナ（４項目、クロンバックのα＝．９１）、および他の人の潜在的な作業パートナ（２項目、クロンバックのα＝．８３）の両方のチームメイトとしてのロボットの認識、ならびに全体的な設計の使いやすさ（２項目、クロンバックのα＝．７３）をランク付けした。定性的なフィードバックは、「ＡＲユーザインターフェースによる作業（ｗｏｒｋｉｎｇ ｗｉｔｈ ｔｈｅ ＡＲ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）」、「空中ロボットと一緒の作業（ｗｏｒｋｉｎｇ ａｌｏｎｇｓｉｄｅ ｔｈｅ ａｅｒｉａｌ ｒｏｂｏｔ）」、および「（自分の）仕事の完了（ｃｏｍｐｌｅｔｉｎｇ ［ｔｈｅｉｒ］ ｔａｓｋ）」の経験を記述するために、終了アンケートの一部として各参加者に課された自由回答形式の質問を通して得られた。データは、固定効果として実験条件（すなわち、インターフェース設計）を用いた一元配置分散分析（ＡＮＯＶＡ）を使用して分析された。事後検査は、ダネットの方法を使用して、ベースライン条件に対してＡＲＨＭＤ設計を評価するときのタイプＩエラーを制御したが、ＴｕｋｅｙのＨｏｎｅｓｔｌｙ
Ｓｉｇｎｉｆｉｃａｎｔ Ｄｉｆｆｅｒｅｎｃｅ（ＨＳＤ）検査は、各設計にわたって有効性を比較した。
Ｓｉｇｎｉｆｉｃａｎｔ Ｄｉｆｆｅｒｅｎｃｅ（ＨＳＤ）検査は、各設計にわたって有効性を比較した。
【0135】
図１１は、ＮａｖＰｏｉｎｔｓ、矢印、および凝視が非効率および浪費時間を削減することによって仕事のパフォーマンスを改善したという客観的な結果を示す。主観的な結果は、ＮａｖＰｏｉｎｔｓがユーザの嗜好およびロボットの認識の点で他の設計よりも優れていることを明らかにする。
【0136】
客観的な結果－参加者がロボットの意図を迅速かつ正確に推論し、自分の活動をより効果的に計画するために設計が有用であることを確認するために、仕事パフォーマンスメトリックが分析された。ＡＲＨＭＤインターフェース設計の重要な主効果は、中断に費やされた合計時間に関して発見された、Ｆ（４，５５）＝１２．５６、ｐ＜．００１。ダネットの多重比較テストを用いて各設計のパフォーマンスをベースラインと比較すると、ＮａｖＰｏｉｎｔｓ（ｐ＜．００１）、矢印（ｐ＜．００１）、および凝視（ｐ＝．００３）を使用するが、ユーティリティ（ｐ＝．１０４）を使用せずに、中断までの合計損失時間が大幅に減少したことを示した。
【0137】
主観的な結果－参加者は、ロボットの動作意図の伝達に関するいくつかの様相を評価した。認識された伝達の明快さに関して設計の重要な効果が発見された、Ｆ（４，５５）＝１１．０４、ｐ＜．００１。ダネットの検査を使用した事後の比較は、ＮａｖＰｏｉｎｔｓ設計がベースライン（ｐ＜．００１）よりも大幅に高く評価されたことを明らかにしたが、他の設計からの重要な効果は発見されなかった。ロボットに対する参加者の応答は、ロボットが作業環境内の協調パートナとしてそれをどのように見るかという観点から分析
された。設計の限界（０．１＞ｐ＞０．０５）の主効果は、自分自身の優れた作業パートナとしてのロボットの参加者の認識で発見された、Ｆ（４，５５）＝２．４８、ｐ＝．０５４。設計の重要な主効果は、他の人の優れた作業パートナとしてのロボットの参加者の認識にも発見された、Ｆ（４，５５）＝２．５４、ｐ＝．０４９。事後の比較は、ＮａｖＰｏｉｎｔｓが、ベースラインよりも個人の作業パートナ（ｐ＝．０３）および他の人の作業パートナ（ｐ＝．０２９）としてのロボットの認識を大幅に改善する唯一の設計であったことを明かにした。最後に、設計は、表示された仮想画像がロボットの動きの意図の参加者の理解にどのように影響したかの使いやすさメトリックに沿って互いに比較された。設計の重要な主効果は、意図を理解するための認識された使いやすさに発見された、Ｆ（３，４４）＝２５．３２、ｐ＜．００１。ＴｕｋｅｙのＨＳＤを使用した事後比較は、ＮａｖＰｏｉｎｔｓ（Ｍ＝６．９６）、ｐ＜．００１、矢印（Ｍ＝６．６７）、ｐ＜．００１、および凝視（Ｍ＝５．８３）、ｐ＜．００１が、ユーティリティ（Ｍ＝４．２１）よりもはるかに役立つとランク付けされたことを見つけた。ＮａｖＰｏｉｎｔｓは、凝視よりもはるかに役立つと評価された、ｐ＝．０１２ことも発見され、矢印は、凝視よりもわずかに役立つと評価された、ｐ＝．０９２。
された。設計の限界（０．１＞ｐ＞０．０５）の主効果は、自分自身の優れた作業パートナとしてのロボットの参加者の認識で発見された、Ｆ（４，５５）＝２．４８、ｐ＝．０５４。設計の重要な主効果は、他の人の優れた作業パートナとしてのロボットの参加者の認識にも発見された、Ｆ（４，５５）＝２．５４、ｐ＝．０４９。事後の比較は、ＮａｖＰｏｉｎｔｓが、ベースラインよりも個人の作業パートナ（ｐ＝．０３）および他の人の作業パートナ（ｐ＝．０２９）としてのロボットの認識を大幅に改善する唯一の設計であったことを明かにした。最後に、設計は、表示された仮想画像がロボットの動きの意図の参加者の理解にどのように影響したかの使いやすさメトリックに沿って互いに比較された。設計の重要な主効果は、意図を理解するための認識された使いやすさに発見された、Ｆ（３，４４）＝２５．３２、ｐ＜．００１。ＴｕｋｅｙのＨＳＤを使用した事後比較は、ＮａｖＰｏｉｎｔｓ（Ｍ＝６．９６）、ｐ＜．００１、矢印（Ｍ＝６．６７）、ｐ＜．００１、および凝視（Ｍ＝５．８３）、ｐ＜．００１が、ユーティリティ（Ｍ＝４．２１）よりもはるかに役立つとランク付けされたことを見つけた。ＮａｖＰｏｉｎｔｓは、凝視よりもはるかに役立つと評価された、ｐ＝．０１２ことも発見され、矢印は、凝視よりもわずかに役立つと評価された、ｐ＝．０９２。
【0138】
ＮａｖＰｏｉｎｔｓ、矢印、および凝視の設計は、非効率性を減らすことによって仕事のパフォーマンスを改善し、参加者は、ロボットの意図をよりよく予測し、それに応じて自分の行動を計画して、中断され非生産的に費やした時間の長さを短縮することができた。しかしながら、ユーティリティモデルは、ベースライン条件を超える同様の改善を提供しなかった。これは、他の設計とは異なり、ユーザがロボットの将来の目的地を予測するのに役立つ手掛かりを表示するのではなく、ユーザに対する現在のロボットの位置決めを強調するユーティリティ設計が原因である可能性がある。参加者の回答はこの結論を裏付け、ベースライン参加者とユーティリティ参加者との間の類似点を明らかにしている。ユーティリティ設計のパフォーマンスが不十分なもう１つの原因として考えられるのは、仕事の小さい規模であり得る。実験シナリオでは、１台のロボットしかなかった。これにより、参加者が、作業場で作業し、環境をナビゲートしている間、ロボットに常に向き合い耳を傾けることが可能であった。スペースが２台以上のロボットによって共有されている場合、参加者がすべてのロボットを視覚および音声だけで同時に追跡することができる可能性はほとんどない。この場合、ユーティリティ設計は適切に拡張され、いくつかの他の設計よりもさらに良くすべての近接ロボットの追跡を控えめにサポートできる可能性がある。しかしながら、この実験の単一のロボットでは、Ｎａｖｐｏｉｎｔｓ、矢印、および凝視は、すべて非効率性の低下という点でベースラインよりもはるかに優れていた。参加者は、ロボットの動きを明示的に視覚化することで作業が容易になることをしばしば指摘した。
例示的なコンピュータシステムの概要
例示的なコンピュータシステムの概要
【0139】
本開示の監視プラットフォームの態様および実装形態が、様々なステップおよび動作の一般的なコンテキストに記載されてきた。これらの様々なステップおよび動作は、ハードウェア構成要素によって実行されてもよく、コンピュータ実行可能命令で具体化されてもよく、コンピュータ実行可能命令は、命令でプログラムされた（たとえば、コンピュータ、サーバ、または他のコンピューティングデバイス内の）汎用プロセッサまたは専用プロセッサにステップまたは動作を実行させるために使用されてよい。たとえば、ステップまたは動作は、ハードウェア、ソフトウェア、および／またはファームウェアの組合せによって実行されてよい。
【0140】
図１２は、監視システムのコンピュータシステム化を表す例示的な機械を示すブロック図である。システムコントローラ１２００は、１つまたは複数のユーザ１２２５、クライアント／端末デバイス１２２０、ユーザ入力デバイス１２０５、周辺デバイス１２１０、オプションのコプロセッサデバイス（たとえば、暗号プロセッサデバイス）１２１５、お
よびネットワーク１２３０を含むエンティティと通信することができる。ユーザは、ネットワーク１２３０上で端末デバイス１２２０を介してコントローラ１２００に関与することができる。
よびネットワーク１２３０を含むエンティティと通信することができる。ユーザは、ネットワーク１２３０上で端末デバイス１２２０を介してコントローラ１２００に関与することができる。
【0141】
コンピュータは、中央処理装置（ＣＰＵ）またはプロセッサを使用して情報を処理することができる。プロセッサは、プログラム可能な汎用または専用のマイクロプロセッサ、プログラム可能なコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能な論理デバイス（ＰＬＤ）、組込み構成要素、そのようなデバイスの組合せなどを含んでよい。プロセッサは、ユーザおよび／またはシステムが生成した要求に応答してプログラム構成要素を実行する。これらの構成要素のうちの１つまたは複数は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの両方に実装されてよい。プロセッサは、様々な動作を可能にするために、命令（たとえば、動作命令およびデータ命令）を渡す。
【0142】
コントローラ１２００は、とりわけ、クロック１２６５、ＣＰＵ１２７０、読取り専用メモリ（ＲＯＭ）１２８５およびランダムアクセスメモリ（ＲＡＭ）１２８０などのメモリ、ならびにコプロセッサ１２７５を含んでよい。これらのコントローラ構成要素は、システムバス１２６０に接続され、システムバス１２６０を介してインターフェースバス１２３５に接続されてよい。さらに、ユーザ入力デバイス１２０５、周辺デバイス１２１０、コプロセッサデバイス１２１５などは、インターフェースバス１２３５を介してシステムバス１２６０に接続されてよい。インターフェースバス１２３５は、プロセッサインターフェース１２４０、入出力インターフェース（Ｉ／Ｏ）１２４５、ネットワークインターフェース１２５０、ストレージインターフェース１２５５などのいくつかのインターフェースアダプタに接続されてよい。
【0143】
プロセッサインターフェース１２４０は、コプロセッサデバイス１２１５とコプロセッサ１２７５との間の通信を容易にすることができる。一実装形態では、プロセッサインターフェース１２４０は、要求またはデータの暗号化および解読を迅速に処理することができる。入出力インターフェース（Ｉ／Ｏ）１２４５は、オーディオ、データ、ビデオインターフェース、ワイヤレストランシーバなどを処理するためのプロトコル（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ１３９４ａ～ｂ、シリアル、ユニバーサル・シリアル・バス（ＵＳＢ）、デジタルビジュアルインターフェース（ＤＶＩ）、８０２．１１ａ／ｂ／ｇ／ｎ／ｘ、セルラーなど）などのプロトコルを使用して、ユーザ入力デバイス１２０５、周辺デバイス１２１０、コプロセッサデバイス１２１５などと、コントローラ１２００の構成要素との間の通信を容易にする。ネットワークインターフェース１２５０は、ネットワーク１２３０と通信することができる。ネットワーク１２３０を介して、コントローラ１２００は、リモート端末デバイス１２２０にアクセス可能であり得る。ネットワークインターフェース１２５０は、直接接続、イーサネット（登録商標）、ＩＥＥＥ８０２．１１ａ～ｘなどのワイヤレス接続などの様々な有線およびワイヤレスの接続プロトコルを使用することができる。
【0144】
ネットワーク１２３０の例には、インターネット、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、（たとえば、ワイヤレス・アプリケーション・プロトコルＷＡＰを使用する）ワイヤレスネットワーク、安全なカスタム接続などが含まれる。ネットワークインターフェース１２５０は、いくつかの態様では、コンピュータネットワーク内のデータへのアクセス／プロキシの許可を運営および／または管理し、様々なマシンおよび／またはアプリケーション間の信頼レベルの変化を追跡することができるファイアウォールを含むことができる。ファイアウォールは、マシンの特定のセットとアプリケーションとの間、マシンとマシンとの間、および／またはアプリケーションとアプリケーションとの間で、たとえば、これらの様々なエンティティ間でトラフィックおよびリソースを共有するフローを規制す
るために、アクセス権の所定のセットを強制することができるハードウェアおよび／またはソフトウェアの構成要素の任意の組合せを有する任意の数のモジュールであり得る。ファイアウォールは、さらに、たとえば、個人、マシン、および／またはアプリケーションによるオブジェクトのアクセス権および操作権、ならびに許可権がさらされる状況を含む許可を詳述するアクセス制御リストを管理し、かつ／またはそれにアクセスすることができる。ファイアウォールの機能で実行される、またはファイアウォールの機能に含まれる他のネットワークセキュリティ機能は、本開示の新規技術から逸脱することなく、たとえば、限定はしないが、侵入防止、侵入検知、次世代ファイアウォール、パーソナルファイアウォールなどであり得る。
るために、アクセス権の所定のセットを強制することができるハードウェアおよび／またはソフトウェアの構成要素の任意の組合せを有する任意の数のモジュールであり得る。ファイアウォールは、さらに、たとえば、個人、マシン、および／またはアプリケーションによるオブジェクトのアクセス権および操作権、ならびに許可権がさらされる状況を含む許可を詳述するアクセス制御リストを管理し、かつ／またはそれにアクセスすることができる。ファイアウォールの機能で実行される、またはファイアウォールの機能に含まれる他のネットワークセキュリティ機能は、本開示の新規技術から逸脱することなく、たとえば、限定はしないが、侵入防止、侵入検知、次世代ファイアウォール、パーソナルファイアウォールなどであり得る。
【0145】
ストレージインターフェース１２５５は、ストレージデバイス１２９０、リムーバブル・ディスク・デバイスなどのいくつかのストレージデバイスと通信することができる。ストレージインターフェース１２５５は、シリアル・アドバンスト・テクノロジ・アタッチメント（ＳＡＴＡ）、ＩＥＥＥ１３９４、イーサネット（登録商標）、ユニバーサル・シリアル・バス（ＵＳＢ）などの様々な接続プロトコルを使用することができる。
【0146】
ユーザ入力デバイス１２０５および周辺デバイス１２１０は、Ｉ／Ｏインターフェース１２４５、ならびに潜在的に他のインターフェース、バス、および／または構成要素に接続されてよい。ユーザ入力デバイス１２０５は、カードリーダー、指紋リーダー、ジョイスティック、キーボード、マイクロフォン、マウス、リモートコントロール、網膜リーダー、タッチスクリーン、センサなどを含んでよい。周辺デバイス１２１０は、アンテナ、オーディオデバイス（たとえば、マイクロフォン、スピーカなど）、カメラ、外部プロセッサ、通信デバイス、無線周波数識別器（ＲＦＩＤ）、スキャナ、プリンタ、ストレージデバイス、トランシーバなどを含んでよい。コプロセッサデバイス１２１５は、インターフェースバス１２３５を介してコントローラ１２００に接続されてよく、マイクロコントローラ、プロセッサ、インターフェース、または他のデバイスを含んでよい。
【0147】
コンピュータ実行可能命令およびデータは、プロセッサによってアクセス可能なメモリ（たとえば、レジスタ、キャッシュメモリ、ランダムアクセスメモリ、フラッシュなど）に記憶されてよい。これらの記憶された命令コード（たとえば、プログラム）は、プロセッサ構成要素、マザーボード、および／または他のシステム構成要素に関与して、所望の動作を実行することができる。コントローラ１２００は、オンチップＣＰＵメモリ（たとえば、レジスタ）、ＲＡＭ１２８０、ＲＯＭ１２８５、およびストレージデバイス１２９０を含む様々な形態のメモリを使用することができる。ストレージデバイス１２９０は、固定または取外し可能な磁気ディスクドライブ、光学ドライブ、ソリッドステート・メモリ・デバイス、および他のプロセッサ可読記憶媒体などの、任意の数の有形非一時的ストレージデバイスまたはシステムを使用することができる。メモリに記憶されたコンピュータ実行可能命令は、特定のタスクを実行するか、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などの１つまたは複数のプログラムモジュールを有する監視サービス１５０を含んでよい。たとえば、メモリは、オペレーティングシステム（ＯＳ）構成要素１２９５、モジュール、および他の構成要素、データベーステーブルなどを含んでよい。これらのモジュール／構成要素は、インターフェースバスを介してアクセス可能な外部ストレージデバイスを含むストレージデバイスから記憶およびアクセスされてよい。
【0148】
データベース構成要素は、記憶されたデータを処理するためにプロセッサによって実行されるプログラムを記憶することができる。データベース構成要素は、リレーショナル、スケーラブル、および安全なデータベースの形態で実装されてよい。そのようなデータベースの例には、ＤＢ２、ＭｙＳＱＬ、Ｏｒａｃｌｅ、Ｓｙｂａｓｅなどが含まれる。あるいは、データベースは、アレイ、ハッシュ、リスト、スタック、構造化テキストファイル
（たとえば、ＸＭＬ）、テーブルなどの様々な標準データ構造を使用して実装されてよい。そのようなデータ構造は、メモリおよび／または構造化ファイルに記憶されてよい。
（たとえば、ＸＭＬ）、テーブルなどの様々な標準データ構造を使用して実装されてよい。そのようなデータ構造は、メモリおよび／または構造化ファイルに記憶されてよい。
【0149】
コントローラ１２００は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネットなどの通信ネットワークを介してリンクされたリモート処理デバイスによってタスクまたはモジュールが実行される分散コンピューティング環境に実装されてよい。分散コンピューティング環境では、プログラムモジュールまたはサブルーチンは、ローカルとリモートの両方のメモリストレージデバイスに配置されてよい。分散コンピューティングは、処理のための負荷分散および／またはリソース集約を行うために使用されてよい。あるいは、コントローラ１２００の態様は、インターネットまたは（ワイヤレスネットワークを含む）他のネットワーク上で電子的に分散されてよい。関連技術の当業者は、監視サービスの一部がサーバコンピュータに常駐し、対応する部分がクライアントコンピュータに常駐してよいことを認識されよう。コントローラ１２００の態様に特有のデータ構造およびデータの送信も、本開示の範囲内に包含される。
結論
結論
【0150】
文脈が明らかに別途必要としない限り、説明および特許請求の範囲全体を通して、「備える」、「備えている」などの単語は、排他的または網羅的な意味とは対照的に包括的な意味で、すなわち、「含むがそれに限定されない」という意味で解釈されるべきである。本明細書で使用される用語「接続された」、「結合された」、またはそれらの任意の変形形態は、２つ以上の要素間の直接または間接のいずれかの接続または結合を意味し、要素間の結合または接続は、物理的、論理的、またはそれらの組合せであり得る。さらに、「本明細書において」、「上記」、「下記」、および同様のインポートの単語は、本出願で使用されるとき、全体としての本出願を指し、本出願のいかなる特定の部分も指さない。文脈が許すとき、単数または複数の数を使用する上記の発明を実施するための形態の中の単語は、それぞれ、複数または単数も含んでよい。「または」という単語は、２つ以上のアイテムのリストに関連して、その単語の以下の解釈：リスト内のアイテムのいずれか、リスト内のアイテムのすべて、およびリスト内のアイテムの任意の組合せのすべてをカバーする。
【0151】
本技術の例の上記の発明を実施するための形態は、網羅的であること、または本技術を上記で開示されたまさにその形態に限定することを意図していない。本技術の具体的な例が例示目的で上述されているが、当業者が認識するように、本技術の範囲内で様々な均等な修正形態が可能である。たとえば、プロセスまたはブロックが与えられた順序で提示されているが、代替の実装形態は、異なる順序で、ステップを有するルーチンを実行するか、またはブロックを有するシステムを使用することができ、いくつかのプロセスまたはブロックは、代替または部分的組合せを提供するために、削除、移動、追加、再分割、結合、および／または修正されてよい。これらのプロセスまたはブロックの各々は、様々な異なる方法で実装されてよい。また、プロセスまたはブロックは時々順次実行されるものとして示されるが、これらのプロセスまたはブロックは、代わりに並行して実行または実装されてもよく、異なる時間に実行されてもよい。さらに、本明細書で言及された任意の具体的な数は単なる例であり、代替の実装形態は異なる値または範囲を使用することができる。
【0152】
本明細書で提供される技術の教示は、必ずしも上述されたシステムではなく、他のシステムに適用することができる。上述された様々な例の要素および動作は、本技術のさらなる実装形態を提供するために組み合わせることができる。本技術のいくつかの代替の実装形態は、上述された実装形態に対する追加の要素を含んでよいだけでなく、より少ない要素を含んでもよい
【0153】
これらおよび他の変更は、上記の発明を実施するための形態に照らして、本技術に対して行うことができる。上記の説明は本技術の特定の例を記載し、考えられる最良の形態を記載しているが、上記がテキストでどれほど詳細に見えても、本技術は多くの方法で実践することができる。システムの詳細は、本明細書に開示された技術によって依然包含されていても、その具体的な実装形態ではかなり異なる場合がある。上述されたように、技術の特定の特徴または態様を記載するときに使用される特定の用語は、その用語が関連する技術の任意の具体的な特性、特徴、または態様に限定されるように用語が本明細書で再定義されていることを意味するものと捉えられるべきではない。一般に、以下の特許請求の範囲で使用される用語は、上記の発明を実施するための形態セクションがそのような用語が明示的に定義していない限り、本技術を本明細書に開示された具体的な例に限定するものと解釈されるべきではない。したがって、本技術の実際の範囲は、開示された例だけでなく、特許請求の範囲の下で本技術を実践または実装するすべての同等の方法も包含する。
【0154】
請求項の数を減らすために、本技術の特定の態様が特定の請求項フォームで以下に提示されるが、出願人は、本技術の様々な態様を任意の数の請求項フォームで考察する。たとえば、本技術の１つの態様のみがコンピュータ可読媒体の請求項として列挙されているが、他の態様も同様にコンピュータ可読媒体の請求項として、またはミーンズプラスファンクションで具体化されるなどの他の形式で具体化されてよい 米国特許法§１１２（ｆ）の下で扱われるものである任意の請求項が「のための手段」という言葉で始まるが、任意の他の文脈で「～のための」という用語を使用することは、米国特許法§１１２（ｆ）の下での扱いを求めるものではない。したがって、出願者は、本出願を提出した後、本出願または継続中の出願のいずれかで、そのような追加の請求フォームを追求するために追加の請求を求める権利を留保する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-07-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ロボットを操作する方法であって、
前記ロボットによって収集されたデータを受信するステップであって、
前記ロボットから収集された前記データが、（ｉ）前記ロボットのローカル環境、（ｉｉ）前記ロボットのローカル環境内のオブジェクト、および、（ｉｉｉ）前記ロボットの１つまたは複数のロボット状態、に関する情報を含む、ステップと、
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザから１つまたは複数のコマンドを受信するステップと、
前記１つまたは複数のコマンドを傍受して前記ロボットの仮想サロゲートに向けるステップであって、前記仮想サロゲートおよび前記ロボットは、前記ＨＭＤにおける拡張現実または複合現実のビュー上で視覚的に伝達され、前記ユーザが前記ロボットを直接操作するのではなく前記仮想サロゲートを制御する、ステップと、
前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新するステップであって、
実行時、前記ロボットへの損傷、前記ローカル環境への損傷、および動作規則の違反の少なくとも１つにつながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析することと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを自動的に生成することと、
前記ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように、前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新することと、
実行されるために、前記１つまたは複数の修正されたコマンドのセットを前記ロボットに送信することと、によって、前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新する、ステップと、
を含む、方法。
前記ロボットによって収集されたデータを受信するステップであって、
前記ロボットから収集された前記データが、（ｉ）前記ロボットのローカル環境、（ｉｉ）前記ロボットのローカル環境内のオブジェクト、および、（ｉｉｉ）前記ロボットの１つまたは複数のロボット状態、に関する情報を含む、ステップと、
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザから１つまたは複数のコマンドを受信するステップと、
前記１つまたは複数のコマンドを傍受して前記ロボットの仮想サロゲートに向けるステップであって、前記仮想サロゲートおよび前記ロボットは、前記ＨＭＤにおける拡張現実または複合現実のビュー上で視覚的に伝達され、前記ユーザが前記ロボットを直接操作するのではなく前記仮想サロゲートを制御する、ステップと、
前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新するステップであって、
実行時、前記ロボットへの損傷、前記ローカル環境への損傷、および動作規則の違反の少なくとも１つにつながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析することと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを自動的に生成することと、
前記ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように、前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新することと、
実行されるために、前記１つまたは複数の修正されたコマンドのセットを前記ロボットに送信することと、によって、前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新する、ステップと、
を含む、方法。
【請求項2】
前記更新されたビューは、前記ロボットの計画された移動経路の通過点と、前記通過点への到着の時間と、前記通過点からの出発の時間を表示する、請求項１に記載の方法。
【請求項3】
前記危険を識別すると、前記１つまたは複数のコマンドを分析することによって前記ユーザの意図を判断するステップをさらに含み、
前記１つまたは複数の修正されたコマンドの前記セットを生成するステップが、前記ユーザの意図を維持する、請求項２に記載の方法。
前記１つまたは複数の修正されたコマンドの前記セットを生成するステップが、前記ユーザの意図を維持する、請求項２に記載の方法。
【請求項4】
前記ユーザの前記視点を前記ロボットから収集された前記データと統合するステップと、
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する１つまたは複数のコマンドの結果である、位置、速度、到着の時間および出発の時間を含む将来のロボット状態に関する情報を、前記ＨＭＤの前記ユーザに視覚的に提供するステップと、
をさらに含む、請求項１に記載の方法。
前記１つまたは複数のロボット状態を変更するように前記ロボットに命令する１つまたは複数のコマンドの結果である、位置、速度、到着の時間および出発の時間を含む将来のロボット状態に関する情報を、前記ＨＭＤの前記ユーザに視覚的に提供するステップと、
をさらに含む、請求項１に記載の方法。
【請求項5】
前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新するステップが、拡張現実を用いて、
前記ロボットの外観、および、
前記ロボットを遠隔操作するユーザインターフェースの少なくとも１つを仮想的に拡張するステップを含む、請求項１に記載の方法。
前記ロボットの外観、および、
前記ロボットを遠隔操作するユーザインターフェースの少なくとも１つを仮想的に拡張するステップを含む、請求項１に記載の方法。
【請求項6】
前記拡張現実または複合現実のビューを更新するステップが、拡張現実を用いて、前記ユーザインターフェースを仮想的に拡張することを含み、前記ユーザインターフェースが、周辺設計を使用して前記ロボットの遠隔操作を容易にするように仮想的に拡張される、請求項５に記載の方法。
【請求項7】
前記仮想サロゲートは、
リアルタイム仮想サロゲートの仮想遠隔操作が前記ロボットの遠隔操作を指示するような、前記ロボットのリアルタイム仮想サロゲート、または
通過点仮想サロゲートを使用する仮想通過点の操作が前記ロボットの遠隔操作を指示するような、前記ロボットの前記通過点仮想サロゲートであり、
前記ユーザインターフェースは、前記ロボットが動作している環境コンテキストの１つまたは複数の非仮想シーンオブジェクトのうちの１つまたは複数を含むように仮想的に拡張される、請求項１に記載の方法。
リアルタイム仮想サロゲートの仮想遠隔操作が前記ロボットの遠隔操作を指示するような、前記ロボットのリアルタイム仮想サロゲート、または
通過点仮想サロゲートを使用する仮想通過点の操作が前記ロボットの遠隔操作を指示するような、前記ロボットの前記通過点仮想サロゲートであり、
前記ユーザインターフェースは、前記ロボットが動作している環境コンテキストの１つまたは複数の非仮想シーンオブジェクトのうちの１つまたは複数を含むように仮想的に拡張される、請求項１に記載の方法。
【請求項8】
前記ロボットが前に移動した場所を追跡するステップをさらに含み、前記ＨＭＤ内の前記拡張現実または複合現実のビューを更新するステップが、前記ロボットが前に移動した場所を識別するデータを表示するステップを含む、請求項１に記載の方法。
【請求項9】
前記ロボットの場所を識別するステップをさらに含み、前記ＨＭＤ内の前記拡張現実または複合ビューを更新するステップが、前記ロボットの遠隔操作を支援するレーダー様設計を含む、請求項１に記載の方法。
【請求項10】
ロボット状態情報と、前記ロボットによって識別され得る位置におけるデータドロップからの環境データとを受け取るステップをさらに含む、請求項１に記載の方法。
【請求項11】
センサまたはカメラを使用して、非仮想ロボットがローカル環境をナビゲートするときにデータを収集する前記非仮想ロボットを備える、システムであって、
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットの前記ローカル環境、および、前記非仮想ロボットの１つまたは複数のロボット状態に関する情報を含み、
拡張現実システムが、拡張現実ディスプレイ、通信モジュール、プロセッサ、および、命令を記憶した非一時コンピュータ可読媒を備え、
前記命令は、前記プロセッサによって実行されると、
前記通信モジュールを介して、前記非仮想ロボットによって収集された前記データの少なくとも一部分を受信すること、
前記通信モジュールを介して、前記１つまたは複数のロボット状態を変更するように前記非仮想ロボットに命令するユーザから１つまたは複数のコマンドを受信すること、
前記１つまたは複数のコマンドを傍受して前記非仮想ロボットの仮想サロゲートに向けることであって、前記仮想サロゲートおよび前記非仮想ロボットは、前記拡張現実ディスプレイ上で視覚的に伝達され、前記ユーザが前記非仮想ロボットを直接操作するのではなく前記仮想サロゲートを制御する、こと、および、
前記拡張現実ディスプレイ内の拡張現実ビューを更新することであって、
実行時、前記非仮想ロボットへの損傷、前記ローカル環境への損傷、および動作規則の違反の少なくとも１つにつながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析することと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを自動的に生成することと、
前記非仮想ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ内の前記拡張現実ビューを更新することと、
実行されるために、前記１つまたは複数の修正されたコマンドのセットを前記非仮想ロボットに送信するように、前記通信モジュールを指示することと、によって、前記拡張現実ディスプレイ内の拡張現実ビューを更新する、こと、
を前記拡張現実システムに行わせる、システム。
前記非仮想ロボットから収集された前記データが、前記非仮想ロボットの前記ローカル環境、および、前記非仮想ロボットの１つまたは複数のロボット状態に関する情報を含み、
拡張現実システムが、拡張現実ディスプレイ、通信モジュール、プロセッサ、および、命令を記憶した非一時コンピュータ可読媒を備え、
前記命令は、前記プロセッサによって実行されると、
前記通信モジュールを介して、前記非仮想ロボットによって収集された前記データの少なくとも一部分を受信すること、
前記通信モジュールを介して、前記１つまたは複数のロボット状態を変更するように前記非仮想ロボットに命令するユーザから１つまたは複数のコマンドを受信すること、
前記１つまたは複数のコマンドを傍受して前記非仮想ロボットの仮想サロゲートに向けることであって、前記仮想サロゲートおよび前記非仮想ロボットは、前記拡張現実ディスプレイ上で視覚的に伝達され、前記ユーザが前記非仮想ロボットを直接操作するのではなく前記仮想サロゲートを制御する、こと、および、
前記拡張現実ディスプレイ内の拡張現実ビューを更新することであって、
実行時、前記非仮想ロボットへの損傷、前記ローカル環境への損傷、および動作規則の違反の少なくとも１つにつながる可能性がある危険を識別するために、前記１つまたは複数のコマンドを分析することと、
前記危険を回避するために１つまたは複数の修正されたコマンドのセットを自動的に生成することと、
前記非仮想ロボットによる１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ内の前記拡張現実ビューを更新することと、
実行されるために、前記１つまたは複数の修正されたコマンドのセットを前記非仮想ロボットに送信するように、前記通信モジュールを指示することと、によって、前記拡張現実ディスプレイ内の拡張現実ビューを更新する、こと、
を前記拡張現実システムに行わせる、システム。
【請求項12】
前記拡張現実ディスプレイに関連付けられた１つまたは複数のセンサをさらに備え、
前記１つまたは複数のセンサは、前記非仮想ロボットを遠隔操作する前記ユーザからの前記１つまたは複数のコマンドを監視するように構成され、且つ、
前記通信モジュールが、前記拡張現実ディスプレイに関連付けられた前記１つまたは複数のセンサによって検出された前記コマンドを送信し、前記拡張現実ビューが更新されることを可能にする前記１つまたは複数のロボット状態に関する情報を転送する、請求項１１に記載のシステム。
前記１つまたは複数のセンサは、前記非仮想ロボットを遠隔操作する前記ユーザからの前記１つまたは複数のコマンドを監視するように構成され、且つ、
前記通信モジュールが、前記拡張現実ディスプレイに関連付けられた前記１つまたは複数のセンサによって検出された前記コマンドを送信し、前記拡張現実ビューが更新されることを可能にする前記１つまたは複数のロボット状態に関する情報を転送する、請求項１１に記載のシステム。
【請求項13】
前記非仮想ロボットの前記１つまたは複数のロボット状態を変更する前記１つまたは複数のコマンドを受信するための１つまたは複数のインターフェースと、
危険検出モジュールであって、前記プロセッサの制御下で、
前記非仮想ロボットの前記１つまたは複数のロボット状態を変更する前記１つまたは複数のコマンドを受信し、
前記非仮想ロボットに損傷を与え、前記非仮想ロボットの前記ローカル環境に損傷を与え、同じ場所にいる人間を傷つけ、または実行時に操作規則に違反する可能性がある危険を識別するために、前記コマンドを分析し、および、
前記危険または前記動作規則の違反を回避するために、前記１つまたは複数の修正されたコマンドのセットを生成する、危険検出モジュールと、
意図分析器であって、
前記危険を識別すると、前記コマンドを分析することによって前記ユーザの意図を特定し、
前記ユーザの意図を維持するために、前記１つまたは複数の修正されたコマンドのセットを生成するように構成された、意図分析器と、をさらに備える、請求項１１に記載のシステム。
危険検出モジュールであって、前記プロセッサの制御下で、
前記非仮想ロボットの前記１つまたは複数のロボット状態を変更する前記１つまたは複数のコマンドを受信し、
前記非仮想ロボットに損傷を与え、前記非仮想ロボットの前記ローカル環境に損傷を与え、同じ場所にいる人間を傷つけ、または実行時に操作規則に違反する可能性がある危険を識別するために、前記コマンドを分析し、および、
前記危険または前記動作規則の違反を回避するために、前記１つまたは複数の修正されたコマンドのセットを生成する、危険検出モジュールと、
意図分析器であって、
前記危険を識別すると、前記コマンドを分析することによって前記ユーザの意図を特定し、
前記ユーザの意図を維持するために、前記１つまたは複数の修正されたコマンドのセットを生成するように構成された、意図分析器と、をさらに備える、請求項１１に記載のシステム。
【請求項14】
前記プロセッサによって実行されるとき、前記命令は、さらに、前記拡張現実システムに、
前記非仮想ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ上の前記拡張現実ビューを更新させ、
前記通信モジュールを使用して、実行される前記非仮想ロボットに対する１つまたは複数のコマンドの前記セット、および、前記非仮想ロボットのロボット状態を前記拡張現実システムに送信させ、その結果、前記拡張現実ディスプレイ内の画像が、前記非仮想ロボットおよび前記非仮想ロボットの現在のロボット状態に関するさらなる洞察を前記ユーザ、または他のユーザに与えることができる、請求項１３に記載のシステム。
前記非仮想ロボットによる前記１つまたは複数の修正されたコマンドの実行結果を表示するように、前記拡張現実ディスプレイ上の前記拡張現実ビューを更新させ、
前記通信モジュールを使用して、実行される前記非仮想ロボットに対する１つまたは複数のコマンドの前記セット、および、前記非仮想ロボットのロボット状態を前記拡張現実システムに送信させ、その結果、前記拡張現実ディスプレイ内の画像が、前記非仮想ロボットおよび前記非仮想ロボットの現在のロボット状態に関するさらなる洞察を前記ユーザ、または他のユーザに与えることができる、請求項１３に記載のシステム。
【請求項15】
前記拡張現実ディスプレイが、
コンテキスト情報、
予想されるロボット経路、
識別された危険、
特定の領域のズームインまたはズームアウト、
結合された現実および仮想シーンにおける１つまたは複数の仮想オブジェクト、
前記結合された現実および仮想シーンにおける１つまたは複数の非仮想オブジェクト、および、
前記非仮想ロボットの前記ローカル環境の仮想表現のコンテキスト内の前記非仮想ロボットの実際のカメラフィード
のうち少なくとも１つの表現を含む、請求項１１に記載のシステム。
コンテキスト情報、
予想されるロボット経路、
識別された危険、
特定の領域のズームインまたはズームアウト、
結合された現実および仮想シーンにおける１つまたは複数の仮想オブジェクト、
前記結合された現実および仮想シーンにおける１つまたは複数の非仮想オブジェクト、および、
前記非仮想ロボットの前記ローカル環境の仮想表現のコンテキスト内の前記非仮想ロボットの実際のカメラフィード
のうち少なくとも１つの表現を含む、請求項１１に記載のシステム。
【請求項16】
前記ロボットは、非仮想ロボットであり、前記非仮想ロボットは、前記非仮想ロボットを制御するために前記拡張現実または複合現実システムを使用して前記ユーザによって遠隔操作され、
前記ロボットの前記仮想サロゲートは、前記実行危険を回避するために修正された前記１つまたは複数のコマンドに対する前記非仮想ロボットの予想される応答をエミュレートする、請求項１に記載の方法。
前記ロボットの前記仮想サロゲートは、前記実行危険を回避するために修正された前記１つまたは複数のコマンドに対する前記非仮想ロボットの予想される応答をエミュレートする、請求項１に記載の方法。
【請求項17】
前記規則違反が、前記非仮想ロボットに、最大高さを超えさえ、最小高さを下回らせ、最大速度を超えさせ、または最小速度を下回らせる、請求項１６に記載の方法。
【請求項18】
前記修正するステップによって修正されたときの前記１つまたは複数のコマンドが前記非仮想ロボットによって実行される前に、前記非仮想ロボットの将来の状態をさらなる拡張現実または複合現実システムにブロードキャストするステップをさらに含む、請求項１７に記載の方法。
【請求項19】
前記ロボットは空中ロボットである、請求項１に記載の方法。
【請求項20】
前記非仮想ロボットは非仮想空中ロボットである、請求項１１に記載のシステム。
【請求項21】
前記非仮想ロボットおよび前記ロボットの前記仮想サロゲートは空中ロボットである、請求項１６に記載の方法。
【外国語明細書】