特表 2024-506452 実世界デバイスを制御するためのコマンドを有効にする拡張現実方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-14

(54)【発明の名称】実世界デバイスを制御するためのコマンドを有効にする拡張現実方法及びシステム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240206BHJP

   A47L 9/28 20060101ALI20240206BHJP

   H04L 67/131 20220101ALI20240206BHJP

【ＦＩ】

G06F3/16 630

G06F3/16 610

G06F3/16 650

A47L9/28 E

H04L67/131

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023539095

(86)(22)【出願日】2022-01-10

(85)【翻訳文提出日】2023-08-01

(86)【国際出願番号】 EP2022050303

(87)【国際公開番号】W WO2022152636

(87)【国際公開日】2022-07-21

(31)【優先権主張番号】21305026.3

(32)【優先日】2021-01-12

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ｉＰｈｏｎｅ

２．ブルートゥース

(71)【出願人】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ローラン，アンソニー

(72)【発明者】

【氏名】アローム，ヴィンセント

(72)【発明者】

【氏名】バイヤール，カロリーヌ

(72)【発明者】

【氏名】フラデ，マシュー

(72)【発明者】

【氏名】ジョエット，ピエリック

【テーマコード（参考）】

3B057

【Ｆターム（参考）】

3B057DA00

(57)【要約】

周囲のシーンの一部をカメラがキャプチャしてユーザビューを取得し、所与のタイプの制御可能デバイスのセット内の少なくとも１つの制御可能デバイス若しくは制御可能デバイスのグループ、又はモバイル制御可能デバイスの少なくとも１つの場所若しくは方向を一意に識別する、曖昧さ除去情報が取得され、ユーザビューと、ユーザビューに重ねられた少なくとも１つの制御可能デバイスに関する曖昧さ除去情報とがディスプレイ上に表示され、少なくとも１つの制御可能デバイスを制御することを意図したコマンドが受信され、曖昧さ除去情報の少なくとも一部を含むコマンドと、コマンドに基づくメッセージとが、対応する制御可能デバイスに向けて送信される。
【選択図】 図１３

【特許請求の範囲】

【請求項1】

システムであって、
周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、
ディスプレイと、
プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、
少なくとも１つのハードウェアプロセッサと、を備え、前記少なくとも１つのハードウェアプロセッサは、前記命令を実行して、
前記ユーザビュー内の制御可能オブジェクトを検出し、
前記制御可能オブジェクトが、同じオブジェクトタイプの複数の制御可能オブジェクトを含むという条件で、
前記同じオブジェクトタイプの前記複数の制御可能オブジェクト向けの曖昧さ除去情報であって、前記同じオブジェクトタイプの制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得し、かつ
前記曖昧さ除去情報を、前記ユーザビューに重ねて、前記ディスプレイ上に表示させるように構成されている、システム。

【請求項2】

少なくとも１つのサブセットが、複数の制御可能オブジェクトを含む、請求項１に記載のシステム。

【請求項3】

前記少なくとも２つのサブセットが各々、前記同じオブジェクトタイプの単一の制御可能オブジェクトを含む、請求項１に記載のシステム。

【請求項4】

前記少なくとも１つのハードウェアプロセッサが、前記命令を実行して、前記ディスプレイ上に前記ユーザビューを表示するように更に構成されている、請求項１に記載のシステム。

【請求項5】

少なくとも１つの制御可能デバイスを制御することを意図したコマンドを受信するように構成されている入力インターフェースであって、コマンドは、前記曖昧さ除去情報の少なくとも一部を含む、入力インターフェースと、
前記コマンドに基づくメッセージを、対応する制御可能デバイスに向けて送信するように構成されている通信インターフェースと、を更に備える、請求項１に記載のシステム。

【請求項6】

前記入力インターフェースがマイクロフォンであり、前記コマンドが音声コマンドである、請求項５に記載のシステム。

【請求項7】

前記少なくとも１つのハードウェアプロセッサが、前記命令を実行して、メッセージを受信すると、制御可能デバイスのグループであって、前記メッセージが、コマンドに基づき、かつ前記グループに含まれる制御可能デバイスの識別子を含む、制御可能デバイスのグループを作成し、かつ前記グループを一意に識別する曖昧さ除去情報と前記グループを関連付けるように更に構成されている、請求項１に記載のシステム。

【請求項8】

前記少なくとも１つのハードウェアプロセッサが、前記命令を実行して、対応するコマンドを受信すると、前記ユーザビュー内のあるタイプの全ての前記制御可能デバイスを、前記グループ内に含めるように更に構成されている、請求項７に記載のシステム。

【請求項9】

前記少なくとも１つのハードウェアプロセッサが、前記命令を実行して、コマンドであって、タイプと、前記コマンドが前記ユーザビュー内の前記タイプの全ての制御可能デバイスに関連するという表示と、を含む、コマンドを受信すると、前記ユーザビュー内の全ての制御可能デバイスを制御するように更に構成されている、請求項１に記載のシステム。

【請求項10】

前記命令を実行して、前記曖昧さ除去情報を取得するように構成されていることが、前記曖昧さ除去情報を生成するように構成されていることを含む、請求項１に記載のシステム。

【請求項11】

前記システムが、拡張現実（ＡＲ）デバイスに実装されている、請求項１に記載のシステム。

【請求項12】

方法であって、
カメラを使用してキャプチャされたユーザビュー内の制御可能オブジェクトを検出することと、
前記制御可能オブジェクトが、同じオブジェクトタイプの複数の制御可能オブジェクトを含むという条件で、
前記同じオブジェクトタイプの前記複数の制御可能オブジェクト向けの曖昧さ除去情報であって、前記同じオブジェクトタイプの制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得することと、
前記曖昧さ除去情報を、前記ユーザビューに重ねて、ディスプレイ上に表示することと、を含む、方法。

【請求項13】

少なくとも１つのサブセットが、複数の制御可能オブジェクトを含む、請求項１２に記載の方法。

【請求項14】

前記少なくとも２つのサブセットが各々、前記同じオブジェクトタイプの単一の制御可能オブジェクトを含む、請求項１２に記載の方法。

【請求項15】

前記ユーザビューを前記ディスプレイ上に表示することを更に含む、請求項１２に記載の方法。

【請求項16】

入力インターフェースを通じて、少なくとも１つの制御可能デバイスを制御することを意図したコマンドであって、前記曖昧さ除去情報の少なくとも一部を含む、コマンドを受信することと、
通信インターフェースを通じて、前記コマンドに基づくメッセージを、対応する制御可能デバイスに向けて送信することと、を更に含む、請求項１２に記載の方法。

【請求項17】

前記入力インターフェースがマイクロフォンであり、前記コマンドが音声コマンドである、請求項１６に記載の方法。

【請求項18】

メッセージを受信すると、制御可能デバイスのグループであって、前記メッセージが、コマンドに基づき、かつ前記グループに含まれる制御可能デバイスの識別子を含む、制御可能デバイスのグループを作成することと、
前記グループを一意に識別する曖昧さ除去情報と、前記グループを関連付けることと、を更に含む、請求項１２に記載の方法。

【請求項19】

対応するコマンドを受信すると、前記ユーザビュー内のあるタイプの全ての前記制御可能デバイスを、前記グループ内に含めることを更に含む、請求項１８に記載の方法。

【請求項20】

コマンドであって、タイプと、前記コマンドが前記ユーザビュー内の前記タイプの全ての制御可能デバイスに関連するという表示と、を含む、コマンドを受信すると、前記ユーザビュー内の前記タイプの全ての制御可能デバイスを制御することを更に含む、請求項１２に記載の方法。

【請求項21】

前記曖昧さ除去情報を取得することが、前記曖昧さ除去情報を生成することを含む、請求項１２に記載の方法。

【請求項22】

前記方法が、拡張現実（ＡＲ）デバイスで実施される、請求項１２に記載の方法。

【請求項23】

システムであって、
周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、
ディスプレイと、
プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、
少なくとも１つのハードウェアプロセッサと、を備え、前記少なくとも１つのハードウェアプロセッサは、前記命令を実行して、
前記ユーザビュー内の複数の制御可能オブジェクトを検出し、
制御されるタイプのオブジェクトを指定するユーザコマンドを受信し、
前記複数の制御可能オブジェクトが、前記タイプのオブジェクトの単一の制御可能オブジェクトを含むという条件で、前記タイプのオブジェクトの前記単一の制御可能オブジェクト向けの前記ユーザコマンドに対応する制御メッセージを送信し、
前記複数の制御可能オブジェクトが、前記タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、
前記タイプのオブジェクトの前記複数の制御可能オブジェクトについての曖昧さ除去情報であって、前記タイプのオブジェクトの前記複数の制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得し、かつ
前記曖昧さ除去情報を、前記ユーザビューに重ねて、前記ディスプレイ上に表示させるように構成されている、システム。

【請求項24】

方法であって、
カメラによってキャプチャされたユーザビュー内の複数の制御可能オブジェクトを検出することと、
制御されるタイプのオブジェクトを指定するユーザコマンドを受信することと、
前記複数の制御可能オブジェクトが、前記タイプのオブジェクトの単一の制御可能オブジェクトを含むという条件で、前記タイプのオブジェクトの前記単一の制御可能オブジェクト向けの前記ユーザコマンドに対応する制御メッセージを送信することと、
前記複数の制御可能オブジェクトが、前記タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、
前記タイプのオブジェクトの前記複数の制御可能オブジェクトについての曖昧さ除去情報であって、前記タイプのオブジェクトの前記複数の制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得することと、
前記曖昧さ除去情報を、前記ユーザビューに重ねて、前記ディスプレイ上に表示させることと、を含む、方法。

【請求項25】

システムであって、
周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、
ディスプレイと、
プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、
少なくとも１つのハードウェアプロセッサと、を備え、前記少なくとも１つのハードウェアプロセッサは、前記命令を実行して、
場所を示すのに好適である空間的曖昧さ除去情報を、前記ユーザビューに重ねて、前記ディスプレイ上に表示させ、
制御されるモバイル制御可能オブジェクト、動作及び少なくとも１つの場所を指定する、ユーザコマンドを受信し、かつ
前記ユーザコマンドに対応する、前記モバイル制御可能オブジェクト向けの制御メッセージを送信するように構成されている、システム。

【請求項26】

前記空間的曖昧さ除去情報が、少なくとも１つの平面にわたって延在し、かつ複数の識別された領域を含むグリッドを含む、請求項２５に記載のシステム。

【請求項27】

前記グリッドが粒度を有し、前記少なくとも１つのハードウェアプロセッサが、前記グリッドの前記粒度を修正するように更に構成されている、請求項２６に記載のシステム。

【請求項28】

前記空間的曖昧さ除去情報が、前記モバイル制御可能オブジェクトによって到達可能な領域に限定されている、請求項２５に記載のシステム。

【請求項29】

前記少なくとも１つのハードウェアプロセッサが、場所に関しては曖昧である、前のコマンドの受信を条件に、前記曖昧さ除去情報を重ねるように更に構成されている、請求項２５に記載のシステム。

【請求項30】

方法であって、
場所を示すのに好適である空間的曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させることと、
制御されるモバイル制御可能オブジェクト、動作及び少なくとも１つの場所を指定する、ユーザコマンドを受信することと、
前記ユーザコマンドに対応する、前記モバイル制御可能オブジェクト向けの制御メッセージを送信することと、を含む、方法。

【請求項31】

前記空間的曖昧さ除去情報が、少なくとも１つの平面にわたって延在し、かつ複数の識別された領域を含むグリッドを含む、請求項３０に記載の方法。

【請求項32】

前記グリッドが粒度を有し、前記方法が、前記グリッドの前記粒度を修正することを更に含む、請求項３１に記載の方法。

【請求項33】

前記空間的曖昧さ除去情報が、前記モバイル制御可能オブジェクトによって到達可能な領域に限定されている、請求項３０に記載の方法。

【請求項34】

場所に関しては曖昧である、前のコマンドの受信を条件に、前記曖昧さ除去情報を重ねることを更に含む、請求項３０に記載の方法。

【請求項35】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、請求項１２～２２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。

【請求項36】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、請求項２４に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。

【請求項37】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、請求項３０～３４のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、拡張現実（Augmented Reality、ＡＲ）に関し、具体的には、ＡＲを活用した実世界デバイスのユーザ制御に関する。

【背景技術】

【0002】

この節は、以下に説明及び／又は特許請求される本開示の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本開示の様々な態様のより良好な理解を容易にするための背景情報を読者に提供する上で有用であると考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

周囲の実世界環境のライブビューに仮想コンテンツを追加することを特徴とする拡張現実（ＡＲ）技術は、非常に急速に進化している。それは産業界に定着しており、ＡＲベースのエンドユーザアプリケーション（例えば、ゲーム、インテリアデザイン、仮想試着）は、ますます普及している。

【0004】

ＡＲはまた、ユーザが、スマートオブジェクト又はＡＲベースのロボットシステムなどの、環境内に位置する接続オブジェクトを制御することを可能にする。コマンドは、典型的には、スマートグラスを使用するときに、手のジェスチャを介して入力されるか、又は、特にコマンドがグループのサブセットに関連するときに、タブレット若しくはスマートフォンの画面をクリックすることによって入力される。

【0005】

しかしながら、音声は、デジタルシステムと対話するための一般的なタイプのインターフェースである。このことは、自然言語に基づいているので、非常にユーザフレンドリであるとみなされることが多い。新しいシステムは、音楽を再生し、情報を検索し、又は、スマート要素（例えば、Ｓｉｒｉを備えたｉＰｈｏｎｅ、Ａｍａｚｏｎ Ｅｃｈｏ及びＧｏｏｇｌｅ Ｈｏｍｅ）を制御するためのホームネットワーク用のハブとして機能する、仮想又は知的パーソナルアシスタントを含む。音声も、ＡＲシステムと通信する一般的な方式になることが予想される。

【0006】

音声コマンドの欠点は、例えば、いくつかの中から１つのシャッタ又は１つのライトを選択するときか、又は、ロボットに特定の位置に移動するように要求するときに、音声コマンドが常に正確であるとは限らないことである。ユーザは、デバイス又は座標系を識別して位置を正確に特定するために、追加のデータ（例えば、ラベル）を必要とする場合がある。

【0007】

したがって、ＡＲシステムにおける音声コマンドの欠点のうちの少なくともいくつかに対処する解決策に対する要望があることが理解されよう。本原理は、かかる解決策を提供する。

【発明の概要】

【0008】

第１の態様では、本原理は、システムであって、周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、ディスプレイと、プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、少なくとも１つのハードウェアプロセッサと、を含み、少なくとも１つのハードウェアプロセッサは、命令を実行して、ユーザビュー内の制御可能オブジェクトを検出し、制御可能オブジェクトが、同じオブジェクトタイプの複数の制御可能オブジェクトを含むという条件で、同じオブジェクトタイプの複数の制御可能オブジェクト向けの曖昧さ除去情報であって、同じオブジェクトタイプの制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得し、かつ曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させるように構成されている、システムを対象とする。

【0009】

第２の態様では、本原理は、方法であって、カメラを使用してキャプチャされたユーザビュー内の制御可能オブジェクトを検出することと、制御可能オブジェクトが、同じオブジェクトタイプの複数の制御可能オブジェクトを含むという条件で、同じオブジェクトタイプの複数の制御可能オブジェクト向けの曖昧さ除去情報であって、同じオブジェクトタイプの制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得することと、曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示することと、を含む、方法を対象とする。

【0010】

第３の態様では、本原理は、システムであって、周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、ディスプレイと、プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、少なくとも１つのハードウェアプロセッサと、を含み、少なくとも１つのハードウェアプロセッサは、命令を実行して、ユーザビュー内の複数の制御可能オブジェクトを検出し、制御されるタイプのオブジェクトを指定するユーザコマンドを受信し、複数の制御可能オブジェクトが、タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、タイプのオブジェクトの単一の制御可能オブジェクト向けのユーザコマンドに対応する制御メッセージを送信し、複数の制御可能オブジェクトが、タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、タイプのオブジェクトの複数の制御可能オブジェクトについての曖昧さ除去情報であって、タイプのオブジェクトの複数の制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得し、かつ曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させるように構成されている、システムを対象とする。

【0011】

第４の態様では、本原理は、方法であって、カメラによってキャプチャされたユーザビュー内の複数の制御可能オブジェクトを検出することと、制御されるタイプのオブジェクトを指定するユーザコマンドを受信することと、複数の制御可能オブジェクトが、タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、タイプのオブジェクトの単一の制御可能オブジェクト向けのユーザコマンドに対応する制御メッセージを送信することと、複数の制御可能オブジェクトが、タイプのオブジェクトの複数の制御可能オブジェクトを含むという条件で、タイプのオブジェクトの複数の制御可能オブジェクトについての曖昧さ除去情報であって、タイプのオブジェクトの複数の制御可能オブジェクトの少なくとも２つのサブセットを一意に識別するのに好適である、曖昧さ除去情報を取得することと、曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させることと、を含む、方法を対象とする。

【0012】

第５の態様では、本原理は、システムであって、周囲のシーンのユーザビューをキャプチャするように構成されているカメラと、ディスプレイと、プロセッサによって実行可能な命令を記憶し、かつパラメータを記憶するように構成されているメモリと、少なくとも１つのハードウェアプロセッサと、を含み、少なくとも１つのハードウェアプロセッサは、命令を実行して、場所を示すのに好適である空間的曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させ、制御されるモバイル制御可能オブジェクト、動作及び少なくとも１つの場所を指定するユーザコマンドを受信し、かつユーザコマンドに対応する、モバイル制御可能オブジェクト向けの制御メッセージを送信するように構成されている、システムを対象とする。

【0013】

第６の態様では、本原理は、方法であって、場所を示すのに好適である空間的曖昧さ除去情報を、ユーザビューに重ねて、ディスプレイ上に表示させることと、制御されるモバイル制御可能オブジェクト、動作及び少なくとも１つの場所を指定する、ユーザコマンドを受信することと、ユーザコマンドに対応する、モバイル制御可能オブジェクト向けの制御メッセージを送信することと、を含む、方法を対象とする。

【0014】

第７の態様では、本原理は、命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、第２の態様の方法を実行させる、非一時的コンピュータ可読記憶媒体を対象とする。

【0015】

第８の態様では、本原理は、命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、第４の態様の方法を実行させる、非一時的コンピュータ可読記憶媒体を対象とする。

【0016】

第９の態様では、本原理は、命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、第６の態様の方法を実行させる、非一時的コンピュータ可読記憶媒体を対象とする。

【図面の簡単な説明】

【0017】

ここで、本原理の特徴を、添付の図面を参照して、非限定的な例として説明する。

【図1】本原理の実施形態による、ユーザビューの第１の例を例示する。

【図2】本原理の実施形態による、ユーザビューの第２の例を例示する。

【図3】本原理の実施形態による、ユーザビューの第３の例を例示する。

【図4】本原理の実施形態による、情報の第４の例を例示する。

【図5】本原理の実施形態による、システムの役割を例示する。

【図6】本原理の実施形態で使用される、２つの別個のサブグリッドを有する天井グリッドを例示する。

【図7】本原理の実施形態で使用される、床グリッドを例示する。

【図8】本原理の実施形態で使用される、より高い粒度を有する、重ね合わせられたグリッドを例示する。

【図9】色が識別子として使用される、本原理の実施形態を示す。

【図10】本原理の実施形態による、デバイスのグループ化の例を例示する。

【図11】モバイルデバイスの境界形状の２つの例を図示する。

【図12】上から見た部屋（左側）、及び対応する「ナビゲート可能なマップ」（右側）を有する例を図示する。

【図13】本原理の実施形態による、実行時のシステムのシーケンス線図の例を図示する。

【発明を実施するための形態】

【0018】

本原理は、具体的には音声（すなわち、声の）コマンドを使用して、デバイスの制御を容易にするために、周囲環境に関する情報（例えば、メタデータ）を生成し、ＡＲ内のユーザに表示するためのシステムを提供する。

【0019】

表示された情報は、例えば、視認環境における各スマートデバイス（又はシャッタ、ライト、及び電源スイッチなどの種類の各デバイス）と関連付けられた、特定の、おそらく一意のラベル（すなわち、識別子）であってもよい。

【0020】

表示された情報の別の例は、目視されているシーン上の二次元又は三次元グリッドのオーバーレイであり、グリッドは、空間を、識別されたセルのセットに更に分割する。本明細書では、「シーン」という表現は、典型的には、実世界環境を指し、「ユーザビュー」は、典型的には、ＡＲデバイスを通してユーザに表示される又は可視であるものを指し、典型的には、現在のユーザビューは、シーンの一部を表示する。

【0021】

システムは、三次元モデル、部屋の境界形状、及び検出平面（例えば、床、壁、天井、テーブル）などの、環境に関する有効データを使用することができる。

【0022】

新しい制御可能デバイスがシステムに追加されると、位置、ラベル、境界形状及びモデルなどの情報とともに、自動的に、又はユーザによって明示的に登録され得る。ライト又はシャッタ（すなわち、静的デバイス）を識別することは、ロボット（すなわち、モバイルデバイス）が移動できる部屋の中の場所、位置又は領域を識別することとは異なるので、情報は、典型的には、使用事例のタイプに依存するであろう。情報は、典型的には、デバイスのタイプにも依存する。例えば、ドローン及びロボットは、同じ空間内で移動せず、異なるサイズの２つのロボットは、部屋の中の同じ領域に到達することができない場合がある。別の例として、ライト及びシャッタは異なる特性を有し、２つの異なる光源は、強度又は色を変更する能力又は変更しない能力などの、異なる特性を有し得る。

【0023】

言い換えれば、情報は、デバイスタイプ（例えば、ライトの番号及びシャッタの色）に依存し得、同じタイプのデバイス、及び／又は同じタイプのデバイスのグループ、及び／又はモバイルデバイスの移動旋回などが可能な場所又は方向を明確にする。

【0024】

図１は、本原理の実施形態による、ユーザビューの第１の例を例示する。本例は、（制御可能デバイスの例としての）個々の光源（本例では、正方形Ａ３、Ｂ１及びＣ１のランプ）の選択を可能にするために、システムが空間（本例では、天井）に二次元グリッドを重ね合わせた環境を示す。

【0025】

図２及び図３は、本原理の実施形態による、ユーザビューの第２の例及び第３の例を例示する。図２では、ラベル（ライト＃１１、ライト＃１２及びライト＃１３）が、表示されている環境内の光源の近傍に表示されている。図３では、（異なるハッチングによって示された）色が、光源の識別子として使用される。本例では、着色された形状は、その対応する光源の少なくとも一部を覆う。

【0026】

実施形態では、システムは、例えば、図１及び図２のものなどの、複数の異なるタイプの情報を提供することができる。ユーザは、レンダリング（すなわち、情報のタイプ）を個人化することができ、また、後で変更し得る好ましいモードを選択するために、あるモード（例えば、ラベル）から別のモード（例えば、色）に切り替えることもできる。

【0027】

次いで、ユーザは、システムによって明確に解釈可能であり得る音声コマンド（例えば、「ライト＃１１をオンにする」）を使用することができる。演出モード（すなわち、表示された情報）に応じて、音声コマンドは、例えば、以下のタイプのものであり得る。
・「Ｂ１のライトのオン／オフを切り替える」
・「ライト＃１３のオン／オフを切り替える」
・「赤のライトのオン／オフを切り替える」

【0028】

図４は、本原理の実施形態による、情報の第４の例を例示する。本例では、ユーザは、表示された情報を使用して、ライト、シャッタ及びロボットを制御することができる。

【0029】

図４に示された環境で使用され得る音声コマンドの例は、以下の通りである。
・「窓＃５のシャッタを閉じる／開く」
・「ライト＃１１のオン／オフを切り替える」
・「ロボット掃除機：Ａ１に移動する」
・「ロボット掃除機：領域Ａ２及び領域Ａ３を掃除する」、「ロボット掃除機：［矩形］Ａ２～Ｃ４を掃除する」

【0030】

実施形態では、システムは、単一のコマンドを使用して制御され得るように、制御可能デバイスのグループの作成を可能にする。例えば、このことは、リビングルームの全てのライトを有するグループ、及び、家の全てのライトを有する別のグループの作成を可能にすることができる。別の例は、ユーザが、表示されたデバイス識別子を選択し、これらをグループ識別子とともに特定のコマンドで使用して、グループを作成する（例えば、「ライト＃１１及びライト＃１２を含む「ムードライト」グループを作成する」）ことである。

【0031】

実施形態では、ユーザは、例えば、グリッドの粒度（すなわち、セルサイズ）を変更するために、所与のモード向けの情報提示を個人化することができる。

【0032】

システムはまた、例えば、コマンド「芝刈り機：領域Ｆ３～Ｆ６を刈り取る」などで、外灯、灌漑システムの部品、ロボット芝刈り機又はドローンを制御するために、屋外で動作することができる。

【0033】

実施形態では、情報は、現在のユーザビューに表示されている限りにおいてのみ、有効であり得る。このことは、ラベル又は色などの、情報の再利用を可能にすることができる。別の実施形態では、情報は永続的であり得、そのため、例えば、ライト＃１１は、（例えば、ユーザの選択によって）情報が変更されるまで、そのようにラベル付けされたままである。このことは、ディスプレイが無効にされている（例えば、オフに切り替えられている）場合、又はデバイスが見えない場合など、情報が表示されていないときにも、情報を使用して音声コマンドを有効にすることができる。異なるタイプの情報は、異なる規則に従うことができ、例えば、システムでは、ラベルは永続的であり得るが、色は永続的ではない。実施形態では、情報は、半永続的であり得、例えば、ユーザビュー内にもはや存在しなくなった後、少しの間（例えば、１秒又は３秒）有効であり得る。このことは、例えば、ユーザが周囲の環境を素早く見て、以前は非表示の制御可能デバイスを探し、次に、音声コマンドで、最近表示された情報を使用することを可能にすることができる。

【0034】

図５は、本原理の実施形態による、システム５００の役割を例示する。システム５００は、サーバ５１０、自然言語インタープリタ５２０、少なくとも１つのＡＲデバイス５３０、及び少なくとも１つの制御可能デバイス５４０を含む。

【0035】

自然言語インタープリタ５２０は、サーバ５１０又はＡＲデバイス５３０に実装され得る。ＡＲデバイスは、例えば、適切なアプリケーション又はプログラムを実行するスマートフォン、タブレット及びスマートグラスなど、環境のシーン上に情報を重ね合わせる（例えば、キャプチャ及び表示される、又は光学的に「通過する」）ことによってＡＲ機能を提供することが可能な、任意の好適なデバイスであり得る。制御可能デバイス５４０は、シャッタ若しくはランプのように静的であり得（ただし、特定のデバイスに対しては可動）、又は、ロボット掃除機、ロボット窓掃除機、ドローン若しくは玩具のように移動可能であり得る。制御可能デバイスは、その態様のうちの少なくとも１つの状態を変更することができ、例えば、電球の光は、受信されたコマンドに応答してオン又はオフにすることができる。

【0036】

サーバ５１０及びＡＲデバイス５３０は、典型的には、システムの他の役割と通信するための通信インターフェースと、メモリと、本明細書に記載の少なくとも１つの実施形態の方法を実行するための、少なくとも１つのハードウェアプロセッサと、を含む。ＡＲデバイスはまた、典型的には、シーンをキャプチャするためのカメラと、シーンのユーザビューを表示するためのディスプレイとを有する、ユーザインターフェースも含む。ＡＲデバイス５３０は、音声コマンドを受信するためのマイクロフォンを更に含み得るが、マイクロフォンはまた、外付けでもあり得る（例えば、音声コマンドを受信するように構成された別のデバイスに含まれる）。要するに、そのようなデバイスのハードウェアは、好適な既存のデバイスのハードウェアであり得、そのため、これ以上説明しない。

【0037】

本明細書に記載のように、システム５００は、ＡＲデバイス５３０上に表示するための情報を生成し、ＡＲデバイスを通して、ユーザが、サーバ５１０によって解釈され得るデータに、自然言語インタープリタ５２０によって解釈される音声コマンドを入力することができ、サーバは、必要に応じて、対応する制御可能デバイス５４０に送信されるデバイスコマンドに、データを変換し得る。

【0038】

サーバ５１０は、システム５００の他の役割のうちの、全てではないにしても、少なくともいくつかと通信することができる。いくつかの実施形態では、他の全ての役割と通信する必要はないことに留意されたい。例えば、自然言語インタープリタ５２０がＡＲデバイス５３０の一部として実装される場合、サーバが、ＡＲデバイスの役割から情報を受信する必要がないことがある（自然言語インタープリタを通過するのに十分である場合）。

【0039】

更に述べたように、情報は、デバイスに固有であり得る。それはまた、場合によっては、ユーザコマンドに応答して、より正確なコマンドを有効にするために情報の粒度を変更する（例えば、より細かいグリッドを提供する、又は、グループ化されたデバイスをグループ解除する）など、修正することもできる。

【0040】

静的な制御可能デバイスを識別する必要性は、選択の曖昧さのリスクがある場合にのみ、言い換えれば、表示されたシーンに同じタイプのいくつかのデバイスがあり、追加の情報なしに、それらを区別する明確な方式がない場合にのみ、明らかであり得ることに留意されたい。このことは、典型的には、シャッタ及び電球／ライトなどのデバイスに適用され、リビングルームに単一のＴＶセットがある場合（一般的である）、システムは、「リビングルームのＴＶをオン／オフにする」という音声コマンドを認識するように構成され得る。

【0041】

実施形態では、システムは、第１の音声コマンドを受け入れることができ、次いで、コマンドが曖昧であると判断された場合にのみ、情報（又は、例えば、第１の音声コマンドに示された種類の制御可能デバイスに関する情報のサブセット）をユーザビューに表示することができる。変形例では、情報は、特定の音声コマンド（例えば、「デバイス識別子を表示する」）に応答して表示される。

【0042】

述べたように、システム５００は、音声コマンドを認識し、サーバ５１０によって解釈可能なコマンドに変換することができる、自然言語インタープリタ５２０を含む。これは、例えば、まず、キャプチャされた音声を、（様々な制御可能デバイスと関連付けられ、それに固有の語彙を解釈することができる能力を意味する）構文解析用に入力されるテキストに変換し、次いで、解析されたテキストを、サーバ５１０に適合する１つ以上のコマンドに変換することによって、達成することができる。

【0043】

音声コマンドは、例えば、ＡＲデバイス５３０上に、又は専用の音声アシスタントデバイス（例えば、Ｇｏｏｇｌｅ Ｈｏｍｅ、Ａｍａｚｏｎ Ａｌｅｘａ、セットトップボックス又はゲートウェイ）上に埋設され得る、マイクロフォンによってキャプチャされる。自然言語インタープリタは当該技術分野で周知であり、これ以上説明しない。

【0044】

システム５００は、シーン内の要素の座標が表されている座標系、例えば、ワールド座標系（World Coordinate System、ＷＣＳ）を使用することができる。座標系は、システム全体を通した基準座標系である。デバイス（ＡＲデバイス又はモバイル制御可能デバイス）が、その位置特定／姿勢を推定するために、それ自体の座標系を有する場合であっても、デバイスは、基準座標系で再度位置特定されなければならない。そうするために、特定の座標を基準座標系に変換することができ、逆もまた同様であり、記憶することができる。変換は、サーバ、ＡＲデバイス又は制御可能デバイスによって実行され得る。

【0045】

数学的に言えば、伝達行列を使用して、これらの異なる座標系間で変換することができる。伝達行列は、サーバ５１０又は制御可能デバイス５４０によって計算され得る。座標系間の１つ以上の、好ましくは少なくとも３つの共通基準点を取得するために、例えばマーカを使用して伝達行列を計算して、シーンの特徴を検出するか、又は１つ以上のオブジェクトを検出する、異なる既知の方式がある。制御可能デバイスがサーバに登録されると、伝達行列の計算を可能にするデータ（例えば、検出すべき要素、及び基準座標系におけるその姿勢）を受信し得るか、又は、サーバが伝達行列を計算し、それを制御可能デバイスに提供するためのデータ（例えば、シーン及びカメラ姿勢のキャプチャ）を送信し得る。

【0046】

情報の生成は、以下のような環境データ又はシーンデータに依存し得る。
・三次元シーンモデル、
・床、壁、天井及びテーブルなどのシーンの主面、
・部屋の隅、
・識別され、位置特定され、ラベル付けされている関心オブジェクト（例えば、窓）。

【0047】

サーバは、例えば、セマンティックシーン分析又は幾何学的分析を通じて、そのようなデータ自体を生成し得るか、又は、シーンを分析した外部デバイスからデータを取得し得る。そのような分析は当該技術分野で知られており、説明しない。

【0048】

サーバはまた、例えば、制御可能デバイスとの通信を通して、デバイスデータを記憶するか、又は、デバイスデータへアクセスすることもできる。このことは、サーバが、以下のような様々なデバイスデータにアクセスすることを可能にする：
・その態様の状態（例えば、電球又はシャッタのオン／オフ、ロボットのオフ／停止／移動）、
・座標系におけるモバイルデバイスの位置（基準座標系、又はモバイルデバイスの特定の座標系のいずれかで表され、後者は、典型的には、サーバによる基準座標系への何らかの変換を必要とする）。

【0049】

サーバはまた、制御可能デバイスに制御コマンドを送信して、例えば、制御可能デバイスに、その状態のうちの１つ以上を変更するように命令するか、又は、制御可能デバイスが移動若しくは通過すべき、又は処理すべき（例えば、芝刈り若しくは掃除）１つ以上の位置若しくは領域を提供するように命令することもできる。

【0050】

システム構成
本原理によるシステムは、ＡＲ情報をユーザに表示するために、以下の構成を有することができる。例示的な構成は、識別子（すなわち、ラベル）ではなく、位置に基づく音声コマンドを有効にするが、構成は、この特徴及び他の特徴を含むように拡張され得ることが理解されよう。

【0051】

（制御可能な）デバイスを制御するために、ユーザは、それを識別する何らかの方式を必要とする。これを可能にするために、デバイスは、そのパラメータのうちの少なくともいくつかがシステムに知られるように、システムに追加（すなわち、登録）されるべきである。パラメータは、デバイスのタイプに依存する。

【0052】

静的な制御可能デバイスの場合、パラメータは、デバイスのタイプ（ライト、シャッタなど）及び位置を含む。これらのパラメータは、ユーザが、「Ｄ３に位置するライトのオン／オフを切り替える」などの音声コマンドを発行することを可能にする。

【0053】

基準座標系におけるデバイスの位置を登録するための、いくつかの方式がある。第１の例として、ユーザは、場合によってはＡＲデバイス上に実装され、シーンを（例えば、三次元で）表示するエディタに、デバイスの位置を示すことができる。第２の例では、実環境と重ね合わされ、透過的にレンダリングされた三次元シーンモデルを埋設するＡＲアプリケーションを使用して、位置を示すことができる。ユーザは部屋に立ち、制御可能デバイスの位置を、例えば、クリックすることによって、選択する。技術的に言えば、三次元モデルが実環境上に重ね合わされるので、ユーザが画面をクリックすると、光線が放たれ／照射され、座標は、三次元メッシュとの交点の座標である。第３の例では、シーンをセグメント化し、要素を認識してラベル付けするツールは、ユーザが、物理的な制御可能デバイスを、ツールによって識別された要素と関連付けることを可能にする。制御可能デバイスはまた、（例えば、ＵＰｎＰ、ブルートゥース又はジグビーを使用する）ネットワーク、典型的には、システムによって使用されるネットワークを介して発見可能であり得、そのパラメータはまた、このようにして取得され得る。

【0054】

モバイル制御可能デバイスの場合、２つのパラメータは、典型的には、デバイスのラベル（すなわち、識別子）と、デバイスが移動することができる空間（例えば、水平面、垂直面、又は三次元体積）と、を含む。

【0055】

本システムは、人間が読み取り可能／理解可能なラベルを、各制御可能デバイスと関連付けることを可能にする。ユーザは、音声コマンド内のラベルを使用して、デバイスを制御することができる。例えば、ロボット掃除機（robot vacuum cleaner、ＲＶＣ）は、「ＲＶＣ」又は「ＲＶＣ１」とラベル付けされる（すなわち、識別される）ことができる。特定のタイプの２つ以上のデバイスが存在するとき、デバイスを個々に識別することは、曖昧さを回避するのに役立ち得ることに留意されたい。しかしながら、あるタイプの単一のデバイスが存在する場合、ラベルは、場合によっては余分であり得る。

【0056】

モバイルデバイスの場合、ＡＲにおける追加情報を必要とする音声コマンドは、主に移動又は方向変更に関連し、例えば、ユーザは、ロボットに、所与の場所に移動するように、又は、所与の領域全体にわたって移動するように、すなわち、経路を辿るように命令する。位置データはシーンに関連し、デバイス自体には関連しない。一例として、ユーザは、「ＲＶＣ：Ｂ８に移動」及び「防犯カメラ４：Ｄ５に向きを変える」などの音声コマンドを発行することができる。

【0057】

移動及び方向変更は、例えば、「ドローン：Ｃ７に移動」、「ドローン：方向Ｘで写真を１枚撮影」、「ドローン：方向Ｙで１０分間微速度撮影を実施」、「ドローン：方向Ｚで開始する時計回り３６０°撮影を実施」のうちの１つ以上などのコマンドのシーケンスを有する特定のシナリオを有効にすることができる。指示は、例えば、コンパス方位を使用して、又はシーンの特徴若しくは制御可能デバイスを示すことによって、グリッドを参照して行われ得る。

【0058】

実施形態では、モバイル制御可能デバイスの場合、情報（例えば、グリッド）は、モバイル制御可能デバイスを識別する音声コマンドの開始の受信まで隠され得る（又は、後で修正され得る）。このことは、モバイル制御可能デバイスによって到達可能な領域の表示を可能にすることができる。

【0059】

ラベルを使用しない例示的な構成では、制御可能デバイスを識別するために場所が使用されることに留意されたい。環境データから、システムは、例えば、シーンの境界形状に一致する三次元グリッドなどの、１つ以上のグリッドを生成するための情報を取り出し、三次元グリッドは、壁、床及び天井によって画定されているか、又は、例えば、床、天井、壁ごとに１つ、水平面（例えば、テーブル）ごとに１つについての二次元グリッドのセットである。グリッドは、セル（二次元タイル又は三次元キューブ又は「ボクセル」）のセットに更に分割された、平面又は部屋を表示する。

【0060】

サーバは、状況に関するユーザ向けのグリッドのタイプを決定することができる。例えば、ＲＶＣを制御するために、床の二次元グリッドのみを表示することで十分であり得る。その一方で、ライトを識別するために、システムは、ライトを含む平面の完全なグリッド、又は、ライトを含むセル（二次元又は三次元）のみを表示することができる。ＡＲデバイス上で、次いで、ＡＲアプリケーションは、実環境上に重ね合わされたグリッドを表示することができる。図１は、ライトを含むセル及び空のセルで天井を覆う、グリッドを示す。図６は、本原理の実施形態において使用される２つの別個のサブグリッドを有する天井グリッドを例示し、第１のサブグリッドはセル１及びセル２を有し、第２のサブグリッドはセル３を有し、各セルはライトを含む。

【0061】

述べたように、モバイルデバイスの場合、音声コマンドは、目標／行き先位置及び向き（すなわち、姿勢）、又は移動先の領域、並びに、任意選択的に、その現在位置若しくは辿る経路を含み得る。そのような音声コマンドを有効にするために、グリッドを、モバイルデバイスのタイプに適合させることができる。グリッドは、床、天井、壁又は任意の他の平面（例えば、テーブル）上に重ね合わされた、二次元グリッドであってもよい。例えば、床に重ね合わされたグリッドは、ロボット掃除機に好適である。飛行ドローンの場合、グリッドはまた三次元であってもよい。図７は、本原理の実施形態で使用される、床グリッドを例示する。

【0062】

少なくとも１つの実施形態では、ユーザは、例えば、セルフォーマット又はサイズを変更することによって、グリッドのレンダリングを個人化することができる。ユーザはまた、グリッド識別子がどのように提示されるかを個人化することもでき、いくつかの例は以下の通りである。
・（図７に示されるような）行及び列の識別、
・各セルに異なる色の使用、
・各セルに別個の識別子の使用、
・基準座標を使用した、行及び列の識別（例えば、「Ｘ＝２．３ｍ及びＹ＝１．２ｍに移動」）。

【0063】

読みやすさのために、システムはまた、ユーザが、平面又はボリュームの一部に対応するグリッドの表示を要求することを可能にすることもできる。

【0064】

実施形態では、ユーザは、コマンドのタイプに応じて、いつでもグリッド構成を修正することができる。例としては、以下が挙げられる：
・各々が１つのライトを含む２つのセルに変更することができる、２つのライトを含む１つのセルを有する、デフォルトグリッド。
・より良い精度を可能にするために、グリッドの一部（例えば、セルＣ３及びＣ４）を精緻化する可能性。この場合、上述のセルは、より高い粒度を有するグリッドによって置き換えられる。図８は、より高い粒度を有する、重ね合わせられたグリッドを例示する。
・ユーザの要求に応じて、選択されたセル、例えば、セルＤ５及びセルＥ５以外の全てのセルの除去。

【0065】

グリッドを個人化するとき、新しいグリッドは、サーバ又はＡＲデバイス自体によって計算され得る。ＡＲデバイスによって計算される場合、視覚情報と基準座標との新しい対応関係をサーバに通知することができ、それは、サーバは、音声コマンドに与えられた位置情報に関する情報（例えば、グリッドセル識別子、座標、色など）を基準座標に変換するために、この情報を実際に必要とするからである。

【0066】

述べたように、記載された「基本」構成は、例えば、制御可能デバイスをそのラベルにリンクさせるために更なるパラメータが必要とされ得る、ラベルの使用を可能にしない。

【0067】

加えて、基本構成では、ＡＲで提示された情報は、環境構成（例えば、床、壁、天井及び平面）に基づいており、モバイルデバイスの特性（その寸法など）によって与えられた制約を考慮しない。その結果として、ユーザは、例えば、デバイスが、その寸法のために到達又は辿ることができない目標位置又は経路を含む、音声コマンドを発行することができる。この問題を克服するために、本原理の実施形態は、デバイス特性に依存し、より正確でモバイルデバイスの制御に関連するＡＲ情報を表示するシステムを提供する。この情報を取得するために、システムは、例えば、新しい制御可能デバイスがシステムに追加（すなわち、登録）されたときに、制御可能デバイスの更なる特性を取得し得る。

【0068】

静的な制御可能デバイスの場合、既に述べたように、システムは、デバイスタイプ（例えば、光又はシャッタ）を取得する。これに加えて、システムは、静的な制御可能デバイスのラベルを使用することができる。ラベルは、単純で直感的、すなわち、ユーザフレンドリであり、曖昧でないことが好ましい。例えば、リビングルーム内の登録制御可能デバイスの中に、単一の制御可能なシャッタがある場合、シャッタタイプのデバイスについて識別の曖昧さのリスクがないので、システムは、「シャッタ」又は「リビングルームのシャッタ」というラベルをシャッタに割り当てることができる。

【0069】

実施形態では、テキストラベルの代わりに、又はそれに加えて、図形情報が使用される。図形情報は、セットアップ段階中に提供され得る。

【0070】

図９は、色が識別子として使用される、本原理の実施形態を示す。図９の例では、（異なるハッチングによって示された）３つの異なる色を使用して、３つのライト及び３つのシャッタが識別されている。ライトは、異なる色の形状で識別され、シャッタは、関連付けられている異なる色の窓によって識別されている。例えば、音声コマンド「緑のライトをオンに切り替える」は、３つのライトのうちのライトを一意に識別するだけでなく、異なるタイプのデバイスであるシャッタとの曖昧さの可能性がないので、ライトとシャッタとの間での色を「再利用」することが可能であることに留意されたい。

【0071】

図示されていない変形例では、各壁は色と関連付けられ、壁の任意のシャッタは、対応する色によって識別され得る。

【0072】

理解されるように、識別子の目的は、ライト又はシャッタのグループなどのセット内の特定のデバイスを明確に識別することができることである。グループの作成及び追加は、セットアップ段階でサーバによって実行され得る。

【0073】

個人化されたグループ及びサブグループを作成することも可能である。例えば、典型的には、個々に識別され得る多くのライトが家の中にある。ライトはまた、部屋ごと又は部屋の一部に、グループ化することもできる。図１０は、本原理の実施形態による、デバイスのグループ化の例を例示する。図１０は、５つのライト（ライト＃４～ライト＃８）を有するリビングルームを示す。本例では、左側の壁のライトは、（緑色、第１の斜めハッチングによって表された）第１のサブグループにあり、右側の壁のライトは、（赤色、クロスハッチングによって表された）第２のサブグループにある。加えて、リビングルーム内の全てのライトは、更なるグループ、「リビングルームのライト」（図示せず）を形成することができる。グループ及びサブグループを使用することで、以下のような、より多様な音声コマンドを有効にすることができる：
・「ライト＃５のオン／オフを切り替える」
・「緑色グループのライトのオン／オフを切り替える」（すなわち、左側の壁のライト）
・「左側の壁のライトのオン／オフを切り替える」（すなわち、上記のコマンドと同じであるが、表現が異なる）
・「リビングルームの全てのライトのオン／オフを切り替える」
・「１階の全てのライトのオン／オフを切り替える」
・「家の全てのライトのオン／オフを切り替える」

【0074】

後半の４つのコマンドのようないくつかのコマンドの場合、これらのコマンドは識別子を使用しないので、識別子を表示する必要がないことに留意されたい。

【0075】

例えば、現在のユーザビューにある、所与のタイプの全てのデバイスを含むグループは、動的であり得ることにも留意されたい。このことは、これらのデバイスの全て、例えば、「これら全てのライトをオンに切り替える」などの、「これら全て」に対する黙示的な識別子を有するコマンドを有効にすることができる。静的なグループはまた、同じ原理、すなわち、現在のユーザビュー内の所与のタイプの全ての制御可能オブジェクトをグループ化すること、例えば、「これら全てのライトを含む「作業用ライト」グループを作成する」を使用して、作成され得る。

【0076】

静的な識別子に加えて、システムはまた、動的な識別子を利用することもできる。そのような動的な識別子は、制御可能デバイスに対する現在のユーザ場所及び向きなどの、状況に依存し得る。動的な識別子は、部屋などの空間の事前の識別及びラベル付けを踏まえることができる。

【0077】

同じタイプの複数の制御可能デバイスに対して、ラベル付けは、同じタイプの全ての制御オブジェクトの間の永続的で一意のラベルと、永続的なラベルにリンクされ、制御可能デバイスに対する現在のユーザの場所及び向きに依存する、動的なラベルとの二重であり得る。例えば、家などの領域に４つの制御可能なシャッタがあり、リビングルームに２つ（北側の壁に１つ、西側の壁に１つ）、キッチンに１つ、寝室に１つある場合、永続的なラベル付けは、以下のようになる。
・リビングルームの北側の壁にある第１のシャッタ：「リビングルームのシャッタ北」
・リビングルームの西側の壁にある第２のシャッタ：「リビングルームのシャッタ西」
・キッチンにある第３のシャッタ：「キッチンシャッタ」
・寝室にある第４のシャッタ：「寝室シャッタ」

【0078】

使用中、ＡＲユーザインターフェースは、識別子を簡略化する（すなわち、短縮する）ように動的に調整され得るが、それでも、必要に応じて複数の選択肢を提示する。例えば、ユーザビューが１つのシャッタのみを含む場合、ラベルは、追加の記述なしに、動的に簡略化して「シャッタ」とすることができる。

【0079】

しかしながら、モバイル制御可能デバイスは、少し異なる様式で扱われ得る。これらのデバイスは可動であるので、（可能な）デバイスの移動に関する情報、例えば、目標／行き先位置及び移動先の領域、並びに、任意選択的に、現在の位置及び辿る経路は、ユーザにとって関心がある。前述したように、シーン構成のみに基づく情報は、デバイスの寸法のために不可能なオプションをユーザに提案する可能性があるので、必ずしも関連するとは限らない。

【0080】

よって、システムは、モバイルデバイスが移動することができる好適な空間、「ナビゲート可能なマップ」を提供するために、情報を精緻化することができる。

【0081】

一実施形態では、システムは、デバイス特性に関する情報を有さず、ロボットは、探索中にナビゲート可能なマップを生成し、原則的に領域全体にわたって移動し、例えば、ＬｉＤＡＲ及び計算モジュールを使用して、自律的に領域を発見することによって、ナビゲート可能なマップを生成する。ナビゲート可能なマップは、デバイスが移動することができる領域のみを含む。モバイルデバイスは、ナビゲート可能なマップをサーバに送信することができ、サーバはそれを記憶し、必要に応じて使用する。

【0082】

変形実施形態では、システムは、デバイス特性に関する情報を有さないが、モバイルデバイスからのフィードバックに基づいて、モバイルデバイスが移動する領域のグリッドを精緻化する。モバイルデバイスによって到達された領域は、到達可能なものとしてマークされ、一方で、（まだ）到達されていない領域は、到達不能なものとしてマークされる。

【0083】

別の実施形態では、サーバは、デバイスの特性及び制約、並びに、環境（すなわち、領域）の三次元モデル又は境界形状に基づいて、ナビゲート可能なマップを計算する。

【0084】

デバイス登録中、例えば、制御可能デバイスの形状（オブジェクトの三次元モデル）又は境界形状（デバイスを近似し、包含する形状の三次元モデル）を取得することができる。三次元モデル又は境界形状は、デバイス製造業者によって（例えば、デバイス自体を介するか、若しくは、製造業者のウェブサイトからダウンロード可能に）提供されてもよく、又は、ユーザによって設定されてもよい。図１１は、モバイルデバイスの境界形状の２つの例を図示する。図に示すように、ロボットは、箱（左側）として、及び円筒（右側）として近似されている。

【0085】

環境データ及び（境界）形状を使用して、サーバは、モバイルデバイスが移動先又は移動範囲であり得るセル（空間又はボリューム）のみを保持するために、二次元又は三次元であるグリッドを精緻化することによって、ナビゲート可能なマップを取得することができる。

【0086】

二次元では、制御可能デバイスは、以下を移動可能である。
・床又はテーブルなどの水平面例えば、ロボット掃除機）。
・壁又は窓などの垂直面（例えば、ロボット窓清掃機）。
・起伏のある地面（すなわち、傾斜）。例えば、庭の傾斜は、芝刈り機の動きの限界に影響を与えないことが多い。芝刈り機は、二次元座標に沿って地面を辿る。したがって、傾斜が存在する場合であっても、地面にマッピングされたグリッドは、芝刈り機によって高さが使用されないので、二次元マップとみなすことができる。しかしながら、グリッドは、実世界のシーン上に正確に重ね合わされるべきであり、したがって、環境データは、それでも三次元座標として提供されるべきである。

【0087】

例示的な例では、デバイスは床を横切って移動するが、本原理は、垂直面内又は傾斜した地面上を移動するデバイスにも適用されることが理解されよう。

【0088】

システムは、障害物を含むセルを除去することによって、デバイスが移動することができる領域を決定することができる。言い換えれば、サーバは、ロボットが入ることができない二次元空間の部分を、ロボットの寸法（又は、そのメッシュ）、又は前述したようにロボットを近似する境界形状を使用することによって、例えば、シーンの三次元モデル及びフロアのマップから推定する。

【0089】

図１２は、上から見た部屋（左側）、及び対応する、赤色で表された、「ナビゲート可能なマップ」（右側）を有する例を図示する。ロボットは、いくつかの家具の下を移動することができるが、全ての家具ではないことに留意されたい。ナビゲート可能なマップは、例えば、以下のような様々な方式で表すことができる。
・図１２に示されるような画像であって、画素が２つの色（１つは、ナビゲート可能な部分のためのものであり、１つは、ナビゲート不可能な部分のためのものである）のうちの１つを有することができる画像、及び、基準座標において（例えば、画像の隅の基準座標を提供することによって）画素を表現する方式。
・ナビゲート可能な部分の座標を提供することによる方法（図１２では、それは赤色部分の輪郭、及び除去すべき形状輪郭のリスト、すなわち、主に座席の足を表す円であり得る）。

【0090】

ナビゲート可能なマップは、モバイルデバイスの特性に依存し、異なる境界形状を有する２つのロボットは、一方が、他方と同じエリアに到達することができない場合があるので、異なるナビゲート可能なマップを有することができ、このことは、例えば、ロボット掃除機が長椅子の下に入ることができないが、他方が長椅子の下に入ることができる場合に起こり得ることに留意されたい。その結果、１つのデバイスに対して計算されたナビゲート可能なマップは、別のデバイスに対して計算されたものとは異なり得る。

【0091】

述べたように、二次元でナビゲート可能マップを計算する原理は、三次元空間／ボリューム内を移動するドローンに拡張され得る。三次元のナビゲート可能なマップは、ドローンが到達する三次元空間／ボリュームを含む。

【0092】

ＡＲデバイス上で実行されるＡＲアプリケーションは、前述したように、制御可能デバイスと関連付けられた情報を、ＡＲで表示するように構成されている。これを行うために、ＡＲアプリケーションは、例えば、利用可能な全ての（すなわち、全ての登録デバイスの）情報、又は１つ以上の所与のタイプ（例えば、ＲＶＣ専用、又は、ライト専用）のデバイスに関連する情報のみを要求することによって、情報を取り出す。

【0093】

ＡＲアプリケーションは、例えばユーザの選択に応答して、取り出された全ての情報を同時に表示するように、又はそのサブセットを表示するように構成され得る。既に述べたように、ユーザは、単語と、標的デバイス及びコマンドとの間の対応付けをシステムが行うことができるという条件で、情報が提示される方式を、構成及び個人化することができる。

【0094】

ユーザは、モバイルデバイスに制御を発行するために、モバイルデバイスを現在のユーザビュー内に有する必要がないことにも留意されたい。このことは、例えば、１つ以上のセルを掃除するコマンドをユーザが発行したときに、ロボット掃除機がドッキングステーションに見えない場合に起こり得る。

【0095】

図１３は、本原理の実施形態による、実行時のシステムのシーケンス線図の例を図示する。シーケンス線図は、いくつかのモジュール及び相互作用を含むが、全ての実施形態、特にナビゲート可能なマップがロボット自体によって提供される実施形態が含まれるわけではないことに留意されたい。

【0096】

ステップＳ１３０２では、ＡＲアプリケーション１３０１が、情報コントローラ１３０３から、所与のシーン向け、及びデバイス（例えば、ＲＶＣ）又はデバイスのセット（例えば、ライト）向けの情報を要求する。要求はまた、いくつかのタイプのデバイスに対するものであり得るが、複数の要求を送信することも可能であり、各要求は、デバイス又はデバイスのセットに対するものである。要求は、現在のユーザビューに限定され得る。

【0097】

ステップＳ１３０４では、情報コントローラ１３０３が、各デバイスのデータセット（例えば、ラベル、位置及び境界形状）へアクセスする制御可能デバイスデータリポジトリ１３０５から、関連情報を要求する。

【0098】

ステップＳ１３０６では、制御可能デバイスデータリポジトリが、関連情報、すなわち、ステップＳ１３０４で要求されたシーン又はユーザビュー内の制御可能デバイスに関する情報を取り出して、情報コントローラ１３０３に返し、ステップＳ１３０８では、情報コントローラが、関心シーンデータのタイプ（例えば、シーンの隅、平面及び境界形状）を決定し、ステップＳ１３１０では、このデータを、計算／処理されたシーンデータにアクセスするシーンデータコントローラ１３０７に要求する。

【0099】

シーンデータコントローラ１３０７は、関連するシーンデータを取り出し、ステップＳ１３１２で、情報コントローラ１３０３に返す。ステップＳ１３１４では、情報コントローラ１３０３が、情報（例えば、グリッドの原点及び軸）を計算し、ステップＳ１３１６では、レンダリングを担当するＡＲアプリケーション１３０１に情報を返す。ＡＲアプリケーション１３０１は、既に説明したように、受信情報の全部又は一部、例えば、デバイス又はデバイスのグループを識別するラベルをレンダリングする（例えば、重ね合わせる）ことができる。受信情報がレンダリングされるか否かは、情報が、ユーザビュー内の制御可能オブジェクトに関連するか否か（この場合、情報は、典型的には、レンダリングされる）、及び／又は、情報がユーザにとって関心のあるデバイス（タイプ）に関連するか否かによって決まる。一例として、ＡＲアプリケーション１３０１は、ユーザビュー内（外ではない）のライト（シャッタではない）に関する情報をレンダリングすることができる。

【0100】

述べたように、ユーザは情報を個人化／適合化することができる。ステップＳ１３１８では、ＡＲアプリケーション１３０１が、情報コントローラ１３０３に、個人化情報の取得要求を送信する。ステップＳ１３２０では、情報コントローラ１３０３が、個人化情報を計算し、ステップＳ１３２２では、個人化情報を返す。既に説明したように、個人化は、グリッドセル（例えば、行／列、ラベル、色など）を識別する方式、それらのサイズ、及び、静的な制御可能デバイス（例えば、グリッドセル、ラベル、色など）を識別する方式に関係し得る。ステップＳ１３２４では、ＡＲアプリケーション１３０１はまた、最新情報をコマンドインタープリタ１３０９に提供する。

【0101】

ステップＳ１３２６では、自然言語インタープリタ１３１１が、受信されたユーザ音声コマンドをテキストに変換し、ステップＳ１３２８では、そのテキストをコマンドインタープリタ１３０９に送信し、ステップＳ１３３０では、コマンドのテキストを解釈する（すなわち、テキストをデバイスコマンドに変換する）。コマンドインタープリタ１３０９は、例えば、ラベル（例えば、ＲＶＣ若しくはライト１）又はタイプ及び位置（例えば、Ｂ３のライト若しくは緑のライト）から、該当するデバイスを決定することができる。モバイル制御可能デバイスの場合、コマンドはまた、コマンドインタープリタ１３０９が、音声コマンド内の位置／場所データ（例えば、グリッド識別子）を基準座標に変換することによって取得する、目標位置又は領域）も含み得る。ステップＳ１３３２では、コマンドインタープリタ１３０９が、制御可能デバイス（図示せず）と対話するデバイスコントローラ１３１３に、コマンドを送信する。

【0102】

図１３に示されたモジュールのうちの１つ以上は、ＡＲデバイスなどのデバイスに実装され得ることが理解されよう。

【0103】

したがって、本原理は、音声コマンドを通じてデバイスを制御するためのＡＲシステムを提供することができることが理解されよう。

【0104】

図に示される要素は、様々な形態のハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得ることを理解されたい。好ましくは、これらの要素は、１つ以上の適切にプログラムされた汎用デバイス上のハードウェア及びソフトウェアの組み合わせで実装され、プロセッサ、メモリ、及び入力／出力インターフェースを含み得る。

【0105】

本明細書は、本開示の原理を例示している。したがって、当業者は、本明細書に明示的に説明又は示されていないが、本開示の原理を具現化し、その範囲内に含まれる様々な構成を考案することができることが理解されよう。

【0106】

本明細書に列挙される全ての例及び条件付き言語は、本開示の原理及び当該技術分野を促進するために発明者によって寄与される概念を読者が理解するのを助ける教育目的を意図しており、かかる具体的に列挙された例及び条件に限定されるものではないものとして解釈されるべきである。

【0107】

更に、本開示の原理、態様、及び実施形態を列挙する本明細書における全ての記述、並びにその特定の例は、その構造的均等物及び機能的均等物の両方を包含することが意図される。加えて、かかる均等物は、現在既知である均等物、並びに将来開発される均等物、すなわち、構造を問わず、同じ機能を実施する、開発される任意の要素の両方を含むことが意図される。

【0108】

したがって、例えば、本明細書に提示されるブロック図は、本開示の原理を具現化する例示的な回路の概念図を表すことが当業者には理解されよう。同様に、任意のフローチャート、フロー図などは、コンピュータ可読媒体で実質的に表され、かかるコンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されよう。

【0109】

図に示される様々な要素の機能は、専用のハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個々のプロセッサによって提供され得、そのいくつかは、共有され得る。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すと解釈されるべきではなく、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、及び不揮発性記憶装置を暗黙的に含み得るが、これらに限定されない。

【0110】

従来の及び／又はカスタムの他のハードウェアも含まれ得る。同様に、図に示されるいずれのスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作を通じて、専用論理の動作を通じて、プログラム制御及び専用論理との対話を通じて、又は手動でさえ実行され得、特定の技術は、その文脈からより具体的に理解されるように、実装者によって選択可能である。

【0111】

本明細書の特許請求の範囲において、特定の機能を実施するための手段として表される任意の要素は、例えば、ａ）その機能を実施する回路要素の組み合わせ、又はｂ）その機能を実施するためにそのソフトウェアを実行するための適切な回路と組み合わされた、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含む、その機能を実施する任意の方式を包含することが意図される。かかる特許請求の範囲によって定義される本開示は、様々な列挙される手段によって提供される機能性が、特許請求の範囲が要求する様式で組み合わされ、まとめられるという事実に存する。したがって、それらの機能性を提供することができるいずれの手段も、本明細書に示されるものと均等であるとみなされる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】