知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特表2024-529689リモート制御するために視界内の制御可能デバイスの情報の視線追跡デバイスにおけるレンダリング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-08
(54)【発明の名称】リモート制御するために視界内の制御可能デバイスの情報の視線追跡デバイスにおけるレンダリング
(51)【国際特許分類】
G06F 3/01 20060101AFI20240801BHJP
G06F 3/038 20130101ALI20240801BHJP
G06F 3/04815 20220101ALI20240801BHJP
【ＦＩ】
G06F3/01 510
G06F3/038 310A
G06F3/04815
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024508538
(86)(22)【出願日】2022-08-02
(85)【翻訳文提出日】2024-02-09
(86)【国際出願番号】 EP2022071718
(87)【国際公開番号】W WO2023016869
(87)【国際公開日】2023-02-16
(31)【優先権主張番号】17/401,293
(32)【優先日】2021-08-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】110000420
【氏名又は名称】弁理士法人ＭＩＰ
(72)【発明者】
【氏名】ナガー、ラグベアー、プラサド
(72)【発明者】
【氏名】ラクシット、サルバジット
(72)【発明者】
【氏名】ホセ、レジ
(72)【発明者】
【氏名】アグラワル、マニシュ
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA07
5B087AA09
5B087BC05
5B087BC12
5B087BC13
5B087BC16
5B087BC32
5B087DD03
5B087DD12
5E555AA04
5E555AA27
5E555BA02
5E555BA38
5E555BB38
5E555BC01
5E555BE17
5E555CA42
5E555CA47
5E555CB45
5E555CB64
5E555CB65
5E555CB66
5E555CC01
5E555CC05
5E555DA08
5E555DA09
5E555DB39
5E555DB53
5E555DC13
5E555DC19
5E555DC26
5E555DC43
5E555DC52
5E555DC63
5E555DC72
5E555DD06
5E555EA12
5E555EA14
5E555EA19
5E555EA22
5E555EA27
5E555FA00
(57)【要約】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのコンピュータ・プログラム製品、システム、および方法が提供される。ユーザ位置に基づいて、ユーザの視線追跡デバイスから視界の決定が行われる。視線追跡デバイスにおいてレンダリングするためにユーザがリモート制御し得る視界内のデバイスが決定される。決定されたデバイスの情報の拡張現実表現が、視線追跡デバイスの表示にレンダリングされる。視線追跡デバイスにおいて自身の情報がレンダリングされた決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御が受信される。受信されたユーザ制御はターゲット・デバイスに送信されて、ターゲット・デバイスが制御される。
【特許請求の範囲】
【請求項1】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、動作を行うために実行されるコンピュータ可読プログラム・コードが具現化されたコンピュータ可読記憶媒体を含み、前記動作が、ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を含む、コンピュータ・プログラム製品。
【請求項2】
前記動作が、前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、
前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに含み、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１に記載のコンピュータ・プログラム製品。
【請求項3】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項２に記載のコンピュータ・プログラム製品。
【請求項4】
前記デバイスの前記ユーザ制御の前記現在の状態の情報の前記レンダリングされた拡張現実表現が、前記ユーザ制御の前記現在の状態を決定するために前記少なくとも１つのシステムにおける少なくとも１つのカメラまたは前記ターゲット領域内の前記デバイスと通信する前記少なくとも１つのシステムによって取り込まれた前記デバイスの前記ユーザ制御の画像を含む、請求項３に記載のコンピュータ・プログラム製品。
【請求項5】
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記ターゲット領域内の前記決定されたデバイスが、前記ユーザの前記視界において別のデバイスによって遮られている少なくとも１つのデバイスを含む、請求項２に記載のコンピュータ・プログラム製品。
【請求項6】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１に記載のコンピュータ・プログラム製品。
【請求項7】
前記動作が、前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、
前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに含む、請求項６に記載のコンピュータ・プログラム製品。
【請求項8】
前記動作が、前記ターゲット・デバイスに前記ユーザ制御を送信したことに応答して、前記ユーザ制御が前記ターゲット・デバイスに送信された後に行われるべき前記ターゲット・デバイスまたは別のデバイスの関連ユーザ制御を決定することと、
前記視線追跡デバイスにおいて、前記ユーザ制御が前記ターゲット・デバイスに送信された後に前記ターゲット・デバイスまたは別のデバイスにおいて行われるべき前記関連ユーザ制御の情報の拡張現実表現をレンダリングすることと
をさらに含む、請求項１に記載のコンピュータ・プログラム製品。
【請求項9】
前記ユーザ位置が温度制御された閉鎖空間内にあり、前記動作が、前記ユーザから測定された生体健康パラメータと、前記閉鎖空間の温度を制御するために前記閉鎖空間において利用可能な温度制御の情報とを機械学習モジュールに入力して、前記閉鎖空間内の前記温度を制御するために前記ユーザがリモート制御し得る温度制御デバイスを出力することと、
前記出力された温度制御デバイスを制御するために選択するために、前記視線追跡デバイスの前記ユーザに対する前記視線追跡デバイスの前記表示に前記出力された温度制御デバイスの拡張現実表現をレンダリングすることと
をさらに含む、請求項１に記載のコンピュータ・プログラム製品。
【請求項10】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのシステムであって、プロセッサと、
前記プロセッサによって実行されるときに動作を行うコンピュータ可読プログラム・コードが具現化されたコンピュータ可読記憶媒体とを含み、前記動作が、
ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を含む、システム。
【請求項11】
前記動作が、前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、
前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに含み、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１０に記載のシステム。
【請求項12】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項１１に記載のシステム。
【請求項13】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１０に記載のシステム。
【請求項14】
前記動作が、前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、
前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに含む、請求項１３に記載のシステム。
【請求項15】
前記動作が、前記ターゲット・デバイスに前記ユーザ制御を送信したことに応答して、前記ユーザ制御が前記ターゲット・デバイスに送信された後に行われるべき前記ターゲット・デバイスまたは別のデバイスの関連ユーザ制御を決定することと、
前記視線追跡デバイスにおいて、前記ユーザ制御が前記ターゲット・デバイスに送信された後に前記ターゲット・デバイスまたは別のデバイスにおいて行われるべき前記関連ユーザ制御の情報の拡張現実表現をレンダリングすることと
をさらに含む、請求項１０に記載のシステム。
【請求項16】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするための方法であって、ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を含む、方法。
【請求項17】
前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに含み、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１６に記載の方法。
【請求項18】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項１７に記載の方法。
【請求項19】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１６に記載の方法。
【請求項20】
前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのコンピュータ・プログラム製品、システム、および方法に関する。
【背景技術】
【0002】
インターネット・オブ・シングス（ＩＯＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）において接続された機械およびデバイスを制御するために、拡張現実システムが用いられることがある。拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）は、物理的な現実世界の環境のライブでの直接的または間接的な表示であり、その表示のエレメントは、コンピュータに生成される感覚入力、たとえば音声、映像、およびグラフィックスなどによって拡張（または補足）され、それらは拡張現実表現を作成する視線追跡デバイスを着用したユーザの視界内にレンダリングされてもよい。拡張現実は、現実世界にコンテンツを重ね合わせたものである。複合現実（ＭＲ：Ｍｉｘｅｄ ｒｅａｌｉｔｙ）は、現実世界と仮想世界とを融合させて、物理オブジェクトとデジタル・オブジェクトとがリアル・タイムで共存および相互作用する新たな環境および視覚化を生成したものである。複合現実は、現実世界に固定されて現実世界と相互作用する合成コンテンツを現実世界に重ね合わせることを伴う。
【0003】
拡張現実アプリケーションは、産業環境において複雑な機械の維持、診断、および動作のために用いられてきた。承認された従業員の限られたグループがデバイスを制御するための拡張現実ツールにアクセスできてもよく、これによって任意の人物がアクセス可能な物理制御パネルを実装する必要がなくなる。この拡張現実とインターネット・オブ・シングスとの融合は、「拡張されたモノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ａｕｇｍｅｎｔｅｄ Ｔｈｉｎｇｓ）」と呼ばれる。
【0004】
当該技術分野において、ユーザの視界内のデバイスを制御するユーザの能力を高めるために、ユーザの視界に拡張現実表現を重ね合わせるための視線追跡デバイスに対するアプリケーションの開発が必要とされている。
【発明の概要】
【0005】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのコンピュータ・プログラム製品、システム、および方法が提供される。ユーザ位置に基づいて、ユーザの視線追跡デバイスから視界の決定が行われる。視線追跡デバイスにおいてレンダリングするためにユーザがリモート制御し得る視界内のデバイスが決定される。決定されたデバイスの情報の拡張現実表現が、視線追跡デバイスの表示にレンダリングされる。視線追跡デバイスにおいて自身の情報がレンダリングされた決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御が受信される。受信されたユーザ制御はターゲット・デバイスに送信されて、ターゲット・デバイスが制御される。
【0006】
ここで添付の図面を参照して、単なる例として本発明の実施形態を説明することとする。
【図面の簡単な説明】
【0007】
【図1】視線追跡デバイスとインターフェースするパーソナル・デバイス・コントローラの実施形態を示す図である。
【図2】ユーザの視界内のデバイスの情報を要求するためのデバイス情報要求の実施形態を示す図である。
【図3】デバイス情報要求に応答して受信されたデバイス情報の実施形態を示す図である。
【図4】視線追跡デバイスにおいてレンダリングされた視界内のデバイスとユーザが対話したかどうかを示す履歴デバイス制御情報の実施形態を示す図である。
【図5】ユーザがリモート制御し得るユーザの視界内のデバイスの情報を視線追跡デバイスにおいてレンダリングするための動作の実施形態を示す図である。
【図6】ユーザの視界の拡大ターゲット領域を表示して、ユーザの制御のために拡大ターゲット領域内の制御可能デバイスの拡張現実表現を提供するための動作の実施形態を示す図である。
【図7】ユーザの制御のためにユーザの視界のターゲット領域内のデバイスの拡張現実表現をレンダリングするための動作の実施形態を示す図である。
【図8】ユーザの視界内のデバイスに対する拡張現実表現がどのようにレンダリングされるかの例を示す図である。
【図9】ユーザの視界内のデバイスに対する拡張現実表現がどのようにレンダリングされるかの例を示す図である。
【図10】視線追跡デバイスにおいてレンダリングするために、デバイス提案機械学習モジュールから視界内のデバイスの情報を得るための動作の実施形態を示す図である。
【図11】拡張現実表現によってレンダリングするためのデバイスを出力するためにデバイス提案機械学習モジュールをトレーニングするための動作の実施形態を示す図である。
【図12】視線追跡デバイスにおいてレンダリングするための温度制御デバイスの情報を決定するための動作の実施形態を示す図である。
【発明を実施するための形態】
【0008】
「ＡＲグラス」とも呼ばれる拡張現実視線追跡デバイスによって、視線追跡デバイスは拡張現実の視覚を用いてユーザの視界内のデバイスに対する補足情報を提供してもよい。視界が、たとえば非常に大きい製造施設または倉庫の中の多数の機械などの制御すべき多数のデバイスを有する大きな範囲に及ぶとき、ユーザは、ユーザから離れて見えるか、または他のデバイスとクラスタ化したデバイスを制御するためにデバイスを正確に選択して制御を指示することに困難を感じることがある。
【0009】
記載される実施形態は、周囲の視界が非常に大きくてユーザの視線における多数のデバイスを有し、結果としてユーザがデバイスを選択および制御することが困難な状況における、デバイスを制御するための拡張現実技術に対する改善を提供する。記載される実施形態は、ユーザが視界の所望のターゲット領域を選択し、次いでより視覚的に詳細に、ターゲット領域の拡大表示の拡張現実表現を通じてターゲット領域内のデバイスの情報もしくは表示を提供するか、またはユーザが制御するためのデバイスに対する画像および情報を提供することを可能にするための拡張現実技術に対する改善を提供する。視界のターゲット領域内のデバイスの強調された表示を提供することによって、ユーザはターゲット領域の拡張現実表現に提示されたそれらのデバイスをより容易に選択してそれらに対する制御を指示してもよい。
【0010】
図１は、ユーザの視線の軸上の視界内の制御可能デバイス１０２の拡張現実表現をレンダリングするように構成されたパーソナル・デバイス・コントローラ１００の実施形態を示す。パーソナル・デバイス・コントローラ１００は、プロセッサ１０４と、メイン・メモリ１０６と、ウェアラブル視線追跡デバイス１１０、制御可能デバイス１０２、モニタリング・システム１３４、およびデバイス提案システム１４０を含む外部デバイスと（無線通信または有線接続を介して）通信するための通信トランシーバ１０８と、パーソナル・デバイス・コントローラ１００の外部の音声を入力として受信するためのマイクロホン１１２と、パーソナル・デバイス・コントローラ１００のユーザに対するディスプレイ出力をレンダリングするためのディスプレイ・スクリーン１１４と、ユーザに対する音声出力を生成するためのスピーカ１１８と、ユーザ入力を受信するためのたとえばキーボードを含むボタンおよびその他のソフトウェアまたは機械的ボタンなどの入力制御装置１１６と、パーソナル・コンピュータ・デバイスのグローバル・ポジショニング・システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）の位置を決定するためのＧＰＳモジュール１２０とを含む。コンポーネント１０４～１２０は、１つ以上のバス・インターフェース１２２を通じて通信してもよい。
【0011】
メイン・メモリ１０６は、パーソナル・デバイス・コントローラ１００の動作を管理し、かつデバイス・コンポーネント１０４～１２０とインターフェースするためのオペレーティング・システム１２４；視界に重ね合わされた拡張現実表現、および視線追跡デバイス１１０によって取り込まれた視界１２８内でユーザが見ているサイトライン、視軸とも呼ばれる視線の軸の座標に対する情報をレンダリングして、注視される画像１２８を取得するアイ・トラッキング・カメラによって検出されたデバイス１０２を選択するか、または追跡される目が注視するデバイス１０２を選択するための視線追跡デバイス１１０とインターフェースするための視線トラッカ・プログラム１２６；ユーザの視線および手のジェスチャーをリアル・タイムで追跡および解釈し、手のジェスチャーおよび視線追跡を解釈することによってユーザが視界のターゲット領域または制御可能デバイス１０２に対する制御を選択することを可能にする、視線およびジェスチャー・インタープリタ１２８；ターゲット領域およびデバイス制御のユーザ選択を管理して、たとえばカメラを用いて制御可能デバイス１０２の画像を取り込むことおよび制御可能デバイス１０２と通信してデバイス制御の現在の状態を収集することなどによって制御可能デバイス１０２の情報を取り込むモニタリング・システム１３４に送信するためのデバイス情報要求２００を生成するためのデバイス・マネージャ１３０；たとえば画像、説明などの制御可能デバイス１０２の情報を有する、デバイス情報要求２００に応答してモニタリング・システム１３４またはデバイス１０２から受信されるデバイス情報３００；受信されたデバイス情報３００に基づいて、視線追跡デバイス１１０グラスにおけるユーザの視線の軸において制御可能デバイス１０２に対する拡張現実表現を生成するための拡張現実生成器１３６；および、たとえば同じまたは異なるデバイス１０２に対するユーザ制御が選択された後にデバイスにおいて行われるべきユーザ制御などの、デバイス１０２に対する関連ユーザ制御１３８を含むさまざまなプログラム・コンポーネントを含んでもよい。
【0012】
視線追跡デバイス１１０は、視線追跡デバイス１１０グラスまたはユーザが見るディスプレイに拡張現実表現を投影することを含む、コンピュータ１００からの情報および拡張現実表現を表示するためのコンピュータ・ディスプレイ機能を含む。
【0013】
本明細書において用いられる「拡張現実」という用語は、現実世界の視界に重ね合わせて拡張現実画像および情報がレンダリングされる拡張現実、複合現実、およびその他の視覚的表現を示す。
【0014】
モニタリング・システム１３４は、制御可能デバイス１０２の情報を収集するインターネット・オブ・シングス（ＩｏＴ）デバイスを含んでもよく、制御可能デバイス１０２もＩｏＴにおいて通信する。さらに、制御可能デバイス１０２はインターネット・オブ・シングス（ＩｏＴ）デバイスを含んでもよく、このインターネット・オブ・シングス（ＩｏＴ）デバイスによって、パーソナル・デバイス・コントローラ１００がトランシーバ１０８を介して直接通信して、デバイス１０２における制御の情報を得てもよい。
【0015】
パーソナル・デバイス・コントローラ１００はデバイス提案システム１４０と通信して、視線追跡デバイス１１０においてレンダリングするための制御可能デバイス１０２の情報を得てもよい。デバイス提案システムは、動作を管理するためのマネージャ１４２と、視線追跡デバイス１１０においてレンダリングされた制御可能デバイスに対するユーザ制御を提出するユーザの結果に対する１つ以上のパーソナル・デバイス・コントローラ１００から収集された履歴デバイス制御情報４００とを含む。デバイス提案システム１４０は、ユーザと、ユーザが動作している環境の環境パラメータとに関係するパーソナル・デバイス・コントローラ１００におけるユーザからの入力１４６を受信して、ユーザが制御するために視線追跡デバイス１１０においてレンダリングするための出力制御可能デバイス１４８を生成するためのデバイス提案機械学習モジュール（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｕｌｅ）（「ＭＬＭ」）１４４を含む。
【0016】
特定の実施形態において、デバイス提案ＭＬＭ１４４は、たとえばディシジョン・ツリー学習、アソシエーション・ルール学習、ニューラル・ネットワーク、帰納プログラミング論理、サポート・ベクター・マシン、ベイズ（Ｂａｙｅｓｉａｎ）ネットワークなどの機械学習およびディープ・ラーニング・アルゴリズムを使用してもよい。人工ニューラル・ネットワーク・プログラムの実装に対して、ニューラル・ネットワークは逆方向伝播を用いてトレーニングされて、隠されたレイヤのノードにおける重みおよびバイアスを調整して計算出力１４８を生成してもよい。ニューラル・ネットワーク機械学習モジュールをトレーニングするために用いられる逆方向伝播において、隠されたレイヤのノードにおけるバイアスはそれに従って調整されて、たとえばユーザ情報およびユーザが動作している環境のパラメータなどの入力パラメータ１４６に基づいて指定された信頼水準を有する出力制御可能デバイス１４８を生成する。逆方向伝播は、勾配降下を用いた人工ニューラル・ネットワークの教師あり学習のためのアルゴリズムを含んでもよい。人工ニューラル・ネットワークおよび誤差関数が与えられるとき、この方法は、ニューラル・ネットワークの重みおよびバイアスに関する誤差関数の勾配を算出してもよい。
【0017】
たとえばデバイス提案ＭＬＭ１４４などのニューラル・ネットワーク機械学習モジュールをトレーニングするために用いられる逆方向伝播において、算出された予測と、出力制御可能デバイス１４８が実際にユーザによって制御されたかどうかとの相違に基づいて、誤差の範囲が決定される。ユーザが出力制御可能デバイス１４８を制御したかどうかのこの情報を用いて、入力１４６に基づく出力制御可能デバイス１４８の信頼水準を修正してもよい。それに従って、隠されたレイヤのノードにおけるバイアスが調整されて、ユーザが制御しなかった視線追跡デバイス１１０においてレンダリングされた出力制御可能デバイス１４８に対する信頼水準が減少し、ユーザが実際に制御した視線追跡デバイス１１０においてレンダリングされた出力制御可能デバイス１４８に対する信頼水準が増加する。
【0018】
特定の実施形態において、デバイス提案ＭＬＭ１４４は、履歴デバイス制御情報４００からの入力１４６を用いてトレーニングされて、出力制御可能デバイス１４８を生成してもよい。
【0019】
代替的な実施形態において、デバイス提案ＭＬＭ１４４は機械学習モジュールとして実装されずに、入力から出力を決定するためのルール・ベースのシステムを用いて実装されてもよい。
【0020】
図１において、デバイス提案ＭＬＭ１４４およびデバイス提案マネージャ１４２は、別個のデバイス提案システム１４０において実装される。代替的な実施形態において、デバイス提案ＭＬＭ１４４およびデバイス提案マネージャ１４２は、パーソナル・デバイス・コントローラ１００において実装されてもよい。
【0021】
図１において、メモリ１０６内のコンポーネントおよびオブジェクトの間に示される矢印は、コンポーネント間のデータ・フローを表す。
【0022】
パーソナル・デバイス・コントローラ１００は、視線追跡デバイス１１０を通じて観察されたユーザ情報を処理し得るスマート・フォン、パーソナル・デジタル・アシスタンス（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｃｅ）、スマート・ウォッチ、または固定コンピュータ・デバイスを含んでもよい。さらなる実装において、パーソナル・デバイス・コントローラ１００は視線追跡デバイス１１０の電子機器に統合されてもよい。
【0023】
トランシーバ１０８はＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、セルラ、もしくはその他の通信技術、またはその組み合わせを含んでもよい。（Ｂｌｕｅｔｏｏｔｈ（登録商標）はＢｌｕｅｔｏｏｔｈ ＳＩＧ社の登録商標であり、ＷＩＦＩ（登録商標）はＷｉ－Ｆｉアライアンス（Ｗｉ－Ｆｉ Ａｌｌｉａｎｃｅ）の商標である。）
【0024】
メモリ１０６は、不揮発性もしくは揮発性のメモリ・タイプまたはその両方を含んでもよく、それはたとえばフラッシュ・メモリ（フラッシュ・メモリ・セルのＮＡＮＤダイ）、不揮発性デュアル・インライン・メモリ・モジュール（ＮＶＤＩＭＭ：ｎｏｎ－ｖｏｌａｔｉｌｅ ｄｕａｌ ｉｎ－ｌｉｎｅ ｍｅｍｏｒｙ ｍｏｄｕｌｅ）、ＤＩＭＭ、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強誘電体ランダム・アクセス・メモリ（ＦｅＴＲＡＭ：ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ）ドライブ、ダイナミックＲＡＭ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、ストレージクラス・メモリ（ＳＣＭ：ｓｔｏｒａｇｅ－ｃｌａｓｓ ｍｅｍｏｒｙ）、相変化メモリ（ＰＣＭ：Ｐｈａｓｅ Ｃｈａｎｇｅ Ｍｅｍｏｒｙ）、抵抗変化型ランダム・アクセス・メモリ（ＲＲＡＭ：ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、スピン・トランスファー・トルク・メモリ（ＳＴＭ－ＲＡＭ：ｓｐｉｎ ｔｒａｎｓｆｅｒ ｔｏｒｑｕｅ ｍｅｍｏｒｙ）、導電性ブリッジＲＡＭ（ＣＢＲＡＭ：ｃｏｎｄｕｃｔｉｖｅ ｂｒｉｄｇｉｎｇ ＲＡＭ）、ナノワイヤ・ベースの不揮発性メモリ、磁気抵抗変化型ランダム・アクセス・メモリ（ＭＲＡＭ：ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、およびその他の電気的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）タイプのデバイス、ハード・ディスク・ドライブ、取り外し可能なメモリ／ストレージ・デバイスなどである。
【0025】
バス１２２は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィックス・ポート、およびさまざまなバス・アーキテクチャのいずれかを用いるプロセッサまたはローカル・バスを含むいくつかのタイプのバス構造のいずれか１つ以上を表す。限定ではなく例として、こうしたアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ：Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張ＩＳＡ（ＥＩＳＡ：Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ：Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスを含む。
【0026】
一般的に、たとえばプログラム・コンポーネント１２４、１２６、１２８、１３０、１３６、１４２、１４４などのプログラム・モジュールは、特定のタスクを行うか、または特定の抽象データ・タイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、およびデータ構造などを含んでもよい。プログラム・モジュールは、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが行われる分散型クラウド・コンピューティング環境において実施されてもよい。分散型クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルおよびリモートのコンピュータ・システム記憶媒体の両方に位置してもよい。
【0027】
図１のパーソナル・デバイス・コントローラ１００のプログラム・コンポーネントおよびハードウェア・デバイスは、１つ以上のコンピュータ・システムにおいて実装されてもよい。それらが複数のコンピュータ・システムにおいて実装されるとき、それらのコンピュータ・システムはネットワークを通じて通信してもよい。
【0028】
プログラム・コンポーネント１２４、１２６、１２８、１３０、１３６、１４２、１４４は、実行のためにメモリ１０６からプロセッサによってアクセスされてもよい。代替的には、プログラム・コンポーネント１２４、１２６、１２８、１３０、１３６、１４２、１４４のいくつかまたはすべてが、たとえば特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）ハードウェア・デバイスなどの別個のハードウェア・デバイスにおいて実装されてもよい。
【0029】
プログラム・コンポーネント１２４、１２６、１２８、１３０、１３６、１４２、１４４によって行われると記載される機能は、示されるよりも少ないプログラム・モジュールにおけるプログラム・コードとして実装されるか、または示されるよりも多数のプログラム・モジュールにわたるプログラム・コードとして実装されてもよい。
【0030】
図２は、ユーザの視界内の制御可能デバイス１０２の情報を要求するためにデバイス・マネージャ１３０が一斉送信し得るデバイス情報要求２００の実施形態を示し、このデバイス情報要求２００は、制御可能デバイス要求コマンド２０２と、自身に対する情報が要求される制御可能デバイス１０２を有するターゲット領域の地理的座標２０４と、パーソナル・デバイス・コントローラ１００の送信デバイス・アドレス２０６とを含む。
【0031】
図３は、デバイス情報要求２００に応答してモニタリング・システム１３４から受信されたか、または制御可能デバイス１０２から直接受信されたデバイス情報３００の実施形態を示し、このデバイス情報３００は、制御可能デバイス名３０２または識別子と、デバイス制御の現在の状態の情報３０４と、デバイス３０２の画像およびデバイス制御の現在の状態３０６と、制御可能デバイス３０２の位置座標３０８と、デバイス・ネットワーク・アドレス３１０とを含む。
【0032】
図４は、自身に対する情報が視線追跡デバイス１１０においてレンダリングされる制御可能デバイス１０２のユーザ制御に基づいてデバイス・マネージャ１３０が生成する履歴デバイス制御情報４００の実施形態を示し、この履歴デバイス制御情報４００は、制御可能デバイス名４０２または識別子と、たとえば組織におけるユーザの役割、承認レベル、ユーザの位置座標などのユーザ情報４０４と、制御可能デバイスの位置座標４０６と、たとえば建物、時刻、温度、およびデバイスを制御する必要があることに関係するその他のビジネス動作条件などの環境条件４０８と、視線追跡デバイス１１０においてレンダリングされている間にユーザがデバイス４０２を制御するための制御を提出したかどうかを示す制御フラグ４１０とを含む。
【0033】
図５は、制御のためにパーソナル・デバイス・コントローラ１００のユーザに対する視線追跡デバイス１１０において制御可能デバイス１０２の情報をレンダリングするために、デバイス・マネージャ１３０およびパーソナル・デバイス・コントローラ１００の他のコンポーネントによって行われる動作の実施形態を示す。視線追跡デバイス１１０の表示において制御可能デバイス１０２の情報を提供するための動作を開始するとき（ブロック５００）、デバイス・マネージャ１３０はＧＰＳモジュール１２０からのユーザ位置座標を決定し（ブロック５０２）、視線追跡デバイス１１０からユーザの視線およびユーザの視線の座標軸を決定する（ブロック５０４）。図６および図７にさらに記載されるとおり、デバイス・マネージャ１３０は、視線追跡デバイスにおいて提示するためのユーザの視線における視界内の制御可能デバイス１０２を決定してもよい（ブロック５０６）。決定されたデバイスの情報は、たとえば実際の視界に重ね合わされた拡張現実表現などによって視線追跡デバイス１１０の表示にレンダリングされる（ブロック５０８）。デバイス・マネージャ１３０は視線およびジェスチャー・インタープリタ１２８から、視線追跡デバイス１１０において自身の情報がレンダリングされた決定されたデバイスのうちの１つを含むターゲット・デバイス１０２をリモート制御するためのユーザ制御を受信する（ブロック５１０）。視線およびジェスチャー・インタープリタ１２８は、ユーザの手の制御および目の動きを解釈して、ユーザが注視している制御可能デバイス１０２および選択されたユーザ制御を決定して、デバイス・マネージャ１３０に提供してもよい。受信された制御はターゲット・デバイス１０２に送信されて、ターゲット・デバイス１０２が制御される（ブロック５１２）。
【0034】
（ブロック５１４において）もし送信されたユーザ制御がターゲット・デバイス１０２で実行された後に行われるべきターゲット・デバイス１０２または別のデバイスの関連ユーザ制御１３８が存在すれば、次いでデバイス・マネージャ１３０は、送信されたユーザ制御がターゲット・デバイス１０２で実行された後にターゲット・デバイス１１０または別のデバイスで行われるべき関連ユーザ制御のたとえば拡張現実表現などの情報を視線追跡デバイス１１０においてレンダリングする（ブロック５１６）。（ブロック５１４において）もしターゲット・デバイス１０２に対する関連ユーザ制御１３８が存在しなければ、ただユーザ制御が実行され、次いで制御が終了する。
【0035】
図５の実施形態によって、視線追跡デバイス１１０における拡張現実表現を用いてユーザの視界内のデバイスの情報がレンダリングされ、ユーザのジェスチャーまたは視線が特定のデバイス・ユーザ制御として解釈され、次いでそれらのユーザ制御がターゲット・デバイス１０２に送信されることによって、ユーザがデバイスを制御できるようになる。このやり方で、記載される実施形態は、視線追跡デバイス１１０を用いて、ユーザが制御可能デバイス１０２のリモート制御を提供するためにユーザの視界内のデバイスを制御できるようにするための技術を提供する。たとえばユーザは、多数の機械で満たされた産業工場、またはサーバおよびストレージの多数のラックで満たされたサーバ・ファームなどにおいて視線追跡デバイス１１０を着用していてもよい。こうした場合に、ユーザは視線追跡デバイス１１０を用いてこれらの機械またはサーバを制御してもよい。
【0036】
さらに、関連ユーザ制御を識別することによって、ユーザに必要な関連動作を行うことを警告する。たとえば、ユーザがスイッチＡを入れてから１５分後にスイッチＢを切る必要があるとき、視線追跡デバイス１１０は、スイッチＡを入れてから１５分後にスイッチＢおよび関連制御をレンダリングすることによって、ユーザがスイッチＢを切り得るように制御される。
【0037】
さらなる実施形態においては、ユーザが視界の遠くにあるデバイスを選択することが困難であるという判断に応答するときにのみ図５～８の動作が行われてもよい。ユーザが視線追跡デバイス１１０を用いてより大きい視界内のデバイスを選択および制御することに困難を感じていないときは、図５～８の動作が行われなくてもよい。
【0038】
図５の実施形態において、ユーザの視界内のデバイスの拡張現実表現と相互作用している間、視線追跡デバイス１１０はユーザの視線を継続的に識別し、それに従ってデバイス制御の拡張現実表現を表示してもよい。ユーザに対して表示されるデバイスは、ユーザの視線の変化に基づいて動的に変化することとなる。
【0039】
図５の実施形態において、拡張現実表現されるデバイス情報は、ユーザの視界において他のデバイス１０２または物体によって表示が遮られているデバイス１０２を含んでもよい。
【0040】
図６は、視界内の制御可能デバイス１０２の情報をレンダリングするための図５のブロック５０６および５０８において行われる動作の一部として、パーソナル・デバイス・コントローラ１００の視線およびジェスチャー・インタープリタ１２８と、視線トラッカ１２６と、拡張現実生成器１３６とによって行われる動作の実施形態を示す。視線およびジェスチャー・インタープリタ１２８がユーザの視線を追跡して、より大きい視界のサブセットである地理的座標を含むユーザの視界内のターゲット領域を決定するとき（ブロック６００）、拡張現実生成器１３６はターゲット領域を拡大して、拡大されたターゲット領域を視線追跡デバイス１１０の表示において拡張現実表現として表示して、拡大されたターゲット領域内の制御可能デバイスを示してもよい（ブロック６０２）。ターゲット領域を拡大した後、図５のブロック５１０以下に参照される動作が行われて、視界内の実際の物理的位置よりもユーザの近くに仮想的に位置する拡張現実表現として提示された拡大ターゲット領域においてレンダリングされたデバイス１０２をユーザが制御することが可能にされてもよい。
【0041】
図６の実施形態によって、ユーザは視界のサブセットであるターゲット領域を選択し、拡張現実を用いてそれを拡大することによって、ユーザが選択されたターゲット領域内のデバイス１０２に送信するための制御を生成するために手のジェスチャーまたは目の動きを用いる能力を高めてもよい。ターゲット領域内のデバイス１０２のサイズを拡大して、それらのデバイスを仮想的にユーザのより近くに配置することによって、拡大されたデバイスが視線追跡デバイス１１０の表示においてより大きく見えるため、ユーザはより容易に手のジェスチャーおよび目の動きを用いてデバイス１０２にユーザ制御を指示してもよい。
【0042】
図７は、視線追跡デバイス１１０の表示において重ね合わされる拡張現実画像としてレンダリングするためのターゲット領域内の制御可能デバイス１０２の情報を決定するための図５のブロック５０６および５０８において行われる動作の一部として、たとえば視線トラッカ１２６、視線およびジェスチャー・インタープリタ１２８、デバイス・マネージャ１３０、および拡張現実生成器１３６などのパーソナル・デバイス・コントローラ１００のコンポーネントによって行われる動作の実施形態を示す。手のジェスチャーまたはユーザが直接注視している領域を用いてユーザが選択したユーザの視線における視界のサブセットである地理的座標を含むターゲット領域が決定される（ブロック７００）。ターゲット領域は、視線およびジェスチャー・インタープリタ１２８によって視界内のターゲット領域に向かう目の動きを追跡すること、または視界のターゲット領域を選択する手のジェスチャーを解釈すること、またはたとえばマイクロホン１１２を介した音声コマンドなどのその他の手段によって決定されてもよい。デバイス・マネージャ１３０は、トランシーバ１０８を介して、ターゲット領域の地理的座標に位置するデバイス１０２の情報を有するモニタリング・システム１３４に、たとえば一斉送信などによってデバイス情報要求２００を送信する（ブロック７０２）。この送信は、視界内のすべてのモニタリング・システム１３４に向けたデバイス情報要求２００の一斉送信を含んでもよく、ターゲット領域内の座標を有するデバイス１０２をモニタするモニタリング・システム１３４のみが、ターゲット領域内でモニタリング・システム１３４がモニタするデバイス１０２のデバイス情報３００によって応答するだろう。ターゲット領域内のデバイス１０２をモニタしていないモニタリング・システム１３４は、要求２００の送信を無視するだろう。
【0043】
次いでデバイス・マネージャ１３０は、トランシーバ１０８を介して、デバイスにおけるユーザ制御の現在の状態、デバイスおよびユーザ制御のクローズアップ画像を含む、ターゲット領域内の制御可能デバイス１０２に対するモニタリング・システム１３４からのデバイス情報応答３００を受信する（ブロック７０４）。デバイス１０２に対するユーザ制御のレンダリングは、ユーザが操作または選択し得る仮想制御であってもよいし、デバイス１０２が制御パネルを有するときは制御パネルにおける制御の画像であってもよい。モニタリング・システム１３４は、たとえばリアル・タイムなどでデバイス１０２の画像を取り込むためのカメラを含んでもよいし、直接デバイス１０２と電子的に通信してそれらの制御の現在の状態を決定してもよい。拡張現実生成器１３６は、視線追跡デバイス１１０の表示にターゲット領域内のユーザ制御の現在の状態の情報を含む制御可能デバイス１０２の受信画像の拡張現実表現をレンダリングしてもよい（ブロック７０６）。受信画像の拡張現実表現は、ユーザの視線において実際の地理的位置にあるよりも近くに見えることによって、デバイス１０２の拡大表示を提供して、ユーザが拡大表示中に提示されるデバイスを選択してコマンドを指示することをより容易にしてもよい。
【0044】
図７の実施形態によって、ターゲット領域内のデバイス１０２をモニタするモニタリング・システム１３４から、選択されたターゲット領域内のデバイス１０２のリアル・タイム情報が収集されて、デバイス１０２における状態および制御の現在の情報ならびにターゲット・デバイス１０２の詳細な画像が提供されることによって、ユーザが目の動き、手のジェスチャー、音声コマンド、およびその他の手段を用いてターゲット・デバイス１０２を制御する能力が改善される。代替的な実施形態において、パーソナル・デバイス・コントローラ１００はターゲット領域内のデバイス１０２と直接通信して、デバイス１０２におけるユーザ制御の現在の状態の情報を得てもよい。
【0045】
図８は、視線８０２において多数の制御可能デバイスを有する作業現場を見ているパーソナル・デバイス・コントローラ１００のユーザ８００の例を示す。視線追跡デバイス１１０は図５、図６、および図７の動作を行って、選択されたターゲット領域８０６内の制御可能デバイスの拡大表現８０４をレンダリングしてもよく、その拡大表現８０４はユーザ８００の視線８０２においてそれらの実際の位置よりも近くに大きく見える。拡大表現８０４は、視界内のターゲット領域８０６のカメラ・ズーム拡大（図６）か、またはモニタリング・システム１３４および直接デバイス１０２によって提供されるターゲット領域８０６内のデバイスの画像の拡張現実表現（図７）を含んでもよい。
【0046】
図９は、視線追跡デバイス１１０を用いてターゲット領域内の視線９０４の軸に沿ったデバイス９０２１、９０２２、９０２３．．．．９０２ｎの拡張現実表現を見ている視線追跡デバイス１１０のユーザ９００の例を示す。視線９０４の軸において第１のデバイス９０２１に続くデバイス９０２２．．．９０２ｎは、可視であってもよいし、オブジェクトまたはその他の障害物によって見えなくされてもよい。図９の例において、デバイス９０２１、９０２２、９０２３．．．．９０２ｎの拡張現実表現はターゲット領域内のデバイス１０２の画像を含んでもよく、拡張現実表現９０６１、９０６２、９０６３．．．．９０６ｎはたとえばユーザ制御の現在の状態などのデバイスの追加情報を含んでもよい。視線追跡デバイス１１０はさらに、ユーザが目の動き、手のジェスチャー、または音声コマンドを用いてデバイス９０２１、９０２２、９０２３．．．．９０２ｎの拡張現実表現を通じた奥行きスクロールを行って、視線９０４のさらに遠くにある選択された拡張現実表現９０２ｉが視線９０４において物理的により近いデバイス１０２よりも近くに大きく見えるようにすることを可能にしてもよい。
【0047】
さらなる実施形態において、ユーザは、たとえば手首の動きまたはその他の入力制御装置を介して動きを入力することなどによって、デバイスの拡張現実表現を順次選択するための奥行きスクロールを行ってもよい。選択された拡張現実表現を視線における第１の拡張現実表現と同様のより大きい寸法で表示することによって、選択された拡張現実表現はユーザに向かって移動するように見えるだろう。ユーザと選択された拡張現実表現との間の拡張現実表現は、視線において選択された拡張現実表現に続いて選択された拡張現実表現よりも小さく表示されることによって、遠くに移動するように見えるだろう。選択された拡張現実表現の寸法および追加のコンテンツを増加させることによって、ユーザが選択された拡張現実表現における追加の必要なコンテンツを視覚化できるようになる。
【0048】
さらなる奥行きまたはユーザからの距離における拡張現実表現９０６２．．．．９０６ｎは、関連するデバイスのより少ない情報を伴ってより小さくレンダリングされる。選択されたデバイスの拡張現実表現は、選択されたデバイスに対するより多くの情報および説明をレンダリングするためにより大きい寸法を伴ってレンダリングされる。
【0049】
図８および図９の実施形態によって、斜視図における異なる距離または奥行きにおける拡張現実表現を選択するためのユーザのジェスチャーもしくは音声コマンドまたはその両方によって、より良好な視認性のために選択されたオブジェクトをユーザの視線９０４において視覚的に前に動かすことができる。ある距離における拡張現実表現がユーザによって前に移動されるとき、その拡張現実表現に関連する追加のデジタル情報（現実世界のデバイスに関するより多くの情報を提供し得る）がユーザに示されることとなる。
【0050】
図１０は、たとえば拡張現実表現などで視線追跡デバイス１１０の拡大表示にレンダリングするためのユーザの視界またはユーザに対するターゲット領域内のデバイス１０２を決定するために、パーソナル・デバイス・コントローラ１００のデバイス・マネージャ１３０と、デバイス提案マネージャ１４２と、デバイス提案ＭＬＭ１４４とによって行われる動作の実施形態を示す。デバイス提案システム１４０からレンダリングするためのデバイス１０２を決定するための動作を開始するとき（ブロック１０００）、パーソナル・デバイス・コントローラ１００のデバイス・マネージャ１３０は、たとえば現在の時間、ユーザのアイデンティティ、組織におけるユーザの役割、ユーザの承認レベル、ユーザの視界座標、ターゲット領域、ユーザの位置などの入力１４６をデバイス提案システム１４０に送信する（ブロック１００２）。デバイス提案ＭＬＭ１４４は受信された入力１４６を処理して、視界内のデバイスのうちの少なくとも１つのデバイス１０２と、施設またはターゲット領域と、出力されたデバイス１４８をユーザがリモート制御することとなる確率を示す出力デバイス１４８に対する信頼水準とを出力する（ブロック１００４）。デバイス・マネージャ１３０は、出力デバイス１４８およびそれらの信頼水準を受信する（ブロック１００６）。デバイス・マネージャ１３０は図７の動作を行って、視線追跡デバイス１１０の表示にレンダリングするための信頼水準要件を満たす信頼水準を有する出力デバイスの情報を要求してもよい。代替的に、デバイス提案マネージャ１４２は、たとえば９０％などの信頼水準要件を満たす信頼水準を有する出力デバイス１４８のみをパーソナル・デバイス・コントローラ１００に返してもよい。
【0051】
図１０の実施形態によって、パーソナル・デバイス・コントローラ１００は、ユーザと、ユーザが動作している環境のパラメータと、この特定の状況においてユーザが制御を望むと考えられるデバイスの推定に関係するその他の情報とに基づいて、視線追跡デバイス１１０の表示における拡張現実表現にレンダリングするためのデバイス１０２を決定するために、デバイス提案ＭＬＭ１４４を呼び出してもよい。デバイス提案ＭＬＭ１４４を用いることによって、ユーザが所与の状況において最も制御を望むと考えられるデバイス１０２の拡張現実強調表現がユーザに提供される。
【0052】
一例において、デバイス提案ＭＬＭ１４４は、ユーザが特定の時間に定期的に行う機械制御タスクを理解するためにユーザの挙動を分析するようにトレーニングされる。たとえば、ユーザは毎日午前９時にスイッチを入れてもよい。視線追跡デバイス１１０は、この挙動／パターンを学習した後は、午前９時にユーザに対してスイッチの仮想画像をレンダリングするように制御されて、たとえユーザがスイッチの方向を注視していなくてもユーザがスイッチを入れ得るようにしてもよい。
【0053】
図１１は、視線追跡デバイス１１０における拡張現実表現としてレンダリングされたデバイス１０２を制御するか制御しないかを決定するユーザの新たな履歴デバイス制御情報４００に基づいてデバイス提案ＭＬＭ１４４を再トレーニングするために、デバイス提案マネージャ１４２およびデバイス提案ＭＬＭ１４４によって行われる動作の実施形態を示す。デバイス提案システム１４０は、異なるユーザが動作させる複数のパーソナル・デバイス・コントローラ１００から更新された履歴デバイス制御情報４００を受信してもよい。デバイス提案ＭＬＭ１４４をトレーニングするための動作を開始するとき、デバイス提案マネージャ１４２は、制御フラグ４１０に示されるとおり、ユーザがリモート制御した履歴デバイス制御情報４００からの出力デバイスのポジティブ・トレーニング・セットと、制御フラグ４１０に示されるとおり、ユーザがリモート制御しなかった履歴デバイス制御情報４００からの出力デバイスのネガティブ・トレーニング・セットとを生成する（ブロック１１０４）。ポジティブ・トレーニング・セットのデバイスを過去に出力するために用いられた受信入力に応答して、ポジティブ・トレーニング・セットのデバイスに対して決定された信頼水準よりも高い信頼水準を有するポジティブ・トレーニング・セットのデバイスを出力するように、デバイス提案ＭＬＭ１４４が再トレーニングされる（ブロック１１０６）。ネガティブ・トレーニング・セットのデバイスを過去に出力するために用いられた受信入力に応答して、ネガティブ・トレーニング・セットのデバイスに対して決定された信頼水準よりも低い信頼水準を有するネガティブ・トレーニング・セットのデバイスを出力するように、デバイス提案ＭＬＭ１４４が再トレーニングされる（ブロック１１０８）。
【0054】
デバイス提案ＭＬＭ１４４の人工ニューラル・ネットワーク・プログラムの実装に対して、ニューラル・ネットワーク１４４は逆方向伝播を用いてトレーニングされて、隠されたレイヤのノードにおける重みおよびバイアスを調整して計算出力を生成してもよい。ニューラル・ネットワーク機械学習モジュールをトレーニングするために用いられる逆方向伝播において、隠されたレイヤのノードにおけるバイアスはそれに従って調整されて、過去に出力１４８を生成するために用いられた入力１４６に基づいて指定された信頼水準を有するデバイス１０２を生成する。逆方向伝播は、勾配降下を用いた人工ニューラル・ネットワークの教師あり学習のためのアルゴリズムを含んでもよい。人工ニューラル・ネットワークおよび誤差関数が与えられるとき、この方法は、ニューラル・ネットワークの重みおよびバイアスに関する誤差関数の勾配を算出してもよい。
【0055】
図１１の実施形態によって、デバイス提案ＭＬＭ１４４は継続的に再トレーニングされることによって、特定の入力１４６に基づいて出力されるデバイスと、その出力デバイスに対して決定される信頼水準とを改善して、ユーザが制御したいと考えられるデバイスのみがユーザに提示され、ユーザが制御しないと考えられるデバイスの拡張現実表現は提示されなくなる可能性を増加させてもよい。
【0056】
図１２は、デバイス提案ＭＬＭ１４４を用いて、視線追跡デバイス１１０のユーザの健康パラメータに基づいて温度制御デバイスを提案するときに行われる動作の実施形態を示す。温度制御動作を開始するとき（ブロック１２００）、ユーザから測定された生体健康パラメータ（例、体温、血圧、酸素レベルなど）と、閉鎖空間において利用可能な温度制御の情報とがデバイス提案ＭＬＭ１４４に入力されて（ブロック１２０２）、閉鎖空間内の温度を制御するためにユーザがリモート制御し得る温度制御デバイスが出力される。デバイス・マネージャ１３０は、デバイス提案ＭＬＭ１４４から出力温度制御デバイスの情報を受信して（ブロック１２０４）、視線追跡デバイス１１０の表示に温度制御デバイスの受信された情報をレンダリングする（ブロック１２０６）。デバイス・マネージャ１３０は、視線追跡デバイスにおいて自身の情報がレンダリングされた決定された温度制御デバイスをリモート制御するためのユーザ温度制御を受信する（ブロック１２０８）。ユーザ制御は、視線およびジェスチャー・インタープリタ１２８が目の動きおよび手のジェスチャーを追跡することによって検出されてもよい。デバイス・マネージャ１３０は、受信されたユーザ温度制御を自身に対する制御が受信された温度制御デバイスに送信する（ブロック１２１０）。
【0057】
図１２の実施形態によって、デバイス提案ＭＬＭ１４４は入力として、たとえばスマート・ウォッチまたはその他のウェアラブル・デバイスを介して測定されたものなどの、リアル・タイムで測定されたユーザの健康パラメータを受信してもよく、次いでその情報を用いて、入力ユーザ健康パラメータに示されるとおり、それらの測定された健康パラメータがユーザが不快を感じていることを示しており、かつユーザが位置する温度制御された閉鎖空間に対する温度制御を変更することによってその不快感を軽減し得るときは、ユーザに温度制御デバイスを制御することを提案するべきかどうかを決定してもよい。
【0058】
本発明は、システム、方法、もしくはコンピュータ・プログラム製品、またはその組み合わせであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【0059】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶できる有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の好適な組み合わせなどであってもよいが、それに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは以下を含む。ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリ・スティック（登録商標）、フレキシブル・ディスク、機械的にコード化されたデバイス、たとえばパンチ・カードまたは記録された命令を有する溝の中の隆起構造体など、および前述の任意の好適な組み合わせ。本明細書において用いられるコンピュータ可読記憶媒体は、たとえば電波もしくはその他の自由に伝播する電磁波、導波路もしくはその他の伝送媒体を通じて伝播する電磁波（例、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
【0060】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされ得るか、あるいはたとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくは無線ネットワーク、またはその組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはその組み合わせを含んでもよい。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【0061】
本発明の動作を実行するためのコンピュータ可読プログラム命令はアセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、または１つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードであってもよく、このプログラミング言語はオブジェクト指向プログラミング言語、たとえばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、またはＣ＋＋など、および従来の手続き型プログラミング言語、たとえば「Ｃ」プログラミング言語または類似のプログラミング言語などを含む。コンピュータ可読プログラム命令は、すべてがユーザのコンピュータで実行されてもよいし、スタンドアロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータで実行されてもよいし、一部がユーザのコンピュータで、一部がリモート・コンピュータで実行されてもよいし、すべてがリモート・コンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）または広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよいし、（たとえば、インターネット・サービス・プロバイダを用いてインターネットを通じて）外部コンピュータへの接続が行われてもよい。いくつかの実施形態において、たとえばプログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、またはプログラマブル論理アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ）などを含む電子回路は、本発明の態様を行うために電子回路をパーソナライズするためのコンピュータ可読プログラム命令の状態情報を使用することによって、コンピュータ可読プログラム命令を実行してもよい。
【0062】
本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して、本発明の態様が説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装され得ることが理解されるだろう。
【0063】
これらのコンピュータ可読プログラム命令は、汎用目的のコンピュータか、特定目的のコンピュータか、またはマシンを生成するためのその他のプログラマブル・データ処理装置のプロセッサに提供されることによって、そのコンピュータまたはその他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装するための手段を生じてもよい。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブル・データ処理装置、もしくはその他のデバイス、またはその組み合わせに特定の方式で機能するように指示できるコンピュータ可読記憶媒体にも記憶されることによって、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作の態様を実装する命令を含む製造物を含んでもよい。
【0064】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにもロードされて、コンピュータに実装されるプロセスを生成するためにコンピュータ、他のプログラマブル装置、または他のデバイスにおいて一連の動作ステップを行わせることによって、そのコンピュータ、他のプログラマブル装置、または他のデバイスにおいて実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装してもよい。
【0065】
図面におけるフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示すものである。これに関して、フローチャートまたはブロック図の各ブロックは、命令のモジュール、セグメント、または一部分を表してもよく、これは指定される論理機能（単数または複数）を実装するための１つ以上の実行可能命令を含む。いくつかの代替的実装において、ブロック内に示される機能は、図面に示されるものとは異なる順序で起こってもよい。たとえば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、または関与する機能に依存して、これらのブロックがときには逆の順序で実行されてもよい。加えて、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能もしくは動作を行うか、または特定目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特定目的のハードウェア・ベースのシステムによって実装され得ることが注目されるだろう。
【0066】
図１のパーソナル・デバイス・コントローラ、視線追跡デバイス１１０、制御可能デバイス１０２、モニタリング・システム１３４、およびデバイス提案システム１４０を含むコンピュータのコンポーネントは、たとえば図１３に示されるコンピュータ・システム１３０２などの１つ以上のコンピュータ・システムによって実装されてもよい。コンピュータ・システム／サーバ１３０２は、コンピュータ・システムによって実行されるたとえばプログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的な文脈で説明されてもよい。一般的に、プログラム・モジュールは、特定のタスクを実行するか、または特定の抽象データ・タイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、およびデータ構造などを含んでもよい。コンピュータ・システム／サーバ１３０２は、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが行われる分散型クラウド・コンピューティング環境において実施されてもよい。分散型クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルおよびリモートのコンピュータ・システム記憶媒体の両方に位置してもよい。
【0067】
図１３に示されるとおり、コンピュータ・システム／サーバ１３０２は汎用目的のコンピュータ・デバイスの形態で示される。コンピュータ・システム／サーバ１３０２のコンポーネントは、１つ以上のプロセッサまたは処理ユニット１３０４、システム・メモリ１３０６、およびシステム・メモリ１３０６を含むさまざまなシステム・コンポーネントをプロセッサ１３０４に結合するバス１３０８を含んでもよいが、それらに限定されない。バス１３０８は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィックス・ポート、およびさまざまなバス・アーキテクチャのいずれかを用いるプロセッサまたはローカル・バスを含むいくつかのタイプのバス構造のいずれか１つ以上を表す。限定ではなく例として、こうしたアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ）ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バスを含む。
【0068】
コンピュータ・システム／サーバ１３０２は通常、さまざまなコンピュータ・システム可読媒体を含む。こうした媒体は、コンピュータ・システム／サーバ１３０２がアクセス可能な任意の利用可能な媒体であってもよく、それは揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体の両方を含む。
【0069】
システム・メモリ１３０６は、たとえばランダム・アクセス・メモリ（ＲＡＭ）１３１０もしくはキャッシュ・メモリ１３１２またはその両方などの揮発性メモリの形態のコンピュータ・システム可読媒体を含み得る。コンピュータ・システム／サーバ１３０２は、他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ・システム記憶媒体をさらに含んでもよい。単なる例として、取り外し不可能な不揮発性磁気媒体（図示せず、通常「ハード・ドライブ」と呼ばれる）からの読取りおよびそこへの書込みのために、ストレージ・システム１３１３が提供され得る。示されていないが、取り外し可能な不揮発性磁気ディスク（例、「フレキシブル・ディスク」）からの読取りおよびそこへの書込みのための磁気ディスク・ドライブ、ならびにたとえばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはその他の光媒体などの取り外し可能な不揮発性光ディスクからの読取りまたはそこへの書込みのための光ディスク・ドライブが提供され得る。こうした場合に、各々は１つ以上のデータ媒体インターフェースによってバス１３０８に接続され得る。以下にさらに示されて説明されるとおり、メモリ１３０６は、本発明の実施形態の機能を実行するように構成されたプログラム・モジュールのセット（例、少なくとも１つ）を有する少なくとも１つのプログラム製品を含んでもよい。
【0070】
プログラム・モジュール１３１６のセット（少なくとも１つ）を有するプログラム／ユーティリティ１３１４は、限定ではなく例としてメモリ１３０６に記憶されてもよく、加えてオペレーティング・システム、１つ以上のアプリケーション・プログラム、その他のプログラム・モジュール、およびプログラム・データが記憶されてもよい。オペレーティング・システム、１つ以上のアプリケーション・プログラム、その他のプログラム・モジュール、およびプログラム・データ、またはそれらの何らかの組み合わせの各々は、ネットワーク形成環境の実装を含んでもよい。コンピュータ１３０２のコンポーネントは、一般的に本明細書に記載される本発明の実施形態の機能もしくは方法またはその両方を実行するプログラム・モジュール１３１６として実装されてもよい。図１のシステムは、１つ以上のコンピュータ・システム１３０２に実装されてもよく、それらが複数のコンピュータ・システム１３０２に実装されるときは、それらのコンピュータ・システムがネットワークを通じて通信してもよい。
【0071】
コンピュータ・システム／サーバ１３０２は、たとえばキーボード、ポインティング・デバイス、ディスプレイ１３２０など；ユーザがコンピュータ・システム／サーバ１３０２と対話することを可能にする１つ以上のデバイス；もしくはコンピュータ・システム／サーバ１３０２が１つ以上の他のコンピュータ・デバイスと通信することを可能にする任意のデバイス（例、ネットワーク・カード、モデムなど）、またはその組み合わせなどの１つ以上の外部デバイス１３１８とも通信してもよい。こうした通信は、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース１３２２を介してもたらされ得る。さらにコンピュータ・システム／サーバ１３０２は、ネットワーク・アダプタ１３２４を介して、たとえばローカル・エリア・ネットワーク（ＬＡＮ）、一般的な広域ネットワーク（ＷＡＮ）、もしくは公共ネットワーク（例、インターネット）、またはその組み合わせなどの１つ以上のネットワークと通信し得る。示されるとおり、ネットワーク・アダプタ１３２４は、バス１３０８を介してコンピュータ・システム／サーバ１３０２のその他のコンポーネントと通信する。示されていないが、コンピュータ・システム／サーバ１３０２と共に他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方が用いられ得ることが理解されるべきである。その例はマイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイバル・ストレージ・システムなどを含むが、それに限定されない。
【0072】
エレメントのいくつかのインスタンスを示すために用いられる、たとえばｉおよびｎなどの文字指示子は、同じまたは異なるエレメントと共に用いられるときにそのエレメントのインスタンスの変数を示してもよい。
【0073】
「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「実施形態（ｅｍｂｏｄｉｍｅｎｔ）」、「複数の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」、「その実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔ）」、「それらの実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「１つ以上の実施形態（ｏｎｅ ｏｒ ｍｏｒｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「いくつかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、および「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」という用語は、別様に明確に指定されていない限り、「本発明（単数または複数）の１つ以上（だがすべてではない）の実施形態」を意味する。
【0074】
「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語およびそれらの変形は、別様に明確に指定されない限り、「含むがそれに限定されない」を意味する。
【0075】
列挙される項目のリストは、別様に明確に指定されない限り、任意またはすべての項目が互いに排他的であることを意味するものではない。
【0076】
「ａ」、「ａｎ」、および「ｔｈｅ」という用語は、別様に明確に指定されない限り、「１つ以上」を意味する。
【0077】
別様に明確に指定されない限り、互いに通信するデバイスは、互いに継続的に通信する必要はない。加えて、互いに通信するデバイスは直接通信してもよいし、１つ以上の中間物を通じて間接的に通信してもよい。
【0078】
互いに通信するいくつかのコンポーネントを有する実施形態の記載は、こうしたコンポーネントがすべて必要であることを意味するものではない。反対に、本発明の多様な可能な実施形態を例示するためにさまざまな任意のコンポーネントが記載されている。
【0079】
本明細書において単一のデバイスまたは物品が記載されるとき、単一のデバイス／物品の代わりに２つ以上のデバイス／物品（それらが協働してもしなくても）が用いられてもよいことが容易に明らかとなるだろう。同様に、本明細書において２つ以上のデバイスまたは物品が記載されるとき（それらが協働してもしなくても）、２つ以上のデバイスまたは物品の代わりに単一のデバイス／物品が用いられてもよいし、示される数のデバイスまたは物品の代わりに異なる数のデバイス／物品が用いられてもよいことが容易に明らかとなるだろう。あるデバイスの機能もしくは特徴またはその両方が、こうした機能／特徴を有することが明確に記載されていない１つ以上の他のデバイスによって代替的に具現化されてもよい。よって、本発明の他の実施形態はそのデバイス自体を含む必要はない。
【0080】
本発明のさまざまな実施形態の前述の記載は、例示および説明の目的のために提供されたものである。それは網羅的になったり、開示される厳密な形に本発明を限定したりすることは意図されていない。上記の教示に鑑みて、多くの修正および変更が可能である。本発明の範囲は、この詳細な説明ではなく、添付される請求項によって限定されることが意図される。上記の明細書、実施例、およびデータは、本発明の構成の製造および使用の完全な説明を提供する。本発明の思想および範囲から逸脱することなく本発明の多くの実施形態が作成され得るため、本発明は本明細書の後ろに添付される請求項に存在する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2024-03-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのコンピュータ・プログラムであって、前記コンピュータ・プログラムは、コンピュータに、
ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を実行させる、コンピュータ・プログラム。
【請求項2】
前記コンピュータに、
前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、
前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに実行させ、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１に記載のコンピュータ・プログラム。
【請求項3】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項２に記載のコンピュータ・プログラム。
【請求項4】
前記デバイスの前記ユーザ制御の前記現在の状態の情報の前記レンダリングされた拡張現実表現が、前記ユーザ制御の前記現在の状態を決定するために前記少なくとも１つのシステムにおける少なくとも１つのカメラまたは前記ターゲット領域内の前記デバイスと通信する前記少なくとも１つのシステムによって取り込まれた前記デバイスの前記ユーザ制御の画像を含む、請求項３に記載のコンピュータ・プログラム。
【請求項5】
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記ターゲット領域内の前記決定されたデバイスが、前記ユーザの前記視界において別のデバイスによって遮られている少なくとも１つのデバイスを含む、請求項２に記載のコンピュータ・プログラム。
【請求項6】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１に記載のコンピュータ・プログラム。
【請求項7】
前記コンピュータに、
前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、
前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに実行させる、請求項６に記載のコンピュータ・プログラム。
【請求項8】
前記コンピュータに、
前記ターゲット・デバイスに前記ユーザ制御を送信したことに応答して、前記ユーザ制御が前記ターゲット・デバイスに送信された後に行われるべき前記ターゲット・デバイスまたは別のデバイスの関連ユーザ制御を決定することと、
前記視線追跡デバイスにおいて、前記ユーザ制御が前記ターゲット・デバイスに送信された後に前記ターゲット・デバイスまたは別のデバイスにおいて行われるべき前記関連ユーザ制御の情報の拡張現実表現をレンダリングすることと
をさらに実行させる、請求項１に記載のコンピュータ・プログラム。
【請求項9】
前記ユーザ位置が温度制御された閉鎖空間内にあり、前記コンピュータに、
前記ユーザから測定された生体健康パラメータと、前記閉鎖空間の温度を制御するために前記閉鎖空間において利用可能な温度制御の情報とを機械学習モジュールに入力して、前記閉鎖空間内の前記温度を制御するために前記ユーザがリモート制御し得る温度制御デバイスを出力することと、
前記出力された温度制御デバイスを制御するために選択するために、前記視線追跡デバイスの前記ユーザに対する前記視線追跡デバイスの前記表示に前記出力された温度制御デバイスの拡張現実表現をレンダリングすることと
をさらに実行させる、請求項１に記載のコンピュータ・プログラム。
【請求項10】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするためのシステムであって、プロセッサと、
前記プロセッサによって実行されるときに動作を行うコンピュータ可読プログラム・コードが具現化されたコンピュータ可読記憶媒体とを含み、前記動作が、
ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を含む、システム。
【請求項11】
前記動作が、前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、
前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに含み、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１０に記載のシステム。
【請求項12】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項１１に記載のシステム。
【請求項13】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１０に記載のシステム。
【請求項14】
前記動作が、前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、
前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに含む、請求項１３に記載のシステム。
【請求項15】
前記動作が、前記ターゲット・デバイスに前記ユーザ制御を送信したことに応答して、前記ユーザ制御が前記ターゲット・デバイスに送信された後に行われるべき前記ターゲット・デバイスまたは別のデバイスの関連ユーザ制御を決定することと、
前記視線追跡デバイスにおいて、前記ユーザ制御が前記ターゲット・デバイスに送信された後に前記ターゲット・デバイスまたは別のデバイスにおいて行われるべき前記関連ユーザ制御の情報の拡張現実表現をレンダリングすることと
をさらに含む、請求項１０に記載のシステム。
【請求項16】
リモート制御するために視界内の制御可能デバイスの情報を視線追跡デバイスにおいてレンダリングするための方法であって、ユーザ位置に基づいてユーザの前記視線追跡デバイスから視界を決定することと、
前記視線追跡デバイスにおいてレンダリングするために前記ユーザがリモート制御し得る前記視界内のデバイスを決定することと、
前記決定されたデバイスの情報の拡張現実表現を前記視線追跡デバイスの表示にレンダリングすることと、
前記視線追跡デバイスにおいて自身の情報がレンダリングされた前記決定されたデバイスのうちの１つを含むターゲット・デバイスをリモート制御するためのユーザ制御を受信することと、
前記受信されたユーザ制御を前記ターゲット・デバイスに送信して前記ターゲット・デバイスを制御することと
を含む、方法。
【請求項17】
前記ユーザの視線における前記視界のサブセットである地理的座標を含むターゲット領域を決定することと、前記ターゲット領域の前記地理的座標に位置するデバイスの情報を有する少なくとも１つのシステムに要求を送信することと、
前記少なくとも１つのシステムから、前記ターゲット領域内のデバイスおよび前記デバイスのユーザ制御を示す少なくとも１つの応答を受信することとをさらに含み、前記少なくとも１つの応答において示される前記デバイスが前記決定されたデバイスを含み、前記視線追跡デバイスの前記表示における情報の前記レンダリングされた拡張現実表現が、前記少なくとも１つの応答において示される前記ユーザ制御を含む、請求項１６に記載の方法。
【請求項18】
前記少なくとも１つの応答が前記ターゲット領域内の前記デバイスの前記ユーザ制御の現在の状態を示し、情報の前記レンダリングされた拡張現実表現が、前記ユーザの前記視界内の拡張現実画像としてレンダリングされた前記デバイスの前記ユーザ制御の前記現在の状態を含む、請求項１７に記載の方法。
【請求項19】
前記デバイスを前記決定することが、機械学習モジュールにおいて、現在の時間、前記ユーザのアイデンティティ、組織における前記ユーザの役割、ユーザの承認レベル、前記ユーザが過去に制御した前記視界内のデバイスおよびそれらが制御された時間を含む入力のセットのメンバーである複数の入力を受信することと、
前記機械学習モジュールによって、前記受信された入力を処理して前記視界内の前記デバイスのうちの少なくとも１つのデバイスを出力することとを含み、前記出力された少なくとも１つのデバイスが、前記視線追跡デバイスの前記表示に自身の情報がレンダリングされた前記決定されたデバイスを含む、請求項１６に記載の方法。
【請求項20】
前記出力された少なくとも１つのデバイスをユーザがリモート制御することとなる確率を示す、前記出力された少なくとも１つのデバイスに対する信頼水準を決定することと、前記ユーザがリモート制御した前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのポジティブ・トレーニング・セットと、前記ユーザがリモート制御しなかった前記視線追跡デバイスにおいてレンダリングされた前記出力された少なくとも１つのデバイスのネガティブ・トレーニング・セットとを決定することと、
前記受信された入力に応答して、前記ポジティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも高い信頼水準を有する前記ポジティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと、
前記受信された入力に応答して、前記ネガティブ・トレーニング・セットの前記デバイスに対して決定された前記信頼水準よりも低い信頼水準を有する前記ネガティブ・トレーニング・セットの前記デバイスを出力するように前記機械学習モジュールを再トレーニングすることと
をさらに含む、請求項１９に記載の方法。
【国際調査報告】