(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-29
(54)【発明の名称】仮想現実通知の同期
(51)【国際特許分類】
G06F 3/16 20060101AFI20240122BHJP
G06F 3/01 20060101ALI20240122BHJP
【FI】
G06F3/16 650
G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023542728
(86)(22)【出願日】2021-12-22
(85)【翻訳文提出日】2023-07-13
(86)【国際出願番号】 EP2021087242
(87)【国際公開番号】W WO2022152532
(87)【国際公開日】2022-07-21
(32)【優先日】2021-01-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】INTERNATIONAL BUSINESS MACHINES CORPORATION
【住所又は居所原語表記】New Orchard Road, Armonk, New York 10504, United States of America
(74)【代理人】
【識別番号】100112690
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】カステッリ、ヴィットリオ
(72)【発明者】
【氏名】ラクシト、サルバジット
(72)【発明者】
【氏名】フランツ、マーティン
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA46
5E555AA57
5E555BA02
5E555BA04
5E555BA38
5E555BB02
5E555BB04
5E555BB38
5E555BC04
5E555BE17
5E555CA11
5E555CA18
5E555CA23
5E555CB64
5E555DA08
5E555DA09
5E555DA21
5E555DA24
5E555DB41
5E555DD08
5E555EA19
5E555EA23
5E555FA00
(57)【要約】
VR環境で作成された通知を同期させて他の時間に現実環境に提示する方法において、通知は、関連する全ての環境にわたってマッピングされ、トリガされたときに通知がユーザに提示される条件に関連付けられ得る。コンピュータ実装方法は、第1の時間に第1の環境内のコンピューティング・デバイスにおいて自然言語要求を受け取ることと、自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析することと、アラート構成要素および内容構成要素に基づいて1つまたは複数の条件を決定することと、意味的構成要素を複数の環境にマッピングすることと、コンピューティング・デバイスにより通知を実行することであって、通知は、第1の時間より後の第2の時間に1つまたは複数の条件が満たされた場合に複数の環境のうちの第2の環境においてアラート構成要素および内容構成要素を表現する、実行することと、を含み得る。
【選択図】
図1
【特許請求の範囲】
【請求項1】
仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ実装方法であって、
1つまたは複数のプロセッサによって、第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取ることであって、前記複数の環境はそれぞれ1つまたは複数のパラメータを含み、前記複数の環境は前記コンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、前記受け取ることと、
前記1つまたは複数のプロセッサによって、前記自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析することと、
前記1つまたは複数のプロセッサによって、前記アラート構成要素および前記内容構成要素に基づいて1つまたは複数の条件を決定することと、
前記1つまたは複数のプロセッサによって、前記意味的構成要素を前記複数の環境にマッピングすることと、
前記1つまたは複数のプロセッサによって、前記コンピューティング・デバイスにより通知を実行することであって、前記通知は、前記第1の時間より後の第2の時間に前記1つまたは複数の条件が満たされた場合に前記複数の環境のうちの第2の環境において前記アラート構成要素および前記内容構成要素を表現する、前記実行することと、
を含む、コンピュータ実装方法。
【請求項2】
前記1つまたは複数のプロセッサによって、意味解析を使用して前記自然言語要求をテキスト・データに変換すること
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記1つまたは複数のプロセッサによって、前記自然言語要求内の前記アラート構成要素を、前記コンピューティング・デバイスに前記通知を生成するように指示するデバイス・コマンドとして識別すること
をさらに含む、請求項1または2に記載のコンピュータ実装方法。
【請求項4】
前記1つまたは複数のプロセッサによって、前記自然言語要求内の前記内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別すること
をさらに含む、請求項1から3のいずれか一項に記載のコンピュータ実装方法。
【請求項5】
前記1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および前記内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含む、請求項1から4のいずれか一項に記載のコンピュータ実装方法。
【請求項6】
前記第1の環境は仮想現実環境であり、前記第2の環境は現実環境である、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
【請求項7】
前記通知は、前記内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり、前記コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介して前記ユーザに提示される、請求項1から6のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ・プログラム製品であって、
1つまたは複数のコンピュータ可読記憶媒体と、前記1つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令と、を含み、前記記憶されたプログラム命令は、
第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取るプログラム命令であって、前記複数の環境はそれぞれ1つまたは複数のパラメータを含み、前記複数の環境は前記コンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、前記受け取るプログラム命令と、
前記自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析するプログラム命令と、
前記アラート構成要素および前記内容構成要素に基づいて1つまたは複数の条件を決定するプログラム命令と、
前記意味的構成要素を前記複数の環境にマッピングするプログラム命令と、
前記コンピューティング・デバイスにより通知を実行するプログラム命令であって、前記通知は、前記第1の時間より後の第2の時間に前記1つまたは複数の条件が満たされた場合に前記複数の環境のうちの第2の環境において前記アラート構成要素および前記内容構成要素を表現する、前記実行するプログラム命令と、
を含む、コンピュータ・プログラム製品。
【請求項9】
意味解析を使用して前記自然言語要求をテキスト・データに変換するプログラム命令
をさらに含む、請求項8に記載のコンピュータ・プログラム製品。
【請求項10】
前記自然言語要求内の前記アラート構成要素を、前記コンピューティング・デバイスに前記通知を生成するように指示するデバイス・コマンドとして識別するプログラム命令
をさらに含む、請求項8または9に記載のコンピュータ・プログラム製品。
【請求項11】
前記自然言語要求内の前記内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別するプログラム命令
をさらに含む、請求項8から10のいずれか一項に記載のコンピュータ・プログラム製品。
【請求項12】
前記1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および前記内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含む、請求項8から11のいずれか一項に記載のコンピュータ・プログラム製品。
【請求項13】
前記第1の環境は仮想現実環境であり、前記第2の環境は現実環境である、請求項8から12のいずれか一項に記載のコンピュータ・プログラム製品。
【請求項14】
前記通知は、前記内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり、前記コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介して前記ユーザに提示される、請求項8から13のいずれか一項に記載のコンピュータ・プログラム製品。
【請求項15】
仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ・システムであって、
1つまたは複数のコンピュータ・プロセッサと、
1つまたは複数のコンピュータ可読記憶媒体と、
前記1つまたは複数のコンピュータ・プロセッサのうちの少なくとも1つによる実行のために前記1つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令と、
を含み、前記記憶されたプログラム命令は、
第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取るプログラム命令であって、前記複数の環境はそれぞれ1つまたは複数のパラメータを含み、前記複数の環境は前記コンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、前記受け取るプログラム命令と、
前記自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析するプログラム命令と、
前記アラート構成要素および前記内容構成要素に基づいて1つまたは複数の条件を決定するプログラム命令と、
前記意味的構成要素を前記複数の環境にマッピングするプログラム命令と、
前記コンピューティング・デバイスにより通知を実行するプログラム命令であって、前記通知は、前記第1の時間より後の第2の時間に前記1つまたは複数の条件が満たされた場合に前記複数の環境のうちの第2の環境において前記アラート構成要素および前記内容構成要素を表現する、前記実行するプログラム命令と、
を含む、コンピュータ・システム。
【請求項16】
意味解析を使用して前記自然言語要求をテキスト・データに変換するプログラム命令
をさらに含む、請求項15に記載のコンピュータ・システム。
【請求項17】
前記自然言語要求内の前記アラート構成要素を、前記コンピューティング・デバイスに前記通知を生成するように指示するデバイス・コマンドとして識別するプログラム命令と、
前記自然言語要求内の前記内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別するプログラム命令
をさらに含む、請求項15または16のいずれか一項に記載のコンピュータ・システム。
【請求項18】
前記1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および前記内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含む、請求項15から17のいずれか一項に記載のコンピュータ・システム。
【請求項19】
前記第1の環境は仮想現実環境であり、前記第2の環境は現実環境である、請求項15から18のいずれか一項に記載のコンピュータ・システム。
【請求項20】
前記通知は、前記内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり、前記コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介して前記ユーザに提示される、請求項15から19のいずれか一項に記載のコンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に仮想現実の分野に関し、より詳細には、仮想現実環境および現実環境にわたる通知の同期に関する。
【背景技術】
【0002】
仮想現実(VR:Virtual Reality)環境内でのインタラクションは、ヘッド・マウント・ディスプレイおよび他のインターフェース・デバイスを使用して実現することができ、幅広い数々のアプリケーションで使用することができる。ウェアラブルVRデバイスを身に着けたユーザは、完全に仮想的であるかまたは仮想および現実(physical)の組み合わせであるVR世界またはVR環境に視覚的に没入し得る。VRデバイスおよび環境は、仕事、ショッピング、ゲーム、仮想旅行、および他の形態の娯楽などに適用されている。VRデバイスを使用して特定のVR環境にアクセスしている間、ユーザは現実世界から部分的にまたは完全に切り離される。また、ほとんどの場合、ユーザは他の時間にアクセス可能であり得る他のVR環境からも完全に切り離される。ユーザがVR環境内を移動(navigate)するときに、様々なVR機能が利用できる場合と利用できない場合とがある。たとえば、ユーザはあるVR環境において、他のVR環境では実行できないタスクを実行し得る。これは、ある環境でタスクを実行し、それらのタスクを他の環境でのアクションまたはイベントに変換することを望むユーザが直面する欠点である。現在、他の欠点は、ユーザがユーザの現在の環境(たとえば、仮想または現実)に固有の通知(たとえば、アラート)を作成するための様々な方法を有し得るが、ユーザは、ユーザが他の時間にアクセスまたは訪問し得る他の環境で有効になる通知を作成したり修正したりすることができないということである。ばらばらなVR環境は、あるVR環境で作成されたタスクおよびイベントによって複数のVR環境を同期させることを望むユーザに課題をもたらす。
【発明の概要】
【0003】
本発明の実施形態は、仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステムを開示する。仮想現実環境および現実環境の間で通知を同期させるためのコンピュータ実装方法は、第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取ることであって、複数の環境はそれぞれ1つまたは複数のパラメータを含み、複数の環境はコンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、受け取ることと、自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析することと、アラート構成要素および内容構成要素に基づいて1つまたは複数の条件を決定することと、意味的構成要素を複数の環境にマッピングすることと、コンピューティング・デバイスにより通知を実行することであって、通知は、第1の時間より後の第2の時間に1つまたは複数の条件が満たされた場合に複数の環境のうちの第2の環境においてアラート構成要素および内容構成要素を表現する、実行することと、を行うように構成される1つまたは複数のプロセッサを含み得る。
【0004】
解決策として、特定の条件が満たされたときにある環境で作成されたアラートまたは通知が他のVR環境でトリガされるように複数のVR環境を同期させることにより、従来技術で直面していた課題に利点がもたらされる。そのような利点により、ユーザはVRの景色の全領域に没入することが可能になり、あるVR環境でイベントまたは通知を作成し、他のVR環境に移り、イベントまたは通知をそこで同様に適用することができる。イベントまたは通知は該当する全てのVR環境で同期されるので、イベントまたは通知に関連する条件が適切なVR環境でトリガされ得、その場合、ユーザはイベントまたは通知が作成されたときに決定された、関連付けられたアクションを実行するか、または関連付けられた情報のセットを受け取る必要がある。
【0005】
さらなる利点として、コンピュータ実装方法は、意味解析を使用して自然言語要求をテキスト・データに変換することをさらに含み得る。コンピュータ実装方法は、好ましくは、自然言語要求内のアラート構成要素を、コンピューティング・デバイスに通知を生成するように指示するデバイス・コマンドとして識別することをさらに含み得る。コンピュータ実装方法は、他の利点として、自然言語要求内の内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別することをさらに含み得る。好ましくは、1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含み得る。利点として、第1の環境は仮想現実環境であり得、第2の環境は現実環境であり得、またはその逆であり得る。好ましくは、通知は、内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり得、コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介してユーザに提示される。
【図面の簡単な説明】
【0006】
【
図1】本発明の一実施形態による、仮想現実環境および現実環境にわたって通知を同期させるための分散データ処理環境を示す機能ブロック図である。
【
図2】本発明の一実施形態による、仮想現実環境および現実環境にわたって通知を同期させるためのシステムのフローチャートである。
【
図3】本発明の一実施形態による、仮想現実環境および現実環境にわたって通知を同期させるための方法のフローチャートである。
【
図4】本発明の一実施形態による、
図1の分散データ処理環境のコンピューティング・デバイスのブロック図である。
【発明を実施するための形態】
【0007】
本明細書に記載の実施形態は、ユーザが現実世界または複数のVR環境(たとえば、仕事、ショッピング、ゲーム、または他の形の人間の活動)でアラートまたは通知を作成することができるコンピュータ実装方法、コンピュータ・システム、およびコンピュータ・プログラム製品を提供する。本発明の実施形態は、ある環境で入力されたアラートが他の環境で提示された場合に現実か仮想かにかかわらず非常に有用であり得ることを認識している。アラートは、現実世界およびVR世界を含む環境のうちの2つ以上の間で同期され得る。アラートは、アラートの作成時またはその後に指定された条件に基づいて提示され得る。ユーザまたは他のユーザは、アラート・プロパティの一部として指定された条件に応じて、環境のいずれかでの活動中にアラートについて通知され得る。
【0008】
VRデバイスを使用して特定のVR環境にアクセスしている間、ユーザは現実世界から部分的にまたは完全に切り離され、また、ほとんどの場合、ユーザが別の時間に使用し得る他のVR環境からも完全に切り離される。ユーザは、ユーザの現在の環境(たとえば、現実環境または仮想環境)に固有の通知(たとえば、アラート)を作成するために様々な方法を使用し得るが、ユーザが別の時間に訪問する環境で有効な通知を作成したり修正したりすることができない場合がある。たとえば、第1の時間に、ユーザはVR環境でVRデバイスを使用中であり得、ユーザは1つまたは複数の条件(たとえば、特定の時間に、特定の場所で、特定のアイテムを観察したときに)が満たされたときにタスクを実行するように思い出させるための通知を作成するが、ユーザは他の環境でその通知を作成できない場合があり、その理由は、ユーザがその環境にいないか、またはその環境にアクセスできないためである。したがって、VR環境でユーザが作成した通知は、その通知が作成されたときに確立された1つまたは複数の条件が満たされると、他の環境でユーザに提示され得る。
【0009】
一実施形態では、コンピュータ実装方法は、ユーザに関連付けられたユーザ・デバイスのユーザ・インターフェースを介してユーザ入力を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザ入力は処理されて、ユーザ・デバイスが存在する現実環境または仮想環境のいずれかにおいて通知(たとえば、アラート)が作成または修正され得る。次いで、通知(たとえば、アラート)は、全ての環境間で同期され、通知が作成されたときまたはその後に指定または決定された条件に従って適用され得る。
【0010】
特定の条件が満たされたときにある環境で作成されたアラートまたは通知が他のVR環境でトリガされるように複数のVR環境を同期させることにより、従来技術で直面していた課題に利点がもたらされる。そのような利点により、ユーザはVRの景色の全領域に没入することが可能になり、ユーザはあるVR環境でイベントまたは通知を作成し、他のVR環境に移り、イベントまたは通知をそこで同様に適用することができる。イベントまたは通知は該当する全てのVR環境で同期されるので、イベントまたは通知に関連する条件が適切なVR環境でトリガされ得、その場合、ユーザはイベントまたは通知が作成されたときに決定された、関連付けられたアクションを実行するか、または関連付けられた情報のセットを受け取ることを勧められる。
【0011】
一実施形態では、コンピュータ実装方法は、VR環境内でインタラクションを行っているユーザに関連付けられたユーザ・デバイスを検出するように構成される1つまたは複数のプロセッサを含み得る。VR環境内でインタラクションを行っている間、VR環境内で1つまたは複数の選択された条件に基づいて1つまたは複数の通知(たとえば、アラート)を作成するためのユーザ入力を受け取るようにユーザ・インターフェースが生成および構成され得る。1つまたは複数のプロセッサは、ユーザが別のVR環境にアクセスしているかまたは現実環境にいる間に、通知が作成されたときまたはその後に指定または決定された条件に従って通知を適用するように構成され得る。
【0012】
一実施形態では、コンピュータ実装方法は、現実環境内で1つまたは複数の選択された条件に基づいて1つまたは複数の通知(たとえば、アラート)を作成するためのユーザ入力を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザが1つまたは複数の特定のVR環境内で検出され、特定のVR環境のうちの1つまたは複数にいる間に1つまたは複数の選択された条件が満たされた場合に、通知がユーザによって検出されるように提示され得る。
【0013】
一実施形態では、ユーザ入力は、ユーザが受け取るかまたは他のユーザが受け取る通知を作成する命令に対応し得る。換言すれば、1つまたは複数のプロセッサは、第2のユーザが特定のVR環境または特定の現実環境内で検出されている間に1つまたは複数の条件が満たされた場合に、第2のユーザに提示される1つまたは複数の通知を作成するためのユーザ入力を第1のユーザから受け取るように構成され得る。通知を作成するためのユーザ入力は、テキスト入力、グラフィカル・ユーザ・インターフェース(GUI:graphical user interface)、音声テキスト化(speech-to-text)、テキスト音声化(text-to-speech)、または当業者に知られている他の任意のユーザ・データ入力方法を介して行われ得る。
【0014】
一実施形態では、1つまたは複数のプロセッサは、通知を作成し、通知をトリガするために指定された条件を関連付けるときに、複数の要因を考慮するように構成され得る。たとえば、通知および関連する条件を1つまたは複数の環境にマッピングまたは同期するときに、環境の場所(たとえば、VRまたは現実)、ジオフェンシング・エリア、時間、コンテキスト状況などが考慮され得る。通知を意図したユーザに提示するか否かを判定する際に、他のVR環境パラメータおよび現実環境パラメータが考慮されるか、あるいは1つまたは複数の環境内に組み込まれて使用され得る。一実施形態では、通知パラメータ(たとえば、ユーザの場所、ユーザの行動、またはタイミング情報、あるいはそれらの組み合わせ)が継続的に考慮され、通知パラメータと比較されて、通知を意図したユーザに提示するための条件が満たされているか否かが判定され得る。一実施形態では、通知パラメータは、環境(たとえば、VR環境または現実環境あるいはその両方)にいる間に、意図したユーザにいつ通知を提示すべきかを決定する際に、他のユーザ(たとえば、通知の作成を担当するユーザ以外のユーザ)の場所または行動あるいはその両方も含み得る。
【0015】
通知を作成し、通知をトリガするために指定された条件を関連付けるときに複数の要因を考慮することにより、本明細書に記載の実施形態は、各通知に多数のカスタマイズを適用することを可能にする。さらに、該当する各VR環境間で通知を同期させて、ユーザがドメイン全体を自由に移動しても、条件が満たされると適切な通知が提示され得るようにすることは有利である。
【0016】
一実施形態では、1つまたは複数のプロセッサは、通知を提示するための条件に対応するパラメータ入力を受け取ることによって、ユーザから通知を作成するための入力を受け取るように構成され得る。たとえば、通知を提示するための条件は、ユーザがある店舗タイプまたは特定の地理的位置に対応する環境内にいるか否かを判定してから、通知をユーザに提示することを含み得る。通知を提示するための条件の他の例は、一定の時間が経過したか否かを判定してから、通知をユーザに提示することを含み得る。ユーザへの通知の提示をトリガするために、複数の条件が確立され得る。
【0017】
一実施形態では、通知はユーザが知覚可能な任意の形態であり得る。たとえば、通知は、聴覚アラート、視覚アラート、触覚アラート、メッセージ・アラート、またはそれらの任意の組み合わせを含み得る。通知は、ユーザに関連付けられたユーザ・デバイスのうちの1つまたは複数によって実行される複数のアクションに対応する明細事項を含み得る。さらに、通知は、ユーザに関連付けられていない1つまたは複数のユーザ・デバイス(たとえば、第1のユーザ・デバイスに関連付けられた第2のユーザ・デバイス)によって実行される複数のアクションに対応する明細事項を含み得る。
【0018】
一実施形態では、第1のユーザは第1のユーザ・デバイスで条件付きの通知を設定し得、この条件は、満たされた場合に、第2のユーザ・デバイスが第2のユーザに通知を提示することを含み得る。たとえば、第1のユーザによって設定された通知は、第2のユーザ・デバイスによって第2のユーザに提示される、電話をかけるかまたはテキスト・メッセージを送信するための通知をトリガし得る。通知は、通知を提示する環境に関するパラメータまたは命令も含み得る。たとえば、ユーザは、意図したユーザの地理的位置を検出することによって決定される特定の環境にユーザまたは他のユーザがいる場合にのみ、ユーザまたは他のユーザに通知を提示する条件を提供し得る。通知パラメータは、ユーザの権限に基づいて通知を受け取るべき特定のユーザ、通知を受け取る環境、および通知を提示すべきタイミング・パラメータに関する情報も含み得る。
【0019】
一実施形態では、コンピュータ実装方法は、現実環境内にいないときに1つまたは複数の選択された条件に基づいて1つまたは複数の通知(たとえば、アラート)を作成するためのユーザ入力を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザが特定のVR環境内で検出されないかまたは検出され、特定のVR環境内にいないかまたは特定のVR環境内にいる間でも、1つまたは複数の選択された条件が満たされた場合に、通知が提示され得る。複数の環境はそれぞれ1つまたは複数のパラメータを含み得、複数の環境はコンピューティング・デバイスに関連付けられたユーザによってアクセス可能であり得る。
【0020】
一実施形態では、コンピュータ実装方法は、ユーザによって指定されるかあるいは1つまたは複数のプロセッサによって決定される1つまたは複数の条件に基づいて、1つまたは複数の環境(たとえば、VR環境、現実環境)内で1つまたは複数の通知を同期させる(たとえば、マッピングする)ように構成される1つまたは複数のプロセッサを含み得る。
【0021】
1つまたは複数の通知が1つまたは複数の環境に同期されるかまたはマッピングに成功すると、1つまたは複数のプロセッサは、ユーザが1つまたは複数の環境内で検出されたか否かを判定し、1つまたは複数の通知に関連付けられた1つまたは複数の条件が満たされている場合に、1つまたは複数の通知を意図したユーザに提示するように構成され得る。
【0022】
一実施形態では、1つまたは複数のユーザ・デバイス(たとえば、スマートフォン、VRゴーグルなど)に関連付けられたユーザは、1つまたは複数のユーザ・デバイス(たとえば、スマートフォンに結合されたVRゴーグル)を着用しながら店内で商品を見て回っている場合がある。ユーザが店の中を見て回っているときに、システムは、ユーザが第1の商品を購入し、第2の商品を見ていることを検出するように構成され得る。1つまたは複数のプロセッサは、ユーザの買い物行動(たとえば、第1の商品を購入し、第2の商品を見ている)を分析し、現在のユーザ環境またはその後のユーザ環境あるいはその両方に対応する1つまたは複数の環境パラメータに基づいて、ユーザによって設定されるかまたは1つまたは複数のプロセッサによって決定され得る1つまたは複数の条件に基づいて、第2の商品に関してユーザにアラートを出すための通知を作成するように構成され得る。
【0023】
他の実施形態では、コンピュータ実装方法は、現実環境およびVR環境におけるコンテキスト・パラメータおよび状況を分析することによって現実環境と仮想環境との間のマッピングを維持する命令をコンピューティング・デバイス(たとえば、ユーザ・デバイス)上で実行するように構成される1つまたは複数のプロセッサを含み得る。たとえば、ユーザがVRユーザ・デバイスを身につけてVR環境内を移動している間に、VRユーザ・デバイスは、VR環境に存在するVRコンテンツを分析して、ユーザの仮想的な地理的位置(たとえば、仮想座標)を識別するように構成され得る。さらに、ユーザがVRユーザ・デバイスを身につけてVR環境内を移動している間に、VRデバイスはユーザの仮想的なコンテキスト位置、たとえば、ショッピング・センター、鉄道駅、または他の興味のある、ユーザがアクセス可能なポイントなどを識別するように構成され得る。さらに、ユーザがVRユーザ・デバイスを身につけてVR環境内を移動している間に、VRデバイスは、現実環境またはVR環境に存在する他のユーザの存在を識別または検出するように構成され得る。
【0024】
VRデバイスがVR環境に存在する他のユーザの存在を検出するように構成される例では、1つまたは複数のプロセッサは、他のユーザの存在を処理して、アラートをトリガする条件が存在するか否かを判定するように構成され得る。たとえば、ユーザが第1の環境にいる間に「Trayvonに誕生日おめでとうと言うことを私に思い出させる」ためのアラートが作成され得る。その後、VRデバイスがVRデバイスのセンサを使用して他の環境でのTrayvonの存在を検出すると、1つまたは複数のプロセッサは、「Trayvonに誕生日おめでとうと言ってください」というメッセージを伝える通知をユーザに提示するように構成され得る。通知は、VRデバイスに接続されたスピーカーから再生されるオーディオ・メッセージとして、ユーザが視認できるように表示されるテキスト・メッセージとして、または見るべきもしくは受け取るべきアラートを示す固有の触覚通知として提示され得る。
【0025】
一実施形態では、1つまたは複数のプロセッサは、VR環境に存在するVRコンテンツのコンテキスト分析を使用して仮想的なジオフェンシング・エリアを識別するように構成され得る。VRコンテンツのコンテキスト分析を実行する際に、1つまたは複数のプロセッサは、時間、天気、ユーザ活動、ユーザ応答、および環境パラメータ(たとえば、VR環境パラメータ、または現実環境パラメータ、あるいはその両方)、たとえば、地理的位置、タイミングなどに対応するデータを処理するように構成され得る。通知を生成するためにコンテキスト分析を実行する際に、現実環境およびVR環境から複数の要因(たとえば、時間、天気、ユーザ活動、ユーザ応答、または環境パラメータ、あるいはそれらの組み合わせ)が組み合わせられ得る。たとえば、VRユーザ・デバイスは、ユーザによって1つまたは複数のツアー・パスを有するツアーに参加するために起動されて使用中であり得、その場合、VRユーザ・デバイスは、特定のパスのツアー・ガイド・オペレータに対応する命令を実行するように構成される。第1のパスのツアー中に、VRユーザ・デバイスは、位置データに基づいて、自身が第1の場所(たとえば、国立公園内のパス上の第1のフォト・ストップ)にあると判定し得る。さらに、VRユーザ・デバイスは、気象データに基づいて気象条件(たとえば、視界、降水量、または気温、あるいはそれらの組み合わせ)を決定するように構成され得る。さらに、VRユーザ・デバイスは、時間データ(たとえば、時刻)を決定し、時間データを使用して、ツアーに参加するのに適した時刻を決定するように構成され得る。さらに、VRユーザ・デバイスは、選ばれた時刻がツアーへの参加に適していないと判定し、ユーザによって検出される、第1のツアー・パスから第2のツアー・パスに迂回するための第1の通知を提供し得る。VRユーザ・デバイスのユーザに検出される複数の通知が提供され得る。たとえば、第1の通知に加えて、VRユーザ・デバイスは、ユーザに関連し得る情報を提供するための第2の通知を提供するように構成され得る。第2の通知は、「眺めを楽しんでください!」とユーザに伝える情報を含み得る。さらに、通知は、ユーザが受け取って決定を下すための選択的メッセージ(たとえば、他のパスに迂回するか、または現在のパスを継続するか)を含み得る。
【0026】
本発明の実施形態の実装は様々な形態を取り得、例示的な実装の詳細については、図を参照して後で論じる。
【0027】
図1は、本発明の一実施形態による、全体を100で示す、仮想現実環境および現実環境にわたって通知を同期させるための分散データ処理環境を示す機能ブロック図を示している。本明細書で使用する「分散(distributed)」という用語は、単一のコンピュータ・システムとして一緒に動作する複数の物理的に別個のデバイスを含むコンピュータ・システムを表す。
【0028】
図1は、本発明の一実施形態の例示を提供しているにすぎず、異なる実施形態が実施され得る環境に関していかなる制限も示唆していない。
図1に示すように、仮想現実環境および現実環境にわたって通知を同期させるための分散データ処理環境100は、データベース124、サーバ125、ユーザ・デバイス130、および仮想現実ヘッドセット132の間の通信を容易にするように構成されるネットワーク110を含む。
【0029】
ネットワーク110は、たとえば、ローカル・エリア・ネットワーク(LAN:local area network)、ワイド・エリア・ネットワーク(WAN:wide area network)、またはこれら2つの組み合わせとすることができるコンピューティング・ネットワークとして動作し、有線、無線、または光ファイバ接続を含むことができる。一般に、ネットワーク110は、データベース124、サーバ125、ユーザ・デバイス130、および仮想現実ヘッドセット132の間の通信をサポートする接続およびプロトコルの任意の組み合わせとすることができる。いくつかの実施形態では、ネットワーク110は任意選択的なものであり、仮想現実環境および現実環境にわたって通知を同期させるための分散データ処理環境100はスタンドアロン・システムとして動作することができ、他の実施形態では、ネットワーク110は、ユーザ・デバイス130または仮想現実ヘッドセット132あるいはその両方がネットワーク110を使用して共同データベースを共有できるように構成され得ることはさらに理解される。
【0030】
ユーザ・デバイス130は、ユーザに携行されるように構成される電子デバイスであり得る。ユーザ・デバイス130はパーソナル電子デバイス、たとえば、モバイル通信デバイス、スマートフォン、タブレット、パーソナル・デジタル・アシスタント、スマート・ウェアラブル・デバイス、パーソナル・ラップトップ・コンピュータ、デスクトップ・コンピュータ、またはユーザとのインタラクションを行い、ユーザ情報を収集してユーザ・プロファイルを生成するように構成される他の任意の電子デバイスであり得る。図示の実施形態では、ユーザ・デバイス130は、ユーザ・インターフェース122およびセンサ(複数可)(図示せず)を含む。ユーザ・デバイス130は、
図4でさらに詳細に説明するコンポーネントを含み得る。
【0031】
ユーザ・インターフェース122は、ユーザ・デバイス130の1人または複数のユーザがユーザ・デバイス130とインタラクションを行う、ユーザ・デバイス130上のローカル・ユーザ・インターフェースとして動作する。いくつかの実施形態では、ユーザ・インターフェース122は、ユーザ・デバイス130または仮想現実ヘッドセット132上のプログラム(たとえば、本明細書に記載の本発明のステップを実行するように構成されるソフトウェア)のローカル・アプリ・インターフェースである。いくつかの実施形態では、ユーザ・インターフェース122は、ネットワーク110を介してプログラムに関するまたはプログラムからの情報(すなわち、グラフィックス、テキスト、またはサウンド、あるいはそれらの組み合わせ)を表示する(すなわち、視覚的)、提示する(すなわち、聴覚的)、またはユーザが入力するもしくは受け取ることを可能にする、あるいはそれらの組み合わせを行うことができるグラフィカル・ユーザ・インターフェース(GUI)、ウェブ・ユーザ・インターフェース(WUI:web user interface)、または音声ユーザ・インターフェース(VUI:voice user interface)、あるいはそれらの組み合わせである。一実施形態では、ユーザ・インターフェース122は、ユーザがデータの送信および受信を(すなわち、それぞれ、プログラムへ、また、プログラムから、ネットワーク110を介して)行うことを可能にする。一実施形態では、ユーザ・インターフェース122は、ユーザがプログラムにオプトインし、ユーザ関連データを入力し、タスクまたは活動を完了するためのアラートを受け取ることを可能にする。
【0032】
仮想現実ヘッドセット132は、VR環境へのアクセスを提供するように構成されるコンポーネントになるように構成される電子デバイスであり得る。電子デバイスは、ワイヤレス・センサ、ソフトウェア、アクチュエータ、およびコンピュータ・デバイスを含み得る。仮想現実ヘッドセット132は、ネットワーク110を介して遠隔制御システムから、もしくはローカル・ネットワークを介してローカル制御システムから、または両方の組み合わせで制御され得る。さらに、仮想現実ヘッドセット132は、仮想現実ヘッドセット132またはユーザ・デバイス130にインストールされて実行されるソフトウェア・アプリケーションを介して制御されるように構成され得る。仮想現実ヘッドセット132は、ネットワークに接続された場合に、デバイス自体またはネットワーク110を介して接続された他のデバイスに対応する使用データおよび他のタイプのデータを伝達し得、これらのデータは、設計されたアプリケーションの範囲内で有用な洞察を提供し得る。仮想現実ヘッドセット132は、データを受け取って処理するためのプロセッサ、メモリ、および周辺機器(図示せず)を有して構成され得る。仮想現実ヘッドセット132は、
図4でさらに詳細に説明するコンポーネントを含み得る。
【0033】
いくつかの実施形態では、ユーザは特別なグローブを着用し、またはハンドヘルド・コントローラを利用し、あるいはその両方を行うことによって、仮想現実ヘッドセット132と連携してVR環境で動作を行い得る。任意選択により、ユーザが仮想環境で動作を行うときに、1つまたは複数のウェアラブル・センサを利用して、ユーザに関する様々なデータが取得され得る。このデータは、位置データ、バイオメトリック・データ、または周囲環境データ、あるいはそれらの組み合わせを含むことができるが、これらに限定されない。
【0034】
データベース124は、サーバ125、ユーザ・デバイス130、仮想現実ヘッドセット132に関連するデータ、およびネットワーク110内で伝送される他のデータのためのレポジトリとして動作し得る。データベースは、組織化されたデータの集合体である。データベース124は、サーバ125、ユーザ・デバイス130、または仮想現実ヘッドセット132、あるいはそれらの組み合わせがアクセスして利用することができるデータおよび構成ファイルを記憶することが可能な任意のタイプのストレージ・デバイス、たとえば、データベース・サーバ、ハード・ディスク・ドライブ、またはフラッシュ・メモリを用いて実装することができる。一実施形態では、データベース124は、サーバ125、ユーザ・デバイス130、または仮想現実ヘッドセット132、あるいはそれらの組み合わせによって、ユーザ・デバイス130または仮想現実ヘッドセット132に関連するデータを記憶するためにアクセスされ得る。他の実施形態では、データベース124は、本明細書に記載のようにデータにアクセスするためにユーザ・デバイス130または仮想現実ヘッドセット132によってアクセスされ得る。一実施形態では、データベース124は、ネットワーク110とは独立して存在し得る。他の実施形態では、データベース124がネットワーク110にアクセスできる場合、データベース124は分散データ処理環境100内の他の場所に存在し得る。
【0035】
図示の実施形態では、サーバ125は、本明細書に記載の本発明のステップを実行するように構成されるプログラム(すなわち、ソフトウェア)を含み得る。いくつかの実施形態では、サーバ125は、スタンドアロン・コンピューティング・デバイス(複数可)、管理サーバ(複数可)、ウェブ・サーバ(複数可)、モバイル・コンピューティング・デバイス(複数可)、またはデータを受信、送信、および処理することが可能な他の任意の電子デバイス(複数可)もしくはコンピューティング・システム(複数可)とすることができる。いくつかの実施形態では、サーバ125は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ(PC:personal computer)、デスクトップ・コンピュータ、スマートフォン、またはネットワーク110を介してユーザ・デバイス130および仮想現実ヘッドセット132と通信可能な任意のプログラム可能な電子デバイスであり得る。他の実施形態では、サーバ125は、クラウド・コンピューティング環境など、複数のコンピュータをサーバ・システムとして利用するサーバ・コンピューティング・システムを表す。さらに他の実施形態では、サーバ125は、分散データ処理環境100内でアクセスされた場合にシームレスなリソースの単一のプールとして機能するクラスタ化されたコンピュータおよびコンポーネント(たとえば、データベース・サーバ・コンピュータ、アプリケーション・サーバ・コンピュータなど)を利用するコンピューティング・システムを表す。サーバ125は、
図4でさらに詳細に説明するコンポーネントを含み得る。
【0036】
図2は、本発明の一実施形態による、仮想現実環境および現実環境にわたって通知を同期させるためのシステム200のフローチャートを示している。
【0037】
一実施形態では、システム200は、ユーザに関連付けられたユーザ・デバイス(たとえば、スマートフォン230a)のユーザ・インターフェースを介してユーザ入力202を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザ入力202は処理されて、ユーザ・デバイス(たとえば、スマートフォン230a)が存在する仮想環境(たとえば、仮想キッチン240)または現実環境(たとえば、食料品店250)のいずれかにおいて通知203(たとえば、アラート)が作成または修正され得る。次いで、通知203は、全ての環境(たとえば、仮想キッチン240および食料品店250)間で同期され、通知203を作成するためにユーザ入力202が使用されたときまたはその後に指定または決定された条件に従って適用され得る。
【0038】
一実施形態では、システム200は、VR環境内でインタラクションを行っているユーザに関連付けられた1つまたは複数のユーザ・デバイス(たとえば、スマートフォン230aおよびVRメガネ230b)を検出するように構成される1つまたは複数のプロセッサを含み得る。VR環境内でインタラクションを行っている間、VR環境内で1つまたは複数の選択された条件に基づいて1つまたは複数の通知203を作成するためのユーザ入力202を受け取るようにユーザ・インターフェースが生成されるか、または利用可能にされ、構成され得る。1つまたは複数のプロセッサは、ユーザが別のVR環境にアクセスしているかまたは現実環境にいる間に、ユーザ入力202が受け取られ、通知203を作成するために処理されたときまたはその後に指定または決定された条件に従って通知203を適用するように構成され得る。通知203が適用されると、1つまたは複数のプロセッサは、通知203に関連付けられた条件に従って、ユーザによって認識されるように通知203を提示するよう構成され得る。
【0039】
VRメガネ230bは、仮想現実機能を提供する電子コンピューティング・デバイスであり得る。これは、仮想現実ヘッドセット、モバイル・コンピューティング・デバイス(たとえば、スマートフォン、タブレット・コンピュータ、もしくは他の適切なコンピューティング・デバイス)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、またはウェアラブル・コンピューティング・デバイス、あるいはそれらの組み合わせを含み得る。実施形態では、ユーザはVRメガネ230bを使用して仮想環境(世界)内を移動し、現実世界における同様のタスクに対応するタスクに関連する仮想アクションを実行する。タスクの実行中に、様々なバイオメトリック・データまたは環境データあるいはその両方が取得される。このデータは、仮想環境での商品評価を促進し、同様の現実環境での商品の売上の推定を可能にする。
【0040】
一実施形態では、システム200は、現実環境内で1つまたは複数の選択された条件に基づいて1つまたは複数の通知203を作成するためのユーザ入力202を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザが1つまたは複数の特定の環境内で検出され、特定の環境のうちの1つまたは複数にいる間に1つまたは複数の選択された条件が満たされた場合に、通知203がユーザによって検出されるように提示され得る。
【0041】
一実施形態では、ユーザ入力202は、ユーザが受け取るかまたは他のユーザが受け取る通知203を作成する命令に対応し得る。換言すれば、1つまたは複数のプロセッサは、第2のユーザが特定のVR環境または特定の現実環境内で検出されている間に1つまたは複数の条件が満たされた場合に、第2のユーザに提示される1つまたは複数の通知203を作成するためのユーザ入力202を第1のユーザから受け取るように構成され得る。通知203を作成するためのユーザ入力202を受け取ることは、テキスト入力、グラフィカル・ユーザ・インターフェース(GUI)、音声テキスト化、テキスト音声化、または当業者に知られている他の任意のユーザ・データ入力方法を介した入力を含み得る。
【0042】
一実施形態では、システム200は、通知203を作成し、通知203をトリガするために指定された条件を関連付けるときに、複数の要因を考慮するように構成される1つまたは複数のプロセッサを含み得る。たとえば、通知203および関連する条件を1つまたは複数の環境(たとえば、VR環境または現実環境あるいはその両方)にマッピングまたは同期するときに、環境の場所、ジオフェンシング・エリア、時間、コンテキスト状況などが考慮され得る。通知を意図したユーザに提示するか否かを判定する際に、他のVR環境パラメータおよび現実環境パラメータが考慮されるか、あるいは1つまたは複数の環境内に組み込まれて使用され得る。一実施形態では、通知パラメータ(たとえば、ユーザの場所、ユーザの行動、またはタイミング情報、あるいはそれらの組み合わせ)が継続的に考慮され、通知パラメータと比較されて、通知203を意図したユーザに提示するための条件が満たされているか否かが判定され得る。一実施形態では、通知パラメータは、環境(たとえば、VR環境または現実環境あるいはその両方)にいる間に、意図したユーザにいつ通知を提示すべきかを決定する際に、他のユーザ(たとえば、通知の作成を担当するユーザ以外のユーザ)の場所または行動あるいはその両方も含み得る。
【0043】
一実施形態では、システム200は、通知203を提示するための条件に対応するパラメータ入力を受け取ることによって、ユーザから通知203を作成するための入力202を受け取るように構成される1つまたは複数のプロセッサを含み得る。たとえば、通知203を提示するための条件は、ユーザがある店舗タイプまたは特定の地理的位置に対応する環境内にいるか否かを判定してから、通知203をユーザに提示することを含み得る。通知203を提示するための条件の他の例は、一定の時間が経過したか否かを判定してから、通知203をユーザに提示することを含み得る。ユーザへの通知203の提示をトリガするために、複数の条件が確立され得る。
【0044】
一実施形態では、システム200は、ユーザ入力202を処理するために、情報抽出技術および意味解析を使用してユーザ入力202を音声からテキストに変換するように構成される1つまたは複数のプロセッサを含み得る。ユーザ入力202はタスクを実行する命令を含み得、タスクは特定のアイテム201を購入することであり得る。一実施形態では、アイテム201は複数のガーリックの球根のガーリック・ストリングであり得、ユーザが仮想キッチン240をざっと見ている間にアイテム201がVRメガネ230bを介して識別され得る。たとえば、ユーザ入力202が「ガーリックを買うのを忘れない」というテキストを含む場合、1つまたは複数のプロセッサは、実行すべきアクションを「買う」として識別し、買うべきまたは購入すべき対象物を「ガーリック」として識別し、ガーリックを買う場所を「食料品店」として識別するように構成され得る。情報抽出および意味解析を実行することによって決定されるアクション、対象物、および場所は、さらなる処理および送信のために通知データベース224に記憶され得る。
【0045】
一実施形態では、システム200は、通知203を提示するために設定された条件が満たされた場合に、スマートフォン230aのユーザに提示するために、通知203に対応するデータをスマートフォン230aに送信するように構成される1つまたは複数のプロセッサを含み得る。さらに、1つまたは複数のプロセッサは、位置データおよび他のパラメータを通知203に対応するデータと比較して、通知203をユーザに提示すべきか否かを判定し、また、いつ提示すべきかを決定するように構成され得る。たとえば、通知203に関連する条件が、ユーザが食料品店250に対応する現実環境の近くにいることに対応する場合、1つまたは複数のプロセッサは、ユーザが食料品店250に対応する現実環境の近くにいるとスマートフォン230aが判定すると、通知203をユーザに提示するように構成され得る。
【0046】
一実施形態では、通知203はユーザが知覚可能な任意の形態であり得る。たとえば、通知203は、聴覚アラート、視覚アラート、触覚アラート、メッセージ・アラート、またはそれらの任意の組み合わせを含み得る。通知203は、ユーザに関連付けられたユーザ・デバイス(たとえば、スマートフォン230a、VRメガネ230b)のうちの1つまたは複数によって実行される複数のアクションに対応する明細事項を含み得る。さらに、通知203は、ユーザに関連付けられていない1つまたは複数のユーザ・デバイス(たとえば、第1のユーザ・デバイスに関連付けられた第2のユーザ・デバイス、第1のユーザに関連付けられていない第2のユーザ・デバイス)によって実行される複数のアクションに対応する明細事項を含み得る。
【0047】
一実施形態では、第1のユーザは第1のユーザ・デバイス(たとえば、スマートフォン230a、VRメガネ230b)を介して条件付きの通知203を作成するためのユーザ入力202を提供し得、この条件は、満たされた場合に、第2のユーザ・デバイス(図示せず)に関連付けられた第2のユーザに通知203を提示するように構成される1つまたは複数のプロセッサを含み得る。たとえば、第1のユーザによる通知203を作成するためのユーザ入力202は、第2のユーザ・デバイス(図示せず)によって第2のユーザに提示される、電話をかけるかまたはテキスト・メッセージを送信するための通知203をトリガし得る。また、通知は、通知を提示する環境に関するパラメータまたは命令を含むように作成され得る。たとえば、ユーザは、意図したユーザの地理的位置を検出することによって決定される特定の環境にユーザまたは他のユーザがいる場合にのみ、ユーザまたは他のユーザに通知を提示する条件を提供し得る。通知パラメータは、ユーザの権限に基づいて通知を受け取るべき特定のユーザ、通知を受け取る環境、および通知を提示すべきタイミング・パラメータに関する情報も含み得る。
【0048】
一実施形態では、システム200は、現実環境内にいないときに1つまたは複数の選択された条件に基づいて1つまたは複数の通知203を作成するためのユーザ入力202を受け取るように構成される1つまたは複数のプロセッサを含み得、ユーザが特定のVR環境内で検出されず、特定のVR環境内にいない間でも、1つまたは複数の選択された条件が満たされた場合に、通知203がユーザに提示され得る。
【0049】
一実施形態では、システム200は、ユーザによって指定されるかあるいは1つまたは複数のプロセッサによって決定される1つまたは複数の条件に基づいて、1つまたは複数の環境(たとえば、VR環境または現実環境あるいはその両方)と1つまたは複数の通知203を同期させる(たとえば、マッピングする)ように構成される1つまたは複数のプロセッサを含み得る。
【0050】
1つまたは複数の通知203が1つまたは複数の環境に同期されるかまたはマッピングに成功すると、1つまたは複数のプロセッサは、ユーザが1つまたは複数の環境内で検出されたか否かを判定し、1つまたは複数の通知203に関連付けられた1つまたは複数の条件が満たされている場合に、1つまたは複数の通知203を意図したユーザに提示するように構成され得る。
【0051】
一実施形態では、1つまたは複数のユーザ・デバイス(たとえば、スマートフォン230a、VRメガネ230b)に関連付けられたユーザは、スマートフォン230aに結合されたVRメガネ230bを着用しながら店内で商品を見て回っている場合がある。ユーザが店の中を見て回っているときに、システム200は、1つまたは複数のユーザ・デバイスを介して、ユーザが第1の商品を購入し、第2の商品を見ていることを検出するように構成され得る。1つまたは複数のプロセッサは、ユーザの買い物行動(たとえば、第1の商品を購入し、第2の商品を見ている)を分析し、現在のユーザ環境またはその後のユーザ環境あるいはその両方に対応する1つまたは複数の環境パラメータに基づいて、ユーザによって設定されるかまたは1つまたは複数のプロセッサによって決定され得る1つまたは複数の条件に基づいて、第2の商品に関してユーザにアラートを出すための通知203を作成するように構成され得る。
【0052】
他の実施形態では、システム200は、現実環境およびVR環境におけるコンテキスト・パラメータおよび状況を分析することによって現実環境と仮想環境との間のマッピングを維持する命令をコンピューティング・デバイス(たとえば、スマートフォン230a、VRメガネ230b)上で実行するように構成される1つまたは複数のプロセッサを含み得る。たとえば、ユーザがVRユーザ・デバイス(たとえば、VRメガネ230b)を身につけてVR環境(たとえば、仮想キッチン240)内を移動している間に、VRユーザ・デバイスは、VR環境に存在するVRコンテンツを分析して、ユーザの仮想的な地理的位置(たとえば、仮想座標)を識別するように構成され得る。さらに、ユーザがVRユーザ・デバイス(たとえば、VRメガネ230b)を身につけてVR環境(たとえば、仮想キッチン240)内を移動している間に、VRデバイス(たとえば、VRメガネ230b)はユーザの仮想的なコンテキスト位置、たとえば、ショッピング・センター、鉄道駅、または他の興味のある、ユーザがアクセス可能なポイントなどを識別するように構成され得る。さらに、ユーザがVRユーザ・デバイスを身につけてVR環境内を移動している間に、VRデバイスは、現実環境またはVR環境に存在する他のユーザの存在を識別または検出するように構成され得る。
【0053】
図3は、本発明の一実施形態による、仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ実装方法300のフローチャートを示している。
【0054】
一実施形態では、コンピュータ実装方法300は、第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取ること302を行うように構成される1つまたは複数のプロセッサを含み得、複数の環境のうちの少なくとも1つはVR環境である。たとえば、自然言語要求は、コンピューティング・デバイスへのユーザ入力として意図されたテキスト・データ、オーディオ入力、または他のユーザ・データの形態のユーザ入力に対応し得る。オーディオ入力は、1つまたは複数のプロセッサを介してオーディオ・データに変換され得る音声発話を含み得る。オーディオ・データは、音素について分析され、さらなる処理のためにテキストに変換され得る。いくつかの実施形態では、自然言語処理は、
図1のユーザ・デバイス(たとえば、ユーザ・デバイス130)およびサーバ125に搭載されて実行され得る。他の実施形態では、自然言語処理の全部または一部はリモート・コンピュータで実行され得る。
【0055】
一実施形態では、オーディオ・データは、機械学習システムなどの自然言語処理(NLP:natural language processing)システムを使用して分析され得る。さらに、機械学習システムを使用して、センサから取得されたバイオメトリック・データ、画像データ、風景、オブジェクト認識および/またはオブジェクト分類、人物認識、自然言語処理(NLP)、感情分析、ならびに/あるいは他の分類プロセスを含む入力データがカテゴライズおよび分類され得る。機械学習システムは、1つまたは複数のニューラル・ネットワーク、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)、または他の深層学習技術、あるいはそれらの組み合わせを含み得る。機械学習システムは、1つまたは複数のプロセッサによって取得された情報を分析して情報のカテゴライズを支援するための回帰アルゴリズム、分類アルゴリズム、クラスタリング技術、異常検出技術、ベイジアン・フィルタリング、または他の適切な技術、あるいはそれらの組み合わせを含み得る。
【0056】
一実施形態では、コンピュータ実装方法300は、自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析すること304を行うように構成される1つまたは複数のプロセッサを含み得る。たとえば、自然言語要求を意味的構成要素へと解析すること304は、意味解析を使用して自然言語要求をテキスト・データに変換することを含み得る。さらに、自然言語要求を解析すること304は、アクションに対応するテキストをアラート構成要素として識別し、対象物または場所あるいはその両方に対応するテキストを内容構成要素として識別することを含み得る。
【0057】
一実施形態では、コンピュータ実装方法300は、自然言語要求内のアラート構成要素を、コンピューティング・デバイスに通知を生成するように指示するデバイス・コマンドまたはアクションとして識別するように構成される1つまたは複数のプロセッサを含み得る。
【0058】
一実施形態では、コンピュータ実装方法300は、自然言語要求内の内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別するように構成される1つまたは複数のプロセッサを含み得る。
【0059】
一実施形態では、コンピュータ実装方法300は、アラート構成要素および内容構成要素に基づいて1つまたは複数の条件を決定すること306を行うように構成される1つまたは複数のプロセッサを含み得る。一実施形態では、1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含み得る。ユーザ・イベントは、特定の時間または場所あるいはその両方で実行される自然な人間の行為に対応するユーザ活動を含み得る。たとえば、ユーザ・イベントには、ユーザが歩いて食料品店に入ること、車で小売店を通り過ぎること、またはジョギングして衣料品店を通り過ぎることが含まれ得る。ユーザ・イベントは、1つまたは複数のプロセッサによって、ユーザに関連付けられたコンピューティング・デバイスと通信するセンサで収集されたデータを処理することにより決定され得る。
【0060】
一実施形態では、コンピュータ実装方法300は、意味的構成要素を複数の環境にマッピングすること308を行うように構成される1つまたは複数のプロセッサを含み得る。
【0061】
一実施形態では、コンピュータ実装方法300は、コンピューティング・デバイスによって通知を実行すること310を行うように構成される1つまたは複数のプロセッサを含み得、通知は、第1の時間より後の第2の時間に1つまたは複数の条件が満たされた場合に複数の環境のうちの第2の環境においてアラート構成要素および内容構成要素を表現する。
【0062】
一実施形態では、第1の環境は仮想現実環境を含み得、第2の環境は現実環境を含み得る。
【0063】
一実施形態では、通知は、内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり得る。
【0064】
図4は、本発明の一実施形態による、サーバ125、ユーザ・デバイス130、または仮想現実ヘッドセット132、あるいはそれらの組み合わせなどの、
図1の分散データ処理環境100のコンピューティング・デバイス400のブロック図を示している。
図4は1つの実装形態の例示を提供しているにすぎず、異なる実施形態を実装できる環境に関するいかなる制限も意味するものではないことを理解されたい。図示した環境への多くの変更を加えることができる。
【0065】
コンピュータ400は、キャッシュ416、メモリ406、永続ストレージ408、通信ユニット410、および入力/出力(I/O:input/output)インターフェース(複数可)412の間の通信を提供する通信ファブリック402を含む。通信ファブリック402は、プロセッサ(たとえば、マイクロプロセッサ、通信およびネットワーク・プロセッサなど)、システム・メモリ、周辺デバイス、およびシステム内の他の任意のハードウェア・コンポーネントの間でデータまたは制御情報あるいはその両方を受け渡しするために設計された任意のアーキテクチャで実装することができる。たとえば、通信ファブリック402は、1つまたは複数のバスまたはクロスバー・スイッチで実装することができる。
【0066】
メモリ406および永続ストレージ408は、コンピュータ可読記憶媒体である。この実施形態では、メモリ406は、ランダム・アクセス・メモリ(RAM:random access memory)を含む。一般に、メモリ406は、任意の適切な揮発性または不揮発性のコンピュータ可読記憶媒体を含むことができる。キャッシュ416は、メモリ406から最近アクセスされたデータ、およびアクセスされたデータ付近のデータを保持することによって、コンピュータ・プロセッサ(複数可)404の性能を高める高速なメモリである。
【0067】
ソフトウェアおよびデータ414が、それぞれのコンピュータ・プロセッサ404のうちの1つまたは複数によって実行またはアクセスあるいはその両方を行うために、キャッシュ416を介して永続ストレージ408およびメモリ406に記憶され得る。一実施形態では、永続ストレージ408は、磁気ハード・ディスク・ドライブを含む。代替として、または磁気ハード・ディスク・ドライブに加えて、永続ストレージ408は、ソリッド・ステート・ハード・ドライブ、半導体ストレージ・デバイス、読み取り専用メモリ(ROM:read-only memory)、消去可能プログラム可能読み取り専用メモリ(EPROM:erasable programmable read-only memory)、フラッシュ・メモリ、またはプログラム命令もしくはデジタル情報を記憶することが可能な他の任意のコンピュータ可読記憶媒体を含むことができる。
【0068】
永続ストレージ408によって使用される媒体もまた、取り外し可能であり得る。たとえば、リムーバブル・ハード・ドライブが永続ストレージ408に使用され得る。他の例には、光ディスクおよび磁気ディスク、サム・ドライブ、ならびにスマート・カードが含まれ、これらはドライブに挿入されて他のコンピュータ可読記憶媒体上に転送され、これも永続ストレージ408の一部である。
【0069】
通信ユニット410は、これらの例では、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例では、通信ユニット410は、1つまたは複数のネットワーク・インターフェース・カードを含む。通信ユニット410は、物理および無線通信リンクの一方または両方を使用して通信を提供し得る。ソフトウェアおよびデータ414は、通信ユニット410を介して永続的ストレージ408にダウンロードされ得る。
【0070】
I/Oインターフェース(複数可)412は、データベース124、サーバ125、ユーザ・デバイス130、または仮想現実ヘッドセット132、あるいはそれらの組み合わせに接続され得る他のデバイスとのデータの入力および出力を可能にする。たとえば、I/Oインターフェース412は、キーボード、キーパッド、タッチ・スクリーン、または他の何らかの適切な入力デバイス、あるいはそれらの組み合わせなどの外部デバイス418への接続を提供し得る。外部デバイス418はまた、ポータブル式のコンピュータ可読記憶媒体、たとえば、サム・ドライブ、ポータブル式の光ディスクまたは磁気ディスク、およびメモリ・カードなどを含むことができる。本発明の実施形態を実践するために使用されるソフトウェアおよびデータ414は、そのようなポータブル式のコンピュータ可読記憶媒体に記憶することができ、I/Oインターフェース(複数可)412を介して永続ストレージ408にロードすることができる。I/Oインターフェース(複数可)412もまた、ディスプレイ420に接続される。
【0071】
ディスプレイ420は、データをユーザに表示するためのメカニズムを提供し、たとえば、コンピュータ・モニタであり得る。
【0072】
本明細書に記載のプログラムは、それらが本発明の特定の実施形態で実装される場合の用途に基づいて識別している。しかしながら、本明細書のいかなる特定のプログラム名称も便宜上使用しているにすぎず、したがって、本発明が、そのような名称によって識別または含意あるいはその両方が行われる任意の特定の用途のみに限定されるべきではないということを理解されたい。
【0073】
本発明は、システム、コンピュータ実装方法、またはコンピュータ・プログラム製品、あるいはそれらの組み合わせであり得る。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体(または複数の媒体)を含み得る。
【0074】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のために命令を保持および記憶可能な任意の有形のデバイスとすることができる。コンピュータ可読記憶媒体は、たとえば、限定はしないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROMまたはフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM:static random access memory)、ポータブル・コンパクト・ディスク読み取り専用メモリ(CD-ROM:compact disc read-only memory)、デジタル・バーサタイル・ディスク(DVD:digital versatile disk)、メモリー・スティック(R)、フレキシブル・ディスク、命令が記録されたパンチ・カードまたは溝の隆起構造などの機械的にコード化されたデバイス、およびこれらの任意の適切な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書で使用する場合、たとえば、電波または他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を伝搬する電磁波(たとえば、光ファイバ・ケーブルを通過する光パルス)、または有線で伝送される電気信号などの一過性の信号自体であると解釈されるべきではない。
【0075】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスに、あるいは、たとえば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくは無線ネットワーク、またはそれらの組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組み合わせを含み得る。各コンピューティング/処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に記憶する。
【0076】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA:instruction-set-architecture)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Smalltalk(R)、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組み合わせで書かれたソース・コードまたはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上かつ部分的にリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバ上で実行され得る。最後のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得、または(たとえば、インターネット・サービス・プロバイダを使用してインターネットを介して)外部コンピュータへの接続がなされ得る。いくつかの実施形態では、たとえば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ(FPGA:field-programmable gate array)、またはプログラマブル・ロジック・アレイ(PLA:programmable logic array)を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してコンピュータ可読プログラム命令を実行することによって、電子回路を個人向けにし得る。
【0077】
本発明の態様は、本発明の実施形態による方法、装置(システム)、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して本明細書で説明している。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装できることは理解されよう。
【0078】
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供して、それらの命令がコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行された場合に、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて指定された機能/行為を実装するための手段が生成されるようなマシンを生成し得る。また、これらのコンピュータ可読プログラム命令を、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはそれらの組み合わせに特定の方法で機能するように指示することが可能なコンピュータ可読記憶媒体に記憶して、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて指定された機能/行為の態様を実装する命令を含む製造品を構成するようにし得る。
【0079】
また、コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードして、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実行させることによって、それらの命令がコンピュータ、他のプログラム可能装置、または他のデバイス上で実行された場合に、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて指定された機能/行為が実装されるようなコンピュータ実装処理を生成し得る。
【0080】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理的機能(複数可)を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表し得る。いくつかの代替的実装形態では、ブロックに記載した機能は、図示した順序以外で行われ得る。たとえば、関与する機能に応じて、連続して示した2つのブロックは、実際には実質的に同時に実行され得、またはそれらのブロックは、場合により逆の順序で実行され得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、指定された機能もしくは行為を実行するか、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用のハードウェア・ベースのシステムによって実装できることにも気付くであろう。
【0081】
本発明の様々な実施形態の説明は例示の目的で提示しているが、網羅的であることも、開示した実施形態に限定されることも意図したものではない。本発明の範囲および思想から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用する用語は、実施形態の原理、実際の適用、もしくは市場で見られる技術に対する技術的改善を最もよく説明するために、または当業者が本明細書に開示した実施形態を理解できるようにするために選択している。
【手続補正書】
【提出日】2023-12-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ実装方法であって、
1つまたは複数のプロセッサによって、第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取ることであって、前記複数の環境はそれぞれ1つまたは複数のパラメータを含み、前記複数の環境は前記コンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、前記受け取ることと、
前記1つまたは複数のプロセッサによって、前記自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析することと、
前記1つまたは複数のプロセッサによって、前記アラート構成要素および前記内容構成要素に基づいて1つまたは複数の条件を決定することと、
前記1つまたは複数のプロセッサによって、前記意味的構成要素を前記複数の環境にマッピングすることと、
前記1つまたは複数のプロセッサによって、前記コンピューティング・デバイスにより通知を実行することであって、前記通知は、前記第1の時間より後の第2の時間に前記1つまたは複数の条件が満たされた場合に前記複数の環境のうちの第2の環境において前記アラート構成要素および前記内容構成要素を表現する、前記実行することと、
を含む、コンピュータ実装方法。
【請求項2】
前記1つまたは複数のプロセッサによって、意味解析を使用して前記自然言語要求をテキスト・データに変換すること
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記1つまたは複数のプロセッサによって、前記自然言語要求内の前記アラート構成要素を、前記コンピューティング・デバイスに前記通知を生成するように指示するデバイス・コマンドとして識別すること
をさらに含む、請求項1または2に記載のコンピュータ実装方法。
【請求項4】
前記1つまたは複数のプロセッサによって、前記自然言語要求内の前記内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別すること
をさらに含む、請求項1から3のいずれか一項に記載のコンピュータ実装方法。
【請求項5】
前記1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および前記内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含む、請求項1から4のいずれか一項に記載のコンピュータ実装方法。
【請求項6】
前記第1の環境は仮想現実環境であり、前記第2の環境は現実環境である、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
【請求項7】
前記通知は、前記内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり、前記コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介して前記ユーザに提示される、請求項1から6のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
コンピュータ・プログラムであって、請求項1から7のいずれか一項に記載の方法をコンピュータに実行させるための、コンピュータ・プログラム。
【請求項9】
請求項8に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。
【請求項10】
仮想現実環境および現実環境にわたって通知を同期させるためのコンピュータ・システムであって、
1つまたは複数のコンピュータ・プロセッサと、
1つまたは複数のコンピュータ可読記憶媒体と、
前記1つまたは複数のコンピュータ・プロセッサのうちの少なくとも1つによる実行のために前記1つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令と、
を含み、前記記憶されたプログラム命令は、
第1の時間に複数の環境のうちの第1の環境内で動作するコンピューティング・デバイスにおいて自然言語要求を受け取るプログラム命令であって、前記複数の環境はそれぞれ1つまたは複数のパラメータを含み、前記複数の環境は前記コンピューティング・デバイスに関連付けられたユーザによってアクセス可能である、前記受け取るプログラム命令と、
前記自然言語要求を、アラート構成要素および内容構成要素を含む意味的構成要素へと解析するプログラム命令と、
前記アラート構成要素および前記内容構成要素に基づいて1つまたは複数の条件を決定するプログラム命令と、
前記意味的構成要素を前記複数の環境にマッピングするプログラム命令と、
前記コンピューティング・デバイスにより通知を実行するプログラム命令であって、前記通知は、前記第1の時間より後の第2の時間に前記1つまたは複数の条件が満たされた場合に前記複数の環境のうちの第2の環境において前記アラート構成要素および前記内容構成要素を表現する、前記実行するプログラム命令と、
を含む、コンピュータ・システム。
【請求項11】
意味解析を使用して前記自然言語要求をテキスト・データに変換するプログラム命令
をさらに含む、請求項10に記載のコンピュータ・システム。
【請求項12】
前記自然言語要求内の前記アラート構成要素を、前記コンピューティング・デバイスに前記通知を生成するように指示するデバイス・コマンドとして識別するプログラム命令と、
前記自然言語要求内の前記内容構成要素を、ユーザにタスクを実行するように指示するユーザ・コマンドとして識別するプログラム命令
をさらに含む、請求項10または11のいずれか一項に記載のコンピュータ・システム。
【請求項13】
前記1つまたは複数の条件は、場所に対応する地理的条件、ユーザ・イベントに対応する活動条件、および前記内容構成要素に基づいて決定されるユーザ条件のうちの1つまたは複数を含む、請求項10から12のいずれか一項に記載のコンピュータ・システム。
【請求項14】
前記第1の環境は仮想現実環境であり、前記第2の環境は現実環境である、請求項10から13のいずれか一項に記載のコンピュータ・システム。
【請求項15】
前記通知は、前記内容構成要素を表す聴覚アラートおよび視覚アラートのうちの1つまたは複数であり、前記コンピューティング・デバイスと通信可能に結合されたVRゴーグルを介して前記ユーザに提示される、請求項10から14のいずれか一項に記載のコンピュータ・システム。
【国際調査報告】