特開 2018-185853 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-185853(P2018-185853A)

(43)【公開日】2018年11月22日

(54)【発明の名称】グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20181026BHJP

   G06F 3/0482 20130101ALI20181026BHJP

   G06F 3/0487 20130101ALI20181026BHJP

   G06F 3/0481 20130101ALI20181026BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0482

   G06F3/0487

   G06F3/0481 150

   G06F3/01 560

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

【全頁数】27

(21)【出願番号】特願2018-133909(P2018-133909)

(22)【出願日】2018年7月17日

(62)【分割の表示】特願2016-46840(P2016-46840)の分割

【原出願日】2010年1月29日

(31)【優先権主張番号】61/148,312

(32)【優先日】2009年1月29日

(33)【優先権主張国】US

(31)【優先権主張番号】61/181,280

(32)【優先日】2009年5月26日

(33)【優先権主張国】US

(31)【優先権主張番号】12/502,702

(32)【優先日】2009年7月14日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】バーンボーム、 デイビッド

(72)【発明者】

【氏名】ウーリッヒ、 クリストファー ジェイ．

(72)【発明者】

【氏名】ルビン、 ピーター

(72)【発明者】

【氏名】ヌゴ、 フォン デイビッド

(72)【発明者】

【氏名】コペロウ、 レオ

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA10

5E555AA12

5E555AA27

5E555AA63

5E555BA04

5E555BB04

5E555BC04

5E555BE17

5E555CA10

5E555CA12

5E555CA29

5E555CA31

5E555CA44

5E555CB12

5E555CB20

5E555CB21

5E555CB34

5E555CB42

5E555CB45

5E555CB59

5E555CB72

5E555CB74

5E555CC03

5E555DA24

5E555DB11

5E555DB18

5E555DB53

5E555DC02

5E555DC05

5E555DC19

5E555DC52

5E555DC53

5E555DC54

5E555DD06

5E555EA09

5E555EA11

5E555FA00

(57)【要約】      （修正有）

【課題】グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法を提供する。
【解決手段】グラフィカルユーザインターフェースを提供するためのデバイス１００は、ハウジング１１０、ディスプレイ１２０、センサー１４０、およびプロセッサ１３０から構成される。ハウジング１１０は、ユーザによって掴まれるように構成される。ディスプレイ１２０は、グラフィカルユーザインターフェースを表示するように構成される。センサー１４０は、一つの自由度におけるハウジングの動きを検出するように構成される。プロセッサ１３０は、センサー１４０からのセンサー信号を受け取り、センサー信号は動きと関連付けられたパラメータを含み、パラメータに基づいてグラフィカルユーザインターフェースと関連付けられたコマンドを決定し、コマンドに基づいて実行されるべき機能を決定し、機能を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザによって掴まれるように構成されたハウジングと、
ハウジング中に配置されたディスプレイであって、ディスプレイはグラフィカルユーザインターフェースを表示するように構成されているものと、
ハウジング中に配置されたセンサーであって、センサーは一つの自由度におけるハウジングの動きを検出するように構成されているものと、
ハウジング中に配置され、ディスプレイおよびセンサーと通信しているプロセッサであって、プロセッサは、
センサーからのセンサー信号を受け取り、センサー信号は動きと関連付けられたパラメータを含み、
パラメータに少なくとも部分的に基づいてグラフィカルユーザインターフェースと関連付けられたコマンドを決定し、
コマンドに少なくとも部分的に基づいて実行されるべき機能を決定し、
機能を実行する、
ように構成されているものと、
を含むデバイス。

【請求項2】

グラフィカルユーザインターフェースが、ギアシフトパターンとギアシフトノブを含み、ギアシフトノブはギアシフトパターン内で可動である、請求項１のデバイス。

【請求項3】

グラフィカルユーザインターフェースが、仮想物理的空間を含む、請求項１のデバイス。

【請求項4】

仮想物理的空間が、複数の仮想物理的オブジェクトを含む、請求項３のデバイス。

【請求項5】

仮想物理的空間が、２次元仮想物理的空間を含む、請求項３のデバイス。

【請求項6】

仮想物理的空間が、３次元仮想物理的空間を含む、請求項３のデバイス。

【請求項7】

アクチュエータを更に含み、プロセッサが更に、動きに基づいてアクチュエータ信号を生成し、アクチュエータが触覚エフェクトを出力することを引き起こすようにアクチュエータにアクチュエータ信号を出力するように構成されている、請求項１のデバイス。

【請求項8】

仮想物理的空間が、第一の仮想物理的空間を含み、グラフィカルユーザインターフェースが、第一のグラフィカルユーザインターフェースを含み、プロセッサが更に、
第二のデバイスを第一の仮想物的空間に接続することの要求を示す第二のデバイスからの信号を受け取り、第二のデバイスは第二の仮想物理的空間を含んだ第二のグラフィカルユーザインターフェースを実行しており、
第一の仮想物理的空間を第二の仮想物理的空間に接続し、
センサーからの第二のセンサー信号を受け取り、第二のセンサー信号はデバイスの第二の動きを示しており、
第一のグラフィカルユーザインターフェースと第二の仮想物理的空間の間の相互作用を第二の動きに基づいて決定する
ように構成されている、請求項３のデバイス。

【請求項9】

コマンドが、第二の仮想物理的空間内の仮想物理的オブジェクトの選択を含む、請求項８のデバイス。

【請求項10】

機能が、仮想物理的オブジェクトを第二の仮想物理的空間から第一の仮想物理的空間まで動かすか、または仮想物理的オブジェクトを第二の仮想物理的空間から第一の仮想物理的空間にコピーする、動き機能またはコピー機能を含む、請求項９のデバイス。

【請求項11】

機能が、仮想物理的オブジェクトの内容を閲覧する閲覧機能を含む、請求項９のデバイス。

【請求項12】

センサーからのセンサー信号を受け取ることであって、センサー信号はデバイスの動きと関連付けられたパラメータを含むことと、
パラメータに少なくとも部分的に基づいてグラフィカルユーザインターフェースと関連付けられたコマンドを決定することと、
コマンドに少なくとも部分的に基づいて実行されるべき機能を決定することと、
機能を実行することと、
を含む方法。

【請求項13】

グラフィカルユーザインターフェースが、仮想物理的空間を含む、請求項１２の方法。

【請求項14】

仮想物理的空間が、第一の仮想物理的空間を含み、グラフィカルユーザインターフェースが、第一のグラフィカルユーザインターフェースを含み、方法が更に、
第二のデバイスを第一の仮想物的空間に接続することの要求を示す第二のデバイスからの信号を受け取ることであって、第二のデバイスは第二の仮想物理的空間を含んだ第二のグラフィカルユーザインターフェースを実行していることと、
第一の仮想物理的空間を第二の仮想物理的空間に接続することと、
センサーからの第二のセンサー信号を受け取ることであって、第二のセンサー信号はデバイスの第二の動きを示していることと、
第一のグラフィカルユーザインターフェースと第二の仮想物理的空間の間の相互作用を第二の動きに基づいて決定することと、
を含む、請求項１３の方法。

【請求項15】

コマンドが、第二の仮想物理的空間内の仮想物理的オブジェクトの選択を含む、請求項１４の方法。

【請求項16】

機能が、仮想物理的オブジェクトを第二の仮想物理的空間から第一の仮想物理的空間まで動かすか、または仮想物理的オブジェクトを第二の仮想物理的空間から第一の仮想物理的空間にコピーする、動き機能またはコピー機能を含む、請求項１４の方法。

【請求項17】

機能が、仮想物理的オブジェクトの内容を閲覧する閲覧機能を含む、請求項１４の方法。

【請求項18】

ハウジングと、
ハウジング中に配置されたタッチ感応ディスプレイであって、タッチ感応ディスプレイは、
車輪上に配列された複数の機能を有する車輪を含んだグラフィカルユーザインターフェースを表示し、
タッチ感応ディスプレイとの第一の接触と第二の接触を検出し、
第一の接触に基づいた第一の入力信号と第二の接触に基づいた第二の入力信号を生成する
ように構成されているものと、
ハウジング中に配置され、タッチ感応ディスプレイと通信しているプロセッサであって、プロセッサは、
タッチ感応ディスプレイからの第一の入力信号を受け取り、第一の入力信号は第一の接触と関連付けられた第一のパラメータを含み、
パラメータに基づいてグラフィカルユーザインターフェースと関連付けられた複数のコマンドから第一のコマンドを決定し、複数のコマンドは車輪を時計回りに回転することと車輪を反時計回りに回転することを含み、
タッチ感応ディスプレイからの第二の入力信号を受け取り、第二の入力信号は第二の接触と関連付けられた第二のパラメータを含み、
第二のコマンドに基づいて実行されるべき機能を決定し、
機能を実行する、
ように構成されているものと、
を含むシステム。

【請求項19】

ハウジングと、
ハウジング中に配置されたタッチ感応ディスプレイであって、タッチ感応ディスプレイは、
シミュレーションされた深さ次元に伸びているリストを含んだグラフィカルユーザインターフェースを表示し、
タッチ感応ディスプレイとの第一の接触と第二の接触を検出し、
第一の接触に基づいた第一の入力信号と第二の接触に基づいた第二の入力信号を生成する
ように構成されているものと、
ハウジング中に配置され、タッチ感応ディスプレイと通信しているプロセッサであって、プロセッサは、
タッチ感応ディスプレイからの第一の入力信号を受け取り、第一の入力信号は第一の接触と関連付けられた第一のパラメータを含み、
パラメータに基づいてグラフィカルユーザインターフェースと関連付けられた複数のコマンドから第一のコマンドを決定し、複数のコマンドはシミュレーションされた深さ次元に沿って第一の方向にスクロールすることとシミュレーションされた深さ次元に沿って第二の方向にスクロールすることを含み、
タッチ感応ディスプレイからの第二の入力信号を受け取り、第二の入力信号は第二の接触と関連付けられた第二のパラメータを含み、
第二のコマンドに基づいて実行されるべき機能を決定し、
機能を実行する、
ように構成されているものと、
を含むシステム。

【請求項20】

ハウジングと、
ハウジング中に配置されたタッチ感応ディスプレイであって、タッチ感応ディスプレイは、
描画パッドを含んだグラフィカルユーザインターフェースを表示し、
タッチ感応ディスプレイとの第一の接触と第二の接触を検出し、
第一の接触に基づいた第一の入力信号と第二の接触に基づいた第二の入力信号を生成する
ように構成されているものと、
ハウジング中に配置され、タッチ感応ディスプレイと通信しているプロセッサであって、プロセッサは、
タッチ感応ディスプレイからの第一の入力信号を受け取り、第一の入力信号は第一の接触と関連付けられた第一のパラメータを含み、
第一のパラメータに基づいて文字を決定し、
第一のパラメータに基づいて複数のオブジェクトを同定し、
タッチ感応ディスプレイからの第二の入力信号を受け取り、第二の入力信号は第二の接触と関連付けられた第二のパラメータを含み、
第二のコマンドに基づいて実行されるべき機能を決定し、
機能を実行する、
ように構成されているものと、
を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

[関連出願へのクロスリファレンス]この実用特許出願は、２００９年１月２９日に出願され“Systems and Methods for Pseudo-Telepresence in a Shared Space”と題された米国仮特許出願番号61/148,312と、２００９年５月２６日に出願され“Systems and Methods for Transmitting Haptic Messages”と題された米国仮特許出願番号61/181,280の優先権を主張し、２００８年７月１５日に出願され“Systems and Methods for Physics-Based Tactile Messaging”と題された米国仮特許出願番号61/080,978と、２００８年７月１５日に出願され“Systems and Methods for Mapping Message Contents to Virtual Physical Properties for Vibrotactile Messaging”と題された米国仮特許出願番号61/080,981と、２００８年７月１５日に出願され“Systems and Methods for Shifting Sensor Haptic Feedback Function Between Passive and Active Modes”と題された米国仮特許出願番号61/080,985と、２００８年７月１５日に出願され“Systems and Methods for Gesture Indication of Message Recipients”と題された米国仮特許出願番号61/080,987の優先権を主張する２００９年７月１４日に出願され“Systems and Methods for Transmitting Haptic Messages”と題された米国特許出願番号12/502,702の一部継続出願であり、それらの全てはその全体がここで引用によって組み込まれる。

【0002】

本発明は、全般的にグラフィカルユーザインターフェースに関し、より特定には、グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法に関する。

【背景技術】

【0003】

従来のユーザデバイスは、アプリケーションを選択し、電話番号をダイヤルし、またはテキストメッセージをタイプするための、タッチスクリーンまたはボタンのような、デバイスと相互作用することをユーザに許容するための基本的なインターフェースメカニズムを使用し得る。そのようなデバイスでは、インターフェースの複数レベルを通したナビゲーションは煩雑であり得て、ユーザによる相当な注意を要求し、望ましい機能に正しくアクセスするためにデバイスを正確に操作することを要求し、またはユーザインターフェースを保持してナビゲートするために２つの手の使用を要求し得る。例えば、そのようなデバイスは、メッセージ受取人を選択し、メッセージをタイプし、メッセージを送るためのマルチステッププロセスを使用し得る従来のテキストメッセ−ジングシステムを含み得る。従って、ユーザのジェスチャーに応答してグラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法の必要がある。

【発明の概要】

【0004】

グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法の実施形態が開示される。例えば、グラフィカルユーザインターフェースとの物理的相互作用を解釈するための一つのシステムは、ユーザによって掴まれるように構成されたハウジングと、ハウジング中に配置されたディスプレイであって、ディスプレイはグラフィカルユーザインターフェースを表示するように構成されているものと、ハウジング中に配置されたセンサーであって、センサーは一つの自由度におけるハウジングの動きを検出するように構成されているものと、を有するデバイスである。デバイスはまた、ハウジング中に配置され、ディスプレイおよびセンサーと通信しているプロセッサであって、プロセッサは、センサーからのセンサー信号を受け取り、センサー信号は動きと関連付けられたパラメータを含み、パラメータに基づいてグラフィカルユーザインターフェースと関連付けられたコマンドを決定し、コマンドに基づいて実行されるべき機能を決定し、機能を実行する、ように構成されているもの、を含む。

【0005】

この描写的実施形態は、発明を限定したり規定したりするためではなく、むしろその理解を補助するための例を提供するために言及されている。描写的実施形態が詳細な記載で説明され、そこでは発明の更なる記載が提供される。この発明の様々な実施形態によって供される利点は、この明細書を精査することによって更に理解され得る。

【0006】

本発明のこれらおよびその他の特徴、側面および利点は、添付の図面を参照して以下の詳細な記載が読まれた時により良く理解される。

【図面の簡単な説明】

【0007】

【図1】図１は、本発明の一実施形態に従ったグラフィカルユーザインターフェースを提供するためのデバイスを示す。

【図2a】図２ａは、本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。

【図2b】図２ｂは、本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。

【図2c】図２ｃは、本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。

【図2d】図２ｄは、本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。

【図3】図３は、本発明の一実施形態に従ったグラフィカルユーザインターフェースを提供するための方法を示す。

【図4】図４は、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図5】図５は、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図6】図６は、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図7】図７は、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図8】図８は、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図9a】図９ａは、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【図9b】図９ｂは、本発明の実施形態に従ったグラフィカルユーザインターフェースを示す。

【発明を実施するための形態】

【0008】

本発明の実施形態は、グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法を提供する。

【0009】

例えば、本発明の一つの描写的実施形態では、携帯電話が、タッチ感応ディスプレイスクリーンと、様々なアプリケーションを実行するプロセッサと、携帯電話の動きを感知することが可能なセンサーからなる。稼動された時、携帯電話は、電話機能、コンタクト情報、インターネットブラウザーおよび電子メール機能のような、携帯電話によって提供された機能性にアクセスすることをユーザに許容するためのグラフィカルユーザインターフェースを表示する。いくつかの従来の携帯電話と同様に、描写的携帯電話のユーザは、携帯電話によって提供された機能を稼動するための様々なアイコンにタッチするように、グラフィカルユーザインターフェースと相互作用するためにタッチ感応ディスプレイスクリーンにタッチしても良い。しかしながら、描写的実施形態はまた、非従来的なやり方で携帯電話と相互作用することもユーザに許容する。

【0010】

例えば、ユーザは、動き感応グラフィカルユーザインターフェースを稼動するために携帯電話を素早く揺り動かすかまたは振っても良い。一旦動き感応グラフィカルユーザインターフェースが稼動されると、ユーザは、グラフィカルユーザインターフェースの異なる特徴を通してナビゲートするために電話を様々な方向にまたは様々な向きを通して物理的に動かしても良い。例えば、一つの描写的グラフィカルユーザインターフェースは、携帯電話内で利用可能な機能を表している複数のアイコンを表示しても良い。アイコンは、従来の６速ギアシフトパターンのような自動車のギアシフトパターンを表している一連のチャネルに沿って、シフトパターン内のギアシフトレバーのグラフィカル表現と共に、配列される。望ましい機能をナビゲートするために、ユーザは、それがあたかもシフトレバーであるかのように、電話を動かしても良い。ユーザが携帯電話を動かすにつれて、ジャイロスコープ状のセンサーのようなセンサーが、携帯電話の動きを検出し、動き情報を携帯電話のプロセッサに提供する。プロセッサは、センサー信号を解釈し、携帯電話の動きを追跡するように表示されたギアシフトノブの位置を変更する。一旦ユーザが望ましい機能に「シフト」すれば、ユーザは機能を稼動するために携帯電話を素早く揺り動かすかまたは振っても良い。揺り動かしは再度センサーによって感知され、プロセッサに送信される。プロセッサは、動きを機能の選択として解釈し、それから機能を実行する。そのような動き感応グラフィカルユーザインターフェースは、ユーザがタッチによってユーザインターフェースを操作することに意図的に集中する必要無しに素早く機能を稼動したい時、あるいはもしユーザが一方の手に何かを持っていて携帯電話を使うためにもう一方の手だけが空いているならば、望ましいものであり得る。

【0011】

ここで図１を参照すると、図１は本発明の一実施形態に従ったグラフィカルユーザインターフェースを提供するためのデバイス１００を示す。デバイス１００は、ハウジング１１０、ディスプレイ１２０、プロセッサ１３０、センサー１４０、およびアクチュエータ１５０からなる。示された実施形態では、ハウジング１１０は携帯電話ハウジングであるが、その他の実施形態では、ハウジング１１０は、パーソナルデジタルアシスタント（ＰＤＡ）、遠隔制御（例えば、ＴＶ用の）、携帯電話、移動コンピュータ、ディスプレイ、またはその他の好適なデバイスのためのハウジングのような、その他のタイプのハウジングであっても良い。いくつかの実施形態では、ハウジング１１０は、手持ち式デバイスハウジングからなっていても良く、その他の実施形態では、ハウジング１１０は、より大きなハウジング、例えばコンピュータモニターハウジングまたは固定されたディスプレイのためのハウジング、からなっていても良い。ディスプレイ１２０は、ディスプレイ１２０が画像をデバイス１００のユーザに表示するように構成されるように、ハウジング内に配置されている。図１に示された実施形態では、ディスプレイ１２０はタッチ感応ディスプレイであり、ユーザの指またはスタイラスからのような、ディスプレイ１２０との接触を感知するように構成されている。ディスプレイ１２０はまた、ステータス情報をユーザに提供するためまたはユーザがデバイス１００によって提供された機能にアクセスすることを許容するためのインターフェースを提供するためのように、グラフィカルユーザインターフェースをユーザに表示するように構成されている。

【0012】

デバイス１００はまた、ハウジング１１０内に配置されたプロセッサ１３０からなる。図１に示された実施形態では、プロセッサ１３０は、点線によって示されるように、それが全体的にデバイス１００内に配置されるように、デバイス１００内に配置される。いくつかの実施形態では、しかしながら、プロセッサはデバイス１００中に配置されていなくても良い。例えば、一実施形態では、デバイスは、モニターまたはＬＣＤスクリーンと通信しているデスクトップコンピュータからなっていても良い。同様に、いくつかの実施形態では、センサー１４０とアクチュエータ１５０が全体的にデバイス１００内に配置されるが、いくつかの実施形態では、センサー１４０またはアクチュエータ１５０の一部または全部が、ユーザに視認可能であっても良い。示された実施形態では、プロセッサ１３０は、センサー１４０、アクチュエータ１５０およびディスプレイ１２０と通信している。プロセッサ１３０は、センサー１４０からのセンサー信号を受け取り、ディスプレイ信号をディスプレイ１２０に出力し、アクチュエータ信号をアクチュエータ１５０に出力するように構成されている。

【0013】

プロセッサ１３０は更に、センサー１４０から受け取った１つ以上のセンサー信号に基づいて、ユーザインターフェースと関連付けられたコマンドを決定するように構成されている。例えば、上述したギアシフトの実施形態では、センサー１４０は、ユーザが携帯電話１００を左に動かしたことを示すセンサー信号をプロセッサ１３０に送っても良い。プロセッサ１３０は、グラフィカルユーザインターフェース中に表示されたギアシフトノブが左に動くことを引き起こすためにコマンドが生成されるべきであることを決定する。図１に示された実施形態では、ユーザはまた、ギアシフトノブに対応する位置においてディスプレイ１２０にタッチし指を左にドラッグすることによって、同様のコマンドがプロセッサによって発行されることを引き起こしても良い。よって、プロセッサ１３０は、グラフィカルユーザインターフェースと関連付けられたコマンドを生成するためにセンサー信号を解釈しても良い。例えば、プロセッサ１３０は、携帯電話１００の動きと関連付けられた複数のセンサー信号を受け取り、それから機能の選択を示す一つのセンサー信号を受け取っても良い。

【0014】

プロセッサ１３０はまた、グラフィカルユーザインターフェースに基づいて、ディスプレイ信号を生成するように構成されている。典型的には、グラフィカルユーザインターフェースは、別のアプリケーション（またはオペレーティングシステム）の一部としてまたはそれと協調してプロセッサ１３０上で実行され、ディスプレイデバイス上に表示される。よって、グラフィカルユーザインターフェースは、ディスプレイ１２０がグラフィカルユーザインターフェースを表示することを引き起こすために、プロセッサがディスプレイ信号を生成することを引き起こしても良い。プロセッサ１３０が、携帯電話１００の感知された動きに基づいたもののような、グラフィカルユーザインターフェースと関連付けられたコマンドを発行した後、グラフィカルユーザインターフェースは、グラフィカルユーザインターフェースの状態を更新し、それからグラフィカルユーザインターフェースの表示を更新するためにプロセッサ１３０がディスプレイ信号を生成することを引き起こしても良い。

【0015】

図１に示された実施形態では、センサー１４０は、携帯電話１００内に配置され、携帯電話１００の動きと向きの変化を検出するように構成されている。しかしながら、いくつかの実施形態では、センサー１４０の一部または全部、または複数のセンサーは、デバイス上の外部に位置していても良く、ユーザによって接触されても良い。示されたセンサー１４０は、３つの平行移動軸１６０に沿った動きと３つの平行移動軸１６０の周りの回転を検出することが可能なジャイロスコープ状のセンサーからなる。しかしながら、その他の実施形態では、１つ以上の軸に沿ったかまたはその周りの平行移動または回転の動きを検出するための１つ以上の加速度計のような、その他の好適なセンサーが採用されても良い。別の好適なセンサーは、デバイス１００の位置を決定するための光または無線ソースのような、外部ソースからの入力を受信するための受信器からなっていても良い。例えば、複数の無線送信機が室内に配列されていても良く、センサー１４０は、送信機からの無線信号を受信し、受信した無線信号に基づいて位置および向きを決定しても良い。

【0016】

その他の実施形態では、センサー１４０は、ＧＰＳセンサー、タッチ感応入力デバイス（例えば、タッチスクリーン、タッチパッド）、質感スタイラス、撮像センサー、または何らかのその他のタイプのセンサーからなっていても良い。１つ以上のセンサー１４０が、加速度、傾斜、慣性または位置の変化を検出するように構成されていても良い。例えば、デバイス１００は、デバイス１００の加速度を測定するように構成された加速度計からなっていても良い。あるいは携帯電話１００は、位置センサー、回転速度センサー、光センサー、圧力センサー、質感センサー、カメラ、マイクロホン、またはその他のタイプのセンサーからなっていても良い。本発明のいくつかの開示された実施形態がデバイスの感知された動きについて説明されたが、そのような感知された動きに加えてまたはその代りに、限定することなく圧力、接触、ボタン押し、または可聴信号を含んだ、その他の感知された入力が使用されても良い。そのようなセンサーは、片手のみを使ったデバイス１００とのユーザの相互作用を容易なものとしても良い。

【0017】

センサー１４０はまた、センサー信号１４０をプロセッサ１３０に送信するように構成されている。センサー信号は、デバイス１００の位置、動き、加速度または「急な動き」（即ち、加速度の微分）と関連付けられた１つ以上のパラメータからなっていても良い。例えば、一実施形態では、センサー１４０は、各パラメータが一つの測定された平行移動または回転軸に沿ったかまたはその周りの動きと関連付けられた、複数のパラメータからなるセンサー信号を生成して送信する。本発明のいくつかの実施形態では、センサー１４０は、マルチタッチ感知能力を提供しても良い。例えば、一実施形態では、圧力センサーが、圧力センサー上の複数の位置における圧力を検出し、複数の位置の各々における圧力と関連付けられた１つ以上のセンサー信号を提供することが可能であっても良い。更に、センサーが異なる実施形態でのデバイスの前、サイドまたは後ろに位置していても良く、その各々が接触または圧力と関連付けられた１つ以上のセンサー信号を提供しても良い。いくつかの実施形態では、センサーは、１つ以上の軸１６０に沿った動きを示すと解釈するようにプロセッサがプログラムされている電圧または電流を出力する。

【0018】

プロセッサ１３０はまた、１つ以上のアクチュエータ１５０と通信している。アクチュエータ１５０は、プロセッサ１３０からのアクチュエータ信号を受け取り、触覚エフェクトを出力するように構成されている。プロセッサ１３０が触覚エフェクトを決定した後、それはアクチュエータ信号をアクチュエータ１５０に送る。アクチュエータ信号は、アクチュエータ１５０が決定された触覚エフェクトを出力することを引き起こすように構成されている。アクチュエータ１５０は、例えば、圧電アクチュエータ、電気モーター、電磁アクチュエータ、ボイスコイル、線形共鳴アクチュエータ、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モーター（ＥＲＭ）または線形共鳴アクチュエータ（ＬＲＡ）であっても良い。

【0019】

ここで図２ａを参照すると、図２ａは本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。本発明のいくつかの実施形態によると、図２ａに示されたユーザインターフェースは、デバイス１００を動かすために片手のみを使ってユーザによって操作されても良い。図２ａに示された実施形態では、図１のデバイス１００が、デバイス１００の機能を選択して稼動するために使用可能なユーザインターフェース２１０を実行する。示された実施形態では、ユーザインターフェースは、ディスプレイ１２０の視認可能エリアを超える次元をもった、仮想ワークスペース２３０または仮想物理的空間からなる。様々な実施形態では、仮想ワークスペース２３０は、１次元または多次元ワークスペースからなっていても良い。いくつかの実施形態では、仮想ワークスペースは、境界があっても良いが、その他の実施形態ではそれは境界が無くても良い。仮想ワークスペース内をナビゲートするには、ユーザは、望ましい機能を選択するためにデバイス１００を１つ以上の方向に動かす。

【0020】

例えば、ユーザは、デバイスのディスプレイ１２０の平面と近似的に直角な方向に（Ｚ軸または表面法線に沿って）デバイスを振り（または揺り動かし）、タッチ感応ディスプレイにタッチし、またはデバイス上のボタンを押しても良い。そうすることによって、デバイス１００は、それが仮想ワークスペース２３０を稼動して、ＸまたはＹ軸方向でのデバイス１００の感知された動きを仮想ワークスペース２３０「内」の仮想の動きに対応するものとして解釈すべきであることを決定しても良い。ユーザはそれから、望ましい機能を選択するために仮想ワークスペース２３０内でデバイス１００を動かしても良い。機能を選択するには、それをディスプレイ１２０内で中央にしたり、または選択機能と関連付けられた別のジェスチャーをすることによってのようにして、一旦望ましい機能が選択されると、ユーザは軽く叩く動きでＺ軸に沿ってデバイスを再度振り、タッチ感応ディスプレイ１２０にタッチし、またはボタンを押しても良い。いくつかの実施形態では、以下でより詳細に記載されるであろうようにいつ機能が選択されたかを決定する際に触覚エフェクトがユーザを補助しても良い。代替的に、ユーザは機能を実行しないことの方を選んでも良く、デバイス１００はもはやデバイスの動きを仮想ワークスペース２３０内の動きとして解釈すべきではないことをデバイス１００に示しても良い。

【0021】

図２ｂに示された関連する実施形態では、ユーザインターフェース２４０は、ユーザが実行する機能を選択するためにＸ、ＹまたはＺ軸のいずれにおいてもデバイスを動かし得るように、仮想物理的空間２３２においてのような、３次元仮想ワークスペース２３２からなっていても良い。そのような実施形態では、ユーザは、デバイス１００を横に振ること、タッチ感応ディスプレイ１２０を軽く叩くこと、デバイス１００のサイドまたは後ろの圧力センサーを握り締めること、デバイス上のマイクロホンにコマンドを話すこと、またはデバイス１００上のボタンを押すことのような、１つ以上のジェスチャーを使って仮想ワークスペース２３２を可能または不能としても良い。加えて、そのような３次元仮想物理的空間とのインターフェースを行うための本発明の実施形態は、ユーザが選択して稼動し得る２次元アイコンではなく、３次元オブジェクトからなっていても良い。

【0022】

例えば、本発明の一実施形態では、複数の機能は各々、３次元仮想物理的空間２３２中のボールまたはブロックのような仮想物理的オブジェクト２７０−２７４によって表されていても良い。一実施形態では、仮想物理的空間２３２内をナビゲートし始める時、ユーザは、仮想物理的空間２３２内に配列されたオブジェクト２７０−２７４がユーザに対して位置しているように、Ｘ、ＹおよびＺ軸の原点に立っている。そのようなので、仮想物理的空間２３２内をナビゲートしている時、ユーザは、前方または後方に一歩踏み出すことによったり、またはデバイス１００内のセンサーによって検出され得るデバイス１００を様々な方向に動かすことによるように、原点から離れるように動いても良い。そのような動きは、ユーザが原点ポイントから離れるように動くことに結果としてなり得る。しかしながら、ユーザは、ユーザ上にそれを再度中心化するためにグラフィカルユーザインターフェース２４０をリセットすることが可能であっても良い。加えて、後に仮想物理的空間２３２を再稼動すると、ユーザの位置が原点にリセットされても良い。

【0023】

仮想物理的空間２３２からなるグラフィカルユーザインターフェース２４０を提供している本発明の実施形態では、ユーザは、仮想物理的空間中を「漂っている」アプリケーションとデータを表しているボールまたはブロックのような異なる仮想物理的オブジェクト２７０−２７４を閲覧するために、様々な位置と向きにデバイスを動かしても良い。ユーザは、オブジェクトを選択してそれを仮想物理的空間２３２内の新たな位置までドラッグすることによってのように、様々な仮想物理的オブジェクト２７０−２７４の位置を配列することができる。例えば、ユーザは、頻繁にアクセスされる機能を表しているオブジェクトがユーザの「近く」に位置し、即ちオブジェクトがＸ、ＹおよびＺ軸の原点に近い座標に位置し、より少なく頻繁にアクセスされる機能を表しているオブジェクトがユーザの位置から遠く離れているように、オブジェクト２７０−２７４を配列しても良い。よって、頻繁に使われる機能にアクセスすることは、デバイス１００のより少ない動きが必要であり得るので、より容易であり得る。

【0024】

いくつかの実施形態では、ユーザは、１つ以上のセンサー１４０によって検出される、その他のタイプの動きまたはジェスチャーを通して仮想物理的空間２３２または仮想物理的オブジェクト２７０−２７４と相互作用しても良い。デバイス１００が傾けられ、振られ、またはそうでなければ動かされるにつれて、１つ以上のセンサーがそれらの動きを検出し、通信デバイスの動きに少なくとも部分的に基づいたセンサー信号を生成しても良い。一実施形態では、加速度計センサーが、デバイス１００の傾斜と加速度を検出するように構成されている。デバイス１００が傾けられるにつれて、加速度計は、デバイス１００の傾きまたは加速度に少なくとも部分的に基づいてプロセッサに信号を送るように構成されることができる。別の実施形態では、ディスプレイ１２０が、タッチ感応ディスプレイ上のジェスチャーまたは位置入力を検出するように構成されたタッチ感応ディスプレイからなる。指がタッチ感応ディスプレイ上に置かれるかまたはドラッグされるにつれて、タッチ感応ディスプレイは、指の動きの速度または圧力のような指の動きに少なくとも部分的に基づいた信号を生成しても良い。もっと更なる実施形態では、デバイス１００が、デバイス１００のサイドまたは後ろ上あるいはディスプレイ上のような、デバイスの１つ以上の面上の圧力センサーからなる。ユーザは、仮想物理的空間２３２または仮想物理的オブジェクト２７０−２７４を選択するかまたはそれらと相互作用するために、１つ以上の位置においてそのような圧力センサーにタッチしても良い。

【0025】

一実施形態では、センサー信号を受け取ると、プロセッサ１３０は、センサー信号に少なくとも部分的に基づいて、仮想物理的空間との相互作用を決定するように構成されている。例えば、仮想物理的空間を通したナビゲーションは、センサー信号から抽出された特徴に少なくとも部分的に基づいていても良い。例えば、デバイス１００を前方に傾けることが、仮想物理的空間中の前方への動きに翻訳されても良い。デバイス１００を右または左に動かすことが、仮想物理的空間中で右または左を見ることに翻訳されても良い。

【0026】

いくつかの実施形態では、２人のユーザが同じ仮想物理的空間にアクセスするために接続しても良く、または彼らそれぞれの仮想物理的空間をマージしても良い。例えば、図２ｃと２ｄは、彼らそれぞれの仮想物理的空間に接続した２人のユーザを示す。そのような実施形態は、異なるデバイス間でデータまたはアプリケーションを共有することを容易にしても良い。例えば、一実施形態では、２人以上のユーザが彼らそれぞれのデバイス上で仮想物理的空間２３２、２３４を稼動し、それから彼らのグラフィカルユーザインターフェースに内臓された機能性を使ってお互いと接続しても良い。そのような実施形態では、各ユーザは、彼らのデバイスの内容を表している仮想物理的空間２３２、２３４を閲覧し、他のユーザの（または複数ユーザの）デバイスの仮想物理的空間２３２、２３４も自分自身の内容も閲覧することが可能であっても良い。例えば、図２ｃに示された一実施形態では、第一のユーザの仮想物理的空間２３２の一つの境界において、第一のユーザの仮想物理的空間２３２と別のユーザの仮想物理的空間２３４の間の境界を示すように部分的に透明なスクリーンが現れても良い。別の実施形態では、図２ｄに示されるように２人（またはそれ以上）のユーザが彼らそれぞれの仮想物理的空間に接続する時、各ユーザの仮想物理的空間の内容のいくつかまたは全部を含んだ新たな仮想物理的空間２３６が作り出されても良い。特定の仮想物理的オブジェクト２７０−２７４、２８０−２８４の所有権が、視覚的、触覚的または聴覚的に示されていても良い。例えば、第一のユーザが第二のユーザによって所有されたオブジェクト２８３にナビゲートする時、第一のユーザは、自分自身の仮想物理的オブジェクト２７０−２７４の１つにナビゲートする時に自分が感じるであろうものとは異なる触覚エフェクトを経験しても良い。

【0027】

一実施形態では、第一のユーザが自分のデバイスを使って第一の仮想物理的空間２３２を稼動しても良く、第二のユーザが自分のデバイスを使って第二の仮想物理的空間２３４を稼動しても良い。第一のユーザは、第一の仮想物理的空間２３２を第二の仮想物理的空間２３４と接続するために第二のユーザのデバイスに要求を送信するように自分のデバイスを操作しても良い。第二のユーザがそれから要求を受け入れても良く、２つのデバイスがそれらそれぞれの仮想物理的空間２３２、２３４を接続しても良い。一実施形態では、第一のユーザは、第一の仮想物理的空間２３２への拡張を見ることが可能であっても良く、ここで拡張は第二の仮想物理的空間２３４からなる。同様に、第二のユーザは、第二の仮想物理的空間２３４への拡張を見ることが可能であっても良く、ここで拡張は第一の仮想物理的空間２３２からなる。よって、第一および第二のユーザは、第一および第二の仮想物理的空間の両方内を閲覧またはナビゲートすることが可能であっても良い。一実施形態では、第一および第二の仮想物理的空間２３２、２３４は、第一の仮想物理的空間２３２からのオブジェクト２７０−２７４のいくつかまたは全部と第二の仮想物理的空間２３４からのオブジェクト２８０−２８４のいくつかまたは全部からなる第三の仮想物理的空間２３６を形成するようにマージしても良い。

【0028】

仮想物理的空間２３２、２３４が接続された後、ユーザは、１人のユーザのデバイス上に格納されたデータを共有したりまたはアプリケーションのコピーを共有したりのように、データを転送するために、共有された（第三の）仮想物理的空間２３６または引っ付けられた第一および第二の仮想物理的空間２３２、２３４内をナビゲートしても良い。例えば、第一のユーザは、第二の仮想物理的空間２３４内または共有された（第三の）仮想物理的空間２３６内の第二のユーザのデバイス上の曲を表しているオブジェクト２８３を見ても良い。第一のユーザは、曲オブジェクト２８３を選択して聞くように、または曲オブジェクト２８３を聴くことの許可を要求するように、デバイス１００を操作しても良い。第二のユーザのデバイスが要求を受け取っても良く、第二のユーザは、触覚エフェクト、視覚的キュー、または聴覚的キューの形でのように、通知されても良い。第二のユーザは、それから要求を受け入れるか要求を拒否するかのどちらかをするために自分のデバイスを操作しても良い。第二のユーザからの許可を受け取ると、または曲２８３を選択した後、曲２８３が第一のユーザのために彼のデバイス上でプレイされる。曲を聴いた後、第一のユーザは、それから曲を選択し、第一のユーザのデバイス上に格納されたオブジェクト２７０−２７４を表している仮想物理的空間２３２のような仮想物理的空間の一部中にドラッグしても良く、またはオブジェクトが第一のユーザのデバイスにコピーされるべきであることを示すためにジェスチャーをしても良い。ユーザは同様に、共有仮想物理的空間２３６内をナビゲートして様々な仮想物理的オブジェクト２７０−２７４、２８０−２８４と相互作用することによって、絵やビデオのようなその他のアプリケーションまたはデータを共有しても良い。

【0029】

一実施形態では、複数のユーザが、同じ仮想物理的空間２３６にアクセスして、ユーザのデバイスの各々上で実行されている共有されたアプリケーションまたは共通のアプリケーションを使って相互作用しても良い。例えば、一実施形態では、各ユーザは、ユーザがチャットルームでチャットすることを許容するチャットアプリケーション２７２を実行しても良い。チャットルームは、ユーザの各々によってアクセス可能な共有された仮想空間中に表現されていても良い。ユーザは、メッセージを表している仮想物理的オブジェクトを生成して、それらをチャットルームを表している共有された仮想物理的空間中に渡すことによってのように、彼ら自身のプライベートな仮想物理的空間中に仮想メッセージを生成しても良い。例えば、ユーザは、メッセージを生成し、それを仮想メッセージオブジェクト内にカプセル化し、それを高速でチャットルームに向けてドラッグすることによってのように、物理的特性を仮想メッセージオブジェクトに適用しても良い。仮想メッセージオブジェクトがチャットルームに入る時、その他のユーザの各々は、物理的属性と共にメッセージを受け取る。加えて、ユーザは、仮想メッセージオブジェクトをチャットルームにではなく別のユーザの仮想プライベート空間中に渡すことによって、多くの従来のチャットルームで利用可能な呟き機能をシミュレーションして、その他の個人ユーザに仮想メッセージオブジェクトを渡しても良い。そのような相互作用は、様々なユーザにより豊かなチャット経験を許容し得る。

【0030】

仮想物理的空間の比喩に戻ると、いくつかの実施形態では、ユーザは、異なる方向でまたは異なる向きを通してデバイス１００を動かすことによって仮想物理的空間２３０−２３６と相互作用しても良い。しかしながら、いくつかの実施形態では、ユーザは、異なるタイプのセンサー１４０を有したデバイス１００と相互作用しても良い。例えば、一実施形態では、デバイス１００は、デバイスのディスプレイと反対側の表面のような、デバイス１００の後ろ表面上に位置するマルチタッチ圧力センサーからなっていても良い。ユーザは、１つ以上の位置において圧力センサー１４０にタッチして、センサー１４０との接触の位置に対応する位置においてディスプレイ上に表示されたポイントまたはカーソルとしてタッチのフィードバックを受け取っても良い。ユーザは、それからデバイス１００によって表示されたグラフィカルユーザインターフェースをナビゲートするためにジェスチャーまたはその他の入力を提供するようにセンサー１４０と相互作用しても良い。いくつかの実施形態では、ディスプレイはタッチ感応であっても良く、よってデバイスの後ろ上のタッチ感応センサーとの接触は、あたかもユーザがタッチ感応ディスプレイに接触しているかのように、グラフィカルユーザインターフェース上に渡るコントロールを提供しても良い。いくつかの実施形態では、しかし、デバイス１００の後ろ上のタッチ感応センサーを使ってなされた入力は、タッチ感応ディスプレイを使って利用可能なものとは異なるコマンドを許容しても良い。いくつかの実施形態では、そのようなマルチタッチまたはその他のセンサーは、デバイス１００の後ろ表面上のセンサーに加えて、またはその代りに、デバイス１００の１つ以上のサイド上に位置していても良い。

【0031】

いくつかの実施形態では、ユーザが仮想物理的空間と相互作用している間、プロセッサによって生成された触覚またはサウンドエフェクトが、仮想物理的空間との相互作用をシミュレーションしてもよい。例えば、ユーザが一つの仮想物理的オブジェクトから別のものにナビゲートする時、プロセッサは、グラフィカルユーザインターフェースの表示を更新することに加えて、アクチュエータがユーザに触覚エフェクトを出力することを引き起こすように構成された１つ以上のアクチュエータ信号を生成しても良い。例えば、ユーザは、新たな機能に到着すると、小さな「ポップ」または振動を経験しても良い。一実施形態では、１人のユーザが絵のような仮想物理的オブジェクトを仮想物理的空間中の別のユーザに送る時、振動とサウンドが、絵が第一のユーザによって送られて第二のユーザによって受け取られたことを示しても良い。そのような仮想物理的オブジェクトの送信はまた、速度、質量（例えば、「より重い」オブジェクトはより大きなファイルサイズを有していても良い）、または緊急度のようなオブジェクトの性質に基づいて触覚エフェクトが生成されることを引き起こしても良い。デバイス１００のような第一のデバイスは、第二のデバイスから仮想物理的オブジェクトを受け取って、オブジェクトが受け取られたことを示すように触覚エフェクトまたは可聴サウンドを出力しても良い。仮想物理的空間を使ったグラフィカルユーザインターフェースのもっと更なる実施形態は、当業者には明らかであろう。

【0032】

ここで図３を参照すると、図３は本発明の一実施形態に従ったグラフィカルユーザインターフェースを提供するための方法を示す。図３に示された実施形態では、方法３００は、ユーザインターフェースとのユーザの相互作用を決定するための複数のステップからなる。

【0033】

図１に示されたデバイスと図２に示されたグラフィカルユーザインターフェースについて説明される本発明の一実施形態では、方法３００は、センサー（図示せず）がデバイス１００の動きを感知する時にステップ３１０で始まる。例えば、一実施形態では、デバイス１００は、Ｚ軸に沿ったデバイス１００の動きを検出するジャイロスコープ状のセンサー１４０からなる。センサーは、制限することなく距離、速度、方向、加速度、加速度のレート（または急な動き）、向き、回転速度、回転加速度（例えば、トルク）、または持続時間のような、Ｚ軸に沿った動きを記述する情報からなるセンサー信号を生成して出力する。センサーがセンサー信号を出力した後、方法はステップ３２０に進む。

【0034】

ステップ３２０では、図１に示されたデバイス１００の一実施形態のプロセッサ１３０が、センサー信号を受け取り、センサー信号に少なくとも部分的に基づいてユーザインターフェース２１０と関連付けられたコマンドを決定する。例えば、プロセッサ１３０は、仮想ワークスペース（または仮想物理的空間）２３０−２３６内の動きを決定する。例えば、一実施形態では、プロセッサ１３０は、右へのデバイス１００の動きを示すセンサー信号を受け取る。プロセッサ１３０は、仮想ウィンドウをワークスペース中に右へ特定の距離だけ動かすことによってユーザが視界を仮想ワークスペース２３０中に変更したことを決定する。その他の実施形態では、しかしながら、そのような動きは異なって解釈されても良い。例えば、一実施形態では、右へのデバイス１００の動きは、現在選択されているオブジェクトの右の次に利用可能なオブジェクトに動くこととプロセッサ１３０によって解釈されても良い。

【0035】

デバイス１００の更なる動きは、異なるやり方で解釈されても良い。例えば、ユーザは、デバイスを左に回転しても良い。プロセッサは、仮想物理的空間２３０−２３６とのレート制御相互作用、または仮想物理的空間２３０−２３６中への視界の回転として、動きを解釈しても良い。本発明の実施形態では、レート制御は、デバイス１００の位置によって示されるレートでの一定の動きを指す。例えば、もしユーザがデバイス１００を右に２０度だけ回転すれば、仮想ワークスペース２３０−２３６中への視界は、一つのレートで右に動いても良い。もしユーザが回転を４５度に増やせば、視界は、増加したレートで右に動いても良い。対照的に、位置制御モードは、特定の方向でのデバイス１００の動きに比例した、仮想ワークスペース２３０−２３６内の動きに結果としてなり得る。例えば、もしユーザがデバイス１００を３インチ左に動かせば、仮想ワークスペース２３０−２３６中への対応する視界は、仮想ワークスペース２３０−２３６内で１２インチに相当分だけ左に動いても良い。仮想ワークスペース２３０−２３６中へのデバイス１００のマッピングの動きのもっと更なる方法が採用されても良い。

【0036】

例えば、一実施形態では、プロセッサ１３０は、ユーザが仮想ワークスペース２３０−２３６を稼動したことを決定しても良い。そのような実施形態では、センサー１４０は、デバイス１００の素早い動きを感知して、センサー信号をプロセッサ１３０に送信しても良い。プロセッサ１３０は、センサー信号を受け取り、センサー信号に少なくとも部分的に基づいて、仮想ワークスペース２３０−２３６が稼動されていることを決定する。もしプロセッサ１３０が、ユーザは仮想ワークスペース２３０−２３６と相互作用していることを既に決定していれば、プロセッサ１３０は、センサー信号に少なくとも部分的に基づいて、仮想ワークスペース２３０−２３６内の動きを決定しても良い。例えば、一実施形態では、センサー信号が、一方向でのデバイス１００の鋭く急な動きを示していても良い。そのような場合には、プロセッサ１３０は、ユーザがその方向に素早くスクロールすることを試みていることを決定しても良く、シミュレーションされた摩擦力によって停止まで時間に渡って削減されるワークスペース２３０−２３６内の慣性的な動きをシミュレーションしても良い。別の実施形態では、しかしながら、プロセッサ１３０は、そのような動きは動きの方向での次に利用可能な機能への動きを示すことを決定しても良い。

【0037】

プロセッサがユーザインターフェース２１０と関連付けられたコマンドを決定した後、方法３００はステップ３３０に進む。代替的に、ユーザがデバイス１００を更に操作しても良い。そのような場合には、方法はステップ３１０に戻る。

【0038】

ステップ３３０では、プロセッサ１３０は、ユーザインターフェースと関連付けられた動きに基づいて機能を決定する。例えば、プロセッサ１３０が仮想ワークスペース２３０−２３６内の動きを決定した後、プロセッサ１３０は、機能が同定されているかまたは選択されているかどうかを決定する。例えば、もし動きが仮想ワークスペース２３０−２３６中への視界が仮想オブジェクト上に中心化されることを引き起こせば、プロセッサ１３０は、仮想オブジェクトが選択されていることを決定しても良い。プロセッサ１３０が動きに基づいて選択された機能を決定した後、方法３００はステップ３４０に進む。

【0039】

ステップ３４０では、プロセッサ１３０は、機能が実行されるべきであることを示すために更なる入力を受け取る。例えば、一実施形態では、ユーザは、プロセッサ１３０が機能を実行することを引き起こすために、ボタンを押すか、デバイス１００上のタッチ感応ディスプレイ１２０上のエリアをタッチするか、または圧力センサーを握り締めるかしても良い。別の実施形態では、ユーザは、実行ジェスチャーと関連付けられたマナーでデバイス１００を動かしても良い。例えば、ユーザは、選択された機能が実行されるべきであることを示すためにデバイス１００との軽く叩く動きをしても良い。一旦プロセッサ１３０が選択された機能は実行されるべきであることの指標を受け取ると、プロセッサ１３０は機能を実行する。機能が実行された後、方法はステップ３１０に戻り、ユーザは追加のタスクを行うためにデバイスを更に操作しても良い。

【0040】

仮想物理的空間に関係するグラフィカルユーザインターフェースに加えて、本発明の追加の実施形態は、望ましい機能への容易なアクセスを許容するように、または片手のみを使ったユーザインターフェースの容易な操作を許容するように構成されたグラフィカルユーザインターフェースを提供する。

【0041】

ここで図４を参照すると、図４は、本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。示された実施形態では、デバイス４００は、様々な機能を行うためにユーザによって選択可能な複数のアイコン４２０ａ−ｆを有するユーザインターフェース４１０からなる。例えば、ユーザインターフェースは、アイコンがユーザによって選択された時に電子メールアプリケーションが実行されて使用可能となる電子メール機能に対応するアイコン４２０ｂを含む。ユーザがユーザインターフェース４１０をナビゲートするのを補助するために、ユーザインターフェース４１０は、実行する機能を選択するためにシフトパターン４４０内でユーザによって操作可能なギアシフトノブ４３０からなる。一実施形態では、ユーザは、ギアシフトノブ４３０にタッチして、ノブを望ましい機能までドラッグしても良い。加えて、ユーザは、シフトノブ４３０を動かすためにシフトパターン４４０内で望ましい方向にデバイス１００を単に振っても（または揺り動かしても）良い。そのような実施形態では、デバイス４００内に配置されたジャイロスコープ状またはその他の好適なセンサーのようなセンサー（図示せず）は、デバイス４００の動きを検出し、動きを示すセンサー信号を出力するように構成されている。デバイス４００内に配置されたプロセッサ（図示せず）は、センサー信号を受け取り、デバイス４００の動きに対応するシフトパターン内のシフトノブ４３０の動きを決定するように構成されている。例えば、もしユーザがデバイス４００を左に揺り動かせば、プロセッサはデバイス４００の左への動きを示すセンサー信号を受け取り、シフトノブの対応する動きを決定する。

【0042】

いくつかの実施形態ではデバイス４００は様々な向きで保持されても良いので、動きの向きはデバイス４００の向きに従って変動し得ることに注意されたい。例えば、示された実施形態では、ユーザは第一の向きにデバイス４００を保持している。しかしながら、ユーザはデバイス４００を時計回りに９０度回転する方を選ぶかもしれない。そのような場合には、前の「ポートレート」ビューではなく「ランドスケープ」ビューにおいてであるが、シフトパターンがユーザに対して同じ向きに留まるように、ユーザインターフェースが反対方向に９０度回転しても良い。

【0043】

一実施形態では、ユーザシフトパターンは、ユーザインターフェースの平面中の直交するＸおよびＹ軸に対応した２次元パターンからなっていても良い。そのような実施形態では、ユーザは、機能が実行されるべきであることを示すために、上または下のような第３の次元でデバイスを振る（または揺り動かす）ことによって機能を稼動する。そのような実施形態は、デバイス４００を操作するのに両手、例えばデバイス４００を保持するための一方の手と機能を選択するための第二の手、が利用可能ではないユーザには有用であり得る。そのような状況では、ユーザは、片手のみを使って機能を選択して稼動するようにユーザインターフェースを操作することが可能であり得る。

【0044】

関連する実施形態では、デバイス４００は、デバイス４００の後ろ上に位置するマルチタッチセンサーからなっていても良い。そのような実施形態では、ユーザは、グラフィカルユーザインターフェースと相互作用するためにデバイス４００にコマンドを送るのに１つ以上の指を使っても良い。ユーザの指の位置の視覚的指標は、カーソルまたはスタイラス化された指先アイコンによって提供されても良い。いくつかの実施形態では、デバイス４００は、振動のような、ユーザの指の位置の触覚的指標を提供しても良い。

【0045】

ここで図５を参照すると、図５は本発明の一実施形態に従ったグラフィカルユーザインターフェース５００を示す。図５に示された実施形態では、ユーザは、デバイス５１０内に格納されたコンタクト５２０ａ−ｄのリストにナビゲートしている。各コンタクトについて、ユーザは、電話をかけること、テキストメッセージを送ること、電子メールを送ること、またはユーザのコンタクト情報を編集することのような、行うべき様々な機能にアクセスすることが可能であっても良い。図５に示された実施形態では、ユーザは、表示されたコンタクトに対応する位置においてデバイス５１０のタッチ感応ディスプレイにタッチしても良い。タッチ感応スクリーンがコンタクトを検出した時、それはデバイス５１０中のプロセッサ（図示せず）に信号を送信し、そのことはメニュー５３０がユーザの指の周りにリング状に配列された複数の機能を有するように見えることを引き起こす。そのような実施形態では、ユーザは、それから望ましい機能の方向に自分の指を動かすかまたは弾いても良く、またはメニュー５３０が消えることを引き起こすようにタッチスクリーンから自分の指を外しても良い。

【0046】

動きの感知を使った関連する実施形態では、ユーザは、一方向にデバイス５１０を振ることによってコンタクト５３０ａ−ｄのリストを通してスクロールし、それからカーソル、選択ボックス、またはその他のグラフィカルユーザインターフェース要素が望ましいコンタクトが選択されたことを示す時にデバイスを揺り動かすことによって一つのコンタクトを選択しても良い。ユーザはそれから、円形のメニュー５３０が現れることを引き起こしても良く、好ましい機能の方向にデバイス５１０を揺り動かしてもよく、またはメニュー５３０が消えることを引き起こすようにデバイスを振っても良い。そのような実施形態は、デバイス５１０と相互作用するためのより単純でより直感的なユーザインターフェースを提供し得る。そのようなメニューシステム５３０は、デバイス内で利用可能なその他の機能と共に、または仮想物理的空間内をナビゲートしている時に、使用され得る。

【0047】

ここで図６を参照すると、図６は本発明の一実施形態に従ったグラフィカルユーザインターフェース６００を示す。図６に示された実施形態では、グラフィカルユーザインターフェースは、車輪に沿って配列された複数のアイコンを有する仮想回転車輪からなる。そのようなグラフィカルユーザインターフェースは、ユーザが片手のみを使って効率的にインターフェースをナビゲートし得るので有利であり得る。例えば、ユーザは、ユーザの親指がデバイスのタッチ感応ディスプレイ６２０と相互作用し得るように、図６に示されるようにデバイス６１０を握り締めても良い。ユーザは、望ましい機能を表しているアイコンを自分の親指によって容易に届くことが可能な位置に持ってくるために車輪６３０を回転するように自分の親指を使っても良い。ユーザは、それから自分の親指でアイコンを軽く叩くことによってのように、望ましい機能を実行しても良い。関連する実施形態では、デバイスは、ユーザがグラフィカルユーザインターフェース６００と相互作用するために操作し得る、デバイスのサイドまたはデバイスの後ろ上に位置するタッチ感応センサーからなっていても良い。そのような実施形態では、例えばコンタクト、写真、音楽またはビデオのような、その他のタイプのデータがそのような車輪によってアクセスされても良い。

【0048】

ここで図７を参照すると、図７は本発明の一実施形態に従ったグラフィカルユーザインターフェース７００を示す。図７に示された実施形態では、複数の機能（例えば、機能７４０ａ）が、シミュレーションされた深さ次元中のリスト７３０に配列される。例えば、リストに沿ったアイテムがユーザにより近くかまたはユーザからより遠くに表示されても良く、ユーザは、デバイス７１０のタッチ感応ディスプレイ７２０にタッチして自分の指を或る方向かまたは別の方向にドラッグすることによって、リストを通してスクロールしても良い。別の実施形態では、ユーザは、デバイスのサイドまたは背部のようなデバイス７１０の異なる部分上に位置する、マルチタッチセンサーのようなタッチ感応センサーと相互作用しても良い。

【0049】

更に、ユーザは、より一般的なアプリケーションではなく、特定の番号を呼び出したり、または特定のユーザにテキストを送ったりする機能のような、リスト上に含められるべき特定の機能を選択しても良い。それらの特定の機能は、ユーザによって包含のために手動で選択されても良く、パラメータに基づいてデバイスによって自動的に管理されても良く、または手動的と自動的の両方で管理されても良い。特定の機能を自動的に配列する時、デバイス６１０は、最も頻繁に使用される機能を選択するか、または例えばユーザの前の慣習に基づいたユーザが与えられた機能を選択する可能性のような、何らかのその他の計量に基づいて機能を順序付けしても良い。加えて、ユーザは、スイッチ７５０を使うことによってのように、２つ以上の異なる自動化された配列の間を行き来することが可能であっても良い。

【0050】

ここで図８を参照すると、図８は本発明の一実施形態に従ったグラフィカルユーザインターフェース８００を示す。図８に示された実施形態では、グラフィカルユーザインターフェース８００は、非慣例的な検索機能を提供する。慣例的な検索機能は、検索が実行されることを引き起こすためにユーザが単語またはいくつかの文字をタイプすることを要求する一方、図８に示された実施形態では、ユーザは、単にタッチ感応スクリーン８２０上に文字を書くことによってか、または検索されるべき用語を示すための様々な文字の形にデバイス８１０を動かすことによって、検索を稼動し得る。プロセッサ（図示せず）は、ユーザが検索用語の最初の文字を指し示した後に、アプリケーション、データファイル、コンタクト等のアイテムについての検索を開始しても良い。追加の文字が検出されるにつれて、プロセッサは潜在的な検索結果のリストを更に絞り込んでも良い。検索の判断条件に見合ったアイテムが見つけられると、デバイス８１０は、仮想物理的空間内の仮想オブジェクトのような、ここに開示された様々なグラフィカルユーザインターフェースに従って結果を表示しても良い。ユーザは、それから検索結果中をナビゲートして、望ましいオブジェクトを選択しても良い。

【0051】

ここで図９ａ−ｂを参照すると、図９ａ−ｂは本発明の一実施形態に従ったグラフィカルユーザインターフェースを示す。図９ａに示された実施形態では、ユーザは、非慣例的な応答を使って入ってくる電話の呼びまたはテキストメッセージに応答しても良い。例えば、典型的には、ユーザは電話の呼びを受けた時に、ユーザは呼びに答えても、電話が鳴るのを許容するか呼び音を消音することによってのように呼びを無視しても良い。しかしながら、本発明の実施形態は、そのような事象に応答するためのより豊かなオプションを提供する。

【0052】

本発明の一実施形態では、電話の呼びを受けた時、デバイス９００は、ここに開示されたもののような本発明の様々な実施形態に従って配列された複数のオプション９１０−９３０をユーザに提示しても良い。オプションは、メッセージに応答するかまたは呼びを無視するが応答を送るオプションからなっていても良い。例えば、もしユーザがボーイフレンドから電話の呼びを受けるが電話に答えられなければ、ユーザは唇のペアのアイコンを選択しても良い。呼びは無視されるが、メッセージは発信者に送られ、デバイス９５０のスクリーン上に表示されるかまたは触覚エフェクトとして出力される。代替的に、もしユーザが彼女のボーイフレンドに怒っていれば、彼女は呼びを無視するかまたはテキストメッセージに応答するために、拳または閉じた扉のアイコンを選択しても良い。一実施形態では、電話をかけた人はそれから、呼びが無視されたことを示す拳の絵と共に鋭く強い触角エフェクトか、扉が音を立てて閉じられること示す触角エフェクトと共に閉じる扉の動画を受け取るであろう。いくつかの実施形態では、ユーザは、デバイスのサイドまたは後ろ上に位置する圧力センサーのようなデバイス上に位置する１つ以上のセンサーと相互作用するか、あるいはデバイスを動かすことによって、電話の呼びに応答してかまたは電話の呼びの間のどちらかに電話をかけた人に応答を送っても良い。例えば、一実施形態では、デバイスは、デバイスのサイド上に位置する圧力センサーからなっていても良い。そのような実施形態を使って、ユーザは、ハグのような他者に触覚信号を送るようにデバイスを握り締めても良い。

【0053】

本発明の実施形態は、デジタル電子回路中に、またはコンピュータのハードウェア、ファームウェア、ソフトウェア中に、あるいはそれらの技術の組み合わせ中に、実装されることができる。一実施形態では、コンピュータは、１つのプロセッサまたは複数のプロセッサからなっていても良い。プロセッサは、プロセッサと結合されたランダムアクセスメモリー（ＲＡＭ）のようなコンピュータ可読媒体からなる。プロセッサは、メッセージングのための１つ以上のコンピュータプログラムを実行するように、メモリー中に格納されたコンピュータ実行可能なプログラム命令を実行する。そのようなプロセッサは、マイクロプロセッサや、デジタル信号プロセッサ（ＤＳＰ）や、アプリケーション特定集積回路（ＡＳＩＣ）や、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）や、ステートマシーンからなっていても良い。そのようなプロセッサは更に、ＰＬＣｓや、プログラマブル割り込みコントローラ（ＰＩＣｓ）や、プログラマブルロジックデバイス（ＰＬＤｓ）や、プログラマブルリードオンリーメモリー（ＰＲＯＭｓ）や、電子的プログラマブルリードオンリーメモリー（ＥＰＲＯＭｓまたはＥＥＰＲＯＭｓ）や、あるいはその他の同様なデバイスのような、プログラマブル電子デバイスからなっていても良い。

【0054】

そのようなプロセッサは、プロセッサによって実行された時に、プロセッサによって実行されるかまたは支援されるようにここに記載されたステップをプロセッサが行うことを引き起こす命令を格納した媒体、例えばコンピュータ可読媒体、からなっていても良く、またはそれと通信していても良い。コンピュータ可読媒体の実施形態は、コンピュータ可読命令をウェブサーバー中のプロセッサのようなプロセッサに提供することが可能な、電子的、光学的、磁気的あるいはその他のストレージまたは送信デバイスからなっていても良いが、それらに限定はされない。媒体のその他の例は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリーチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全光学的媒体、全磁気的テープまたはその他の磁気的媒体、あるいはそこからコンピュータプロセッサが読み取りすることができるあらゆるその他の媒体からなるが、それらに限定はされない。また、様々なその他のデバイスは、ルーターや、プライベートまたはパブリックネットワークや、その他の送信デバイスのような、コンピュータ可読媒体を含んでいても良い。記載されたプロセッサと処理は、１つ以上の構造であっても良く、１つ以上の構造を通して分散されていても良い。プロセッサは、ここに記載された方法（または方法の部分）の１つ以上を実行するためのコードからなっていても良い。

【0055】

一般的事項
発明の、好ましい実施形態を含んだ、実施形態の前述した記載は、描写と記載の目的のためだけに提示されており、網羅的であることや開示されたその通りの形に発明を限定することは意図されていない。その数々の変形や適応は、発明の精神と範囲から逸脱することなく、当業者には明らかであろう。

【0056】

ここでの「一実施形態」または「実施形態」への言及は、実施形態との関係で記載された特定の特徴、構造、動作またはその他の特性が、発明の少なくとも１つの実装に含まれ得ることを意味する。発明は、そのように記載された特定の実施形態に制限はされない。明細書中の様々な箇所での「一実施形態では」または「実施形態では」という言い回しの出現は、必ずしも同じ実施形態を指すものではない。「一実施形態」との関連でこの明細書中に記載されたあらゆる特定の特徴、構造、動作またはその他の特性は、あらゆるその他の実施形態について記載されたその他の特徴、構造、動作またはその他の特性と組み合わされても良い。

【0057】

ここでの「または」という接続詞の使用は、文脈が強要する通りに包摂的および排他的関係の両方、あるいは包摂的または排他的関係のどちらかを包含することが意図されている。

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9a】

【図9b】

【手続補正書】

【提出日】2018年7月23日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デバイスであって、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示するべく構成されたディスプレイと、
前記仮想物理的空間とのユーザ相互作用を検出するべく構成されたセンサーと、
前記ディスプレイ及び前記センサーと通信するプロセッサと
を含み、
前記ユーザ相互作用は、前記ディスプレイを一以上の自由度で動かすことを含み、
前記プロセッサは、
前記ユーザ相互作用と関連付けられたデータを含むセンサー信号を前記センサーから受け取り、
前記仮想物理的空間における一以上のオブジェクトの動きを前記ユーザ相互作用に少なくとも部分的に基づいて決定し、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正し、
前記ユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を選択肢から決定し、
前記機能を実行するべく構成され、
前記機能は、アプリケーションを選択すること、電話をかけること、メッセージを送ること、画像を送ること、アイコンを送ること、電子メールを送ること、インターネットを閲覧すること、又はユーザのコンタクト情報を編集することを含み、
前記グラフィカルユーザインターフェースには前記選択肢が表示されるデバイス。

【請求項2】

前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項１のデバイス。

【請求項3】

前記仮想物理的空間は、２次元仮想物理的空間を含む、請求項１のデバイス。

【請求項4】

前記仮想物理的空間は、３次元仮想物理的空間を含む、請求項１のデバイス。

【請求項5】

アクチュエータをさらに含み、
前記プロセッサはさらに、
前記ユーザ相互作用に基づいてアクチュエータ信号を生成し、
前記アクチュエータ信号を前記アクチュエータに出力して前記アクチュエータに触覚エフェクトを出力させるべく構成される、請求項１のデバイス。

【請求項6】

前記プロセッサはさらに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信するべく構成され、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第２のユーザ相互作用と関連付けられたデータを含む、請求項１のデバイス。

【請求項7】

前記機能は、前記デバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項６のデバイス。

【請求項8】

前記プロセッサはさらに、前記遠隔信号に部分的に基づいて前記コマンドを決定するべく構成される、請求項７のデバイス。

【請求項9】

方法であって、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
第１のデバイスとの第１のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受け取ることであって、前記第１のユーザ相互作用は前記第１のデバイスを一以上の自由度で動かすことを含むことと、
前記仮想物理的空間における一以上のオブジェクトの動きを前記第１のユーザ相互作用に少なくとも部分的に基づいて決定することと、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
前記第１のユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を選択肢から決定することと、
前記機能を実行することと
を含み、
前記機能は、アプリケーションを選択すること、電話をかけること、メッセージを送ること、画像を送ること、アイコンを送ること、電子メールを送ること、インターネットを閲覧すること、又はユーザのコンタクト情報を編集することを含み、
前記グラフィカルユーザインターフェースには前記選択肢が表示される方法。

【請求項10】

前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項９の方法。

【請求項11】

前記仮想物理的空間は、２次元仮想物理的空間を含む、請求項９の方法。

【請求項12】

前記仮想物理的空間は、３次元仮想物理的空間を含む、請求項９の方法。

【請求項13】

前記第１のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
前記アクチュエータ信号を、触覚エフェクトを出力させるべく構成されたアクチュエータに出力することと
をさらに含む、請求項９の方法。

【請求項14】

前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信することをさらに含み、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第２のユーザ相互作用と関連付けられたデータを含む、請求項９の方法。

【請求項15】

前記機能は、前記第１のデバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項１４の方法。

【請求項16】

前記コマンドはさらに、前記遠隔信号に部分的に基づいて決定される、請求項１５の方法。

【請求項17】

プログラムコードを含む非一時的なコンピュータ可読媒体であって、
前記プログラムコードは、プロセッサにより実行されると前記プロセッサに、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
第１のデバイスとの第１のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受信することであって、前記第１のユーザ相互作用は前記第１のデバイスを一以上の自由度で動かすことを含むことと、
前記仮想物理的空間における一以上のオブジェクトの動きを前記第１のユーザ相互作用に少なくとも部分的に基づいて決定することと、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
前記第１のユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を選択肢から決定することと、
前記機能を実行することと
を引き起こすべく構成され、
前記機能は、アプリケーションを選択すること、電話をかけること、メッセージを送ること、画像を送ること、アイコンを送ること、電子メールを送ること、インターネットを閲覧すること、又はユーザのコンタクト情報を編集することを含み、
前記グラフィカルユーザインターフェースには前記選択肢が表示されるコンピュータ可読媒体。

【請求項18】

前記仮想物理的空間は、３次元仮想物理的空間を含む、請求項１７のコンピュータ可読媒体。

【請求項19】

プロセッサにより実行されると前記プロセッサに、
前記第１のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
触覚エフェクトを出力するべく構成されたアクチュエータに前記アクチュエータ信号を出力することと
を引き起こすべく構成されたプログラムコードをさらに含む、請求項１７のコンピュータ可読媒体。

【請求項20】

プロセッサにより実行されると前記プロセッサに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから前記プロセッサが受信することを引き起こすべく構成されたプログラムコードをさらに含み、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第２のユーザ相互作用と関連付けられたデータを含む、請求項１７のコンピュータ可読媒体。

【請求項21】

プロセッサにより実行されると前記プロセッサに前記遠隔信号に部分的に基づいてコマンドを決定するべく構成されたプログラムコードをさらに含む、請求項２０のコンピュータ可読媒体。

【外国語明細書】

2018185853000001.pdf