特許第6707539号(P6707539)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インテル コーポレイションの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6707539
(24)【登録日】2020年5月22日
(45)【発行日】2020年6月10日
(54)【発明の名称】仮想ウェアラブル
(51)【国際特許分類】
   G06F 3/01 20060101AFI20200601BHJP
   G06F 3/0484 20130101ALI20200601BHJP
   G06F 3/0487 20130101ALI20200601BHJP
   G06F 21/31 20130101ALI20200601BHJP
【FI】
   G06F3/01 510
   G06F3/0484
   G06F3/0487
   G06F21/31
   G06F3/01 570
【請求項の数】20
【全頁数】30
(21)【出願番号】特願2017-530037(P2017-530037)
(86)(22)【出願日】2015年11月17日
(65)【公表番号】特表2018-506767(P2018-506767A)
(43)【公表日】2018年3月8日
(86)【国際出願番号】US2015061119
(87)【国際公開番号】WO2016099752
(87)【国際公開日】20160623
【審査請求日】2018年11月12日
(31)【優先権主張番号】14/577,990
(32)【優先日】2014年12月19日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】593096712
【氏名又は名称】インテル コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】リデル,トメル
(72)【発明者】
【氏名】モラン,アミット
(72)【発明者】
【氏名】フェレンズ,ロン
(72)【発明者】
【氏名】クーパーマン,ウラディミール
【審査官】 萩島 豪
(56)【参考文献】
【文献】 国際公開第2014/071254(WO,A1)
【文献】 米国特許出願公開第2013/0016070(US,A1)
【文献】 特表2013−544140(JP,A)
【文献】 特開2013−206411(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048 − 3/0489
G06F 21/31
H04M 1/00
H04M 1/24 − 1/82
H04M 99/00
(57)【特許請求の範囲】
【請求項1】
仮想ウェアラブルを動的に有効にするためにウェアラブルデバイスで使用される装置であって、前記ウェアラブルデバイスは、プライマリユーザのプライマリ・ウェアラブルデバイスであり、当該装置は
前記プライマリユーザの人間の身体部分を表すウェアラブルエリアを検出し、第2のユーザの第2のウェアラブルデバイスを検出する検出/受信ロジックと
仮想ウェアラブルの投影のために前記ウェアラブルエリアの適合性を促進するよう、前記ウェアラブルエリアをスキャンするエリアスキャン/追跡ロジックと;
前記プライマリ・ウェアラブルデバイスを使用して、前記ウェアラブルエリア上に前記仮想ウェアラブルを投影する通信/互換性ロジックであって、前記仮想ウェアラブルの投影が前記プライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、通信/互換性ロジックと;
前記第2のユーザ及び前記第2のウェアラブルデバイスの少なくとも一方を認証し、該認証に基づいて、前記第2のユーザが前記第2のウェアラブルデバイスを通して前記ウェアラブルエリア上の前記仮想ウェアラブルにアクセスする許可を付与するか又は拒否する認証/許可ロジックと;
を具備する装置。
【請求項2】
前記ウェアラブルエリアの検出は、前記プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、前記仮想ウェアラブルの前記投影が前記プライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、前記プライマリ・ウェアラブルデバイスが、前記プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む、
請求項1に記載の装置。
【請求項3】
前記ウェアラブルエリアの3次元(3D)モデルを作成して、前記通信/互換性ロジックに、前記ウェアラブルエリア上の前記仮想ウェアラブルの3Dベースの投影を促進するよう指示する、エリアベースのモデル作成ロジックを更に備える、
請求項1に記載の装置。
【請求項4】
前記ウェアラブルエリアの表面の不均一を改善するように前記ウェアラブルエリアの調節を実行する調節/活性化ロジックを更に備え、前記不均一は、前記表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じ、前記調節/活性化ロジックは更に、前記ウェアラブルエリアの3Dモデル及び前記プライマリ・ウェアラブルデバイスの前記プロジェクタを活性化して、前記ウェアラブルエリアの範囲を適合させるように前記仮想ウェアラブルを投影する、
請求項1に記載の装置。
【請求項5】
前記仮想ウェアラブルとの前記プライマリユーザの対話を特定し、
前記プライマリユーザの前記対話を認識する、
対話及び認識ロジック、を更に備え、
認識することは、前記プライマリユーザ又は前記プライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、前記プライマリユーザは、前記対話の特定と認識に応答して、前記仮想ウェアラブルへのアクセスを促進される、
請求項1又は4に記載の装置。
【請求項6】
前記認証/許可ロジックは、前記認証に基づいて、前記第2のユーザ又は前記第2のウェアラブルデバイスに関する許可細目を形成、前記許可細目は、前記仮想ウェアラブルにアクセスする前記許可の付与又は拒否を特定する通知を含む、
請求項1に記載の装置。
【請求項7】
前記通信/互換性ロジックは更に:
前記仮想ウェアラブルにアクセスする前記許可が付与される場合、前記プライマリ・ウェアラブルデバイスと前記第2のウェアラブルデバイスの間の通信を有効にし
前記仮想ウェアラブルにアクセスする前記許可が拒否される場合、前記プライマリ・ウェアラブルデバイスと前記第2のウェアラブルデバイスの間の通信を拒絶する、
請求項1又はに記載の装置。
【請求項8】
プライマリユーザのプライマリ・ウェアラブルデバイスにより、前記プライマリユーザの人間の身体部分を表すウェアラブルエリアを検出するステップと
前記プライマリ・ウェアラブルデバイスにより、仮想ウェアラブルの投影のために前記ウェアラブルエリアの適合性を促進するよう、前記ウェアラブルエリアをスキャンするステップと;
前記プライマリ・ウェアラブルデバイスにより、前記ウェアラブルエリア上に前記仮想ウェアラブルを投影するステップであって、前記仮想ウェアラブルの投影が前記プライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、ステップと;
前記プライマリ・ウェアラブルデバイスにより、第2のユーザに関連付けられる第2のウェアラブルデバイスを検出するステップと;
前記プライマリ・ウェアラブルデイバスにより、前記第2のユーザ及び前記第2のウェアラブルデバイスの少なくとも一方を認証し、該認証に基づいて、前記第2のユーザが前記第2のウェアラブルデバイスを通して前記ウェアラブルエリア上の前記仮想ウェアラブルにアクセスする許可を付与するか又は拒否するステップと;
を具備する、仮想ウェアラブルを動的に有効にするための方法。
【請求項9】
前記ウェアラブルエリアの検出は、前記プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、前記仮想ウェアラブルの前記投影が前記プライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、前記プライマリ・ウェアラブルデバイスが、前記プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む、
請求項に記載の方法。
【請求項10】
前記ウェアラブルエリア上の前記仮想ウェアラブルの3次元(3D)ベースの投影を促進するよう、前記ウェアラブルエリアの3Dモデルを作成するステップを更に備える、
請求項に記載の方法。
【請求項11】
前記ウェアラブルエリアの表面の不均一を改善するように前記ウェアラブルエリアの調節を実行するステップであって、前記不均一は、前記表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じる、ステップと;
前記ウェアラブルエリアの3Dモデル及び前記プライマリ・ウェアラブルデバイスの前記プロジェクタを活性化して、前記ウェアラブルエリアの範囲を適合させるように前記仮想ウェアラブルを投影するステップと;
を更に含む、請求項に記載の方法。
【請求項12】
前記仮想ウェアラブルとの前記プライマリユーザの対話を特定するステップと、
前記プライマリユーザの前記対話を認識するステップと、
を更に備え、
前記認識するステップは、前記プライマリユーザ又は前記プライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、前記プライマリユーザは、前記対話の特定と認識に応答して、前記仮想ウェアラブルへのアクセスを促進される、
請求項又は11に記載の方法。
【請求項13】
前記認証に基づいて、前記第2のユーザ又は前記第2のウェアラブルデバイスに関する許可細目を形成するステップと、
を更に備え、
前記許可細目は、前記仮想ウェアラブルにアクセスする許可の付与又は拒否を特定する通知を含む、
請求項に記載の方法。
【請求項14】
前記仮想ウェアラブルにアクセスする前記許可が付与される場合、前記プライマリ・ウェアラブルデバイスと前記第2のウェアラブルデバイスの間の通信を有効にするステップと;
前記仮想ウェアラブルにアクセスする前記許可が拒否される場合、前記プライマリ・ウェアラブルデバイスと前記第2のウェアラブルデバイスの間の通信を拒絶するステップと、
を更に備える、請求項又は13に記載の方法。
【請求項15】
コンピューティングデバイス上で実行されると、請求項乃至14のいずれか一項に記載の方法を実施又は実行するコンピュータプログラム。
【請求項16】
請求項乃至14のいずれか一項に記載の方法を実施又は実行する機構を備えるシステム。
【請求項17】
請求項乃至14のいずれか一項に記載の方法を実行するための手段を備える装置。
【請求項18】
請求項乃至14のいずれか一項に記載の方法を実施又は実行するように構成されるコンピューティングデバイス。
【請求項19】
請求項乃至14のいずれか一項に記載の方法を実施又は実行するように構成される通信デバイス。
【請求項20】
請求項15に記載のコンピュータプログラムを格納する、少なくとも1つのマシン読取可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で説明される実施形態は、一般に、コンピュータに関する。より具体的には、実施形態は、仮想ウェアラブル(virtual wearables)を動的に促進することに関する。
【背景技術】
【0002】
モバイルコンピューティングデバイスの発展とともに、ウェアラブルデバイスも主流な技術になる上での人気と顕著なけん引力を得ている。しかしながら、今日のウェアラブルデバイスは、ユーザの身体に取り付けられるか、その上に装着されることになる物理的デバイスである。さらに、これらの従来的な物理的ウェアラブルデバイスは、健康指標を追跡するためにあるウェアラブルデバイスを使用する必要があることから、ゲームをプレイするために別のウェアラブルデバイスを使用する必要があることまで、その機能性及び用途において異なる。これらのウェアラブルデバイスの物理的性質と、これらのウェアラブルデバイスの異なるタスクを実行する能力の欠如を考えると、これらのウェアラブルデバイスは柔軟ではなく、効率的ではないものとなる。他の従来技術は、高価かつ面倒で、実際的ではなく不安定な追加の外部ハードウェアを必要とし、不満足なユーザ体験等を提供し、一方、更に他の従来技術は、柔軟でない構成とプライバシの欠如を与える侵入性マーク(intrusive marks)を要する。
【図面の簡単な説明】
【0003】
実施形態は、限定ではなく例として図示されており、添付の図面の図内では、同様の参照番号が同様の要素を示す。
図1】一実施形態に係る動的仮想ウェアラブル機構を用いるコンピューティングデバイスを示す図である。
図2】一実施形態に係る動的仮想ウェアラブル機構を示す図である。
図3A】一実施形態に係る仮想ウェアラブルを促進するための方法を示す図である。
図3B】一実施形態に係る第2のウェアラブルデバイスを介して仮想ウェアラブルへのアクセスを促進するための方法を示す図である。
図4】一実施形態に係る本開示の実施形態の実装に適したコンピュータシステムを示す図である。
図5】一実施形態に係る本開示の実施形態の実装に適したコンピュータ環境を示す図である。
図6A】一実施形態に係る選択的なコンポーネントのセットの構造上の配置を有するコンピューティングデバイスを示す図である。
図6B】一実施形態に係る仮想ウェアラブルを示す図である。
図6C】一実施形態に係るウェアラブルエリアに関連付けられる追跡点を示す図である。
図6D】一実施形態に係るウェアラブルエリアを決定してセキュア(securing)にするためのスキャニング技術を示す図である。
図6E】一実施形態に係るウェアラブルエリアを決定してセキュアにするためのスキャニング技術を示す図である。
図6F】一実施形態に係る仮想ウェアラブルの共有を示す図である。
図6G】一実施形態に係るスキャンされたターゲットウェアラブルエリアを示す図である。
【発明を実施するための形態】
【0004】
以下の説明では、様々な具体的な詳細が説明される。しかしながら、本明細書で説明される実施形態は、これらの具体的な詳細なしに実施されてもよい。他の場合には、周知の回路、構造及び技術は、この説明の理解を曖昧にしないようにするため、詳細には図示されていない。
【0005】
実施形態は、仮想ウェアラブル(「仮想ウェアラブルコンピュータ」又は「仮想ウェアラブルデバイス」と呼ばれることもある)を提供する。一実施形態において、仮想ウェアラブルは、1つ以上のウェアラブルデバイス(例えばウェアラブル眼鏡(例えばGoogle(登録商標)glass(登録商標)等)のようなヘッドマウントデバイス)を、1つ以上のポータブルマイクロプロジェクタと組み合わせることにより得ることができ、仮想ウェアラブルは、任意の数及びタイプの場所(site)又はエリア(例えば手のひら/甲、腕、ひざ等)上に提示されるように拡張されることができ、仮想ウェアラブルは、ユーザによってアクセスされて使用されてよい。
【0006】
実施形態は更に、(限定ではないが)次のような仮想ウェアラブルを提供する:1)セキュアでプライベートな仮想ウェアラブル(例えばユーザが、他に彼らの仮想ウェアラブルを見ることができる人を確認(see)して決定すること等ができる);2)構成可能な仮想ウェアラブル(例えばユーザに、様々なデザインを変更、ダウンロード及び/又は共有する能力及びオプションを与えることができる);3)柔軟に設計される仮想ウェアラブル;4)ヘッドマウントディスプレイ等の単一のウェアラブルデバイスを使用して他のウェアラブル及びその特徴及び機能を提示するように構成可能な仮想ウェアラブル;5)消費電力の低い仮想ウェアラブル(例えば幾つかの仮想ウェアラブルとは対照的に単一のウェアラブル);6)良好なユーザ体験を提供するよう強化された仮想ウェアラブル;及び7)正確な仮想ウェアラブル、を提供する。
【0007】
図1は、一実施形態に係る動的仮想ウェアラブル機構110を用いるコンピューティングデバイス100を図示している。コンピューティングデバイス100は、動的仮想ウェアラブル機構(「仮想機構」)110をホストするホストマシンとして機能する。仮想機構110は、図2に図示されるような任意の数及びタイプのコンポーネントを含み、本明細書全体を通して更に説明されるように、1つ以上のコンポーネントを効果的に用いて仮想ウェアラブルを動的に促進する。
【0008】
コンピューティングデバイス100は、サーバコンピュータ、デスクトップコンピュータ等の大きなコンピューティングシステムのような任意の数及びタイプの通信デバイスを含んでよく、セットトップボックス(例えばインターネットベースのケーブルテレビジョン・セットトップボックス等)、全地球測位システム(GPS)ベースのデバイス等を更に含んでもよい。コンピューティングデバイス100は、スマートフォンを含むセルラフォン、パーソナルデジタルアシスタント(PDA)、タブレットコンピュータ、ラップトップコンピュータ(例えばウルトラブック(登録商標)システム等)、eリーダ、メディアインターネットデバイス(MID)、メディアプレーヤ、スマートテレビ、テレビプラットフォーム、インテリジェントデバイス、コンピューティングダスト(computing dust)、メディアプレーヤ、ヘッドマウントディスプレイ(HMD)(例えば光学ヘッドマウントディスプレイ(例えばGoogle(登録商標)glass(登録商標))ウェアラブルグラス)、ヘッドマウント双眼鏡、ゲームディスプレイ、ミリタリヘッドウェア等)及び他のウェアラブルデバイス(例えばスマートウォッチ、ブレスレット、スマートカード、ジュエリ、衣服アイテム等)等のように、通信デバイスとして機能するモバイルコンピューティングデバイスを含んでもよい。
【0009】
上述のように、コンピューティングデバイス100は任意の数及びタイプのコンピューティングデバイスを含んでよいが、これらの実施形態は、HMD又は他のウェアラブルデバイス又は任意の他の特定のタイプのコンピューティングデバイスだけに限定されない。しかしながら、一実施形態において、コンピューティングデバイス100は、ヘッドマウントディスプレイ又は別の形式のウェアラブルデバイスを含んでよく、したがって、本明細書全体を通して、「HMD」、「ヘッドマウントディスプレイ」及び/又は「ウェアラブルデバイス」は、簡潔性、明確性及び理解の容易性のために、例として使用されるよう、コンピューティングデバイス100と交換可能に呼ばれることがある。
【0010】
コンピューティングデバイス100は、コンピュータデバイス100のハードウェア及び/又は物理リソースとユーザとの間のインタフェースとして機能するオペレーティングシステム(OS)106を含んでよい。コンピューティングデバイス100は更に、1つ以上のプロセッサ102、メモリデバイス104、ネットワークデバイス、ドライバ等、並びにタッチスクリーンやタッチパネル、タッチパッド、仮想又は通常のキーボード、仮想又は通常のマウス等のような入出力(I/O)リソース108を含む。
【0011】
「ノード」、「コンピューティングノード」、「サーバ」、「サーバデバイス」、「クラウドコンピュータ」、「クラウドサーバ」、「クラウドサーバコンピュータ」、「マシン」、「ホストマシン」、「デバイス」、「コンピューティングデバイス」、「コンピュータ」、「コンピューティングシステム」等のような用語は、本明細書全体を通して交換可能に使用されることがあることに留意されたい。また、「アプリケーション」、「ソフトウェア・アプリケーション」、「プログラム」、「ソフトウェアプログラム」、「パッケージ」及び「ソフトウェアパッケージ」、「コード」、「ソフトウェアコード」等のような用語も本明細書全体を通して交換可能に使用されることがあることにも更に留意されたい。同様に、「ジョブ」、「入力」、「要求」及び「メッセージ」のような用語も本明細書全体を通して交換可能に使用されることがある。「ユーザ」という用語は、コンピューティングデバイス100を使用するかコンピューティングデバイス100へのアクセスを有する個人又は複数の個人のグループを指してもよいと考えられる。
【0012】
図2は、一実施形態に係る動的仮想ウェアラブル機構110を図示している。一実施形態において、仮想機構110は、(限定ではないが)検出/受信ロジック201;認証/許可ロジック203;エリアスキャン/追跡ロジック205;エリアベースのモデル作成ロジック207;調節/活性化ロジック209;対話/認識ロジック211;共有ロジック211;及び通信/互換性ロジック213のような任意の数及びタイプのコンポーネントを含んでよい。コンピューティングデバイス100は、キャプチャ/感知コンポーネント221、出力コンポーネント223及びマイクロプロジェクタ225等のような任意の数及びタイプの他のコンポーネントを更に含んでもよい。
【0013】
キャプチャ/感知コンポーネント221は、1つ以上の感知及び/又はキャプチャデバイス(例えばカメラ、マイクロフォン、生体センサ、化学物質検出器、信号検出器、検波器、力センサ(例えば加速度計)、照明(illuminator)等)のような任意の数及びタイプのキャプチャ/感知コンポーネントを含んでよく、このようなキャプチャ/感知コンポーネントは、画像(例えば写真、ビデオ、動画、オーディオ/ビデオストリーム等)のような任意の量及びタイプの視覚データと、オーディオストリーム(例えば音、雑音、振動、超音波等)や無線波(例えばデータ、メタデータ、符号等を有する無線信号のような無線信号)、化学変化又は特性(例えば湿度、体温等)、生体読取値(例えば指紋等)、環境/気象状態、地図等のような非視覚データをキャプチャするために使用されてよい。本明細書全体を通して「センサ」及び「検出器」は交換可能に参照されてよいと考えられる。1つ以上のキャプチャ/感知コンポーネント221は更に、照明(例えば赤外(IR)照明)、照明器具、ジェネレータ、サウンドブロッカ等のように、データをキャプチャ及び/又は感知するための1つ以上のサポート又は補助デバイスを含んでもよい。本明細書全体を通して、「視覚データ」は、「ビジュアル」又は「ビジュアルズ(visuals)」と呼ばれることがあり、「非視覚データ」は、「非ビジュアル」又は「非ビジュアルズ(non-visuals)」と呼ばれることもあることに留意されたい。
【0014】
さらに、一実施形態において、キャプチャ/感知コンポーネント221は更に、任意の数及びタイプのコンテキストを感知又は検出する(例えばモバイルコンピューティングデバイス等に関して水平(horizon)、線形加速度等を推定(estimating)する)ための任意の数及びタイプの感知デバイス又はセンサ(例えば線形加速度計)を含んでもよい。例えばキャプチャ/感知コンポーネント221は、(限定ではないが):加速度計(例えば線形加速度を測定する線形加速度計等);慣性デバイス(例えば慣性加速度計、慣性ジャイロスコープ、微小電気機械システム(MEMS)ジャイロスコープ、慣性ナビゲータ等);重力に起因する重力加速度における変化を研究及び測定する重力傾斜計等といった、任意の数及びタイプのセンサを含んでよい。
【0015】
例えばキャプチャ/感知コンポーネント221は更に、(限定ではないが):オーディオ/ビジュアルデバイス(例えばカメラ、マイクロフォン、スピーカ等);コンテキスト認識センサ(例えば温度センサ、オーディオ/ビジュアルデバイスの1つ以上のカメラと協働する顔の表情及び特徴測定センサ、(背景色、光等を感知するような)環境センサ、(指紋等を検知するような)生体センサ、カレンダー管理及び読み出しデバイス)等;全地球測位システム(GPS)センサ;リソースリクエスタ;及びTEE(trusted execution environment)ロジックを含んでよい。TEEロジックは、リソースリクエスタ及び/又はI/Oシステム等と別個に用いられてよく、あるいはその一部であってもよい。
【0016】
コンピューティングデバイス100は更に、1つ以上の出力コンポーネント223を含んでもよく、1つ以上のキャプチャ/感知コンポーネント221及び仮想機構110の1つ以上のコンポーネントとの通信を保持し、画像の表示、音の再生又は視覚化(visualization)、指紋の視覚化の表示、タッチ、匂い及び/又は他の感知に関連する体験等の視覚化の提示を容易にする。例えば一実施形態において、出力コンポーネント223は、(限定ではないが)光源、ディスプレイデバイス又は画面、オーディオスピーカ、骨伝導スピーカ、嗅覚又は匂い視覚及び/又は非視覚提示デバイス、触覚又はタッチ視覚及び/又は非視覚提示デバイス、アニメーションディスプレイデバイス、生体ディスプレイデバイス、X線ディスプレイデバイス等を含んでよい。
【0017】
コンピューティングデバイス100は、1つ以上のネットワーク上で1つ以上のリポジトリ又はデータベースと通信してよく、リポジトリ又はデータベースに、任意の量及びタイプのデータ(例えばリアルタイムデータ、履歴コンテンツ、メタデータ、リソース、ポリシー、基準、ルール及び規則(regulation)、アップグレード等)を格納して保持してよい。同様に、コンピューティングデバイス100は、1つ以上のネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、物のインターネット(「IoT」)、近接ネットワーク、Bluetooth(登録商標)等)を介して、HMD、ウェアラブルデバイス、モバイルコンピュータ(例えばスマートフォン、タブレットコンピュータ等)、デスクトップコンピュータ、ラップトップコンピュータ等のような任意の数及びタイプの他のコンピューティングデバイスと通信してもよい。
【0018】
図示される実施形態では、コンピューティングデバイス100は、仮想機構110をホストしているように図示されているが、実施形態はそのように限定されず、別の実施形態では、仮想機構110は全体又は部分的に、複数のコンピューティングデバイス又はコンピューティングデバイスの組合せによってホストされてよい。しかしながら、本明細書では、簡潔性、明確性及び理解の容易性のために、仮想機構110はコンピューティングデバイスによってホストされるものとして図示されている。
【0019】
コンピューティングデバイス100は、仮想機構110と通信する1つ以上のソフトウェア・アプリケーション(例えばデバイスアプリケーション、ハードウェアコンポーネントアプリケーション、ビジネス/ソーシャルアプリケーション、ウェブサイト等)を含んでもよく、ソフトウェア・アプリケーションは、1つ以上のユーザインタフェース(例えばウェブユーザインタフェース(WUI)、グラフィカルユーザインタフェース(GUI)、タッチスクリーン等)を提示して、仮想機構110の1つ以上の動作又は機能と協働し、かつ/又はこれらを促進することができる。
【0020】
一実施形態において、仮想機構110を使用して、仮想ウェアラブルは、ウェアラブルデバイス等のコンピューティングデバイス100を介して、ユーザの身体部分(例えば手、ひざ、腕等)のような任意の形状又は形のエリア上の拡張ディスプレイラップアラウンド(augmented display wraparound)として機能するように促進されてよい。例えば一実施形態において、仮想ウェアラブルは、ユーザの手又は四肢等の他の身体部分上の良好に配置されるラップアラウンド(wraparound)であってよく、1つ以上のモデルに従って割り当てられ設計され得る高精細度のディスプレイ(例えば第1及び/又は第2のディスプレイ)を提供する。
【0021】
一部の実施形態において、仮想ウェアラブルは、ハードウェア設計者及びソフトウェアプログラマが、拡張現実のための仮想ウェアラブルデバイスを生成するために仮想ウェアラブルをプラットフォームとして使用すること可能にするよう、通信/互換性ロジック213を介して十分に構成可能であってよい。さらに、仮想機構110は、ユーザ(コンピューティングデバイス100のようなウェアラブルデバイスを使用/装着するエンドユーザ等)と、ソフトウェア開発者、プログラマ、ハードウェア設計者等との双方に役立つことがあり、例えば開発者が仮想ウェアラブルを使用して、製品を区別するために訴えやすい(easy-to-sue)メディア作成プラットフォームを可能にし、あるいは他の製品の能力を合致させることができる。同様に、例えば仮想ウェアラブルは、ユーザが、自身のパーソナルデータを共有させるかどうか、及びパーソナルデータのうちのどの部分を共有し、どの部分をプライベートのままにするかを決定することを可能にするよう、出力コンポーネント223を介して便利なインタフェースをユーザに提供することができる。
【0022】
一実施形態において、仮想機構110は、仮想ウェアラブルが、コンピューティングデバイス100のような様々なウェアラブルデバイス(例えばHMD)を使用するユーザのために強化されたユーザ体験(UX)を提供することを可能にし、他のデバイス(例えばウェアラブルデバイス)を拡大するかそれ自体に基づく(stand on)そのような仮想ウェアラブルをユーザが作成して装着することを可能にする。さらに、例えば一実施形態では、コンピューティングデバイス100は、ウェアラブルデバイス(例えばHMD)を含んでよく、そのキャプチャ/感知コンポーネント221は、例えば3次元(3D)カメラを含んでもよい。3Dカメラは次いで、仮想機構110のエリアベースのモデル作成ロジック207、調節/活性化ロジック209等のような1つ以上のコンポーネントとともに使用されてよく、例えばコンピューティングデバイス100のユーザが3D拡張世界を見ることができるような現実的な方法で表示拡張現実データを促進することができる。
【0023】
同様に、例えば一実施形態において、3Dカメラは更に、検出/受信ロジック201によって促進されるように3D内の様々な物体(例えばオクルージョン)の検出とキャプチャのために使用されてよく、これについては以下で更に説明される。オクルージョンサポートは、カメラからの深度データを使用すること等により仮想ウェアラブルを体験するとき、強化されたより良い錯覚体験をユーザに提供するために使用されてよく、コンピューティングデバイス100は、移動する物体の深度データをキャプチャし、必要又は所望に応じて仮想物体を塞ぐことができると考えられる。実施形態は、いずれかの特定のコンポーネント(3Dカメラ等)又は技術(オクルージョン等)に限定されず、任意の数及びタイプのコンポーネント及び/又は技術を適用又は修正して様々な結果を達成し、仮想ウェアラブルを用いる強化されたユーザ体験を促進することができる。
【0024】
一部の実施形態において、仮想機構110及びコンピューティングデバイス100(例えばHMDのようなウェアラブルデバイス)によって促進される仮想ウェアラブルを、コンピューティングデバイス100のユーザによって選択又は好まれる1つ以上のエリア(例えば「ウェアラブルエリア」又は「ウェアラブル身体エリア」とも呼ばれる)において表示することができる。例えば一部の実施形態において、仮想ウェアラブルのための表示エリアは、仮想ウェアラブルがユーザによって仮想的に装着され、ユーザが他のアクティビティ(例えばランニング、食事、座ること、ダンス等)を継続している間に、モバイルかつアクセス可能な状態を保持することができるように、ユーザの身体のような人間の身体の様々な部分を含んでよい。実施形態は、身体部分だけに限定されず、任意の数及びタイプのエリア(例えばスクリーン、壁、フロア、キャンバス、ホール、岩、砂浜、非人間の身体部分、植物、木等)が、ウェアラブルエリアとして使用されてよいと考えられ、認識されるが、簡潔性、明確性及び理解の容易のために、本明細書全体を通して人間の身体エリアが例として使用され議論される。
【0025】
ユーザが仮想ウェアラブルを装着するためのウェアラブルエリアとして機能することになる身体部分(例えば手のひら又は甲、手首、ひざ、指関節等)を見つけて使用するために、一実施形態では、検出/受信ロジック201を使用して身体部分を検出してよく、別の実施形態では、1つ以上のウェアラブルアクセサリ又はマークを検出/受信ロジック201によって検出することができる。例えば検出されるアクセサリは、ユーザが仮想ウェアラブルにより強化することを選択することができる、時計やブレスレット等のような所定の装着されるアクセサリであってよい。例えばユーザは、手首上にスマートウォッチのようなスマートアクセサリを付け、スマートウォッチが仮想ウェアラブルを介してより大きなデバイスへと拡大されるように、スマートウォッチの隣の身体エリア(例えば手首、腕、手等)の上に仮想ウェアラブルを表示させることを選ぶことができる。別の例では、アクセサリは、通常のジュエリブレスレット、リストバンド、ひざ装具等のようなダムアクセサリ(dumb accessory)であってよい。
【0026】
一実施形態では、以下に更に説明されるように、身体部分及び/又はウェアラブルアクセサリの初期検出が検出/受信ロジック201によって実行されると、次いで仮想ウェアラブルモデルが生成されて、ユーザの身体部分であるエリア上へロードされて、スナップされてよく、この場合、仮想ウェアラブルモデルは、例えば身体部分のカーブした表面及び/又は仮想ウェアラブルの隣にあるか仮想ウェアラブルと位置合わせされ得るウェアラブルアクセサリの周囲に調整(tailor)されるように、ユーザの身体のウェアラブルエリアに対して特別に調整される3Dモデルであってよい。実施形態は、人間の身体エリアのカーブ及び/又はウェアラブルアクセサリのエッジと正確に位置合わせされる3D仮想ウェアラブルを提供し、その結果、これらの仮想ウェアラブルによって拡大される仮想ウェアラブル能力は、現実主義のやり方で体験される。
【0027】
図6D図6Eに関連して更に図示されるように、一実施形態では、キャプチャ/感知コンポーネント221のカメラ(例えば3Dカメラ)を使用して、ウェアラブルエリア(独立の身体エリアであっても、ウェアラブルアクセサリの隣等であってもよい)の画像をキャプチャしてよく、この場合、キャプチャ/感知コンポーネント221のカメラ及び/又は1つ以上の深度センサを使用して、エリアスキャン/追跡ロジック205によって促進されるように、ウェアラブルエリアをスキャンしてマップすることができる。例えばスキャン/追跡ロジック205は、ウェアラブルエリア全体をスキャンして、そのエリアの隅(nooks)と角、カーブとエッジ、高い部分(highs)と低い部分(lows)等を追跡するように、上述のカメラ及び/又は1つ以上の深度センサを促進することができる。
【0028】
ウェアラブルエリアがスキャン/追跡ロジック205を介して成功裏にスキャンされてマップされると、一実施形態では、エリアベースのモデル作成ロジック207を使用して、ウェアラブルエリアのエリアモデルを生成してよく、この場合、調節/活性化ロジック209による活性化があると、仮想機構110の通信/互換性ロジック213によって伝達されるように、高く適合された仮想ウェアラブルが、マイクロプロジェクタ225を介して投影されてよい。
【0029】
一部の実施形態において、仮想ウェアラブルを活性化し、仮想ウェアラブルをウェアラブルエリアに表示することに先立って、仮想ウェアラブルが、ウェアラブルエリアと適切かつその中に位置合わせされ、かつ/又は1つ以上のウェアラブルアクセサリの片側に沿う(along-side)ように、調節/活性化ロジック209を使用して、必要又は所望に応じて、仮想ウェアラブルに対して様々な調節を実行してよい。任意の調節を仮想ウェアラブル及び/又はウェアラブルエリアを実行して、利用可能なスキャン、追跡及び3Dモデル情報等に基づいて、仮想ウェアラブルとウェアラブルエリアとの間のできる限り完璧な適合を達成する。
【0030】
上述のように、いずれか必要な又は所望の調節が行われると、調節/活性化ロジック209は、ウェアラブルエリアで及び/又はウェアラブルエリア内に表示されることになる仮想ウェアラブルの3Dモデルを活性化してよく、この場合、仮想ウェアラブルは、通信/互換性ロジック213を介して表示されて、その後、ユーザによって使用されてアクセスされる。一実施形態において、仮想ウェアラブルを表示することは、コンピューティングデバイス100のマイクロプロジェクタ225を介して、3D仮想ウェアラブルをウェアラブルエリア上に、かつ/又は1つ以上のウェアラブルアクセサリの片側に投影することを含んでもよい。
【0031】
さらに、任意の別のコンピューティングデバイスを使用するような仮想ウェアラブルのアクセス及び使用をセキュアかつノーマルにするために、対話及び認識ロジック211を採用及び使用して、タッチ対話、ジェスチャ認識等の1つ以上の技術を促進することができる。他のそのような技術を採用してもよく、実施形態は、タッチ対話及びジェスチャ認識だけに限定されないと考えられる。
【0032】
一実施形態において、対話及び認識ロジック211を使用して、検出/受信ロジック201によって促進されるようなウェアラブルエリアの初期検出があると、エリアスキャン/追跡ロジック205によって促進されるように、ターゲットのウェアラブルエリアがスキャンされて追跡されてよく、タッチ対話が採用されてよい。例えばウェアラブルエリアには様々な異常やジャンプが存在することがあり、これらは、対話及び/認識ロジック211によって促進されるようなタッチ対話を使用し、ウェアラブルエリアの深度データのヒストグラムを使用して検出されることができると考えられる。図6Gに関連して図示されるように、y軸は、右から左へスキャンされる潜在的なウェアラブルエリアの平均深度値を表す。
【0033】
一部の実施形態において、タッチ対話を、ユーザのタッチ又は指紋等のようなユーザの評価及び認証目的に使用してよく、ユーザが仮想ウェアラブル等へアクセスすることを許可又は拒否するパスワードとして使用されてよい。例えば一実施形態において、仮想ウェアラブルをウェアラブルエリアに投影した後、対話及び認識ロジック211によってタッチ対話がトリガされて、ユーザのタッチ(例えば指紋)を検出して受け入れ、ユーザの認証情報を照合して検証し、その結果、ユーザが認証されて、それに応じて仮想ウェアラブルへのアクセスが許可又は拒否されてよい。タッチ対話は、任意の数及びタイプのタッチ対話技術に基づくものであってよい。
【0034】
別の実施形態では、ジェスチャ認識が対話及び認識ロジック211によって用いられてよく、ユーザは、カメラによって検出され、かつキャプチャ/感知コンポーネント221の1つ以上のセンサによって検出され得る任意の数及びタイプのジェスチャを実行してもよい。一実施形態において、ジェスチャ認識は、ユーザが様々なジェスチャを実行して、コンピューティングデバイス100等のウェアラブルデバイスと対話することを可能にする。例えばユーザは、親指を立てること、手を振ること、指を鳴らすこと等のような様々なジェスチャを行ってよく、これらの様々なジェスチャは、予め定められていてよく、コンピューティングデバイス100のようなユーザのウェアラブルデバイスと通信し、ウェアラブルエリアに投影されている仮想ウェアラブルに直接関連していても関連しなくてもよい特定のタスクを実行してよい。例えばユーザが指を鳴らして、写真を撮るようにキャプチャ/感知コンポーネント221のカメラをトリガしてもよく、親指を立てて、仮想ウェアラブルのビューを明るくするようにコンピューティングデバイス100をトリガしてもよく、あるいは手を振って、コンピューティングデバイス100上のホームセキュリティアプリケーションがユーザの家のドアをロックできるようにしてもよい。
【0035】
同様に、タッチ対話に関連して上述したように、ジェスチャ認識はセキュリティ又は認証目的のために使用されてよく;例えばユーザは、人差し指を見せることのように特定のジェスチャを実行してもよく、この特定のジェスチャは、仮想ウェアラブル等へユーザがアクセスすることを許可又は拒否するパスワードとして使用されてよい。タッチ対話と同様に、ジェスチャ認識は、任意の数及びタイプのジェスチャ認識技術(例えばIntel(登録商標)RealSense(登録商標)技術等)に基づいてよいと考えられる。
【0036】
一部の実施形態において、仮想ウェアラブルのプライマリユーザ等のユーザは、図6F及び図3Bに関連して更に議論されるように、1人以上のターゲットユーザ等の他のユーザのうちの1人以上と仮想ウェアラブルへのアクセスを共有することを選択してよい。実施形態は、1人以上のターゲットユーザとのセキュアな接続の管理を提供し、プライマリユーザは、どのターゲットユーザが仮想ウェアラブルを見ることができ、及び/又は仮想ウェアラブルにアクセスすることができるか、そして、どのターゲットユーザがそのようにすることができないかを決めることができる。これは、プライマリユーザからターゲットユーザへのインビテーションに対して、かつ/又はターゲットユーザからの要求に応答して行われてよい。
【0037】
例えばターゲットユーザは、仮想ウェアラブルを見る/アクセスするよう要求を出してよく、この場合、この要求は、検出/受信ロジック201で受け取られてよい。要求は、ターゲットユーザ及び/又はターゲットユーザのウェアラブルデバイス(例えばHMD)とともに承認され、仮想ウェアラブルを見る/アクセスするための許可を、認証/許可ロジック203により付与又は拒否することができる。許可が拒否される場合、ターゲットユーザは、プライマリユーザの仮想ウェアラブルを見ること又はアクセスすることができない。一方。許可が付与される場合、ターゲットユーザは、該ターゲットユーザのウェアラブルデバイスを通してプライマリユーザの仮想ウェアラブルを直接見る及び/又はアクセスすることを許容されてよい。ターゲットユーザのウェアラブルデバイスは、仮想ウェアラブルの共有に参加することができるよう最小限の互換性及び通信プロトコル及び規格を満たす参加ウェアラブルデバイスであってよい。
【0038】
一部の実施形態において、共有の目的のために、ターゲットユーザ及びその対応するターゲット・ウェアラブルデバイスが認識されて認証されるように、顔認識技術(例えばFace.com(登録商標)等)、ペアリング技術(例えばBluetooth(登録商標)セキュアシームレスペアリング等)のような任意の数及びタイプの識別及び認証技術を採用してよい。同様に、ターゲットユーザが許可を付与又は拒否されるかどうかを決定すると、1つ以上の他の技術(例えばユーザアカウントコントロール(UAC)技術等)を採用して、仮想ウェアラブルを、ターゲットユーザに関連付けられるターゲット・ウェアラブルデバイスに対して表示するか又はブロックしてよい。
【0039】
通信/互換性ロジック213を使用して、変化する技術、パラメータ、プロトコル、規格等との互換性を保証しつつ、コンピューティングデバイス100と任意の数及びタイプのコンピューティングデバイス(ウェアラブルコンピューティングデバイス、モバイルコンピューティングデバイス、デスクトップコンピュータ、サーバコンピューティングデバイス等)、処理デバイス(例えば中央処理ユニット(CPU)、グラフィクス処理ユニット(GPU)等)、キャプチャ/感知コンポーネント221(例えばオーディオセンサ、嗅覚センサ、触覚センサ、信号センサ、振動センサ、化学物質検出器、無線検波器、力センサ、天気/気温センサ、身体/生体センサ、スキャナ等のような非視覚データセンサ/検出器、及び/又はカメラ等のような視覚データセンサ/検出器)、ユーザ/コンテキスト認識コンポーネント及び/又は識別/検証センサデバイス(生体センサ/検出器、スキャナ等)、メモリ又はストレージデバイス、データベース及び/又はデータソース(データストレージデバイス、データドライブ、半導体ドライブ、ハードディスク、メモリカード又はデバイス、メモリ回路等)、ネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、セルラネットワーク、あるいはBluetooth(登録商標)、Bluetooth低エネルギ(BLE)、Bluetooth Smart、Wi-Fi近接(proximity)、無線周波数識別(RFID)、近距離通信(NFC)、身体エリアネットワーク(BAN)等のような近接ネットワーク)、無線又は有線通信及び関連するプロトコル(例えばWi-Fi(登録商標)、WiMAX、Ethernet(登録商標)等)、接続及び位置管理技術、ソフトウェア・アプリケーション/ウェブサイト(例えソーシャル及び/又はビジネスネットワーキングウェブサイト、ビジネスアプリケーション、ゲーム及び他のエンターテイメントアプリケーション等)、プログラミング言語等の間の動的な通信及び互換性を促進することができる。
【0040】
本明細書全体を通して、「ロジック」、「コンポーネント」、「モジュール」、「フレームワーク」、「エンジン」、「ツール」等のような用語は交換可能に参照されてよく、例として、ソフトウェア、ハードウェア及び/又はファームウェアのようなソフトウェアとハードウェアの任意の組合せを含んでよい。さらに、特定のブランド、ワード、用語、フレーズ、名前及び/又は頭文字、例えば「身体ウェアラブル」、「仮想ウェアラブル」、「ウェアラブルデバイス」、「ヘッドマウントディスプレイ」又は「HMD」、「3Dモデル」、「3Dカメラ」、「拡張現実」又は「AR」等のいずれかの使用は、実施形態を、本明細書の外部の製品又は文献でそのラベルを持つソフトウェア又はデバイスに限定するように読まれるべきではない。
【0041】
任意の数及びタイプのコンポーネントを、仮想機構110に追加し、かつ/又はこれから除去して、特定の特徴を追加、除去及び/又は強調することを含め、様々な実施形態を促進することができると考えられる。仮想機構110の簡潔性、明確性及び理解の容易性のために、コンピューティングデバイスの基本的な及び/又は公知のコンポーネントのように、基本的な及び/又は公知のコンポーネントの多くは、ここでは図示せず、議論されない。本明細書で説明される実施形態は、いずれかの特定の技術、トポロジ、システム、アーキテクチャ及び/又は規格に限定されず、いずれかの将来の変更に適応及び適合するよう十分に動的である。
【0042】
次に図6Aを参照すると、一実施形態に係る仮想ウェアラブル651が図示されている。簡潔性のために、図1及び図2に関連して説明した詳細の多くは議論せず、繰り返さないことがある。図示される実施形態では、仮想ウェアラブル651は、該仮想ウェアラブル651がマイクロプロジェクタ225によってユーザの腕の上のウェアラブルエリア653に投影されるように、ユーザの腕の上に表示されるよう図示されている。説明の目的のために、ユーザは、ウェアラブルアクセサリ655(例えば時計、ブレスレット等)を装着しているように図示されている。ウェアラブルアクセサリ655は、スマートであってもダムであってもよい。例えばウェアラブルアクセサリ655がダムウェアラブルアクセサリを含む場合、図6Cに関連して更に図示されるように、ウェアラブルエリア653の追跡及びスキャンのための追跡点として使用されてよい。例えばウェアラブルアクセサリ655がスマートウェアラブルアクセサリ(例えばスマートウォッチ、スマートブレスレット等)を含む場合、スマートウェアラブルアクセサリは、仮想ウェアラブル651の一部を形成してよく、例えば仮想ウェアラブル651がスマートウェアラブルアクセサリに対する拡張(extension)として作られ、投影されてよい。
【0043】
図2に関連して更に検討されるように、コンピューティングデバイス100は、マイクロプロジェクタ225のような任意の数及びタイプの他のコンポーネントとともに仮想機構110をホストする、ヘッドマウントディスプレイのようなウェアラブルデバイスを含んでよい。図2に関連して更に検討されるように、この例及び後続の図では、仮想ウェアラブル651は人間の腕に投影されるように図示されているが、実施形態はそのように限定されないと考えられ、留意される。
【0044】
図6Bは、一実施形態に係る仮想ウェアラブル651を図示している。図示される実施形態では、仮想ウェアラブル651は、異なるアングルから図示されており、一部の実施形態では、仮想ウェアラブル651は、ユーザの腕が特定の方向に動いた場合にラップアラウンドとして現れてよい。他の実施形態では、仮想ウェアラブル651はラップアラウンドでなくてよい。
【0045】
図6Cは、一実施形態に係るウェアラブルエリアに関連付けられる追跡点657A〜657Bを図示している。図2に関連して以前に議論したように、一実施形態では、追跡点657A〜657Bのような様々な追跡点が参照点として追跡され、モニタされ、注目され、その後、対応するウェアラブルエリアを決定するために使用されてよい。これらの追跡点657A〜657Bは、アクセサリの装着等のような任意の数及びタイプの理由に起因していることがある。別の実施形態では、物体(例えばウェアラブルアクセサリ655)を使用して、潜在的なウェアラブルエリアを決定するための基準点として機能するように使用されるウェアラブルアクセサリ655(例えば時計、ブレスレット、リストバンド等)のエッジ及び境界のような、追跡点を決定してよい。
【0046】
図6D及び図6Eは、一実施形態に係るウェアラブルエリアを決定及びセキュアにするためのスキャニング技術661、667を図示している。画像化の異なる原理に基づく3Dスキャニングへの幾つかのアプローチを短距離スキャニングに採用してよく、一方、他の技術は中距離又は長距離スキャニングにより良く適していることがある。例えば近距離3Dスキャニングのために、構造化された光技術667が採用され、構造化された光スキャナ及び様々な他のコンポーネントを使用して達成されてよい。例えばストライプ・プロジェクタ669H及びマトリックスカメラ669Eのような構造化された光スキャナは、三角法三角測量ベース(trigonometric triangulation base)669Iを使用してよく、一連の線形パターンを、成形された物体(shaped object)669Dによって保持されるように人間の手等の物体の上に投影してよい。例えば光ストライプ669Aを投影して、ストライプ数669Gを決定する。同様に、カメラピクセル669F、物体ピクセル669C等が、マトリックスカメラ669Eを介して決定されてよい。一部の実施形態において、パターン内の各線のエッジを検査することにより、スキャナから物体の表面への距離を計算して、プロセスが終了し、物体のスキャンされた面の3Dモデルが、技術667に関連して示されるように生成されてよい。
【0047】
表面検出及び配置のための技術661に関連し、かつ技術661に図示されるように、構造化された光システムは、物体663Aとは反対の物体663B上に表示されるグリッド又はパター(patter)665のような他のパターを投影してよいと考えられ、側面(side)等の特定のアングルから見たときに複雑な物体663A、663Bの輪郭を公開する。この線は、壁等の平面上に投影されるときは真っ直ぐに見えるが、人々、家具等のような平らでない面上に投影されるときには歪む。したがって、手663A、663B等のユーザの手足の表面のモデルが作成されてよい。構造化された光は、3D物体のスキャンのための単なる1つのアプローチであり、他のアプローチが採用されてもよいと考えられる。
【0048】
身体部分の3D面上におけるカスタム適合される仮想ウェアラブルの所望の体験を達成するために、ウェアラブルエリアのような投影エリアは、任意の数のプロセスを用いて正確に設定されてよい。例えば仮想ウェアラブルのこの最初の使用があると、ユーザが較正プロセスを完了することができる管理プロセス(supervised process)が使用されてよく、カスタム分類器がトレーニングされている間、ユーザは投影エリアを設定して、この投影エリアを検出及びトレーニングする。投影エリアはその後、ウェアラブルエリアとして使用されてよい。同様に、人間の手についての手の形状検出器等のように、所定の身体部分についてグローバルにトレーニングされる分類器に依拠することがある別のプロセスが使用されてもよい。これは、較正についての全ての必要性をなくすことを助けるが、正確性が低いことがある。
【0049】
図6Fは、一実施形態に係る仮想ウェアラブルの共有を図示している。一部の実施形態において、ユーザ671A等のプライマリユーザは、仮想ウェアラブルを、ターゲットユーザ671B等の1人以上のターゲットユーザと共有することを選択することがある。図示されるように、ターゲットユーザ671Bは、顔認識技術等の幾つかの技術に基づいて認識679Aされてよい。認識されると、プライマリユーザ671のウェアラブルデバイス100からコンピューティングデバイス(例えばサーバコンピュータ)677へ、1つ以上のネットワーク675(例えばクラウドネットワーク、インターネット等)を介して関連するデータが送信679Bされ、許可及び他のウェアラブル細目(details)を要求してよい。例えばコンピューティングデバイス677は、様々なユーザ、ウェアラブルデバイス、認証及び許可規格及びプロトコル、所定の基準等に関連する任意の量及びタイプのデータを格納している1つ以上のデータベースへのアクセスを有してよい。
【0050】
要求を受け取ると、コンピューティングデバイス677は、1つ以上のデータベースで関連するデータにアクセスし、必要な分析を実行すると、通信細目を含む全ての許可細目を、プライマリユーザ671Aのウェアラブルデバイス100に返すよう伝達する679C。いずれかの許可細目は、ウェアラブルデバイス673が、ウェアラブルデバイス100によって投影されている仮想ウェアラブルを見るか、かつ/又はアクセスするために、ウェアラブルデバイス100、673間の通信を確立する許可の付与又は拒否に関する通知を含んでよい。許可細目を受け取ると、ウェアラブルデバイス673及びターゲットユーザ671Bは、関連するマーカ位置及び設定に従ってウェアラブルデバイス100によって投影されている仮想ウェアラブルを見るか、かつ/又はアクセスするように通知されて要求される679D。
【0051】
図6Gは、一実施形態に係る、スキャンされたターゲットウェアラブルエリア685を図示している。対話及び認識ロジック211に関連して議論されるように、図2の仮想機構110によって促進されるようタッチ対話及びジェスチャ認識技術を採用してもよい。図示される実施形態では、ターゲットウェアラブルエリアの様々な異常、ジャンプ等は、深度データのヒストグラムを使用すること等により検出されてよい。図示されるように、ユーザは、ターゲットウェアラブルエリアを接触してスキャンして、スキャンされたターゲットウェアラブルエリア685を提供してよく、この場合、Y軸は、例えば右から左にスキャンされたターゲットウェアラブルエリア685の平均値を表す。
【0052】
次に図3Aを参照すると、図3Aは、一実施形態に従って、ウェアラブルデバイスを促進にするための方法300を図示する。方法300は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法300は図1図2の仮想機構110によって実行されてよい。方法300のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数を、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
【0053】
方法300は、ブロック305で開始し、潜在的なウェアラブルエリアをスキャンする。ブロック310において、ウェアラブルエリアの3Dモデル等のモデルが、ウェアラブルエリアのスキャンに基づいて生成され、ブロック315において、このウェアラブルモデルが必要又は所望に応じて調節又は変更され、その結果、潜在的な仮想ウェアラブウについて正しいフィットを提供することができる。ブロック320において、一実施形態では、仮想ウェアラブルがウェアラブルエリア上で活性化され、ユーザによって装着されているウェアラブルデバイス(例えばHMD)によって投影される。ブロック325において、一実施形態では、ユーザタッチが検出されて認証され、これに応答して、ユーザが仮想ウェアラブルを見てアクセスし、任意の他のコンピューティングデバイスとともに実行可能であるような幾つかのタスクを実行するよう、仮想ウェアラブルのユーザインタフェースが活性化されてよい。
【0054】
図3Bは、一実施形態に従って、第2のウェアラブルデバイスを介して仮想ウェアラブルへのアクセスを容易にするための方法350を図示する。方法350は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法350は図1図2の仮想機構110によって実行されてよい。方法350のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数を、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
【0055】
方法350は、ブロック355で開始し、ターゲット・ウェアラブルデバイス(例えばHMD)を装着しているターゲットユーザの検出を行う。検出は、ターゲット・ウェアラブルデバイスと、プライマリユーザによって装着されているプライマリ・ウェアラブルデバイスとの間で行われてよい。ブロック360において、顔検出及び認識技術、デバイス認証技術等のような様々なユーザ及び/又はデバイス認識、識別及び認証技術がターンオンされてよい。ブロック365において、プライマリデバイスは、ネットワーク(例えばクラウドネットワーク)上でサーバコンピュータと通信し、ターゲットユーザ及び/又はウェアラブルデバイスに関する必要な情報、並びに、ターゲットユーザ及び/又はウェアラブルデバイスが、プライマリデバイス及び/又はデバイスに関連付けられる仮想ウェアラブルへのアクセスを付与されるべきかどうかに関するいずれか必要な情報を取得することができる。ブロック365において、潜在的な3Dモデルとともに任意の許可細目がサーバコンピュータによってプライマリデバイスに提供されてよく、許可の付与等の許可細目に基づいて、ブロック370において、ターゲット・ウェアラブルデバイスを使用するターゲットユーザが、プライマリ・ウェアラブルデバイスによって投影されるような仮想ウェアラブルを使用して様々なタスクを見てアクセスし、これらを実行することができるように、3Dモデルが、様々なマーカ及び設定に基づいて活性化されてよい。
【0056】
図4は、上述の動作をサポートする能力を有するコンピューティングシステム400を図示している。コンピューティングシステム400は、例えばデスクトップコンピューティングシステム、ラップトップコンピューティングシステム、セルラフォン、セルラ対応PDAを含むパーソナルデジタルアシスタント(PDA)、セットトップボックス、スマートフォン、タブレット、ウェアラブルデバイス等を含む、広範なコンピューティング及び電子デバイス(有線又は無線)を表す。代替的なコンピューティングシステムは、より多くの、より少ない及び/又は異なるコンポーネントを含んでもよい。コンピューティングデバイス400は、図1に関連して説明されるコンピューティングデバイス100と同じ又は類似するか、コンピューティングデバイス100を含んでもよい。
【0057】
コンピューティングシステム400は、バス405(あるいは例えばリンク、相互接続又は情報を通信するための別のタイプ通信デバイス又はインタフェース)と、バス405に結合されるプロセッサ410を含む。プロセッサ410は、情報を処理することができる。コンピューティングシステム400は単一のプロセッサとともに図示されているが、電子システム400は、中央プロセッサ、画像信号プロセッサ、グラフィクスプロセッサ及びビジョンプロセッサ等のうちの1つ以上のように、複数のプロセッサ及び/又はコプロセッサを含んでもよい。コンピューティングシステム400は更に、バス405に結合され、かつプロセッサ410によって実行される情報及び命令を格納することができる、ランダムアクセスメモリ(RAM)又は他の動的なストレージデバイス420(メインメモリと呼ばれる)を含んでもよい。メインメモリ420は、プロセッサ410による命令の実行中に一時的な変数又は他の中間情報を格納するのに使用されてもよい。
【0058】
コンピューティングシステム400は、バス405に結合され、かつプロセッサ410のための静的な情報及び命令を格納することができる、読取専用メモリ(ROM)430又は他のストレージデバイス440を含んでもよい。データストレージデバイス440は、バス405に結合されて、情報及び命令を格納することができる。磁気ディスク又は光ディスク及び対応するドライブ等のデータストレージデバイス440がコンピューティングシステム400に結合されてもよい。
【0059】
コンピューティングシステム400は、情報をユーザに表示するよう、バス405を介して、ブラウン管(CRT)、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)アレイのようなディスプレイデバイス450に結合されてもよい。英数字及び他のキーを含むユーザ入力デバイス460がバス405に結合されて、情報及びコマンドの選択をプロセッサ410に伝えることができる。別のタイプのユーザ入力デバイス460は、マウス、トラックボール、タッチスクリーン、タッチパッド又はカーソル方向キーのようなカーソル制御470であり、方向情報及びコマンド選択をプロセッサ410に伝え、ディスプレイ450上のカーソルの動きを制御する。コンピュータシステム400のカメラ及びマイクロフォンアレイ490をバス405に結合して、ジェスチャを観察し、オーディオ及びビデオを記録し、視覚及びオーディオコマンドを送受信してもよい。
【0060】
コンピューティングシステム400は更にネットワークインタフェース480を含んでもよく、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、パーソナルエリアネットワーク(PAN)、Bluetooth(登録商標)、モバイルネットワーク(例えば第三世代(3G)等)、イントラネット、インターネット等のようなネットワークへのアクセスを提供する。ネットワークインタフェース480は、例えばアンテナ485を有する無線ネットワークインタフェースを含んでもよく、アンテナ485は、1つ以上のアンテナを表してよい。ネットワークインタフェース480は、例えば有線ネットワークインタフェースを含んでもよく、ネットワークケーブル487を介してリモートデバイスと通信することができる。ネットワークケーブル487は、例えばEthernet(登録商標)ケーブル、同軸ケーブル、光ファイバケーブル、シリアルケーブル又はパラレルケーブル等とすることができる。
【0061】
ネットワークインタフェース480が、例えばIEEE 802.11b及び/又はIEEE 802.11g規格に従うことにより、LANへのアクセスを提供してもよく、かつ/又は無線ネットワークインタフェースが、例えばBluetooth(登録商標)規格に従うことにより、パーソナルエリアネットワークへのアクセスを提供してもよい。これらの規格の以前及び後続のバージョンを含め、他の無線ネットワークインタフェース及び/又はプロトコルもサポートされ得る。
【0062】
無線LAN規格を介した通信に加えて又はこれに代えて、ネットワークインタフェース480は、例えば時間分割多重アクセス(TDMA)プロトコル、GSM(登録商標)(Global Systems for Mobile Communications)プロトコル、符号分割多重アクセス(CDMA)プロトコル及び/又は任意の他のタイプの無線通信プロトコルを使用して無線通信を提供してもよい。
【0063】
ネットワークインタフェース480は、例えばLANやWANをサポートするよう通信リンクを提供する目的のためのモデム、ネットワークインタフェースカード、あるいはEthernet(登録商標)との結合に使用されるインタフェースデバイスやトークンリング、他のタイプの物理的な有線又は無線のアタッチメントのような他の周知のインタフェースデバイス等の1つ以上の通信インタフェースを含んでもよい。このようにして、コンピュータシステムを、例えばイントラネット又はインターネットを含む従来的なネットワークインフラストラクチャを介して、複数の周辺デバイス、クライアント、コントロール面、コンソール又はサーバに結合することができる。
【0064】
上述の例よりも少ない又は多くのものを備えたシステムが、特定の実装にとって好ましいことがあることが認識されよう。したがって、コンピューティングシステム400の構成は、価格制約、性能要件、技術的向上又は他の状況等のような様々なファクタに依存して、実装ごとに異なっていてよい。電子デバイス又はコンピュータシステム400の例は、限定ではないが、モバイルデバイス、パーソナルデジタルアシスタント、モバイルコンピューティングデバイス、スマートフォン、携帯電話、ハンドセット、一方向ページャ、双方向ページャ、メッセージングデバイス、コンピュータ、パーソナルコンピュータ(PC)、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、サーバ、サーバアレイ又はサーバファーム、ウェブサーバ、ネットワークサーバ、インターネットサーバ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ、ネットワークアプライアンス、ウェブアプライアンス、分散コンピューティングシステム、マルチプロセッサシステム、プロセッサベースのシステム、家庭用電子機器、プログラム可能家庭用電子機器、テレビジョン、デジタルテレビジョン、セットトップボックス、無線アクセスポイント、基地局、加入者局、モバイル加入者センタ、無線ネットワークコントローラ、ルータ、ハブ、ゲートアレイ、ブリッジ、スイッチ、マシン又はこれらの組合せを含んでよい。
【0065】
実施形態は、ペアレントボードを使用して相互接続される1つ以上のマイクロチップ又は集積回路、ハードワイヤードロジック、メモリデバイスによって格納され、かつマイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)のうちのいずれか又は組合せとして実装されてよい。「ロジック」という用語は、限定ではなく例として、ソフトウェア又はハードウェア、及び/又はソフトウェアとハードウェアの組合せを含んでよい。
【0066】
実施形態は、例えばコンピュータ、コンピュータのネットワーク又は他の電子デバイスのような1つ以上のマシンによって実行されると、該1つ以上のマシンに、本明細書で説明される実施形態に係る動作を実行させることになるマシン実行可能な命令を格納している、1つ以上のマシン読取可能媒体を含み得るコンピュータプログラム製品として提供されてもよい。マシン読取可能な媒体は、これらに限定されないが、フロッピーディスケット、光ディスク、CD-ROM(コンパクトディスク読取専用メモリ)、磁気光ディスク、ROM、RAM、EPROM(消去可能プログラマブル読取専用メモリ)、EEPROM(電子的消去可能プログラマブル読取専用メモリ)、磁気又は光カード、フラッシュメモリ、あるいはマシン実行可能なメモリを格納するのに適した他のタイプの媒体/マシン読取可能媒体を含んでよい。
【0067】
さらに、実施形態は、コンピュータプログラム製品としてダウンロードされてもよく、この場合、プログラムは、通信リンク(又はモデム及び/又はネットワーク接続)を介して、搬送波又は他の伝搬媒体に具現化され、かつ/又はこれらによって変調される1つ以上のデータ信号により、リモートコンピュータ(例えばサーバ)から要求側コンピュータ(例えばクライアント)へ転送されてもよい。
【0068】
「一実施形態」、「実施形態」、「例示の実施形態」、「様々な実施形態」等への言及は、そのように説明される実施形態が、特定の特徴、構造又は属性を含むことがあるが、必ずしも全ての実施形態が、その特定の特徴、構造又は属性を含むわけではないことを示す。さらに、一部の実施形態は、他の実施形態について説明される特徴の一部又は全てを有するか、全く有しないこともある。
【0069】
以下の説明及び特許請求の範囲において、「結合される」という用語がその派生語とともに使用されることがある。「結合される」は、2つ以上の要素が相互に協働(co-operate)又は対話するが、これらの間に介在する物理的又電気的媒体を有していても有していなくてもよいことを示すよう使用される。
【0070】
特許請求の範囲で使用されるとき、特段の定めがない限り、共通の要素を説明するための「第1」、「第2」、「第3」等の順序を示す形容詞の使用は、単に同様の要素の異なるインスタンスを指していることを示し、そのように説明される要素が、時間的に、空間的に、ランク的に、あるいは任意の他のやり方により、所与の配列でなければならないことを暗示するようには意図されていない。
【0071】
図5は、上述の動作をサポートすることができるコンピューティング環境500の実施形態を図示する。モジュール及びシステムを、図9に図示されるものを含め、様々な異なるハードウェアアーキテクチャ及びフォームファクタで実装することができる。
【0072】
コマンド実行モジュール501は、コマンドをキャッシュ及び実行して、図示される他のモジュール及びシステムにタスクを分散させる中央処理ユニットを含む。コマンド実行モジュール501は、命令スタックと、中間及び最終的な結果を格納するキャッシュメモリと、アプリケーション及びオペレーティングシステムを格納する大容量メモリを含んでよい。コマンド実行モジュールは、システムのための中央調整及びタスク割当てユニット(central coordination and task allocation unit)としても機能することができる。
【0073】
画面レンダリングモジュール521は、ユーザが見るように物体を1つ以上のマルチ画面に描画する。画面レンダリングモジュール521は、下述する仮想物体挙動モジュール(Virtual Object Behavior Module)504からデータを受け取り、仮想物体及び任意の他の物体及び力を適切な1つ以上の画面にレンダリングするよう適合されることができる。したがって、仮想物体挙動モジュールからのデータは、例えば仮想物体及び関連するジェスチャ、力及び物体のポジション及びダイナミクスを決定し、画面レンダリングモジュールは、これに応じて仮想物体及び関連する物体と環境を画面上に示すことができる。画面レンダリングモジュールは、下述する隣接画面投射モジュール(Adjacent Screen Perspective Module)507からデータを受け取り、仮想物体を、隣接画面投射モジュールが関連付けられるデバイスのディスプレイに対して動かすことができる場合、仮想物体についてのターゲット着陸エリア(landing area)をいずれか示すように適合されてよい。したがって、例えば仮想物体がメイン画面から補助画面に動かされている場合、隣接画面投射モジュール507は画面レンダリングモジュールにデータを送信することができ、例えば影の形(shadow form)で、ユーザの手の動きや目の動きを追跡する、仮想物体についての1つ以上のターゲット着陸エリアを示唆することができる。
【0074】
物体及びジェスチャ認識システム522は、ユーザの手及び悪影響のあるジェスチャ(harm gestures)を認識して追跡するように適合されてよい。そのようなモジュールを使用して、手、指、指のジェスチャ、手の動き及びディスプレイに対する手の位置を認識することができる。例えば物体及びジェスチャ認識モジュールは、例えばユーザが仮想物体を複数の画面のうちの1つ又は他の画面上に落とすか投げるという身体部分のジェスチャを行ったこと、あるいはユーザが複数の画面のうちの1つ又は他の画面のベゼルに仮想オブジェクトを動かすという身体部分のジェスチャを行ったことを決定することができる。物体及びジェスチャ認識システムは、カメラ又はカメラアレイ、マイクロフォン又はマイクロフォンアレイ、タッチ画面又はタッチ面、あるいはポインティングデバイス、あるいはこれらのアイテムの何らかの組合せと結合されて、ユーザからのジェスチャ及びコマンドを検出することができる。
【0075】
物体及びジェスチャ認識システムのタッチ画面又はタッチ面は、タッチ画面センサを含んでよい。このセンサからのデータを、ハードウェア、ソフトウェア、ファームウェア又はこれらの組合せに供給して、画面又は表面上のユーザの手のタッチジェスチャを、仮想物体の対応する動的な挙動にマップしてもよい。センサデータは、運動及び慣性ファクタに対して使用され、画面に対するユーザの指のスワイプレートのような、ユーザの手からの入力に基づいて仮想物体についての様々な運動挙動を可能にする。ピンチジェスチャは、仮想物体をディスプレイ画面から離すコマンド、あるいは仮想物体に関連付けられる仮想バインディングの生成を開始するコマンド、あるいはディスプレイ上でズームイン又はズームアウトするコマンドとして解釈されてよい。同様のコマンドが、タッチ面の利点を用いることなく、1つ以上のカメラを使用して物体及びジェスチャ認識システムによって生成されてよい。
【0076】
注目方向モジュール(Direction of Attention Module)523はカメラ又は他のセンサを備え、ユーザの顔又は手のポジション又は向きを追跡することができる。ジェスチャ又は音声コマンドが発行されると、システムは、ジェスチャのために適切な画面を決定することができる。一例では、カメラを各ディスプレイの近くに取り付けて、ユーザがそのディスプレイに向いているかどうかを検出する。ユーザがそのディスプレイに向いている場合、注目方向モジュール情報が、オブジェクト及びジェスチャ認識モジュール522に提供され、ジェスチャ又はコマンドがアクティブディスプレイのための適切なライブラリに関連付けられることを保証する。同様に、ユーザが全ての画面から遠くを見ている場合、コマンドを無視することができる。
【0077】
デバイス近接検出モジュール(Device Proximity Detection Module)525は、近接センサ、コンパス、GPS(全地球測位システム)レシーバ、パーソナルエリアネットワーク無線機及び他のタイプのセンサを三角測量及び他の技術とともに使用して、他のデバイスの近接性を決定することができる。近くのデバイスが検出されると、システムに登録して、そのタイプを入力デバイス又はディスプレイデバイス又はその双方として決定することができる。入力デバイスについては、受け取ったデータを、物体及びジェスチャ認識システム522に適用してよい。ディスプレイデバイスについては、隣接画面投射モジュール507で検討されてよい。
【0078】
仮想物体挙動モジュール504は、物体速度及び方向モジュールから入力を受け取り、そのような入力をディスプレイ内に表示される仮想物体に適用するように構成される。したがって、例えば物体及びジェスチャ認識システムはユーザジェスチャを解釈し、ユーザの手のキャプチャされた動きを、認識された動きにマッピングすることにより、仮想物体追跡モジュールは、仮想物体のポジション及び動きを、物体及びジェスチャ認識システムによって認識される動きと関連付け、物体速度及び方向モジュールは、仮想物体の動きのダイナミクスをキャプチャし、仮想物体挙動モジュールは、物体速度及び方向モジュールからの入力を受け取り、物体速度及び方向モジュールからの入力に対応するよう、仮想物体の動きを指示するデータを生成することになる。
【0079】
一方、仮想物体追跡モジュール506は、ディスプレイの近くの三次元空間内のどこに仮想物体を配置すべきであるか、及び、ユーザのどの身体部分が仮想物体を保持しているかを、物体及びジェスチャ認識モジュールからの入力に基づいて追跡するように適合されてよい。仮想物体追跡モジュール506は、例えば仮想物体が画面にまたがって、画面間を移動するときに仮想物体を追跡し、この仮想物体をユーザのどの身体部分が保持しているかを追跡することができる。仮想物体を保持している身体部分を追跡することは、身体部分の空気の動きの連続的な認識を可能にし、したがって、仮想物体が1つ以上の画面上へと解放されたかどうかに関する最終的な認識を可能にする。
【0080】
ビュー及び画面へのジェスチャ同期モジュール(Gesture to View and Screen Synchronization Module)508は、注目方向モジュール523からビュー及び画面の選択又は双方を受け取り、一部の場合には音声コマンドを受け取り、どのビューがアクティブなビューであり、どの画面がアクティブな画面であるかを決定する。次いで、関連するジェスチャライブラリが、物体及びジェスチャ認識システム522のためにロードされることになる。1つ以上の画面上のアプリケーションの様々なビューを、所与のビューについての代替的なジェスチャライブラリ又は1組のジェスチャテンプレートに関連付けることができる。図1Aの例のように、ピンチ解放ジェスチャはトーピード(torpedo)を起動し、図1Bでは、同じジェスチャが深度チャージを起動する。
【0081】
隣接画面投射モジュール507は、デバイス近接検出モジュール525を含むか、これに結合されてもよく、あるディスプレイの角度及びポジションを別のディスプレイとの相対で決定するように適合されてよい。投影されるディスプレイは、例えば壁又は画面上に投影される画像を含む。近くの画面の近接性と、そこから投影されるディスプレイの対応する角度又は向きを検出する能力は、例えば赤外エミッタ及びレシーバ、あるいは電磁又はフォト検出感知能力のいずれかとともに達成されてよい。タッチ入力による投影ディスプレイを可能にする技術について、受信するビデオを分析して、投影されるディスプレイのポジションを決定し、ある角度で表示することにより生じる歪みを正しくすることができる。加速度計、磁気計、コンパス又はカメラを使用して、デバイスが保持されている角度を決定することができ、一方、赤外エミッタ及びカメラが、画面デバイスの向きを隣接するデバイス上のセンサに関連して決定すること可能にすることができる。隣接画面投射モジュール507は、このようにして、隣接画面の座標(coordinates)をそれ自体の画面座標に対して決定することができる。したがって、隣接画面投射モジュールは、どのデバイスが相互に隣接しているかを決定し、1つ以上の仮想物体を画面にまたがって移動させるために更なる潜在的なターゲットを決定することができる。隣接する画面投射モジュールは更に、画面のポジションを、既存の物体及び仮想物体の全てを表す3次元空間のモデルに相関させることを可能にすることができる。
【0082】
物体速度及び方向モジュール503は、移動されている仮想物体のダイナミクス、例えばその軌道、(線形又は角)速度、(線形又は角)運動等を、仮想物体追跡モジュールからの入力を受け取ることにより推定するよう適合されてよい。物体速度及び方向モジュールは更に、例えば仮想バインディングの伸張の加速度、偏向、程度等を推定することにより、いずれかの物理的な力のダイナミクスを推定し、ユーザに身体部分によって解放された後の仮想物体の動的な挙動を推定するように適合されてよい。物体速度及び方向モジュールは、画像の動き、サイズ、角度変化を使用して、手及び指の速度のような物体の速度を推定することができる。
【0083】
運動及び慣性モジュール502は、画像平面又は3次元空間内の画像の動き、画像サイズ、物体の角度変化を使用して、その空間内又はディスプレイ上の物体の速度及び方向を推定することができる。運動及び慣性モジュールは、物体及びジェスチャ認識システム522に結合されて、手、指及び他の身体部分によって実行されるジェスチャの速度を推定し、次いでこれらの推定を適用して、ジェスチャによって影響されることになる仮想物体に対する運動及び速度を決定することができる。
【0084】
3D画像対話及び効果モジュール505は、1つ以上の画面の外に広がるよう現れる3D画像とのユーザ対話を追跡する。z軸の(画面の面に向かう及び画面から離れる)物体の影響を、相互に対するこれらの物体の相対的な影響とともに計算することができる。例えばユーザジェスチャによって投げられる物体は、仮想物体が画面の平面に到達する前に、前景(foreground)内で3D物体によって影響される可能性がある。これらの物体は、投射(projectile)の方向又は速度を変え、全体としてこれを破壊(destroy)することがある。3D画像対話及び効果モジュールによって、物体をディスプレイのうちの1つ以上における前景内でレンダリングすることができる。
【0085】
以下の節及び/又は例は、更なる実施形態又は例に関する。これらの例内の詳細は、1つ以上の実施形態のいずれかの箇所で使用されてよい。異なる実施形態又は例の様々な特徴は様々に組み合わされてよく、様々な異なる応用に適応するよう一部の特徴が包含され、他の特徴が除外されてよい。例は、本明細書で説明される実施形態及び実施例に従ってハイブリッド通信を促進するための方法、その方法の動作を実行するための手段、マシンによって実行されると、該マシンに方法の動作を実行させる命令を含む少なくとも1つのマシン読取可能媒体、あるいは装置又はシステム等の主題を含んでよい。
【0086】
一部の実施形態は、仮想ウェアラブルを動的に促進する装置を含む例1に関し、当該装置は:ウェアラブルエリアを検出する検出/受信ロジックであって、ウェアラブルエリアがプライマリユーザの人間の身体部分を表す、検出/受信ロジックと;仮想ウェアラブルの投影のためにウェアラブルエリアの適合性(suitability)を促進するようウェアラブルエリアをスキャンする、エリアスキャン/追跡ロジックと;プライマリユーザのプライマリ・ウェアラブルデバイスを使用して、仮想ウェアラブルをウェアラブルエリア上に投影する通信/互換性ロジックであって、投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、通信/互換性ロジックと;を具備する。
【0087】
例2は、例1に係る主題を含み、ウェアラブルエリアの検出は、プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、仮想ウェアラブルの投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、プライマリ・ウェアラブルデバイスが、プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む。
【0088】
例3は、例1に係る主題を含み、ウェアラブルエリアの3次元(3D)モデルを作成して、通信/互換性ロジックに、ウェアラブルエリア上の仮想ウェアラブルの3Dベースの投影を促進するよう指示する、エリアベースのモデル作成ロジックを更に備える。
【0089】
例4は、例1に係る主題を含み、ウェアラブルエリアの表面の不均一を改善(remedy)するようにウェアラブルエリアの調節を実行する調節/活性化ロジックを更に備え、不均一は、表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じ、調節/活性化ロジックは更に、ウェアラブルエリアの3Dモデル及びプライマリ・ウェアラブルデバイスのプロジェクタを活性化して、ウェアラブルエリアの範囲(confines)を適合させるように仮想ウェアラブルを投影する。
【0090】
例5は、例1に係る主題を含み、仮想ウェアラブルとのプライマリユーザの対話を特定し、プライマリユーザの対話を認識する、対話及び認識ロジックを更に備え、認識は、プライマリユーザ又はプライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、プライマリユーザは、対話の識別と認識に応答して、仮想ウェアラブルへのアクセスを促進される。
【0091】
例6は、例1に係る主題を含み、検出/受信ロジックは、第2のユーザに関連付けられる第2のウェアラブルデバイスを検出し、第2のウェアラブルデバイスがウェアラブルエリアでプライマリ仮想ウェアラブルにアクセスすることを許容する。
【0092】
例7は、例1又は例6に係る主題を含み、第2のユーザ及び第2のウェアラブルデバイスの少なくとも一方を認証し、該認証に基づいて、第2のユーザ又は第2のウェアラブルデバイスに関する許可細目を形成する認証/許可ロジック:を更に備え、許可細目は、仮想ウェアラブルにアクセスする許可の付与又は拒否を特定する通知を含む。
【0093】
例8は、例1又は例7に係る主題を含み、通信/互換性ロジックは更に:アクセスする許可が付与される場合、前記第1及び第2のウェアラブルデバイスの間の通信を促進し、第2のウェアラブルデバイスは、ウェアラブルエリア内の仮想ウェアラブルにアクセスすることを許可されており;アクセスする許可が拒否される場合、第1及び第2のウェアラブルデバイスの間の通信を拒絶する。
【0094】
一部の実施形態は、仮想ウェアラブルを動的に促進するための方法を含む例9に関し、当該方法は:ウェアラブルエリアを検出するステップであって、プライマリユーザの人間の身体部分を表すウェアラブルエリアを検出するステップと;仮想ウェアラブルの投影のためにウェアラブルエリアの適合性を促進するよう、ウェアラブルエリアをスキャンするステップと;プライマリユーザのプライマリ・ウェアラブルデバイスを使用して、仮想ウェアラブルをウェアラブルエリア上に投影するステップであって、投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、ステップと;を具備する。
【0095】
例10は、例9に係る主題を含み、ウェアラブルエリアの検出は、プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、仮想ウェアラブルの投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、プライマリ・ウェアラブルデバイスが、プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む。
【0096】
例11は、例9に係る主題を含み、ウェアラブルエリア上の仮想ウェアラブルの3次元(3D)ベースの投影を促進するよう、ウェアラブルエリアの3Dモデルを作成するステップを更に備える。
【0097】
例12は、例9に係る主題を含み、ウェアラブルエリアの表面の不均一を改善するようにウェアラブルエリアの調節を実行するステップであって、不均一は、表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じる、ステップと;ウェアラブルエリアの3Dモデル及びプライマリ・ウェアラブルデバイスのプロジェクタを活性化して、ウェアラブルエリアの範囲を適合させるように仮想ウェアラブルを投影するステップと;を更に含む。
【0098】
例13は、例9に係る主題を含み、仮想ウェアラブルとのプライマリユーザの対話を特定するステップと;プライマリユーザの対話を認識するステップと;を更に備え、認識するステップは、プライマリユーザ又はプライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、プライマリユーザは、対話の特定と認識に応答して、仮想ウェアラブルへのアクセスを促進される。
【0099】
例14は、例9に係る主題を含み、第2のユーザに関連付けられる第2のウェアラブルデバイスを検出し、第2のウェアラブルデバイスがウェアラブルエリアでプライマリ仮想ウェアラブルにアクセスすることを許容するステップを更に備える。
【0100】
例15は、例9又は例14に係る主題を含み、第2のユーザ及び第2のウェアラブルデバイスの少なくとも一方を認証するステップと、認証に基づいて、第2のユーザ又は第2のウェアラブルデバイスに関する許可細目を形成するステップとを更に備え、許可細目は、仮想ウェアラブルにアクセスする許可の付与又は拒否を特定する通知を含む。
【0101】
例16は、例9又は例15に係る主題を含み、アクセスする許可が付与される場合、第1及び第2のウェアラブルデバイスの間の通信を促進するステップであって、第2のウェアラブルデバイスは、ウェアラブルエリア内の仮想ウェアラブルにアクセスすることを許可される、ステップと;アクセスする許可が拒否される場合、第1及び第2のウェアラブルデバイスの間の通信を拒絶するステップとを更に備える。
【0102】
例17は、コンピューティングデバイス上で実行されると、いずれかの先行する請求項に記載の方法を実施又は実行するか、装置を実現する複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む。
【0103】
例18は、コンピューティングデバイス上で実行されると、いずれかの先行する請求項に記載の方法を実施又は実行するか、装置を実現する複数の命令を備える、少なくとも1つの非一時的又は有形のマシン読取可能媒体を含む。
【0104】
例19は、いずれかの先行する請求項に記載の方法を実施又は実行するか、装置を実現する機構を備えるシステムを含む。
【0105】
例20は、いずれかの先行する請求項に記載の方法を実行する手段を備える装置を含む。
【0106】
例21は、いずれかの先行する請求項に記載の方法を実施又は実行するか、装置を実現するように構成されるコンピューティングデバイスを含む。
【0107】
例22は、いずれかの先行する請求項に記載の方法を実施又は実行するか、装置を実現するように構成される通信デバイスを含む。
【0108】
一部の実施形態は、命令を有するストレージデバイスと、該命令を実行して、機構が1つ以上の動作を実行することを促進するプロセッサとを備えるシステムを含む例23に関する。上記動作は:ウェアラブルエリアを検出するステップであって、プライマリユーザの人間の身体部分を表すウェアラブルエリアを検出するステップと;仮想ウェアラブルの投影のためにウェアラブルエリアの適合性を促進するよう、ウェアラブルエリアをスキャンするステップと;プライマリユーザのプライマリ・ウェアラブルデバイスを使用して、仮想ウェアラブルをウェアラブルエリア上に投影するステップであって、投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、ステップと;を具備する。
【0109】
例24は、例23に係る主題を含み、ウェアラブルエリアの検出は、プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、仮想ウェアラブルの投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、プライマリ・ウェアラブルデバイスが、プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む。
【0110】
例25は、例23に係る主題を含み、上記動作は、ウェアラブルエリア上の仮想ウェアラブルの3次元(3D)ベースの投影を促進するよう、ウェアラブルエリアの3Dモデルを作成するステップを更に備える。
【0111】
例26は、例23に係る主題を含み、上記動作は、ウェアラブルエリアの表面の不均一を改善するようにウェアラブルエリアの調節を実行するステップであって、不均一は、表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じる、ステップと;ウェアラブルエリアの3Dモデル及びプライマリ・ウェアラブルデバイスのプロジェクタを活性化して、ウェアラブルエリアの範囲を適合させるように仮想ウェアラブルを投影するステップと;を更に含む。
【0112】
例27は、例23に係る主題を含み、上記動作は、仮想ウェアラブルとのプライマリユーザの対話を特定するステップと;プライマリユーザの対話を認識するステップと;を更に備え、認識するステップは、プライマリユーザ又はプライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、プライマリユーザは、対話の特定と認識に応答して、仮想ウェアラブルへのアクセスを促進される。
【0113】
例28は、例23に係る主題を含み、上記動作は、第2のユーザに関連付けられる第2のウェアラブルデバイスを検出し、第2のウェアラブルデバイスがウェアラブルエリアでプライマリ仮想ウェアラブルにアクセスすることを許容するステップを更に備える。
【0114】
例29は、例23又は例28に係る主題を含み、上記動作は、第2のユーザ及び第2のウェアラブルデバイスの少なくとも一方を認証するステップと、認証に基づいて、第2のユーザ又は第2のウェアラブルデバイスに関する許可細目を形成するステップとを更に備え、許可細目は、仮想ウェアラブルにアクセスする許可の付与又は拒否を特定する通知を含む。
【0115】
例30は、例23又は例29に係る主題を含み、上記動作は、アクセスする許可が付与される場合、第1及び第2のウェアラブルデバイスの間の通信を促進するステップであって、第2のウェアラブルデバイスは、ウェアラブルエリア内の仮想ウェアラブルにアクセスすることを許可される、ステップと;アクセスする許可が拒否される場合、第1及び第2のウェアラブルデバイスの間の通信を拒絶するステップとを更に備える。
【0116】
一部の実施形態は、装置を含む例31に関し、当該装置は:ウェアラブルエリアを検出する手段であって、プライマリユーザの人間の身体部分を表すウェアラブルエリアを検出する手段と;仮想ウェアラブルの投影のためにウェアラブルエリアの適合性を促進するよう、ウェアラブルエリアをスキャンする手段と;プライマリユーザのプライマリ・ウェアラブルデバイスを使用して、仮想ウェアラブルをウェアラブルエリア上に投影する手段であって、投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行される、手段と;を具備する。
【0117】
例32は、例31に係る主題を含み、ウェアラブルエリアの検出は、プライマリ・ウェアラブルデバイスのキャプチャ/感知コンポーネントのカメラを介して実行され、仮想ウェアラブルの投影がプライマリ・ウェアラブルデバイスのプロジェクタを介して実行され、プライマリ・ウェアラブルデバイスが、プライマリユーザによって装着されるヘッドマウントディスプレイ(HMD)を含む。
【0118】
例33は、例31に係る主題を含み、ウェアラブルエリア上の仮想ウェアラブルの3次元(3D)ベースの投影を促進するよう、ウェアラブルエリアの3Dモデルを作成する手段を更に備える。
【0119】
例34は、例31に係る主題を含み、ウェアラブルエリアの表面の不均一を改善するようにウェアラブルエリアの調節を実行する手段であって、不均一は、表面上の輪郭、カーブ、形状、フォーム、エッジ、ジャンプ及びバンプを含む1つ以上のファクタによって生じる、手段と;ウェアラブルエリアの3Dモデル及びプライマリ・ウェアラブルデバイスのプロジェクタを活性化して、ウェアラブルエリアの範囲を適合させるように仮想ウェアラブルを投影する手段と;を更に含む。
【0120】
例35は、例31に係る主題を含み、仮想ウェアラブルとのプライマリユーザの対話を特定する手段と;プライマリユーザの対話を認識する手段と;を更に備え、認識は、プライマリユーザ又はプライマリ・ウェアラブルデバイスの1つ以上の特徴を認識することを更に含み、プライマリユーザは、対話の特定と認識に応答して、仮想ウェアラブルへのアクセスを促進される。
【0121】
例36は、例31に係る主題を含み、第2のユーザに関連付けられる第2のウェアラブルデバイスを検出し、第2のウェアラブルデバイスがウェアラブルエリアでプライマリ仮想ウェアラブルにアクセスすることを許容する手段を更に備える。
【0122】
例37は、例36に係る主題を含み、第2のユーザ及び第2のウェアラブルデバイスの少なくとも一方を認証する手段と、認証に基づいて、第2のユーザ又は第2のウェアラブルデバイスに関する許可細目を形成する手段とを更に備え、許可細目は、仮想ウェアラブルにアクセスする許可の付与又は拒否を特定する通知を含む。
【0123】
例38は、例37に係る主題を含み、アクセスする許可が付与される場合、第1及び第2のウェアラブルデバイスの間の通信を促進する手段であって、第2のウェアラブルデバイスは、ウェアラブルエリア内の仮想ウェアラブルにアクセスすることを許可される、手段と;アクセスする許可が拒否される場合、第1及び第2のウェアラブルデバイスの間の通信を拒絶する手段とを更に備える。
【0124】
例39は、コンピューティングデバイス上で実行されると、請求項又は例9乃至16のいずれかに記載の方法を実施又は実行する複数の命令を備える、少なくとも1つの非一時的又は有形のマシン読取可能媒体を含む。
【0125】
例40は、コンピューティングデバイス上で実行されると、請求項又は例9乃至16のいずれかに記載の方法を実施又は実行する複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む。
【0126】
例41は、請求項9乃至16のいずれかに記載の方法を実施又は実行する機構を備えるシステムを含む。
【0127】
例42は、請求項9乃至16のいずれかに記載の方法を実行する手段を備える装置を含む。
【0128】
例43は、請求項9乃至16のいずれかに記載の方法を実施又は実行するように構成されるコンピューティングデバイスを含む。
【0129】
例44は、請求項9乃至16のいずれかに記載の方法を実施又は実行するように構成される通信デバイスを含む。
【0130】
図面及び上記の説明は例示の実施形態を与える。当業者には、説明される要素の1つ以上を単一の機能要素に良好に組み合わせることができることが認識されよう。あるいは、特定の要素を複数の機能要素に分けてもよい。1つ以上の実施形態からの要素を別の実施形態に追加してもよい。例えば本明細書で説明される処理の順序を変更してもよく、本明細書で説明されるやり方に限定されない。さらに、いずれかのフロー図のアクションは、図示される順序で実装されなくてよく;必ずしも全ての動作を実行する必要もない。また、他の動作に依存しないこれらの動作を、他の動作と並列に実行してもよい。実施形態の範囲は、これらの特定の例によって限定されない。明細書内に明示的に与えられているか否かに関わらず、構造、寸法及び材料の使用において異なる様々な変形が可能である。実施形態の範囲は、少なくとも、以下の特許請求の範囲によって与えられるものと同等に広い。
図1
図2
図3A
図3B
図4
図5
図6A
図6B
図6C
図6D
図6E
図6F
図6G