特許 6192817 実世界オブジェクト操作に基づくデータ操作

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192817

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】実世界オブジェクト操作に基づくデータ操作

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20170828BHJP

   G06F 3/0484 20130101ALI20170828BHJP

   G06F 3/0487 20130101ALI20170828BHJP

【ＦＩ】

   G06F3/0481 150

   G06F3/0484

   G06F3/0487

【請求項の数】20

【全頁数】24

(21)【出願番号】特願2016-518384(P2016-518384)

(86)(22)【出願日】2014年6月2日

(65)【公表番号】特表2016-521882(P2016-521882A)

(43)【公表日】2016年7月25日

(86)【国際出願番号】US2014040555

(87)【国際公開番号】WO2014197394

(87)【国際公開日】20141211

【審査請求日】2017年3月9日

(31)【優先権主張番号】13/909,046

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】515051847

【氏名又は名称】ダクリ エルエルシー

【氏名又は名称原語表記】Ｄａｑｒｉ， ＬＬＣ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】マリンズ，ブライアン

【審査官】 ▲高▼橋 徳浩

(56)【参考文献】

【文献】 特開２００１−１３６５０４（ＪＰ，Ａ）

【文献】 特開２００４−１６４０６９（ＪＰ，Ａ）

【文献】 特開２０１２−２２１２４９（ＪＰ，Ａ）

【文献】 特開２０１３−０９２９６４（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１０６５２０（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１０／０２２６５３５（ＵＳ，Ａ１）

【文献】 米国特許第０６７７１２９４（ＵＳ，Ｂ１）

【文献】 韓国公開特許第１０−２０１１−００５４３７６（ＫＲ，Ａ）

【文献】 韓国公開特許第１０−２０１２−０１３３６４８（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ３／０４８−Ｇ０６Ｆ３／０４８９

(57)【特許請求の範囲】

【請求項1】

コンピューティング装置により、リモートサーバから基本コンテンツデータセットを受信することであって、前記基本コンテンツデータセットは、前記リモートサーバにより最も人気のあると決定された、前記リモートサーバにより記憶された既知の視覚的参照のサブセットを含み、各々の既知の視覚的参照は、仮想オブジェクトモデルに対応する、ことと、
前記コンピューティング装置により、前記基本コンテンツデータセットを前記コンピューティング装置のローカルメモリに記憶することと、
前記基本コンテンツデータセットを受信した後、前記コンピューティング装置の光学センサにより、物理オブジェクトのイメージを捕捉することであって、前記イメージは、前記物理オブジェクトに関連付けられた、捕捉された視覚的参照を含む、ことと、
前記コンピューティング装置により、前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて前記コンピューティング装置の前記ローカルメモリに記憶された前記基本コンテンツデータセットを検索することと、
前記コンピューティング装置の前記ローカルメモリ内の前記基本コンテンツデータセットに前記捕捉された視覚的参照が含まれないと決定することに応答して、前記コンピューティング装置により、前記イメージを前記リモートサーバに送信することであって、前記リモートサーバに、前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて前記リモートサーバにより記憶された前記既知の視覚的参照を検索させる、ことと、
前記リモートサーバから、前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを受信することと、
前記仮想オブジェクトモデルに基づいて、前記物理オブジェクトのライブイメージの上に仮想イメージを表示することであって、前記ライブイメージは仮想空間における前記物理オブジェクトに対応するイメージである、ことと、
ユーザにより引き起こされる前記コンピューティング装置の前記物理オブジェクトに相対する動きを検出することに応答して、前記仮想イメージを修正することと、
前記物理オブジェクトの物理操作を検出することと、
前記物理オブジェクトの物理操作に割り当てられた仮想機能を識別することと、
前記の識別された仮想機能を実行することであって、前記仮想機能は、前記物理オブジェクトに電気的に接続されておらずかつ前記物理オブジェクトと通信しない物理装置を制御する、ことと、
を含む方法。

【請求項2】

前記物理オブジェクトの物理操作に関連付けられた仮想機能性を含む仮想機能データセットを受信すること、
をさらに含む請求項１に記載の方法。

【請求項3】

第１の物理オブジェクトに関連付けられた第１のアカウントから第１の通知データを受信することと、
第２の物理オブジェクトに関連付けられた第２のアカウントから第２の通知データを受信することであって、前記第１の通知データ及び前記第２の通知データは、電子メール通知、カレンダーリマインダー通知、又はソーシャルネットワーク通知を含む、ことと、
をさらに含む請求項１に記載の方法。

【請求項4】

前記第１の通知データに関連付けられた参照識別子にアクセスすることと、
前記第１の通知データに関連付けられた前記参照識別子に関連付けられた拡張現実視覚化にアクセスすることと、
前記物理オブジェクトの前記イメージの中の参照識別子に関連付けられた拡張現実視覚化を用いて、前記物理オブジェクトの前記イメージの中の前記参照識別子と連動した仮想オブジェクトを生成することと、
をさらに含む請求項３に記載の方法。

【請求項5】

前記仮想オブジェクトの特徴を変更し、又は、前記物理オブジェクトの前記イメージの中の前記参照識別子に関連付けられた前記拡張現実視覚化に基づいて前記仮想オブジェクトを別の仮想オブジェクトで置換すること、
をさらに含む請求項４に記載の方法。

【請求項6】

前記物理オブジェクトについての識別された物理操作に対応する仮想機能を生成すること、
をさらに含む請求項２に記載の方法。

【請求項7】

前記物理オブジェクトについての前記識別された物理操作に対応する仮想ユーザインターフェースを生成すること、
をさらに含む請求項６に記載の方法。

【請求項8】

前記物理オブジェクトについての前記識別された物理操作に応答して、前記コンピューティング装置の機能をアクティブ化すること、
をさらに含む請求項６に記載の方法。

【請求項9】

前記物理オブジェクトについての前記識別された物理操作に応答して、別の装置を制御するための仮想機能のコマンドを生成することであって、前記別の装置は前記物理オブジェクトとの電子通信を有さない、こと、
をさらに含む請求項６に記載の方法。

【請求項10】

コンピューティング装置に、
リモートサーバから基本コンテンツデータセットを受信することであって、前記基本コンテンツデータセットは、前記リモートサーバにより最も人気のあると決定された、前記リモートサーバにより記憶された既知の視覚的参照のサブセットを含み、各々の既知の視覚的参照は、仮想オブジェクトモデルに対応する、ことと、
前記基本コンテンツデータセットを前記コンピューティング装置のローカルメモリに記憶することと、
前記基本コンテンツデータセットを受信した後、物理オブジェクトのイメージを捕捉することであって、前記イメージは、前記物理オブジェクトに関連付けられた、捕捉された視覚的参照を含む、ことと、
前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて前記コンピューティング装置の前記ローカルメモリに記憶された前記基本コンテンツデータセットを検索することと、
前記コンピューティング装置の前記ローカルメモリ内の前記基本コンテンツデータセットに前記捕捉された視覚的参照が含まれないと決定することに応答して、前記イメージを前記リモートサーバに送信することであって、前記リモートサーバに、前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて前記リモートサーバにより記憶された前記既知の視覚的参照を検索させる、ことと、
前記リモートサーバから、前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを受信することと、
前記仮想オブジェクトモデルに基づいて、前記物理オブジェクトのライブイメージの上に仮想イメージを表示することであって、前記ライブイメージは仮想空間における前記物理オブジェクトに対応するイメージである、ことと、
ユーザにより引き起こされる前記コンピューティング装置の前記物理オブジェクトに相対する動きを検出することに応答して、前記仮想イメージを修正することと、
前記物理オブジェクトの物理操作を検出することと、
前記物理オブジェクトの物理操作に割り当てられた仮想機能を識別することと、
前記の識別された仮想機能を実行することであって、前記仮想機能は、前記物理オブジェクトに電気的に接続されておらずかつ前記物理オブジェクトと通信しない物理装置を制御する、ことと、
を実行させるコンピュータプログラム。

【請求項11】

コンピューティング装置であって、
１以上のコンピュータプロセッサと、
前記１以上のコンピュータプロセッサにより実行されるときに、当該コンピューティング装置に、
リモートサーバから基本コンテンツデータセットを受信することであって、前記基本コンテンツデータセットは、前記リモートサーバにより最も人気のあると決定された、前記リモートサーバにより記憶された既知の視覚的参照のサブセットを含み、各々の既知の視覚的参照は、仮想オブジェクトモデルに対応する、ことと、
前記基本コンテンツデータセットを当該コンピューティング装置のローカルメモリに記憶することと、
前記基本コンテンツデータセットを受信した後、物理オブジェクトのイメージを捕捉することであって、前記イメージは、前記物理オブジェクトに関連付けられた、捕捉された視覚的参照を含む、ことと、
前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて当該コンピューティング装置の前記ローカルメモリに記憶された前記基本コンテンツデータセットを検索することと、
当該コンピューティング装置の前記ローカルメモリ内の前記基本コンテンツデータセットに前記捕捉された視覚的参照が含まれないと決定することに応答して、前記イメージを前記リモートサーバに送信することであって、前記リモートサーバに、前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを識別するように、前記捕捉された視覚的参照に基づいて前記リモートサーバにより記憶された前記既知の視覚的参照を検索させる、ことと、
前記リモートサーバから、前記物理オブジェクトに関連付けられた前記捕捉された視覚的参照に対応する前記仮想オブジェクトモデルを受信することと、
前記仮想オブジェクトモデルに基づいて、前記物理オブジェクトのライブイメージの上に仮想イメージを表示することであって、前記ライブイメージは仮想空間における前記物理オブジェクトに対応するイメージである、ことと、
ユーザにより引き起こされる当該コンピューティング装置の前記物理オブジェクトに相対する動きを検出することに応答して、前記仮想イメージを修正することと、
前記物理オブジェクトの物理操作を検出することと、
前記物理オブジェクトの物理操作に割り当てられた仮想機能を識別することと、
前記の識別された仮想機能を実行することであって、前記仮想機能は、前記物理オブジェクトに電気的に接続されておらずかつ前記物理オブジェクトと通信しない物理装置を制御する、ことと、
を実行させる命令を記憶した１以上のコンピュータ可読媒体と、
を含むコンピューティング装置。

【請求項12】

前記命令は、当該コンピューティング装置に、
前記物理オブジェクトの物理操作に関連付けられた仮想機能性を含む仮想機能データセットを受信すること、
をさらに実行させる、請求項１１に記載のコンピューティング装置。

【請求項13】

前記命令は、当該コンピューティング装置に、
第１の物理オブジェクトに関連付けられた第１のアカウントから第１の通知データを受信することと、
第２の物理オブジェクトに関連付けられた第２のアカウントから第２の通知データを受信することであって、前記第１の通知データ及び前記第２の通知データは、電子メール通知、カレンダーリマインダー通知、又はソーシャルネットワーク通知を含む、ことと、
をさらに実行させる、請求項１１に記載のコンピューティング装置。

【請求項14】

前記命令は、当該コンピューティング装置に、
前記第１の通知データに関連付けられた参照識別子にアクセスすることと、
前記第１の通知データに関連付けられた前記参照識別子に関連付けられた拡張現実視覚化にアクセスすることと、
前記物理オブジェクトの前記イメージの中の参照識別子に関連付けられた拡張現実視覚化を用いて、前記物理オブジェクトの前記イメージの中の前記参照識別子と連動した仮想オブジェクトを生成することと、
をさらに実行させる、請求項１３に記載のコンピューティング装置。

【請求項15】

前記命令は、当該コンピューティング装置に、
前記仮想オブジェクトの特徴を変更することと、
前記物理オブジェクトの前記イメージの中の前記参照識別子に関連付けられた前記拡張現実視覚化に基づいて前記仮想オブジェクトを別の仮想オブジェクトで置換することと、
をさらに実行させる、請求項１４に記載のコンピューティング装置。

【請求項16】

前記命令は、当該コンピューティング装置に、
前記物理オブジェクトと該物理オブジェクトの物理操作に関連付けられた仮想機能性とを識別することであって、前記物理オブジェクトは、他の装置に電気的に接続されていないオブジェクトを含む、ことと、
前記物理オブジェクトの物理操作を識別することと、
前記物理オブジェクトについての前記の識別された物理操作に対応する仮想機能を生成することと、
をさらに実行させる、請求項１２に記載のコンピューティング装置。

【請求項17】

前記命令は、当該コンピューティング装置に、
前記物理オブジェクトについての前記識別された物理操作に対応する仮想ユーザインターフェースを生成すること、
をさらに実行させる、請求項１６に記載のコンピューティング装置。

【請求項18】

前記命令は、当該コンピューティング装置に、
前記物理オブジェクトについての前記識別された物理操作に応答して、当該コンピューティング装置の機能をアクティブ化すること、
をさらに実行させる、請求項１６に記載のコンピューティング装置。

【請求項19】

前記命令は、当該コンピューティング装置に、
前記物理オブジェクトについての前記識別された物理操作に応答して、別の装置を制御するための仮想機能のコマンドを生成することであって、前記別の装置は前記物理オブジェクトとの電子通信を有さない、こと、
をさらに実行させる、請求項１６に記載のコンピューティング装置。

【請求項20】

前記物理オブジェクトの物理操作は、前記物理オブジェクトを移動させること又は回転させることを含む、請求項１６に記載のコンピューティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１３年６月３日に申請された米国出願第１３／９０９，０４６号に対する優先を主張する国際出願であり、上記米国出願は、その全体を本明細書において参照により援用される。

【0002】

本明細書に開示される対象事項は、概して、データの処理に関する。詳細には、本開示は、実際の物理オブジェクト操作に基づいてデータを操作するシステム及び方法に対処する。

【背景技術】

【0003】

装置を使用して、データと、さらに該装置で捕捉されたイメージとを、生成し、表示することができる。例えば、拡張現実（ＡＲ）は、ライブの、直接的又は間接的な、物理的な実世界環境のビューであり、この環境の要素は、コンピュータにより生成された感覚入力、例えば、サウンド、ビデオ、グラフィックス又はＧＰＳデータなどによって拡張される。進化したＡＲテクノロジー（例えば、コンピュータビジョン及びオブジェクト認識を追加すること）の助けで、ユーザの周囲の実世界に関する情報はインタラクティブになっている。環境及びそのオブジェクトに関する、装置により生成された（例えば、人口の）情報は、実世界にオーバーレイすることができる。

【図面の簡単な説明】

【0004】

添付図面の図において、いくつかの実施形態が限定ではなく例として示される。

【図1】いくつかの実施形態例に従う、拡張現実サーバを動作させるのに適したネットワークの一例を例示するブロック図である。

【図2】いくつかの実施形態例に従う、装置のモジュール（例えば、コンポーネント）を例示するブロック図である。

【図3】いくつかの実施形態例に従う、拡張現実通知モジュールのモジュール（例えば、コンポーネント）を例示するブロック図である。

【図4】いくつかの実施形態例に従う、物理世界操作モジュールのモジュール（例えば、コンポーネント）を例示するブロック図である。

【図5】いくつかの実施形態例に従う、サーバのモジュール（例えば、コンポーネント）を例示するブロック図である。

【図6】いくつかの実施形態例に従う、図１の装置の拡張現実通知モジュールの動作を例示するラダー図である。

【図7】いくつかの実施形態例に従う、物理世界操作モジュールの動作を例示するラダー図である。

【図8A】図１の装置の拡張現実通知モジュールの動作の第１の例を例示する図である。

【図8B】図１の装置の拡張現実通知モジュールの動作の第２の例を例示する図である。

【図8C】図１の装置の拡張現実通知モジュールの動作の第３の例を例示する図である。

【図9A】図１の装置の物理世界操作モジュールの動作の第１の例を例示する図である。

【図9B】上記装置の物理世界操作モジュールの動作の第２の例を例示する図である。

【図9C】図１の装置の物理世界操作モジュールの動作の第３の例を例示する図である。

【図10】いくつかの実施形態例に従う、図１の装置の文脈的ローカルイメージ認識データセットモジュールの動作の一例を例示するフローチャートである。

【図11】いくつかの実施形態例に従う、図１の装置の文脈的ローカルイメージ認識データセットモジュールの動作の別の例を例示するフローチャートである。

【図12】いくつかの実施形態例に従う、マシン可読媒体から命令を読み出し、本明細書に論じられる方法論のうち任意の１つ以上を実行することができるマシンのコンポーネントを例示するブロック図である。

【発明を実施するための形態】

【0005】

方法及びシステムの例は、実世界オブジェクト操作に基づいたデータ操作に向けられている。例は単に、あり得るバリエーションの代表例である。特に明示的に記されない限り、コンポーネント及び機能は任意的であり、組み合わせられ又は細分化されてもよい。さらに、動作は順序が変わってもよく、あるいは組み合わせられ又は細分化されてもよい。下記の説明において、説明することを目的として、実施形態例の深い理解を提供するために、多数の具体的な詳細が明記される。しかしながら、本願対象事項は、こうした具体的な詳細なしに実施され得ることが当業者には明らかであろう。

【0006】

拡張現実アプリケーションは、例えば、装置のカメラにより捕捉された物理オブジェクトの画像上にオーバーレイされた３次元仮想オブジェクトの形式などの情報を、ユーザが体験することを可能にする。物理オブジェクトには、拡張現実アプリケーションが識別することができる視覚的参照を含むことができる。追加情報の視覚化、例えば、物理オブジェクトのイメージにオーバーレイされ又は連動した３次元仮想オブジェクトなどが、装置のディスプレイに生成される。３次元仮想オブジェクトは、物理オブジェクトについての認識された視覚的参照又は捕捉されたイメージに基づいて、選択することができる。３次元仮想オブジェクトの視覚化のレンダリングは、視覚的参照に対するディスプレイの位置に基づくことができる。

【0007】

実世界オブジェクト操作に基づくデータ操作のためのシステム及び方法が説明される。装置が、物理オブジェクトのイメージを捕捉する。イメージは、ネットワークを介してリモートサーバに通信される。リモートサーバは、イメージに関連付けられた仮想オブジェクトデータとコンピューティング装置のユーザのための通信通知とを含む。装置は、仮想オブジェクトデータを受信し、仮想オブジェクトデータを用いて仮想風景の中に仮想イメージを表示する。ユーザにより引き起こされるコンピューティング装置と物理オブジェクトとの間の相対的動きに応答して、仮想イメージは修正される。

【0008】

別の実施形態において、装置のユーザのための通信通知に関連付けられた仮想オブジェクトが、装置のディスプレイに生成される。仮想オブジェクトは、装置のユーザのための通信通知に関連付けられる。仮想オブジェクトは、装置により捕捉された物理オブジェクトのイメージと連動する。物理オブジェクトは、通信通知に関連付けられる。仮想オブジェクトの視覚化が、物理オブジェクトに対する装置の位置に基づいてレンダリングされる。物理オブジェクトが識別される。物理オブジェクトの物理操作に関連付けられた仮想機能が識別される。物理オブジェクトの操作に対応する仮想機能が生成される。

【0009】

一実施形態例において、装置は、拡張現実通知モジュール及び物理世界操作モジュールを含む。拡張現実通知モジュールは、装置のディスプレイに、装置のユーザのための通信通知に関連付けられた仮想オブジェクトを生成することができる。仮想オブジェクトは、装置により捕捉された物理オブジェクトのイメージと連動することができる。物理オブジェクトは、通信通知に関連付けることができる。拡張現実通知モジュールは、物理オブジェクトに対する装置の位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。物理世界操作モジュールは、物理オブジェクトを識別し、物理オブジェクトの物理操作に関連付けられた仮想機能にアクセスし、物理オブジェクトの操作に対応する仮想機能を生成することができる。

【0010】

一実施形態例において、装置は、装置のユーザに関連付けられた通知サーバからの通信通知にアクセスするための通知モジュールを含む。通知サーバは、電子メール通知、カレンダーリマインダー通知、及びソーシャルネットワーク通知を生成することができる。

【0011】

一実施形態例において、拡張現実通知モジュールは、参照識別子モジュール、通知視覚化モジュール、及び仮想オブジェクト生成器を含む。参照識別子モジュールは、通信通知に関連付けられた参照識別子にアクセスすることができる。通知視覚化モジュールは、参照識別子に関連付けられた拡張現実視覚化にアクセスすることができる。仮想オブジェクト生成器は、物理オブジェクトのイメージの中の参照識別子に関連付けられた拡張現実視覚化を用いて、物理オブジェクトのイメージの中の参照識別子と連動した仮想オブジェクトを生成することができる。

【0012】

一実施形態例において、通知視覚化モジュールは、仮想オブジェクトの特徴を変更し、物理オブジェクトのイメージの中の参照識別子に関連付けられた拡張現実視覚化に基づいて、仮想オブジェクトを別の仮想オブジェクトで置換することができる。

【0013】

一実施形態例において、物理世界操作モジュールは、物理オブジェクト識別器、物理オブジェクト操作検出器、及び仮想アクチュエータを含む。物理オブジェクト識別器は、物理オブジェクトと、物理オブジェクトの物理操作に関連付けられた仮想機能性とを、識別することができる。物理オブジェクト操作検出器は、物理オブジェクトの物理操作を識別することができる。仮想アクチュエータは、物理オブジェクトについての識別された物理操作に対応する仮想機能を生成することができる。仮想アクチュエータは、物理オブジェクトについての識別された物理操作に対応する仮想ユーザインターフェースを生成することができる。仮想アクチュエータは、物理オブジェクトについての識別された物理操作に応答して、装置上の機能をアクティブ化することができる。

【0014】

仮想アクチュエータは、物理オブジェクトについての識別された物理操作に応答して、別の装置を制御するための仮想機能のコマンドを生成することができる。この別の装置は、物理オブジェクトとの通信を有さなくてもよい。物理オブジェクトの物理操作は、物理オブジェクトを移動させ又は回転させることを含むことができる。

【0015】

別の実施形態例において、非一時的マシン可読記憶装置が、少なくとも１つのプロセッサにより実行されるときに本開示内に論じられる方法動作を該少なくとも１つのプロセッサに実行させる命令セットを記憶することができる。

【0016】

図１は、いくつかの実施形態例に従う、装置の拡張現実アプリケーションを動作させるのに適したネットワーク環境１００を例示しているネットワーク図である。ネットワーク環境１００は装置１０１とサーバ１１０とを含み、これらはネットワーク１０８を介して互いに通信可能に結合される。装置１０１及びサーバ１１０は各々、図１２に関連して下記に説明されるとおり、全体として又は部分的に、コンピュータシステムにおいて実施することができる。

【0017】

サーバ１１０は、ネットワークベースシステムの一部とすることができる。例えば、ネットワークベースシステムは、３次元モデルなどの追加情報を装置１０１に提供するクラウドベースのサーバシステムであってもよく、あるいはこれを含んでもよい。

【0018】

図１は、装置１０１を使用しているユーザ１０２を例示している。ユーザ１０２は、人間ユーザ（例えば、人間）、マシンユーザ（例えば、装置１０１と相互作用するようにソフトウェアプログラムによって構成されたコンピュータ）、又はこれらのうち任意の適切な組み合わせ（例えば、マシンにより支援された人間、又は人間により監督されたマシン）であり得る。ユーザ１０２は、ネットワーク環境１００の一部ではないが、装置１０１に関連付けられ、装置１０１のユーザ１０２であり得る。例えば、装置１０１は、デスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、ユーザのスマートフォン、又はユーザウェアラブルコンピューティング装置（例えば、腕時計又はメガネ）であり得る。

【0019】

ユーザ１０２は、装置１０１の中のアプリケーションのユーザであってもよい。アプリケーションには、２次元物理オブジェクト１０４（例えば、画像）又は３次元物理オブジェクト１０６（例えば、彫像）などの物理オブジェクトによってトリガされる体験をユーザ１０２に提供するように構成された拡張現実アプリケーションを含むことができる。例えば、ユーザ１０２は、２次元物理オブジェクト１０４のイメージを捕捉するように装置１０１のカメラを向けることができる。イメージは、装置１０１の拡張現実アプリケーションのローカルコンテキスト認識データセットモジュールを用いて、装置１０１の中でローカルに認識される。それから、拡張現実アプリケーションは、認識されたイメージの識別に応答して、イメージに対応する追加情報（例えば、３次元モデル）を生成し、この追加情報を装置１０１のディスプレイに提示する。捕捉されたイメージが装置１０１においてローカルに認識されない場合、装置１０１は、ネットワーク１０８を通じてサーバ１１０のデータベースから、捕捉されたイメージに対応する追加情報（例えば、３次元モデル）をダウンロードする。

【0020】

装置１０１は、使用法とユーザ１０２がどのように物理オブジェクトと相互作用するかとに関するさらなる解析のために、分析的データを捕捉し、サーバ１１０にサブミットすることができる。例えば、分析的データは、ユーザ１０２が物理又は仮想オブジェクト上のどの場所（例えば、ポイント又は特徴）を見ているか、ユーザ１０２が物理又は仮想オブジェクト上の各場所をどれほど長く見ているか、ユーザ１０２が物理又は仮想オブジェクトを見ているときに装置１０１をどのように保持しているか、ユーザ１０２が仮想オブジェクトのどの特徴と相互作用したか（例えば、ユーザ１０２が仮想オブジェクトの中のリンク上でタップしたかなど）、及びこれらのうち任意の適切な組み合わせを追跡することができる。装置１０１は、分析的データに関連した視覚化コンテンツデータセットを受信する。それから、装置１０１は、視覚化コンテンツデータセットに基づいて、追加的特徴若しくは視覚化特徴を用いた仮想オブジェクト、又は新しい体験を生成する。

【0021】

図１に図示されているマシン、データベース又は装置のうち任意のものを、該マシン、データベース又は装置として本明細書に説明される機能のうち１つ以上を実行するための特別目的コンピュータであるようにソフトウェアによって修正された（例えば、構成され、又はプログラムされた）汎用目的コンピュータにおいて実施することができる。例えば、本明細書に説明される方法論のうち任意の１つ以上を実施することができるコンピュータシステムが、図１２に関連して下記に論じられる。本明細書において、「データベース」はデータ記憶リソースであり、テキストファイル、テーブル、スプレッドシート、関係データベース（例えば、オブジェクト関係データベース）、トリプルストア（triple store）、階層データストア、又はこれらのうち任意の適切な組み合わせとして構造化されたデータを記憶することができる。さらに、図１に例示されたマシン、データベース又は装置のうち任意の２つ以上が単一のマシンへと組み合わせられてもよく、任意の単一のマシン、データベース又は装置として本明細書に説明される機能が、複数のマシン、データベース又は装置にわたって細分化されてもよい。

【0022】

ネットワーク１０８は、マシン（例えば、サーバ１１０）、データベース、及び装置（例えば、装置１０１）の間における又はこれらにわたる通信を可能にする任意のネットワークとすることができる。したがって、ネットワーク１０８は、有線ネットワーク、ワイヤレスネットワーク（例えば、モバイル又はセルラーネットワーク）、又はこれらのうち任意の適切な組み合わせとすることができる。ネットワーク１０８は、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらのうち任意の適切な組み合わせを構成する１つ以上の部分を含むことができる。

【0023】

図２は、いくつかの実施形態例に従う、装置１０１のモジュール（例えば、コンポーネント）を例示しているブロック図である。装置１０１は、センサ２０２と、ディスプレイ２０４と、プロセッサ２０６と、記憶装置２１６とを含むことができる。例えば、装置１０１は、デスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、又はユーザのスマートフォンであり得る。ユーザ１０２は、人間ユーザ（例えば、人間）、マシンユーザ（例えば、装置１０１と相互作用するようにソフトウェアプログラムによって構成されたコンピュータ）、又はこれらのうち任意の適切な組み合わせ（例えば、マシンにより支援された人間、又は人間により監督されたマシン）であり得る。

【0024】

センサ２０２には、例えば、近接センサ、光学センサ（例えば、カメラ）、向きセンサ（例えば、ジャイロスコープ）、オーディオセンサ（例えば、マイクロフォン）、又はこれらのうち任意の適切な組み合わせを含むことができる。例えば、センサ２０２には、装置１０１の背面（rear facing）カメラ及び前面（front facing）カメラを含むことができる。本明細書に説明されるセンサは例示目的のものであり、ゆえにセンサ２０２は上記の説明されたものに限定されないことが留意される。

【0025】

ディスプレイ２０４には、例えば、タッチスクリーンディスプレイを含むことができ、このタッチスクリーンディスプレイは、該タッチスクリーンディスプレイ上での接触を介してユーザ入力を受信するように構成される。一例において、ディスプレイ２０４には、プロセッサ２０６により生成されたイメージを表示するように構成されたスクリーン又はモニタを含むことができる。別の例において、ディスプレイ２０４は、ユーザがディスプレイ２０４を透かして見ることができるように、透過的又は半不透明（semi-opaque）であってもよい。

【0026】

プロセッサ２０６には、通知モジュール２１０と拡張現実アプリケーション２１２とを含むことができる。通知モジュール２１０は、装置１０１のユーザに関連付けられた通知サーバからの通信通知にアクセスすることができる。例えば、通知サーバには、電子メール通知、アポイントメントリマインダー、及びタスクリマインダーを生成するように構成された電子メールサーバを含むことができる。通知サーバは、装置１０１のユーザに関連したソーシャルネットワーク情報更新の通知を生成するように構成されたソーシャルネットワークサーバを含んでもよい。

【0027】

拡張現実アプリケーション２１２は、装置１０１のディスプレイ２０４に、装置１０１のカメラにより捕捉された物理オブジェクトのイメージの上にオーバーレイされた（例えば、スーパーインポーズされ、あるいはその他の方法で連携して表示された）３次元仮想オブジェクトの視覚化（visualization）を生成することができる。３次元仮想オブジェクトの視覚化は、装置１０１のカメラに対する物理オブジェクトの位置（例えば、物理オブジェクトの物理的な場所、向き、又は双方）を調整することによって操作することができる。同様に、３次元仮想オブジェクトの視覚化は、物理オブジェクトに対する装置１０１のカメラの位置を調整することによって操作することができる。

【0028】

一実施形態において、拡張現実アプリケーション２１２は、捕捉されたイメージに関連付けられた仮想オブジェクト（例えば、捕捉されたイメージに対応する仮想オブジェクト）の３次元モデルを取り出す。例えば、捕捉されたイメージには視覚的参照（visual reference）（マーカーとも呼ばれる）を含むことができ、視覚的参照には、識別可能なイメージ、シンボル、文字、数字、マシン可読コードが含まれる。例えば、視覚的参照には、バーコード、クイックレスポンス（ＱＲ）コード、又は３次元仮想オブジェクトに事前に関連付けられているイメージ（例えば、３次元仮想オブジェクトに対応する事前に決定されているイメージ）を含むことができる。

【0029】

一実施形態において、拡張現実アプリケーション２１２には、拡張現実通知モジュール２１４と物理世界操作モジュール２１６とが含まれる。拡張現実通知モジュール２１４は、装置１０１のディスプレイ２０４の中に、装置１０１のユーザのための通信通知（例えば、医者を呼ぶためのリマインダー）に関連付けられた仮想オブジェクト（例えば、黄色のリマインダーの付箋）を生成する。例えば、仮想オブジェクト（例えば、黄色のリマインダーの付箋）は、装置１０１により捕捉された物理オブジェクト（例えば、物理的な電話機）のイメージと連動する（engaged）（例えば、物理的な電話機の上に浮かぶ）ことができる。具体的に、物理オブジェクト（例えば、物理的な電話機）は、通信通知（例えば、リマインダー又はボイスメール）に関連付けることができる。それから、拡張現実通知モジュール２１４は、物理オブジェクト（例えば、物理的な電話機）に対する装置１０１の位置に基づいて、仮想オブジェクトの視覚化（例えば、ボイスメールシンボル）をレンダリングする（renders）。拡張現実通知モジュール２１４は、図３に関連して下記でより詳細に説明される。

【0030】

一実施形態において、物理世界操作モジュール２１６は、物理オブジェクト（例えば、物理的な電話機）を識別し、物理オブジェクトの物理操作（例えば、物理的な電話機のハンドセットを持ち上げる）に関連付けられた仮想機能にアクセスし（例えば、付近のテレビジョンのボリュームを大きくし、あるいは小さくする）、物理オブジェクトの物理操作に対応する仮想機能を生成することができる。物理世界操作モジュール２１６は、図４に関連して下記により詳細に説明される。

【0031】

別の実施形態において、装置１０１には文脈的（contextual）ローカルイメージ認識モジュール（図示せず）が含まれ、この文脈的ローカルイメージ認識モジュールは、捕捉されたイメージが装置１０１上のイメージ及び対応する追加情報（例えば、３次元モデル及びインタラクティブな特徴）のローカルデータベースにローカルに記憶されたイメージにマッチするかを決定するように構成される。一実施形態において、文脈的ローカルイメージ認識モジュールは、サーバ１１０から基本（primary）コンテンツデータセットを取り出し、装置１０１で捕捉されたイメージに基づいて文脈的コンテンツデータセットを生成し、更新する。

【0032】

記憶装置２０８は、視覚的参照（例えば、イメージ）と対応する体験（例えば、３次元仮想オブジェクト、３次元仮想オブジェクトのインタラクティブな特徴）とのデータベースを記憶するように構成することができる。例えば、視覚的参照には、マシン可読コード又は事前に識別されたイメージ（例えば、靴の画像）を含むことができる。事前に識別された靴の画像は、靴の画像に対して装置１０１の位置を操作することによって種々のアングルから見ることができる靴の３次元仮想モデルに対応させることができる。３次元の仮想の靴の特徴には、靴の３次元の仮想モデル上の選択可能アイコンを含むことができる。アイコンは、装置１０１上でタップし又は移動させることによって、選択し、あるいはアクティブ化することができる。

【0033】

一実施形態において、記憶装置２０８には、基本コンテンツデータセットと、文脈的コンテンツデータセットと、視覚化コンテンツデータセットとが含まれる。基本コンテンツデータセットには、例えば、第１のイメージセット及び対応する体験（例えば、３次元仮想オブジェクトモデルとの相互作用）が含まれる。例えば、イメージは、１つ以上の仮想オブジェクトモデルに関連付けることができる。基本コンテンツデータセットは、サーバ１１０により決定される最も人気のイメージ又はコアのイメージセットを含むことができる。コアのイメージセットには、サーバ１１０により識別された限られた数のイメージを含むことができる。例えば、コアのイメージセットには、１０冊の最も人気の雑誌のカバーを描いたイメージ及びその対応する体験（例えば、１０冊の最も人気のある雑誌を表す仮想オブジェクト）を含んでもよい。別の例において、サーバ１１０は、サーバ１１０で受信した最も人気のイメージ又はしばしばスキャンされるイメージに基づいて、第１のイメージセットを生成してもよい。こうして、基本コンテンツデータセットは、装置１０１の拡張現実アプリケーション２１２によってスキャンされるオブジェクト又はイメージには依存しない。

【0034】

文脈的コンテンツデータセットには、例えば、サーバ１１０から取り出された第２のイメージセット及び対応する体験（例えば、３次元仮想オブジェクトモデル）が含まれる。例えば、基本コンテンツデータセットの中で（例えば、サーバ１１０によって）認識されていない、装置１０１で捕捉されたイメージが、サーバ１１０に認識のためにサブミットされる。捕捉されたイメージがサーバ１１０によって認識された場合、対応する体験が、装置１０１においてダウンロードされ、文脈的コンテンツデータセットに記憶されることができる。こうして、文脈的コンテンツデータセットは、装置１０１が使用されているコンテキストに依拠する。このようなものとして、文脈的コンテンツデータセットは、装置１０１の拡張現実アプリケーション２１２によってスキャンされたオブジェクト又はイメージに依存する。

【0035】

一実施形態において、装置１０１は、ネットワーク１０８を通じてサーバ１１０と通信して、視覚的参照と対応する３次元仮想オブジェクトと該３次元仮想オブジェクトの対応するインタラクティブな特徴とのデータベースの一部を取り出すことができる。ネットワーク１０８は、マシン、データベース、及び装置（例えば、装置１０１）の間における又はこれらにわたる通信を可能にする任意のネットワークとすることができる。したがって、ネットワーク１０８は、有線ネットワーク、ワイヤレスネットワーク（例えば、モバイル又はセルラーネットワーク）、又はこれらのうち任意の適切な組み合わせとすることができる。ネットワーク１０８は、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらのうち任意の適切な組み合わせを構成する１つ以上の部分を含むことができる。

【0036】

本明細書に説明されているモジュールうち任意の１つ以上を、ハードウェア（例えば、マシンのプロセッサ）、又はハードウェアとソフトウェアとの組み合わせを用いて実施することができる。例えば、本明細書に説明されている任意のモジュールが、該モジュールとして本明細書に説明される動作を実行するようにプロセッサを構成することができる。さらに、上記モジュールのうち任意の２つ以上が単一のモジュールへと組み合わせられてもよく、単一のモジュールとして本明細書に説明されている機能が複数のモジュールに細分化されてもよい。さらに、様々な実施形態例に従い、単一のマシン、データベース、又は装置内で実施されるものとして本明細書に説明されるモジュールが、複数のマシン、データベース、又は装置にわたって分散されてもよい。

【0037】

図３は、いくつかの実施形態例に従う、図２の拡張現実通知モジュール２１４のモジュール（例えば、コンポーネント）を例示しているブロック図である。拡張現実通知モジュール２１４は、参照識別子モジュール３０４と、通知視覚化モジュール３０２と、仮想オブジェクト生成器３０６とを含むことができる。参照識別子モジュール３０４は、通信通知に関連付けられた参照識別子にアクセスすることができる。例えば、参照識別子は、電子メール通知に関連付けられた黒い物理的なレタートレイの画像とすることができる。通知視覚化モジュール３０２は、参照識別子に関連付けられた拡張現実視覚化にアクセスすることができる。例えば、拡張現実視覚化には、黒い物理的なレタートレイに関連付けられた光る（flashing）電子メールアイコン、又は白い物理的なレタートレイに関連付けられたレターの仮想の積み重ねを含むことができる。別の例において、黒い物理的なレタートレイが特定の電子メールアカウントからの電子メールに関連付けられてもよく、白い物理的なレタートレイが別の電子メールアカウント又はソーシャルネットワークサービスアカウントに関連付けられてもよい。

【0038】

仮想オブジェクト生成器３０６は、物理オブジェクトのイメージの中の参照識別子に関連付けられた拡張現実視覚化を用いて、物理オブジェクトのイメージの中の参照識別子と連動した仮想オブジェクトを生成することができる。例えば、新しい電子メール通知を受信すると、仮想オブジェクト生成器３０６は、装置１０１のディスプレイ２０４において、捕捉された物理的なレタートレイの画像の上に、仮想の光る電子メールアイコンを生成する。

【0039】

別の実施形態において、通知視覚化モジュール３０２が、仮想オブジェクトの特徴を変更してもよい。例えば、電子メールアイコンは、新しい電子メール通知に基づいて、異なる色へ変わることができる。例えば、緊急又は重要とマーク付けされた新しい電子メールが、仮想オブジェクト生成器３０６に、装置１０１のディスプレイ２０４の中の物理的なレタートレイのイメージの上に、光る赤い電子メールアイコンを生成させることができる。別の例において、ソーシャルネットワークサービスを表すアイコンが、新しいソーシャルネットワーク活動通知に基づいて表示されてもよい。例えば、フレンドからの更新を有するソーシャルネットワーク通知が、仮想オブジェクト生成器３０６に、装置１０１のディスプレイ２０４の中の物理的なレタートレイのイメージの上に、フレンドの画像を有するソーシャルネットワークサービスを表すアイコンを生成させることができる。

【0040】

別の実施形態において、通知視覚化モジュール３０２が、物理オブジェクトのイメージの中の参照識別子に関連付けられた拡張現実視覚化に基づいて、仮想オブジェクトを別の仮想オブジェクトで置換してもよい（仮想オブジェクト除去し、別の仮想オブジェクトを追加する）。

【0041】

図４は、いくつかの実施形態例に従う、図２の物理世界操作モジュール２１６のモジュール（例えば、コンポーネント）を例示しているブロック図である。物理世界操作モジュール２１６は、物理オブジェクト識別器４０２と、物理オブジェクト操作検出器４０４と、仮想アクチュエータ（actuator）４０６とを含む。

【0042】

物理オブジェクト識別器４０２は、物理オブジェクトと該物理オブジェクトの物理操作に関連付けられた仮想機能性とを識別することができる。例えば、壁の物理的なノブは、実際の物理世界において他のいかなる装置とも一体の機能性を有さないことがある。換言すると、このノブは回転することだけでき、他のいかなる装置にも電気的に接続されていない。ゆえに、ノブの回転は、物理世界において他のいかなる装置にも影響しない。そのようなものとして、物理オブジェクト識別器４０２は、ノブの物理操作に基づいて、ノブと関連する仮想機能性とを識別することができる。換言すると、ノブとその付近のテレビジョンセットとがいかなる物理的又は電気的関係も有さないとしても、ノブを時計回りに回転させることで、付近のテレビジョンセットのボリュームを大きくする機能をトリガすることができる。同様に、ノブを反時計回りに回転させることで、付近のテレビジョンセットのボリュームを小さくする機能をトリガすることができる。このようなものとして、仮想機能性は、物理世界の中の任意の物理オブジェクトに割り当てることができる。別の例において、ライトがリモートコントロール（リモコン）に電気的に接続されておらず、あるいはリモコンと通信していないとしても、物理操作には、リモコンを面を上にしてテーブルに置くことで、付近のテレビジョンセットをオンにし、さらに同じ部屋の中のライトを弱めるという関連する仮想機能性を備えることを含むことができる。同様に、ライトがリモコンに電気的に接続されておらず、あるいはリモコンと通信していないとしても、物理操作には、リモコンを面を下にしてテーブルに置くことで、付近のテレビジョンセットをオフにし、さらに同じ部屋の中のライトを強めるという関連する機能性を備えることを含むことができる。

【0043】

物理オブジェクト操作検出器４０４は、物理オブジェクトの物理操作を識別することができる。例えば、物理オブジェクト操作検出器４０４は、ある表面上でリモコンが面を上にして置かれているか面を下にして置かれているかを識別することができる。別の例において、物理オブジェクト操作検出器４０４が、ダイアル若しくはノブの回転又はスイッチの位置を識別してもよい。別の例において、物理オブジェクト操作検出器４０４が、ドアが閉じられているか又は開いているかを決定してもよい。

【0044】

仮想アクチュエータ４０６は、物理オブジェクトの識別された物理操作に対応する仮想機能を生成することができる。一実施形態において、仮想アクチュエータ４０６は、物理オブジェクトの識別された物理操作に対応する仮想ユーザインターフェースを生成する。例えば、スイッチがｏｎ位置に移動することで、スイッチの上に表示されるべき特定の仮想ユーザインターフェースを生成することができる。別の例において、箱のふたが開けられて、箱の内側に表示される仮想ユーザインターフェースが生成されてもよい。

【0045】

仮想アクチュエータ４０６は、物理オブジェクトの識別された物理操作に応答して、別の装置を制御するための仮想機能のコマンドを生成することができる。一実施形態において、別の装置は、物理オブジェクトと関係を有さず、物理オブジェクトに電気的に接続されていない。

【0046】

別の例において、仮想アクチュエータ４０６が、電話を邪魔しないモード（do not disturb mode）に設定したり、物理オブジェクトに関連付けられた予め定義された受信者に電子メール又はテキストを送ったりするなどの、コマンドを生成してもよい。

【0047】

図５は、いくつかの実施形態例に従う、サーバ１１０のモジュール（例えば、コンポーネント）を例示しているブロック図である。サーバ１１０には、コンテンツ生成器５０２と、物理オブジェクト検出器５０４と、物理オブジェクト機能モジュール５０５と、データベース５０６とが含まれる。

【0048】

コンテンツ生成器５０２は、物理オブジェクトに対する装置１０１の位置に基づいて、装置１０１のディスプレイ２０４にレンダリングされるべき仮想オブジェクトのモデルを生成することができる。物理オブジェクト検出器５０４は、装置１０１により捕捉されたイメージから、物理オブジェクトの物理的動きを識別する。物理オブジェクト機能モジュール５０５は、物理的動きに関連付けられた仮想機能性を決定する。

【0049】

データベース５０６は、コンテンツデータセット５０８と、仮想コンテンツデータセット５１０と、仮想機能データセット５１２とを記憶することができる。コンテンツデータセット５０８は、基本コンテンツデータセット及び文脈的コンテンツデータセットを記憶することができる。基本コンテンツデータセットは、第１のイメージセットと対応する仮想オブジェクトモデルとを含む。コンテンツ生成器５０２は、装置１０１から受信した捕捉されたイメージがコンテンツデータセット５０８において認識されないと決定し、装置１０１のための文脈的コンテンツデータセットを生成する。文脈的コンテンツデータセットには、第２のイメージセットと対応する仮想オブジェクトモデルとを含むことができる。仮想コンテンツデータセット５１０には、対応する物理オブジェクトのイメージに関連付けられた通知の受信に応答して生成されるべき仮想オブジェクトのモデルが含まれる。仮想機能データセット５１２には、物理オブジェクトの対応する物理操作に関連付けられた仮想機能性が含まれる。

【0050】

図６は、いくつかの実施形態例に従う、装置１０１の拡張現実通知モジュール２１４の動作を例示しているラダー図である。動作６０２において、装置１０１は、参照識別子のセットをダウンロードする。動作６０４において、装置１０１は、物理オブジェクトのイメージを捕捉する。動作６０６において、装置は、物理オブジェクトの捕捉されたイメージの中の参照識別子を識別する。動作６０８において、メールサーバ６０２が、新しいメール通知を装置１０１に送る。動作６１０において、装置１０１は、メールサーバ６０１からの新しいメール通知に応答して、捕捉されたイメージの中の参照識別子に関連付けられた仮想オブジェクトを生成する。

【0051】

図７は、いくつかの実施形態例に従う、装置１０１の物理世界操作モジュール２１６の動作を例示しているラダー図である。動作７０２において、装置１０１を使用して、物理オブジェクトのイメージが捕捉される。動作７０４において、装置１０１は、物理オブジェクトのイメージをサーバ１１０に送る。動作７０６において、サーバ１１０は、装置１０１が送ったイメージから、物理オブジェクトを識別し、認識する。換言すると、サーバ１１０は、識別された物理オブジェクトを有する物理オブジェクトのイメージと、図５のデータベース５０６に記憶された仮想機能性とを比較する。動作７０８において、サーバ１１０は、物理オブジェクトの仮想機能を決定する。動作７１０において、サーバ１１０は、物理オブジェクトの仮想機能性を装置１０１に送る。動作７１２において、装置１０１は、物理オブジェクトについての操作を検出し、別の装置７０１に対しての対応する仮想機能性を生成する。一実施形態において、装置１０１により検出される物理オブジェクトは、別の装置７０１に電気的に結合されていない。

【0052】

図８Ａは、装置１０１の拡張現実通知モジュール２１４の動作の第１の例を例示している図である。装置１０１は、そのリアカメラ８０２を用いて、物理的なレタートレイ８０４のイメージを捕捉する。装置１０１は、メールサーバ８１０から、新しい電子メールの通知を受信する。新しい電子メールの通知に応答して、装置１０１は、ディスプレイ８０３の中のレタートレイ８０８のイメージの上に、メール８０６の仮想の積み重ねを生成する。

【0053】

図８Ｂは、装置１０１の拡張現実通知モジュール２１４の動作の第２の例を例示している図である。装置１０１は、そのリアカメラ８０２を用いて、植木鉢８１２のイメージを捕捉する。装置１０１は、カレンダーサーバ８１４から、植木鉢８１２に水をやるリマインダーの通知を受信する。リマインダーの通知に応答して、装置１０１は、ディスプレイ８０３に、植木鉢の画像８１６を生成し、植木鉢の画像８１６を黄色８１８で色付けする。

【0054】

図８Ｃは、装置１０１の拡張現実通知モジュール２１４の動作の第３の例を例示している図である。装置１０１は、そのリアカメラ８０２を用いて、カレンダー８２０のイメージを捕捉する。装置１０１は、カレンダーサーバ８１４から、休日の通知を受信する。休日の通知に応答して、装置１０１は、ディスプレイ８０３において、カレンダー８２２の画像のディスプレイ８０３に、休日の日付を色８２４で埋められたカレンダー８２２の画像を生成する。

【0055】

図９Ａは、装置１０１の物理世界操作モジュール２１６の動作の第１の例を例示している図である。装置１０１は、そのリアカメラ９０２を用いて、ディスプレイ９０３における表示のために、ノブ９０４のイメージ９０５を捕捉する。装置１０１は、ノブ９０４の物理操作に関連付けられた仮想機能性を取り出す。例えば、ノブ９０４の仮想機能性には、ボリューム制御機能９０６を含むことができる。

【0056】

図９Ｂは、装置１０１の物理世界操作モジュール２１６の動作の第２の例を例示している図である。装置１０１は、ノブ９０４が時計回りに回すように物理的に操作されると検出する。装置１０１は、ノブ９０４に割り当てられている付近のステレオのボリュームを大きくする仮想機能９０８を生成する。

【0057】

図９Ｃは、装置１０１の物理世界操作モジュール２１６の動作の第３の例を例示している図である。装置１０１は、ノブ９０４が反時計回りに回すように物理的に操作されると検出する。装置１０１は、ノブ９０４に割り当てられている付近のステレオのボリュームを小さくする仮想機能９１０を生成する。

【0058】

図１０は、いくつかの実施形態例に従う、装置の文脈的ローカルイメージ認識データセットモジュールの動作の一例を例示しているフローチャートである。動作１００２において、装置１０１は、物理オブジェクトを識別する。動作１００４において、装置１０１は、物理オブジェクトに関連付けられた通信通知を受信する。動作１００６において、装置１０１は、通信通知に関連付けられた仮想オブジェクトを生成する。動作１００８において、装置１０１は、物理オブジェクトに対する装置１０１の位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。

【0059】

図１１は、いくつかの実施形態例に従う、装置の文脈的ローカルイメージ認識データセットモジュールの動作の別の例を例示しているフローチャートである。動作１１０２において、装置１０１は、物理オブジェクトを識別する。動作１１０４において、装置１０１は、物理オブジェクトの物理操作に関連付けられた仮想機能にアクセスする。動作１１０６において、装置１０１は、物理オブジェクトの物理操作を検出する。動作１１０８において、装置１０１は、物理オブジェクトの物理操作に対応する仮想機能を生成する。

【0060】

モジュール、コンポーネント及びロジック
特定の実施形態が、ロジック、又は複数のコンポーネント、モジュール若しくはメカニズムを含むものとして説明されている。モジュールは、ソフトウェアモジュール（例えば、マシン可読媒体上に、又は送信信号内に具現化されたコード）又はハードウェアモジュールのいずれかを構成することができる。ハードウェアモジュールは、特定の動作を実行することができる有形ユニットであり、特定の方式で構成され又は配置されることができる。複数の実施形態例において、１つ以上のコンピュータシステム（例えば、スタンドアロンコンピュータシステム、クライアントコンピュータシステム、又はサーバコンピュータシステム）、又はコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサ、又はプロセッサのグループ）が、ソフトウェア（例えば、アプリケーション、又はアプリケーションの一部）によって、本明細書に説明された特定の動作を実行するように動作するハードウェアモジュールとして構成されることができる。

【0061】

様々な実施形態において、ハードウェアモジュールは、機械的に又は電子的に実施することができる。例えば、ハードウェアモジュールは、特定の動作を実行するように（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの特別目的プロセッサとして）永続的に構成された専用回路又はロジックを含むことができる。さらに、ハードウェアモジュールは、特定の動作を実行するようにソフトウェアよって一時的に構成された（例えば、汎用目的プロセッサ又は他のプログラマブルプロセッサ内に包含された）プログラマブルロジック又は回路を含むことができる。ハードウェアモジュールを、機械的に、専用の永続的に構成された回路において、又は一時的に構成された回路（例えば、ソフトウェアによって構成される）において実施するとの判断が、コスト及び時間を考慮することによって推進され得ることが十分理解されるであろう。

【0062】

したがって、用語「ハードウェアモジュール」は、有形エンティティを包含するものと理解されるべきであり、この有形エンティティは、特定の方式で動作し及び／又は本明細書に説明された特定の動作を実行するように、物理的に構築され、永続的に構成され（例えば、ハードワイヤード）、又は一時的に構成され（例えば、プログラムされ）たエンティティである。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考えると、ハードウェアモジュールの各々は、時間におけるいずれの段階（instance）においても構成され又はインスタンス化される必要がない。例えば、複数のハードウェアモジュールが、ソフトウェアを用いて構成された汎用目的プロセッサを含む場合、この汎用目的プロセッサは、異なる時間において、それぞれ異なるハードウェアモジュールとして構成されることができる。したがって、ソフトウェアは、例えば、時間のある段階において特定のハードウェアモジュールを構成し、時間の異なる段階において異なるハードウェアモジュールを構成するように、プロセッサを構成することができる。

【0063】

ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明されているハードウェアモジュールは、通信可能に結合されたものとみなすことができる。こうしたハードウェアモジュールのうち複数が同時に存在する場合、通信は、ハードウェアモジュールを接続する信号送信を通して（例えば、適切な回路及びバスを通じて）達成することができる。複数のハードウェアモジュールが異なる時間において構成され又はインスタンス化される実施形態において、こうしたハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造においての情報の記憶及び取り出しを通して達成することができる。例えば、あるハードウェアモジュールが動作を実行し、該動作の出力を、このハードウェアモジュールに通信可能に結合されたメモリ装置に記憶することができる。それから、より後の時間において、さらなるハードウェアモジュールが上記メモリ装置にアクセスして、上記の記憶された出力を取り出し、処理することができる。ハードウェアモジュールは、入力又は出力装置との通信をさらに開始してもよく、リソース（例えば、情報の集合）に対して動作することができる。

【0064】

本明細書に説明された方法例の様々な動作は、関連する動作を実行するように一時的に（例えばソフトウェアによって）構成され又は永続的に構成された１つ以上のプロセッサによって、少なくとも部分的に実行することができる。上記のプロセッサは、一時的に構成されても永続的に構成されても、１つ以上の動作又は機能を実行するように動作する、プロセッサにより実施される（processor-implemented）モジュールを構成することができる。本明細書において言及されるモジュールは、いくつかの実施形態例において、プロセッサにより実施されるモジュールを含むことができる。

【0065】

同様に、本明細書に説明された方法は、少なくとも部分的に、プロセッサにより実施されることができる。例えば、方法の動作の少なくともいくつかを、１つ以上のプロセッサ又はプロセッサにより実施されるモジュールによって実行することができる。動作のうち特定のものの実行は１つ以上のプロセッサ間で分散させることができ、単一のマシン内に存在してもよいだけでなく、複数のマシンにわたってデプロイされ（deployed）てもよい。いくつかの実施形態例において、１つ又は複数のプロセッサが単一の場所に（例えば、家庭環境内に、オフィス環境内に、又はサーバファームとして）位置することができ、他の実施形態において、プロセッサは複数の場所にわたって分散されてもよい。

【0066】

１つ以上のプロセッサは、さらに、「クラウドコンピューティング」環境において、又は「サービスとしてのソフトウェア」（ＳａａＳ）として、関連する動作の実行をサポートするように動作することができる。例えば、動作のうち少なくともいくつかが、（プロセッサを含むマシンの例として）コンピュータのグループによって実行されてもよく、これら動作は、ネットワークを介して、及び１つ以上の適切なインターフェース（例えば、ＡＰＩ）を介してアクセス可能である。

【0067】

電子的な装置及びシステム
実施形態例は、デジタル電子回路において、若しくはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はこれらの組み合わせにおいて実施することができる。実施形態例は、コンピュータプログラムプロダクトを用いて実施されてもよい。コンピュータプログラムプロダクトは、例えば、情報担体の中に有形に具現化されたコンピュータプログラムである。情報担体は、例えば、データ処理装置による実行のため又はデータ処理装置の動作を制御するためのマシン可読媒体である。データ処理装置は、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータである。

【0068】

コンピュータプログラムは、コンパイラ型言語又はインタプリタ型言語を含む任意の形式のプログラミング言語において書くことができ、スタントアロンプログラムとして又はモジュール、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットとしてを含む任意の形式においてデプロイすることができる。コンピュータプログラムは、１つのサイトにおける１つのコンピュータ上又は複数のコンピュータ上で実行されるようにデプロイされてもよく、あるいは、複数のサイトにわたって分散され、通信ネットワークによって相互接続されてもよい。

【0069】

実施形態例において、動作は、入力データに対して作用すること及び出力を生成することによって機能を実行するように、コンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。方法動作は、特別目的ロジック回路（例えば、ＦＰＧＡ又はＡＳＩＣ）によって実行することもでき、実施形態例の装置が、上記特別目的ロジック回路として実施されてもよい。

【0070】

コンピューティングシステムには、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に互いからリモートにあり、通常、通信ネットワークを通して相互作用する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、クライアント‐サーバ関係を互いに対して有するコンピュータプログラムによって、発生する。プログラマブルコンピューティングシステムをデプロイする実施形態において、ハードウェアアーキテクチャ及びソフトウェアアーキテクチャの双方が考慮に値することが十分理解されるであろう。具体的に、特定の機能性を、永続的に構成されるハードウェア（例えば、ＡＳＩＣ）において実施するか、一時的に構成されるハードウェア（例えば、ソフトウェアとプログラマブルプロセッサとの組み合わせ）において実施するか、又は永続的に構成されるハードウェアと一時的に構成されるハードウェアとの組み合わせにおいて実施するかの選択は、設計上の選択であり得ることが十分理解されるであろう。下記に、様々な実施形態例においてデプロイされ得るハードウェア（例えば、マシン）及びソフトウェアアーキテクチャを提示する。

【0071】

例示的なマシンアーキテクチャ及びマシン可読媒体
図１２は、コンピュータシステム１２００の例示的形態におけるマシンのブロック図であり、コンピュータシステム１２００内で、本明細書に論じられた方法論のうち任意の１つ以上をマシンに実行させる命令を実行することができる。代替的な実施形態において、マシンはスタンドアロン装置として動作し、あるいは他のマシンに接続され（例えば、ネットワーク化され）てもよい。ネットワーク化されたデプロイにおいて、マシンは、サーバ‐クライアントネットワーク環境でのサーバ又はクライアントの能力において、又はピアツーピア（又は分散）ネットワーク環境でのピアマシンとして動作することができる。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、ウェブ電化製品、ネットワークルータ、スイッチ、若しくはブリッジ、又はマシンにより取られるべきアクションを規定する命令を（順次に又はその他の方法で）実行することができる任意のマシンであってよい。さらに、単一のマシンだけが例示されているが、用語「マシン」は、本明細書に論じられた方法論のうち任意の１つ以上を実行するように命令のセット（又は複数のセット）を個々に又は一緒に実行するマシンの任意の集合をさらに含むものとする。

【0072】

例示的なコンピュータシステム１２００は、プロセッサ１２０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、又は双方）と、メインメモリ１２０４と、スタティックメモリ１２０６とを含み、これらは、バス１２０８を介して互いに通信する。コンピュータシステム１２００は、ビデオディスプレイユニット１２１０（例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ））をさらに含むことができる。コンピュータシステム１２００は、英数字入力装置１２１２（例えば、キーボード）と、ユーザインターフェース（ＵＩ）ナビゲーション（又はカーソル制御）装置１２１４（例えば、マウス）と、ディスクドライブユニット１２１６と、信号生成装置１２１８（例えば、スピーカー）と、ネットワークインターフェース装置１２２０とをさらに含む。

【0073】

マシン可読媒体
ディスクドライブユニット１２１６はマシン可読媒体１２２２を含み、このマシン可読媒体１２２２上に、本明細書に説明された方法論又は機能のうち任意の１つ以上を具現化し又はこれらにより利用されるデータ構造及び命令１２２４の１つ以上のセット（例えば、ソフトウェア）が記憶される。命令１２２４はさらに、コンピュータシステム１２００による命令１２２４の実行の間、メインメモリ１２０４内及び／又はプロセッサ１２０２内に、完全に又は少なくとも部分的に存在することがあり、メインメモリ１２０４及びプロセッサ１２０２がさらにマシン可読媒体を構成することがある。命令１２２４はさらに、完全に又は少なくとも部分的に、スタティックメモリ１２０６内に存在することがある。

【0074】

マシン可読媒体１２２２は、一実施形態例において単一の媒体であるように図示されているが、用語「マシン可読媒体」には、１つ以上の命令１２２４又はデータ構造を記憶した単一の媒体又は複数の媒体（例えば、集中型若しくは分散型のデータベース、及び／又は関連するキャッシュ及びサーバ）を含むことができる。用語「マシン可読媒体」は、マシンが実行する命令セットを記憶し、エンコードし又は伝えることができてマシンに本願実施形態の方法論のうち任意の１つ以上を実行させる任意の有形媒体、又は、上記の命令により利用され又は上記の命令に関連するデータ構造を記憶し、エンコードし又は伝えることができる任意の有形媒体をさらに含むものとする。したがって、用語「マシン可読媒体」は、これらに限定されないが、ソリッドステートメモリ、光学媒体、及び磁気媒体を含むものとする。マシン可読媒体の具体例には不揮発性メモリが含まれ、例として、半導体メモリデバイス（例えば、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリ）と、内部ハードディスク及び取外し可能ディスクなどの磁気ディスクと、光磁気ディスクと、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）及びデジタル多用途ディスク（又はデジタルビデオディスク）読取専用メモリ（ＤＶＤ‐ＲＯＭ）ディスクとが含まれる。

【0075】

送信媒体
さらに、命令１２２４は、ネットワーク１２２６を通じて送信媒体を用いて送信され、あるいは受信されてもよい。命令１２２４は、ネットワークインターフェース装置１２２０と多数の周知の転送プロトコル（例えば、ＨＴＴＰ）のうち任意のものとを用いて送信することができる。通信ネットワークの例には、ＬＡＮ、ＷＡＮ、インターネット、携帯電話網、ＰＯＴＳネットワーク、及びワイヤレスデータネットワーク（例えば、ＷｉＦｉ及びＷｉＭａｘネットワーク）が含まれる。用語「送信媒体」には、マシンが実行する命令を記憶し、エンコードし又は伝えることができる任意の無形媒体を含むものとし、上記のソフトウェアの通信を容易にするためのデジタル若しくはアナログ通信信号又は他の無形媒体が含まれる。

【0076】

実施形態が具体的な実施形態例を参照して説明されたが、これら実施形態に対して本開示の上位の主旨及び範囲から逸脱することなく様々な修正及び変更がなされ得ることが明らかであろう。したがって、明細書及び図面は、限定的ではなく例示的な意味において考慮されるべきである。本願の一部を成す添付図面は、限定ではなく例示として、対象事項が実施され得る具体的な実施形態を図示している。例示された実施形態は、本明細書に開示された教示を当業者が実施することを可能にするほど十分詳細に説明されている。これらから、他の実施形態が利用され、導出されてもよく、その結果、本開示の範囲から逸脱することなく、構造的及び論理的な代替及び変更が行われ得る。したがって、詳細な説明は、限定する意味に取られるべきではなく、様々な実施形態の範囲は、別記の請求項とこうした請求項が権利を与えられている均等物の完全な範囲とによってのみ定義される。

【0077】

上記の発明対象事項の実施形態は、個々に及び／又は集合的に、本明細書において用語「発明」によって参照されることがあるが、これは単に簡便さのためであり、２以上の発明又は発明概念が実際に開示されている場合に本出願の範囲をいずれかの単一の発明又は発明概念に自発的に限定する意図はない。ゆえに、具体的な実施形態が本明細書に例示され、説明されたが、同じ目的を達成するように計算された任意の配置が、図示された具体的な実施形態の代替にされてもよいことが十分理解されるべきである。本開示は、様々な実施形態についての任意の及びすべての適合又はバリエーションをカバーすることが意図される。上記の実施形態の組み合わせ、及び本明細書に具体的に説明されていない他の実施形態が、上記の説明を検討した当業者に明らかになるであろう。

【0078】

本開示の要約は、読み手が技術開示の要旨を迅速に判定することができるように要約を要求する３７Ｃ．Ｆ．Ｒ．セクション１．７２（ｂ）に準拠するために提供される。要約は、請求項の範囲又は意味を解釈又は限定するためには使用されないという理解の下で提出されている。さらに、上記詳細な説明では、開示を簡素化する目的のために、様々な特徴が単一の実施形態の中に一緒に集められていることが分かる。この開示の方法は、請求項に記載された実施形態が各請求項に明示されている特徴より多くの特徴を必要とするとの意図を反映するものとして解釈されるべきではない。それどころか、別記の請求項が反映するように、発明対象事項は、単一の開示された実施形態のすべての特徴に満たない特徴にある。ゆえに、別記の請求項は、これにより、各請求項が別個の実施形態として独立した状態で詳細な説明に組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】