特許 5671137 拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5671137

(24)【登録日】2014年12月26日

(45)【発行日】2015年2月18日

(54)【発明の名称】拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150129BHJP

   G06F 3/048 20130101ALI20150129BHJP

   G06F 3/0481 20130101ALI20150129BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/048 656A

   G06F3/048 657A

【請求項の数】20

【全頁数】28

(21)【出願番号】特願2013-517419(P2013-517419)

(86)(22)【出願日】2011年2月10日

(65)【公表番号】特表2013-539090(P2013-539090A)

(43)【公表日】2013年10月17日

(86)【国際出願番号】FI2011050120

(87)【国際公開番号】WO2012001219

(87)【国際公開日】20120105

【審査請求日】2013年1月9日

(31)【優先権主張番号】12/827,417

(32)【優先日】2010年6月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】398012616

【氏名又は名称】ノキア コーポレイション

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】サンベア イェスパ

【審査官】 伊知地 和之

(56)【参考文献】

【文献】 特開２００７−０１１１６１（ＪＰ，Ａ）

【文献】 篠田ヒロシ，外１名，「ＡＲポケットガイド」，株式会社毎日コミュニケーションズ，２０１０年 ６月３０日，初版，ｐ．２６−２９，３４−３５

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

装置に搭載される処理手段がプログラム命令を実行することにより、前記装置が遂行する方法であって、
複数の情報レイヤの少なくとも一つが、バーチャル情報アイテムを一つまたは複数表示に供するべく、イネーブルにされているかどうかを判断することと；
前記イネーブルにされている情報レイヤにおいて、前記装置の現在位置に基づいて表示に供されるバーチャル情報アイテムの数が所定の閾値より少ないとの判断に基づいて、前記複数の情報レイヤのうちの他の情報レイヤのうち一つまたは複数において、前記現在位置のための情報を利用可能であるかどうかを判断することと；
選択に供するべく、前記他の情報レイヤのうちの一つまたは複数を自動的に提案することと；
を含む、方法。

【請求項2】

請求項１に記載の方法であって、前記自動的に提案する前に、前記方法はさらに、前記イネーブルにされている情報レイヤに関連する情報が、前記提案される情報レイヤに関連する情報と同じカテゴリに属するか否かを判断することを含み、ここで、前記バーチャル情報アイテムの一つまたは複数は、一つまたは複数のバーチャルオブジェクトを含む、方法。

【請求項3】

請求項２に記載の方法であって、前記自動的に提案することが、選択に供するべく提案した情報レイヤをデバイスを介して提供することを可能にすることをさらに含む、方法。

【請求項4】

請求項３に記載の方法であって、前記提供することを可能にすることが、前記イネーブルにされている情報レイヤに関連する情報と同じカテゴリの情報に関連する情報レイヤの提案を提供することをさらに含む、方法。

【請求項5】

請求項１に記載の方法であって、前記現在位置を示す情報を受信することが、現在表示されている現実世界のオブジェクトの一つまたは複数の座標を示す情報を受信することを含む、方法。

【請求項6】

請求項１に記載の方法であって：
前記複数のレイヤのそれぞれの情報が異なるコンテンツプロバイダから提供されることを決定することと；
提案した情報レイヤの少なくとも一つが選択されたことを受信することに応じて、現在表示されている現実世界のオブジェクトに対応して重ね合わせるために、バーチャル情報を提供することと；
を含む、方法。

【請求項7】

請求項６に記載の方法であって：
前記バーチャル情報の位置データが、対応する現実世界のオブジェクトの少なくとも一つの位置情報に符合するという判断に応じて、前記バーチャル情報を、対応する現実世界のオブジェクトの上に重ね合わせることをさらに含む、方法。

【請求項8】

請求項１に記載の方法であって：
前記提案した情報レイヤを、選択される前は、半透明な方法で提供することと；
前記提案した情報レイヤが選択されたことを受信することに応じて、前記提案された情報レイヤがアクティブであることを表すために、提案した情報レイヤの少なくとも一つを非透明な方法で表示のために提供することと；
を更に含む、方法。

【請求項9】

請求項１に記載の方法であって：
前記バーチャル情報が、拡張現実において一つまたは複数の情報アイテムを含むかどうかを判断することを含み、ただし前記情報アイテムは、現在表示されている現実世界のオブジェクトに重ね合わせられている時に、該オブジェクトを拡張するために使用可能なものであり；
バーチャル情報を提供することは、選択された情報アイテムの少なくとも一つの地理的座標に部分的に対応する追加的な情報を得るために、デバイスを介して、選択に供するべく情報アイテムを提供することを可能にすることを含む；
方法。

【請求項10】

少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に少なくとも次のこと：
複数の情報レイヤの少なくとも一つが、バーチャル情報アイテムを一つまたは複数表示に供するべく、イネーブルにされているかどうかを判断することと；
前記イネーブルにされている情報レイヤにおいて、前記装置の現在位置に基づいて表示に供されるバーチャル情報アイテムの数が所定の閾値より少ないとの判断に基づいて、前記複数の情報レイヤのうちの他の情報レイヤのうち一つまたは複数において、前記現在位置のための情報を利用可能であるかどうかを判断することと；
選択に供するべく、前記他の情報レイヤのうちの一つまたは複数を自動的に提案することと；
を実行させる、装置。

【請求項11】

請求項１０に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に、前記イネーブルにされている情報レイヤに関連する情報が、前記提案される情報レイヤに関連する情報と同じカテゴリに属するか否かを判断させる、装置。

【請求項12】

請求項１１に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置が、
選択に供するべく提案した情報レイヤをデバイスを介して提供することを可能にすることにより、前記自動的に提案できるようにする、
装置。

【請求項13】

請求項１２に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置が、
前記イネーブルにされている情報レイヤに関連する情報と同じカテゴリの情報に関連する情報レイヤの提案を提供することにより、前記提供することを可能にする、
装置。

【請求項14】

請求項１０に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置が、
現在表示されている現実世界のオブジェクトの一つまたは複数の座標を示す情報を受信することにより、前記現在位置を示す情報を受信することを可能にする、
装置。

【請求項15】

請求項１０に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に：
前記複数のレイヤのそれぞれの情報が異なるコンテンツプロバイダから提供されることを決定することと；
提案した情報レイヤの少なくとも一つが選択されたことを受信することに応じて、現在表示されている現実世界のオブジェクトに対応して重ね合わせるために、バーチャル情報を提供することと；
を実行させる、装置。

【請求項16】

請求項１５に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に：
前記バーチャル情報の位置データが、対応する現実世界のオブジェクトの少なくとも一つの位置情報に符合するという判断に応じて、前記バーチャル情報を、対応する現実世界のオブジェクトの上に重ね合わせること；
を実行させる、装置。

【請求項17】

請求項１０に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に：
前記提案した情報レイヤを、選択される前は、半透明な方法で提供することと；
前記提案した情報レイヤが選択されたことを受信することに応じて、前記提案された情報レイヤがアクティブであることを表すために、提案した情報レイヤの少なくとも一つを非透明な方法で表示のために提供することと；
を実行させる、装置。

【請求項18】

請求項１０に記載の装置であって、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されることにより、前記装置に：
前記バーチャル情報が、拡張現実において一つまたは複数の情報アイテムを含むかどうかを判断すること、ただし前記情報アイテムは、現在表示されている現実世界のオブジェクトに重ね合わせられている時に、該オブジェクトを拡張するために使用可能なものである、前記判断することと；
選択された情報アイテムの少なくとも一つの地理的座標に部分的に対応する追加的な情報を得るために、デバイスを介して、選択に供するべく情報アイテムを提供することを可能にすることにより、バーチャル情報を提供することと；
を実行させる、装置。

【請求項19】

コンピュータ読み取り可能なプログラムコード部分を備えるコンピュータプログラムであって、前記コンピュータ読み取り可能なプログラムコード部分が、装置の処理手段により実行されることにより、前記装置に：
複数の情報レイヤの少なくとも一つが、バーチャル情報アイテムを一つまたは複数表示に供するべく、イネーブルにされているかどうかを判断することと；
前記イネーブルにされている情報レイヤにおいて、前記装置の現在位置に基づいて表示に供されるバーチャル情報アイテムの数が所定の閾値より少ないとの判断に基づいて、前記複数の情報レイヤのうちの他の情報レイヤのうち一つまたは複数において、前記現在位置のための情報を利用可能であるかどうかを判断することと；
選択に供するべく、前記他の情報レイヤのうちの一つまたは複数を自動的に提案することと；
を遂行させる、コンピュータプログラム。

【請求項20】

請求項１９に記載のコンピュータプログラムであって、
前記処理手段により実行されることにより、前記装置に、前記イネーブルにされている情報レイヤに関連する情報が、前記提案される情報レイヤに関連する情報と同じカテゴリに属するか否かを判断させるためのプログラム命令を含み、
ここで、前記バーチャル情報アイテムの一つまたは複数は、一つまたは複数のバーチャルオブジェクトを含む、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、大きくはユーザインタフェース技術に関し、より具体的には、拡張現実環境において、提案する一つまたは複数の情報レイヤを自動的に生成する方法や装置、コンピュータプログラムに関する。

【背景】

【0002】

通信の新しい時代は、有線及び無線ネットワークの著しい拡張をもたらしている。コンピュータネットワークやテレビジョンネットワーク、電話ネットワークは、ユーザの要求に応えて、以前であれば予測できなかったような技術的発展を経験している。無線・移動ネットワーク技術は、ユーザの要求に応えつつも、より柔軟且つ即時的な情報伝達を可能としている。

【0003】

現在の、また将来のネットワーク技術は、情報伝送の容易さやユーザの利便性を向上させることを続けていくだろう。最近の電子通信機器のユビキタス性のために、年代や教育レベルに関わらず、全ての人々が電子機器を利用して、他の人々や関係先と通信したり、サービスを受け取ったり、情報やメディア等のコンテンツを共有したりしている。情報伝送をますます容易にすることの要求が存在する領域の一つは、移動端末のユーザにサービスを配信する分野である。このようなサービスは、例えば、ユーザが所望の特定のメディアや通信アプリケーションの形態を有していることがあり、例えばミュージックプレイヤーやゲームプレイヤー、電子ブック、ショートメッセージ、電子メール、コンテンツ共有などである。上記のようなサービスはインタラクティブなアプリケーションの形態を有していることがあり、そのような場合、ユーザは、タスクを遂行したり目的を達成したりするために、ネットワークデバイスに応答する。上記のようなサービスは、ネットワークサーバなどのネットワーク装置によって提供されることがあり、場合によっては、携帯電話や携帯テレビ、携帯ゲーム機などのような移動端末によって提供されることもある。

【0004】

ある状況において、移動端末は、ユーザとそのユーザの環境との相互作用を拡張することがある。ユーザとユーザローカル環境との相互作用を拡張するために移動端末を利用するというコンセプトに関連して、非常に多くの開発例が存在する。例えばバーチャルツアーガイドや、現実にミックスすることを伴うアプリケーションである。現実にミックスすることは、現実世界とバーチャル世界とを融合することを伴う。ある事例では、現実にミックスすることは、現実世界のイメージデータにバーチャルなオブジェクトをミックスし、現実のオブジェクトとデジタルのオブジェクトが共に存在し（できればそれらが実時間で相互作用するような）環境を生成して視覚化する。現実にミックスする技術には、拡張現実（Augmented Reality；ARや強化現実とも呼ばれる）、すなわち現実のイメージを拡張したり現実のイメージに追加したりするためにデジタルのイメージを使用する技術や、バーチャルリアリティ、すなわちコンピュータシミュレーションを使って現実世界の環境を刺激する技術が含まれる。

【0005】

拡張現実は急速に発展している分野である。拡張現実は、シンビアン^ＴＭやアンドロイド（登録商標）、ｉＰｈｏｎｅ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ^ＴＭなど、多くのモバイルプラットフォームで利用可能になっている。拡張現実のコンセプトは、コミュニケーションデバイスのカメラで撮影した生のビデオストリームや静止画に、グラフィックや情報を重ね合わせることである。このグラフィックや情報は如何なるものであってもよい。拡張現実において、環境やオブジェクトについてのグラフィックや情報は、現実世界のビューの上の情報レイヤとして保存されたり呼び出されたりすることができる。

【0006】

拡張現実技術について共通に用いられていることは、ビデオストリームや静止画の上に興味のあるポイント（Point Of Interest; POI）を重ね合わせることである。これらのＰＯＩは、ランドマークのような静止した情報であることができ、また、座標を含むジオコードで符号化された情報でもよい。拡張現実の使用の一例が図１に描かれている。ここでは、Wikipedia（登録商標）で提供される情報やTwitter（登録商標）で提供されるツイートが、コミュニケーションデバイスのカメラの映像に重ね合わされている。

【0007】

利用者が、例えばWikipediaのアイコンのいずれかを押すと、その選択されたアイコンに関連する記事についての多くの情報がユーザに提示される。例えば拡張現実は、ユーザがはじめての場所におり、彼らは見ているものについての情報を得ようとするときに利用される。観光アトラクションの前に立ち、それにカメラを向けると、ユーザは、そのアトラクションについての情報を得ることができる。

【0008】

拡張現実に関連して行われた利用者についての調査によると、拡張現実ブラウザを利用するユーザにとって最も重要な特徴の一つは、ユーザは、デバイスのカメラのビューに表示されるコンテンツを選択したいと欲することであった。

【0009】

デバイスのカメラのビューに表示されるコンテンツをユーザが選択できるようにすることの問題の一つは、ユーザの現在位置では利用可能な情報が全くない情報レイヤをイネーブルにすることであろう。ユーザによってイネーブルにされた情報レイヤは、ユーザの通常の環境では適切な情報を有するが、例えば休日や仕事でユーザが別の場所に移動すると、その情報レイヤは適切でなくなるかもしれない。例えば、その情報レイヤはユーザが見ているものについて何の情報も有していないか非常に少ない情報しか有していないかもしれない。

【0010】

そのような状況においては、拡張現実ブラウザは単なるカメラのビューしか提供しないので、拡張現実ブラウザは何ら価値を提供しないとユーザに思わせてしまうかもしれない。そのような状況が図２に示されている。図２の例においても、ユーザは画像に興味を覚えているかもしれない。そこでユーザは、コミュニケーションデバイスのカメラビューに表示されている拡張現実アプリケーションに画像を提供している、当該コミュニケーションデバイスの情報レイヤをイネーブルにするかもしれない。図２の例において、ユーザは、コミュニケーションデバイスを通じて"flicker.com"の情報レイヤをイネーブルにしたとしよう。しかし残念ながら、ユーザの現在位置では、"flicker.com"から提供される画像や情報はほとんどない。そのためユーザは、図２に示されるように、カメラビューにおいて、"flicker.com"から提供される情報（例えば画像）に関連するたった一つのアイコン３しか見ることができない。

【0011】

ユーザの現在位置では利用可能な情報を有しない情報レイヤをユーザがイネーブルにすることに関連する上述の問題は、現在のところ、拡張現実アプリケーションによって提供される既知の複数の情報レイヤをマニュアルで一つ一つ選択しうるようにコミュニケーションデバイスを構成することにより、解決されている。しかしこの場合、ユーザは通常、情報レイヤをイネーブルにし、現在位置において情報を得られるか否かをチェックするという試行錯誤を繰り返す必要がある。ユーザの現在位置においてある情報レイヤが何の情報をも有していない場合、ユーザは通常、別の情報レイヤを試してみる必要があり、拡張現実ブラウザがユーザが望むレベルの情報を提供するまで、それを繰り返す必要がある。

【0012】

このようなプロセスはユーザにとって面倒なものであり、ユーザの位置において多くの情報レイヤが利用可能である場合には時間もかかってしまう。イネーブルにされた情報レイヤが提供しうる情報がないという問題が生じている場合において、有用な情報を見つけるまでの試行に１０分や３０分などという時間を使うことなく、必要な情報をできるだけ早く得ることは、ユーザにとって非常に重要であろう。このように、試行錯誤に基づくアプローチはユーザにとって耐え難いものであり、ユーザを満足することはできないであろう。

【0013】

上述の欠点に鑑みると、コミュニケーションデバイスのユーザに情報レイヤを提供する別のメカニズムを提供することが望ましいであろう。

【摘要】

【0014】

そこで、拡張現実において、提案する一つまたは複数の情報レイヤを自動的に生成する方法や装置、コンピュータプログラムを提供する。情報レイヤは、地理的位置のデータやその他のデータを有する情報のアイテムの集まりであって、コンテンツプロバイダやサービスプロバイダによって提供される情報のアイテムの集まりであってもよい。地理的位置のデータは、ディスプレイ上に、情報のアイテムに対応するもの（例えばバーチャル情報）を提供するために利用されることができる。ここで、情報のアイテムは現在表示されている現実世界のオブジェクトに重ね合わせられることができる。

【0015】

例示的実施形態のあるものは、ユーザによってイネーブルにされた情報レイヤが、例えば、コミュニケーションデバイスの現在位置やそのコミュニケーションデバイスが現在表示している現実世界のオブジェクトの位置に関連して、情報を提供するか否かを決定することができる。イネーブルにされた情報レイヤの情報が所定の閾値より少ない場合、例示的実施形態のあるものは、その位置に関連して情報を有する一つまたは複数の情報レイヤを自動的に提案することができる。当該位置はユーザが選択したものであることができる。ここで、例示的実施形態のあるものは、提案するレイヤやオプションのレイヤのリストをユーザに表示することができる。そのようなレイヤは、現在位置の情報を有するか、又はその情報に関連付けられるレイヤである。位置に関連する情報はバーチャル情報、例えば、グラフィック要素のようなバーチャルオブジェクトであることができ、それは、現在表示されている現実世界において対応するオブジェクトの上に重ね合わせられてもよい。提案された情報レイヤのいずれかを選択すると、選択された（一つまたは複数の）情報レイヤに対応する情報が提供されディスプレイ上に表示される。このようにして、例示的実施形態のあるものは、現在位置に関する重要な情報を得るためにユーザが試行錯誤プロセスを利用する必要がなくなるように、拡張現実やバーチャル情報をユーザ選択できるようにデバイスに供給する効率的なメカニズムを提供することができる。

【0016】

提案される情報レイヤは、ユーザにより選択されるためにデバイスに表示されるが、そのような情報レイヤは、イネーブルにされた情報レイヤの情報と同じカテゴリの情報に関連するものであってもよい。ここで、例示的実施形態のあるものは、イネーブルにされた情報レイヤの情報と同じ種類の情報を提供する情報レイヤを自動的に提案し選択できるようにしてもよい。そのような情報は、例えば画像やビデオであることができる。本発明の実施形態のあるものを利用することにより、現在位置でユーザが得られる利用可能な情報が全く無いか極めて少ないという問題が軽減される。ユーザは、対応する情報を見るために、提案された情報レイヤの一つまたは複数を選択してもよい。したがって、例示的実施形態のあるものは、ユーザが、どの情報がディスプレイに表示されるべきかを制御することを許している。

【0017】

ある例示的実施形態では、拡張現実において情報レイヤを自動的に提案する方法が提供される。この方法は、複数の情報レイヤの提供を容易にすることを含む。情報のレイヤは、装置の現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。この方法はさらに、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを決定することを含んでもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応していてもよい。上記の方法はさらに、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを判断することを含んでもよい。上記の方法はさらに、一つ又は複数の他の情報レイヤを選択のために自動的に提案することを含んでもよい。

【0018】

ある別の実施形態では、拡張現実において情報レイヤを自動的に提案する装置が提供される。この装置はコンピュータプログラムコードを格納するメモリとプロセッサを備えてもよい。このメモリ及びコンピュータプログラムコードは、プロセッサと共に、前記装置に、複数の情報レイヤの提供を容易にすることを含む処理を少なくとも実行させるように構成される。情報のレイヤは、装置の現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。前記コンピュータプログラムコードはさらに、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを前記装置に決定させるように構成されてもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応していてもよい。前記コンピュータプログラムコードはさらに、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを前記装置に判断させるように構成されていてもよい。前記コンピュータプログラムコードはさらに、前記装置に、一つ又は複数の他の情報レイヤを選択のために自動的に提案させるように構成されていてもよい。

【0019】

さらに別の実施形態では、拡張現実において情報レイヤを自動的に提案するコンピュータプログラム製品が提供される。このコンピュータプログラム製品は、少なくとも一つのコンピュータ読み取り可能な記憶媒体を備え、その媒体はコンピュータ実行可能なプログラムコード部分を格納している。このコンピュータ実行可能なプログラムコード命令は、複数の情報レイヤの提供を容易にするプログラムコード命令を含んでいる。情報のレイヤは、現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。上記のコンピュータコード命令はまた、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを決定してもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応している。上記プログラムコード命令はまた、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを判断してもよい。上記プログラムコード命令はまた、一つ又は複数の他の情報レイヤを選択のために自動的に提案してもよい。

【0020】

実施形態によっては、本発明は、デバイスの現在位置においてレイヤがバーチャル情報を有するがどうかを推測するために時間を使う代わりにに、現実世界のオブジェクトに重ね合わせられてもよいバーチャル情報に集中することができてもよいため、優れたユーザ体験を提供しうる。その結果、デバイスのユーザは、そのデバイスを通じてアクセス可能なサービスやアプリケーションに関して、改善された機能を楽しむことが可能になりうる。

【図面の簡単な説明】

【0021】

本発明のいくつかの実施形態を一般的な用語で説明してきたが、ここで添付の図面を参照する。これらの図面は正しいスケールで描かれているとは限らないことに注意されたい。

【0022】

【図1】デバイスのカメラビューにおいて複数の情報を提供する拡張現実ブラウザを説明するための図である。

【0023】

【図2】ある情報レイヤにおいて、デバイスのカメラビューに情報をほとんど提供しない拡張現実ブラウザを説明するための図である。

【0024】

【図3】本発明のある例示的実施形態に従うシステムの概要を示すブロックダイヤグラムである。

【0025】

【図4】本発明のある例示的実施形態に従う、拡張現実において一つ又は複数の情報レイヤの提案を自動的に生成する装置の概要を示すブロックダイヤグラムである。

【0026】

【図5】本発明のある例示的実施形態に従い、デバイスのカメラビューに情報レイヤの提案を自動的に提供する例を描いた図である。

【0027】

【図6】本発明のある例示的実施形態従い、デバイスのカメラビューで提案された情報レイヤの選択に応じた情報を描いた例の図である。

【0028】

【図7】ある例示的実施形態に従うシステムの概要を示すブロックダイヤグラムである。

【0029】

【図8】本発明のある例示的実施形態に従うネットワーク要素の概要を示すブロックダイヤグラムである。

【0030】

【図9】本発明のある例示的実施形態に従い、拡張現実に対して一つ又は複数の情報レイヤの提案を自動的に生成することのフローチャートを描く。

【詳細な説明】

【0031】

以下、本発明のいくつかの実施形態を、添付図面を参照しつつ、より詳細に説明する。ただし、本発明の全ての実施形態が紹介されるわけではない。事実、本発明の様々な実施形態が、多くの異なる形態で実施されることが可能であり、本発明の実施形態がここで説明されるものに限定されると受け取られるべきではない。本明細書及び図面において、同じような符号は同様の要素を表す。本明細書において、"データ"や"コンテンツ"、"情報"のような用語は、本発明の実施形態に従って送信されたり受信されたり、または格納されたりすることができるデータを表すために、言い換え可能に使用されている場合がある。さらに、本明細書で使用される"例示的"との語句は、何らかの定性的評価を表現するために使用されているわけではなく、ただ例を示すことを表現するために使用されているにすぎない。したがって、これらいかなる用語の使用も、本発明の実施形態の思想や範囲を制限するものとして捉えられるべきではない。

【0032】

さらに、本明細書において、"回路（circuitry）"との語句は、（ａ）ハードウェアのみにより実装された回路、例えばアナログ回路やデジタル回路による実装や、（ｂ）回路とコンピュータプログラムとの組み合わせを表すことができる。このコンピュータプログラムは一つ又は複数のコンピュータ読み取り可能なメモリに格納されるソフトウェアやファームウェア命令を含み、それらは、本明細書で説明される一つ又は複数の機能を装置に実行させるために協働する。また本明細書における"回路（circuitry）"との語句は、（ｃ）マイクロプロセッサやマイクロプロセッサの一部のような回路を表してもよい。これらマイクロプロセッサ等は、ソフトウェアやファームウェアが物理的に存在しなかったとしても、動作するためにはソフトウェアやファームウェアを必要とする要素である。さらなる例として、本明細書で使用される"回路（circuitry）"との語句は、一つ又は複数のプロセッサや一つ又は複数のプロセッサの部分、及び付随するソフトウェアファームウェアを含む実装を表してもよい。さらに別の例として、携帯電話のためのベースバンド集積回路やアプリケーションプロセッサ集積回路を表してもよく、また、サーバやセルラネットワークデバイス、その他のネットワークデバイス、その他のコンピューティング装置における同様の集積回路を表してもよい。

【0033】

本明細書で定義される"コンピュータ読み取り可能な記憶媒体"は、非一時的で物理的又は触れることのできる記憶媒体であり、例えば揮発性又は非揮発性のメモリデバイスであり、電磁波信号を表す"コンピュータ読み取り可能な伝送媒体"の形態とは区別可能なものである。

【0034】

また、本明細書で使用される"レイヤ"，"情報レイヤ"，"情報のレイヤ"は、ディスプレイに表示される情報のレイヤであることができる。情報のレイヤは、一つ又は複数のコンテンツプロバイダによって提供されてもよく、また、バーチャルオブジェクトなどのバーチャル情報のアイテムに対応していてもよい。ここで、情報のレイヤは、個々のグラフィック要素が情報を特定するバーチャルオブジェクトのレイヤであることができる（ただしそのようなレイヤに限られるわけではない）。バーチャルオブジェクトは、例えば、アイコンや絵文字などのグラフィック要素であってもよい。情報レイヤ情報は、例えば地理的座標やその他の適当なデータのような位置情報に関連付けられたものであってもよい。ここで地理的座標は、例えば緯度や経度、高度のような座標であってもよい。例えば、バーチャル情報のアイテムは、デバイスの現在位置またはデバイスに現在表示されている現実世界のオブジェクトの現在位置を特定する位置情報の受信に関係していてもよい。ある実施形態において、情報のレイヤは、重ね合わせられた同じものの部分として一緒に表示されるべきもののような形で関連付けられる情報であってもよい。異なるレイヤは異なるコンテンツプロバイダによって提供されてもよく、また、異なるバーチャルオブジェクトに対応していてもよい。

【0035】

限定のためではなく例示の目的で、情報のレイヤは、コンテンツプロバイダによって提供される情報に関連付けられるアイコンのレイヤであってもよい。ここで例えば、コンテンツプロバイダはWikipediaのウェブサイトであり、情報はWikipediaの記事であり、アイコンはWikipediaのアイコンであることができる。

【0036】

さらに、本明細書で使用される、"カメラビューアングル"や"カメラビューフィールド"は、ディスプレイに表示されるカメラのアングルを表してもよい。"情報ポイント"や"興味のあるポイント（ＰＯＩ）"、"拡張現実（ＡＲ）情報のアイテム"、"ＡＲ情報"、"バーチャル情報"、"バーチャル情報のアイテム"は、何らかの情報を含むか何らかの情報に関連付けられる、空間の中のポイント表すものとして、互いに言い換え可能に使用される場合がある。ここで空間とは、例えば緯度や経度、高度のような座標であることができ、何らかの情報とは、例えばテキストやオーディオデータ、画像や写真、ビデオのようなメディアコンテンツであることができる。情報ポイントやＰＯＩ、ＡＲ情報のアイテム、ＡＲ情報、バーチャル情報、バーチャル情報のアイテムは、例えばアイコンや絵文字のようなバーチャルオブジェクト（例えばグラフィック要素）によって、ディスプレイ上でマークされてもよい。

【0037】

図３は、例示的な通信環境の中に移動端末１０のようなデバイスが示されている、一般的なシステムを説明するための図である。図３に描かれるように、本発明の例示的実施形態に従うシステムの実施例は、例えば移動端末１０のような第１の通信デバイスと、第２の通信デバイス２０とを有してもよく、これらはネットワーク３０を介して互いに通信可能である。本発明の実施形態によっては、一つ又は複数のさらなる通信デバイスを含んでいてもよい。それらのうちの一つは第３の通信デバイス２５として図３に描かれている。実施形態によっては、本発明の実施形態を用いる全てのシステムが、ここで図示される全てのデバイスを含んでいるわけではない。携帯端末１０や、第２及び第３の通信デバイス２０，２５の実施形態が、本願において図示されまた説明されるが、それは例示目的のためであり、他のタイプの端末が、本発明の実施形態を容易に利用可能である。このようなタイプ端末とは、例えばＰＤＡ、ポケットベル、携帯テレビ、移動電話、ゲーム機、ラップトップコンピュータ、カメラ、ビデオレコーダ、オーディオ・ビデオプレーヤ、ラジオ、ＧＰＳ（全地球測位システム）デバイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセット、ＵＳＢデバイスであることができ、またこれらの組合せが、その他のタイプの音声及びテキストコミュニケーションシステムであってもよい。また、移動タイプではないデバイス、例えばサーバやパーソナルコンピュータも、本発明の実施形態を容易に利用可能である。

【0038】

ネットワーク３０は、対応する有線及び／又は無線インタフェースを介して互いに通信している、様々に異なるノードやデバイス、機能の集合である。ノードの一例は、第２及び第３の通信デバイス２０，２５である。このように、図３は、システムのある要素の大まかな見方の例であると理解されるべきものであって、システム又はネットワーク３０の包括的又は詳細な図であるとは理解されるべきではない。実施形態によっては、ネットワーク３０は、第１世代（１Ｇ）、第２世代（２Ｇ）、２．５Ｇ、第３世代（３Ｇ）、３．５Ｇ、３．９Ｇ，第４世代（４Ｇ）の移動通信プロトコル、ロング・ターム・エボリューション（ＬＴＥ）、及び／又は同様のもののうちの一つ又は複数のものに従う通信をサポートする能力を有する。なお必ずそのような能力を有さなければならないと言うわけではない。実施形態によっては、ネットワーク３０は、ポイント・ツー・ポイント（Ｐ２Ｐ）ネットワークである。

【0039】

移動端末１０や第２，第３の通信デバイス２０，２５のような、一つ又は複数の通信デバイスは、ネットワーク３０を介して互いに通信し、それぞれ一つ又は複数のアンテナを、基地局との信号の送受信のために備えている。基地局は、例えば、一つ又は複数のセルラネットワークや移動ネットワークの一部をなすものであってもよい。基地局はまた、ローカルエリアネットワーク（ＬＡＮ）や都市規模ネットワーク（ＭＡＮ）、インターネットなどを広域ネットワーク（ＷＡＮ）などのデータネットワークの一部をなすものであってもよい。同様に、パーソナルコンピュータやサーバコンピュータ、また同様のもののような処理要素のような他のデバイスが、ネットワーク３０を介して、移動端末１０や第２，第３の通信デバイス２０，２５に接続されていてもよい。移動端末１０や第２，第３の通信デバイス２０，２５、また他のデバイスを、直接的又は間接的にネットワーク３０に接続することにより、移動端末１０や第２，第３の通信デバイス２０，２５は、互いに又は他のデバイスと通信することが可能になる。この通信は、様々な通信プロトコルに従って行うことができる。そのようなプロトコルには、ハイパーテキスト・トランスファー・プロトコル（ＨＴＴＰ）や同様のものがある。それによって、移動端末１０や第２，第３の通信デバイス２０，２５との間で様々な通信や機能を実行することができる。

【0040】

さらに、図３には描かれていないが、移動端末１０や第２，第３の通信デバイス２０，２５は、例えばＲＦや近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）、赤外線（ＩＲ）などの、様々な有線又は無線通信技術によって通信してもよい。このような通信技術には、ローカルエリアネットワーク（ＬＡＮ）や無線ＬＡＮ（ＷＬＡＮ）、ＷｉＭＡＸ、ＷｉＦｉ，ウルトラワイドバンド（ＵＷＢ）、Ｗｉｂｒｅｅ技術や、それらと同様のものが含まれる。このように、移動端末１０や第２，第３の通信デバイス２０，２５は、非常に多くの様々なアクセス機構によって、ネットワーク３０及び互いに対して通信可能に構成されうる。例えば、Ｗ−ＣＤＭＡやＣＤＭＡ２０００、ＧＳＭ、ＧＰＲＳといったものや同様のものがサポートされることができ、また、ＷＬＡＮやＷｉＭＡＸといったものや同様のもののような無線アクセス技術がサポートされてもよく、デジタル加入者回線（ＤＳＬ）やケーブルモデム、イーサネットといったものや同様のもののような有線アクセス技術がサポートされてもよい。

【0041】

ある政治的実施形態では、第１の通信デバイス（例えば移動端末１０）は、移動通信デバイスであり、例えば、無線電話やその他のデバイス、例えば、ＰＤＡや移動コンピューティング装置、カメラ、ビデオレコーダ、オーディオ又はビデオプレーヤ、測位装置、ゲーム機、テレビ、ラジオといった、様々なデバイスであることができ、また、これらの組合せであることができる。第２の通信デバイス２０や第３通信デバイス２５は、移動通信デバイスや固定的な通信デバイスであることができる。一例では、第２の通信デバイス２０や第３通信デバイス２５は、サーバやリモートコンピュータ、端末などであり、例えば、パーソナルコンピュータ（ＰＣ）やラップトップコンピュータのようなものであってもよい。

【0042】

ある実施形態において、ネットワーク３０は、スマートスペースであるように構成されたアドホックネットワークや分散ネットワークであることができる。したがって、ネットワーク３０に出入りするデバイスやネットワーク３０デバイスは、その動作を、他のデバイスの出入りに基づいて調節する機能を有してもよく、それによって、デバイスやノードの増減やそれらの応答可能性を考慮するようにされてもよい。実施形態によっては、ネットワーク３０と通信を行なう一つ又は複数のデバイスは、図４のレイヤ提案モジュール７８のようなレイヤ提案モジュールを採用してもよい。レイヤ提案モジュールは、一つ又は複数の情報レイヤの提案を生成してもよい。提案された情報レイヤは、デバイス（例えば移動端末１０）のディスプレイ（例えば図４のディスプレイ８５）に表示されてもよい。提案された情報レイヤは、デバイスの現在位置に対応する情報（例えばジオコードにより符号化された情報）に関連付けられていてもよい。実施形態によっては、提案された情報レイヤは、ディスプレイのカメラビュー上のバーチャルオブジェクト（例えばアイコン）として、レイヤ提案モジュールによって表示されてもよい（なお、必ず表示されなければならないという訳ではない）。これらのバーチャルオブジェクトの一つ又は複数を選択することにより、バーチャルオブジェクトに関連付けられた情報が供給され、ディスプレイに表示されてもよい。

【0043】

実施形態によっては、移動端末１０や第２・第３の通信デバイス２０・２５は、レイヤ提案モジュールを有するように構成される。しかし、別の実施形態においては、移動端末１０はレイヤ提案モジュールを有するが、第２・第３の通信デバイス２０・２５はサーバ又は同様のネットワーク要素であり、互いに及び／又は移動端末１０と通信するように構成される。例えば、ある例示的実施形態では、第２の通信デバイス２０は特定の情報ソースやサービスに関連した専用のサーバ又はサーババンクであり、又は第２の通信デバイス２０は、一つ又は複数の機能又はサーバに関連するバックエンドサーバであってもよい。ここで、上記のサービスは、例えば、ローカライズされた拡張現実サービスや、地図サービス、検索サービス、メディア提供サービスなどでありうる。このように、第２の通信デバイス２０は、複数のことのサービスや情報のソースのためのホストである可能性があるものとして表されてもよい。実施形態によっては、第２の通信デバイス２０の機能は、ハードウェア及び／又はソフトウェア要素によって提供され、これらは、通信デバイスのユーザで情報を提供するための既知の技術にしたがって動作するように構成される。しかし、第２の通信デバイス２０によって提供される機能の少なくともいくつかは、本発明の例示的実施形態に従って提供される情報である。

【0044】

実施形態によっては、第２の通信デバイス２０は、ローカライズされた拡張現実サービスを提供する装置をホストしてもよい。及び／又は第２の通信デバイスは、本発明を実施するにあたって、情報（例えばパノラマイメージ）をデバイス（例えば移動端末１０）に提供する提供サービスをホストしてもよい。ローカライズされた拡張現実サービスは、デバイス（例えば移動端末１０）のカメラビューに表示された環境や、環境の現実のオブジェクトについてのバーチャル情報のアイテムを提供してもよい。

【0045】

第３通信デバイス２５もまた、多くの機能や、様々な情報ソースやサービスへの接続を提供するサーバであってもよい。そのようなサービスには、例えば、ローカライズされたバーチャルリアリティ／拡張現実サービスや、地図サービス、検索サービス、メディア提供サービスなどがある。ここで第３の通信デバイス２５は、バーチャルリアリティ／拡張現実情報を第２の通信デバイス２０に提供する装置をホストしてもよい。それによって第２の通信デバイスは、本発明のある実施形態を実施するにあたって、デバイス（移動端末１０）に、バーチャルリアリティ／拡張現実情報を提供することができるようになってもよい。第３の通信デバイス２５によって第２の通信デバイス２０に提供されるバーチャルリアリティ／拡張現実情報は、デバイス（例えば移動端末１０）のカメラビューに表示された環境や、環境の現実のオブジェクトについてのバーチャル情報のアイテムを提供してもよい。

【0046】

実施形態によっては、携帯電話１０が、それ自身で、例示的実施形態を実行する。実施形態によっては、第２・第３の通信デバイス２０・２５が、他のデバイス（例えば移動端末１０）における例示的実施形態の実行を、例えば拡張現実情報の提供などによって、手助けする。さらに別の実施形態では、第２・第３の通信デバイス２０・２５は全く含められなくともよい。

【0047】

図４は、本発明の例示的実施形態に従い、拡張現実において一つ又は複数の情報レイヤの提案を自動的に生成する装置の概要を説明するブロックダイヤグラムである。以下、本発明のある例示的実施形態を、図４を参照して説明する。ここでは、装置５０のある要素が示されている。図４の装置５０は、例えば、移動端末１０に利用されてもよい。及び／又は、第２の通信デバイス２０や第３の通信デバイス２５に利用されてもよい。又は、装置５０は、ネットワーク３０のネットワークデバイスとして具現化されてもよい。しかしながら装置５０は、他の様々なデバイスとして具現化されてもよく、それは移動デバイスでも固定的なデバイスでもよく、例えば、本明細書の前の方で挙げられた如何なるデバイスとして具現化されてもよい。ある場合では、複数のデバイスの組み合わせにおいて、実施形態が用いられてもよい。このように、本発明の実施形態は、その全てが単一のデバイス（例えば移動端末１０）において具現化されてもよく、また、複数のデバイスによる分散した形態で（例えばＰ２Ｐネットワークにおける一つ又は複数のデバイスの上で）具現化されてもよく、また、クライアントサーバの関係を有する複数のデバイスによって具現化されてもよい。さらに、以下に説明されるデバイスや要素は、必須的なものではない場合があり、実施形態によってはそれらは省略されてもよい。

【0048】

図４を参照すると、装置５０はプロセッサ７０やユーザインタフェース６７、通信インタフェース７４、メモリデバイス７６、ディスプレイ８５、方位モジュール７１．レイヤ提案モジュール７８、測位センサ７２、カメラモジュール３６を備えてもよく、又はそうでなければ、これらの要素と通信してもない。メモリデバイス７６は、例えば、揮発性又は非揮発性のメモリを含んでもよい。メモリ７６は、例えばプロセッサ７０等のコンピューティング装置のような機械によって呼び出されることが可能なデータ（例えばビット）を格納するように構成されるゲートを備える、電子的な記憶デバイス（例えばコンピュータ読み取り可能な記憶媒体）であってもよい。例示的実施形態によっては、メモリデバイス７６は、触ることができるメモリデバイスであり、一時的なものではない。メモリデバイス７６は、情報やデータ、ファイル、アプリケーション、命令といったものや同様のものを格納するように構成され、それによって、装置が、本発明の例示的実施形態に従う様々な機能を遂行しうるようにされている。メモリデバイス７６は、例えば、プロセッサ７０によって処理される入力データをバッファするように構成されることができる。さらに、又は代替的に、メモリデバイス７６は、プロセッサ７０によって実行される命令を格納するように構成されることができる。さらに別の代替例では、メモリデバイス７６は、（例えば写真やビデオなどの）メディアコンテンツや情報を格納するデータベースのうちの一つであってもよい。

【0049】

メモリデバイス７６は、ジオコードによって符号化された情報であって、例えば緯度や経度、高度といった、現実世界のオブジェクトの座標に対応する位置情報に関連付けられる情報を格納してもよい。ジオコードにより符号化された情報は、プロセッサ７０及び／又はレイヤ提案モジュール７８によって評価されてもよく、ジオコードにより符号化された情報に関連するデータが、ディスプレイのカメラビューに提供されてもよい。実施形態によっては、プロセッサ７０及び／又はレイヤ提案モジュール７８は、ディスプレイのカメラビューに表示された現実世界のオブジェクトの位置が、ジオコードにより符号化された情報の位置情報に一致するという判断に応じて、ジオコードにより符号化された情報に関連する情報をディスプレイのカメラビューに提供してもよい。

【0050】

プロセッサ７０は、様々に異なる方法により具現化されることができる。例えばプロセッサ７０は、次の様々な処理手段の一つ又は複数によって具現化されることができる。このような手段には、コプロセッサやマイクロプロセッサ、コントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、ＤＳＰを有する又は有さない処理回路、その他の処理デバイスが含まれる。その処理デバイスには、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ、マイクロコントローラユニット（ＭＣＵ）、ハードウェアアクセラレータ、特定用途向けコンピュータチップ、又は同様の集積回路が含まれる。歴史的な実施形態によっては、プロセッサ７０は、メモリデバイス７６又はプロセッサ７０がアクセス可能なメモリデバイスに格納された命令を実行するように構成される。このように、ハードウェアにより構成されるかソフトウェア的な方法で構成されるか、又はこれらの組み合わせによって構成されるかに関わらず、プロセッサ７０は、本発明の実施形態に従う処理を実行するように構成されることもでき、また、そのような処理を実行することが可能な要素（例えば回路に物理的に具現化された要素）を表してもよい。したがって、例えば、プロセッサ７０が、ＡＳＩＣやＦＰＧＡのようなもので具現化されるとき、プロセッサ７０は、本明細書で説明される処理を遂行するために特別に構成されたハードウェアでありうる。又は、別の実施例では、プロセッサ７０がソフトウェア命令の実行要素として具現化される場合は、そのような命令は、実行されることによって本明細書で説明されるアルゴリズムや処理をプロセッサ７０に遂行させるように特別に構成されてもよい。しかしながら、ある場合においては、プロセッサ７０は、移動端末やネットワークデバイスなどの特定のデバイスのプロセッサであり、本明細書で説明されるアルゴリズムや処理を遂行するための命令によって構成することにより、本発明の実施形態を用いるように適合されたプロセッサであってもよい。プロセッサ７０は、とりわけ、プロセッサ７０の処理をサポートするように構成される、クロックや論理演算ユニット（ＡＬＵ）、ロジックゲートを備える。

【0051】

実施形態によっては、プロセッサ７０は、ブラウザや拡張現実（ＡＲ）ブラウザ、ウェブブラウザや、同様のもののような接続プログラムを動作させるように構成されてもいる。ここで、接続プログラムは、装置５０がウェブコンテンツを送受信することを可能にしてもよい。このようなウェブコンテンツには、例えば、位置ベースのコンテンツや他の適当なコンテンツであることができ、例えば、ワイヤレスアプリケーションプロトコル（ＷＡＰ）に従うコンテンツであってもよい。ＡＲブラウザは、物理的な現実世界環境のビューの中のオブジェクトを情報を用いて探索することを補助するユーザインタフェースであってもよいことは注意すべきである。そのような情報は、例えば、一つまたは複数の情報レイヤであってもよく、そのような情報レイヤは、周囲の現実世界のオブジェクトについてのデータを提供することにより、何らかの形で付加、拡張または変化させられた情報レイヤであってもよい。情報レイヤは、現実世界のビューの前面に表示されてもよい（必ずしもそうでなくともよい）。ＡＲブラウザは、プロセッサ７０によって、一つまたは複数の拡張現実アプリケーションを実行することを助けるために使用されてもよい。プロセッサ７０は又、ディスプレイ８５と通信してもよく、データやコンテンツ（例えばメディアコンテンツ）又は同様のもののような適当な情報を描くようにディスプレイに指示してもよいことは、述べておく必要があるだろう。

【0052】

一方、通信インタフェース７４は、装置５０と通信している他のデバイスやネットワークとの間でデータを送受信しうるように構成されるハードウェアやコンピュータプログラム製品、またはハードウェアとソフトウェアの組み合わせとして具現化されるデバイスや回路のような、どのような手段であってもよい。ここで通信インタフェース７４は、例えば、一つまたは複数のアンテナや、無線通信ネットワーク（例えばネットワーク３０）との通信を可能とするようなサポートハードウェアやソフトウェアを備えてもよい。固定ネットワークの環境においては、通信インタフェース７４は、代替的にまたは一緒に有線通信をサポートしてもよい。ここで通信インタフェース７４は、通信モデムや、ケーブルによる通信をサポートするその他のハードウェアやソフトウェア、デジタル加入者回線（ＤＳＬ）、ＵＳＢ、イーサネットまたは他の通信機構のいずれか一つ以上を含んでいてもよい。

【0053】

ユーザインタフェース６７は、ユーザインタフェース６７でなされるユーザ入力を表す情報を受け取ったり、可聴的・視覚的・機械的・またはその他の出力をユーザに提供したりするために、プロセッサ７０と通信する。ここでユーザインタフェース６７は、例えば、キーボードやマウス、ジョイスティック、ディスプレイ、タッチスクリーン、マイクロホン、スピーカ、またはその他の入力／出力機構を含んでもよい。装置がサーバやその他のネットワークデバイスとして具現化される例示的実施形態によっては、ユーザインタフェース６７は制限されたものであったり、離れたところに設けられていたり、取り除かれていたりしてもよい。プロセッサ７０は、ユーザインタフェースの一つまたは複数の要素の少なくとも何らかの機能を制御するように構成されるユーザインタフェース回路を有していてもよい。そのような要素には、例えば、スピーカやリンガ、マイクロホン、ディスプレイ、及びそれらと同様のものの、一つ以上がある。プロセッサ７０や、プロセッサ７０有するユーザインタフェース回路は、プロセッサ７０がアクセス可能なメモリ（例えばメモリデバイス７０６など）に格納されるコンピュータプログラム命令（例えばソフトウェアやファームウェア）を通じてユーザインタフェースの一つまたは複数の要素の一つまたは複数の機能を制御するように構成されてもよい。

【0054】

装置５０は、カメラモジュール３６のようなメディアキャプチャ要素を含む。カメラモジュール３６はプロセッサ７０やディスプレイ８５と通信するカメラモジュールやビデオモジュール、オーディオモジュールのいずれか一つ以上を含んでもよい。カメラモジュール３６は、保存、表示、または送信するために、画像やビデオ、オーディオのいずれか一つ以上をキャプチャする、如何なる手段であってもよい。例えばカメラモジュールは、キャプチャしたイメージからデジタル画像ファイルを形成する能力を有するデジタルカメラを含んでもよい。ここでカメラモジュール３６は、レンズやその他の光学部品のような全てのハードウェアと、キャプチャされたイメージからデジタル画像ファイルを形成するために必要なソフトウェアを含んでもよい。別の実施例では、カメラモジュール３６は、イメージを見るために必要なハードウェアしか有しておらず、メモリデバイス７６などの、装置５０のメモリデバイスが、キャプチャされたイメージからデジタル画像ファイルを形成するために必要なソフトウェアの形態で、プロセッサに実行されるための命令を格納していてもよい。例示的実施形態によっては、カメラモジュール３６は、プロセッサ７０が画像データを処理することを補助するコプロセッサや、画像データを圧縮・伸長するためのエンコーダ及び／又はデコーダのような処理要素をさらに含んでいてもよい。エンコーダ及び／又はデコーダは、ＪＰＥＧ標準フォーマットやその他の同様のフォーマットに従ってエンコーダやデコードを行ってもよい。ある例では、カメラモジュール３６はイメージデータをリアルタイムでディスプレイ８５に提供してもよい。ここでカメラモジュール３６は、リアルタイムのイメージデータや静止画像データ、動画データ、又は他の適当なデータを表示すべく、ディスプレイ８５にカメラビューを実装したりその補助をしたりしてもよい。さらに、実施形態によっては、ディスプレイ８５は装置のある側面に設けられてもよく、カメラモジュール３６は、ディスプレイ８５に関して装置５０の反対側の側面に設けられるレンズを備えてもよい。それによって、装置５０の一方の側のイメージをキャプチャすることができ、装置５０の他方の側にいるユーザに、当該イメージの現在のビューを提示することができる。

【0055】

さらに装置５０、測位センサ７２を備えていてもよい。測位センサ７２は、例えば、全地球測位システム（ＧＰＳ）センサやアシスト型ＧＰＳセンサ、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）−ＧＰＳモジュール、その他のＧＰＳ又は測位受信機や同様のものを含んでいてもよい。ある実施例においては、測位センサ７２は歩数計又は慣性センサを備えていてもよい。ここで測位センサ７２は、装置５０の位置を決定する能力を有していてもよい。決定される位置は、例えば、装置５０の経度や緯度の方向や、目的地や出発地のような基準値からの相対的な位置のようなものであってもよい。測位センサ７２はまた、装置５０の高度を決定する能力を有していてもよく、装置５０の位置を決定するために高度情報を使用してもよい。測位センサ７２からの情報は、装置５０のメモリ又はその他のメモリデバイスに送信され、位置の履歴や位置情報として格納される。ここで、例えば、位置履歴は各時間における装置５０の位置に対応するデータポイントの組を定めてもよい。装置５０の様々なイベントやアクティビティが、測位センサ７２によって提供される位置の履歴や位置情報に関連付けられて記録されてもよい。

【0056】

実施形態によっては、装置５０はさらに、方位モジュール７１を備える（又はそれと通信する）。方位モジュール７１は、装置５０又は装置５０のカメラモジュール３６の視野の方位を決定するように構成される、ハードウェアやハードウェア及びソフトウェアの組み合わせとして具現化されるデバイスや回路などの如何なる手段であってもよい。方位モジュール７１はレイヤ提案モジュール７８と通信してもよい。

【0057】

方位モジュール７１は、ある基準に対する装置５０の方位を決定するように構成されてもよい。ある例において、この基準は、北や他の基本方位などの特定の方角であってもよい。別の基準が用いられてもよい。ある実施例では、方位モジュール７１は、装置５０が向いている方角や、カメラモジュール３６のレンズがポイントしている方向を決定するように構成される、コンパスやその他の方位センサを備えてもよい。方角や向きは、基準からオフセットした角度（例えば０から３６０度）の観点で決定されてもよい。ある例においては基準は固定されている。例えば固定された基準の方角がある。別の例では、基準は場合に応じた基準（reference of opportunity）であり、例えば、カメラモジュールでキャプチャされたイメージ中で最も目を引く特徴や、または単純に初めの方角などであることができる。実施形態によって、方位モジュール７１は電子コンパスや水平センサ、重力センサ、加速度計、ジャイロスコープ、磁力計、及び／又は同様のものや、方位情報を決定するのに有用でありうる如何なるセンサを含んでもよい。

【0058】

実施形態よっては、プロセッサ７０は、レイヤ提案モジュール７８として具現化されてもよく、またはそれを含むように、またはそれを制御するように、具現化されてもよい。ある実施形態では、プロセッサ７０は、本明細書で説明されるような、レイヤ提案モジュール７８による様々な機能の実行や発現を、行わせると表現されたり、命令するまたは制御すると表現されたりしてもよい。レイヤ提案モジュール７８は、本明細書で説明されるような、レイヤ提案モジュールの対応する機能をデバイスや回路に遂行させるように構成される、（ソフトウェアに従って制御される）デバイスや回路のような手段であってもよく、またはハードウェアやハードウェア及びソフトウェアの組み合わせとして具現化されてもよい。例えば、ソフトウェアの制御下で動作するプロセッサ７０や、本明細書で説明される処理を実行するように特別に構成されたＡＳＩＣやＦＰＧＡなどとして構成されたプロセッサ７０や、これらの組み合わせとして具現化されてもよい。ソフトウェアが用いられる実施例では、当該ソフトウェアを実行するデバイスまたは回路（その一例はプロセッサ７０であるが）は、上記のような手段に関連する構成を形成する。

【0059】

実施例によっては、レイヤ提案モジュール７８は、装置５０の現在の場所（や位置）を表す位置情報や、装置５０に現在表示されている現実世界のオブジェクトの場所（や位置）を表す位置情報を受け取るように構成されてもよい。そのような情報は、例えば測位センサ７２から得られてもよい。レイヤ提案モジュールはまた、例えば方位モジュール７１から、現在の場所に関する装置５０の方位を示す方位情報を受け取るように構成されてもよい。すなわち、装置５０が現在位置において期待しうる視野（field of view）を、現在位置と方位の情報に基づいて決定しうるように、レイヤ提案モジュール７８は、（ある基準に対する移動端末１０の方位を示す情報または記述する情報）を受け取ってもよい。レイヤ提案モジュール７８は、その後、拡張現実情報／バーチャルリアリティ情報（以下、ＡＲ情報とも称される）を、ＡＲリポジトリ８４から呼び出す（または要求する）。ＡＲリポジトリ８４は、現在位置と方位情報とを相互に関連付けている。本明細書で言及されるとき、ＡＲ情報は、現実世界のオブジェクトの位置情報に対応する、ジオコードにより符号化された情報を含んでもよい。なおＡＲ情報との語句は、本明細書においてバーチャル情報と言い換え可能に使用されている。また、上記の位置情報は、例えば経度や緯度、高度の座標であることができ、上記の現実世界のオブジェクトは、例えば建物やランドマークなどであることができる。ＡＲ情報は、一つまたは複数の情報レイヤを含んでもよい。現実世界のオブジェクトは、カメラモジュール３６のカメラビューやディスプレイ８５に表示された、装置５０の現在位置の中のオブジェクトに関連付けられてもよい。情報レイヤは、例えばアイコン、絵文字、イメージといったものや同様のもののような、一つまたは複数のバーチャルオブジェクトに関連付けられてもよい。情報レイヤはまた、一つまたは複数のコンテンツプロバイダにより提供されてもよい（必ずしも提供されなくともよいが）情報やコンテンツ、データといったものや同様のものに対応するものであってもよい。上記のコンテンツプロバイダは、例えばサービスプロバイダであってもよく、例えば、Wikipedia（登録商標）やTwitter（登録商標）、YouTube（登録商標）、Picasa（登録商標）のようなもののサービスプロバイダであってもよい。

【0060】

実施形態によっては、ＡＲリポジトリ８４は、メモリデバイス７６の一部分であってもよく、または、複数のＡＲ情報を格納する外部のメモリまたはデータベースであってもよい。代替的に、ＡＲリポジトリ８４は、レイヤ提案モジュール７８に結びついていてもよい。

【0061】

ＡＲリポジトリ８４は一つまたは二つの情報レイヤや、ＡＲ情報のアイテムなどのＡＲ情報、またその他の適切なデータに関連する情報を格納してもよいことは述べておくべきであろう。ＡＲ情報は、例えばテキストやオーディオ、イメージ、画像、写真、動画データなどのようなデータを含むか又はそのようなデータに関連付けられる、ジオコードにより符号化された情報を含んでもよい。なお、必ずしも含まなくてもよい。ジオコードにより符号化された情報は、例えば経度や緯度、高度の座標のような、位置情報に対応する地理的座標を含んでもよい。ある例示的実施形態において、ＡＲリポジトリ８４に格納されるイメージは、特定の場所や方角に関連するパノラマ画像である。

【0062】

ある実施形態では、レイヤ提案モジュール７８は、位置情報及び方位情報を受信した後に、ＡＲリポジトリ８４からＡＲ情報を選択してもよい。しかし別の実施形態では、いくつかのイメージが、おそらく方位情報が知られる前に又は特定のＡＲ情報が要求される前に、位置情報に基づいて、プリフェッチされてもよい。プリフェッチされたＡＲ情報は、リモートのソースから受信されローカルに格納されてもよい。そのようにすれば、検索処理の間に取り扱わなければならないであろうＡＲ情報のセットが小さくて済むため、ＡＲ情報を検索しなければならないとき、現在の位置や方位情報に適合する特定のＡＲ情報を検索するのに必要な計算リソースの消費量が少なくてすむだろう。

【0063】

ある例示的実施形態のレイヤ提案モジュール７８は、提案する情報レイヤを一つ又は複数自動的に生成するために、測位センサ７２により提供される位置情報、及び／又は、方位モジュール７１から提供される方位情報を利用してもよい。提案される情報レイヤは、例えばバーチャルオブジェクトであることができ、それは、例えばコンテンツプロバイダの情報に対応するアイコンであることができる。提案される情報レイヤは、カメラモジュールのカメラビューやディスプレイ８５に表示されうる、装置５０の環境中の現実世界のオブジェクトに対応する情報に関連したものであってもよい。提案される情報レイヤは、リスト中に提供されてもよい（必ずしもそうでなくてもよい）。提案される情報レイヤは、ユーザにより選択されるためのアイコンによるオプションレイヤであってもよい。

【0064】

ある例示的実施形態において、提案されるレイヤは、レイヤ提案モジュール７８によってディスプレイ８５のカメラビューに提供される。提案されるレイヤは、現在イネーブルにされている情報レイヤが所定の閾値以上の所定のＡＲ情報を提供しない場合に、ユーザの選択に供される。この閾値は、例えば、ＡＲ情報のアイテム数（例えばアイコンの数）が３０個などと設定することができる。例えばユーザは現在、Wikipediaのアイコンに関連付けられるバーチャルオブジェクトを提供すべく、Wikipediaの情報レイヤを選択しているとしよう。このような状況において、現在イネーブルにされている情報レイヤに対応するＡＲ情報が、所定の閾値より少ない場合は、レイヤ提案モジュール７８は、ディスプレイ８５のカメラビューに提案するレイヤを自動的に提供し、選択に供してもよい。一方、現在イネーブルにされている情報レイヤのAR情報が所定の閾値以上である場合、ユーザが満足するに十分な程度のＡＲ情報が提供されているであろうと考えられるため、レイヤ提案モジュール７８は、ディスプレイ８５のカメラビューにレイヤ提案を提供し選択に供することはしないであろう。

【0065】

レイヤ提案モジュール７８がディスプレイ８５のカメラビューに情報レイヤの提案を提供する場合、装置５０のユーザは、提案された情報レイヤの一つを選択してもよい。提案された情報レイヤ（例えばコンテンツプロバイダのバーチャルオブジェクト）の一つを選択することに応じて、選択された情報レイヤに関連する情報がディスプレイ８５のカメラビューに提供され、表示されてもよい。イネーブルにされている情報レイヤのＡＲ情報が所定の閾値以下である場合にレイヤ提案モジュール７８によって提供される提案レイヤは、イネーブルにされている情報レイヤのＡＲ情報と同じカテゴリ（例えば写真やイメージ）に対応してもよいことは、述べておくべきであろう。この点について以下により詳細に説明する。

【0066】

本発明の例示的実施形態の一つが、図５を参照して説明される。限定の目的ではなく例示の目的のために、装置５０のユーザがカメラモジュール３６を現実世界の環境に向けて、ディスプレイ８５のカメラビューに表示されているであろうイメージやライブビデオをキャプチャするという例を考えてみよう。ここで、測位センサ７２はレイヤ提案モジュールに、経度や緯度、高度の座標などの位置情報を提供してもよく、方位モジュール７１は、方角情報などの方位情報をレイヤ提案モジュール７８及び／又はプロセッサ７０に提供してもよい。これらの情報は、装置の現在位置や、ディスプレイ８５のカメラビューに表示されている現実世界のオブジェクトの現在位置に基づいて提供されてもよい。

【0067】

装置５０のユーザが、例えばユーザインタフェース６７のポインティングデバイスなどのユーザインタフェース６７を、情報レイヤを選択してイネーブルにするために利用したとさらに仮定しよう。この例では、ユーザは、カメラモジュール３６を現実世界の環境に向ける前に、対応する情報レイヤをイネーブルにするためにユーザインタフェース６７を利用したかもしれない。ユーザは情報レイヤを、ディスプレイ８５に提供されるメニューやフォルダ、ボタン、また同様のものを用いて、情報レイヤを選択したかもしれない。この例示的実施形態では、コンテンツプロバイダであるFlickr（登録商標）によって提供される、flickr.com,に対応する情報レイヤを選択しイネーブルにしている。コンテンツプロバイダFlickrは、ジオタグが付されたイメージやビデオのサービスを提供しているだろう。

【0068】

ジオタグが付されたイメージやビデオは、例えば経度や緯度、高度の座標などの位置情報に関連付けられていてもよい。ジオタグが付されたイメージやビデオは、ディスプレイ８５のカメラビューに表示された現実世界のオブジェクトの中で、前記ジオタグが付されたイメージやビデオの位置情報に対応するオブジェクトの位置情報が表示されるときに、ディスプレイ８５のカメラビューに提供されてもよい。すなわち、ディスプレイ８５のカメラビューに表示された現実世界のオブジェクトの位置情報が、Flickrで提供される、ジオタグが付されたイメージビデオの一つ又は複数の位置情報に一致したり又は事実上似ていたりする場合に、ジオタグが付されたイメージやビデオのうち対応するものが、ディスプレイ８５に提供されてもよい。

【0069】

位置情報及び／又は方位情報を測位センサ７２や方位センサ７１からそれぞれ受信することに基づいて、レイヤ提案モジュール７８はARリポジトリ８４にアクセスし、イネーブルにされた情報レイヤ（例えばflickr.com）に、ディスプレイ８５のカメラビューに表示された現実世界環境のオブジェクトに対応するAR情報（例えばジオタグがされたイメージやビデオなど）が存在するかどうかを判断する。この例示的実施形態においては、レイヤ提案モジュール７８は、ディスプレイ８５のカメラビューに表示された現実世界の環境の位置情報に関連する、位置情報を有するAR情報のアイテムを一つ決定する。ここでレイヤ提案モジュール７８は、現実世界の環境の位置情報に関連するAR情報５のアイテム（例えばflickr.comが提供するアイコン）をディスプレイ８５に提供し、表示されるようにしてもよい。

【0070】

レイヤ提案モジュール７８は、ディスプレイ８５に表示されるＡＲ情報のアイテムが一つしかないため、イネーブルにされた情報レイヤに対応するＡＲ情報が、所定の閾値より少ないことを決定してもよい。この閾値は、例えば、ＡＲ情報のアイテムが３０個又は４０個などとしてもよく、又はさらに別の適当な値としてもよい。ここでレイヤ提案モジュール７８は、ディスプレイ８５に提供して選択に供すべく、提案する情報レイヤを一つ又は複数自動的に生成してもよい。ここでレイヤ提案モジュール７８は、ＡＲリポジトリ８４をチェックして、ディスプレイ８５のカメラビューに表示されている現実世界環境の位置情報に対応する他の情報レイヤに関連して、ジオコードにより符号化されたＡＲ情報が存在するかどうかを決定してもよい。例示的実施形態によっては、レイヤ提案モジュールは、ユーザによりイネーブルにされた情報レイヤと同じカテゴリの中の情報レイヤに関連するＡＲ情報のために、ＡＲリポジトリ８４をチェックする。レイヤ提案モジュール７８は、データのプロバイダにより生成されたかもしれない、ＡＲ情報に関連するデータの説明を解析して、ＡＲ情報をカテゴリ化してもよい。この例では、拡張現実において一つ又は複数の画像や写真、ビデオを提供することに関連しうる、flickr.comのような情報レイヤをユーザはイネーブルにしている。

【0071】

上記のように、レイヤ提案モジュール７８は、ユーザによって選択されイネーブルにされた情報レイヤのカテゴリと同じカテゴリの情報レイヤを一つ又は複数提案してもよい。例えば、レイヤ提案モジュール７８は、PicasaやYouTubeのようなコンテンツプロバイダに対応する情報レイヤのために、ディスプレイのカメラビューに表示された現実世界環境の位置情報に対応する、ジオコードにより符号化された情報があるかどうかを判断してもよい。なお上記位置情報や、ジオコードにより符号化された情報は、例えば、経度や緯度、高度の少なくとも一つの座標であることができる。ここで、レイヤ提案モジュール７８は、Picasa情報レイヤ７やYouTube情報レイヤ９を自動的にユーザに提案してもよい。この提案は、図５に描かれるように、情報レイヤ７及び９を、装置５０のユーザの選択に供されるようにディスプレイ８５に提供することにより行われてもよい。Picasa及びYouTube情報レイヤ７，９は画像や写真、ビデオ等を提供することに関してもよく、レイヤ提案モジュール７８は、Picasa情報レイヤ７やYouTube情報レイヤ９のAR情報が、同じく画像や写真、ビデオ等を提供するサービスに関するFlickr情報レイヤ５と同じカテゴリに属することを決定してもよい。

【0072】

レイヤ提案モジュール７８によってディスプレイ８５に提供された、提案された情報レイヤ７及び９は、半透明のバーチャルオブジェクトであってもよく、例えばそのようなアイコンや絵文字、その他の適当なグラフィック要素などであることができる。提案された情報レイヤ７及び９のバーチャルオブジェクトは、これらがまたアクティブになっていないことを示すために、図５に示されるように半透明に表示されていてもよい。例示的実施形態によっては、情報レイヤ７や９は、装置５０のユーザにより選択されたときにアクティブになってもよい。この点につき、ユーザは、ポインティングデバイスなどのユーザインタフェース６７を、ディスプレイ８５に表示される情報レイヤ７及び９の一つ又は複数を選択するために利用してもよい。代替的に又は追加的に、ディスプレイ８５がタッチディスプレイ又はタッチスクリーンとして構成されうる実施形態においては、ユーザは、情報レイヤ７及び９の一つ又は複数を選択するために、指や同様のものを利用してもよい。

【0073】

この例では、ユーザはPicasa情報レイヤ７を選択し（すなわちPicasaのアイコンを選択し）、Picasa情報レイヤ７をアクティブにして、Picasa情報レイヤ７のAR情報がユーザにとって重要で興味のあるものであるかを判断してもよい。装置５０のユーザは、レイヤ提案モジュール７８のユーザ設定にアクセスして、情報レイヤの提案を生成する機能をアクティブにしてもよい。さらにユーザは、ユーザ設定にアクセスして、情報レイヤの提案を生成する機能を非アクティブにしてもよい。この場合、レイヤ提案モジュール７８は、現在イネーブルにされている情報レイヤ（例えばFlickr情報レイヤ５）がコンテンツ（例えばAR情報）を全く提供しないか又はほとんど提供しない場合であっても、ユーザの選択に供する情報レイヤを提案しなくともよい。

【0074】

図６を参照して、提案された情報レイヤのうち選択されたものに関連付けられるグラフィック要素であって、現実世界のオブジェクトに重ね合わせられたグラフィック要素の例示的実施形態を紹介する。図６は、上述の図５の例において、レイヤ提案モジュール７８によって提案されたPicasa情報レイヤ７をユーザ選択した状況を描いている。図６に示されるように、提案された情報レイヤ（すなわちPicasa情報レイヤ）の選択に応じて、レイヤ提案モジュール７８は、対応するＡＲ情報のアイテム１１，１５，１７，１９，２１を、ディスプレイ８５のカメラビューに提供してもよい。この例において、ディスプレイ８５のカメラビューに提供されるＡＲ情報のアイテム１１，１５，１７，１９は、例えばアイコンや絵文字などのグラフィック要素のような、提案され選択されたPicasa情報レイヤ７に関連する一つ又は複数のバーチャルオブジェクトであってもよい。（なお、そうでなくてもよい。）図６に描かれるように、レイヤ提案モジュール７８は、提案したPicasa情報レイヤ７の選択に応じて、該Picasa情報レイヤ７を、非透明的な形でディスプレイ８５のカメラビューに提供する。提案したPicasa情報レイヤ７を透明ではない形態でディスプレイ８５のカメラビューに提供することは、Picasa情報レイヤ７がアクティブであることを示してもよい。Picasa情報レイヤ７に関連するＡＲ情報のアイテムもまた、レイヤ提案モジュール７８によってディスプレイ８５のカメラビューに提供されてもよい。それは、情報のアイテムがアクティブであり、ＡＲ情報のアイテム１１，１５，１７，１９，２１に関連するデータやコンテンツを取得するために選択可能であることを示してもよい。

【0075】

ＡＲ情報のアイテム１１，１５，１７，１９，２１は、例えばＡＲリポジトリ８４のような記憶装置から、レイヤ提案モジュール７８によって検索し読み出されてもよい（すなわちリトリーブされてもよい）。この点につき、レイヤ提案モジュール７８は、ＡＲ情報のアイテム１１，１５，１７，１９，２１が、ディスプレイ８５のカメラビューに表示される現実世界環境の現在位置情報に対応する、ジオコードにより符号化されたコンテンツに部分的に関連するデータに対応するかどうかを判断してもよい。例えば、レイヤ提案モジュール７８は、ＡＲ情報のアイテム１１，１５，１７，１９，２１の座標が、ディスプレイ８５に表示されている現実世界のオブジェクトの座標と同じであるか又は近いかを判断してもよい。ここで上記の座標は、例えば緯度や経度、高度のいずれか一つ以上であってもよい。

【0076】

ＡＲ情報のアイテム１１，１５，１７，１９，２１のいずれかを選択することは、レイヤ提案モジュール７８に、当該選択されたアイテムに関連する情報を、ディスプレイ８５のカメラビューに提供することを可能にし、又はその契機となってもよい。ＡＲ情報のアイテムは、ユーザインタフェース６７を介してユーザによって選択されてもよい。例えばユーザインタフェース６７のポインティングデバイスを用いて選択されてもよい。また、ディスプレイ８５がタッチディスプレイやタッチスクリーンを有する場合は、上述のように、指などを用いて選択されてもよい。

【0077】

ここで、ＡＲ情報のアイテム１１，１５，１７，１９，２１のうち選択された一つ又は複数のアイテムに関連するコンテンツやデータは、ディスプレイ８５カメラビューに提供されてもよい。これらコンテンツやデータは、例えば、ディスプレイ８５に表示される現実世界のオブジェクトについての記事であってもよい。ある例示的実施形態では、ＡＲ情報のアイテム１１，１５，１７，１９，２１のうち選択された一つ又は複数のアイテムに関連するコンテンツは、ディスプレイ８５のカメラビューに表示された現実世界のオブジェクトに対応する領域に重ね合わせられて表示されてもよい。（なお、必ずしもそうでなくてもよい。）別の例示的実施形態では、ＡＲ情報のアイテム１１，１５，１７，１９，２１のうち選択された一つ又は複数のアイテムに関連するコンテンツは、カメラビューに表示される現実世界のオブジェクトのビューは無しに、それ自体でディスプレイ８５に表示されてもよい。このような例が便利な場合があり、例えば、ＡＲ情報のアイテムのうち選択されたものに関連するデータが、カメラモジュール３６でキャプチャされている現実世界のオブジェクトのリアルタイムのイメージやビデオに重ね合わせには大き過ぎる場合に便利である。

【0078】

レイヤ提案モジュール７８は、オフラインモードでもオンラインモードでも動作可能であってもよいことは、述べておく必要があるだろう。オフラインモードでは、装置５０は、例えばネットワークデバイスのようなリモートソースのＡＲ情報にアクセスするためのネットワーク３０との接続を有していないかも知れない。（上記のリモートソースは、例えば第２通信デバイス２０のようなサーバであることができる。）この場合、レイヤ提案モジュール７８は、提案した一つ又は複数の情報レイヤに関連する情報や、対応するＡＲ情報のアイテムを、ＡＲリポジトリ８４から得てもよい。ここで、提案した情報レイヤに関連する情報やＡＲ情報のアイテムは、メモリデバイス７６のＡＲリポジトリに予めロードされておいてもよい。加えて、提案した一つ又は複数の情報レイヤに関連する情報や対応するＡＲ情報のアイテムは、パーソナルコンピュータなどの他のデバイスを用いてネットワーク３０を介してダウンロードされ、例えばUSBメモリデバイスなどを使って装置５０に転送され、メモリデバイス７６に格納されてもよい。

【0079】

オンラインモードでは、装置５０は、ネットワーク３０を介して一つ又は複数のデバイス（例えば第２・第３の通信デバイス２０・２５）と通信することができてもよく、装置５０のユーザに提案された一つ又は複数の情報レイヤに関する情報や、対応するＡＲ情報のアイテムを取得することができてもよい。例えば、図７に描かれるように、装置５０は、ユーザに提案された一つ又は複数の情報レイヤに関する情報や、対応するＡＲ情報のアイテムを受信するために、指定されたネットワークデバイス１０８（例えば第２通信デバイス２０のようなサーバ）と通信することができてもよい。ここで、レイヤ提案モジュール７８は、ネットワークデバイス１０８にクエリを送信し、一つ又は複数の情報レイヤに関する情報や、対応する情報アイテムを要求してもよい。クエリは、装置５０の現在位置や、ディスプレイ８５のカメラビューに表示される現実世界のオブジェクトの位置を特定するために、測位センサ７２から供給される位置情報を含んでもよい。

【0080】

クエリの受信に応じて、ネットワークデバイス１０８は、そのメモリの一つ（例えば図８のメモリ９６）を分析して、情報レイヤ（例えばWikipediaやTwitter，Picasaなどのコンテンツプロバイダの情報レイヤ）に関連する何らかの情報や、装置５０のレイヤ提案モジュール７８から提供された位置情報に対応する、前記情報レイヤに対応するＡＲ情報を有しているか否かを判断してもよい。ネットワークデバイス１０８が、位置情報に関連する情報レイヤや対応するＡＲ情報に関係する情報を有していると判断したときは、ネットワークデバイス１０８は、レイヤ提案モジュール７８に、その情報を送信してもよい。この場合、レイヤ提案モジュール７８は、ディスプレイ８５のカメラビューに、一つまたは複数の情報レイヤを自動的に提案するために、受信した情報を利用する。また、提案した情報レイヤのひとつ又は複数が選択されたことを知ることに応じて、レイヤ提案モジュール７８は、一つ又は複数の対応するＡＲ情報アイテムを、ディスプレイ８５に提供する。

【0081】

一方、ネットワークデバイス１０８が、クエリにより提供される位置情報に関連する情報を何も持っていないと判断した場合は、ネットワークデバイス１０８は、一つ又は複数の他のネットワークデバイス１１０，１１２（例えば第３の通信デバイス２５）に、位置情報を含むクエリを送信してもよい。ネットワークデバイス１０８によって送信されたクエリは、レイヤ提案モジュール７８が所望している情報レイヤや対応するＡＲ情報アイテムに関連する情報のリクエストを含んでもよい。ネットワークデバイス１１０，１１２の一つ又は複数のものから、情報レイヤのデータやＡＲ情報を受信することに応じて、ネットワークデバイス１０８は、受信した情報をレイヤ提案モジュール７８に送信してもよい。送信された情報は、レイヤ提案モジュール７８によって、上述のように、情報レイヤを提案するために使用されてもよい。

【0082】

一つ又は複数のネットワークデバイスのために、提案した一つ又は複数の情報レイヤや対応するＡＲ情報アイテムに関する情報を得ることの利点は、装置５０と各ネットワークデバイスとの間で必要な情報のみが送信されればよいので、使用する帯域幅が最小限となりうることである。例えば、装置５０がネットワークデバイス１１０，１１２と直接通信し、情報レイヤや対応するＡＲ情報アイテムに関連する情報を得ようとすると、装置は、ネットワークデバイス１１０，１１２へのクエリの全てを生成しなければならない可能性があるので、必要とされる帯域幅はかなり大きなものになりうる。また、クエリに対するネットワークデバイス１１０，１１２からの応答も、多くの場合、必要とされるものよりもかなり多い情報を含むことがあり、それらを装置５０が選別するには、全ての情報が装置５０に送信される必要があるだろう。

【0083】

このように、装置５０がネットワーク（例えばネットワーク３０）との通信接続を有するような場合は、装置５０にとって、一つ又は複数の情報レイヤを自動的に提案し、対応するＡＲ情報アイテムを提供するために使用しうる情報を受け取るために、指定されたネットワークデバイスと通信することは、有益なことであってもよい。

【0084】

図８は、例えば図７のネットワークデバイス１０８，１１０，１１２のような、ネットワーク要素の例示的実施形態のブロックダイヤグラムである。図８に示されるように、例えばサーバなどのネットワーク要素は、一般的に、プロセッサ９４と、それに関連付けられるメモリ９６とを有する。メモリ９６は揮発性及び／又は非揮発性のメモリを含んでもよく、コンテンツやデータ、及び／又は同様のものを格納してもよい。メモリ９６は、クライアントアプリケーションや命令、及び／又は同様のものを格納してもよく、これらは、ネットワーク要素の様々な処理を実行するために、プロセッサ９４により用いられる。

【0085】

プロセッサ９４は、少なくとも一つの通信インタフェース９８や、コンテンツやデータ及び／又は同様のものを表示したり、送信及び／又は受信したりするためのその他の手段に接続されていてもよい。ユーザ入力インタフェース９５は、ネットワーク要素がユーザからのデータを受信すること可能にするいくつもの数のデバイスを含んでいてもよい。例えば、キーパッドやタッチディスプレイ、ジョイスティック、その他の入力デバイスを含んでいてもよい。ここでプロセッサ９４は、ユーザ入力インタフェースの一つ又は複数の要素の少なくともいずれかの機能を制御するように構成されるユーザインタフェース回路備えていてもよい。プロセッサ及び／又は当該プロセッサのユーザインタフェース回路は、プロセッサによりアクセス可能なメモリに格納されたコンピュータプログラム命令を通じて、ユーザインタフェースの一つ又は複数の要素の一つ又は複数の機能を制御するように構成されてもよい。このようなコンピュータプログラム命令は、例えばソフトウェア及び／又はファームウェアであることができる。当該メモリは、例えば、揮発性、非揮発性、及び／又は同様のものであることができる。

【0086】

ネットワーク要素は、例えばある実施例の装置５０やネットワークデバイス１０８のようなデバイスから、情報レイヤや対応するＡＲ情報アイテムに対応する情報についての一つ又は複数のクエリを受信してもよい。このようなクエリは、装置５０の現在位置を示す位置情報や、ディスプレイ（例えばディスプレイ８５）のカメラビューの中の現実世界オブジェクトに関連する位置情報を含んでもよい。メモリ９６から関連する情報を検索し読み出すことに応じて、ネットワーク要素のプロセッサ９４は、読み出された情報を、ネットワークデバイス（その情報をさらに装置５０に送信しうるネットワークデバイス）に送信することを行なえるようにする。別の例では、プロセッサ９４は、読み出した情報を、直接装置５０に送信してもよい。それによって、レイヤ提案モジュール７８は、前述のように、一つ又は複数の情報レイヤの提案を自動的に生成し、関連するＡＲ情報アイテムを表示のために提供するために、当該情報を使用してもよい。

【0087】

図９は、ある例示的実施形態のフローチャートであって、拡張現実において、一つ又は複数の情報レイヤの提案を自動的に生成する処理のフローチャートである。処理９００において、イネーブルにされている情報レイヤが、所定の閾値より多いＡＲ情報を提供しているかどうかを判断するための手段を含んでもよい。このような手段は、例えばレイヤ提案モジュール７８やプロセッサ７０、及び／又は同様のものであることができる。イネーブルにされている情報レイヤは、例えばFlickr情報レイヤ５であることができ、所定の閾値は、例えば、ＡＲ情報アイテム（例えばアイコン）の数が３０であることができる。装置５０のレイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような上記手段が、イネーブルにされている（一つ又は複数の）情報レイヤのＡＲ情報アイテムが所定の閾値より多いと判断した場合は、処理は終了してもよい。装置５０のレイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような上記手段が、イネーブルにされている（一つ又は複数の）情報レイヤのＡＲ情報アイテムが所定の閾値より少ないと判断した場合は、処理９０５において、レイヤ提案モジュール７８やプロセッサ７０及び／又は同様のものは、イネーブルにされている（一つ又は複数の）情報レイヤと同じカテゴリの一つ又は複数の情報レイヤについて、現在位置に対応する情報（例えばＡＲ情報）が利用可能であるかどうかを判断する。

【0088】

装置５０のレイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような手段が、イネーブルにされている（一つ又は複数の）情報レイヤと同じカテゴリの一つ又は複数の情報レイヤについて、現在位置に対応する情報が利用可能であると判断することに応じて、処理９１０では、レイヤ提案モジュール７８やプロセッサ７０及び／又は同様のものが、自動的に、一つ又は複数の情報レイヤを提案する。提案される情報は、例えば、Picasa情報レイヤ７及び／又はYouTube情報レイヤ９であることができる。提案された情報レイヤは、選択に供されるために提供されてもよい。ある例示的実施形態では、装置５０は、提案した情報レイヤを、選択に供するべくデバイス（例えばディスプレイ８５）に提供するために、レイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような手段を有する。装置５０のレイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような手段が、イネーブルにされている情報レイヤと同じカテゴリの一つ又は複数の情報レイヤにおいて情報が利用可能でないと判断する場合は、処理は終了してもよい。

【0089】

提案された一つ又は複数の情報レイヤの選択を受け取ることに応じて、処理９１５において、装置５０は、選択された情報レイヤをアクティブにし、一つ又は複数の対応するＡＲ情報のアイテム（例えばＡＲ情報のアイテム１１，１５，１７，１９，２１）を選択に供するべく提供することができるように、レイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような手段を有する。対応するＡＲ情報アイテムは、ディスプレイ（例えばディスプレイ８５）のカメラビューに、上述のような形態で、選択に供されるべく提供されてもよい。

【0090】

例えばＡＲ情報のアイテム１１，１５，１７，１９，２１のような、ＡＲ情報の一つ又は複数のアイテムの選択を受け取ることに応じて、処理９２０において、装置５０は、選択された一つ又は複数のＡＲ情報アイテムに対応するデータをデバイス（例えばディスプレイ８５）に提供するために、レイヤ提案モジュール７８やプロセッサ７０及び／又は同様のもののような手段を有する。ある実施例では、ＡＲ情報のアイテムの選択に対応するデータは、ディスプレイのカメラビューに現在表示されている現実世界の対応するオブジェクトに重ね合わせられてもよい。

【0091】

図９は、本発明の例示的実施形態に従うシステムや方法、コンピュータプログラム製品のフローチャートであることは述べておく必要があるだろう。フローチャートの各ブロックや、フローチャートの複数のブロックが組み合せられたものは、例えばハードウェアやファームウェア、一つ又は複数のコンピュータプログラム命令を含むコンピュータプログラム製品など、様々な手段によって実装されうる。例えば上に説明された一つ又は複数の処理は、コンピュータプログラム命令にて具現化されてもよい。ここで、ある例示的実施形態では、上述の処理を具現化するコンピュータプログラム命令は、例えばメモリデバイス７６，９６などのメモリデバイスに格納され、プロセッサ７０やレイヤ提案モジュール７８、プロセッサ９４などに実行される。理解されうるように、これらいかなるコンピュータプログラム命令も、コンピュータ又はその他のプログラム可能な装置（例えばハードウェア）にロードされて機械を生成することができる。すなわち、コンピュータや他のプログラム可能な装置で実行される命令は、フローチャートに特定される機能が実装されるようにする。ある実施形態において、コンピュータプログラム命令は、コンピュータ読み取り可能なメモリに格納され、コンピュータ又はその他のプログラム可能な装置が特定の仕方で機能するように指示することができる。すなわち、コンピュータ読み取り可能なメモリに格納された命令は、フローチャートのブロックで特定される機能を実装する命令を含む製品を生成する。コンピュータプログラム命令はまた、コンピュータ又はその他のプログラム可能な装置にロードされて、処理のシリーズをこれらの装置上で実行されるようにし、それによって、コンピュータにより実装される処理が生成される。すなわち、コンピュータ又は他のプログラム可能な装置で実行される命令は、フローチャートブロックで特定される機能を実装する。

【0092】

このように、フローチャートブロックは、特定の機能を実行する手段の組み合わせをサポートする。理解されうるように、一つ又は複数のフローチャートのブロックやこれらの組み合わせは、専用目的のためのハードウェアベースのコンピュータシステムによって実装されることもできる。そのようなシステムは、特定の機能を実行する。一つ又は複数のフローチャートのブロックやこれらの組み合わせは、専用目的のためのハードウェアとコンピュータ命令の組み合わせによって実装されることもできる。

【0093】

ある例示的実施形態において、上述の図９の方法を実行する装置は、上述の処理９００−９２０のそれぞれ又はいくつかを実行するように構成される処理装置を備えてもよい。そのような処理装置は、例えば、プロセッサ７０、レイヤ提案モジュール７８、プロセッサ９４であってもよい。処理装置は、例えば、ハードウェアにより実装された論理機能を実行することや、格納された命令を実行すること、又は、各処理を実行するためのアルゴリズムを実行することによって、処理９００−９２０を実行するように構成されてもよい。別の形態では、装置は、上述の各処理を実行する手段を備えていてもよい。ここで、ある例示的実施形態に従うと、処理９００−９２０を実行する手段の例は、例えば、レイヤ提案モジュール７８，プロセッサ９４，及び／又は命令を実行する回路や装置、又は上述のような情報処理を行なうアルゴリズムを実行する回路や装置を含んでもよい。

【0094】

上述の説明や添付の図面に示される教示から利益を受ける、これらの発明に関する当業者の頭には、本明細書で説明された発明についての様々な変形や他の実施形態が浮かぶであろう。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、それらの変形や他の実施形態も、添付の請求項の範囲に含まれることが意図されていることを理解されたい。さらに、上述の説明や関連する図面は、例示的実施形態を、ある例示的な要素及び／又はこれらの組み合わせという文脈で説明しているが、これらの要素や機能の別の組み合わせも、添付の請求項の範囲を逸脱せずに、別の実施形態によって提供されることができることは理解されたい。ここで、例えば、上に例示的に説明されたものとは異なる、要素又は機能の組み合わせが、添付の請求項のいずれかに記載されうることがあることが想定されている。本明細書では具体的な用語が用いられているが、それらは一般的に説明するために用いられているおり、限定の目的のために用いられているわけではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】