(58)【調査した分野】(Int.Cl.,DB名)
前記異なるビューは、前記方向および前記異なる方向と交差する別の方向に沿って知覚可能な視覚情報を更に含むパノラマ視覚表現である、請求項1ないし4のいずれか1項に記載の装置。
【発明の概要】
【0003】
本発明の例の様々な態様は特許請求の範囲に述べられる。
【0004】
1つ以上の実施形態は、装置、コンピュータ可読媒体、非一時的コンピュータ可読媒体、コンピュータプログラム製品、および、ある位置からのあるビューであって、ある位置から延びるある方向に沿って知覚可能な視覚情報を含むあるビューを決定することと、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させることと、ある位置からの異なるビューであって、ある位置から延びる異なる方向に沿って知覚可能な視覚情報を含む異なるビューを決定することと、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させることと、を含む方法を提供することができる。
【0005】
1つ以上の実施形態は、装置、コンピュータ可読媒体、コンピュータプログラム製品、および、ある位置からのあるビューであって、ある位置から延びるある方向に沿って知覚可能な視覚情報を含むあるビューを決定する手段と、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させる手段と、ある位置からの異なるビューであって、ある位置から延びる異なる方向に沿って知覚可能な視覚情報を含む異なるビューを決定する手段と、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる手段と、を備える非一時的コンピュータ可読媒体を提供することができる。
【0006】
少なくとも好ましい一実施形態において、ディスプレイはシースルー・ディスプレイであり、かつ、あるビューはある位置からのある方向に沿って知覚可能な視覚情報の非単一倍率を示す視覚情報である。
【0007】
1つ以上の例示的な実施形態は、カメラモジュールからのある方向に沿って知覚可能なカメラ視覚情報の受け取りを更に行い、あるビューの決定は少なくとも部分的にカメラ視覚情報に基づく。
【0008】
少なくとも1つの例示的な実施形態において、カメラモジュールは装置に備えられる。
【0009】
少なくとも1つの例示的な実施形態において、カメラモジュールは別途装置に備えられる。
【0010】
少なくとも1つの例示的な実施形態において、カメラモジュールはユーザに装着された装置に備えられる。
【0011】
少なくとも1つの例示的な実施形態において、カメラモジュールは車両に搭載された装置に備えられる。
【0012】
1つ以上の例示的な実施形態は、ある位置からの異なる方向に沿って知覚可能な、カメラモジュールからのカメラ視覚情報の受け取りを更に行い、異なるビューの決定は少なくとも部分的にカメラ視覚情報に基づく。
【0013】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現のディスプレイは、あるビューの視覚表現のディスプレイ領域が異なるビューの視覚表現のディスプレイ領域と重複するように行われる。
【0014】
少なくとも1つの例示的な実施形態において、重複は、少なくとも部分的に異なるビューの視覚表現のディスプレイ領域と一致するあるビューの視覚表現のディスプレイ領域を特徴とする。
【0015】
少なくとも1つの例示的な実施形態において、ディスプレイ領域はディスプレイ深度に依存しない。
【0016】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現のディスプレイ領域はあるビューの視覚表現をディスプレイしているディスプレイの少なくとも一部であり、かつ、異なるビューの視覚表現のディスプレイ領域は異なるビューの視覚表現をディスプレイしているディスプレイの少なくとも一部である。
【0017】
少なくとも1つの例示的な実施形態において、異なるビューは、ある方向および異なる方向と交差する別の方向に沿って知覚可能な視覚情報を更に含むパノラマ視覚表現である。
【0018】
少なくとも1つの例示的な実施形態において、パノラマ視覚表現はある位置からのある方向に沿って知覚可能な視覚情報を更に含む。
【0019】
1つ以上の例示的な実施形態は、ユーザの注視深度の決定と、注視深度が異なる焦点深度に一致するという決定と、を更に行い、異なるビューの視覚表現を表示させることは、少なくとも部分的に、注視深度が異なる焦点深度に一致するという決定に基づく。
【0020】
少なくとも1つの例示的な実施形態において、異なるビューの視覚表現をディスプレイに表示させることは、異なるビューの視覚表現がディスプレイ上のあるビューの視覚表現を少なくとも部分的にぼやけさせるように行われる。
【0021】
1つ以上の例示的な実施形態は、ディスプレイ上でのあるビューの視覚表現のディスプレイを終了させることを更に行う。
【0022】
少なくとも1つの例示的な実施形態において、異なるビューの視覚表現を表示させることは、異なるビューの視覚表現がディスプレイ上のディスプレイ領域に表示されるように行われる。
【0023】
1つ以上の例示的な実施形態は、ユーザの注視位置の決定と、ユーザの注視位置がディスプレイ上で異なるビューの視覚表現のディスプレイ領域に一致するという決定と、を更に行い、異なるビューの視覚表現を表示させることは、少なくとも部分的に、注視位置がディスプレイ領域に一致するという決定に基づく。
【0024】
1つ以上の例示的な実施形態は、ユーザの注視深度の決定と、注視深度がある焦点深度に一致するという決定と、を更に行い、あるビューの視覚表現を表示させることは、少なくとも部分的に、注視深度がある焦点深度に一致するという決定に基づく。
【0025】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現をディスプレイに表示させることは、あるビューの視覚表現がディスプレイ上の異なるビューの視覚表現を少なくとも部分的にぼやけさせるように行われる。
【0026】
1つ以上の例示的な実施形態は、ディスプレイ上での異なるビューの視覚表現のディスプレイを終了させることを更に行う。
【0027】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現を表示させることは、あるビューの視覚表現がディスプレイ上のディスプレイ領域に表示されるように行われる。
【0028】
1つ以上の例示的な実施形態は、ユーザの注視位置の決定と、ユーザの注視位置がディスプレイ上であるビューの視覚表現のディスプレイ領域に一致するという決定と、を更に行い、あるビューの視覚表現を表示させることは、少なくとも部分的に、注視位置がディスプレイ領域に一致するという決定に基づく。
【0029】
少なくとも1つの例示的な実施形態において、ディスプレイは多深度ディスプレイであり、あるビューの視覚表現をディスプレイに表示させることはある焦点深度があるディスプレイ深度に一致するように行われ、かつ、異なるビューの視覚表現をディスプレイに表示させることは異なる焦点深度が他のディスプレイ深度に一致するように行われる。
【0030】
1つ以上の例示的な実施形態は、ある位置として地理的位置を特定する情報の受け取りを更に行い、あるビューの決定は、ある方向に一致するある向きを有する地理的位置からのあるビューを表現するある画像の取得を含み、かつ、異なるビューの決定は、異なる方向に一致する他の向きを有する地理的位置からの異なるビューを表現する他の画像の取得を含む。
【0031】
少なくとも1つの例示的な実施形態において、ある画像はパノラマ画像のある一部であり、かつ、他の画像はパノラマ画像の他の一部である。
【0032】
少なくとも1つの例示的な実施形態において、ある位置は装置の地理的位置であり、ある位置からのあるビューの決定は装置の地理的位置からのあるビューの決定を含み、かつ、ある位置からの異なるビューの決定は装置の地理的位置からの異なるビューの決定を含む。
【0033】
少なくとも1つの例示的な実施形態において、ある位置はユーザの地理的位置であり、ある位置からのあるビューの決定はユーザの地理的位置からのあるビューの決定を含み、かつ、ある位置からの異なるビューの決定はユーザの地理的位置からの異なるビューの決定を含む。
【0034】
少なくとも1つの例示的な実施形態において、ある位置は、あるビューの視覚表現および異なるビューの視覚表現を表示するように制御された別途装置の地理的位置である。
【0035】
少なくとも1つの例示的な実施形態において、ある位置は装置の位置であり、ある位置からのあるビューの決定は装置のある位置からのあるビューの決定を含み、かつ、ある位置からの異なるビューの決定は装置のある位置からの異なるビューの決定を含む。
【0036】
少なくとも1つの例示的な実施形態において、ある焦点深度は、ユーザがある焦点深度であるビューの視覚表現に合焦させる場合、ユーザが異なる焦点深度で異なるビューの視覚表現に合焦させることを回避するように構成される。
【0037】
少なくとも1つの例示的な実施形態において、ある焦点深度は、ある焦点深度でのあるビューの視覚表現への合焦が、異なる焦点深度での異なるビューの視覚表現への合焦を妨げるように構成される。
【0038】
少なくとも1つの例示的な実施形態において、異なる焦点深度は、ユーザが異なる焦点深度で異なるビューの視覚表現に合焦させる場合、ユーザがある焦点深度であるビューの視覚表現に合焦させることを回避するように構成される。
【0039】
少なくとも1つの例示的な実施形態において、異なる焦点深度は、異なる焦点深度での異なるビューの視覚表現への合焦が、ある焦点深度でのあるビューの視覚表現への合焦を妨げるように構成される。
【0040】
少なくとも1つの例示的な実施形態において、ある位置から延びるある方向に沿って知覚可能な視覚情報は、撮像領域がある位置からのある方向を向くように方向付けられたカメラモジュールの撮像領域内の視覚情報である。
【0041】
少なくとも1つの例示的な実施形態において、ある位置から延びる異なる方向に沿って知覚可能な視覚情報は、撮像領域がある位置からの異なる方向を向くように方向付けられたカメラモジュールの撮像領域内の視覚情報である。
【0042】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現をディスプレイに表示させることは、あるビューの視覚表現のディスプレイへのディスプレイを含む。
【0043】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現をディスプレイに表示させることは、あるビューの視覚表現を示す情報の別途装置への送信と、別途装置によりあるビューの視覚表現をディスプレイに表示させることと、を含む。
【0044】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現は、ある位置から延びるある方向に沿って知覚可能な視覚情報の少なくとも一部のパノラマ視覚表現を含む。
【0045】
少なくとも1つの例示的な実施形態において、あるビューの視覚表現は、ある位置から延びる異なる方向に沿って知覚可能な視覚情報の少なくとも一部の視覚表現を更に含む。
【0046】
少なくとも1つの例示的な実施形態において、異なるビューの視覚表現は、ある位置から延びる異なる方向に沿って知覚可能な視覚情報の少なくとも一部のパノラマ視覚表現を含む。
【0047】
少なくとも1つの例示的な実施形態において、異なるビューの視覚表現は、ある位置から延びるある方向に沿って知覚可能な視覚情報の少なくとも一部の視覚表現を更に含む。
【発明を実施するための形態】
【0049】
本発明の実施形態およびその潜在的利点は
図1から
図8を参照することで理解される。
【0050】
全てではないがいくつかの実施形態が示される添付の図面を参照して、いくつかの実施形態を以下により完全に説明する。本発明の様々な実施形態は、多くの異なる形態で具体化されてもよく、本明細書で説明する実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、適用される法的要求事項を本開示が満たすことができるように提供されるものである。全体にわたり、同様の参照番号は同様の要素を示す。本明細書において用いられる「データ」、「コンテンツ」および「情報」という用語並びに類似の用語は、本発明の実施形態に従って送信、受信および/または格納できるデータを指すように交換可能に用いられ得る。したがって、いかなるこのような用語の使用も、本発明の実施形態の趣旨および範囲を限定するように解釈されるべきではない。
【0051】
また、本明細書において用いられる『回路構成』という用語は、(a)ハードウェア専用回路実装(アナログ回路構成および/またはデジタル回路構成による実装等)、(b)互いに協働して本明細書において説明される1つ以上の機能を装置に実行させる1つ以上のコンピュータ可読メモリに格納されたソフトウェアおよび/またはファームウェア命令を含む一または複数のコンピュータプログラム製品と回路との組み合わせ、並びに、(c)ソフトウェアまたはファームウェアが物理的に存在しない場合であっても動作にソフトウェアまたはファームウェアを必要とする、例えば一または複数のマイクロプロセッサまたは一または複数のマイクロプロセッサの一部のような回路を指す。この『回路構成』の定義は、任意の特許請求の範囲を含めて、本明細書において用いられるあらゆる回路構成に当てはまる。更なる例として、本明細書において用いられる『回路構成』という用語は、1つ以上の処理装置および/またはその処理装置の一または複数の部分、並びに、付随のソフトウェアおよび/またはファームウェアを備える実装を更に含む。別の例として、本明細書において用いられる『回路構成』という用語は、例えば、移動電話用のベースバンド集積回路若しくはアプリケーション処理装置集積回路、または、サーバ、携帯電話ネットワーク装置、他のネットワーク装置および/または他の計算装置における類似の集積回路を更に含む。
【0052】
本明細書において定義される、物理的な媒体(揮発性メモリ素子または不揮発性メモリ素子等)を指す「非一時的コンピュータ可読媒体」は、電磁信号を指す「一時的コンピュータ可読媒体」とは区別できる。
【0053】
図1は、少なくとも1つの例示的な実施形態に係る電子装置10等の装置を示すブロック図である。しかしながら、例示されかつ以下に説明されるような電子装置は、本発明の実施形態から利益を享受できる電子装置の一例に過ぎないため、本発明の範囲を限定するように解釈されるべきではないことを理解されたい。電子装置10は、具体例として例示されかつ以下に説明されるが、他の種類の電子装置は本発明の実施形態を容易に利用し得る。電子装置10は、携帯情報端末(personal digital assistant:PDAs)、ページャ、モバイルコンピュータ、デスクトップコンピュータ、テレビジョン、ゲーム装置、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、カメラ、ビデオレコーダ、移動電話、全地球測位システム(GPS)装置、自動車、キオスク、電子テーブルおよび/または他のいかなる種類の電子システムであってもよい。更に、少なくとも1つの例示的な実施形態の装置は、電子装置全体である必要はなく、他の例示的な実施形態の電子装置の一構成要素または構成要素群であってもよい。例えば、装置は、集積回路、集積回路セットおよび/または同種のものであってもよい。
【0054】
更に、装置は、それが移動性を提供するように意図されているか否かにかかわらず、本発明の実施形態を容易に利用し得る。この点に関して、本発明の実施形態はモバイルアプリケーションに関連して説明され得るが、本発明の実施形態が、移動通信事業内および移動通信事業外の両方において様々な他のアプリケーションに関連して利用され得ることを理解されたい。例えば、装置は、大画面テレビジョン、電子テーブル、キオスク、自動車等の持ち運び不可能な装置および/または同種のものの少なくとも一部であってもよい。
【0055】
少なくとも1つの例示的な実施形態において、電子装置10は処理装置11とメモリ12とを備える。処理装置11は、いかなる種類の処理装置、制御装置、埋め込み制御装置、処理装置コアおよび/または同種のものであってもよい。少なくとも1つの例示的な実施形態において、処理装置11は、コンピュータプログラムコードを利用して、1つ以上の行動を装置に実行させる。メモリ12は、データの一次記憶用のキャッシュ領域を含む揮発性ランダムアクセスメモリ(RAM)等の揮発性メモリ、および/または、埋め込まれ得るかつ/または着脱可能であり得る不揮発性メモリ等の他のメモリを含み得る。不揮発性メモリは、EEPROM、フラッシュメモリおよび/または同種のものを含み得る。メモリ12は、多数の情報およびデータのうち、任意のものを格納できる。情報およびデータは、本明細書において説明される機能等の電子装置10の1つ以上の機能を実行するように電子装置10により使用され得る。少なくとも1つの例示的な実施形態において、メモリ12は、メモリおよびコンピュータプログラムコードが、本明細書において説明される1つ以上の行動を処理装置と協働して装置に実行させるように構成されるようなコンピュータプログラムコードを含む。
【0056】
電子装置10は通信装置15を更に備えてもよい。少なくとも1つの例示的な実施形態において、通信装置15は、送信機および/または受信機と動作可能に通信しているアンテナ(または多重アンテナ)、有線コネクタおよび/または同種のものを備える。少なくとも1つの例示的な実施形態において、処理装置11は、送信機に信号を提供しかつ/または受信機から信号を受信する。信号は、通信インタフェース規格、ユーザ音声、受信データ、ユーザ生成データおよび/または同種のものに応じた信号情報を含んでもよい。通信装置15は、1つ以上のエアインタフェース規格、通信プロトコル、変調形式およびアクセス形式で動作してもよい。例として、電子通信装置15は、第2世代(2G)の無線通信プロトコルIS−136(時分割多元接続(TDMA))、グローバル移動体通信システム(GSM)およびIS−95(符号分割多元接続(CDMA))、ユニバーサル移動体通信システム(UMTS)、CDMA2000、広帯域CDMA(WCDMA)および時分割同期CDMA(TD−SCDMA)等の第3世代(3G)の無線通信プロトコル、並びに/または、第4世代(4G)の無線通信プロトコル、802.11等の無線ネットワークプロトコル、ブルートゥース(Bluetooth)等の短距離無線プロトコルに従って動作してもよく、かつ/または、同種のものに従って動作してもよい。通信装置15は、イーサネット(Ethernet)、デジタル加入者回線(DSL)、非同期転送モード(ATM)等の有線プロトコルおよび/または同種のものに従って動作してもよい。
【0057】
処理装置11は、音声、映像、通信、ナビゲーション、論理関数および/または同種のものを実現すると共に、例えば本明細書において説明される1つ以上の機能を含む本発明の実施形態を実現する、回路構成等の手段を備えてもよい。例えば、処理装置11は、例えば本明細書において説明される1つ以上の機能を含む各種機能を実行する、デジタル信号処理装置、マイクロプロセッサ装置、各種アナログ・デジタル変換器、デジタル・アナログ変換器、処理回路構成および他の支援回路等の手段を備えてもよい。装置は、それぞれの能力に応じたこれらの装置のうち電子装置10の制御および信号処理機能を実行してもよい。したがって、処理装置11は、変調および送信に先立ってメッセージおよびデータを符号化しかつインターリーブするための機能を備え得る。処理装置1は、内部ボコーダを更に備えてもよく、かつ、内部データモデムを備えてもよい。また、処理装置11は、1つ以上のソフトウェアプログラムを稼働させるための機能を備えてもよく、そのソフトウェアプログラムは、メモリに格納されてもよく、かつ、とりわけ、例えば本明細書において説明される1つ以上の機能を含む少なくとも1つの例示的な実施形態を処理装置11に実現させてもよい。例えば、処理装置11は従来のインターネットブラウザ等の接続性プログラムを稼働してもよい。接続性プログラムは、例えば、伝送制御プロトコル(TCP)、インターネットプロトコル(IP)、ユーザデータグラムプロトコル(UDP)、インターネットメッセージアクセスプロトコル(IMAP)、郵便局プロトコル(POP)、簡易メール転送プロトコル(SMTP)、無線アプリケーションプロトコル(WAP)、ハイパテキスト転送プロトコル(HTTP)および/または同種のものに応じた位置ベースコンテンツおよび/または他のウェブページコンテンツ等のインターネットコンテンツを電子装置10が送信しかつ受信することを可能にしてもよい。
【0058】
電子装置10は、出力を提供しかつ/または入力を受け付けるためのユーザインタフェースを備えてもよい。電子装置10は、出力装置14を備えてもよい。出力装置14は、鳴鐘装置、イヤホン、スピーカ等の音声出力装置および/または同種のものを備えてもよい。出力装置14は、振動変換器、電子的に変形可能な表面、電子的に変形可能な構造等の触覚出力装置および/または同種のものを備えてもよい。出力装置14は、ディスプレイ、照明等の視覚出力装置および/または同種のものを備えてもよい。少なくとも1つの例示的な実施形態において、装置は情報をディスプレイさせ、表示させることは、情報を装置に備えられたディスプレイに表示すること、ディスプレイを備える別途装置に情報を送信することおよび/または同種のことを含んでもよい。電子装置は入力装置13を備えてもよい。入力装置13は、光センサ、近接センサ、マイクロフォン、接触覚センサ、力センサ、ボタン、キーパッド、運動センサ、磁場センサ、カメラおよび/または同種のものを備えてもよい。接触覚センサおよびディスプレイは、タッチディスプレイとして特徴付けられてもよい。タッチディスプレイを含む実施形態において、タッチディスプレイは、単一接点、多接点および/または同種のものからの入力を受け付けるように構成されてもよい。このような実施形態において、タッチディスプレイおよび/または処理装置は、少なくとも部分的に、位置、運動、速度、接触面積および/または同種のものに基づいて入力を判断してもよい。少なくとも1つの例示的な実施形態において、装置は、入力の指示を受け取る。装置は、センサ、ドライバ、別途装置および/または同種のものからの指示を受け取ってもよい。入力を示す情報は、入力、入力の発生を示す入力の特徴および/または同種のものを示す情報を伝達する情報を含んでもよい。
【0059】
電子装置10は、抵抗、容量、赤外、ひずみ計、表面波、光学撮像、分散信号技術、音響パルス認識または他の技術のうち、任意のものにより接触認識を可能にするように、かつ、その際、位置、および、接触に関連付けられた他のパラメータを示す信号を提供するように構成されたタッチディスプレイを含む様々なタッチディスプレイのうち、任意のタッチディスプレイを備えてもよい。また、タッチディスプレイは、選択物体(指、スタイラス、ペン、鉛筆または異なる位置指示装置等)とタッチディスプレイとの間の実際の物理的接触として定義され得る接触事象の形態で入力の指示を受け取るように構成されてもよい。或いは、接触事象は、タッチディスプレイとの物理的接触が行われていない場合であっても、ディスプレイされた物体上に浮かぶようにまたは物体を既定の距離内に接近させるように選択物体をタッチディスプレイに近接させることとして定義されてもよい。そのようなものとして、接触入力は、実際の物理的接触を伴う接触事象と、タッチディスプレイへの選択物体の近接の結果等、物理的接触を伴わずにタッチディスプレイにより検出される接触事象と、を含むタッチディスプレイにより検出されたいかなる入力を含んでもよい。タッチディスプレイは、接触入力との関連でタッチスクリーンに印加された力に関連付けられた情報を受け付け可能であってもよい。例えば、タッチスクリーンは、重い押圧接触入力と軽い押圧接触入力とを区別してもよい。少なくとも1つの例示的な実施形態において、ディスプレイは、二次元情報、三次元情報および/または同種のものをディスプレイしてもよい。
【0060】
キーパッドを含む実施形態において、キーパッドは、電子装置10を操作するための数字(例えば、0〜9)キー、記号キー(例えば、#、*)、アルファベットキーおよび/または同種のものを備えてもよい。例えば、キーパッドは、従来のQWERTYキーパッド配列を有してもよい。キーパッドは、関連機能を備えた各種ソフトキーを更に備えてもよい。追加として、或いは、代案として、電子装置10は、ジョイスティックまたは他のユーザ入力インタフェース等のインタフェース装置を備えてもよい。
【0061】
入力装置13は媒体取り込み素子を備えてもよい。媒体取り込み素子は、記憶、ディスプレイまたは送信用の画像、映像および/または音声を取り込むためのいかなる手段であってもよい。例えば、媒体取り込み素子がカメラモジュールである少なくとも1つの例示的な実施形態において、カメラモジュールは、撮像画像からデジタル画像ファイルを形成し得るデジタルカメラを備えてもよい。そのようなものとして、カメラモジュールは、レンズまたは他の一または複数の光学構成要素等のハードウェア、および/または、撮像画像からデジタル画像ファイルを作成するために必要なソフトウェアを備えてもよい。或いは、カメラモジュールが画像を見るためのハードウェアのみを備えると同時に、電子装置10のメモリ素子が、撮像画像からデジタル画像ファイルを作成するために必要なソフトウェアの形態で処理装置11により実行するための命令を格納してもよい。少なくとも1つの例示的な実施形態において、カメラモジュールは、処理装置11が画像データを処理するのを支援するコプロセッサ並びに画像データを圧縮および/または伸長するための符号器および/または復号器等の処理素子を更に備えてもよい。符号器および/または復号器は、JPEG(Joint Photographic Experts Group)標準形式等の標準形式に従って符号化および/または復号化してもよい。
【0062】
図2Aおよび
図2Bは、少なくとも1つの例示的な実施形態に係るシースルー・ディスプレイを例示する図である。
図2Aおよび
図2Bの例は単なる例に過ぎず、特許請求の範囲を限定するものではない。例えば、シースルー・ディスプレイの構成は変化してもよく、ユーザとシースルー・ディスプレイとの関係は変化してもよく、シースルー・ディスプレイの形状は変化してもよく、シースルー・ディスプレイの不透明度は変化してもよく、かつ/または、同種の変化があってもよい。
【0063】
現代では、電子装置はより普及および浸透している。ユーザは、このような装置を様々な目的でしばしば利用する。例えば、ユーザは、装置を利用して装置のディスプレイに表示される情報を見ること、装置のディスプレイ上でのユーザを取り巻く環境に関連付けられた情報を知覚することおよび/または同種のことができる。多くの場合、ユーザは、非侵襲的に、非侵入式に、慎重にかつ/または同種の方法で装置に関連付けられた情報を見たいと望み得る。このような状況では、ディスプレイがシースルー・ディスプレイであることが望ましいこともある。少なくとも1つの例示的な実施形態において、シースルー・ディスプレイは、ユーザに情報を提示するディスプレイであるが、ユーザに対してディスプレイの反対側にある物体がそのディスプレイを介して見える。シースルー・ディスプレイは、窓、風防ガラス、日よけ板、眼鏡、ヘッドマウントディスプレイおよび/または同種のものに備えられてもよい。少なくとも1つの例示的な実施形態において、装置はヘッドマウントディスプレイである。ヘッドマウントディスプレイは、例えば、頭部に装着できるディスプレイ、ユーザの頭部上の位置および/またはユーザの頭部に近接した位置で装着できる素子に連結されたディスプレイ、ユーザの頭部上の位置および/またはユーザの頭部に近接した位置で装着できるディスプレイおよび/または同種のものであってもよい。
【0064】
場合によっては、ディスプレイのディスプレイ範囲を超えて配置され得る物体をユーザが眺めるのをディスプレイが妨げることが望ましいこともある。例えば、ユーザは、立体ディスプレイに表示される情報を入手すること、立体背景に対して表示される情報を入手すること、シースルー・ディスプレイ上の情報の知覚に関連付けられ得る注意を逸らすものを回避することおよび/または同種のことを好み得る。少なくとも1つの例示的な実施形態において、ヘッドマウントディスプレイは不透明ディスプレイを備えてもよい。不透明ディスプレイは、シースルー・ディスプレイではないディスプレイ、ディスプレイの反対側にある物体がそのディスプレイを介して覆い隠され得るディスプレイおよび/または同種のものであり得る。
【0065】
図2Aは、少なくとも1つの例示的な実施形態に係るシースルー・ディスプレイ202を例示する図である。少なくとも1つの例示的な実施形態において、情報がシースルー・ディスプレイを介して視認可能な1つ以上の物体に一致するように、その情報をそのシースルー・ディスプレイに表示することを拡張現実と呼ぶ。
図2Aの例において、ユーザ201は、シースルー・ディスプレイ202を介して物体205および206を知覚できる。少なくとも1つの例示的な実施形態において、シースルー・ディスプレイはユーザに情報をディスプレイできる。例えば、ディスプレイ202は、情報203および情報204をディスプレイしてもよい。情報203および情報204は、その情報が、物体205等の、シースルー・ディスプレイ202を介して視認可能な1つ以上の物体に一致するように、ディスプレイ202上に配置されてもよい。このような例において、情報203は、物体205に関連付けられ、物体205を識別しかつ/または物体205に対して同種のものであり得る。例えば、情報203は、物体205の同一性を示してもよい。少なくとも1つの例示的な実施形態において、ディスプレイ202はヘッドマウントディスプレイに備えられてもよい。
【0066】
図2Bは、少なくとも1つの例示的な実施形態に係るシースルー・ディスプレイを例示する図である。少なくとも1つの例示的な実施形態において、シースルー・ディスプレイは接眼ディスプレイ(near eye display)である。接眼ディスプレイは、ユーザの眼に近接して配置されたシースルー・ディスプレイである。
図2Bの例は、各レンズにおける接眼ディスプレイを備える眼鏡を例示する。
図2Bの例において、右側の接眼ディスプレイは情報213Aおよび214Aをディスプレイしており、左側の接眼ディスプレイは情報213Bおよび214Bをディスプレイしている。少なくとも1つの例示的な実施形態において、情報213Aは情報213Bに関連付けられてもよい。例えば、情報213Aの内容は情報213Bの内容と同一であってもよい。場合によっては、情報213Aと情報213Bとで内容が同一であっても、右側の接眼ディスプレイ上の情報213Aの位置は、左側の接眼ディスプレイ上の情報213Bの位置から変化し得る。このように、装置は、左側の接眼ディスプレイと右側の接眼ディスプレイとの間で情報の位置を変化させることで、ユーザにより知覚される情報の視差を変化させてもよい。このように、装置は、ユーザにより知覚される情報の深度を変化させてもよい。
【0067】
図3Aおよび
図3Bは、少なくとも1つの例示的な実施形態に係る各位置からのビューを例示する図である。
図3Aおよび
図3Bの例は単なる例に過ぎず、特許請求の範囲を限定するものではない。例えば、ビューは変化してもよく、位置は変化してもよく、方向は変化してもよく、かつ/または、同種の変化があってもよい。
【0068】
多くの場合、ユーザは、特定の環境の知覚を容易にするために電子装置を利用したいと望み得る。例えば、ユーザは、ユーザを取り巻く環境に関連付けられた視覚情報、特定の位置に関連付けられた視覚情報および/または同種のものの知覚を容易にするために電子装置を利用したいと望み得る。例えば、自転車に乗ったユーザは、ユーザの後方の環境、ユーザの側方の環境、ユーザの前方の環境および/または同種のものに関連付けられた視覚情報を知覚したいと望み得る。このような例において、視覚情報は、安全、環境への意識および/または同種のものに関連付けられた事情に対して望ましいものであり得る。
【0069】
少なくとも1つの例示的な実施形態において、装置は、ある位置からのあるビューを決定する。あるビューは、ある位置から延びるある方向、ある位置から延びる異なる方向および/または同種のものに沿って知覚可能な視覚情報を含んでもよい。ある位置は、装置の位置、装置のユーザの位置、装置の地理的位置、別途装置の位置および/または同種のものであってもよい。例えば、
図3Aにおいて、位置302は装置の位置である。
図3Aの例において、ビュー312は、ビュー境界304および306により規定される方向のビューである。例えば、ビュー312は、位置302の前方のビューであってもよい。
図3Aの例において、車両316は、ビュー312内にありかつ位置302から延びるある方向に沿って知覚可能である。
【0070】
少なくとも1つの例示的な実施形態において、装置は、カメラモジュールからのある方向に沿って知覚可能なカメラ視覚情報を受け取る。カメラモジュールは、上述の装置、別途装置、ユーザに装着されたカメラモジュール装置、車両に搭載されたカメラモジュール装置および/または同種のものに備えられてもよい。例えば、カメラモジュールは、ユーザに装着されたヘッドマウントディスプレイに備えられてもよく、カメラモジュールは、車両、ロボット、空中車両、自転車などに搭載されたカメラモジュール装置および/または同種のものであってもよい。少なくとも1つの例示的な実施形態において、あるビューの決定は、少なくとも部分的に、カメラモジュールから受け取ったカメラ視覚情報に基づいてもよい。ある位置から延びるある方向に沿って知覚可能な視覚情報は、カメラモジュールの撮像領域内の視覚情報であってもよい。例えば、カメラモジュールは、撮像領域がある位置からのある方向を向くように方向付けられてもよい。このような例において、カメラモジュールの撮像領域は、少なくとも部分的にビュー境界により規定されてもよい。そのようなものとして、カメラモジュールの撮像領域は、ビュー境界集合により規定されてもよい。例えば、
図3Aにおいて、ある位置にある装置は、カメラモジュールを備えてもよい。
図3Aの例において、ビュー境界304および306は、カメラモジュールの撮像領域を示す。例えば、ビュー312は、カメラモジュールの撮像領域内の位置302から延びるある方向に沿って知覚可能な位置302を取り巻く環境の一部に関連付けられた視覚情報を含んでもよい。
図3Aの例において、車両316は、ビュー312内にあるので、カメラモジュールの撮像領域内にある。
【0071】
特定の位置を取り巻く環境の知覚を容易にするために、ユーザがある位置に関連付けられた二以上のビューを知覚できるようにすることが望ましいこともある。少なくとも1つの例示的な実施形態において、装置は、ある位置からのある方向に沿って知覚可能なカメラモジュールからのあるカメラ視覚情報を受け取り、かつ、ある位置からの異なる方向に沿って知覚可能な他のカメラモジュールからの他のカメラ視覚情報を受け取る。このような例示的な一実施形態において、あるビューの決定は、少なくとも部分的に、あるカメラ視覚情報に基づいてもよく、かつ、異なるビューの決定は、少なくとも部分的に、他のカメラ視覚情報に基づいてもよい。このような例示的な一実施形態において、あるカメラモジュールは、あるカメラモジュールの撮像領域がある位置からのある方向を向くように方向付けられてもよく、かつ、他のカメラモジュールは、他のカメラモジュールの撮像領域がある位置からの異なる方向を向くように方向付けられてもよい。少なくとも1つの例示的な実施形態において、装置は、カメラモジュールからある位置からのある方向に沿ってかつある位置からの異なる方向に沿って知覚可能なカメラ視覚情報を受け取る。例えば、カメラモジュールは、カメラモジュールの撮像領域がある方向および異なる方向に一致するように構成されてもよい。例えば、カメラモジュールは、ある位置からのある方向に沿ってかつある位置からの異なる方向に沿って知覚可能な視覚情報を含むパノラマ視覚情報を撮像してもよい。例えば、
図3Aに示すように、ビュー312は、位置302から延びるある方向における位置302を取り巻く環境のある一部であり、かつ、ビュー314Aは、位置302から延びる異なる方向における位置302を取り巻く環境の他の一部である。
図3Aの例において、ビュー314Aは、カメラモジュールの撮像領域内の位置302から延びる異なる方向に沿って知覚可能なビュー境界308および310により規定される位置302を取り巻く環境の一部である。
図3Aの例において、樹木318は、ビュー314A内にあるので、カメラモジュールの撮像領域内にある。少なくとも1つの例示的な実施形態において、ビュー312は、あるカメラモジュールに関連付けられており、かつ、ビュー314Aは、他のカメラモジュールに関連付けられている。
【0072】
少なくとも1つの例示的な実施形態において、ある位置は装置の位置である。このような例示的な一実施形態において、ある位置からのあるビューの決定は、装置の位置からのあるビューの決定を含む。このような例示的な一実施形態において、ある位置からの異なるビューの決定は、装置の位置からの異なるビューの決定を含む。例えば、装置は、ユーザの頭部に装着されたヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイは、例えば、ある方向を向くように方向付けられたあるカメラモジュールと、異なる方向を向くように方向付けられた他のカメラモジュールと、を備えてもよい。このような例において、装置は、ユーザの頭部上の位置で装着されたカメラモジュールの位置から延びるある方向におけるあるビューを決定し、かつ、ユーザの頭部上の位置で装着された他のカメラモジュールの位置から延びる異なる方向における異なるビューを決定してもよい。
【0073】
少なくとも1つの例示的な実施形態において、ある位置は、別途装置の地理的位置である。このような例示的な一実施形態において、ある位置からのあるビューの決定は、別途装置の地理的位置からのあるビューの決定を含み、かつ、ある位置からの異なるビューの決定は、別途装置の地理的位置からの異なるビューの決定を含む。例えば、別途装置は、特定の地理的位置に配置されてもよく、かつ、あるカメラモジュール、他のカメラモジュールおよび/または同種のものを備えてもよい。あるカメラモジュールは、地理的位置から延びるある方向を向くように方向付けられてもよく、かつ、他のカメラモジュールは、地理的位置から延びる異なる方向を向くように方向付けられてもよい。このような例において、装置は、地理的位置にある別途装置に備えられたあるカメラモジュールの位置から延びるある方向におけるあるビューを決定してもよい。このような例示的な一実施形態において、装置は、地理的位置にある別途装置に備えられた他のカメラモジュールの位置から延びる異なる方向における異なるビューを決定してもよい。
【0074】
別途装置の地理的位置からのあるビューの決定を容易にするために、地理的位置に関連付けられた情報、地理的位置からの1つ以上のビューに関連付けられた情報および/または同種のものを伝達することが望ましいこともある。例えば、ユーザは、特定の地理的位置を取り巻く環境を知覚したいと望み得る。このような例示的な一実施形態において、ユーザは、例えば、地理的位置からの視覚情報を含むビューの1つ以上の視覚表現を見るという目的で地理的位置を取り巻く環境を探索したいと望み得る。少なくとも1つの例示的な実施形態において、装置は、ある位置として地理的位置を特定する情報を受け取る。少なくとも1つの例示的な実施形態において、あるビューの決定は、特定の方向における地理的位置から延びるあるビューを表現するある画像の取得を含んでもよい。ある画像は、例えば、ある方向に一致するある方位を有してもよい。このような例示的な一実施形態において、異なるビューの決定は、異なる方向における地理的位置から延びる異なるビューを表現する他の画像の取得を含んでもよい。他の画像は、例えば、異なる方向に一致する他の方位を有してもよい。場合によっては、ある画像および他の画像はパノラマ画像に含まれてもよい。パノラマ画像は、ある方向、異なる方向および/または同種のものに関連付けられた視覚情報を含む画像であってもよい。少なくとも1つの例示的な実施形態において、ある画像はパノラマ画像のある一部であり、かつ、他の画像はパノラマ画像の他の一部である。例えば、パノラマ画像は、ある位置からの全180度の垂直視界および全360度の水平視界に関連付けられた視覚情報を含む、ある位置で撮像された球面パノラマ画像であってもよい。このような例において、ある位置からのあるビューは、少なくとも部分的に、あるビューのある方向に一致する球面パノラマ画像のある一部に基づいて決定されてもよく、かつ、ある位置からの異なるビューは、少なくとも部分的に、異なるビューの異なる方向に一致する球面パノラマ画像の他の一部に基づいて決定されてもよい。
【0075】
場合によっては、ユーザは、ある位置からのビューおよび異なる位置からのビューを知覚したいと望み得る。例えば、ユーザは、ある地理的位置からのあるビューを知覚し、他の地理的位置からの異なるビューを知覚しかつ/または同種のことを行いたいと望み得る。このような例示的な一実施形態において、ある位置からのあるビューの決定は、ある別途装置のある地理的位置からのあるビューの決定を含み、かつ、異なる位置からの異なるビューの決定は、他の別途装置の他の地理的位置からの異なるビューの決定を含む。例えば、ある別途装置は、特定の地理的位置に配置されてもよく、かつ、あるカメラモジュールを備えてもよい。他の別途装置は、他の特定の地理的位置に配置されてもよく、かつ、他のカメラモジュールを備えてもよい。あるカメラモジュールは、ある地理的位置から延びるある方向を向くように方向付けられてもよく、かつ、他のカメラモジュールは、他の地理的位置から延びる異なる方向を向くように方向付けられてもよい。このような例において、装置は、ある地理的位置にあるある別途装置に備えられたあるカメラモジュールのある位置から延びるある方向におけるあるビューを決定してもよい。このような例示的な一実施形態において、装置は、他の地理的位置にある他の別途装置に備えられた他のカメラモジュールの異なる位置から延びる異なる方向における異なるビューを決定してもよい。
【0076】
図3Aは、少なくとも1つの例示的な実施形態に係るある位置からのビューを例示する図である。
図3Aの例において、ビュー312は、ビュー境界304および306により規定される位置302を取り巻く環境の一部に関連付けられた視覚情報を含む。
図3Aの例において、ビュー境界304および306は、位置302にありかつビュー312の方向に向けられたあるカメラモジュールのある撮像領域を示す。あるビューの方向は、あるビューのビュー境界間の角度と交差する方向であってもよい。例えば、ビュー312の方向は、ビュー境界304とビュー境界306との間の角度と交差する方向である。例えば、ビュー312は、位置302からのビュー312の方向に沿って知覚可能であり、かつ、あるカメラモジュールのある撮像領域内にある、位置302を取り巻く環境の一部に関連付けられた視覚情報を含んでもよい。
図3Aの例において、車両316は、ビュー312内にあるので、あるカメラモジュールのある撮像領域内にある。
図3Aの例において、ビュー314Aは、ビュー境界308および310により規定される位置302を取り巻く環境の一部に関連付けられた視覚情報を含む。
図3Aの例において、ビュー境界308および310は、位置302にありかつビュー314Aの方向に向けられた他のカメラモジュールの他の撮像領域を示す。例えば、ビュー314Aは、位置302からのビュー314Aの方向に沿って知覚可能であり、かつ、他のカメラモジュールの他の撮像領域内にある、位置302を取り巻く環境の一部に関連付けられた視覚情報を含んでもよい。
図3Aの例において、樹木318は、ビュー314A内にあるので、他のカメラモジュールの撮像領域内にある。少なくとも1つの例示的な実施形態において、ビュー312は、少なくとも部分的に、位置302で撮像されたパノラマ画像のある一部に基づいて決定され、かつ、ビュー314Aは、少なくとも部分的に、パノラマ画像の他の一部に基づいて決定される。
【0077】
図3Aの例において、樹木320、322および326並びにベンチ324は、位置302にあるあるカメラモジュールのある撮像領域に一致することができない。特定の位置を取り巻く環境の知覚をより容易にするために、ある位置からの多数の異なる方向に沿って知覚可能であり得る視覚情報をユーザが知覚できるようにすることが望ましいこともある。例えば、ある位置からのある方向に沿った、異なる方向に沿った、ある方向および異なる方向と交差する別の方向に沿ったかつ/または同種のものに沿った視覚情報をユーザが知覚できるようにすることが望ましいこともある。例えば、多数の異なる方向に沿って知覚可能であり得る視覚情報は、パノラマ視覚表現がある位置からの180度の水平視界、210度の水平視界、360度の水平視界および/または同種のものに沿った視覚情報を含むように互いに縫合されてもよい。
【0078】
図3Bは、少なくとも1つの例示的な実施形態に係るある位置からのビューを例示する図である。
図3Bの例において、ビュー312は、
図3Aのビュー312に対応する。
図3Bの例において、ビュー314Bは、ビュー314Bがビュー境界304および306により規定されるように構成された、
図3Aのビュー314Aの再構成である。このように、ビュー312およびビュー314Bは、位置302からの360度の水平視界に沿って知覚可能な視覚情報を集合的に含む。
図3Bの例において、ビュー312は、位置302にありかつビュー312の方向に向けられたあるカメラモジュールのある撮像領域に関連付けられた視覚情報を含む。
図3Bの例において、ビュー314Bは、位置302にありかつビュー314Bの方向に向けられた他のカメラモジュールの他の撮像領域に関連付けられた視覚情報を含む。例えば、ビュー314Bは、位置302からのビュー314Bの方向に沿って知覚可能であり、かつ、他のカメラモジュールの他の撮像領域内にある、位置302を取り巻く環境の一部に関連付けられた視覚情報を含んでもよい。
図3Bの例において、樹木318、320、322および326並びにベンチ324は、ビュー314B内にあるので、他のカメラモジュールの撮像領域内にある。少なくとも1つの例示的な実施形態において、ビュー312は、少なくとも部分的に、位置302で撮像されたパノラマ画像のある一部に基づいて決定され、かつ、ビュー314Bは、少なくとも部分的に、パノラマ画像の他の一部に基づいて決定される。
【0079】
図3Aおよび
図3Bの例は不連続な個別のビューを表しているが、場合によっては、あるビューと異なるビューとは、少なくとも部分的に重複してもよい。例えば、ビュー314Bは、360度の水平視界に沿って知覚可能な視覚情報を含んでもよい。このような例において、ビュー314Bは、ビュー312に含まれる視覚情報の一部、ビュー312に含まれる視覚情報の全体および/または同種のものを含んでもよい。例えば、ビュー314Bは、車両316と同様に、樹木318、320、322および326並びにベンチ324に関連付けられた視覚情報を含んでもよい。そのようなものとして、ビュー314Bは、位置302からの360度の水平視界にまたがって知覚可能なパノラマ視覚情報を含んでもよい。
【0080】
図4Aから
図4Gは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Aから
図4Gの例は単なる例に過ぎず、特許請求の範囲を限定するものではない。例えば、ビューは変化してもよく、視覚表現は変化してもよく、注視深度および/または焦点深度は変化してもよく、ディスプレイ構成は変化してもよく、かつ/または、同種の変化があってもよい。
【0081】
多くの場合、ある位置を取り巻く環境の知覚を容易にするために、ユーザは、あるビュー、異なるビューおよび/または同種のものに関連付けられた視覚情報の表現を見たいと望み得る。例えば、ユーザは、ヘッドマウントディスプレイを介してあるビュー、異なるビュー等を知覚したいと望み得る。少なくとも1つの例示的な実施形態において、装置は、あるビューの視覚表現をディスプレイに表示させる。例えば、装置は、あるビューの視覚表現を装置に備えられたディスプレイにディスプレイしてもよく、あるビューの視覚表現を示す情報をディスプレイ用の別途装置に送信してもよく、別途装置にあるビューの視覚表現をディスプレイさせてもよく、かつ/または、同種のことを行ってもよい。
【0082】
多くの場合、ユーザは、あるビュー、異なるビューおよび/または同種のものを、ユーザがあるビューから異なるビューへ、異なるビューからあるビューへ、かつ/または、同種のビューからビューへ容易かつ迅速に切り替え可能に知覚したいと望み得る。例えば、ある位置に存在するユーザは、ユーザを取り囲む物体を知覚し、ある位置からのある方向に沿ったあるビューに関連付けられた視覚情報を知覚し、ある位置からの異なる方向に沿った異なるビューに関連付けられた視覚情報を知覚しかつ/または同種のことを行いたいと望み得る。このような例において、ユーザは、潜在的に煩雑な触覚相互作用を回避し、ヘッドマウントディスプレイを不器用に扱うことを回避しかつ/または同種のことを行うような方法で、ヘッドマウントディスプレイと相互作用したいと望み得る。
【0083】
少なくとも1つの例示的な実施形態において、装置は、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイにディスプレイさせ、かつ、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる。このような例示的な実施形態において、ある焦点深度は、ユーザがある焦点深度であるビューの視覚表現に合焦させる場合、ユーザが異なる焦点深度で異なるビューの視覚表現に合焦させることを回避するように構成される。例えば、ある焦点深度は、ある焦点深度でのあるビューの視覚表現への合焦が、異なる焦点深度での異なるビューの視覚表現への合焦を妨げるように構成されてもよい。同様に、異なる焦点深度は、ユーザが異なる焦点深度で異なるビューの視覚表現に合焦させる場合、ユーザがある焦点深度であるビューの視覚表現に合焦させることを回避するように構成されてもよい。例えば、異なる焦点深度は、異なる焦点深度での異なるビューの視覚表現への合焦が、ある焦点深度でのあるビューの視覚表現への合焦を妨げるように構成されてもよい。そのようなものとして、仮にユーザがある焦点深度のある視覚表現に合焦させる場合、ユーザは、ある視覚表現に合焦させることが可能であり、かつ、ある焦点深度よりも著しく大きい焦点深度、著しく小さい焦点深度および/または同種のもので表示される他の視覚表現に合焦させることが不可能である。例えば、あるビューの視覚表現を見たいと望むユーザは、あるビューの視覚表現のある焦点深度に一致する深度で合焦させてもよい。同様に、例えば、異なるビューの視覚表現を見たいと望むユーザは、異なるビューの視覚表現の異なる焦点深度に一致する深度で合焦させてもよい。
【0084】
場合によっては、ユーザは、1つ以上の位置からビューを知覚したいと望み得る。例えば、ユーザは、ある位置からのあるビュー、ある位置からの異なるビュー、異なる位置からの第3のビューおよび/または同種のものを知覚したいと望み得る。少なくとも1つの例示的な実施形態において、装置は、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイにディスプレイさせ、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイにディスプレイさせ、かつ、第3のビューが第3の焦点深度でユーザにより視認可能であるように第3のビューの視覚表現をディスプレイに表示させる。
【0085】
少なくとも1つの例示的な実施形態において、ディスプレイは多深度ディスプレイである。このような例示的な一実施形態において、装置は、ある焦点深度があるディスプレイ深度に一致するようにあるビューの視覚表現をディスプレイにディスプレイさせ、異なる焦点深度が他のディスプレイ深度に一致するように異なるビューの視覚表現をディスプレイにディスプレイさせ、第3の焦点深度が第3のディスプレイ深度に一致するように第3のビューの視覚表現をディスプレイにディスプレイさせかつ/または同種のことを行ってもよい。例えば、ディスプレイは、両眼視用の立体視を介して特定の焦点深度における情報を伝達できる立体ディスプレイであってもよい。このような例において、立体ディスプレイに表示される視覚表現が正常な両眼視を有するユーザにより観測される場合、立体視は深度の知覚を可能にする。
【0086】
場合によっては、少なくとも部分的にユーザの注視深度に基づいてユーザからの意図を判断することが望ましいこともある。例えば、ユーザがあるビューの視覚表現を知覚したいと望む場合、このような視覚表現を表示させることが望ましいこともある。このような例において、ユーザの注視深度は、あるビューの視覚表現の焦点深度に一致し得る。ユーザの注視深度とあるビューの視覚表現の焦点深度との対応は、ユーザがあるビューの視覚表現を知覚したいと望むことを示してもよい。少なくとも1つの例示的な実施形態において、装置はユーザの注視深度を決定する。少なくとも1つの例示的な実施形態において、装置は、ユーザの注視深度があるビュー、あるビューの視覚表現および/または同種のものに関連付けられたある焦点深度に一致すると決定する。このような例示的な一実施形態において、装置は、少なくとも部分的に、ユーザの注視深度がある焦点深度に一致するという決定に基づいて、ある焦点深度のあるビューの視覚表現をディスプレイさせてもよい。少なくとも1つの例示的な実施形態において、装置は、ユーザの注視深度が異なるビュー、異なるビューの視覚表現および/または同種のものに関連付けられた異なる焦点深度に一致すると決定する。このような例示的な一実施形態において、装置は、少なくとも部分的に、ユーザの注視深度が異なる焦点深度に一致するという決定に基づいて、異なる焦点深度の異なるビューの視覚表現をディスプレイさせてもよい。
【0087】
図4Aは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Aの例において、視覚表現402は、
図3Aのビュー314Aの視覚表現である。
図4Aの例において、視覚表現403は、ユーザ400の後方のある方向におけるあるビューに関連付けられた視覚情報を含む。例えば、樹木403は、
図3Aの樹木318に対応する。このように、視覚表現403は、
図3Aの位置302から延びるビュー境界308とビュー境界310との間の角度と交差するある方向に沿って知覚可能な視覚情報を含む。
図4Aの例において、視覚表現403は焦点深度406に関連付けられる。焦点深度406は、ユーザ400から距離407の位置にある点に合焦させたユーザに関連付けられたある焦点深度である。視覚表現402は、少なくとも部分的に、視覚表現402に描写された環境の一部に関連付けられた方向に向けられたカメラモジュールから受け取ったカメラ視覚情報に基づいてもよい。或いは、視覚表現402は、少なくとも部分的に、
図3Aの位置302に関連付けられた地理的位置を取り巻く環境を描くパノラマ画像の一部に基づいてもよい。例えば、視覚表現402は、
図3Aのビュー314Aの方向に一致するパノラマ画像の一部に基づいてもよい。
【0088】
図4Aの例において、視覚表現404は、
図3Aのビュー312の視覚表現である。
図4Aの例において、視覚表現405は、ユーザ400の前方のある方向におけるあるビューに関連付けられた視覚情報を含む。例えば、車両405は、
図3Aの車両316に対応する。このように、視覚表現405は、
図3Aの位置302から延びるビュー境界304とビュー境界306との間の角度と交差するある方向に沿って知覚可能な視覚情報を含む。
図4Aの例において、視覚表現405は焦点深度408に関連付けられる。焦点深度408は、ユーザ400から距離409の位置にある点に合焦させたユーザに関連付けられたある焦点深度である。視覚表現404は、少なくとも部分的に、視覚表現404に描写された環境の一部に関連付けられた方向に向けられたカメラモジュールから受け取ったカメラ視覚情報に基づいてもよい。或いは、視覚表現404は、少なくとも部分的に、
図3Aの位置302に関連付けられた地理的位置を取り巻く環境を描くパノラマ画像の一部に基づいてもよい。例えば、視覚表現404は、
図3Aのビュー312の方向に一致するパノラマ画像の一部に基づいてもよい。
【0089】
図4Aの例において、装置は、少なくとも部分的に、焦点深度406において合焦しているユーザ400に基づいて視覚表現402をディスプレイさせてもよい。同様に、装置は、少なくとも部分的に、焦点深度408において合焦しているユーザ400に基づいて視覚表現404をディスプレイさせてもよい。
図4Aの例は、視覚表現404に関連付けられた焦点深度よりも小さい焦点深度でディスプレイされている視覚表現402を表しているが、視覚表現402は、視覚表現404に関連付けられた焦点深度よりも大きい焦点深度でディスプレイされてもよい。
【0090】
場合によっては、ユーザは、少なくとも部分的に、あるビューの視覚表現に一致するディスプレイ上の特定の点での固視に基づいてあるビューの視覚表現を知覚したいと望み得る。例えば、ユーザがあるビューの視覚表現を知覚するために適切な注視深度で合焦され得る場合であっても、ユーザは、あるビューの視覚表現に一致することができない位置に合焦され得る。このような状況では、ユーザの注視深度とあるビューの視覚表現の焦点深度とが対応しているにもかかわらず、ユーザがあるビューの視覚表現を見ないようにすることを好む場合があり得る。少なくとも1つの例示的な実施形態において、装置は、あるビューの視覚表現がディスプレイ上のあるディスプレイ領域に表示されるように、あるビューの視覚表現を表示させる。このような例示的な一実施形態において、装置は、ユーザのある注視深度を決定し、かつ、ある注視位置がディスプレイ上のあるビューの視覚表現のあるディスプレイ領域に一致すると決定してもよい。装置は、少なくとも部分的に、ある注視位置があるディスプレイ領域に一致するという決定に基づいて、あるビューの視覚表現をディスプレイさせてもよい。同様に、少なくとも1つの例示的な実施形態において、装置は、異なるビューの視覚表現がディスプレイ上の他のディスプレイ領域に表示されるように、異なるビューの視覚表現を表示させる。このような例示的な一実施形態において、装置は、ユーザの他の注視深度を決定し、かつ、他の注視位置がディスプレイ上の異なるビューの視覚表現の他のディスプレイ領域に一致すると決定してもよい。装置は、少なくとも部分的に、他の注視位置が他のディスプレイ領域に一致するという決定に基づいて、異なるビューの視覚表現をディスプレイさせてもよい。例えば、あるビューの視覚表現のディスプレイ領域は、あるビューの視覚表現をディスプレイしているディスプレイの少なくとも一部であってもよく、かつ、異なるビューの視覚表現のディスプレイ領域は、異なるビューの視覚表現をディスプレイしているディスプレイの少なくとも一部であってもよい。
【0091】
場合によっては、ビューの視覚表現のディスプレイは、ディスプレイサイズ、ディスプレイ解像度および/または同種のものによって制約され得る。このような状況では、存在し得るいかなるディスプレイ制約の効果も低減し、有効ディスプレイ空間を充分に活用しかつ/または同種のことを行うような方法で、ビューの視覚表現を表示することが望ましいこともある。少なくとも1つの例示的な実施形態において、あるビューの視覚表現のディスプレイは、あるビューの視覚表現のディスプレイ領域が異なるビューの視覚表現のディスプレイ領域と重複するように実行されてもよい。このような例示的な一実施形態において、重複は、少なくとも部分的に異なるビューの視覚表現のディスプレイ領域と一致するあるビューの視覚表現のディスプレイ領域を特徴とし得る。例えば、あるビューの視覚表現は、異なるビューの視覚表現のディスプレイ領域に部分的に一致し、異なるビューの視覚表現のディスプレイ領域に全体として一致しかつ/または同種の一致が生じるように、ディスプレイ領域にディスプレイされてもよい。例えば、あるビューの視覚表現は、あるディスプレイ領域にある焦点深度でディスプレイされてもよい。このような例において、異なるビューの視覚表現は、同一のディスプレイ領域に異なる焦点深度でディスプレイされてもよい。このように、あるビューの視覚表現および異なるビューの視覚表現は、ディスプレイの同一のディスプレイ領域を使用し、かつ、ユーザは、少なくとも部分的に、ある焦点深度、異なる焦点深度および/または同種のものに一致するユーザの注視深度に基づいていずれかの視覚表現を選択的に知覚してもよい。
【0092】
少なくとも1つの例示的な実施形態において、ディスプレイにおけるあるビューの視覚表現のディスプレイに関連付けられたディスプレイ深度は、あるビューの視覚表現がディスプレイに表示されるディスプレイ領域からは独立している。例えば、仮にあるビューの視覚表現および異なるビューの視覚表現が異なるディスプレイ深度でディスプレイに表示される場合であっても、あるビューの視覚表現に関連付けられたディスプレイ領域は、少なくとも部分的に異なるビューの視覚表現に関連付けられたディスプレイ領域に一致してもよい。少なくとも1つの例示的な実施形態において、ディスプレイ領域は、二以上のディスプレイ深度、あるビューの二以上の視覚表現および/または同種のものに関連付けられてもよい。
【0093】
少なくとも1つの例示的な実施形態において、装置は、あるビューの視覚表現がディスプレイ上の異なるビューの視覚表現を少なくとも部分的にぼやけさせるように、あるビューの視覚表現をディスプレイに表示させる。同様に、装置は、異なるビューの視覚表現がディスプレイ上のあるビューの視覚表現を少なくとも部分的にぼやけさせるように、異なるビューの視覚表現をディスプレイにディスプレイさせてもよい。例えば、ユーザがあるビューの視覚表現に関連付けられたある焦点深度に一致する注視深度で合焦し得る場合であっても、異なるビューの焦点が合っていない視覚表現は、あるビューの視覚表現を少なくとも部分的にぼやけさせ得る。このような例において、ぼやけさせることは、異なるビューの視覚表現の不鮮明な知覚、異なるビューの半透明な視覚表現のディスプレイ、少なくとも部分的にあるビューの視覚表現のディスプレイ領域に一致するディスプレイ領域における異なるビューの視覚表現のディスプレイおよび/または同種のことを特徴とし得る。
【0094】
多くの場合、ユーザは、あるビューの視覚表現のディスプレイを中断すること、あるビューの視覚表現の知覚を停止すること、ヘッドマウントディスプレイのシースルー・ディスプレイのディスプレイ範囲を超えて配置された視覚情報を知覚することおよび/または同種のことを望み得る。このような状況では、ユーザは、例えば、あるビューの視覚表現に一致することができないある焦点深度での合焦の際、ヘッドマウントディスプレイのシースルー・ディスプレイのディスプレイ範囲を超えて配置された物体への合焦の際および/または同種のことの際、装置があるビューの視覚表現のディスプレイを終了することを望み得る。少なくとも1つの例示的な実施形態において、装置は、ディスプレイでのあるビューの視覚表現のディスプレイを終了させ、ディスプレイでの異なるビューの視覚表現のディスプレイを終了させかつ/または同種のことを行う。
【0095】
図4Bは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Bの例において、視覚表現410は、
図4Aの視覚表現404に対応し、かつ、視覚表現412は、
図4Aの視覚表現402に対応する。
図4Bの例において、視覚表現410は、
図3Aのビュー312の方向に沿って知覚可能な視覚情報を含み、かつ、視覚表現412は、
図3Aのビュー314Aの方向に沿って知覚可能な視覚情報を含む。そのようなものとして、車両416は、
図3Aの車両316に対応し、かつ、樹木414は、
図3Aの樹木318に対応する。
図3Aおよび
図4Bに示されるように、視覚表現410は、
図3Aのビュー312の方向を中心とする約60度の水平視界に沿って知覚可能な視覚情報を含み、かつ、視覚表現412は、
図3Aのビュー314Aの方向を中心とする約60度の水平視界に沿って知覚可能な視覚情報を含む。そのようなものとして、
図4Dの画像を見ているユーザは、ユーザの前方および後方、ユーザの左方および右方および/または同種のものにおけるビューを描く視覚表現を提示されてもよい。
【0096】
図4Bの例において、ディスプレイは、ある焦点深度での視覚表現410および異なる焦点深度での視覚表現412をディスプレイしている。
図4Bの例は、注視深度が視覚表現410に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現410に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現410をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現410に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現410に合焦させたいと望んだこと、ユーザがユーザの前方の方向に一致する視覚情報を知覚したいと望むことおよび/または同種のことを示してもよい。
【0097】
図4Bに例示するように、視覚表現412のディスプレイ領域は、視覚表現410に重複しかつ部分的に視覚表現410をぼやけさせる。
図4Bに例示するように、視覚表現410に合焦させることは視覚表現412に合焦させることを妨げ得るので、視覚表現410は、視覚表現412と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現412に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現412に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現410はより目立つように表示される。このように、仮にユーザが視覚表現412を知覚したいと望む場合、例えば、仮にユーザが視覚表現412を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現412を参照したいと望む場合、視覚表現412がより目立って表示されることでユーザが更に視覚表現412を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現412の焦点深度に一致させるように調整できる。
【0098】
図4Cは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Cは、ユーザがユーザの注視深度を、視覚表現410の焦点深度に一致する注視深度から視覚表現412の異なる焦点深度に一致する注視深度へ移した後の
図4Bに対応する。
図4Cの例は、注視深度が視覚表現412に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現412に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現412をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現412に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現412に合焦させたいと望んだこと、ユーザがユーザの後方の方向に一致する視覚情報を知覚したいと望むことおよび/または同種のことを示してもよい。
【0099】
図4Cに例示するように、あるビューの視覚表現410のディスプレイ領域は、視覚表現412に重複しかつ部分的に視覚表現412をぼやけさせる。
図4Cの例において、視覚表現412に合焦させることは視覚表現410に合焦させることを妨げ得るので、視覚表現412は、視覚表現410と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現410に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現410に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現412はより目立つように表示される。このように、仮にユーザが視覚表現410を知覚したいと望む場合、例えば、仮にユーザが視覚表現410を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現410を参照したいと望む場合、視覚表現410がより目立って表示されることでユーザが更に視覚表現410を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現410の焦点深度に一致させるように調整できる。
【0100】
先に述べたように、場合によっては、ある位置からの多数の異なる方向に沿って知覚可能であり得る視覚情報をユーザが知覚できるようにすることが望ましいこともある。例えば、ある位置からのある方向に沿った、異なる方向に沿った、ある方向および異なる方向と交差する別の方向に沿ったかつ/または同種のものに沿った視覚情報をユーザが知覚できるようにすることが望ましいこともある。例えば、環境への意識を容易にするために、ある方向を向いておりかつヘッドマウントディスプレイを装着しているユーザは、ユーザが向いている方向とは反対の異なる方向に沿って、ある方向および異なる方向と交差する方向に沿ってかつ/または同種のものに沿って知覚可能な視覚情報を含むパノラマ視覚表現のディスプレイを知覚したいと望み得る。
【0101】
少なくとも1つの例示的な実施形態において、あるビューは、ある位置からのある方向に沿って、ある位置からの異なる方向に沿って、ある方向からのある方向および異なる方向と交差する別の方向に沿ってかつ/または同種のものに沿って知覚可能な視覚情報を含むパノラマ視覚表現である。例えば、あるビューの視覚表現は、ある位置から延びるある方向に沿って知覚可能な視覚情報、ある位置から延びる異なる方向に沿って知覚可能な視覚情報、ある方向および異なる方向と交差する別の方向に沿って知覚可能な視覚情報および/または同種のものの少なくとも一部の、パノラマ視覚表現を含んでもよい。別の例では、異なるビューの視覚表現は、ある位置から延びる異なる方向に沿って知覚可能な視覚情報、ある位置から延びるある方向に沿って知覚可能な視覚情報、ある方向および異なる方向と交差する別の方向に沿って知覚可能な視覚情報および/または同種のものの少なくとも一部の、パノラマ視覚表現を含んでもよい。実際には、複数のビューの視覚表現は、ユーザが、別の状況ではユーザの視界が遮られ得る方向、ユーザの後方の方向、ユーザの周辺ビューの範囲外の方向および/または同種のものにおいて知覚可能な視覚情報を知覚できるようにしてもよい。
【0102】
図4Dは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Dの例において、視覚表現420は、
図4Aの視覚表現404に対応し、かつ、視覚表現422は、少なくとも部分的に、
図4Aの視覚表現402に対応する。
図4Dの例において、視覚表現420は、
図3Bのビュー312の方向に沿って知覚可能な視覚情報を含み、かつ、視覚表現422は、
図3Bのビュー314Bの方向に沿って知覚可能な視覚情報を含む。そのようなものとして、視覚表現420に描写された車両424は、
図3Bの車両316に対応する。
図4Dの例において、視覚表現422に描写された樹木426は、
図3Bの樹木318に対応する。また、
図4Dの例において、樹木427、樹木428、ベンチ429および樹木430は、それぞれ、
図3Bの樹木322、樹木320、ベンチ324および樹木326に対応する。このように、視覚表現422は、
図3Bのビュー314Bの方向において、
図3Bのビュー314Bの方向およびビュー312と交差する別の方向においてかつ/または同種のものにおいて知覚可能な視覚情報を含むパノラマ視覚表現である。
図3Bおよび
図4Dに示されるように、視覚表現420は、
図3Bのビュー312の方向を中心とする約60度の水平視界に沿って知覚可能な視覚情報を含み、かつ、視覚表現422は、
図3Bのビュー314Bの方向を中心とする約300度の水平視界に沿って知覚可能な視覚情報を含む。そのようなものとして、
図4Dの画像を見ているユーザは、ユーザを取り巻く環境の全360度の視覚表現を提示されてもよい。
【0103】
図4Dの例において、ディスプレイは、ある焦点深度での視覚表現420および異なる焦点深度での視覚表現422をディスプレイしている。
図4Dの例は、注視深度が視覚表現420に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現420に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現420をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現420に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現420に合焦させたいと望んだこと、ユーザがユーザの前方の方向に一致する視覚情報を知覚したいと望むことおよび/または同種のことを示してもよい。
図4Dの例において、視覚表現420はシースルー・ディスプレイのディスプレイ領域に表示される。ユーザの注視深度は、例えば、ユーザの、視覚表現444を表示させるという意図、視覚表現420に合焦させるという意図および/または同種のものが推論され得るように、視覚表現420のディスプレイ領域内の位置に一致してもよい。
【0104】
図4Dに例示するように、視覚表現422のディスプレイ領域は、視覚表現420に重複しかつ部分的に視覚表現420をぼやけさせる。
図4Dの例において、視覚表現420に合焦させることは視覚表現422に合焦させることを妨げ得るので、視覚表現420は、視覚表現422と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現422に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現422に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現420はより目立つように表示される。このように、仮にユーザが視覚表現422を知覚したいと望む場合、例えば、仮にユーザが視覚表現422を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現422を参照したいと望む場合、視覚表現422がより目立って表示されることでユーザが更に視覚表現422を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現422の焦点深度に一致させるように調整できる。
【0105】
図4Eは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Eは、ユーザがユーザの注視深度を、視覚表現420の焦点深度に一致する注視深度から視覚表現422の異なる焦点深度に一致する注視深度へ移した後の
図4Dに対応する。
図4Eの例は、注視深度が視覚表現422に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現422に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現422をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現422に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現422に合焦させたいと望んだこと、ユーザがユーザの後方の方向に一致する視覚情報を知覚したいと望むことおよび/または同種のことを示してもよい。
図4Eの例において、視覚表現422はシースルー・ディスプレイのディスプレイ領域に表示される。ユーザの注視深度は、例えば、ユーザの、視覚表現422を表示させるという意図、視覚表現422に合焦させるという意図および/または同種のものが推論され得るように、視覚表現422のディスプレイ領域内の位置に一致してもよい。
【0106】
図4Eに例示するように、視覚表現420のディスプレイ領域は、視覚表現422に重複しかつ部分的に視覚表現422をぼやけさせる。
図4Eの例において、視覚表現422に合焦させることは視覚表現420に合焦させることを妨げ得るので、視覚表現422は、視覚表現420と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現420に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現420に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現422はより目立つように表示される。このように、仮にユーザが視覚表現420を知覚したいと望む場合、例えば、仮にユーザが視覚表現420を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現420を参照したいと望む場合、視覚表現420がより目立って表示されることでユーザが更に視覚表現420を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現420の焦点深度に一致させるように調整できる。
【0107】
場合によっては、
図2Aおよび
図2Bに関連して述べたように、ユーザは、シースルー・ディスプレイ上の情報を見たいと望み得る。例えば、ユーザは、ユーザを取り巻く環境のぼやけを低減しつつヘッドマウントディスプレイに表示される情報を見たいと望み得る。このような状況では、ユーザからのある方向に沿って知覚可能な視覚情報は、シースルー・ディスプレイを介してユーザにより直接知覚可能であってもよい。例えば、ユーザは、ヘッドマウントディスプレイの少なくとも一部を介してユーザの前方の視覚情報を知覚してもよい。そのようなものとして、場合によっては、ユーザは、視覚情報を強調し、ヘッドマウントディスプレイを介してユーザにより知覚可能であり得る範囲を超えた追加の視覚情報を提供しかつ/または同種のことを行う方法で、ユーザの前方において知覚可能な視覚情報の少なくとも一部を知覚したいと望み得る。少なくとも1つの例示的な実施形態において、ディスプレイはシースルー・ディスプレイであり、かつ、あるビューは、ある位置からのある方向に沿って知覚可能な視覚情報の非単一倍率を示す視覚情報である。非単一倍率は、例えば、1以外の拡大率であってもよい。例えば、あるビューの視覚表現は、ある位置からのある方向に沿って知覚可能な視覚情報の少なくともある一部の10×の拡大率を有してもよく、ある位置からのある方向に沿って知覚可能な視覚情報の少なくとも他の一部の20×の拡大率を有してもよくかつ/または同種のものを有してもよい。
【0108】
図4Fは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Fの例において、車両446は、視覚表現442および444をディスプレイしているシースルー・ディスプレイを介して知覚可能である。
図4Fの例は、
図3Bの例に対応する。そのようなものとして、シースルー・ディスプレイを介して知覚可能な車両446は、
図3Bの車両316に対応する。
図4Fの例において、視覚表現444は、ある位置からの
図3Bのビュー312の方向に沿って知覚可能な視覚情報の非単一倍率を示す視覚情報を含む。例えば、
図3Bに示されるように、ユーザは位置302に存在してもよく、かつ、車両316と向かい合っていてもよい。そのようなものとして、視覚表現444に描写された車両448は、
図3Bの車両316に対応する。
図4Fの例は、ユーザが
図3Bの位置302に立っており、かつ、
図3Bの車両316の方向を見ている状態で、ユーザが知覚し得るものを表している。
図4Fの例において、視覚表現442は、少なくとも部分的に、
図4Aの視覚表現402に対応する。
図4Fの例において、視覚表現442は、
図3Bのビュー314Bの方向に沿って知覚可能な視覚情報を含む。そのようなものとして、視覚表現442に描写された樹木450は、
図3Bの樹木318に対応する。また、
図4Fの例において、樹木451、樹木452、ベンチ453および樹木454は、それぞれ、
図3Bの樹木322、樹木320、ベンチ324および樹木326に対応する。このように、視覚表現442は、
図3Bのビュー314Bの方向において、
図3Bのビュー314Bの方向およびビュー312と交差する別の方向においてかつ/または同種のものにおいて知覚可能な視覚情報を含むパノラマ視覚表現である。
図3Bおよび
図4Fに示されるように、視覚表現422は、
図3Bのビュー314Bの方向を中心とする約300度の水平視界に沿って知覚可能な視覚情報を含む。そのようなものとして、
図4Fの画像を見ているユーザは、ユーザを取り巻く環境の全360度の視覚表現を提示されてもよい。
【0109】
図4Fの例において、ディスプレイは、ある焦点深度での視覚表現444および異なる焦点深度での視覚表現442をディスプレイしている。
図4Fの例は、注視深度が視覚表現444に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現444に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現444をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現444に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現444に合焦させたいと望んだこと、ユーザがユーザの前方の方向に一致する視覚情報の非単一倍率を知覚したいと望むことおよび/または同種のことを示してもよい。
図4Fの例において、視覚表現444はシースルー・ディスプレイのディスプレイ領域に表示される。ユーザの注視深度は、例えば、ユーザの、視覚表現444を表示させるという意図、視覚表現444に合焦させるという意図および/または同種のものが推論され得るように、視覚表現444のディスプレイ領域内の位置に一致してもよい。
【0110】
図4Fの例において、視覚表現444に合焦させることは視覚表現442に合焦させることを妨げ得るので、視覚表現444は、視覚表現442と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現442に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現442に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現444はより目立つように表示される。このように、仮にユーザが視覚表現442を知覚したいと望む場合、例えば、仮にユーザが視覚表現442を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現442を参照したいと望む場合、視覚表現442がより目立って表示されることでユーザが更に視覚表現442を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現442の焦点深度に一致させるように調整できる。
【0111】
図4Gは、少なくとも1つの例示的な実施形態に係る視覚表現のディスプレイを例示する図である。
図4Gは、ユーザがユーザの注視深度を、視覚表現444の焦点深度に一致する注視深度から視覚表現442の異なる焦点深度に一致する注視深度へ移した後の
図4Fに対応する。
図4Gの例は、注視深度が視覚表現442に関連付けられた焦点深度に一致するユーザがディスプレイを見る際に知覚し得るものを表している。視覚表現442に関連付けられた焦点深度に一致するユーザの注視深度は、ユーザが視覚表現442をユーザの装置にディスプレイさせたいと望むこと、ユーザが視覚表現442に関連付けられた視覚情報を知覚したいと望むこと、ユーザが視覚表現442に合焦させたいと望んだこと、ユーザがユーザの後方の方向に一致する視覚情報を知覚したいと望むことおよび/または同種のことを示してもよい。
図4Gの例において、視覚表現442はシースルー・ディスプレイのディスプレイ領域に表示される。ユーザの注視深度は、例えば、ユーザの、視覚表現442を表示させるという意図、視覚表現442に合焦させるという意図および/または同種のものが推論され得るように、視覚表現442のディスプレイ領域内の位置に一致してもよい。
【0112】
図4Gの例において、視覚表現442に合焦させることは視覚表現444に合焦させることを妨げ得るので、視覚表現442は、視覚表現444と比較すると、より鮮明でかつよりぼやけの少ないように見える。このように、ユーザが視覚表現444に描写された柔らかな細部を引き続き知覚できるようにすることでユーザがユーザを取り巻く環境を意識し続けることができ、視覚表現444に関連付けられた移動を検出できかつ/または同種のことができるようにしつつ、視覚表現442はより目立つように表示される。このように、仮にユーザが視覚表現444を知覚したいと望む場合、例えば、仮にユーザが視覚表現444を基準にした移動を知覚する場合、或いは、ユーザが環境への意識に関する目的で視覚表現444を参照したいと望む場合、視覚表現444がより目立って表示されることでユーザが更に視覚表現444を分析でき、移動の原因を決定できかつ/または同種のことができるように、ユーザは、迅速にユーザの注視深度を視覚表現444の焦点深度に一致させるように調整できる。
【0113】
図5は、少なくとも1つの例示的な実施形態に係るビューの視覚表現のディスプレイに関連付けられた活動を例示する流れ図である。少なくとも1つの例示的な実施形態において、
図5の活動に対応する一連の操作がある。装置、例えば
図1の電子装置10またはその一部は、その一連の操作を利用してもよい。装置は、このような操作を行うため、例えば
図1の処理装置11を含む手段を備えてもよい。例示的な一実施形態において、装置、例えば
図1の電子装置10は、
図5の一連の操作を処理装置、例えば
図1の処理装置11と協働して装置に実行させるように構成されたコンピュータコードを含む、
図1のメモリ12等のメモリを有することで変形される。
【0114】
ブロック502において、装置は、ある位置からのあるビューであって、ある位置から延びるある方向に沿って知覚可能な視覚情報を含むあるビューを決定する。該決定、該ある位置、該ある位置からのあるビュー、該視覚情報および該ある位置から延びるある方向は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0115】
ブロック504において、装置は、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させる。該表示させること、該あるビューの視覚表現、該ディスプレイ、該ユーザおよび該ある焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0116】
ブロック506において、装置は、ある位置からの異なるビューであって、ある位置から延びる異なる方向に沿って知覚可能な視覚情報を含む異なるビューを決定する。該決定、該ある位置からの異なるビュー、該視覚情報および該ある位置から延びる異なる方向は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0117】
ブロック508において、装置は、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる。該表示させること、該異なるビューの視覚表現および該異なる焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0118】
図6は、少なくとも1つの例示的な実施形態に係るビューの視覚表現のディスプレイに関連付けられた活動を例示する流れ図である。少なくとも1つの例示的な実施形態において、
図6の活動に対応する一連の操作がある。装置、例えば
図1の電子装置10またはその一部は、その一連の操作を利用してもよい。装置は、このような操作を行うため、例えば
図1の処理装置11を含む手段を備えてもよい。例示的な一実施形態において、装置、例えば
図1の電子装置10は、
図6の一連の操作を処理装置、例えば
図1の処理装置11と協働して装置に実行させるように構成されたコンピュータコードを含む、
図1のメモリ12等のメモリを有することで変形される。
【0119】
先に述べたように、場合によっては、ある位置からの1つ以上のビューを描くカメラ視覚情報の1つ以上の視覚表現を表示させることが望ましいこともある。このような状況では、あるビューの視覚表現がある焦点深度で視認可能であるようにあるカメラ視覚情報に基づいたあるビューの視覚表現をディスプレイさせ、かつ、異なるビューの視覚表現が異なる焦点深度で視認可能であるように他のカメラ視覚情報に基づいた異なるビューの視覚表現を表示させることが望ましいこともある。
【0120】
ブロック602において、装置は、あるカメラモジュールからのある方向に沿って知覚可能なカメラ視覚情報を受け取る。該受け取り、該カメラ視覚情報、該ある方向および該カメラモジュールは、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0121】
ブロック604において、装置は、少なくとも部分的に、あるカメラモジュールからのある方向に沿って知覚可能なあるカメラ視覚情報に基づいて、ある位置からのあるビューを決定する。該決定、該あるビュー、該ある位置および該あるカメラモジュールからのある方向に沿って知覚可能なあるカメラ視覚情報は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0122】
ブロック606において、装置は、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させる。該表示させること、該あるビューの視覚表現、該ディスプレイ、該ユーザおよび該ある焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0123】
ブロック608において、装置は、他のカメラモジュールからの異なる方向に沿って知覚可能な他のカメラ視覚情報を受け取る。該受け取り、該他のカメラ視覚情報、該異なる方向および該他のカメラモジュールは、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0124】
ブロック610において、装置は、少なくとも部分的に、他のカメラモジュールからの異なる方向に沿って知覚可能な他のカメラ視覚情報に基づいて、ある位置からの異なるビューを決定する。該決定、該異なるビューおよび該カメラモジュールからの異なる方向に沿って知覚可能な他のカメラ視覚情報は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0125】
ブロック612において、装置は、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる。該表示させること、該異なるビューの視覚表現および該異なる焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0126】
図7は、少なくとも1つの例示的な実施形態に係るビューの視覚表現のディスプレイに関連付けられた活動を例示する流れ図である。少なくとも1つの例示的な実施形態において、
図7の活動に対応する一連の操作がある。装置、例えば
図1の電子装置10またはその一部は、その一連の操作を利用してもよい。装置は、このような操作を行うため、例えば
図1の処理装置11を含む手段を備えてもよい。例示的な一実施形態において、装置、例えば
図1の電子装置10は、
図7の一連の操作を処理装置、例えば
図1の処理装置11と協働して装置に実行させるように構成されたコンピュータコードを含む、
図1のメモリ12等のメモリを有することで変形される。
【0127】
先に述べたように、場合によっては、あるビューの視覚表現をある焦点深度に一致するユーザの注視深度に基づいてディスプレイさせ、かつ、異なるビューの視覚表現を異なる焦点深度に一致するユーザの注視深度に基づいて表示させることが望ましいこともある。例えば、ユーザは、あるビューの視覚表現、異なるビューの視覚表現および/または同種のものを見るために、ユーザの注視深度を調整してもよい。
【0128】
ブロック702において、装置は、ある位置からのあるビューであって、ある位置から延びるある方向に沿って知覚可能な視覚情報を含むあるビューを決定する。該決定、該ある位置、該ある位置からのあるビュー、該視覚情報および該ある位置から延びるある方向は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0129】
ブロック704において、装置はユーザのある注視深度を決定する。該決定、該ある注視深度および該ユーザは、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0130】
ブロック706において、装置は、ある注視深度がある焦点深度に一致すると決定する。該決定および該ある焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0131】
ブロック708において、装置は、少なくとも部分的に、ある注視深度がある焦点深度に一致するという決定に基づいて、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させる。該表示させること、該あるビューの視覚表現、該ディスプレイ、該ユーザおよび該ある焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0132】
ブロック710において、装置は、ある位置からの異なるビューであって、ある位置から延びる異なる方向に沿って知覚可能な視覚情報を含む異なるビューを決定する。該決定、該ある位置からの異なるビュー、該視覚情報および該ある位置から延びる異なる方向は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0133】
ブロック712において、装置はユーザの他の注視深度を決定する。該決定および該他の注視深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0134】
ブロック714において、装置は、他の注視深度が異なる焦点深度に一致すると決定する。該決定および該異なる焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0135】
ブロック716において、装置は、少なくとも部分的に、他の注視深度が異なる焦点深度に一致するという決定に基づいて、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる。該表示させること、該ビューの視覚表現、該ディスプレイ、該ユーザおよび該焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0136】
図8は、少なくとも1つの例示的な実施形態に係るビューの視覚表現のディスプレイに関連付けられた活動を例示する流れ図である。少なくとも1つの例示的な実施形態において、
図8の活動に対応する一連の操作がある。装置、例えば
図1の電子装置10またはその一部は、その一連の操作を利用してもよい。装置は、このような操作を行うため、例えば
図1の処理装置11を含む手段を備えてもよい。例示的な一実施形態において、装置、例えば
図1の電子装置10は、
図8の一連の操作を処理装置、例えば
図1の処理装置11と協働して装置に実行させるように構成されたコンピュータコードを含む、
図1のメモリ12等のメモリを有することで変形される。
【0137】
ブロック802において、装置は、ある位置として地理的位置を特定する情報を受け取る。該受け取り、該地理的位置および該ある位置は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0138】
ブロック804において、装置は、ある方向に一致する向きを有する地理的位置からのあるビューであって、ある位置から延びるある方向に沿って知覚可能な視覚情報を含むあるビューを表現するある画像を取得する。該取得、該ある画像、該あるビュー、該向き、該ある方向および該ある位置から延びるある方向に沿って知覚可能な視覚情報は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0139】
ブロック806において、装置は、あるビューがある焦点深度でユーザにより視認可能であるようにあるビューの視覚表現をディスプレイに表示させる。該表示させること、該あるビューの視覚表現、該ディスプレイ、該ユーザおよび該ある焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0140】
ブロック808において、装置は、異なる方向に一致する向きを有する地理的位置からの異なるビューであって、ある位置から延びる異なる方向に沿って知覚可能な視覚情報を含むビューを表現する他の画像を取得する。該取得、該他の画像、該異なるビュー、該向き、該異なる方向および該ある位置から延びる異なる方向に沿って知覚可能な視覚情報は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0141】
ブロック810において、装置は、異なるビューが異なる焦点深度でユーザにより視認可能であるように異なるビューの視覚表現をディスプレイに表示させる。該表示させること、該異なるビューの視覚表現および該異なる焦点深度は、
図2Aおよび
図2B、
図3Aおよび
図3B並びに
図4Aから
図4Gに関して述べたものと同様であり得る。
【0142】
本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーション論理、または、ソフトウェア、ハードウェアおよびアプリケーション論理の組み合わせの形態で実現されてもよい。ソフトウェア、アプリケーション論理および/またはハードウェアは上述の装置、別途装置または複数の別途装置に常駐していてもよい。必要に応じて、ソフトウェア、アプリケーション論理および/またはハードウェアの一部は上述の装置に常駐していてもよく、ソフトウェア、アプリケーション論理および/またはハードウェアの一部は別途装置に常駐していてもよく、かつ、ソフトウェア、アプリケーション論理および/またはハードウェアの一部は複数の別途装置に常駐していてもよい。例示的な一実施形態において、アプリケーション論理、ソフトウェアまたは命令セットは、様々な従来のコンピュータ可読媒体のうち、任意のコンピュータ可読媒体上に保持される。
【0143】
必要に応じて、本明細書において述べた異なる機能は、別の順序でかつ/または互いに並行して実行されてもよい。例えば、
図5のブロック504は
図5のブロック506の後に実行されてもよい。別の例では、
図7のブロック702は
図7のブロック706の後に実行されてもよい。更に、必要に応じて、上述の機能のうち、1つ以上の機能は任意に選択されてもよく、または、組み合わせてもよい。例えば、
図8のブロック802は任意に選択されてもよく、かつ/または、
図8のブロック804と組み合わせてもよい。
【0144】
本発明の様々な態様が独立請求項に述べられるが、本発明の他の態様は、記載された実施形態および/または従属請求項からの特徴と独立請求項の特徴との他の組み合わせを含み、特許請求の範囲において明示的に述べられる組み合わせのみを含むのではない。
【0145】
また、本明細書では本発明の例示的な実施形態を上述したが、これらの記述は限定された意味で解釈されるべきではないことに留意されたい。むしろ、添付の特許請求の範囲によって規定される本発明の範囲を逸脱することなく、変更および変形がなされ得る。