特許 6359666 シースルーディスプレイにおける情報の表示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6359666

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】シースルーディスプレイにおける情報の表示

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180709BHJP

   G06F 3/0484 20130101ALI20180709BHJP

   G09G 5/00 20060101ALI20180709BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0484 120

   G09G5/00 510V

   G09G5/00 550C

   G09G5/00 510G

【請求項の数】11

【全頁数】27

(21)【出願番号】特願2016-539972(P2016-539972)

(86)(22)【出願日】2014年12月12日

(65)【公表番号】特表2017-509037(P2017-509037A)

(43)【公表日】2017年3月30日

(86)【国際出願番号】FI2014050992

(87)【国際公開番号】WO2015092129

(87)【国際公開日】20150625

【審査請求日】2016年7月14日

(31)【優先権主張番号】14/137,036

(32)【優先日】2013年12月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】レポネン エリカ

(72)【発明者】

【氏名】ヤルヴェンパー トニ

【審査官】 円子 英紀

(56)【参考文献】

【文献】 特開２００６−１４６８０３（ＪＰ，Ａ）

【文献】 特開２０１３−１５００９６（ＪＰ，Ａ）

【文献】 特開平１１−３２６５６３（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０４９２４８（ＷＯ，Ａ２）

【文献】 特開２０１０−０１５３６０（ＪＰ，Ａ）

【文献】 米国特許第０８４８２５２７（ＵＳ，Ｂ１）

【文献】 欧州特許出願公開第０２２９３５３１（ＥＰ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２７８６３１（ＵＳ，Ａ１）

【文献】 特開２０１２−２２１２４９（ＪＰ，Ａ）

【文献】 特開２０１３−９２８１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１４

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

装置の処理手段がプログラム命令を実行することにより、前記装置が遂行する方法であって、
別の装置から視覚的識別情報を受信することと、
カメラ視覚情報および前記視覚的識別情報に少なくとも部分的に基づいて前記別の装置を識別することと、
前記カメラ視覚情報及び前記視覚的識別情報に少なくとも部分的に基づいて前記別の装置の向きを識別することと、
シースルーディスプレイを通して前記別の装置を知覚できることを判断することと、
前記別の装置の識別及び前記別の装置の向きの識別に少なくとも部分的に基づいて、プログラム相互作用情報が前記シースルーディスプレイを通して見える前記別の装置の少なくとも一部に対応するように、前記シースルーディスプレイに前記プログラム相互作用情報を表示させることと、
を含み、ここで前記表示される前記プログラム相互作用情報は、前記向きに応じて異なる、方法。

【請求項2】

前記別の装置を識別することは、カメラモジュールからカメラ視覚情報を受信することと、前記視覚的識別情報に少なくとも部分的に基づいて、前記カメラ視覚情報の少なくとも一部が前記別の装置の表象を含んでいることを判断することとを含む、請求項１に記載の方法。

【請求項3】

前記視覚的識別情報は、前記別の装置の視覚的特徴を示す情報である、請求項１に記載の方法。

【請求項4】

前記視覚的識別情報は、前記別の装置に備わっているディスプレイに表示されている情報である、請求項１に記載の方法。

【請求項5】

前記別の装置は、腕時計の文字盤を備える腕時計装置であり、前記視覚的識別情報は、前記腕時計の文字盤を示す情報である、請求項１に記載の方法。

【請求項6】

前記別の装置から前記視覚的識別情報を要求することを前記装置に実施させることを含み、前記視覚的識別情報の受信は、前記視覚的識別情報の要求に少なくとも部分的に基づいている、請求項１に記載の方法。

【請求項7】

前記別の装置のカメラ視覚情報を前記別の装置から受信することをさらに含み、前記プログラム相互作用情報は、前記別の装置のカメラ視覚情報の少なくとも一部を含んでいる、請求項１に記載の方法。

【請求項8】

シースルーディスプレイを通して前記別の装置を知覚できなくなったことを判断することと、
前記シースルーディスプレイを通して前記別の装置を知覚できなくなったという前記判断に少なくとも部分的に基づいて、前記プログラム相互作用情報の前記シースルーディスプレイへの表示を終了させることと、
をさらに含む、請求項１に記載の方法。

【請求項9】

処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から８のいずれかに記載の方法を遂行させるように構成される、装置。

【請求項10】

装置の処理手段に実行されると、前記装置に、請求項１から８のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

【請求項11】

装置であって、
別の装置から視覚的識別情報を受信する手段と、
カメラ視覚情報および前記視覚的識別情報に少なくとも部分的に基づいて前記別の装置を識別する手段と、
前記カメラ視覚情報及び前記視覚的識別情報に少なくとも部分的に基づいて前記別の装置の向きを識別する手段と、
シースルーディスプレイを通して前記別の装置を知覚できることを判断する手段と、
前記別の装置の識別及び前記別の装置の向きの識別に少なくとも部分的に基づいて、プログラム相互作用情報が前記シースルーディスプレイを通して見える前記別の装置の少なくとも一部に対応するように、前記シースルーディスプレイに前記プログラム相互作用情報を表示させる手段と、
を備え、ここで前記表示される前記プログラム相互作用情報は、前記向きに応じて異なる、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は全般的に、シースルーディスプレイにおける情報の表示に関する。

【背景】

【0002】

電子装置はユーザの生活の中でますます重要な役割を果たしているため、電子装置間の相互作用を直観的かつ相乗的な方法で可能にすることがますます望ましくなっている。例えば、ユーザは、ユーザが個人的に情報を知覚できるように２つの電子装置を使用することを望む場合がある。

【摘要】

【0003】

本発明の実施例の様々な態様を請求項に記載している。

【0004】

１つ以上の実施形態により、装置、コンピュータ可読媒体、非一時的なコンピュータ可読媒体、コンピュータプログラム製品、および、別の装置から視覚的識別情報を受信し、カメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置を識別し、シースルーディスプレイを通して別の装置を知覚できることを判断し、別の装置の識別に少なくとも部分的に基づいてプログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる方法を提供できる。

【0005】

１つ以上の実施形態により、別の装置から視覚的識別情報を受信する手段と、カメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置を識別する手段と、シースルーディスプレイを通して別の装置を知覚できることを判断する手段と、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる手段とを有する、装置、コンピュータ可読媒体、コンピュータプログラム製品、および非一時的なコンピュータ可読媒体を提供できる。

【0006】

１つ以上の例示的な実施形態により、シースルーディスプレイを通して別の装置を知覚できなくなったことを判断し、シースルーディスプレイを通して別の装置を知覚できなくなったという判断に少なくとも部分的に基づいて、プログラム相互作用情報のシースルーディスプレイへの表示を終了させることがさらに実施される。

【0007】

少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できなくなったという判断は、別の装置の表象がカメラ視覚情報内にないことに少なくとも部分的に基づいている。

【0008】

少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できなくなったという判断は、別の装置の表象がカメラ視覚情報の所定部分内にないことに少なくとも部分的に基づいている。

【0009】

少なくとも１つの例示的な実施形態では、カメラ視覚情報の所定部分は、シースルーディスプレイを通したユーザの視野に対応している。

【0010】

少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できるという判断は、カメラ視覚情報の中に別の装置の表象があることに少なくとも部分的に基づいている。

【0011】

少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できるという判断は、カメラ視覚情報の所定部分の中に別の装置の表象があることに少なくとも部分的に基づいている。

【0012】

少なくとも１つの例示的な実施形態では、カメラ視覚情報の所定部分は、シースルーディスプレイを通したユーザの視野に対応している。

【0013】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報をシースルーディスプレイに表示させることは、ユーザが知覚している別の装置の少なくとも一部にプログラム相互作用情報が重なるように実施される。

【0014】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報は視覚情報である。

【0015】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報はユーザインターフェース情報である。

【0016】

１つ以上の例示的な実施形態により、別の装置の識別に少なくとも部分的に基づいてプログラムの判断がさらに実施され、プログラム相互作用情報はプログラムに関連付けられている。

【0017】

少なくとも１つの例示的な実施形態では、別の装置を識別することは、カメラモジュールからカメラ視覚情報を受信することと、視覚的識別情報に少なくとも部分的に基づいて、カメラ視覚情報の少なくとも一部が別の装置の表象を含んでいることを判断することとを含む。

【0018】

１つ以上の例示的な実施形態により、別の装置の向きを判断することがさらに実施され、プログラム相互作用情報は、別の装置の向きに少なくとも部分的に基づいている。

【0019】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置の視覚的特徴を示す情報である。

【0020】

少なくとも１つの例示的な実施形態では、別の装置の視覚的特徴は、別の装置を識別し得る別の装置の物理的特徴である。

【0021】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置の視覚的識別を容易にするように構成された情報である。

【0022】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置に備わっているディスプレイに表示されている情報である。

【0023】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、腕時計の文字盤の表象である。

【0024】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、基準マーカーの表象である。

【0025】

少なくとも１つの例示的な実施形態では、基準マーカーは、別の装置に関連する視覚的識別マーカーであり、カメラ視覚情報の中で別の装置を識別するのを可能にする。

【0026】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、少なくとも１つの発光ダイオードの配列を示す情報である。

【0027】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、発光ダイオードの視覚的特徴を示す情報である。

【0028】

少なくとも１つの例示的な実施形態では、別の装置は、腕時計の文字盤を備える腕時計装置であり、視覚的識別情報は、腕時計の文字盤を示す情報である。

【0029】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、腕時計の文字盤に示される時間と相関関係がある。

【0030】

１つ以上の例示的な実施形態により、別の装置から視覚的識別情報を要求することがさらに実施され、視覚的識別情報の受信は、視覚的識別情報の要求に少なくとも部分的に基づいている。

【0031】

少なくとも１つの例示的な実施形態では、視覚的識別情報の要求は、別の装置に備わっているディスプレイに表示されている情報の要求である。

【0032】

１つ以上の例示的な実施形態により、別の装置のカメラ視覚情報を別の装置から受信することがさらに実施され、プログラム相互作用情報は、別の装置のカメラ視覚情報の少なくとも一部を含んでいる。

【0033】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報は、ミラープログラムに関連付けられている。

【0034】

少なくとも１つの例示的な実施形態では、別の装置のカメラ視覚情報は、別の装置のユーザの視覚的表象を含んでいる。

【0035】

少なくとも１つの例示的な実施形態では、別の装置のカメラ視覚情報は、別の装置に備わっているユーザ対面カメラモジュールを用いて取り込まれる。

【0036】

１つ以上の例示的な実施形態により、ユーザ対面カメラの取り込み指示を別の装置に送信させることがさらに実施される。

【0037】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報は、ミラープログラムに関連付けられ、ユーザ対面カメラの取り込み指示を別の装置に送信させることは、ミラープログラムに少なくとも部分的に基づいている。

【0038】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置の少なくとも一部の表象を示すものであり、この表象は、ユーザ対面カメラモジュールの取込領域内の位置から知覚できる。

【0039】

１つ以上の例示的な実施形態により、別の装置から異なる視覚的識別情報を受信することと、異なるカメラ視覚情報および異なる視覚的識別情報に少なくとも部分的に基づいて別の装置を識別することとがさらに実施される。

【0040】

１つ以上の例示的な実施形態により、別の装置の識別に少なくとも部分的に基づいてプログラム相互作用情報のシースルーディスプレイへの表示を継続させることがさらに実施される。

【0041】

１つ以上の例示的な実施形態により、シースルーディスプレイを通して別の装置を知覚できる状態にあるという判断がさらに実施される。

【0042】

次に、本発明の実施形態をより完全に理解するために、添付の図面と合わせて記載した以下の説明を参照する。

【図面の簡単な説明】

【0043】

【図1】例示的な実施形態による装置を示すブロック図である。

【図2】図２Ａ、２Ｂとも、少なくとも１つの例示的な実施形態によるシースルーディスプレイを示す図である。

【図3】少なくとも１つの例示的な実施形態による手首装着装置を示す図である。

【図4A】少なくとも１つの例示的な実施形態による装置の使用法を示す図である。

【図4B】少なくとも１つの例示的な実施形態による装置の使用法を示す図である。

【図5】図５Ａ，５Ｂとも、少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報の表示を示す図である。

【図6】少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報を表示させることに関連する活動を示す流れ図である。

【図7】少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報を表示させることに関連する活動を示す流れ図である。

【図8】少なくとも１つの例示的な実施形態によるプログラム相互作用情報のシースルーディスプレイへの表示を継続させることに関連する活動を示す流れ図である。

【図9】少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報の表示を終了させることに関連する活動を示す流れ図である。

【図面の詳細な説明】

【0044】

本発明の一実施形態およびその潜在的な利点は、図面の図１から９を参照することで理解される。

【0045】

次にいくつかの実施形態を、全部ではなく一部の実施形態を示している添付の図面を参照して以下にさらに詳細に説明していく。本発明の様々な実施形態を多くの形態で実現することが可能であり、本明細書に記載した実施形態に限定すると解釈してはならない。むしろこれらの実施形態は、本開示が適用され得る法的要件を満たすように提供されている。全体を通して同じ符号は同じ要素を指している。本明細書で使用したように、「データ（ｄａｔａ）」、「コンテンツ（ｃｏｎｔｅｎｔ）」、「情報（ｉｎｆｏｒｍａｔｉｏｎ）」およびこれに類似の用語は、本発明の実施形態に従って伝送、受信および／または保存が可能なデータを指すために入れ替え可能な形で使用されてもよい。そのため、このような用語のいずれを使用していても、本発明の実施形態の趣旨および範囲を限定するものと解釈してはならない。

【0046】

また、本明細書で使用したように、「回路（ｃｉｒｃｕｉｔｒｙ）」という用語は、（ａ）ハードウェアのみの回路の実装（例えばアナログ回路および／またはデジタル回路に実装）；（ｂ）回路と、１つ以上のコンピュータ可読メモリに記憶されたソフトウェアおよび／またはファームウェアの命令を含むコンピュータプログラム製品とを組み合わせたもので、一緒に動作して本明細書に記載した１つ以上の機能を装置に実施させるもの；ならびに（ｃ）例えばマイクロプロセッサまたはマイクロプロセッサの一部などの回路で、ソフトウェアまたはファームウェアが物理的に存在しない場合であってもソフトウェアまたはファームウェアに動作を要求する回路を指す。この「回路」の定義は、請求項を含めて本明細書に記載したこの用語の使用例すべてに当てはまる。さらに別の例を挙げると、本明細書で使用したように、「回路」という用語は、１つ以上のプロセッサおよび／またはその部分を備え、ソフトウェアおよび／またはファームウェアを伴う実装も含む。別の例を挙げると、「回路」という用語は、本明細書で使用したように、例えば携帯電話用のベースバンド集積回路もしくはアプリケーションプロセッサ集積回路、または、サーバ、セルラーネットワーク装置、その他のネットワーク装置、および／もしくはその他のコンピューティング装置内の同様の集積回路も含む。

【0047】

本明細書に定義したように、物理的な媒体（例えば揮発性または不揮発性の記憶装置）を指す「一時的でないコンピュータ可読媒体」を、電磁信号を指す「一時的なコンピュータ可読媒体」と区別できる。

【0048】

図１は、少なくとも１つの例示的な実施形態による電子装置１０などの装置を示すブロック図である。ただし、図示した以下に説明する電子装置は、本発明の実施形態から利益を得られる単なる例示的な電子装置であり、したがって、本発明の範囲を限定するものと解釈してはならないことを理解されたい。電子装置１０を図示し、例を目的として以下に説明するが、他の種類の電子装置が本発明の実施形態を容易に利用し得る。電子装置１０は、パーソナルデジタルアシスタント（ＰＤＡ）、ポケットベル、携帯型コンピュータ、デスクトップコンピュータ、テレビ、ゲーム機、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、カメラ、ビデオレコーダ、携帯電話、ウェアラブル装置、頭部装着装置、シースルーディスプレイ装置、ニアアイディスプレイ装置、手首装着装置、腕時計装置、全地球測位システム（ＧＰＳ）装置、自動車、キオスク、電子テーブル、および／またはその他の種類の電子システムであり得る。さらに、少なくとも１つの例示的な実施形態の装置は、電子装置全体である必要はなく、他の例示的な実施形態では、電子装置の一構成要素または構成要素群であってもよい。例えば、装置は、集積回路、一連の集積回路などであってもよい。

【0049】

さらに、装置は、移動性をもたらすという意図があるにもかかわらず、本発明の実施形態を容易に利用し得る。この点で、本発明の実施形態を移動型の用途と合わせて説明し得るとしても、本発明の実施形態は、移動通信業界および移動通信業界以外の両方で多様な他の用途と合わせて利用され得ることを理解されたい。例えば、装置は、大画面テレビ、電子テーブル、キオスク、自動車などの持ち運びできない装置の少なくとも一部であり得る。

【0050】

少なくとも１つの例示的な実施形態では、電子装置１０は、プロセッサ１１およびメモリ１２を備えている。プロセッサ１１は、どのような種類のプロセッサ、コントローラ、内蔵型コントローラ、プロセッサコアなどであり得る。少なくとも１つの例示的な実施形態では、プロセッサ１１は、装置に１つ以上のアクションを実施させるコンピュータプログラムコードを使用する。メモリ１２は、データを一時的に格納するためのキャッシュ領域を含む揮発性のランダム・アクセス・メモリ（ＲＡＭ）などの揮発性メモリ、および／またはその他のメモリ、例えば、埋め込み型かつ／または取り外し可能であってもよい不揮発性メモリを備えていてもよい。不揮発性メモリは、ＥＥＰＲＯＭ、フラッシュメモリなどを備えていてもよい。メモリ１２は、情報およびデータをいくつ格納していてもよい。情報およびデータは、本明細書に記載した機能などの電子装置１０の機能を１つ以上実施するために、電子装置１０によって使用され得る。少なくとも１つの例示的な実施形態では、メモリ１２は、メモリおよびコンピュータプログラムコードが、プロセッサとともに働いて、本明細書に記載した１つ以上のアクションを装置に実施させるように構成されるように、コンピュータプログラムコードを含んでいる。

【0051】

電子装置１０は、通信装置１５をさらに備えていてもよい。少なくとも１つの例示的な実施形態では、通信装置１５は、送信器および／または受信器と動作可能なように通信している１つのアンテナ、（または複数のアンテナ）、有線コネクタなどを備えている。少なくとも１つの例示的な実施形態では、プロセッサ１１は、送信器に信号を供給し、かつ／または受信器から信号を受信する。信号は、通信インターフェース規格、ユーザ音声、受信データ、ユーザ生成データなどに応じてシグナリング情報を含んでいてもよい。通信装置１５は、１つ以上の無線インターフェース規格、通信プロトコル、変調の種類、およびアクセスの種類に応じて動作し得る。例示的に、電子通信装置１５は、第２世代（２Ｇ）無線通信プロトコルＩＳ−１３６（時分割多元接続（ＴＤＭＡ））、ＧＳＭ（登録商標）、およびＩＳ−９５（符号分割多元接続（ＣＤＭＡ））に応じて、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ＣＤＭＡ２０００、ＷＣＤＭＡ（登録商標）および時分割同期ＣＤＭＡ（ＴＤ−ＳＣＤＭＡ）などの第３世代（３Ｇ）無線通信プロトコルに応じて、かつ／または第４世代（４Ｇ）無線通信プロトコル、８０２．１１などの無線ネットワークプロコトル、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線プロコトルなどに応じて動作し得る。通信装置１５は、イーサネット（登録商標）などの有線プロコトル、デジタル加入者線（ＤＳＬ）、非同期転送モード（ＡＴＭ）などに応じて動作し得る。

【0052】

プロセッサ１１は、音声機能、映像機能、通信機能、ナビゲーション機能、論理機能などを実現するほか、例えば本明細書に記載した１つ以上の機能を含む本発明の実施形態も実現するために、回路などの手段を備えていてもよい。例えば、プロセッサ１１は、デジタルシグナルプロセッサ装置、マイクロプロセッサ装置、様々なアナログ−デジタル変換器、デジタル−アナログ変換器、処理回路およびその他のサポート回路など、例えば本明細書に記載した１つ以上の機能を含む様々な機能を実施する手段を備えていてもよい。装置は、そのそれぞれの能力に応じて、これらの装置のうちの電子装置１０の制御および信号処理機能を実施してもよい。そのため、プロセッサ１１は、メッセージおよびデータを変調して伝送する前に符号化してインターリーブする機能性を備えていてもよい。プロセッサ１は、このほかにも内部音声コーダを備えていてもよく、内部データモデムを備えていてもよい。さらに、プロセッサ１１は、１つ以上のソフトウェアプログラムを動作させる機能性を備えていてもよく、このプログラムは、メモリに格納されてよく、とりわけ、例えば本明細書に記載した１つ以上の機能を含む少なくとも１つの実施形態をプロセッサ１１に実現させることができる。例えば、プロセッサ１１は、従来のインターネットブラウザなどの接続プログラムを動作させることができる。接続プログラムによって電子装置１０は、例えば伝送制御プロトコル（ＴＣＰ）、インターネットプロトコル（ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）、ポストオフィスプロトコル（ＰＯＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などに応じて、場所に基づいたコンテンツおよび／またはその他のウェブページコンテンツなどのインターネットコンテンツを送受信できる可能性がある。

【0053】

電子装置１０は、出力を提供し、かつ／または入力を受信するためのユーザインターフェースを備えていてもよい。電子装置１０は、出力装置１４を備えていてもよい。出力装置１４は、リンガー、イヤフォン、スピーカなどの音声出力装置を備えていてもよい。出力装置１４は、振動変換器、電子的に変形可能な表面、電子的に変形可能な構造などの触覚による出力装置を備えていてもよい。出力装置１４は、ディスプレイ、照明などの視覚による出力装置を備えていてもよい。少なくとも１つの例示的な実施形態では、装置は情報を表示させ、この表示させることは、装置に備わっているディスプレイ上に情報を表示すること、ディスプレイを備えている別の装置に情報を送信することなどを含んでいてもよい。電子装置は、入力装置１３を備えていてもよい。入力装置１３は、光センサ、接近センサ、マイクロフォン、タッチセンサ、力センサ、ボタン、キーパッド、モーションセンサ、磁場センサ、カメラなどを備えていてもよい。タッチセンサおよびディスプレイは、タッチディスプレイを特徴とすることができる。タッチディプレイを備えている一実施形態では、タッチディスプレイは、単一の接触点、複数の接触点などから入力を受信するように構成され得る。このような実施形態では、タッチディスプレイおよび／またはプロセッサは、位置、動き、速度、接触面積などに少なくとも部分的に基づいて入力を判断できる。少なくとも１つの例示的な実施形態では、装置は、入力の指標を受信する。装置は、センサ、ドライバ、別の装置などから指標を受信できる。入力を示す情報は、入力を示す情報、入力の局面を示す情報、入力の発生を示す情報などを伝達する情報を含んでいてもよい。

【0054】

電子装置１０は、抵抗性、容量性、赤外線、歪みゲージ、表面波、光学像形成、分散信号技術、音響パルス認識のいずれか、またはその他の技術によってタッチ認識ができるように構成され、かつそれによって場所を示す信号およびそのタッチに関連するその他のパラメータを提供するように構成されているものなどを含む、多様なタッチディスプレイのいずれかを備えていてもよい。また、タッチディスプレイは、選択オブジェクト（例えば指、スタイラス、ペン、鉛筆、またはその他のポインティングデバイス）とタッチディスプレイとの間の実際の物理的接触と定義できるタッチイベントの形態で入力の指標を受信するように構成されていてもよい。その代わりに、タッチイベントを、選択オブジェクトをタッチディスプレイの近辺に持ってくること、表示されたオブジェクトの上でさまよっていること、またはオブジェクトを所定の距離内に近づけることであると定義してもよく、タッチディスプレイとの物理的接触が起こっていなくてもよい。このように、タッチ入力は、実際の物理的接触が関わるタッチイベント、および物理的接触は関わらないが選択オブジェクトがタッチディスプレイに接近したことなどによってタッチディスプレイによって検知されたタッチイベントなど、タッチディスプレイによって検知された何らかの入力を含んでいてもよい。タッチディスプレイが、タッチ入力に関してタッチ画面に印加された力に関する情報を受信することができてもよい。例えば、タッチ画面は、強く押されたタッチ入力と軽く押されたタッチ入力とを区別してもよい。少なくとも１つの例示的な実施形態では、ディスプレイが２次元の情報、３次元の情報などを表示してもよい。

【0055】

キーパッドを備えている実施形態では、キーパッドは、電子装置１０を操作するために数字（例えば０〜９）キー、記号キー（例えば＃、＊）、アルファベットキーなどを備えていてもよい。例えば、キーパッドは、従来のＱＷＥＲＴＹキーパッド配列を備えていてもよい。キーパッドは、関連機能を有する様々なソフトキーも備えていてもよい。これに加えて、またはこれに代えて、電子装置１０は、ジョイスティックまたはその他のユーザ入力インターフェースなどのインターフェース装置を備えていてもよい。

【0056】

入力装置１３は、媒体取込要素を備えていてもよい。媒体取込要素は、保存、表示または伝送用の画像、映像および／または音声を取り込む任意の手段であり得る。例えば、媒体取込要素がカメラモジュールである少なくとも１つの例示的な実施形態では、カメラモジュールは、取り込んだ画像からデジタル画像ファイルを形成できるデジタルカメラを備えていてもよい。このように、カメラモジュールは、レンズまたは（１つまたは複数の）その他の光学構成要素などのハードウェア、および／または取り込んだ画像からデジタル画像ファイルを作成するのに必要なソフトウェアを備えていてもよい。これに代えて、カメラモジュールは、画像を見るためのハードウェアのみを備えていてもよいが、電子装置１０の記憶装置は、取り込んだ画像からデジタル画像ファイルを作成するソフトウェアの形態で、プロセッサ１１によって実行される命令を格納している。少なくとも１つの例示的な実施形態では、カメラモジュールは、画像データを処理する際にプロセッサ１１を補助するコプロセッサ、ならびに画像データを圧縮および／または解凍する符号化器および／または復号化器などの処理要素をさらに備えていてもよい。符号化器および／または復号化器は、規格フォーマット、例えば、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）の規格フォーマットに従って符号化および／または復号化できる。

【0057】

図２Ａ〜２Ｂは、少なくとも１つの例示的な実施形態によるシースルーディスプレイを示す図である。図２Ａ〜２Ｂの例は単なる例であり、請求項の範囲を限定するものではない。例えば、シースルーディスプレイの構成が様々であったり、ユーザとシースルーディスプレイとの関係が様々であったり、シースルーディスプレイの形状が様々であったり、シースルーディスプレイの不透明度が様々であったりしてもよい。

【0058】

現在、電子装置は、より一般に普及してきている。ユーザは、このような装置を多種多様な目的で使用することが多い。例えば、ユーザは、装置のディスプレイに表示されている情報を見たり、ユーザの周囲に関連する情報を装置のディスプレイ上で知覚したりするために装置を使用できる。多くの状況では、ユーザは、非侵襲的で邪魔にならず目立たないような方法で、装置に関連する情報を見ることを望むことがある。このような状況では、ディスプレイがシースルーディスプレイであることが望ましいことがある。少なくとも１つの例示的な実施形態では、シースルーディスプレイは、情報をユーザに提示するディスプレイだが、このディスプレイを通して、ユーザから見てディスプレイの反対側にオブジェクトが見える。例えば、ディスプレイの反対側にあるオブジェクトを、シースルーディスプレイを通して感知できる。シースルーディスプレイは、窓、フロントガラス、バイザー、メガネ、ヘッドマウントディスプレイなどに備え付けられてもよい。少なくとも１つの例示的な実施形態では、装置はヘッドマウントディスプレイである。ヘッドマウントディスプレイは、例えば、頭部に装着可能なディスプレイ、ユーザの頭部の場所および／または頭部の近辺に着用可能な部材と連結しているディスプレイ、ユーザの頭部の場所および／または頭部の近辺に着用可能なディスプレイなどであり得る。

【0059】

図２Ａは、少なくとも１つの例示的な実施形態によるシースルーディスプレイ２０２を示す図である。少なくとも１つの例示的な実施形態では、情報がシースルーディスプレイを通して見える１つ以上のオブジェクトに対応するように情報をシースルーディスプレイに表示することを、拡張現実と呼ぶ。図２Ａの例では、ユーザ２０１は、シースルーディスプレイ２０２を通してオブジェクト２０５および２０６を知覚できる。少なくとも１つの例示的な実施形態では、シースルーディスプレイは、ユーザに情報を表示できる。例えば、ディスプレイ２０２は、情報２０３および情報２０４を表示できる。情報２０３および情報２０４は、情報がオブジェクト２０５などのシースルーディスプレイ２０２を通して見える１つ以上のオブジェクトと対応するように、ディスプレイ２０２上に配置され得る。例えば、情報２０４は、情報２０４がユーザ２０１とオブジェクト２０６との間の視線と同一線上に並ぶように、ディスプレイ２０２上の位置に表示され得る。例えば、ユーザ２０１は、オブジェクト２０６と重なっていたり、ディスプレイ２０２を通してユーザの視野にあるオブジェクト２０６と部分的に対応していたりする情報２０４を知覚することができる。このような例では、情報２０３は、オブジェクト２０５と関連していたり、同オブジェクトを識別したりできる。例えば、情報２０３は、オブジェクト２０５の識別を示すことができる。少なくとも１つの例示的な実施形態では、ディスプレイ２０２は、ヘッドマウントディスプレイに備え付けられていてもよい。

【0060】

図２Ｂは、少なくとも１つの例示的な実施形態によるシースルーディスプレイを示す図である。少なくとも１つの例示的な実施形態では、シースルーディスプレイは、ニアアイディスプレイである。ニアアイディスプレイは、ユーザの目の近辺に配置されるシースルーディスプレイであり得る。図２Ｂの例は、各レンズにニアアイディスプレイを備えているメガネを示している。図２Ｂの例では、右のニアアイディスプレイは情報２１３Ａおよび２１４Ａを表示し、左のニアアイディスプレイは情報２１３Ｂおよび２１４Ｂを表示している。少なくとも１つの例示的な実施形態では、情報２１３Ａは、情報２１３Ｂと関連していてもよい。例えば、情報２１３Ａのコンテンツは、情報２１３Ｂのコンテンツと同じであってもよい。状況によっては、コンテンツが２１３Ａと２１３Ｂで同じであってよいとしても、右のニアアイディスプレイにある情報２１３Ａの位置は左のニアアイディスプレイにある情報２１３Ｂの位置とは異なっていてもよい。このように、装置は、左のニアアイディスプレイと右のニアアイディスプレイとで情報の位置が異なって、ユーザによって知覚される情報の視差が異なっていてもよい。このように、装置は、ユーザによって知覚された情報の深みが異なっていてもよい。

【0061】

図３は、少なくとも１つの例示的な実施形態による手首装着装置を示す図である。図３の例は単なる例であり、請求項の範囲を限定するものではない。例えば、手首装着装置の設計が様々であったり、手首装着装置の構成が様々であったり、ディスプレイ構成が様々であったりしてもよい。

【0062】

電子装置はより一般的になっているため、多くのユーザが、直観的で、便利で、アクセス可能であるなどの方法で、電子装置と相互作用することを望むことがある。例えば、ユーザは、相互作用するのが控えめであったり、相互作用するのが便利であったりすることがある電子装置と相互作用することを望むことがある。少なくとも１つの例示的な実施形態では、装置は手首装着装置である。手首装着装置は、腕時計装置、ブレスレット装置などであり得る。少なくとも１つの例示的な実施形態では、手首装着装置は、手首接着部を備えている。少なくとも１つの例示的な実施形態では、手首接着部は、手首装着装置をユーザの手首に接着させてユーザの手首から落下しないようにするなどのために構成された手首装着装置のハウジングの一部である。例えば、手首接着部は、手首装着装置の着用者の手首に少なくとも部分的に巻き付くように構成されたハウジングであってもよい。このような例では、手首接着部は、バンド、ストラップ、ブレスレットなどであり得る。手首装着装置の手首接着部は、剛性で、可撓性で、伸びやすく、折り畳み可能で、湾曲し、変形し、曲がるなどのものであり得る。例えば、手首装着装置の手首接着部は、湾曲していないバンドで、湾曲していないバンドが湾曲してユーザの手首周りに巻き付くようにユーザが構成できるものであってもよい。

【0063】

多くの状況では、ユーザが、手首装着装置に情報を表示するのを望むことがある。例えば、ユーザは、手首装着装置が、ユーザが特に関心のある情報を表示したり、ユーザに誇示できる視覚情報を表示したりするのを望むことがある。少なくとも１つの例示的な実施形態では、装置はディスプレイを備えている。ディスプレイは、発光ダイオードディスプレイ、電子インクディスプレイ、液晶ディスプレイ、有機発光ダイオードディスプレイなどであり得る。少なくとも１つの例示的な実施形態では、ディスプレイは、ディスプレイハウジングと連結している。このような例示的な実施形態では、手首装着装置の手首接着部は、取り外し可能なようにディスプレイハウジングと連結していたり、恒久的にディスプレイハウジングと連結していたり、変更自由なようにディスプレイハウジングと連結していたり、しっかりとディスプレイハウジングと連結していたりしてもよい。

【0064】

図３は、少なくとも１つの例示的な実施形態による手首装着装置を示す図である。図３の例は、手首装着装置３００を示している。図３の例では、手首装着装置３００は、ディスプレイハウジング３０２、手首接着部３０８、ディスプレイ３０４、およびカメラモジュール３０６を備えている。図３に示したように、手首接着部３０８は、ディスプレイハウジング３０２の両側で回転するようにディスプレイハウジング３０２と連結している。ディスプレイ３０４およびカメラモジュール３０６は、ディスプレイハウジング３０２と連結している。

【0065】

図３の例では、手首接着部３０８は、手首装着装置３００をユーザの手首に接着させるストラップであり、これによって手首装着装置３００はユーザの手首に固定され、ユーザの手首から落下しない。ユーザの手首周りに装着されたとき、手首装着装置３００は、ディスプレイ３０４およびカメラモジュール３０６が一般にはユーザに面する方向を向くように向けられていたり、手首装着装置３００のディスプレイ３０４に表示された情報が、カメラモジュール３０６によって取り込まれたカメラの視覚情報の少なくとも一部に対応していることをユーザが知覚できるように向けられていたりしていてよい。

【0066】

図４Ａ〜４Ｂは、少なくとも１つの例示的な実施形態による装置の使用法を示す図である。図４Ａ〜４Ｂの例は単なる例であり、請求項の範囲を限定するものではない。例えば、装置の向きが様々であったり、取込領域が様々であったり、装置の構成が様々であったりしてもよい。

【0067】

図４Ａは、少なくとも１つの例示的な実施形態による装置の使用法を示す図である。図４Ａの例では、ユーザ４０２がシースルーディスプレイ４０４および別の装置４０６を着用している。図４Ａに示したように、シースルーディスプレイ４０４は、カメラモジュール４１４を備えている。カメラモジュール４１４は、取込領域４２４に関連付けられている。図４Ａの例では、別の装置４０６は手首装着装置である。図４Ａに示したように、別の装置４０６は、カメラモジュール４１６を備えている。カメラモジュール４１６は、取込領域４２６に関連付けられている。

【0068】

電子装置はますます一般的になっているため、電子装置のユーザが、２つ以上の電子装置を相乗的で直観的に使用する可能性を望むことがある。例えば、ユーザが、しばしば２つの電子装置を使用することがある。このような状況では、２つの電子装置が互いに通信し、互いを識別していることなどが望ましいことがある。少なくとも１つの例示的な実施形態では、装置は、直接の通信チャネル、および間接的な通信チャネルなどを用いて別の装置と通信している。例えば、装置は、無線通信チャネル、セルラー通信チャネル、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信チャネル、近距離通信チャネルなどを介して別の装置と直接通信していてもよい。別の例では、装置は、１つ以上の中間装置を用いて別の装置と通信していてもよい。中間装置は、サーバ、ルータ、ゲートウェイ、スイッチなどであってよく、これによってその装置と別の装置との通信は中間装置を通って経路を決定する。

【0069】

状況によっては、視覚的な手がかり、物理的な特徴などを用いて別の装置を識別できることが望ましいことがある。電子装置を使用しているユーザが、ユーザが同時に使用していることがある別の電子装置をその電子装置が識別することを望むことがある。例えば、シースルーディスプレイを着用しているユーザが、ユーザも使用している別の装置、ユーザがシースルーディスプレイに加えて着用している別の装置などをシースルーディスプレイが認識していることを望むことがある。前述したように、シースルーディスプレイのユーザが、シースルーディスプレイを介して表示された情報が、シースルーディスプレイを通して見えていてよいオブジェクトに対応していることを望むことがある。例えば、ユーザは、情報が視覚的にオブジェクトに対応しているように、そのようなオブジェクトに関連している情報が表示されることを望むことがある。

【0070】

多くの状況では、シースルーディスプレイを通して知覚できるオブジェクトは、ユーザのもう１つの電子装置であってもよい。このような状況では、ユーザは、シースルーディスプレイが別の装置を識別したり、ユーザの視野に対する別の装置の位置を追跡したりできるようにシースルーディスプレイが構成されることを望むことがある。別の装置を識別しやすくするために、識別情報を収集したり、識別の特徴を受信したりするのに関わる目的で、別の装置と通信することが望ましいことがある。少なくとも１つの例示的な実施形態では、装置が、別の装置を示す視覚情報に少なくとも部分的に基づいて別の装置を識別する。例えば、装置は、別の装置の物理的特徴、別の装置の設計上の特徴、別の装置に関連する視覚的手がかりなどに基づいて別の装置を識別できる。別の装置のこのような視覚的識別を容易にするために、別の装置を示す視覚情報を取り込むことが望ましいことがある。少なくとも１つの例示的な実施形態では、装置は、カメラモジュールを備えている。カメラモジュールは、例えば、カメラモジュールの取込領域内にあるカメラ視覚情報を取り込むことができる。少なくとも１つの例示的な実施形態では、別の装置の識別は、少なくとも部分的にカメラ視覚情報に基づいている。このような例示的な実施形態では、カメラ視覚情報は、装置に備わっていたり、別の装置に備わっていたりするカメラモジュールから受信され得る。少なくとも１つの例示的な実施形態では、装置は、カメラ視覚情報の少なくとも一部が別の装置の表象を含んでいることを判断する。例えば、別の装置が、カメラモジュールから受信したカメラ視覚情報が別の装置の表象を含んでいるように、カメラモジュールの取込領域内に配置されてもよい。このような例では、装置が、カメラ視覚情報に含まれている別の装置の表象に少なくとも部分的に基づいて別の装置を識別できる。

【0071】

別の装置の視覚的識別をさらに容易にするために、装置が別の装置に関連する１つ以上の視覚的特徴の知識を有していることが望ましいことがある。例えば、カメラ視覚情報内にある別の装置の１つ以上の表象どうしを区別できることが望ましいことがある。少なくとも１つの例示的な実施形態では、装置が別の装置から視覚的識別情報を受信する。少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置の視覚的特徴を示す情報である。例えば、視覚的識別情報は、別の装置の視覚的識別を容易にするように構成された情報であってもよい。少なくとも１つの例示的な実施形態では、視覚的識別情報は、電磁スペクトル内の１つ以上の波長に関連する情報である。例えば、視覚的識別情報は、可視光線、紫外線、赤外線などと関連していてもよい。別の装置の視覚的特徴は、別の装置を識別し得る別の装置の物理的特徴であってもよい。例えば、物理的特徴は、別の装置の識別を容易にし得るサイズ、形状、色、材質、模様などであってもよい。少なくとも１つの例示的な実施形態では、別の装置は、腕時計の文字盤を備えている腕時計装置である。このような例示的な実施形態では、視覚的識別情報は、腕時計の文字盤を示す情報であってもよい。例えば、視覚的識別情報は、腕時計の文字盤のサイズ、腕時計の文字盤の色、腕時計の文字盤への数字表示の仕方などを示していてもよい。少なくとも１つの例示的な実施形態では、視覚的識別情報は、腕時計の文字盤に示される時間と相関関係がある。例えば、腕時計の文字盤は、時針および分針によって時間を示すアナログの腕時計の文字盤であってもよい。このような例では、視覚的識別情報は、時針の位置、分針の位置などに関する情報を含んでいてもよい。例えば、視覚的識別情報は、一日の特定の時間に別の装置の物理的外観と相関関係があってもよい。例えば時刻が１０：００ＡＭであれば、時針および分針はそれに応じた位置になる。このような例では、装置が、別の装置の現時点の外観、例えば、腕時計の文字盤の視覚的特徴を示す視覚的識別情報を別の装置から受信してもよい。

【0072】

状況によっては、別の装置の視覚的特徴は、別の装置によって表示されている視覚情報と関係していてもよい。例えば、別の装置は、青色一色の円を表示していたり、唯一の模様を表示したりしていてもよい。少なくとも１つの例示的な実施形態では、視覚的識別情報は、別の装置に備わっているディスプレイに表示されている情報である。例えば、視覚的識別情報は、腕時計の文字盤の表象であってもよい。例えば、別の装置が、腕時計の文字盤の表象を別の装置に備わっているディスプレイに表示してもよい。このような例では、腕時計の文字盤は、時針および分針によって時間を示すアナログの腕時計の文字盤であってもよい。このような例では、腕時計の文字盤は、時刻が９：００ＡＭ／ＰＭであることを示すことができる。別の装置の識別を容易にするために、腕時計の文字盤の視覚的特徴に関するそのような詳細を視覚的識別情報が提供することが望ましいことがある。例えば、視覚的識別情報は、時刻が９：００ＡＭ／ＰＭであることを示す腕時計の文字盤の表象であってもよい。このように、別の装置は、別の装置に表示されている視覚的識別情報と腕時計の文字盤との対応に少なくとも部分的に基づいて識別され得る。

【0073】

状況によっては、視覚的識別情報が、特定の別の装置に関連する唯一の視覚的特徴であったり、視覚的識別に特によく適していたりすることが望ましいことがある。状況によっては、ユーザが、シースルーディスプレイおよび別の装置を使用してもよい。このような状況では、ユーザは、ユーザの別の装置が異なる別の装置と区別できたり、異なるユーザの別の装置と区別できたりすることを望むことがある。このように、唯一の視覚的識別情報が可能になることが望ましいことがある。少なくとも１つの例示的な実施形態では、視覚的識別情報は、基準マーカーの表象である。基準マーカーは、別の装置を用いて表示され、別の装置の識別を可能にする視覚情報であってもよい。

【0074】

状況によっては、ユーザが、別の装置の識別とは無関係の目的で別の装置のディスプレイを使用することを望むことがある。例えば、ユーザは、別の装置のディスプレイで画像を見ることを望んだり、別の装置のディスプレイで通知を読むことを望んだりすることがある。このような例では、ユーザが別の装置のディスプレイを使用できるように、別の装置に視覚的識別情報を表示することが望ましいことがある。少なくとも１つの例示的な実施形態では、視覚的識別情報は、少なくとも１つの発光ダイオードの配置を示す情報である。例えば、視覚的識別情報は、発光ダイオードが手首装着装置のディスプレイを一周するように発光ダイオードの配置を示したり、発光ダイオードが手首装着装置の手首接着部に１つのパターンで設置されるように発光ダイオードの配置を示したりすることができる。このように、配置は、発光ダイオードの２次元の配置および／または３次元の配置を示すことができ、かつ配置は、発光ダイオードが取り付けられている別の装置の１つ以上の部分を示すことができる。発光ダイオードは可視光線、紫外線、赤外線などを放出でき、その結果、光は、カメラモジュール、紫外線センサ、赤外線センサなどによって検知可能である。

【0075】

少なくとも１つの例示的な実施形態では、視覚的識別情報は、発光ダイオードの視覚的特徴を示す情報である。少なくとも１つの例示的な実施形態では、視覚的識別情報は、発光ダイオードの状態を示す。例えば、発光ダイオードは、アクティブ、非アクティブ、オン、オフ、明るい、暗い、点滅している、などであり得る。少なくとも１つの例示的な実施形態では、発光ダイオードの状態は、発光ダイオードによって放出されている光の色および／または波長を示すものである。例えば、発光ダイオードは、白、青、赤、緑であったり、青と黄色が交互になっていたり、色スペクトル、紫外線、赤外線の範囲内を動的に移り変わったりしてもよい。例えば、図３に示した手首装着装置は、発光ダイオードがディスプレイ３０４を包囲するようにディスプレイハウジング３０２に接続している発光ダイオードの配列を備えていたり、手首接着部３０８に接続している発光ダイオードの配列を備えていたりしてもよい。

【0076】

別の装置から装置への視覚的識別情報の通信を容易にするために、装置がこのような視覚的識別情報を別の装置から要求できることが望ましいことがある。少なくとも１つの例示的な実施形態では、装置が視覚的識別情報を別の装置から要求する。このような例示的な実施形態では、装置は、視覚的識別情報に対する要求に少なくとも部分的に基づいて別の装置から視覚的識別情報を受信できる。装置は、視覚的識別情報に対する要求を別の装置に直接送信したり、視覚的識別情報に対する要求を別の装置に１つ以上の中間装置を用いて間接的に送信したりしてもよい。装置は、視覚的識別情報を別の装置から直接受信したり、視覚的識別情報を別の装置から１つ以上の中間装置を用いて間接的に受信したりしてもよい。少なくとも１つの例示的な実施形態では、視覚的識別情報に対する要求は、別の装置に備わっているディスプレイに表示されている情報に対する要求である。例えば、別の装置が腕時計装置であってもよく、かつ、時間を示す腕時計の文字盤を表示してもよい。このような例では、装置は、別の装置のディスプレイに表示されている情報に対する要求を示す要求を別の装置に送信できる。このように、装置は、表示されている時間、表示されている腕時計の文字盤の様式など、別の装置に表示されている腕時計の文字盤の視覚的特徴を示す視覚的識別情報を受信できる。

【0077】

多くの状況では、ユーザが、シースルーディスプレイをもう１つの電子装置と並べて使用することを望むことがある。例えば、ユーザは、シースルーディスプレイを手首装着装置、タブレット、リング装置などの別の装置と並べて使用することを望むことがある。例えば、ユーザは、ユーザのシースルーディスプレイを通してユーザが別の装置を知覚するように別の装置が設置されたときに、シースルーディスプレイと別の装置が相乗的に相互作用することを望むことがある。このように、シースルーディスプレイは、手首装着装置に関連する情報を表示したり、情報および別の装置がユーザに知覚されて互いに一緒に表示されるように情報を表示したりするのに使用されてもよい。しばしば、ユーザの自然な視野が、シースルーディスプレイを通して知覚できる視野よりも広いことがある。このように、ユーザがユーザのシースルーディスプレイを通して別の装置を知覚できるかどうかを判断することが望ましいことがある。

【0078】

少なくとも１つの例示的な実施形態では、装置が、シースルーディスプレイを通して別の装置を知覚できることを判断する。例えば、シースルーディスプレイを通して別の装置を知覚できるという判断は、カメラモジュールから受信したカメラ視覚情報の中に別の装置の表象があることに少なくとも部分的に基づいていてもよい。このような例では、カメラモジュールの取込領域は、シースルーディスプレイを通して凝視しているユーザの視野に一致していてもよい。例えば、カメラモジュールの取込領域は、ユーザの自然な視野より狭くてもよく、ユーザがシースルーディスプレイを通して知覚できる環境の一部と一致していてもよい。このような例示的な実施形態では、別の装置の表象がカメラ視覚情報内のいずれかの位置にあることが、ユーザのシースルーディスプレイを通してユーザが別の装置を知覚できることを示している。

【0079】

状況によっては、カメラモジュールの取込領域が、ユーザの自然な視野よりも広かったり、ユーザがシースルーディスプレイを通して知覚できる視野よりも広かったりしてもよい。少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できるという判断は、カメラ視覚情報の所定部分の中に別の装置の表象があることに少なくとも部分的に基づいている。カメラ視覚情報の所定部分は、例えば、シースルーディスプレイを通したユーザの視野と一致していてもよい。このような例示的な実施形態では、カメラ視覚情報の所定部分の中に別の装置の表象があることが、ユーザのシースルーディスプレイを通してユーザが別の装置を知覚できることを指す。

【0080】

図４Ａの例では、シースルーディスプレイ４０４は、カメラモジュール４１４から受信したカメラ視覚情報を用いて別の装置４０６を識別する。シースルーディスプレイ４０４は、別の装置４０６の視覚的特徴を示す視覚的識別情報を別の装置４０６から受信できる。例えば、シースルーディスプレイ４０４は、別の装置４０６に備わっている発光ダイオードの配列を示す情報を受信したり、別の装置４０６のディスプレイに表示されている腕時計の文字盤を示す情報を受信したりできる。別の装置４０６を識別しやくするために、シースルーディスプレイ４０４は、取込領域４２４を示すカメラ視覚情報をカメラモジュール４１４を用いて取り込むことができる。図４Ａの例では、シースルーディスプレイ４０４は、カメラ視覚情報および受信した視覚的識別情報に少なくとも部分的に基づいて別の装置４０６を識別する。

【0081】

図４Ａの例では、ユーザ４０２が、シースルーディスプレイ４０４を通して別の装置４０６を知覚できる。図４Ａに示したように、別の装置４０６は、シースルーディスプレイ４０４に備わっているカメラモジュール４１４の取込領域４２４内の対応する位置にある。取込領域４２４は、例えばシースルーディスプレイ４０４を通したユーザ４０２の視野と一致していてもよく、その結果、取込領域４２４と一致する位置に別の装置４０６を設置することは、ユーザ４０２がシースルーディスプレイ４０４を通して別の装置４０６を知覚できることを指す。

【0082】

図４Ｂは、少なくとも１つの例示的な実施形態による装置の使用法を示す図である。図４Ｂの例では、ユーザ４４２は、シースルーディスプレイ４４４および別の装置４４６を着用している。図４Ｂに示したように、シースルーディスプレイ４４４は、カメラモジュール４５４を備えている。カメラモジュール４５４は、取込領域４６４と関連している。図４Ｂの例では、別の装置４４６は、手首装着装置である。図４Ｂに示したように、別の装置４４６は、カメラモジュール４５６を備えている。図４Ｂの例では、ユーザ４４２がシースルーディスプレイ４４４を通して別の装置４５６を知覚できない。図４Ｂに示したように、別の装置４４６は、シースルーディスプレイ４４４に備わっているカメラモジュール４５４の取込領域４６４に対応できない位置にある。取込領域４６４は、シースルーディスプレイ４４４を通したユーザ４４２の視野と一致していてもよく、その結果、取込領域４６４に対応できない位置に別の装置４４６を設置することは、ユーザ４４２がシースルーディスプレイ４４４を通して別の装置４４６を知覚できることを指す。

【0083】

図５Ａ〜５Ｂは、少なくとも１つの例示的な実施形態によるシースルーディスプレイにプログラム相互作用情報を表にしている様子を示す図である。図５Ａ〜５Ｂの例は単なる例であり、請求項の範囲を限定するものではない。例えば、プログラム相互作用情報が様々であったり、表示の向きが様々であったり、装置の構成が様々であったりしてよい。

【0084】

多くの状況では、ユーザが楽しく直観的に２つ以上の電子装置を使用することを望むことがある。例えば、ユーザは、ユーザが容易に情報を知覚できると同時にユーザの情報のプライバシーを強化するように、２つの電子装置を使用することを望むことがある。例えば、ユーザは、シースルーディスプレイおよび手首装着装置を着用できる。このような例では、手首装着装置を、通知の表示、カレンダーおよび／または時刻情報の表示、視覚情報の表示などに関する目的で使用できる。状況によっては、手首装着装置に備わっているディスプレイが、１つ以上の点で限定されていてもよい。例えば、ディスプレイのサイズは、ユーザが表示できる情報の種類を限定したり、ディスプレイに表示されるテキストの読みやすさを限定したりしてもよい。多くの状況では、ユーザが、２つの電子装置が一緒になってユーザの体験をよりよりものにするように、手首装着装置の利用状態およびシースルーディスプレイの利用状態を調整することを望むことがある。

【0085】

状況によっては、ユーザが、ユーザのシースルーディスプレイおよび別の装置を用いて視覚情報を見ることを望むことがある。例えば、ユーザは、ユーザのシースルーディスプレイに表示された視覚情報をユーザの手首装着装置と組み合わせて知覚することを望むことがある。少なくとも１つの例示的な実施形態では、プログラム相互作用情報は視覚情報である。例えば、プログラム相互作用情報は、テキストでの情報、映像での情報、画像での情報、グラフィックでの情報などであってもよい。例えば、プログラム相互作用情報は、テキストでの通知、電子メール、画像、映像などであってもよい。状況によっては、ユーザが、ユーザのシースルーディスプレイと別の装置との間で追加の相互作用を望むことがある。例えば、ユーザは、ユーザのシースルーディスプレイおよび別の装置を用いて高度なユーザインターフェースにアクセスすることを望むことがある。少なくとも１つの例示的な実施形態では、プログラム相互作用情報はユーザインターフェース情報である。ユーザインターフェース情報は、ユーザが装置、別の装置などを操作すること、および同装置と相互作用することを容易にする情報であってもよい。

【0086】

状況によっては、ユーザが、ユーザの装置、別の装置などと関連していてもよい特定のプログラムと相互作用することを望むことがある。少なくとも１つの例示的な実施形態では、プログラム相互作用情報は、プログラムと関連している。このような例示的な実施形態では、装置は、別の装置の識別、視覚的識別情報などに少なくとも部分的に基づいているプログラムを決定できる。例えば、別の装置にあるプログラムが視覚的識別情報に関連していてもよく、別の装置にある異なるプログラムが異なる視覚的識別情報と関連していてもよい。このような例示的な実施形態では、装置が別の装置から視覚的識別情報を受信し、少なくとも部分的に視覚的識別情報に基づいて、別の装置および別の装置に関連しているプログラムを識別してもよい。

【0087】

状況によっては、ユーザが、別の装置と関連しているシースルーディスプレイに表示された情報を、別の装置を用いて制御することを望むことがある。少なくとも１つの例示的な実施形態では、装置が視覚的識別情報を用いて別の装置を識別する。このような例示的な実施形態では、装置は、別の装置の表象を含んでいるカメラ視覚情報に少なくとも部分的に基づいて、別の装置の向きを決定できる。例えば、視覚的識別情報は、別の装置の様々な向きに対応している別の装置の様々な表象を示していてもよい。このように、カメラ視覚情報に含まれている別の装置の表象と、視覚的識別情報に示されている別の装置の表象とが対応していることは、別の装置の向きが視覚的識別情報で示されている向きと対応していることを指す。

【0088】

少なくとも１つの例示的な実施形態では、装置が別の装置の向きを決定する。このような例示的な実施形態では、プログラム相互作用情報は、少なくとも部分的に別の装置の向きに基づいていてもよい。例えば、別の装置は、手首装着装置であってもよい。このような例では、装置は、手首装着装置のディスプレイが手首装着装置のユーザに対面していて、ユーザの手首および前腕がユーザの胴に平行な位置にあることを示す向きに手首装着装置が向いていることを判断できる。例えば、向きは、ユーザが時間をチェックすることを望んでいることを示すことができる。このような例では、装置は、向きを時刻プログラムと関連付けることができ、かつ、時刻プログラムの相互作用情報を表示させることができる。別の例では、装置は、手首装着装置のディスプレイが手首装着装置のユーザから離れた所を向いていて、ユーザの前腕がユーザに対面していることを示す向きに手首装着装置が向いていることを判断できる。例えば、向きは、手首装着装置のディスプレイの反対側である手首装着装置の一部をユーザが見ていることを示すことができる。このような例では、装置は、向きをカレンダープログラムと関連付けることができ、かつ、カレンダープログラムの相互作用情報を表示させることができる。別の装置の向きは、別の装置および／またはシースルーディスプレイに対して特定の動作を起こしたり、別の装置および／またはシースルーディスプレイと関連している特定のプログラムと相互作用することをユーザが望んでいることを示したり、別の装置および／またはシースルーディスプレイと関連しているユーザインターフェースに対してユーザが入力していることを示したりできる。

【0089】

図５Ａは、少なくとも１つの例示的な実施形態によるシースルーディスプレイにプログラム相互作用情報が表示されている様子を示す図である。図５Ａの例は、シースルーディスプレイを通して知覚されたときの別の装置５０２を示している。図５Ａの例では、別の装置５０２は、ユーザ５０８が着用している手首装着装置である。図５Ａの例では、シースルーディスプレイ部５０４は、プログラム相互作用情報５０６を表示している。シースルーディスプレイ部５０４は、プログラム相互作用情報５０６を示しているシースルーディスプレイの一部である。図５Ａの例では、プログラム相互作用情報５０６は、ユーザ５０８がシースルーディスプレイを用いてのみ知覚できるテキストでの通知である。例えば、別の装置５０２に備わっているディスプレイは、非アクティブであったり、ホームスクリーンを表示したり、腕時計の文字盤を表示したり、基準マーカーを表示したり、視覚的識別情報を表示したりできる。図５Ａの例では、ユーザ５０８が着用しているシースルーディスプレイは、別の装置５０２から受信したカメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置５０２を識別する。

【0090】

少なくとも１つの例示的な実施形態では、プログラム相互作用情報が、別の装置の識別に少なくとも部分的に基づいて、シースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、装置がシースルーディスプレイにプログラム相互作用情報を表示させる。このような例示的な実施形態では、プログラム相互作用情報のディスプレイと別の装置とが対応していることは、シースルーディスプレイのユーザが、ユーザの視野内にある別の装置の位置と対応しているユーザの視野内の位置でプログラム相互作用情報を知覚していることを指す。例えば、プログラム相互作用情報は、シースルーディスプレイと別の装置までのユーザの視線との交差点に対応しているシースルーディスプレイ上の位置に表示されてもよい。例えば、図５Ａは、シースルーディスプレイを通してユーザ５０８が知覚したときの別の装置５０２を示している。図５Ａの例でわかるように、プログラム相互作用情報５０６は、プログラム相互作用情報５０６が手首装着装置５０２の少なくとも一部に重なるようにシースルーディスプレイに表示され、ユーザ５０８に知覚されて手首装着装置５０２の近辺に表示される。図５Ａの例では、ユーザ５０８が手首の向きを変え、かつ／または腕を回そうとした場合、プログラム相互作用情報５０６は、シースルーディスプレイを通して見たときに手首装着装置５０２の近辺に残ったままになる。例えば、プログラム相互作用情報５０６は、シースルーディスプレイ部５０４に表示される。シースルーディスプレイ部５０４は、ユーザ５０８と手首装着装置５０２との間の視線に対応している。例えば、シースルーディスプレイ部５０４は、シースルーディスプレイと手首装着装置５０２までのユーザの視線との交差点に対応しているシースルーディスプレイ上の位置にある。

【0091】

このように、シースルーディスプレイを介して表示されるプログラム相互作用情報は、ユーザに知覚されて、シースルーディスプレイを通して見られたときに別の装置の近傍に空間的に接続され、かつ／または表示される。少なくとも１つの例示的な実施形態では、プログラム相互作用情報をシースルーディスプレイに表示させることは、プログラム相互作用情報がシースルーディスプレイを通してユーザが知覚している別の装置の少なくとも一部に重なるように実施される。

【0092】

多くの状況では、ユーザが、ユーザの電子装置を個人的な理由で使用することを望むことがある。例えば、ユーザは、画像を取り込んだり、映像を取り込んだり、画像を見たり、映像を見たりするために１つ以上の電子装置を使用することを望むことがある。状況によっては、ユーザが、自分の表象を見ることを望むことがある。例えば、ユーザは、髪をチェックしたり、化粧をしたり、外見を眺めたりすることを望むことがある。しかしながら、ユーザは、直観的で控えめにそうすることを望むことがある。少なくとも１つの例示的な実施形態では、装置が、別の装置のカメラ視覚情報を別の装置から受信する。このような例示的な実施形態では、シースルーディスプレイによって表示されたプログラム相互作用情報は、ミラープログラムと関連付けられていてもよく、かつ、別の装置のカメラ視覚情報の少なくとも一部を含んでいてもよい。少なくとも１つの例示的な実施形態では、別の装置のカメラ視覚情報は、別の装置のユーザの視覚的な表象を含んでいる。別の装置のカメラ視覚情報は、別の装置に備わっているユーザ対面のカメラモジュールによって取り込まれてもよい。例えば、図３に示したように、手首装着装置３００はカメラモジュール３０６を備えている。図３の例では、カメラモジュール３０６は、ユーザ対面のカメラモジュールである。図３のカメラモジュール３０６取込領域は、手首装着装置３００のユーザの少なくとも一部と対応していてもよい。このような例では、ユーザの視覚的な表象は、カメラモジュール３０６に取り込まれ、手首装着装置３００から受信された視覚情報に少なくとも部分的に基づいていてもよい。

【0093】

少なくとも１つの例示的な実施形態では、装置が、ユーザ対面カメラの取り込み指示を別の装置に送信させる。例えば、別の装置の向きが、ミラーアプリケーション、別の装置に備わっているユーザ対面カメラ、およびユーザが着用しているシースルーディスプレイを用いて自分自身の表象を見ることをユーザが望んでいることを示すことができる。例えば、プログラム相互作用情報は、ミラープログラムに関連付けられていてもよく、ユーザ対面カメラの取り込み指示を別の装置に送信させることは、少なくとも部分的にミラープログラムに基づいていてもよい。例えば、シースルーディスプレイおよび手首装着装置のユーザは、自分の表象を見るのを望んでいることを指摘することができる。少なくとも部分的にこの指摘に基づいて、シースルーディスプレイは、ユーザ対面カメラの取り込み指示を手首装着装置に送信でき、ユーザの表象を含んでいるユーザ対面カメラの視覚情報を手首装着装置に取り込ませる。シースルーディスプレイは、ユーザ対面カメラの視覚情報を別の装置から受信でき、プログラム相互作用情報に関するユーザ対面カメラの視覚情報をシースルーディスプレイに表示できる。このように、シースルーディスプレイのユーザは、ユーザ対面カメラの視覚情報がユーザの手首装着装置につながって現れるように、ユーザ対面カメラの視覚情報を知覚できる。このように、ユーザの手首および／または手首装着装置の向きを変えることで、ユーザ対面カメラの視覚情報が手首装着装置と対応し続けるように、ユーザの表象の角度を変化させ、ユーザ対面カメラの視覚情報をディスプレイ上で配置し直すことができるようになる。

【0094】

図５Ｂは、少なくとも１つの例示的な実施形態によるシースルーディスプレイにプログラム相互作用情報を表示している様子を示す図である。図５Ｂの例は、シースルーディスプレイを通して知覚したときの別の装置５１２を示している。図５Ｂの例では、別の装置５１２は、ユーザ５１８が着用している手首装着装置である。図５Ｂの例では、シースルーディスプレイ部５１４は、プログラム相互作用情報５１６を表示している。シースルーディスプレイ部５１４は、プログラム相互作用情報５１６を表示しているシースルーディスプレイの一部である。図５Ｂの例では、プログラム相互作用情報５１６は、ユーザ５１８がシースルーディスプレイを用いてのみ知覚できる視覚情報である。例えば、別の装置５１２に備わっているディスプレイは、非アクティブであったり、ホームスクリーンを表示したり、腕時計の文字盤を表示したり、基準マーカーを表示したり、視覚的識別情報を表示したりできる。図５Ｂの例では、ユーザ５１８が着用しているシースルーディスプレイは、別の装置５１２から受信したカメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置５１２を識別する。別の装置５１２の識別に少なくとも部分的に基づいて、シースルーディスプレイは、シースルーディスプレイ部５１４に対応する位置にプログラム相互作用情報５１６を表示させる。図５Ｂの例では、プログラム相互作用情報５１６は、ミラープログラムに関連付けられ、ユーザ５１８の表象を示している。

【0095】

状況によっては、変化している視覚的識別情報に少なくとも部分的に基づいて、別の装置を動的に識別できることが望ましいことがある。例えば、別の装置が、動的な視覚的識別情報を別の装置のディスプレイに表示してもよい。例えば、視覚的識別情報は、時計の文字盤であってもよい。このような例では、様々な時針の位置、分針の位置、表示時間などを考慮して別の装置を識別できることが望ましいことがある。このような例では、視覚的識別情報の動的性質があっても別の装置を識別できることが望ましいことがある。少なくとも１つの例示的な実施形態では、装置が、別の装置から異なる視覚的識別情報を受信する。このような例示的な実施形態では、装置は、異なるカメラ視覚情報および異なる視覚的識別情報に少なくとも部分的に基づいて別の装置を識別できる。例えば、別の装置のディスプレイに表示されているアナログ腕時計の文字盤が、時刻が９：００ＡＭ／ＰＭであることを指していると示している視覚的識別情報を、装置が最初に受信してもよい。１分が経過した後、アナログ腕時計の文字盤は、時刻が９：０１ＡＭ／ＰＭであることを指すことができる。このように、視覚的識別情報は、装置が最初に受信したものから変化している。このような例では、装置は、ディスプレイ視覚的識別情報への変化を示している別の装置から異なる視覚的識別情報を受信できる。このような例示的な実施形態では、装置は、シースルーディスプレイを通して別の装置を知覚できる状態にあると判断でき、かつ、別の装置の識別に少なくとも部分的に基づいてプログラム相互作用情報のシースルーディスプレイへの表示を継続させることができる。

【0096】

状況によっては、シースルーディスプレイを通して別の装置を知覚できなくてもよい。例えば、別の装置は、シースルーディスプレイを通して別の装置を知覚できる位置からシースルーディスプレイを通して別の装置を知覚できなくなった別の位置まで動かされてもよい。例えば、別の装置は、手首装着装置であってもよく、ユーザは手首を体の前から横に動かすことができる。このような例では、ユーザは、手首装着装置につながっているシースルーディスプレイに表示されることになっている情報の表示を継続しないことを望むことがある。少なくとも１つの例示的な実施形態では、シースルーディスプレイを通して別の装置を知覚できなくなったことを装置が判断する。このような例示的な実施形態では、装置は、シースルーディスプレイを通して別の装置を知覚できなくなったという判断に少なくとも部分的に基づいて、プログラム相互作用情報をシースルーディスプレイに表示するのを終了させることができる。シースルーディスプレイを通して別の装置を知覚できなくなったという判断は、別の装置の表象がカメラ視覚情報内にないこと、別の装置の表象がカメラ視覚情報の所定部分内にないことなどに少なくとも部分的に基づいていてもよい。例えば、図５Ｂに表示されているプログラム相互作用情報は、図４Ａの別の装置４０６によって表示されるようにしたものであってもよい。図４Ａの例に示したように、ユーザ４０２は、別の装置４０６に備わっているカメラモジュール４１６の取込領域４２６内にいる。図４Ａの例では、ユーザ４０２がシースルーディスプレイ４０４を通して別の装置４０６を知覚できる。図４Ｂの例は、図４Ａの状況に続いてユーザ４０２が腕を図４Ｂに示した位置に下げている様子を示している。図４Ｂの例では、別の装置４４６は、図４Ａの別の装置４０６に相当する。図４Ｂの例では、ユーザ４４２はシースルーディスプレイ４４４を通して別の装置４４６を知覚できなくなっている。このように、シースルーディスプレイ４４４は、それまで表示されていた図５Ｂのプログラム相互作用情報５１６などのプログラム相互作用情報の表示を終了できる。

【0097】

状況によっては、シースルーディスプレイを通して別の装置を知覚できなくなっても、ユーザが、別の装置とつながっているシースルーディスプレイに表示された情報を表示し続けることを望むことがある。例えば、ユーザは、シースルーディスプレイを着用していてもよく、シースルーディスプレイを通して別の装置を知覚できてプログラム相互作用情報をシースルーディスプレイに表示させるような位置に別の装置を移動させてもよい。その後、別の装置を、シースルーディスプレイを通して別の装置を知覚できなくなった別の位置に移動させることができる。このような状況では、ユーザは、特定の期間、所定の長さの時間などにわたって、プログラム相互作用情報を表示し続けることを望むことがある。少なくとも１つの例示的な実施形態では、プログラム相互作用情報の表示は、シースルーディスプレイを通して知覚できる別の装置に相当する別の装置の最近の位置で持続する。例えば、シースルーディスプレイを通して別の装置を知覚できなくなるように、別の装置を左下の方へ移動させることができる。このような例では、装置は、シースルーディスプレイの左下の四分円の視野から出て行く別の装置に少なくとも部分的に基づいて、シースルーディスプレイの左下の四分円に相当する位置にプログラム相互作用情報の表示を継続させることができる。このような例では、シースルーディスプレイを通して別の装置を再び知覚できるように別の装置が別の位置に動けば、プログラム相互作用情報の表示は、シースルーディスプレイを通して知覚できる別の装置に相当する別の装置の最近の位置から他の位置へ移動する。この移動は、例えば、シースルーディスプレイ上の位置にプログラム相互作用情報が動くのをユーザが知覚するように、プログラム相互作用情報の表示が他の位置へ動くのを動画化してもよく、この位置は、シースルーディスプレイを通して別の装置を知覚したものと一致する。

【0098】

図６は、少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報を表示させることに関連する活動を示す流れ図である。少なくとも１つの例示的な実施形態では、図６の活動に相当する一連の動作がある。装置、例えば図１の電子装置１０、またはその一部が、一連の動作を利用できる。装置は、そのような動作を実施するために、例えば図１のプロセッサ１１などの手段を備えていてもよい。例示的な実施形態では、装置、例えば、プロセッサ、例えば図１のプロセッサ１１とともに働いて図６の一連の動作を装置に実行させるように構成されたコンピュータコードを含んでいるメモリ、例えば図１のメモリ１２を有することによって、図１の電子装置１０が変換される。

【0099】

ブロック６０２で、装置は、別の装置から視覚的識別情報を受信する。受信したもの、視覚的識別情報、および別の装置は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0100】

ブロック６０４で、装置は、カメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置を識別する。この識別およびカメラ視覚情報は、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0101】

ブロック６０６で、装置は、シースルーディスプレイを通して別の装置を知覚できることを判断する。この判断およびシースルーディスプレイは、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0102】

ブロック６０８で、装置は、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる。ディスプレイ、表示させること、プログラム相互作用情報、およびプログラム相互作用情報と別の装置との対応は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0103】

図７は、少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報を表示させることに関連する活動を示す流れ図である。少なくとも１つの例示的な実施形態では、図７の活動に相当する一連の動作がある。装置、例えば図１の電子装置１０、またはその一部が、一連の動作を利用できる。装置は、そのような動作を実施するために、例えば図１のプロセッサ１１などの手段を備えていてもよい。例示的な実施形態では、装置、例えば、プロセッサ、例えば図１のプロセッサ１１とともに働いて図７の一連の動作を装置に実行させるように構成されたコンピュータコードを含んでいるメモリ、例えば図１のメモリ１２を有することによって、図１の電子装置１０が変換される。

【0104】

前述したように、状況によっては、カメラ視覚情報に少なくとも部分的に基づいて別の装置を識別することが望ましいことがある。このような状況では、カメラ視覚情報をカメラモジュールから受信し、カメラ視覚情報が別の装置の表象含んでいるかどうかを判断することが望ましいことがある。

【0105】

ブロック７０２で、装置は、別の装置から視覚的識別情報を受信する。受信したもの、視覚的識別情報、および別の装置は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0106】

ブロック７０４で、装置は、カメラモジュールからカメラ視覚情報を受信する。受信したもの、カメラ視覚情報、およびカメラモジュールは、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0107】

ブロック７０６で、装置は、視覚的識別情報に少なくとも部分的に基づいて、カメラ視覚情報の少なくとも一部が別の装置の表象を含んでいることを判断する。この判断、カメラ視覚情報の一部、および別の装置の表象は、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0108】

ブロック７０８で、装置は、シースルーディスプレイを通して別の装置を知覚できることを判断する。判断およびシースルーディスプレイは、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0109】

ブロック７１０で、装置は、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる。ディスプレイ、表示させること、プログラム相互作用情報、およびプログラム相互作用情報と別の装置との対応は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0110】

図８は、少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報の表示を継続させることに関連する活動を示す流れ図である。少なくとも１つの例示的な実施形態では、図８の活動に相当する一連の動作がある。装置、例えば図１の電子装置１０、またはその一部が、一連の動作を利用できる。装置は、そのような動作を実施するために、例えば図１のプロセッサ１１などの手段を備えていてもよい。例示的な実施形態では、装置、例えば、プロセッサ、例えば図１のプロセッサ１１とともに働いて図８の一連の動作を装置に実行させるように構成されたコンピュータコードを含んでいるメモリ、例えば図１のメモリ１２を有することによって、図１の電子装置１０が変換される。

【0111】

前述したように、多くの状況では、シースルーディスプレイに表示されているプログラム相互作用情報を知覚すると同時に、シースルーディスプレイを通してユーザの別の装置を知覚できることをユーザが望むことがある。このような状況では、ユーザは、プログラム相互作用情報を連続して表示すると同時に、シースルーディスプレイを通して別の装置を知覚できることを望むことがある。

【0112】

ブロック８０２で、装置は、別の装置から視覚的識別情報を受信する。受信したもの、視覚的識別情報、および別の装置は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0113】

ブロック８０４で、装置は、カメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置を識別する。この識別、およびカメラ視覚情報は、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0114】

ブロック８０６で、装置は、シースルーディスプレイを通して別の装置を知覚できることを判断する。判断およびシースルーディスプレイは、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0115】

ブロック８０８で、装置は、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる。ディスプレイ、表示させること、プログラム相互作用情報、およびプログラム相互作用情報と別の装置との対応は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0116】

ブロック８１０で、装置は、別の装置から異なる視覚的識別情報を受信する。

【0117】

ブロック８１２で、装置は、異なるカメラ視覚情報および異なる視覚的識別情報に少なくとも部分的に基づいて別の装置を識別する。

【0118】

ブロック８１４で、装置は、シースルーディスプレイを通して別の装置を知覚できる状態にあると判断する。

【0119】

ブロック８１６で、装置は、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、プログラム相互作用情報のシースルーディスプレイへの表示を継続させる。

【0120】

図９は、少なくとも１つの例示的な実施形態によるシースルーディスプレイへのプログラム相互作用情報の表示を終了させることに関連する活動を示す流れ図である。少なくとも１つの例示的な実施形態では、図９の活動に相当する一連の動作がある。装置、例えば図１の電子装置１０、またはその一部が、一連の動作を利用できる。装置は、そのような動作を実施するために、例えば図１のプロセッサ１１などの手段を備えていてもよい。例示的な実施形態では、装置、例えば、プロセッサ、例えば図１のプロセッサ１１とともに働いて図９の一連の動作を装置に実行させるように構成されたコンピュータコードを含んでいるメモリ、例えば図１のメモリ１２を有することによって、図１の電子装置１０が変換される。

【0121】

前述したように、状況によっては、ユーザの別の装置に対応するユーザの視野内の位置で、ユーザのシースルーディスプレイへのプログラム相互作用情報の表示を継続しないことをユーザが望むことがある。例えば、ユーザは、シースルーディスプレイを通して別の装置を知覚できなくなるように別の装置を動かしたり、別の装置の場所に対応できない方向に目を向けたりすることができる。このような状況では、ユーザは、シースルーディスプレイを通して別の装置を知覚できなくなったという判断に少なくとも部分的に基づいて、プログラム相互作用情報をシースルーディスプレイに表示するのを終了させることを望むことがある。

【0122】

ブロック９０２で、装置は、別の装置から視覚的識別情報を受信する。受信したもの、視覚的識別情報、および別の装置は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0123】

ブロック９０４で、装置は、カメラ視覚情報および視覚的識別情報に少なくとも部分的に基づいて別の装置を識別する。この識別、およびカメラ視覚情報は、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0124】

ブロック９０６で、装置は、シースルーディスプレイを通して別の装置を知覚できることを判断する。判断およびシースルーディスプレイは、図２、図３、および図４Ａ〜４Ｂに関して説明したものと同様であってもよい。

【0125】

ブロック９０８で、装置は、別の装置の識別に少なくとも部分的に基づいて、プログラム相互作用情報がシースルーディスプレイを通して見える別の装置の少なくとも一部に対応するように、シースルーディスプレイにプログラム相互作用情報を表示させる。ディスプレイ、表示させること、プログラム相互作用情報、およびプログラム相互作用情報と別の装置との対応は、図２、図３、図４Ａ〜４Ｂ、および図５Ａ〜５Ｂに関して説明したものと同様であってもよい。

【0126】

ブロック９１０で、装置は、シースルーディスプレイを通して別の装置を知覚できなくなったことを判断する。

【0127】

ブロック９１２で、装置は、シースルーディスプレイを通して別の装置を知覚できなくなったという判断に少なくとも部分的に基づいて、プログラム相互作用情報をシースルーディスプレイに表示するのを終了させる。

【0128】

本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、またはソフトウェアとハードウェアとアプリケーションロジックとの組み合わせで実施され得る。ソフトウェア、アプリケーションロジックおよび／またはハードウェアは、装置、１つの別の装置、または複数の別の装置にあってもよい。所望すれば、ソフトウェア、アプリケーションロジックおよび／またはハードウェアの一部が装置にあってもよいし、ソフトウェア、アプリケーションロジックおよび／またはハードウェアの一部が別の装置にあってもよいし、ソフトウェア、アプリケーションロジックおよび／またはハードウェアの一部が複数の別の装置にあってもよい。例示的な実施形態では、アプリケーションロジック、ソフトウェアまたは命令セットは、様々な従来のコンピュータ可読媒体のうちのいずれか１つに保持される。

【0129】

所望すれば、本明細書で考察した様々な機能は、異なる順序で、かつ／または互いに同時に実施されてもよい。例えば、図７のブロック７０２は、図７のブロック７０４の後に実施されてもよい。さらに、所望すれば、上記の機能の１つ以上が任意選択であってもよいし、組み合わせてもよい。例えば、図６のブロック６０６は、任意選択であってもよく、かつ／または図６のブロック６０４と組み合わせてもよい。

【0130】

本発明の様々な態様を独立請求項に記載しているが、本発明のその他の態様は、記載した実施形態の特徴の他の組み合わせおよび／または独立請求項の特徴を含む従属請求項を含むのであって、請求項に明示的に記載した組み合わせのみを含むのではない。

【0131】

本明細書では、上記は本発明の例示的な実施形態を説明しているが、これらの説明は限定的な意味で捉えられるべきではないことにも留意されたい。むしろ、添付の請求項に定義した本発明の範囲を逸脱しないかぎり、変更および修正を加えてもよい。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】