特開 2022-152222 拡張現実用眼鏡、拡張現実用眼鏡の制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022152222

(43)【公開日】2022-10-12

(54)【発明の名称】拡張現実用眼鏡、拡張現実用眼鏡の制御方法及び制御プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221004BHJP

   G06F 3/04815 20220101ALI20221004BHJP

   G06F 3/0346 20130101ALI20221004BHJP

   G06F 3/038 20130101ALI20221004BHJP

   G02B 27/02 20060101ALI20221004BHJP

   H04N 5/64 20060101ALI20221004BHJP

   G06T 19/00 20110101ALI20221004BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481 150

G06F3/0346 421

G06F3/038 310A

G02B27/02 Z

H04N5/64 511A

G06T19/00 600

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021054914

(22)【出願日】2021-03-29

(71)【出願人】

【識別番号】592001975

【氏名又は名称】伊藤忠テクノソリューションズ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100196601

【弁理士】

【氏名又は名称】酒井 祐市

(72)【発明者】

【氏名】塚本 琢磨

(72)【発明者】

【氏名】古川 雅弘

(72)【発明者】

【氏名】鈴置 昌宏

(72)【発明者】

【氏名】橋本 和俊

【テーマコード（参考）】

2H199

5B050

5B087

5E555

【Ｆターム（参考）】

2H199CA04

2H199CA12

2H199CA42

2H199CA91

2H199CA92

2H199CA94

2H199CA96

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA18

5B050EA19

5B050EA27

5B050FA02

5B050FA09

5B087AA07

5B087AB04

5B087BC05

5B087BC12

5B087BC16

5E555AA64

5E555AA76

5E555BA04

5E555BA38

5E555BA53

5E555BA83

5E555BB04

5E555BB38

5E555BC08

5E555BD01

5E555BE17

5E555CA41

5E555CA45

5E555CB65

5E555CB74

5E555CB82

5E555CC22

5E555DA08

5E555DA09

5E555DB53

5E555DC09

5E555DC63

5E555EA11

5E555EA14

5E555FA00

(57)【要約】      （修正有）

【課題】可視像に仮想画像を合成する拡張現実用眼鏡を提供する。
【解決手段】拡張現実用眼鏡２は、眼鏡レンズ部２１１、２１２と、眼電位センサ２８と、方位センサ２７と、眼電位センサからの眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出する視線検出部と、方位センサからの眼鏡方位信号を取得し、視線の方向に対応する視線方位を決定する方位決定部と、視線起点と視線方位とを示す視線方位信号を送信する眼鏡送信部２５２３と、眼鏡レンズ部に投影するための視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、仮想画像の眼鏡レンズ部への投影位置を示す投影位置信号とを受信する眼鏡受信部２５２４と、画像信号と投影位置信号とに対応して、仮想画像を眼鏡レンズ部に投影する投影部２６と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

可視像に仮想画像を合成するための拡張現実用眼鏡であって、
眼鏡レンズ部と、
眼電位センサと、
方位センサと、
前記眼電位センサからの眼電位信号を取得し前記眼鏡レンズ部を通したユーザの視線起点と方向とを検出する視線検出部と、
前記方位センサからの眼鏡方位信号を取得し、前記視線の方向に対応する視線方位を決定する方位決定部と、
前記視線起点と前記視線方位とを示す視線方位信号を送信する眼鏡送信部と、
前記眼鏡レンズ部に投影するための前記視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、前記仮想画像の前記眼鏡レンズ部への投影位置を示す投影位置信号とを受信する眼鏡受信部と、
前記画像信号と投影位置信号とに対応して、前記仮想画像を前記眼鏡レンズ部に投影する投影部と、
を有する拡張現実用眼鏡。

【請求項2】

眼鏡レンズ部、ユーザの視線起点を検出する視線検出部、ユーザの視線方向の方位を示す視線方位信号を送信する眼鏡送信部、仮想画像に応じた画像信号及び前記仮想画像の投影位置信号を受信する眼鏡受信部、及び、前記画像信号及び前記投影位置信号に応じて前記仮想画像を前記眼鏡レンズ部に投影する投影部を有し、可視像に前記仮想画像を合成するための拡張現実用眼鏡と、
前記視線方位信号を受信する端末受信部、位置センサに基づいた端末位置信号を取得する端末位置取得部、及び、前記視線方位信号及び前記端末位置信号を送信する端末送信部を有する携帯通信端末と、
前記視線方位信号及び前記端末位置信号を受信するサーバ受信部、前記視線方位信号及び前記端末位置信号に基づいて前記端末位置を起点として前記視線方向の近傍に存在する物体を検索して前記物体に関連する物体位置を含む物体情報を示す物体信号を検索する物体検索部、及び、前記物体信号を送信するサーバ送信部を有するクラウドサーバと、を有し、
前記携帯通信端末は、更に、前記物体信号に基づいて前記物体に対応する前記仮想画像を生成する画像生成部、及び、前記物体信号に基づいて前記物体の投影位置情報を生成する投影位置決定部を有し、前記端末送信部は前記仮想画像及び前記投影位置情報を拡張現実用眼鏡に送信する、
ことを特徴とする拡張現実用システム。

【請求項3】

前記クラウドサーバは、更に、物体位置データベースを有し、前記物体検索部は前記物体位置データベースを利用して前記物体情報を検索する、請求項２に記載の拡張現実用システム。

【請求項4】

前記携帯通信端末は、更に、前記物体位置データベース用の検索条件を記憶する記憶部を有し、前記端末送信部は前記検索条件を示す検索条件信号を前記クラウドサーバに送信する、請求項３に記載の拡張現実用システム。

【請求項5】

前記検索条件は、前記端末位置からの距離の情報を含む、請求項４に記載の拡張現実用システム。

【請求項6】

可視像に仮想画像を合成するための拡張現実用眼鏡からユーザの視線方向の方位を示す視線方位信号を受信する端末受信部と、
位置センサに基づいた端末位置信号を取得する端末位置取得部と、
前記視線方位信号及び前記端末位置信号をクラウドサーバに送信する端末送信部と、
物体情報に応じた仮想画像を生成する画像生成部と、
前記物体情報及び前記視線方向の方位に基づいて、前記仮想画像の投影位置を決定する投影位置決定部と、を有し、
前記端末受信部は、前記視線方位信号及び前記端末位置信号に基づいて前記端末位置を起点として前記視線方向の近傍に存在する物体を検索して前記物体に関連する物体位置を含む物体情報を示す物体信号をクラウドサーバから受信し、
前記送信部は、前記物体情報及び前記投影位置を示す投影位置情報を拡張現実用眼鏡へ送信する、
ことを特徴とする携帯通信端末。

【請求項7】

可視像に仮想画像を合成するための拡張現実用眼鏡を制御する方法であって
眼電位センサを使用しての眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出することと、
方位センサを使用して眼鏡方位信号を取得し、前記視線の方向に対応する方位を決定することと、
前記視線起点と前記視線方位とを示す視線方位信号を送信することと、
前記眼鏡レンズ部に投影するための前記視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、前記仮想画像の前記眼鏡レンズ部への投影位置を示す投影位置信号とを受信することと、
前記画像信号と投影位置信号とに対応して、前記仮想画像を前記眼鏡レンズ部に投影することと、
を有する方法。

【請求項8】

コンピュータを動作させ、可視像に仮想画像を合成するための拡張現実用眼鏡を制御するプログラムであって、
眼電位センサを使用しての眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出することと、
方位センサを使用して眼鏡方位信号を取得し、前記視線の方向に対応する方位を決定することと、
前記視線起点と前記視線方位とを示す視線方位信号を送信することと、
前記眼鏡レンズ部に投影するための前記視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、前記仮想画像の前記眼鏡レンズ部への投影位置を示す投影位置信号とを受信することと、
前記画像信号と投影位置信号とに対応して、前記仮想画像を前記眼鏡レンズ部に投影することと、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実用眼鏡、拡張現実用眼鏡の制御方法及び制御プログラムに関する。

【背景技術】

【0002】

実在する風景にバーチャルの視覚情報を重ねて表示することで、目の前にある世界を仮想的に拡張する技術として拡張現実（ＡＲ：Augmented Reality）技術が知られている。ＡＲ技術の利用の例として、特定の被写体にスマートフォンのカメラをかざすとコンピュータグラフィックス（ＣＧ：computer graphics）のキャラクターが浮き出てくるアプリや、服や家具をＣＧ化して画面越しに試着したり、部屋に置いたりしたときのシミュレーションができるアプリがある。

【0003】

特許文献１は、第１撮像部及び第２撮像部で撮像した画像に所定の画像を組み合わせて第１表示部及び第２表示部に表示する拡張現実装置を開示する。拡張現実装置は、ユーザの視線を検出する視線検出部を更に有し、検出された視線に応じて第１撮像部及び第２撮像部の向きを調整する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－００４２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の拡張現実装置は、使用者が関心ある対象物を明瞭に見るために、２つの撮像部を移動する駆動部を必要とし、応答が遅れる。又、使用者は視認可能な可視像ではなく、撮影された画像により現実を見ることになり、可視像と撮影された画像との違和感をユーザは覚えてしまう。

【0006】

本発明は、上述の問題を解決するためになされたものであり、ユーザの視線上の可視像に仮想画像を合成する拡張現実用眼鏡を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明に係る拡張現実用眼鏡は、可視像に仮想画像を合成するための拡張現実用眼鏡であって、眼鏡レンズ部と、眼電位センサと、方位センサと、眼電位センサからの眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出する視線検出部と、方位センサからの眼鏡方位信号を取得し、視線の方向に対応する視線方位を決定する方位決定部と、視線起点と視線方位とを示す視線方位信号を送信する眼鏡送信部と、眼鏡レンズ部に投影するための視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、仮想画像の眼鏡レンズ部への投影位置を示す投影位置信号とを受信する眼鏡受信部と、画像信号と投影位置信号とに対応して、仮想画像を眼鏡レンズ部に投影する投影部と、を有することを特徴とする。

【0008】

本発明に係る拡張現実用システムは、眼鏡レンズ部、ユーザの視線起点を検出する視線検出部、ユーザの視線方向の方位を示す視線方位信号を送信する眼鏡送信部、仮想画像に応じた画像信号及び仮想画像の投影位置信号を受信する眼鏡受信部、及び、画像信号及び投影位置信号に応じて仮想画像を眼鏡レンズ部に投影する投影部を有し、可視像に仮想画像を合成するための拡張現実用眼鏡と、視線方位信号を受信する端末受信部、位置センサに基づいた端末位置信号を取得する端末位置取得部、及び、視線方位信号及び端末位置信号を送信する端末送信部を有する携帯通信端末と、視線方位信号及び端末位置信号を受信するサーバ受信部、視線方位信号及び端末位置信号に基づいて端末位置を起点として視線方向の近傍に存在する物体を検索して物体に関連する物体位置を含む物体情報を示す物体信号を検索する物体検索部、及び、物体信号を送信するサーバ送信部を有するクラウドサーバと、を有し、
携帯通信端末は、更に、物体信号に基づいて物体に対応する仮想画像を生成する画像生成部、及び、物体信号に基づいて物体の投影位置情報を生成する投影位置決定部を有し、携帯送信部は仮想画像及び投影位置情報を拡張現実用眼鏡に送信する、ことを特徴とする。

【0009】

本発明に係る拡張現実用システムは、クラウドサーバは、更に、物体位置データベースを有し、物体検索部は物体位置データベースを利用して物体情報を検索することが好ましい。

【0010】

本発明に係る拡張現実用システムは、携帯通信端末は、更に、物体位置データベース用の検索条件を記憶する記憶部を有し、端末送信部は検索条件を示す検索条件信号をクラウドサーバに送信することが好ましい。

【0011】

本発明に係る拡張現実用システムは、検索条件は、端末位置からの距離の情報を含むことが好ましい。

【0012】

本発明に係る携帯通信端末は、可視像に仮想画像を合成するための拡張現実用眼鏡からユーザの視線方向の方位を示す視線方位信号を受信する端末受信部と、位置センサに基づいた端末位置信号を取得する端末位置取得部と、視線方位信号及び端末位置信号をクラウドサーバに送信する端末送信部と、物体情報に応じた仮想画像を生成する画像生成部と、物体情報及び視線方向の方位に基づいて、仮想画像の投影位置を決定する投影位置決定部と、を有し、端末受信部は、視線方位信号及び端末位置信号に基づいて端末位置を起点として視線方向の近傍に存在する物体を検索して物体に関連する物体位置を含む物体情報を示す物体信号をクラウドサーバから受信し、送信部は、物体情報及び投影位置を示す投影位置情報を拡張現実用眼鏡へ送信する、ことを特徴とする。

【0013】

本発明に係る制御方法は、可視像に仮想画像を合成するための拡張現実用眼鏡を制御する方法であって、眼電位センサを使用しての眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出することと、方位センサを使用して眼鏡方位信号を取得し、視線の方向に対応する方位を決定することと、視線起点と視線方位とを示す視線方位信号を送信することと、眼鏡レンズ部に投影するための視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、仮想画像の眼鏡レンズ部への投影位置を示す投影位置信号とを受信することと、画像信号と投影位置信号とに対応して、仮想画像を眼鏡レンズ部に投影することと、を有することを特徴とする。

【0014】

本発明に係る制御プログラムは、コンピュータを動作させ、可視像に仮想画像を合成するための拡張現実用眼鏡を制御するプログラムであって、眼電位センサを使用しての眼電位信号を取得し眼鏡レンズ部を通したユーザの視線起点と方向とを検出することと、方位センサを使用して眼鏡方位信号を取得し、視線の方向に対応する方位を決定することと、視線起点と視線方位とを示す視線方位信号を送信することと、眼鏡レンズ部に投影するための視線方位の近傍にある物体に関連する仮想画像を示す画像信号と、仮想画像の眼鏡レンズ部への投影位置を示す投影位置信号とを受信することと、画像信号と投影位置信号とに対応して、仮想画像を眼鏡レンズ部に投影することと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0015】

本開示に係る拡張現実用眼鏡は、ユーザの視線上の可視像に仮想画像を合成することが可能となる。

【図面の簡単な説明】

【0016】

【図1】拡張現実用システムの一例の概要を示す図であり、（ａ）は現実の風景像の一例を示す図であり、（ｂ）は拡張現実用眼鏡を装着したユーザが眼鏡越しに見る像を示した図であり、（ｃ）は拡張現実用眼鏡に投影された仮想画像を示すとともに、投影仮想画像作成のための拡張現実用眼鏡、携帯通信端末、及びクラウドサーバの連携を示す図である。

【図2】拡張現実用眼鏡の構造の一例の概要を示す図であり、（ａ）は正面図であり、（ｂ）はユーザが装着する方向から見た斜視図である。

【図3】拡張現実用眼鏡のブロック構成の一例を示す図である。

【図4】視線起点と方向を検出する原理を示す図であり、（ａ）は、拡張現実用眼鏡２の４つの電極がユーザと接触している状態を示す図であり、（ｂ）は、処理の一例の概要を示す図である。

【図5】視線起点、視線の方向、及び方位の関係を示す図である。

【図6】拡張現実用眼鏡の処理の一例を示すフローチャート図である。

【図7】携帯通信端末の一例の概要を示すブロック図である。

【図8】携帯通信端末の処理の一例を示すフローチャート図である。

【図9】クラウドサーバの一例の概要を示すブロック図である。

【図10】クラウドサーバの処理の一例を示すフローチャート図である。

【図11】変化する物体位置の取得の一例を示す図であり、（ａ）は、物体の位置の変化をＧＰＳ発信機によって取得する例を示す図であり、（ｂ）は、物体の位置の変化をビーコン発信機によって取得する例を示す図である。

【図12】検索結果を受信したとき、携帯通信端末が行う処理の一例のフローチャートを示す図である。

【図13】作成される仮想画像の例を示す図である。（ａ）は物体が人間の例であり、（ｂ）は建築物の例である。

【図14】仮想画像の投影位置を決定する処理の一例を示す図である。

【図15】検索結果を受信したとき、拡張現実用眼鏡が行う処理の一例のフローチャートを示す図である。

【発明を実施するための形態】

【0017】

以下、本開示の一側面に係る拡張現実用眼鏡及び拡張現実用システムについて、図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。尚、以下の説明及び図において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0018】

［実施形態］
図１は、拡張現実用システムの一例の概要を示す図であり、（ａ）は現実の風景像の一例を示す図であり、（ｂ）は拡張現実用眼鏡を装着したユーザが眼鏡越しに見る像を示した図であり、（ｃ）は拡張現実用眼鏡に投影された仮想画像を示すとともに、投影仮想画像作成のための拡張現実用眼鏡、携帯通信端末、及びクラウドサーバの連携を示す図である。

【0019】

図１（ａ）は、小学校の運動会の綱引き競技の風景の様子を示している。６人の子供１１～１６が左右２つのチームに分かれて綱引きをやっている。６人の子供１１～１６は、それぞれ位置発信装置、例えば、ＧＰＳ発信装置（不図示）を所持している。６人の子供の位置を示す位置信号が、図１（ｃ）のクラウドサーバ４に逐次、例えば、一定の時間間隔をおいて、又は、所定の移動距離を超えたときに送信される。子供の位置信号が受信されるとクラウドサーバ４の物体位置データベース４１が更新される。

【0020】

本開示の拡張現実用眼鏡２を装着したユーザ（不図示）の子供は、右から２番目の子供１５である。本事例において、ユーザは、右側のチームに自分の子供が属していることは知っているが、３人の子供１４～１６のいずれが自分の子供であるかわからないと仮定している。

【0021】

図１（ｂ）は、拡張現実用眼鏡２を装着したユーザが眼鏡レンズ部２１１、２１２を介して綱引き競技を見ている可視像を示した図である。ユーザは、自分の子供は右のチームに属していることを知っているので、右側の３人の子供１４～１６の方を見ている。

【0022】

図１（ｃ）は、拡張現実用眼鏡２に投影される仮想画像作成のための拡張現実用眼鏡２、携帯通信端末３、及びクラウドサーバ４の連携を示す図である。拡張現実用眼鏡２は、眼電位センサ（不図示）を使用して、眼鏡レンズ部２１１、２１２を通したユーザの視線起点と方向とを検出する。拡張現実用眼鏡２は、方位センサ（不図示）を使用して、ユーザの視線方向に対応する視線方位を決定する。拡張現実用眼鏡２は、視線起点と視線方位とを示す視線方位信号をユーザが携帯する携帯通信端末３に送信する。拡張現実用眼鏡２と携帯通信端末３との通信方式は、短距離無線通信方式、例えば、ブルートゥース（登録商標）、ＷｉＦｉである。有線通信としてもよい。

【0023】

携帯通信端末３は、拡張現実用眼鏡２から、ユーザの視線方向の視線方位を示す方位信号を受信する。携帯通信端末３は、位置センサ（不図示）を使用して、位置センサから検出された携帯通信端末の位置を示す端末位置信号を取得し、拡張現実用眼鏡２から受信した視線方位信号と端末位置信号をクラウドサーバ４に転送する。携帯通信端末３とクラウドサーバ４との通信方式は、無線通信方式、例えば、移動体通信方式である。拡張現実用眼鏡２と携帯通信端末３との通信は、ＷｉＦｉ端末を介して行われてもよい。

【0024】

クラウドサーバ４は、物体位置データベース４１１を有する。本例では、物体位置データベース４１１は、所定の小学校に属する生徒や先生が物体ＩＤをキーとして、物体の属性情報、位置情報、例えば緯度経度情報が登録されている。生徒や先生が所持する位置センサ（不図示）から位置信号が、逐次、クラウドサーバ４に送信される。子供の位置信号が受信されるとクラウドサーバ４の物体位置データベース４１１が更新される。

【0025】

携帯通信端末３から、携帯通信端末３の位置を示す端末位置信号と視線方位信号がクラウドサーバ４に転送される。クラウドサーバ４は物体位置データベース４１１内の、端末位置を起点として視線方位の近傍に存在する物体を検索し、検索された物体に関連する、物体位置を含む物体情報を示す物体信号を携帯通信端末３に送信する。

【0026】

携帯通信端末３は、物体位置を含む物体情報を示す物体信号をクラウドサーバから受信する。携帯通信端末３は、物体情報に対応する仮想画像を生成する。携帯通信端末３は、物体位置と端末位置と視線方位とを使用して拡張現実用眼鏡２の眼鏡レンズ部２１１、２１２への仮想画像の投影位置を決定する。携帯通信端末３は、仮想画像を示す仮想画像信号と投影位置を示す投影位置信号とを拡張現実用眼鏡２に送信する。

【0027】

拡張現実用眼鏡２は、画像信号と投影位置信号とを受信する。拡張現実用眼鏡２は、記画像信号と投影位置信号とに対応して、仮想画像を眼鏡レンズ部２１１、２１２に投影することとなる。本例の拡張現実用眼鏡２は、ユーザの視線上にある物体への情報の投影を違和感なく容易にすることが可能となる。

【0028】

［拡張現実用眼鏡］
図２は、本実施形態の拡張現実用眼鏡の構造の一例の概要を示す図であり、（ａ）は正面図であり、（ｂ）はユーザが装着する方向から見た斜視図である。拡張現実用眼鏡２は装着するユーザの左右の眼に対応する２つの眼鏡レンズ部２１１、２１２、眼鏡レンズ部を支えるフレーム部２２、つる部２３１、２３２、及び鼻パッド部２４を有する。

【0029】

フレーム部２２の上部には、眼鏡制御部２５、左右２つの投影部２６１、２６２、方位センサ２７、眼電位センサ２８、電源部２９が内蔵されている。

【0030】

２つのつる部２３１、２３２のいずれかには、眼鏡アンテナ５０、眼鏡通信インターフェース（Ｉ／Ｆ）５１、眼鏡操作部５２、眼鏡表示部５３、及び眼鏡振動部５４が設けられる。眼鏡操作部５２は、例えば、１つ又は複数のタッチスイッチ、プッシュスイッチ、スライドスイッチを有する。ユーザは、眼鏡操作部５２を操作して、例えば、電源のＯＮ／ＯＦＦを行う。眼鏡表示部５３は、例えば、１つ又は複数のＬＥＤライトを有する。ユーザの操作と拡張現実用眼鏡２の状態に応じて、ＬＥＤライトは、点滅したり、表示色が変化したりする。眼鏡振動部５４は、例えば、電源のＯＮ／ＯＦＦに対応して振動する。又、拡張現実用眼鏡２の状態に異常が生じたときに振動する。振動によって、ユーザに操作の結果や拡張現実用眼鏡２の状態を知らせることができる。拡張現実用眼鏡２の各部の配置は、バランスや電磁適合性（ＥＭＣ：electromagnetic compatibility）調整のため適宜変更可能である。

【0031】

フレーム部２２上部のユーザ側中央には、ユーザの額と接触するように電極５５１が設けられている。鼻パッド部２４には、ユーザの鼻の左右と接触するように２つの電極５５２、５５３が設けられている。２つのつる部２３１、２３２のいずれかの後方には、ユーザの耳と接触するように電極５５４が設けられている。４つの電極５５１，５５２，５５３，５５４は、ユーザの眼電位を検出するために使用される。

【0032】

図３は、拡張現実用眼鏡のブロック構成の一例を示す図である。拡張現実用眼鏡２は、右目用、左目用の２つの眼鏡レンズ部２１１、２１２を有する。各眼鏡レンズ部は外界側に第１レンズ２１３、２１４、装着したユーザ側に第２レンズ２１５．２１６を有する。右目用の第１レンズ２１３と第２レンズ２１５の下端はフレーム部２２の下端で接触又は接近した位置に配置される。第１レンズ２１３と第２レンズ２１５の上端はフレーム部２２に内蔵されている右投影部２６１を挟むように間隔をあけて配置される。左目側も同様である。第１レンズと第２レンズは、外界からの光を通過させ、ユーザの眼に可視像を結像させる。投影部２６１、２６２は、第２レンズ表面に仮想画像を投影させる。ユーザは、投影された仮想画像を可視像と一緒に視認することが可能となる。第１レンズ、第２レンズは、例えば、反射を防止又は低減させる偏光レンズである。他のレンズの組み合わせでもよい。

【0033】

眼鏡アンテナ５０は、眼鏡通信インターフェース５１と接続している。眼鏡通信インターフェース５１は眼鏡制御部２５と接続している。眼鏡制御部２５は、投影部２６、方位センサ２７、眼電位センサ２８、電源部２９、眼鏡操作部５２、眼鏡表示部５３、及び眼鏡振動部５４と接続している。電源部２９は、眼鏡制御部２５、投影部２６、方位センサ２７、眼電位センサ２８、電源部２９、眼鏡通信インターフェース（Ｉ／Ｆ）５１、眼鏡操作部５２、眼鏡表示部５３、及び眼鏡振動部５４に電力を供給する。電力は、眼鏡制御部２５を経由して供給されてもよい。

【0034】

眼鏡制御部２５は、眼鏡記憶部２５１と眼鏡処理部２５２を有する。眼鏡記憶部２５１は、１又は複数の半導体メモリにより構成される。例えば、ＲＡＭや、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリの少なくとも一つを有する。眼鏡記憶部２５１は、眼鏡処理部２５２による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。

【0035】

例えば、眼鏡記憶部２５１は、ドライバプログラムとして、投影部２６、方位センサ２７を制御するデバイスドライバや、眼鏡通信インターフェース５１を制御するデバイスドライバプログラムを記憶する。コンピュータプログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて眼鏡記憶部２５１にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールしてもよい。

【0036】

更に、眼鏡記憶部２５１は、所定の処理に係る一時的なデータを一時的に記憶することができる。眼鏡記憶部２５１は、眼電位センサ２８からの眼電位信号に対する基準眼電位波形ファイル２５１１を有する。眼鏡処理部２５２は、眼電位センサ２８からの左右の眼の眼電位信号と基準眼電位波形とを比較し、眼鏡レンズ部２１１、２１２を通したユーザの視線起点と方向とを検出することができる。更に、眼鏡記憶部２５１は、携帯通信端末３とのペアリング等のための型名・識別ＩＤファイル２５１２、通信パラメータや各種設定閾値を記憶するパラメータファイル２５１３等を記憶する。

【0037】

眼鏡処理部２５２は、一又は複数個のプロセッサ及びその周辺回路を有する。眼鏡処理部２５２は、拡張現実用眼鏡２の全体的な動作を統括的に制御するものであり、例えば、ＭＣＵ（Micro Controller Unit）である。

【0038】

眼鏡処理部２５２は、眼鏡記憶部２５１に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、眼鏡処理部２５２は、複数のプログラム（アプリケーションプログラム等）を並列に実行してもよい。眼鏡処理部２５２は、視線検出部２５２１、方位決定部２５２２、眼鏡送信部２５２３、眼鏡受信部２５２４、眼鏡操作処理部２５２５等を有する。

【0039】

眼鏡処理部２５２が有するこれらの各部は、独立した集積回路、回路モジュール、マイクロプロセッサ、ＦＰＧＡ（Field Programmable Gate Array）又はファームウェアとして眼鏡制御部２５に実装されてもよい。

【0040】

眼電位センサ２８は、４つの電極５５１，５５２，５５３，５５４に接続している。ユーザの耳と接触する電極５５４は接地電極として働く。電極５５１と電極５５２によって右目の眼電位波形が検出され、電極５５１と電極５５２によって右目の眼電位波形が検出される。

【0041】

方位センサ２７は、フレーム部２２の上部の中央に内蔵される。方位センサ２７は、拡張現実用眼鏡２の第１レンズ２１３，２１４の外界に向けられた面の法線方向を基準とした眼鏡方位を検出するように設定される。検出方位は、真方位が好ましく、磁石方位でもよい。例えば、磁石方位は、真方位に改正可能であるからである。

【0042】

図４は、視線起点と方向を検出する原理を示す図であり、（ａ）は、拡張現実用眼鏡２の４つの電極がユーザと接触している状態を示す図であり、（ｂ）は、処理の一例の概要を示す図である。眼電位センサ２８は、ユーザの額と接触する電極５５１と、ユーザの鼻の右側と接触する電極５５２間との電圧を測定することにより右目の眼電位信号を得る。眼電位センサ２８は、ユーザの額と接触する電極５５１と、ユーザの鼻の左側と接触する電極５５２間との電圧を測定することにより左目の眼電位信号を得る。ユーザの耳に接触する電極５５４は接地電極の働きをし、電圧の基準とすることができる。

【0043】

眼電位センサ２８は、所定時間、例えば、５秒間、両眼の電位波形を計測して眼鏡制御部２５に送る。眼鏡制御部２５の視線検出部２５２１は、眼電位センサ２８からの左右の眼の眼電位信号と基準眼電位波形ファイル２５１１の基準眼電位波形とを比較し、眼鏡レンズ部２１１、２１２を通したユーザの視線起点と方向とを検出することができる。ユーザの視線起点は、各第２レンズ２１５、２１６の外界側表面での視線の通過点である。視線の方向は、２つの視線起点を結ぶ基準線と視線との反時計回りに視線角度で示される。基準線はあらかじめ設定された線分としてもよい。以下、説明を簡単にするため、視線は水平方向成分のみであるとする。又、ユーザ個人個人の基準眼電位波形は異なるので、ユーザが初めて拡張現実用眼鏡２を使用するときに、眼電位波形のサンプリングを行い、較正を行うことが好ましい。

【0044】

図５は、視線起点、視線の方向、及び方位の関係を示す図である。ユーザが、拡張現実用眼鏡２を装着して、点Ｐの方向を見ている。視線検出センサを使用して視線検出部２５２１は、第２レンズ２１５上の右目の視線起点ＳＲと、第２レンズ２１６上の左目の視線起点ＳＬを判定する。視線起点ＳＲとＳＬとを結ぶ線を基準線として、反時計回りに視線角度で示される視線の方向を示す視線角度θＲ，θＬが判定される。視線起点間の距離に比べて、拡張現実用眼鏡２から点Ｐまでの距離は大きいので、θＲとθＬはほぼ同じで、右目の視線と左目の視線は近似的に平行となる。

【0045】

フレーム部２２の上部の中央に内蔵された方位センサ２７は、拡張現実用眼鏡２の第１レンズ２１３，２１４の外界に向けられた面の法線方向を基準とした方位を示す角度θ１を検出する。右目の視線方位はθ１＋（９０°－θＲ）、左目視線の方位はθ１＋（９０°－θＬ）となる。

【0046】

図６は、拡張現実用眼鏡の処理の一例を示すフローチャート図である。図６に示す処理は、眼鏡記憶部２５１に予め記憶されたコンピュータプログラムに従って眼鏡制御部２５にて実行される。又、本処理は所定の時間間隔で定期的に処理される。

【0047】

視線検出部２５２１は、眼電位センサ２８から、眼電位信号を取得する（ＳＴ６０１）。視線検出部２５２１は、眼電位が正常であるか否かを判定する（ＳＴ６０２）、正常でないときは、例えば、電極がユーザの顔に適切に接触していないとき、十分な眼電位が出力されていないときである。眼電位は正常でないとき（ＳＴ６０２：ＮＯ）は、眼鏡操作処理部２５２５は、眼鏡振動部５４を振動させ（ＳＴ６０３）、ＳＴ６０１に戻る。眼電位は正常であるとき（ＳＴ６０２：ＹＥＳ）は、視線検出部２５２１は、視線起点と視線の方向を検出する（ＳＴ６０４）。方位決定部２５２２は、方位センサ２７から眼鏡方位信号を取得する（ＳＴ６０５）。方位決定部２５２２は、眼鏡方位から視線の方向に対応する視線方位を決定する（ＳＴ６０６）。眼鏡送信部２５２３は、視線起点と視線の方位を示す視線方位信号を携帯通信端末３に送信する（ＳＴ６０７）。処理は終了する。

【0048】

［携帯通信端末］
図７は、本形態に係る携帯通信端末の一例の概要を示すブロック図である。携帯通信端末３は、位置センサ３１、拡張現実用眼鏡２と無線通信するための第１端末通信インターフェース３２１、インターネット上のクラウドサーバ４と無線通信するための第２端末通信インターフェース３２２を有する。携帯通信端末３は、位置センサ３１、第１端末通信インターフェース３２１、第２端末通信インターフェース３２２に接続される端末制御部３３を有する。第１端末通信インターフェース３２１の無線通信方式は、例えば、ブルートゥース（登録商標）、ＷｉＦｉである。又、有線接続してもよい。第２端末通信インターフェース３２２の無線通信方式は、例えば、Ｗｉ－Ｆｉ、移動通信方式である。移動通信方式は、例えは、ＧＳＭ，ＣＤＭＡ，第４世代移動通信（４Ｇ）、第５世代移動通信（５Ｇ）である。携帯通信端末３は、ブルートゥース（登録商標）用アンテナ３４１、Ｗｉ－Ｆｉ用アンテナ３４２、及び４Ｇ用アンテナ３４３を有する。

【0049】

位置センサ３１は、例えば、ＧＰＳ（Global Positioning System）位置センサである。位置センサ３１は、移動通信基地局セルを利用するもの、ビーコンを利用するものでもよい。携帯通信端末３は、位置センサ３１に接続されるセンサ用アンテナ３４４を有する。携帯通信端末３は、拡張現実用眼鏡２を装着したユーザが携帯可能である。拡張現実用眼鏡２を装着したユーザが携帯通信端末３を携帯しているとき、拡張現実用眼鏡２と携帯通信端末３の距離は小さい。位置センサ３１が検出した位置は、拡張現実用眼鏡２の位置としてもよい。

【0050】

携帯通信端末３は、端末制御部３３と接続する表示部３５、操作部３６、外部記憶部３７を有する。表示部３５と操作部３６は、一体化したタッチパネルディスプレイでもよい。携帯通信端末３は、端末制御部３３に接続する外部記憶部３７は、例えば、ＳＤメモリカードである。

【0051】

端末制御部３３は、端末記憶部３３１と端末処理部３３２を有する。端末記憶部３３１は、１又は複数の半導体メモリにより構成される。例えば、ＲＡＭや、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリの少なくとも一つを有する。端末記憶部３３１は、端末処理部３３２による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。

【0052】

例えば、端末記憶部３３１は、ドライバプログラムとして、表示部３５を制御するデバイスドライバや、第１端末通信インターフェース３２１，第２端末通信インターフェース３２２を制御するデバイスドライバプログラムを記憶する。コンピュータプログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部３３１にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールすることができる。

【0053】

更に、端末記憶部３３１は、所定の処理に係る一時的なデータを一時的に記憶することができる。端末記憶部３３１は、ユーザに関する登録データファイル３３１１、拡張現実用眼鏡２が使用されている状態を示す状態データファイル３３１２、拡張現実用眼鏡２とのペアリング等のための型名・識別ＩＤファイル３３１３を記憶する。更に、端末記憶部３３１は、クラウドサーバ４の物体位置データベース４１を検索するための検索条件ファイル３３１４、物体に関連する仮想画像作成ファイル３３１５、仮想画像作成のための画像コンポーネントファイル３３１６等を記憶する。

【0054】

物体位置データベース４１を検索するための検索条件ファイル３３１４に記憶される検索条件は、例えば、拡張現実用眼鏡２からの検索範囲、例えば４０ｍ以内、５ｍ以上２０ｍ以内である。別の検索条件例として、物体のカテゴリ、山、川、建築物、道路、動植物である。更に検索条件を特定の人物、例えば、ユーザの家族とすることができる。ユーザが検索条件を設定することで、ユーザは所望の物体に関連する仮想画像を得ることが可能となる。

【0055】

端末処理部３３２は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部３３２は、携帯通信端末３の全体的な動作を統括的に制御するものであり、例えば、ＭＣＵ（Micro Controller Unit）である。

【0056】

端末処理部３３２は、端末記憶部３３１に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、端末処理部３３２は、複数のプログラム（アプリケーションプログラム等）を並列に実行してもよい。端末処理部３３２は、第１端末受信部３３２１、位置取得部３３２２、第２端末送信部３３２３、第２端末受信部３３２４、画像生成部３３２５、投影位置決定部３３２６、第１端末送信部３３２７．検索条件処理部３３２８等を有する。

【0057】

端末処理部３３２が有するこれらの各部は、独立した集積回路、回路モジュール、マイクロプロセッサ、ＦＰＧＡ（Field Programmable Gate Array）又はファームウェアとして眼鏡制御部２５に実装されてもよい。

【0058】

図８は、携帯通信端末の処理の一例を示すフローチャート図である。図８に示す処理は、端末記憶部３３１に予め記憶されたコンピュータプログラムに従って端末制御部３３にて実行される。

【0059】

第１端末受信部３３２１は、第１端末通信インターフェース３２１を介して、拡張現実用眼鏡２からユーザの視線方向の方位を示す視線方位信号を受信する（ＳＴ８０１）。位置取得部３３２２は、位置センサ３１から検出された携帯通信端末３の位置を示す端末位置信号を取得する（ＳＴ８０２）。検索条件処理部３３２８は、検索条件ファイル３３１４から検索条件を取得する（ＳＴ８０３）。第２端末送信部３３２３は、視線方位信号と端末位置信号と検索条件信号をクラウドサーバに転送する（ＳＴ８０４）。処理は終了する。

【0060】

携帯通信端末３は、クラウドサーバ４に検索条件に関連する視線方位信号と端末位置信号と検索条件信号を送信し、物体位置データベース内で検索された物体に関する情報をクラウドサーバ４から受信する。検索結果を受信した後、携帯通信端末３が行う処理については後述する。

【0061】

［クラウドサーバ］
図９は、本形態に係るクラウドサーバの一例の概要を示すブロック図である。クラウドサーバ４は、物体位置データベース４１を有している。物体位置データベース４１は、ハードウェア、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置に記憶されている。物体位置データベース４１１は、物体ＩＤをキーとして、物体の属性情報、及び位置情報、例えば緯度経度情報が登録されている。位置情報は地表からの高さを含んでもよい。物体位置データベース４１は、複数の物体位置データベース４１１～４１ｎで構成されていてもよい。例えば、物体位置データベース４１１は、カーナビナビゲーション用の地図データベース、物体位置データベース４１２は、所定の公共施設の物体に関するものである。物体には自然物、人間、動植物を含んでもよい。

【0062】

クラウドサーバ４は、検索条件に関連する視線方位信号と端末位置信号と検索条件信号を受信し、物体位置データベース４１を検索する。検索により、拡張現実用眼鏡２を装着したユーザの視線方向にある物体情報が得られる。部品情報を受信した携帯通信端末３は、物体情報に関連する仮想画像を作成する。仮想画像を受信した拡張現実用眼鏡２は、可視像に仮想画像を合成することができる。

【0063】

クラウドサーバ４は、更にクラウドネットワークを介して携帯通信端末３と通信するサーバ通信インターフェース４２と、サーバ制御部４３とを有する。物体位置データベース４１とサーバ通信インターフェース４２とは、サーバ制御部４３に接続している。サーバ制御部４３は、サーバ記憶部４３１とサーバ処理部４３２を有する。

【0064】

サーバ記憶部４３１は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部４３１は、サーバ処理部４３２による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部４３１は、ドライバプログラムとして、サーバ通信インターフェース４２を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部４３１にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールしてもよい。

【0065】

サーバ記憶部４３１は、ユーザ認証ファイル４３１１、検索パラメータファイル４３１２等を記憶する。

【0066】

サーバ処理部４３２は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部４３２は、クラウドサーバ４の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（central processing unit）である。サーバ処理部４３２は、クラウドサーバ４の各種処理がサーバ記憶部４３１に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ通信インターフェース４２等の動作を制御する。サーバ処理部４３２は、サーバ記憶部４３１に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、サーバ処理部４３２は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。

【0067】

サーバ処理部４３２は、サーバ受信部４３２１、物体検索部４３２２、及びサーバ送信部４３２３等を有する。サーバ処理部４３２が有するこれらの各部は、サーバ制御部４３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部４３２が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてクラウドサーバ４に実装されてもよい。クラウドサーバ４は、１台のサーバ装置だけでなく、複数のサーバ装置によって構成することができる。例えば、カーナビナビゲーション用の地図データベースである物体位置データベース４１１を有するサーバ装置と、所定の公共施設の物体に関する物体位置データベース４１２を有するサーバ装置が複合してクラウドサーバ４を構成してもよい。

【0068】

図１０は、クラウドサーバの処理の一例を示すフローチャート図である。図１０に示す処理は、サーバ記憶部４３１に予め記憶されたコンピュータプログラムに従ってサーバ制御部４３にて実行される。

【0069】

サーバ受信部４３２１は、サーバ通信インターフェース４２を介して、携帯通信端末３から送信される視線方位信号、端末位置信号、及び検索条件信号を受信する（ＳＴ１００１）。

【0070】

物体検索部４３２２は、端末位置を開始点として視線方位にある物体であって、検索条件を満たす物体を検索する（ＳＴ１００２）。開始点から視線方位に延びる半直線上にある物体だけでなく、半直線近傍にある物体を含めて検索することが好ましい。測定誤差の影響を排除することができる。近傍範囲は、例えば半直線から２ｍの範囲である。開始点からの距離が長くなるほど、近傍範囲を広く、又は狭くしてもよい。別の例として、検索でピックアップされる物体の最大個数を開始点から、例えば５個としてもよい。検索条件は携帯通信端末３からの検索条件、又は検索パラメータファイル４３１２により設定される。

【0071】

サーバ送信部４３２３は、サーバ通信インターフェース４２を介して、携帯通信端末３に検索された物体に関連する、物体位置を含む物体情報を示す物体信号を送信する（ＳＴ１１０５）。送信後、処理は終了する。

【0072】

図１１は、変化する物体位置の取得の一例を示す図であり、（ａ）は、物体の位置の変化をＧＰＳ発信機によって取得する例を示す図であり、（ｂ）は、物体の位置の変化をビーコン発信機によって取得する例を示す図である。

【0073】

図１１（ａ）は、３人の子供１１１、１１２、１１３が校庭で遊ぶ様子を示している。３人の子供はそれぞれ首からＧＰＳ発信器１１４、１１５，１１６を下げている。各ＧＰＳ発信機は、ＧＰＳ衛星１１７から電波信号を受信し、自己の位置を検出する。各ＧＰＳ発信機は、定期的に位置信号を送信し、中継局１１８を介してクラウドサーバ４に送られ、物体位置データベース内の３人の子供１１１、１１２、１１３の位置情報が更新される。

【0074】

図１１（ｂ）では、３人の子供１１１、１１２、１１３は、それぞれ首からビーコン発信器１１４´、１１５´，１１６´を下げている。校庭周辺には少なくとも３つのビーコン局１１９、１１１０，１１１１が設置されている。各ビーコン局は各ビーコン発信器からのビーコンを受信する。受信したビーコンは、それぞれのビーコン局に接続する変換装置１１１２に送られる。変換装置は、電波測量技術に基づき３人の子ともの位置を検出し、定期的にクラウドサーバ４に送る。物体位置データベース内の３人の子供１１１、１１２、１１３の位置情報が更新される。

【0075】

［物体信号を受信したとき、携帯通信端末が行う処理］
図１２は、検索結果を受信したとき、携帯通信端末が行う処理の一例のフローチャートを示す図である。図１２に示す処理は、端末記憶部３３１に予め記憶されたコンピュータプログラムに従って端末制御部３３にて実行される。
第２端末受信部３３２４は、物体位置を含む物体情報を示す物体信号をクラウドサーバ４から受信する（ＳＴ１２０１）。画像生成部３３２５は、物体情報に対応する仮想画像を生成する（ＳＴ１２０２）。投影位置決定部３３２６は、物体位置と端末位置と視線方位とを使用して拡張現実用眼鏡２の眼鏡レンズ部２１１，２１２への仮想画像の投影位置を決定する（ＳＴ１２０３）。第１端末送信部は、仮想画像を示す仮想画像信号と投影位置を示す投影位置信号とを拡張現実用眼鏡２に送信する（ＳＴ１２０３）。処理は終了する。

【0076】

図１３は、作成される仮想画像の例を示す図である。（ａ）は物体が人間の例であり、（ｂ）は建築物の例である。検索された物体が人間の場合は、例えば、人間の名前が入った吹き出し画像１３１が仮想画像として生成される。吹き出し内に表示される別の例として、ニックネーム、所属でもよい。建築物の場合は、建築物の名称と解説が記載された透明プレイトが仮想画像１３２として生成される。仮想画像は、例えば、物体までの距離や物体のタイプにより表示サイズ、表示色を変えてもよい。

【0077】

図１４は、仮想画像の投影位置を決定する処理の一例を示す図である。説明を簡単にするため、右目を例として説明する。検索された物体Ｐとする。携帯通信端末３が受信した物体Ｐの物体情報には物体位置が含まれており、端末位置と物体位置から携帯通信端末３と物体Ｐとの距離Ｌが判定できる。距離Ｌに比べ、携帯通信端末３と拡張現実用眼鏡２との間の距離は十分小さいので、右目の第２レンズの視線起点ＳＲの位置と端末位置は一致しているとしてもよい。右目の第２レンズの視線起点ＳＲからの物品Ｐの可視像までのズレは、第２レンズの基準線への正射影となり、Ｌ・ｃｏｓ（θＲ）として与えられる。物体Ｐの仮想画像は、第２レンズの視線起点ＳＲから水平にＬ・ｃｏｓ（θＲ）だけズレた位置の近傍に投影される。

【0078】

［仮想画像信号と投影位置信号を受信したとき、拡張現実用眼鏡が行う処理］
図１５は、検索結果を受信したとき、拡張現実用眼鏡が行う処理の一例のフローチャートを示す図である。図１５に示す処理は、眼鏡記憶部２５１に予め記憶されたコンピュータプログラムに従って眼鏡制御部２５にて実行される。眼鏡受信部２５２４は、眼鏡レンズ部に投影するための仮想画像信号と、仮想画像の投影位置を示す投影位置信号とを受信する（ＳＴ１５０１）。投影部２６は、仮想画像を眼鏡レンズ部２１１、２１２の投影位置に投影する。処理は終了する。

【0079】

本例では、左右の眼鏡レンズ部２１１，２１２両方に仮想画像が投影されるとした。別の例として、左右の眼鏡レンズ部２１１，２１２のいずれか１つに仮想画像が投影されてもよい。

【0080】

別の例として拡張現実用眼鏡の第１レンズは、可変焦点レンズとしてもよい。携帯通信端末は、端末位置と物体位置から携帯通信端末３と物体Ｐとの距離Ｌが判定できので、距離Ｌに対応して第１レンズの焦点距離を変更することができる。

【0081】

別の例として、拡張現実用眼鏡と携帯通信端末と一体化させてもよい。

【0082】

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0083】

２ 拡張現実用眼鏡
２１１、２１２ 眼鏡レンズ部
２５ 眼鏡制御部
２６、２６１，２６２ 投影部
２７ 方位センサ
２８ 眼電位センサ
５１ 眼鏡通信インターフェース
３ 携帯通信端末
３１ 位置センサ
３２１ 第１端末通信インターフェース
３２２ 第２端末通信インターフェース
３３ 端末制御部
４ クラウドサーバ
４１ 物体位置データベース
４２ サーバ通信インターフェース
４３ サーバ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】