(58)【調査した分野】(Int.Cl.,DB名)
前記表示装置は、前記ジャイロスコープにより、装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させる、請求項4に記載の表示制御装置。
前記表示装置は、前記水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させる、請求項4から6のいずれか1項に記載の表示制御装置。
前記表示装置は、前記加速度装置により所定量を超過する加速度が検出された場合に、前記複数の像のうち少なくとも2の像の間の切換えを、実施する、請求項1から7のいずれか1項に記載の表示制御装置。
前記少なくとも2の像の一方が、前記複数の像のうち、ジャイロスコープにより少なくとも装着時の位置を基準とした水平方向が検出された場合に表示される像である、請求項8に記載の表示制御装置。
前記表示処理が、前記ジャイロスコープ処理によって装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させる地図表示処理を含む、請求項12に記載の表示制御プログラム。
前記表示処理が、地図の像を、前記ジャイロスコープ処理によって検知された水平方向角に応じてスクロールさせるスクロール処理を含む、請求項12または13に記載の表示制御プログラム。
前記表示処理が、前記ジャイロスコープ処理によって装着時の位置を基準とした水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させる天空情報表示処理を含む、請求項12から14のいずれか1項に記載の表示制御プログラム。
前記複数の像のうち少なくとも2の像の間の切換えが、加速度検出処理により所定量を超過する加速度が検出された場合に行なわれる、仮想的にスプリングを組み込み、人体の余計な動きによって不必要な切換えを防止するスプリング処理をさらに含む、請求項11から15のいずれか1項に記載の表示制御プログラム。
前記表示工程が、前記ジャイロスコープ工程によって装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させる地図表示工程を含む、請求項19に記載の表示制御方法。
前記表示工程が、地図の像を、前記ジャイロスコープ工程によって検知された水平方向角に応じてスクロールさせるスクロール処理工程を含む、請求項19または20に記載の表示制御方法。
前記表示工程が、前記ジャイロスコープ工程によって装着時の位置を基準とした水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させる天空情報表示工程を含む、請求項19から21のいずれか1項に記載の表示制御方法。
前記複数の像のうち少なくとも2の像の間の切換えが、加速度検出工程により所定量を超過する加速度が検出された場合に行なわれる、仮想的にスプリングを組み込み、人体の余計な動きによって不必要な切換えを防止するスプリング工程をさらに含む、請求項19から22のいずれか1項に記載の表示制御方法。
【発明の開示】
【発明が解決しようとする課題】
【0009】
本発明の目的は、人体の動きに伴って、表示装置に表示される像の切換えを行なうことができる、人体に装着可能な表示制御装置、表示制御プログラムおよび表示制御方法を提供することにある。
【課題を解決するための手段】
【0010】
(1)
一局面に従う表示制御装置は、加速度を検知する加速度装置と、切換えにより異なる像を表示可能かつ人体に装着可能な表示装置と、を含み、表示装置は、加速度装置により検知された加速度に応じて、複数の像を切換えるものである。
【0011】
本発明にかかる表示制御装置は、人体に装着可能であり、加速度を検知する加速度装置と、切換えにより異なる像を表示する表示装置とを含む。表示装置は、人体に装着可能であり、加速度装置により検知された人体の動きに起因する加速度に応じて、複数の像を切換える。
【0012】
この場合、人体の動きに伴って、表示装置に表示される像の切換えを行なうことができる。
【0013】
(2)
第2の発明にかかる表示制御装置は、一局面に従う表示制御装置において、複数の像のうち少なくとも2の像は、シームレスであってもよい。
【0014】
この場合、切換えられるべき複数の像それぞれは、切換えられるべきそれら複数の像の全てが一体化した連続像の一部をなすセグメントである。当該連続像のうち表示する部分を遷移させることにより、切換えられるべき複数の像を途切れさせることなくスムーズに遷移させることができる。
【0015】
(3)
第3の発明にかかる表示制御装置は、一局面または第2の発明にかかる表示制御装置において、複数の像のうち少なくとも2の像がそれぞれ独立していてもよい。
この場合、切換えられるべき複数の像を別個に識別することができる。また、複数の像が3の像以上の場合、シームレスの像と、独立した像とを確実に切換えることができる。
【0016】
(4)
第4の発明にかかる表示制御装置は、一局面から第3の発明のいずれかにかかる表示制御装置において、表示装置は、ヘッドマウントディスプレイであってもよい。
【0017】
この場合、頭の動きによって像の切換えを行なうことができ、両手を自由に利用することができる。
【0018】
(5)
第5の発明にかかる表示制御装置は、一局面から第4の発明のいずれかにかかる表示制御装置において、表示制御装置は、ジャイロスコープをさらに含んでもよい。表示装置は、ジャイロスコープにより検知される水平方向角および水平方向に対する垂直方向角の少なくともいずれかに応じ、像を切換えてもよい。
【0019】
この場合、回転運動に応じて精度良く像の切換えを行なうことができる。
【0020】
(6)
第6の発明にかかる表示制御装置は、第5の発明にかかる表示制御装置において、表示装置は、ジャイロスコープにより、装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させてもよい。
【0021】
この場合、手足や身体に表示制御装置を装着した場合には、当該装着部分を下方に下げることにより、地図が表示される。さらに、頭に表示制御装置を装着した場合、すなわち、ヘッドマウントディスプレイの場合には、地面の方へ視線を落とすことによって地図が表示されるため、自然な体感を得ることができる。
【0022】
(7)
第7の発明にかかる表示制御装置は、第6の発明にかかる表示制御装置において、地図の像は、水平方向角に応じてスクロール可能であってもよい。
【0023】
この場合、視線を向ける方角または身体を動かす方向に応じて地図の向きがかわるため、自然な体感を得ることができる。
【0024】
(8)
第8の発明にかかる表示制御装置は、第5から第7のいずれかに記載の表示制御装置において、水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させてもよい。
【0025】
この場合、天空の方へ視線を上げること、または天空側へ身体を動かすことによって天空に関する情報が表示されるため、自然な体感で天空に関するデータを得ることができる。
【0026】
(9)
第9の発明にかかる表示制御装置は、一局面から第8の発明にかかる表示制御装置において、表示装置は、加速度装置により所定量を超過する加速度が検出された場合に、複数の像のうち少なくとも2の像の間の切換えを、実施してもよい。
【0027】
この場合、像の切換え部分に仮想的にスプリングを組み込むことができるため、人体の余計な動きによって不必要な切換えを防止することができ、安定して像を表示することができる。
すなわち、像の切換えを望まない場合に生じる身体または頭の動作に対して、像の切換えを防止できる。
【0028】
(10)
第10の発明にかかる表示制御装置は、第9の発明にかかる表示制御装置において、加速度装置により所定量を超過する加速度が検出された場合に切換えられる像の一方が、複数の像のうち、ジャイロスコープにより少なくとも装着時の位置を基準とした水平方向が検出された場合に表示される像であってもよい。
【0029】
この場合、正面を向いている場合には不必要な切換えを防止することができ、安定して像を表示することができる。
なお、像の切換え防止機能を別途設けてもよい。さらに、加速度装置およびジャイロセンサとの両機能を有するユニットを設けてもよい。
【0030】
(11)
第11の発明にかかる表示制御装置は、一局面から第10の発明のいずれかにかかる表示制御装置において、表示装置が、携帯電話機能をさらに含んでもよい。
【0031】
この場合、表示制御装置に通話機能を付加することができる。その結果、ハンズフリータイプの通話を容易に実施することができる。
【0032】
(12)
他の発明にかかる表示制御プログラムは、人体に装着可能な表示装置に用いられる表示制御プログラムであって、人体の動きの加速度を検知する加速度検知処理と、切換えにより異なる像を表示する表示処理と、加速度検知処理により検知された加速度に応じて複数の像を切換える加速度対応切換え処理とを含むものである。
【0033】
本発明にかかる表示制御プログラムは、人体に装着可能な表示装置に用いられるものであり、加速度検知処理と、表示処理と、加速度対応切換え処理とを含む。加速度検知処理は、人体の動きの加速度を検知する。表示処理は、切換えにより異なる像を表示する。加速度対応切換え処理は、加速度検知処理により検知された加速度に応じて複数の像を切換える。
【0034】
この場合、人体の動きに伴って、表示装置に表示される像の切換えを行なうことができる。
【0035】
(13)
第13の発明にかかる表示制御プログラムは、他の局面に従う表示制御プログラムにおいて、ジャイロスコープ処理をさらに含んでもよい。ジャイロスコープ処理は、人体の動きの角速度を検知してもよい。加速度対応切換え処理は、角速度対応切換え処理を含んでもよい。角速度対応切換え処理は、ジャイロスコープ処理によって検知された、水平方向角および水平方向に対する垂直方向角の少なくともいずれかに応じ、像を切換えてもよい。
【0036】
この場合、回転運動に応じて精度良く像の切換えを行なうことができる。
【0037】
(14)
第14の発明にかかる表示制御プログラムは、第13の発明にかかる表示制御プログラムにおいて、表示処理は、地図表示処理を含んでもよい。地図表示処理は、ジャイロスコープ処理によって装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させてもよい。
【0038】
この場合、手足や身体に装着した場合には、装着された人体の部分を下方に下げることにより、地図が表示される。さらに、頭に装着した場合、すなわち、ヘッドマウントディスプレイの場合には、地面の方へ視線を落とすことによって地図が表示されるため、自然な体感を得ることができる。
【0039】
(15)
第15の発明にかかる表示制御プログラムは、第13または第14の発明にかかる表示制御プログラムにおいて、表示処理が、スクロール処理を含んでもよい。スクロール処理は、地図の像を、ジャイロスコープ処理によって検知された水平方向角に応じてスクロールさせてもよい。
【0040】
この場合、視線を向ける方角または身体を動かす方向に応じて地図の向きがかわるため、自然な体感を得ることができる。
【0041】
(16)
第16の発明にかかる表示制御プログラムは、第13から第15のいずれかの発明にかかる表示制御プログラムにおいて表示処理は、天空情報表示処理を含んでもよい。天空情報表示処理は、ジャイロスコープ処理によって装着時の位置を基準とした水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させてもよい。
【0042】
この場合、天空の方へ視線を上げること、または天空側へ身体を動かすことによって天空に関する情報が表示されるため、自然な体感で天空に関するデータを得ることができる。
【0043】
(17)
第17の発明にかかる表示制御プログラムは、他の局面から第16の発明のいずれかにかかる表示制御プログラムにおいて、スプリング処理をさらに含んでもよい。スプリング処理は、複数の像のうち少なくとも2の像の間の切換えを、加速度検出処理により所定量を超過する加速度が検出された場合に行なってもよい。
【0044】
この場合、像の切換え部分に仮想的にスプリングを組み込むことができるため、人体の余計な動きによって不必要な切換えを防止することができ、安定して像を表示することができる。
【0045】
(18)
第18の発明にかかる表示制御プログラムは、他の局面から第17の発明のいずれかにかかる表示制御プログラムにおいて、通話処理をさらに含んでもよい。
【0046】
この場合、表示制御プログラムに通話機能を付加することができる。その結果、ハンズフリータイプの通話を容易に実施することができる。
【0047】
(19)
さらに他の局面に従う表示制御方法は、人体に装着可能な表示装置に用いられる表示制御方法であって、人体の動きの加速度を検知する加速度検知工程と、切換えにより異なる像を表示する表示工程と、加速度検知工程により検知された加速度に応じて複数の像を切換える加速度対応切換え工程とを含むものである。
【0048】
本発明にかかる表示制御方法においては、人体に装着可能な表示装置に用いられるものであり、加速度検知工程と、表示工程と、加速度対応切換え工程とを含む。加速度検知工程は、人体の動きの加速度を検知する。表示工程は、切換えにより異なる像を表示する。加速度対応切換え工程は、加速度検知工程により検知された加速度に応じて複数の像を切換える。
【0049】
この場合、人体の動きに伴って、表示装置に表示される像の切換えを行なうことができる。
【0050】
(20)
第20の発明にかかる表示制御方法は、さらに他の局面に従う表示制御方法において、ジャイロスコープ工程をさらに含んでもよい。ジャイロスコープ工程は、人体の動きの角速度を検知してもよい。加速度対応切換え工程は、角速度対応切換え工程を含んでもよい。角速度対応切換え工程は、ジャイロスコープ工程によって検知された、水平方向角および水平方向に対する垂直方向角の少なくともいずれかに応じ、像を切換えてもよい。
【0051】
この場合、回転運動に応じて精度良く像の切換えを行なうことができる。
【0052】
(21)
第21の発明にかかる表示制御方法は、第20の発明にかかる表示制御方法において、表示工程は、地図表示工程を含んでもよい。地図表示工程は、ジャイロスコープ工程によって装着時の位置を基準とした水平方向よりも下方向が検出された場合に、地図の像を表示させてもよい。
【0053】
この場合、表示装置を手足や身体に装着した場合には、装着された人体の部分を下方に下げることにより、地図が表示される。さらに、頭に表示装置を装着した場合、すなわち、表示装置がヘッドマウントディスプレイの場合には、地面の方へ視線を落とすことによって地図が表示されるため、自然な体感を得ることができる。
【0054】
(22)
第22の発明にかかる表示制御方法は、第20または第21の発明にかかる表示制御方法において、表示工程が、スクロール工程を含んでもよい。スクロール工程は、地図の像を、ジャイロスコープ工程によって検知された水平方向角に応じてスクロールさせてもよい。
【0055】
この場合、視線を向ける方角または身体を動かす方向に応じて地図の向きがかわるため、自然な体感を得ることができる。
【0056】
(23)
第23の発明にかかる表示制御方法は、第20から第22の発明のいずれかにかかる表示制御方法において、表示工程は、天空情報表示工程を含んでもよい。天空情報表示工程は、ジャイロスコープ工程によって装着時の位置を基準とした水平方向よりも上方向が検出された場合に、天気予報および星座の少なくともいずれかの天空情報の像を表示させてもよい。
【0057】
この場合、天空の方へ視線を上げる、または天空側へ身体を動かすことによって天空に関する情報が表示されるため、自然な体感で天空に関するデータを得ることができる。
【0058】
(24)
第24の発明にかかる表示制御方法は、第19から第23の発明のいずれかにかかる表示制御方法において、スプリング工程をさらに含んでもよい。スプリング工程は、複数の像のうち少なくとも2の像の間の切換えを、加速度検出工程により所定量を超過する加速度が検出された場合に行なってもよい。
【0059】
この場合、像の切換え部分に仮想的にスプリングを組み込むことができるため、人体の余計な動きによって不必要な切換えを防止することができ、安定して像を表示することができる。
【0060】
(25)
第25の発明にかかる表示制御方法は、さらに他の局面から第24の発明のいずれかにかかる表示制御方法において、通話工程をさらに含んでもよい。
【0061】
この場合、通話がさらに可能になる。その結果、たとえば表示装置がヘッドマウントディスプレイである場合、ハンズフリータイプの通話を容易に実施することができる。
【発明の効果】
【0062】
本発明によれば、人体の動きに伴って、表示装置に表示される像の切換えを行なうことができる、人体に装着可能な表示制御装置、表示制御プログラムおよび表示制御方法を提供することができる。
【発明を実施するための形態】
【0065】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
また、本発明は、以下に説明する眼鏡表示装置に限定されるものではなく、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
【0066】
(眼鏡表示装置の構成概略)
図1は、一実施の形態にかかる眼鏡表示装置100の基本構成の一例を示す模式的外観正面図であり、
図2は、眼鏡表示装置100の一例を示す模式的外観斜視図である。
【0067】
図1または
図2に示すように、眼鏡表示装置100は、眼鏡型の表示装置である。当該眼鏡表示装置100は、後述するように、ユーザの顔に装着して使用される。
【0068】
図1および
図2に示すように、眼鏡表示装置100は、主に、眼鏡ユニット200、通信システム300および操作システム400からなる。
【0069】
(眼鏡ユニット200)
図1および
図2に示すように、眼鏡ユニット200は、眼鏡フレーム210および一対の半透過ディスプレイ220からなる。眼鏡フレーム210は、主にリムユニット211、テンプルユニット212を含む。
眼鏡フレーム210のリムユニット211により一対の半透過ディスプレイ220が支持される。
【0070】
本実施の形態においては、眼鏡表示装置100には、リムユニット211に一対の半透過ディスプレイ220を設けることとしているが、これに限定されず、眼鏡表示装置100のリムユニット211に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に1個の半透過ディスプレイ220または一対の半透過ディスプレイ220を設けてもよい。
また、当該レンズ類の一部に、半透過ディスプレイ220を埋め込んで設けてもよい。
【0071】
さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。
【0072】
(通信システム300)
次に、通信システム300について説明を行なう。
通信システム300は、バッテリーユニット301、アンテナモジュール302、カメラユニット303、スピーカユニット304、GPS(Global Positioning System)ユニット307、マイクユニット308、SIM(Subscriber Identity Module Card)ユニット309およびメインユニット310を含む。
なお、カメラユニットにはCCDセンサが備えられてよい。スピーカユニット304は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。SIMユニット309には、NFC(Near Field Communication:近距離無線通信)ユニットおよび他の接触式ICカードユニット、ならびに非接触式ICカードユニットを含む。
【0073】
以上のように、本実施の形態にかかる通信システム300は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能等を含むものである。
したがって、ユーザは、眼鏡表示装置100を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
【0074】
(操作システム400)
続いて、操作システム400は、赤外線検知ユニット410、ジャイロセンサユニット420、加速度検知ユニット430および制御ユニット450からなる。赤外線検知ユニット410は、主に赤外線照射素子411および赤外線検知カメラ412からなる。
【0075】
続いて、操作システム400の構成、処理の流れおよび概念について説明を行なう。
図3は、操作システム400の制御ユニット450の構成の一例を示す模式図である。
【0076】
図3に示すように、制御ユニット450は、イメージセンサ演算ユニット451、デプスマップ演算ユニット452、イメージ処理ユニット453、解剖学的認識ユニット454、ジェスチャデータ記録ユニット455、ジェスチャ識別ユニット456、キャリブレーションデータ記録ユニット457、合成演算ユニット458、アプリケーションソフトユニット459、イベントサービスユニット460、キャリブレーションサービスユニット461、表示サービスユニット462、グラフィック演算ユニット463、ディスプレイ演算ユニット464、および6軸駆動ドライバユニット465を含む。
【0077】
なお、制御ユニット450は、上記の全てを含む必要はなく、適宜必要な1または複数のユニットを含んでもよい。たとえば、ジェスチャデータ記録ユニット455およびキャリブレーションデータ記録ユニット457は、クラウド上に配置してもよく、合成演算ユニット458を特に設けなくてもよい。
【0078】
次に、
図4は、操作システム400における処理の流れを示すフローチャートであり、
図5は
図4のフローチャートに応じた概念を示す模式図である。
【0079】
まず、
図4に示すように、赤外線検知ユニット410から対象のデータを取得し、デプスマップ演算ユニット452により深さ演算を行なう(ステップS1。次に、イメージ処理ユニット453により外形イメージデータを処理する(ステップS2)。
【0080】
次いで、解剖学的認識ユニット454により、標準的な人体の構造に基づき、ステップS2において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、外形が認識される(ステップS3)。
【0081】
さらに、ジェスチャ識別ユニット456により、ステップS3で得た解剖学的特徴に基づいてジェスチャを識別する(ステップS4)。
ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、
図5(a)に示すように、手のジェスチャを認識する。
【0082】
続いて、アプリケーションソフトユニット459およびイベントサービスユニット460は、ジェスチャ識別ユニット456により判定されたジェスチャに応じて所定のイベントを実施する(ステップS5)。
これによって、
図5(b)に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット303からの撮像データが表示されてよい。
【0083】
最後に、表示サービスユニット462、キャリブレーションサービスユニット461、グラフィック演算ユニット463、ディスプレイ演算ユニット464および合成演算ユニット458により、半透過ディスプレイ220に、イメージの表示、またはイメージの仮想表示が行なわれる(ステップS6)これによって、
図5(c)に示すようにジェスチャを示す手のスケルトンの表示が行われ、
図5(d)に示すように、当該スケルトンの形状および大きさに写真の形状および大きさが合致するように合成されたイメージが表示される。
【0084】
なお、6軸駆動ドライバユニット465は、常にジャイロセンサユニット420、加速度検知ユニット430からの信号を検知し、ディスプレイ演算ユニット464に姿勢状況を伝達する。
【0085】
眼鏡表示装置100を装着したユーザが眼鏡表示装置100を傾斜させた場合には、6軸駆動ドライバユニット465は、常にジャイロセンサユニット420、加速度検知ユニット430からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。
【0086】
(検知領域と仮想表示領域との一例)
次に、操作システム400の赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域との関係について説明を行なう。
図6は、赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域とを説明するための模式的斜視図であり、
図7は
図6の上面図であり、
図8は、
図6の側面図である。
【0087】
以下において、説明の便宜上、
図6に示すように、x軸、y軸およびz軸からなる三次元直交座標系が定義される。以下の図におけるx軸の矢印は、水平方向を指す。y軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。z軸の矢印は、深度方向を指す。z軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。
【0088】
図6から
図8に示すように、操作システム400の赤外線検知ユニット410により検知可能な三次元空間検知領域(3Dスペース)4103Dを有する。
三次元空間検知領域4103Dは、赤外線検知ユニット410からの円錐状または角錐状の三次元空間からなる。
【0089】
すなわち、赤外線検知ユニット410は、赤外線照射素子411から、照射された赤外線を、赤外線検知カメラ412により検知できるので、三次元空間検知領域4103D内のジェスチャを認識することができる。
また、本実施の形態においては、赤外線検知ユニット410を1個設けることとしているが、これに限定されず、赤外線検知ユニット410を複数個設けてもよいし、赤外線照射素子411を1個、赤外線検知カメラ412を複数個設けてもよい。
【0090】
続いて、
図6から
図8に示すように一対の半透過ディスプレイ220は、ユーザに、実際に設けられた眼鏡表示装置100の部分ではなく、眼鏡表示装置100から離れた場所となる仮想イメージ表示領域2203Dに、奥行きを持って仮想表示されたものとして視認させる。当該奥行きは、仮想イメージ表示領域2203Dが有する仮想立体形状の深度方向(z軸方向)の厚みに対応する。したがって、当該仮想立体形状の深度方向(z軸方向)の厚みに応じて奥行きが設けられる。
すなわち、実際には眼鏡表示装置100の半透過ディスプレイ220に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ220を透過し三次元空間領域2203DRで認識し、左目のイメージは左目側の半透過ディスプレイ220を透過し三次元空間領域2203DLで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域2203Dで仮想イメージとして認識することができる。
【0091】
また、仮想イメージ表示領域2203Dは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、2視差方式および3視差以上を利用する多視差方式のいずれかを利用して表示されたものである。
【0092】
また、本実施の形態においては、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。特に、
図6および
図7に示すように、三次元空間検知領域4103Dの内部に、仮想イメージ表示領域2203Dが存在するため、仮想イメージ表示領域2203Dが共有領域となる。
【0093】
なお、仮想イメージ表示領域2203Dの形状およびサイズについては、一対の半透過ディスプレイ220への表示方法により任意に調整することができる。
また、
図8に示すように、一対の半透過ディスプレイ220よりも赤外線検知ユニット410が上方(y軸正方向)に配設されている場合について説明しているが、鉛直方向(y軸方向)に対して、赤外線検知ユニット410の配設位置が半透過ディスプレイ220よりも下方(y軸負方向)または半透過ディスプレイ220と同位置であっても、同様に、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。
【0094】
(検知領域と仮想表示領域との他の例)
続いて、
図9から
図11は、
図6から
図8において示した検知領域と仮想表示領域との他の例を示す模式図である。
【0095】
例えば、
図9から
図11に示すように、眼鏡表示装置100の半透過ディスプレイ220の代わりに、他の入出力装置、表示装置、テレビジョン、モニタ等を用いてもよい。以下、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタを総称して入出力装置900と略記する。
【0096】
図9に示すように、入出力装置900からz軸負方向に仮想イメージ表示領域2203Dが出力され、入出力装置900にz軸方向で対向する位置に配設された赤外線検知ユニット410からz軸正方向に三次元空間検知領域4103Dが形成されてもよい。
この場合、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
【0097】
また、
図10に示すように、入出力装置900から仮想イメージ表示領域2203Dが出力され、入出力装置900と同方向(xy平面を基準としていずれもz軸正側の方向)に赤外線検知ユニット410の三次元空間検知領域4103Dが形成されてもよい。
この場合でも、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
【0098】
次に、
図11に示すように、入出力装置900から鉛直上方向(y軸正方向)に仮想イメージ表示領域2203Dが出力されてもよい。
図11においても、
図9、
図10と同様に、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
【0099】
また、図示していないが、入出力装置900を三次元空間検知領域4103Dより上方側(y軸正方向の側)に配置し、鉛直下方向(y軸負方向)に仮想イメージ表示領域2203Dが出力されてもよく、水平方向(x軸方向)から出力されてもよく、プロジェクタまたは映画館のように、後上方(z軸正方向かつy軸正方向)から出力されてもよい。
【0100】
(操作領域とジェスチャ領域)
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。
図12および
図13は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
【0101】
まず、
図12に示すように、一般的に、ユーザは、右肩関節RPおよび左肩関節LPの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Lおよび移動領域Rとなる。
【0102】
また、
図13に示すように、一般的に、ユーザは、右肩関節RPおよび左肩関節LPの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Lおよび移動領域Rとなる。
【0103】
すなわち、
図12および
図13に示すように、ユーザは、両手を右肩関節RPおよび左肩関節LPをそれぞれ回転中心とした欠球状(深度方向に凸のアーチ状曲面を有する)の立体空間内で移動させることができる。
【0104】
次に、赤外線検知ユニット410による三次元空間検知領域4103Dと、仮想イメージ表示領域が存在しうる領域(
図12では仮想イメージ表示領域2203Dを例示)と、腕の移動領域Lおよび移動領域Rを合わせた領域との全てが重なる空間領域を、操作領域410cとして設定する。
また、三次元空間検知領域4103D内における操作領域410c以外の部分で、かつ腕の移動領域Lおよび移動領域Rを合わせた領域と重なる部分をジェスチャ領域410gとして設定する。
【0105】
ここで、操作領域410cが、深度方向に最も遠い面が深度方向(z軸正方向)に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域2203Dは、深度方向に最も遠い面が平面である立体形状を有する。このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。
【0106】
(キャリブレーションの説明)
次いで、キャリブレーション処理について説明を行なう。
図14は、キャリブレーション処理の説明を行なうためのフローチャートである。
【0107】
図12および
図13に示したように、ユーザが仮想イメージ表示領域2203Dに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域2203Dにおいて、操作をし易くするためにキャリブレーション処理を行なう。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
【0108】
以下、
図14を用いて説明を行なう。まず、ユーザが、眼鏡表示装置100を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット410が、操作領域410cの最大領域を認識する(ステップS11)。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域410cの調整を行なうものである。
【0109】
次に、眼鏡表示装置100においては、仮想イメージ表示領域2203Dの表示位置を決定する(ステップS12)。すなわち、仮想イメージ表示領域2203Dを操作領域410cの外側に配置するとユーザによる操作が不可能となるため、操作領域410cの内部に配置する。
【0110】
続いて、眼鏡表示装置100の赤外線検知ユニット410の三次元空間検知領域4103D内で、かつ仮想イメージ表示領域2203Dの表示位置と重ならない位置に、ジェスチャ領域410gの最大領域を設定する(ステップS13)。
なお、ジェスチャ領域410gは、仮想イメージ表示領域2203Dと重ならないように配置しかつ深さ方向(z軸正方向)に厚みを持たせることが好ましい。
【0111】
本実施の形態においては、以上の手法により、操作領域410c、仮想イメージ表示領域2203D、ジェスチャ領域410gが設定される。
【0112】
続いて、操作領域410c内における仮想イメージ表示領域2203Dのキャリブレーションについて説明する。
【0113】
操作領域410c内の仮想イメージ表示領域2203Dの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域2203Dの内部に存在するように、丸め込みを行なう(ステップS14)。
【0114】
図12および
図13に示すように、半透過ディスプレイ220により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域2203D内に留まることなく深さ方向(z軸正方向)の外部へ外れてしまう。また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域2203D内に存在すると判定されない。
そのため、赤外線検知ユニット410からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域2203Dから外れたとしても、そのような状態であることを体感しにくい。
【0115】
したがって、本実施の形態におけるステップS14の処理においては、仮想イメージ表示領域2203Dから外部へ突き出た手先が、仮想イメージ表示領域2203D内にあるものとして補正すべく、赤外線検知ユニット410からの信号を処理する。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
【0116】
なお、本実施の形態においては、仮想イメージ表示領域2203Dを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域L,Rの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
【0117】
さらに、半透過ディスプレイ220は、仮想イメージ表示領域2203Dに矩形状の像を表示させる。例えば、
図5(b)に示したように、矩形状の像を表示させる(ステップS15)。
続いて、半透過ディスプレイ220に、像の周囲を指で囲んでくださいと、表示を行なう(ステップS16)。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ220に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
【0118】
ユーザは、指示に従い
図5(d)に示すように、指を像の見える部分にあわせる。そして、仮想イメージ表示領域2203Dの表示領域と、赤外線検知ユニット410との相関関係が自動調整される(ステップS17)。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
【0119】
なお、上記のキャリブレーション処理の説明においては、眼鏡表示装置100の場合についてのみ説明を行ったが、入出力装置900の場合には、ステップS11の処理において、像を表示させ、ステップS17の処理の当該像と赤外線検知ユニット410との相関関係を調整してもよい。
【0120】
(指、掌、腕認識)
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。
図15は、指認識の一例を示す模式図である。
図15において、(A)は指の先端付近の拡大図であり、(B)は指の根元付近の拡大図である。
図16は、指認識の処理の一例を示すフローチャートである。
【0121】
図16に示すように、本実施の形態においては、デバイスの初期化を行なう(ステップS21)。次に、赤外線照射素子411から照射され、手に反射した赤外線が、赤外線検知カメラ412により検出される(ステップS22)。
次に、赤外線検知ユニット410により画像データをピクセル単位で距離に置き換える(ステップS23)。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する(ステップS24)。
【0122】
次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する(ステップS25)すなわち、デプスマップのノイズを除去する。
続いて、二値化した画像データから約100個の頂点を持つポリゴンを作成する(ステップS26)。そして、頂点が滑らかになるようにローパスフィルタ(LPF)により、より多くの頂点p
nを有する新たな多角形を作成することによって、
図15に示す手の外形OFを抽出する(ステップS27)。
なお、本実施の形態においては、ステップS26において二値化したデータからポリゴンを作成するために抽出する頂点の数を約100個としているが、これに限定されず、1000個、その他の任意の個数であってもよい。
【0123】
ステップS27で作成した新たな多角形の頂点p
nの集合から、Convex Hullを用いて、凸包を抽出する(ステップS28)。
その後、ステップS27で作成された新たな多角形と、ステップS28で作成された凸包との共有の頂点p
0を抽出する(ステップS29)。このように抽出された共有の頂点p
0自体を指の先端点として用いることができる。
さらに、頂点p
0の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、
図15(A)に示すように頂点p
0における外形OFの内接円の中心を先端点P0として算出することもできる。
【0124】
そして、
図15に示すように、頂点p
0に隣接する左右一対の頂点p
1を通る基準線分PP
1のベクトルを算出する。その後、頂点p
1と、隣接する頂点p
2とを結ぶ辺pp
2を選択し、そのベクトルを算出する。同様に、外形OFを構成する頂点p
nを用い、辺のベクトルを求める処理を外形OFの外周に沿って繰り返す。各辺の向きとステップS30の処理による基準線分PP
1の向きとを調べ、基準線分PP
1と平行に近くなる辺pp
kが指の股の位置に存在すると判定する。そして、辺pp
kの位置に基づき、指の根元点P1を算出する(ステップS30)。指の先端点P0と指の根元点P1とを直線で結ぶことで、指のスケルトンが得られる(ステップS31)。指のスケルトンを得ることで、指の延在方向を認識することができる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
【0125】
続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する(ステップS32)。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。
【0126】
次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット460へイベント配送する(ステップS33)。
【0127】
次いで、アプリケーションソフトユニット459によりイベントに応じた振る舞いを実施する(ステップS34)。
【0128】
続いて、表示サービスユニット462により、三次元空間に描画を要求する(ステップS35)。
グラフィック演算ユニット463は、キャリブレーションサービスユニット461を用いてキャリブレーションデータ記録ユニット457を参照し、表示の補正を行なう(ステップS36)。
最後に、ディスプレイ演算ユニット464により半透過ディスプレイ220に表示を行なう(ステップS37)。
【0129】
なお、本実施の形態においては、ステップS30の処理およびステップS31の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。例えば、まず、頂点p
0の一方の側と他方の側において隣接する一対の頂点p
1を結ぶ基準線分PP
1の長さを算出する。次に、当該一方の側と他方の側における一対の頂点p
2間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点p
0により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。このような線分は、外形OF内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。したがって、当該長さの変化量が所定量を超えずかつ頂点p
0から最も遠い線分を検知し、検知された線分上の1点を抽出することによって、根元点を決定することができる。
【0130】
(掌認識)
次いで、
図17は、掌認識の一例を示す模式図である。
【0131】
図17に示すように、指認識を実施した後、画像データの外形OFに内接する最大内接円Cを抽出する。当該最大内接円Cの位置が、掌の位置として認識できる。
【0132】
次いで、
図18は、親指認識の一例を示す模式図である。
【0133】
図18に示すように、親指は、人差し指、中指、薬指、および小指の他の4指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Cの中心と各指の根元点P1とを結ぶ直線が相互になす角度θ1,θ2,θ3,θ4のうち、親指が関与するθ1が最も大きい傾向にある。また、各指の先端点P0と各指の根元点P1とを結んだ直線が相互になす角度θ11,θ12,θ13,θ14のうち、親指が関与するθ11が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。その結果、右手か左手か、または掌の表か裏かを判定することができる。
【0134】
(腕認識)
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
【0135】
本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ5cm以上100cm以下の範囲、より好ましくは、10cm以上40cm以下の範囲で、ステップS21からS27の処理を実施し、外形を抽出する。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップS32の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
【0136】
なお、上記の説明においては、2次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット410をさらに増設してもよく、赤外線検知カメラ412のみをさらに増設し、2次元像から、3次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。
【0137】
(半透過ディスプレイの表示例)
次に、
図19は、眼鏡表示装置100の半透過ディスプレイ220の表示の一例を示す模式図である。
【0138】
図19に示すように、眼鏡表示装置100の半透過ディスプレイ220には、一部には広告221が表示され、さらに一部には地
図222が表示され、その他には、眼鏡表示装置100の半透過ディスプレイ220を透過して風景223が視認され、その他に天気予報224および時刻225が表示される。
【0139】
(視野の説明)
次に、眼鏡表示装置100の半透過ディスプレイ220に表示される表示の一例について説明を行なう。
図20(a)は、半透過ディスプレイ220の視野の一例、
図20(b)は、半透明ディスプレイ220の表示の一例を説明する図である。
【0140】
図20に示すように、本実施の形態においては、眼鏡表示装置100が視認させることができる表示は、複数の表示701,〜,707から構成される。複数の表示は、それら全てが一体化した連続像の一部をなすセグメントである。連続像のうち視認部分を遷移させることにより、複数の表示を途切れさせることなくスムーズに遷移させる切換え表示を行なう。
図20に示すように、縦方向に表示703、702、701、704、705の表示が設けられており、表示701を中央として、左右に表示706,707が設けられる。なお、当然のことながら、当該表示701,〜,707は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
なお、本実施の形態においては、表示701,〜,707はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。
【0141】
具体的には、眼鏡表示装置100の姿勢が水平方向である場合、すなわち、ユーザが眼鏡表示装置100を装着し、水平前方を向いた場合、表示701が表示される。
【0142】
続いて、ユーザが眼鏡表示装置100を装着し、水平面(すなわち水平方向に平行の面)を基準として30度程度斜め上方を向いた場合、表示702が表示される。すなわち、眼鏡表示装置100におけるジャイロセンサユニット420および加速度検知ユニット430の少なくとも一方からの信号に基づいて、ユーザの向く方向を認識する。なお、表示702は、例えば顔認識アプリの画面が表示されてよい。
【0143】
さらに、水平面を基準として45度程度斜め上方を向いた場合、表示703が表示される。表示703には天気予報が示されてよい。また、表示703にはその他の天空情報が表示されてもよく、時間帯によっては、例えば星座の像を表示させてもよい。
【0144】
同様に、ユーザが眼鏡表示装置100を装着し、水平面を基準として30度程度斜め下方を向いた場合、表示704(例えば、メール画面)が表示され、水平面を基準として45度程度斜め下方を向いた場合、表示705(例えば、地図)が表示され、鉛直面を基準として30度程度右方を向いた場合、表示706(例えば、インターネットブラウザ)が表示され、鉛直面を基準として30度程度左方を向いた場合、表示707(例えば、通話画面)が表示される。
【0145】
また、表示701乃至表示707の切換えは、上記の説明においては、ジャイロセンサユニット420および加速度検知ユニット430の少なくとも一方からの信号に基づいて行なうこととしているが、これに限定されず、上述した指、掌、腕認識により切換えを行なってもよい。
【0146】
さらに、ユーザが歩行する場合、表示701から表示702へ、表示701から表示704へ、表示701から表示707へ、および表示701から表示706への少なくともいずれかの切換えを行なう条件として、ジャイロセンサユニット420および加速度検知ユニット430の少なくとも一方からの信号のレベルを高めに設定してもよい。それにより、歩行時に短時間で表示701から他の表示に切り替わることを防止できる。また、緊急に振り向く場合には、特に切換えない設定を設けてもよい。
一方、天空情報の表示703および地図情報の表示705はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示703,705をスクロールさせてよい。
【0147】
(イベント発生)
続いて、指、掌、手、腕が操作領域410cに存在する場合と、ジェスチャ領域410gに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。
図21は、所定のイベント発生の一例を示す模式図であり、
図22は、
図21のイベント発生の他の例を示す模式図であり、
図23は、他のイベント発生の一例を示す模式図である。
【0148】
まず、
図21に示すように、仮想イメージには、赤外線検知ユニット410により検知された手H1の形状が表示される。さらに、ユーザの手が操作領域410cから離れている場合には、イベントの一例として、手H1の形状の陰影H2を表示する。
これにより、ユーザは、ジェスチャ領域410gに手が存在することを容易に認識できる。
【0149】
続いて、
図22に示すように、仮想イメージには、赤外線検知ユニット410により検知された手H1の形状が表示され、陰影H2よりも濃い陰影H3が、手H1の形状の周囲に小さな面積で表示される。したがって、ユーザは、
図21の場合よりも手が操作領域410cに近づいたことを容易に認識することができる。さらに、手が操作領域410c内にある場合には、陰影H2、H3は、表示されない。
【0150】
その結果、ユーザは、試行錯誤または手探りで操作領域410cを探す必要がなくなる。すなわち、操作領域410cまでの距離を陰影の濃度、手の形状と陰影とのずれ方により容易に認識することができる。
【0151】
また、
図23に示すように、手が操作領域410c内にある場合に、指先に円表示H4を行なってもよい。
【0152】
なお、上記の実施の形態においては、陰影H2、H3、円表示H4が表示されるイベント発生態様について説明したが、これに限定されず、操作領域410c内にある場合に、表示に波紋を発生させてもよく、眼鏡表示装置100に振動発生装置を設けて振動を発生させてもよく、音を発生させてもよく、表示の点滅態様および点灯照度の少なくともいずれかによって表示を変化させてもよい。例えば、操作領域410cまでの距離を点滅間隔により表してもよく、操作領域410cまでの距離を点灯照度により表してもよい。例えば、操作領域410cから離れるほど点滅間隔を長く、近づくほど点滅間隔を短くする、または、操作領域410cから離れるほど点灯照度を低く、近づくほど点灯照度を高くする、または、操作領域410cから離れるほどより濃い色による点灯(赤、黒、紫など)を行い、近づくほどより淡い色による点灯(青、黄、ピンクなど)を行なうなど、その他、人間の感覚(視覚、聴覚および触覚に代表される)に訴える任意のイベントを発生させてもよい。
【0153】
(眼鏡表示装置の操作)
以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置100の使用態様について説明する。
【0154】
まず、ユーザが操作領域410c内に手を入れることにより、手の認識が行なわれ、仮想イメージ表示を操作することができる。例えば、仮想イメージ表示を拡大させたり、縮小させたり、表示をスクロールさせたり、ポイントを選択したりすることができる。
【0155】
例えば、
図24に示すように、広告221の表示をタッチすることで、追加表示を行なってもよい。
例えば、広告221には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告221をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
なお、広告221は、店舗をカメラユニット303で撮影された像そのものであってもよいし、カメラユニット303による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。
【0156】
(パロディモードによる表示)
また、
図25に示すように、半透過ディスプレイ220に一の企業(○○社)のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業(△△社)に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。
【0157】
(ジェスチャ認識による表示)
また、ユーザがジェスチャ領域410g内で所定の手のポーズを作ることにより、予め設定された動作が実施される。
図26から
図33は、ジェスチャ認識の例を示す模式図である。
【0158】
例えば、
図26に示すように、ユーザが握った手H1の親指と人差し指を90度に開いて伸ばしたL字サインを作った場合、親指と人差し指との間に、メニュ画面V1が表示されてもよい。
【0159】
また、
図27に示すように、握った手H1の人差し指と中指とを延ばし広げた、いわゆるピースサインの場合には、人差し指と中指との間に、所定の画像V2を表示させてもよい。
【0160】
また、
図28に示すように、挨拶行為により、手H1を軽く開いて矢印方向に移動させた場合には、顔認識のアプリを自動的に起動させる。カメラユニット303で取得した相手の人物の顔データに基づいて顔認識を自動で開始し、顔認識アプリ画面V3に、氏名、企業名、役職、最後に会った日時および場所等の情報を表示させる。さらに顔認識アプリの認識による同一人物に会うたびにフラグを立て、フラグの数を顔認識アプリ画面V3に表示させてもよい。この場合、フラグの数によって、顔認識アプリ画面V3の背景および色等を異ならせてもよい。
【0161】
さらに、
図29に示すように、握った手H1の親指と小指を広げた、いわゆるアロハサインを作り、矢印方向にゆすった場合には、電話のアプリが自動的に起動し、連絡帳のデータV4が表示される。ユーザは、電話のアプリを操作して、所定の相手に電話をかけることができる。
【0162】
また、
図30に示すように、手H1の指でアルファベットのSの文字を描くことにより、SNS(SOCIAL NETWORKING SERVICE)アプリを自動的に起動させ、SNSアプリ画面V5を表示させることができる。
【0163】
さらに、
図31に示すように、漢字アプリを起動させ、手H1の人差し指を認識させることにより人差し指の位置に筆の画像をさらに追加表示させ、漢字の練習アプリ画面V6に漢字を書いて練習できる。
【0164】
また、
図32に示すように、手H1を手刀の形状にした場合、刀アプリを起動させ、手刀上の手の位置に刀の画像をさらに追加表示させ、仮想イメージ表示画面V7を切ることができる。
【0165】
また、
図33に示すように、両手H1の指で、四角を形成した場合、カメラアプリが自動起動され、カメラアプリ画面V8中で、形成した四角から抽出される撮像用フレーム内の風景等を撮像してもよい。
【0166】
以上のように、本発明にかかる眼鏡表示装置100は、人体に装着可能であり、加速度検知ユニット430により検知された人体の動きに起因する加速度に応じて、半透過ディスプレイ220に表示される複数の表示701,〜,707を切換えることができる。
【0167】
また、眼鏡表示装置100は、複数の表示701,〜,707がシームレスであるため、複数の表示701,〜,707が一体化して構成された連続像のうち表示する部分を遷移させることにより、複数の表示701,〜,707を途切れさせることなくスムーズに遷移させることができる。
【0168】
また、眼鏡表示装置100はヘッドマウントディスプレイ装置であるため、頭の動きによって像の切換えを行なうことができ、両手を自由に利用することができる。
【0169】
また、眼鏡表示装置100は、ジャイロセンサユニット420を含んでいるため、回転運動に応じて精度良く像の切換えを行なうことができる。
【0170】
また、眼鏡表示装置100は、ジャイロセンサユニット420により、水平方向よりも下方向が検出された場合に、地図の像705を表示させることができる。このため、地面の方へ視線を落とすことによって地図が表示されるため、自然な体感を得ることができる。
【0171】
また、眼鏡表示装置100は、地図の表示705がパノラマ表示であれば、水平方向角に応じてスクロール可能である。このため、視線を向ける方角または身体を動かす方向に応じて地図の向きがかわるため、自然な体感を得ることができる。
【0172】
また、眼鏡表示装置100は、水平方向よりも上方向が検出された場合に、天気予報の表示703を表示させることができる。このため、天空の方へ視線を上げることによって天空に関する情報が表示されるため、自然な体感で天空に関するデータを得ることができる。
【0173】
また、眼鏡表示装置100は、加速度検知ユニット430により所定量を超過する加速度が検出された場合に、メニュ画面が表示される表示701と、顔認識アプリ画面が表示される表示702、通話アプリ画面が表示される表示707、インターネットアプリ画面が表示される表示706、またはメールアプリ画面が表示される表示704との間の切換えを行なうことができる。これによって、メニュ画面が表示される表示701の上下左右の表示との切換え部分に仮想的にスプリングを組み込むことができるため、人体の余計な動きによって不必要な切換えを防止することができ、安定して像を表示することができる。
すなわち、像の切換えを望まない場合に生じる頭の動作に対して、像の切換えを防止できる。つまり、正面を向いている場合(すなわちメニュ画面が表示される表示701が表示されている場合)には不必要な切換えを防止することができ、安定して像を表示することができる。
【0174】
また、眼鏡表示装置100は、携帯電話機能を有する通信システム300を含むため、ハンズフリータイプの通話を容易に実施することができる。
【0175】
本発明においては、加速度検知ユニット430が「加速度装置」に相当し、半透過ディスプレイ220が「表示装置」に相当し、表示701,〜,707が「複数の像」に相当し、ジャイロセンサユニット420が「ジャイロスコープ」に相当し、眼鏡表示装置100が「表示制御装置」に相当する。
【0176】
本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。