表示制御部121が、初期メニュー選択画像として、視野領域の中心位置を中心として中心角が互いに等しい方向に存在し、視野領域の中心位置からの距離が等しい位置のそれぞれを中心点とする個別メニュー選択ボタンが配置された画像を、メニュー画像データに基づいて表示部125に表示させる。そして、初期メニュー選択画像の表示後には、表示制御部121が、視野領域の中心位置をカーソル位置とすることを維持しつつ、姿勢変化量検出部123による姿勢変化の検出結果に応じて、メニュー画像データに基づくメニュー選択画像を変化させる。
前記表示制御部は、前記カーソル位置が、一の個別メニュー選択ボタンの選択領域に所定時間にわたって連続して存在した場合には、前記一の個別メニュー選択ボタンが選択されたと判断し、前記一の個別メニュー選択ボタンに対応する画像を、前記利用者の視野内画像として前記表示部に表示させる、ことを特徴とする請求項1に記載の画像表示装置。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態を、
図1〜
図8を参照して説明する。なお、以下の説明及び図面においては、同一又は同等な要素には同一の符号を付し、重複する説明を省略する。
【0016】
[構成]
図1(A)に示されるように、一実施形態に係る画像表示装置100は、ゴーグル型の装置となっている。この画像表示装置100は、筐体部材110と、表示処理装置120とを備えている。利用者は、画像表示装置100を手に保持して、画像表示装置100の後方側を顔の両眼部に押し当てつつ、頭部の姿勢を変化させることにより、仮想現実画像による仮想現実感を味わえるようになっている。
【0017】
上記の筐体部材110は、例えば、プラスチック製の部材となっている。筐体部材110は、この
図1(B)に示されるように、枠部材111と、遮眼部材112と、蓋部材113とを備えている。
【0018】
上記の枠部材111は、筒状部材となっている。この枠部材111には、遮眼部材112が固定されるとともに、蓋部材113が連結されている。
【0019】
上記の遮眼部材112は、前後方向及び上下方向に延びる平板状部材であり、枠部材111の中央部に固定されている。遮眼部材112により、利用者の左眼にとっては表示処理装置120における表示面DSPの左眼用領域が可視となるとともに、利用者の右眼にとっては表示処理装置120における表示面DSPの右眼用領域が可視となる。
【0020】
上記の蓋部材113は、枠部材111の前方の下縁部に、開閉可能に連結されている。この蓋部材113には、表示処理装置120が着脱可能に取り付けられる。そして、表示処理装置120が取り付けられた状態で、蓋部材113を枠部材111に対して閉じることにより、上述した
図1(A)に示される状態となる。
【0021】
なお、
図2(A)に示されるように、表示処理装置120における表示面DSPの左眼用領域LVPには、左眼用画像が表示される。また、表示処理装置120における表示面DSPの右眼用領域RVPには、右眼用画像が表示される。かかる左眼用画像を左眼で視るとともに、右眼用画像を右眼で視ることにより、
図2(B)に示されるように、視野領域VSP内画像として立体感のある両眼視画像を視ることができるようになっている。
【0022】
<表示処理装置120の構成>
次に、上記の表示処理装置120の構成について説明する。
【0023】
この表示処理装置120は、
図3に示されるように、表示制御部121と、記憶部122とを備えている。また、表示処理装置120は、姿勢変化量検出部123と、無線通信部124と、表示部125とを備えている。
【0024】
上記の表示制御部121は、表示処理装置120の全体を統括制御する。なお、表示制御部121については、後述する。
【0025】
上記の記憶部122は、不揮発性の記憶素子を備えて構成されている。この記憶部122には、表示制御部121が利用する様々な情報データが記憶される。かかる情報データには、表示制御部121が実行するプログラム、表示用データIMD等が含まれている。この記憶部122には、表示制御部121がアクセス可能となっている。
【0026】
なお、表示用データIMDの内容については、後述する。
【0027】
上記の姿勢変化量検出部123は、3次元ジャイロセンサ等を備えて構成されている。この姿勢変化量検出部123は、各時点の3次元角速度を検出する。姿勢変化量検出部123による検出結果は、表示制御部121へ送られる。
【0028】
上記の無線通信部124は、ネットワークを介して、外部のサーバ装置との間で通信を行う。本実施形態では、無線通信部124を利用することにより、表示制御部121が、外部のコンテンツサーバと通信し、表示用データをダウンロードするようになっている。
【0029】
上記の表示部125は、液晶ディスプレイ等の表示デバイスを備えて構成されている。この表示デバイスの表示面が、上述した表示面DSPとなっている。
【0030】
この表示部125は、表示制御部121から送られた画像データを受ける。そして、表示部125は、当該画像データに従って、画像を表示する。
【0031】
ここで、記憶部122に記憶される表示用データIMDについて説明する。この表示用データIMDは、
図4に示されるように、メニュー画像データMNDと、コンテンツ画像データCTDとを含んでいる。
【0032】
コンテンツ画像データCTDは、個別コンテンツ画像データCTD
j(j=1,…,N)を含んでいる。ここで、個別コンテンツ画像データCTD
jのそれぞれは、360°画像のデータとなっている。本実施形態では、値Nが「8」となっている。
【0033】
メニュー画像データMNDに基づいて表示されるメニュー選択画像を利用して、利用者が表示を希望する個別コンテンツ画像データに対応する個別コンテンツ画像を選択する。ここで、メニュー選択画像は、個別コンテンツ画像とは異なる階層の画像となっている。このため、頭部や体の姿勢に応じた画像表示装置100の姿勢がどのような姿勢であっても、視野領域VSP内にメニュー選択画像を表示できるようになっている。
【0034】
図3に戻り、表示制御部121について説明する。この表示制御部121は、中央処理装置(CPU:Central Processing Unit)を備えて構成されている。表示制御部121は、様々なプログラムを実行することにより、以下の処理を実行するようになっている。
【0035】
[表示制御部121による表示制御処理]
表示制御部121は、無線通信部124を利用して、外部のサーバ装置との間で通信を行って、表示用データをダウンロードする。そして、表示制御部121は、ダウンロードした表示用データを、表示用データIMDとして、記憶部122に格納する。
【0036】
また、表示制御部121は、メニュー選択画像の表示が指定されると、メニュー画像データMNDに基づいて、メニュー選択画像の表示用の画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、表示部125の表示画面DSPには、メニュー選択画像が表示される。
【0037】
なお、個別コンテンツ画像の表示中にもメニュー選択画像の表示が可能となっている。個別コンテンツ画像の表示中にメニュー選択画像の表示が指定されると、視野領域VSP内に表示中の個別コンテンツ画像に重ねて、メニュー選択画像が視野領域VSP内に表示されるようになっている。
【0038】
また、表示されたメニュー選択画像を利用して、後述するようにして個別コンテンツ画像の1つが選択されると、表示制御部121は、選択された個別コンテンツ画像について定義された初期方向の位置が、視野領域VSPの中心位置となる態様の画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、選択された個別コンテンツ画像について定義された初期方向の位置が視野領域VSPの中心位置となっている態様の画像が、表示部125の表示画面DSPに表示される。かかる場合の初期方向と視野領域VSPとの関係が、
図5(A)に示されている。
【0039】
選択された個別コンテンツ画像の表示開始後、頭部や体の姿勢が変化して画像表示装置100の姿勢が変化すると、当該変化に対応する3次元角速度が、姿勢変化量検出部123により検出され、検出結果が表示制御部121へ逐次送られる。かかる姿勢変化量検出部123による検出結果を受けると、表示制御部121は、画像表示装置100の姿勢の変化を算出する。そして、表示制御部121は、算出された姿勢に対応する視野領域VSPを特定し、特定された視野領域VSP内画像の画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、画像表示装置100の姿勢に対応する視野領域VSP内の画像が、表示部125の表示画面DSPに表示される。
【0040】
なお、
図5(B)には、
図5(A)に示される状態から、右90°だけ画像表示装置100の姿勢が変化した場合の視野領域VSPが示されている。
【0041】
また、
図6(A)には、
図5(A)に示される状態でメニュー選択画像の表示が指定された場合のメニュー選択画像の表示位置が示されている。さらに、
図6(B)には、
図5(B)に示される状態でメニュー選択画像の表示が指定された場合のメニュー選択画像の表示位置が示されている。
【0042】
<メニュー選択画像>
次いで、記憶部122に格納されているメニュー画像MNDに基づくメニュー選択画像について説明する。
【0043】
当該メニュー選択画像は、
図7(A)に示されるように、N(上述したように、本実施形態では、「8」)個の個別メニュー選択ボタン(本実施系形態では、円形)#1〜#8の画像と、
図7(A)においてクロスハッチが付されたメニュー中心領域画像(本実施系形態では、円形)とから構成されている。ここで、個別メニュー選択ボタン#k(k=1〜8)が、記憶部122に格納されている個別コンテンツ画像データCTD
kに対応している。メニュー選択画像では、メニュー中心領域の中心位置を中心として中心角が互いに等しい方向に存在し、視野領域の中心位置からの距離が等しい位置のそれぞれを中心点とする領域に、個別メニュー選択ボタン#1〜#8が配置されている。
【0044】
なお、
図7(A)には、メニュー選択画像の表示が指定された直後における視野領域VSP内のメニュー選択画像(初期メニュー選択画像)が示されている。この
図7(A)に示されるように、初期メニュー選択画像では、初期メニュー選択画像におけるメニュー中心領域の中心位置が、視野領域VSPの中心位置と一致するようになっている。そして、
図7(A)に示されるように、視野領域VSPの中心位置が、黒色十字で示されるカーソルの位置となっている。また、
図7(A)には、メニュー選択画像の表示指定の直前の表示画像が個別コンテンツ画像#1であった場合に対応して、当該直前の表示画像が個別コンテンツ画像#1であることを示すために、個別メニュー選択ボタン#1の円周部が太線表示されて強調されている例が示されている。
【0045】
かかる初期メニュー選択画像及びその後に表示されるメニュー選択画像では、
図7(B)に示されるように、個別メニュー選択ボタン#kのそれぞれに対応してボタン選択領域BSA
kが定義されている。本実施形態では、ボタン選択領域BSA
kは、メニュー中心領域のすぐ外側から、メニュー中心領域の中心位置を中心として放射状に延びる領域であって、個別メニュー選択ボタン#kの表示領域を含む扇形の領域となっている。そして、ボタン選択領域相互間では、重複領域が存在しないようになっている。
【0046】
<メニュー選択処理>
次に、表示制御部121により実行されるメニュー選択処理について説明する。
【0047】
表示制御部121は、メニュー選択画像の表示が指定されると、メニュー選択処理を開始する。かかるメニュー選択処理に際して、表示制御部121は、まず、記憶部122に格納されているメニュー画像データMNDに基づいて、上述した初期メニュー選択画像を表示するための画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、
図7(A)を再掲する
図8(A)に示される初期メニュー選択画像が、表示部125の表示画面DSPに表示される。
【0048】
次に、メニュー選択のために、利用者が頭部又は体の姿勢を変化させることにより画像表示装置100の姿勢を変化させると、その姿勢変化に対応する3次元角速度が姿勢変化量検出部123により検出される。そして、姿勢変化量検出部123は、逐次、検出結果を表示制御部121へ送る。
【0049】
こうして姿勢変化量検出部123の検出結果を逐次受けると、表示制御部121は、各時点における初期メニュー選択画像表示時点からの画像表示装置100の姿勢変化量を算出する。そして、表示制御部121は、視野領域VSPの中心位置がカーソル位置であることを維持しつつ、初期メニュー選択画像表示時点からの姿勢変化量に対応したカーソル位置とメニュー選択画像との位置関係となるメニュー選択画像を表示するための画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、初期メニュー選択画像表示時点からの姿勢変化量に対応したカーソル位置とメニュー選択画像との位置関係となるメニュー選択画像が、表示部125の表示画面DSPに表示される。
【0050】
そして、カーソル位置が、メニュー選択画像における一のボタン選択領域内の位置となると、対応する一の個別メニュー選択ボタンを強調表示する。本実施形態では、当該強調表示が、当該一の個別メニュー選択ボタンを拡大する表示となっている。
【0051】
こうして、カーソル位置が、メニュー選択画像における一のボタン選択領域内の位置である期間長が所定時間(例えば、3秒)に達すると、表示制御部121は、対応する一の個別メニュー選択ボタンが選択されたと判断する。そして、表示制御部121は、選択された個別メニュー選択ボタンに対応する個別コンテンツ画像データに基づく個別コンテンツ画像を表示するための画像データを生成する。そして、表示制御部121は、生成された当該画像データを表示部125へ送る。この結果、選択された個別メニュー選択ボタンに対応する個別コンテンツ画像の初期画像が、表示部125の表示画面DSPに表示される。
【0052】
なお、所定時間は、個別メニュー選択ボタンの誤選択の防止、及び、個別メニュー選択ボタンの選択の迅速性の観点から、実験、シミュレーション、経験等に基づいて、予め定められる。
【0053】
一方、カーソル位置が、所定時間未満で、メニュー選択画像における一のボタン選択領域内の位置から外れると、表示制御部121は、初期メニュー選択画像の表示時点からの姿勢変化量に対応したカーソル位置とメニュー選択画像との位置関係となっているメニュー選択画像の表示のための処理を継続する。
【0054】
なお、
図8(B)には、個別メニュー選択ボタン#4へ向かう方向に姿勢変化が行われているが、カーソルがボタン選択領域BSA
4に達する前の時点において視野領域VSP内に表示されるメニュー選択画像の例が示されている。また、
図8(C)には、カーソルがボタン選択領域BSA
4に達した場合に視野領域VSP内に表示されるメニュー選択画像の例が示されている。
【0055】
以上説明したように、本実施形態では、仮想現実感を実現できる個別コンテンツ画像データCTD
kと、メニュー画像データMNDとが、互いに異なる階層のデータとされている。このため、視野領域VSP内の画像が、個別コンテンツ画像のどの部分の画像であるかにかかわらず、視野領域VSP内の個別コンテンツ画像に重ねて、又は、個別コンテンツ画像とは独立して、メニュー選択画像を視野領域VSP内に表示させることができる。
【0056】
そして、表示制御部121が、初期メニュー選択画像として、視野領域VSPの中心位置を中心として中心角が互いに等しい方向に存在し、視野領域VSPの中心位置からの距離が等しい位置を中心点とする個別メニュー選択ボタンが配置された画像を、メニュー画像データMNDに基づいて、表示部125に表示させる。そして、初期メニュー選択画像の表示後には、表示制御部121が、視野領域VSPの中心位置をカーソル位置とすることを維持しつつ、姿勢変化量検出部123による姿勢変化の検出結果に応じて、メニュー画像データMNDに基づくメニュー選択画像を変化させる。
【0057】
したがって、本実施形態によれば、個別メニュー選択ボタンの選択のために行われる、個別メニュー選択ボタンの選択領域へのカーソルの移動を、首や体を大きく動かすことなく、小さな動きで実現でき、簡易に個別メニュー選択ボタンの選択を行うことができる。
【0058】
また、本実施形態では、表示制御部121は、カーソル位置が一の個別メニュー選択ボタンの選択領域に所定時間にわたって連続して存在した場合には、当該一の個別メニュー選択ボタンが選択されたと判断する。そして、表示制御部121は、選択された個別メニュー選択ボタンに対応する個別コンテンツ画像を、視野領域VSP内画像として表示部125に表示させる。この場合には、一の個別メニュー選択ボタンの選択までに、他の個別メニュー選択ボタンの選択領域を短時間で通過しても、当該他の個別メニュー選択ボタンに対応する画像が表示されることがない。このため、利用者の意図を反映した個別メニュー選択ボタンのみを選択することができる。
【0059】
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【0060】
例えば、上記の実施形態では、メニュー選択画像における中心領域及び個別メニュー選択ボタンの形状を円形としたが、任意の正多角形等の任意の形状としてもよい。
【0061】
また、上記の実施形態における個別コンテンツ画像を360°画像としたが、他の種類の画像としてもよい。さらに、個別コンテンツ画像は、動画であってもよいし、静止画であってもよい。
【0062】
また、上記実施形態では、利用者の左眼にとっては表示処理装置120における表示面DSPの左眼用領域を可視とするとともに、利用者の右眼にとっては表示処理装置120における表示面DSPの右眼用領域を可視とするために、遮眼部材112のみを用いるようにした。これに対し、レンズ系を含む光学系を更に用いるようにしてもよい。
【0063】
また、上記の実施形態では、表示用データを外部のサーバ装置からダウンロードするようにしたが、USBメモリ等の可搬形の記憶装置を利用して、画像表示装置に提供するようにしてもよい。
【0064】
また、上記の実施形態では、画像表示装置の内部に保持される表示用データの種類の数を1個としたが、複数個としてもよい。この場合には、表示用データを選択するためのメニュー選択画像が必要となるが、かかる場合も上記の実施形態と同様の表示及び選択の制御を行うようにすればよい。
【0065】
また、上記の実施形態では、個別メニュー選択ボタンの数Nを「8」としたが、他の数としてもよい。
図9には、N=3,4,5の場合のメニュー選択画像及びボタン選択領域の例が示されている。
【0066】
また、上記の実施形態の表示処理装置としては、スマートフォン等の汎用的な装置を採用することができる。なお、表示処理装置は、スマートフォンに限定されない。
【0067】
また、上記の実施形態では、表示処理装置を筐体部材に着脱自在に取り付けるようにしたが、表示処理装置を筐体部材に固定的に取り付けるようにしてもよい。
【0068】
なお、本発明をヘッドマウントディスプレイとして機能する任意の画像表示装置に適用することができるのは、勿論である。