【実施例1】
【0012】
本発明の実施形態を添付図面に従って説明する。
1.装置の概要
図1Aは使用者に装着可能で、使用者の眼前に映像が表示される映像表示装置を示すブロック図である。
【0013】
映像表示装置10は、映像表示部1001、表示制御部1002、制御部1003、第1センサ1004、第2センサ1005、運動判定処理部1006、映像情報源1007、映像処理部1008、映像判定処理部1009、記憶部1010、頻度判定処理部1011、電源部1012を備えている。
【0014】
映像表示装置10は、映像情報源1007から取得された映像情報を、映像処理部1008を介して、映像表示部1001に送信して映像を表示する。映像表示部1001は、代表的には、液晶素子またはミラーアレイ素子を用いたディスプレイである。
【0015】
映像情報源1007は図示しない記憶装置に保存された映像情報のデータを、適宜選択して必要に応じてデータの復号や暗号化の解除などの処理を行い、映像情報を1008に送信する。時系列の動画像を時系列に送信してもよいし、静止画を逐次送信してもよい。
【0016】
制御部1003は映像表示装置10の外部にあるコントローラ1020と有線あるいは無線で接続されている。装置利用者20がコントローラ1020を操作する事により、映像表示装置10の電源On/Offや映像に関する各種設定を行うことができる。コントローラ1020は、映像表示装置10専用のコントローラでも良いし、スマートフォンに専用のアプリケーションプログラムをインストールしてコントローラとして使用できるようにしてもよい。電源部1012には、コントローラとは別に、電源をOn/Offするスイッチが設けられている。
【0017】
表示制御部1002、制御部1003、運動判定処理部1006、映像情報源1007、映像処理部1008、映像判定処理部1009、頻度判定処理部1011は、それぞれ独立のハードウェアとして映像表示装置10に実装される。あるいは、それらは1つ以上の演算処理器やマイクロプロセッサとソフトウェアやファームウェアにより実現されても良い。それらは集積回路の一部の機能ブロックとして実装されてもよいし、FPGA(Field−Programmable Gate Array)などのプログラマブルロジックデバイスによって実現されてもよい。
【0018】
記憶部1010についても、個別の部品として実装される必要はなく、集積回路の一部の機能ブロックとして実装されてもよい。
【0019】
図1Bは、映像表示装置10の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、ハーフミラーであるレンズ部分に映像を投影する。コントローラ1020と装置の本体がケーブルにて接続されている。
【0020】
図1Cは、
図1Bの映像表示装置10を装着した時の図である。
【0021】
図1Dは、映像表示装置10の他の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、プリズムが映像表示部1001の投影部(
図2の2007)となっている。
【0022】
図1Eは、
図1Dの映像表示装置10を装着した時の図である。
【0023】
図1Fは、映像表示装置10のさらに他の一例の外観図である。目の前のプリズムが映像表示部1001の投影部(
図2の2007)となり、他の構成要素をヘルメットとつるの部分に分散して収納している。
【0024】
2.映像の表示
映像表示部1001の構成例を
図2に図示する。映像表示部1001は、映像信号処理部2001、光源素子電源制御部2002、光源素子2003、光源ドライバ2004、変調器2005、変調器ドライバ2006、投影部2007、設定制御部2008を備えている。
【0025】
映像処理部1008からの映像情報は映像信号処理部2001に送信され、映像信号処理部2001は受信した映像情報に対応する光源の明るさ、光源駆動のタイミング、変調器駆動パターンを決定する。
【0026】
光源の明るさの情報は光源素子電源制御部2002に送信される。光源素子電源制御部2002は受信した明るさの情報に応じて光源素子2003への供給電圧を制御する。
光源駆動のタイミングは光源ドライバ2004に送信される。光源ドライバ2004は 光源駆動のタイミングに応じて、光源素子2003を制御する。
光源素子電源制御部2002と光源ドライバ2004は同一の素子内に実装されていてもよい。
【0027】
図3に光源素子電源制御部2002、光源素子2003、光源ドライバ2004の詳細な構成図を示す。光源素子2003は赤色LED3001、緑色LED3002、青色LED3003の三原色の三つのLEDからなる。前記三つのLEDはそれぞれ電流制限抵抗3004、3005、3006と直列に接続され、光源素子電源制御部2002からそれぞれ電位VLEDr、VLEDg、VLEDbを印加される。VLEDr、VLEDg、VLEDbの電位は光源素子電源制御部2002により任意の値に設定可能であり、それぞれ赤色LED3001、緑色LED3002、青色LED3003の発光を制御できる。前記各電流制限抵抗3004、3005、3006のLEDと逆側の端子は、光源ドライバ2004に接続される。光源ドライバ2004はCTRLr、CTRLg、CTRLbの各端子の電位を変化させることで、それぞれ赤色LED3001、緑色LED3002、青色LED3003の発光量や発光時間などを制御し、変調器2005により、すべての画素(ピクセル)に変調される。表示制御部1002は、映像表示部1001の設定制御部2008に対して、光源の明るさを指定する制御信号を送る。
【0028】
光源は三原色LEDを一つずつ有する構成として説明したが、これに限るものではない。白色LEDを一つ以上有する構成としてもよい。また、LED以外の光源であってもよい。三原色についても、光源が原色のみを発光する構成でなくてもよく、例えば白色光源とダイクロイックフィルタやカラーホイールなどにより、特定色をフィルタで取り出すような構成であってもよい。
【0029】
図2の説明に戻る。
変調器駆動パターンは変調器ドライバ2006に送信される。変調器ドライバ2006は前記変調器駆動パターンに応じて変調器2005を駆動する。
変調器2005は例えば透過型液晶素子やLCOS(Liquid Crystal On Silicon)、DMD(Digital Mirror Device)などである。
変調器2005と変調器ドライバ2006は一つの素子部品として構成されてもよい。
以下変調器2005をLCOS方式と想定して説明する。
【0030】
前記光源素子2003から出射された光は、前記変調器2005によって変調され、投影部2007に投射される。
投影部2007は例えばミラーなどの反射物やスクリーンなどの散乱物、またはプリズム、ハーフミラー、レンズなどが挙げられる。また、これら複数の組み合わせでもよい。
【0031】
投影部2007の構造またはその他の構成要素の追加によって、本発明の映像表示装置10は装置利用者20の視界全体を覆う不透明なゴーグルのような形態と、装置利用者20が外界を視認することが可能であり視界の一部に映像を認識させる透過型形態が考えられる。以下の説明は透過型の形態を想定する。
【0032】
透過型の形態では、装置利用者20は
図7A,
図7B,
図7Cに示すように映像を視認する。すなわち、装置利用者20は、
図7Aのような外界と
図7Bのように仮想映像7001を重ね合わせ、
図7Cのように認識できる。
【0033】
また、映像表示装置10には、映像を装置利用者20の両眼に投影する形態と、片方の目のみに投影する形態がある。
図2では片方の目のみに投影する場合を想定しているが、両眼に投影する場合には、変調器2005からの光を左右二つの目に入射するように2つの投影部2007を持つように構成する。または映像表示部1001全体を右目用と左目用の二つ有する構成として、視差を伴う異なる画像を投影し、立体映像としてもよい。
【0034】
前記投影部2007からの光を装置利用者20が観測することで、前記入力された映像情報に応じた光を映像として認識することができる。
設定制御部2008は制御信号を受信し、映像信号処理部2001の設定を変更することができる。
【0035】
映像表示部1001は映像を表示するための表示方法を二つ以上有する。
図4A、4B,4C,4Dに表示方法を例示する。映像情報は例えば平均して1秒間当たりにN枚分の静止画が決まった順序で並べられた動画情報として扱われる、Nは1以上の正の数である。この時Nをフレームレートと呼び、毎秒の静止画数としてフレーム毎秒(fps:flames per second)であらわされる。フレームレートは例えば30fpsや60fpsなどが現在は一般的である。
図4の例では映像情報のフレームレートに対して、映像表示部1001の表示回数を変更している。
【0036】
図4Aに第一の表示方法を例示する。第一の表示方法では映像表示部1001は、フレームレートNに対し1/N秒につき1回表示映像を変更する。表示映像をフレームと呼称する。
【0037】
本実施では、フィールドシーケンシャル方式(色時分割方式)を例として説明する。すなわち一つのフレームの表示に対し、映像表示部1001は映像情報を赤、緑、青の原色成分に分割し、1/N秒をさらに3分割した時間内で各色成分の映像をそれぞれ別に表示する。
【0038】
例えばフレーム1の表示期間の最初では、LCOSである変調器2005の表示をフレーム1の映像情報から分割された赤成分に対応する設定(1R)とし、赤色LED3001を1/(3N)秒より短い所定時間(期間1R)だけ発光する。次に、変調器2005はフレーム1の緑成分に対応する設定(1G)とし、緑色LED3002を1/(3N)秒より短い所定時間(期間1G)だけ発光する。さらに変調器2005をフレーム1の青成分に対応する設定(1B)とし、青色LED3003を1/(3N)秒より短い所定時間(期間1B)だけ発光する。各色成分の表示を高速に順次行うことにより、装置を装着している観測者には三原色の成分が混ざったフルカラーの画像として認識される。
【0039】
このような各色成分の表示が表示映像のフレーム2、フレーム3に対しても同様に行われる。
図4A〜Dではフレーム3までの記載であるが、以降のフレームに対しても同様の処理が繰り返し実行される。
【0040】
図4Bには第二の表示方法を例示する。第二の表示方法では
図4Aの第一の表示方法と比較して、各フレームに対する変調器2005の各色成分の表示時間をさらに2分割し、表示映像のフレームレートNに対応する1/N秒を6分割した期間で一つの色成分を表示する。この第二の表示方法を、第一の表示方法の2倍の更新速度で変調器2005を駆動することから、2倍速駆動と呼ぶ。
【0041】
さらに変調器2005と光源素子2003の駆動速度を高速化することで、3倍速、4倍速、それ以上の表示方法も実現可能である。変調器2005と光源素子2003の駆動速度を変更することは、液晶素子またはミラーアレイ素子の画素情報の更新周期を変更することである。
図4Dに3倍速駆動のタイミングチャートを示した。
【0042】
図4Cには2倍速駆動時の変形例を示す。変調器2005や光源素子2003の駆動周期は
図4Bの表示方法と同様である。元の映像情報のフレーム1とフレーム2や他のフレームの映像から中間フレームのフレーム1.5を生成し、フレーム1、フレーム1.5、フレーム2の順に表示することで、観測者にとってはより滑らかな画像として認識される。中間フレームの生成は映像処理部1008により実施される。
例えば
図4Dのように2倍速よりも速い3倍速や4倍速などの更新速度であっても、中間フレームの生成は可能であり、2倍速に限るものではない。
【0043】
1倍速表示、2倍速表示、3倍速表示と倍速を挙げると、あるいは、中間フレームを生成することにより、装置利用者20が色割れを知覚しづらくなることで不快感は少なくなり、画像の動きがなめらかになるが、電力の消費量が大きくなる。
【0044】
表示制御部1002は、映像表示部1001の設定制御部2008を介して表示方法の切り替えを指示する制御信号を送信する。
【0045】
映像処理部1008は、映像情報源1007から入力された映像情報に変化を加えて映像表示部1001に出力することができる。
映像情報は例えば1フレームにつき縦にH個(Hは1以上の整数)横にV個(Vは1以上の整数)のH×V個の画素のデータを含む情報である。
画像のコントラスト変更とは、色の明暗の差異を変化させる処理で、映像情報源1007から入力された画素値に1より高い比例係数を掛けた値を映像表示部1001に出力する画素値とする処理である。
【0046】
画像の明るさ変更とは、画素値に対して、指定された値だけ増分して出力の画素値とする処理で、映像情報源1007から入力された画素値に任意の値を加算して映像表示部1001に出力する画素値とする処理である。
映像処理部1008は、制御部1003からの信号に応じて画像のコントラストを上げるまたは下げる、および/または画像の明るさを上げるまたは下げるなどの処理をおこなう。
【0047】
映像処理部1008は、画像に関する他のパラメータ、例えば、シャープネス、彩度、色相を制御部からの信号に応じて変更しても良い。
映像処理部1008は、制御部1003からの信号に応じて、これらの処理を行わずに映像情報を映像表示部1001に送るように切り替えることも可能である。
【0048】
例えば
図8Aに示す映像に対して、コントラストを弱めると
図8Bのような映像になる。一方
図8Aの映像のシャープネスを弱めると
図8Cのような映像になる。後述するように、装置利用者20の視点位置が表示画像の映像上に無い場合には、コントラストやシャープネスを弱めることにより、装置利用者20の目の疲労を軽減することができる。
【0049】
3.装置利用者の動きと映像の制御
第1センサ1004は装置利用者20の頭部の回転を検出するためのセンサであり、例えばジャイロセンサである。第1センサ1004は、所定時間の頭部の動きを示す3次元動きベクトルを出力する。第2センサ1005は視線の動きや注視点の位置を検出するための視線センサであり、装置利用者20の所定時間の視線の動きを示す2次元動きベクトルまたは3次元ベクトルを出力する。
【0050】
運動判定処理部1006は、第1センサ1004と第2センサ1005の出力から、装置利用者20の運動状況を判定する。具体的には、頭部の動き、視線の動き、頭部の動きと視線の動きの方向の3つである。センサ出力からこの3つの項目を判定する処理については、後述する。また、運動判定処理部1006は、注視点が映像表示装置による仮想映像7001上にあるかないかを判定するが、その処理についても後述する。
制御部1003は、前記運動判定処理部1006の判定結果から、処理内容を
図5にしたがって決定して、映像表示部1001の表示速度を表示制御部1002に、および映像のパラメータに関する処理を映像処理部1008に指示する。
【0051】
図5のパターン1では、装置利用者20の頭部の動きがなく、視線の動きがなく、注視点が仮想映像上にある場合である。この時、装置利用者20は静止しているため、装置への加振や装置と装置利用者20の位置ずれも発生しづらい。また眼球の移動もない。カラーブレイクなどの装置利用者20が不快に感じる現象も発生しづらい。このような場合、不快感への影響に対して配慮の必要性は低いので、制御部1003は処理Aを指示する。
【0052】
処理Aとは、映像表示部1001の表示方法を1倍速駆動とし、映像処理部1008による映像処理を行わず、映像情報源からの映像に変更を加えることなく映像表示部1001に渡す処理である。最も、電力消費の少ない処理である。
【0053】
図5のパターン2では、パターン1と比較して、第2センサ1005による検出される注視点が仮想映像上にない点が違う。この時、装置利用者20は停止しており、さらに仮想映像7001を視認しておらず、視認性の重要度が低下するため、制御部1003は処理Bを指示する。
【0054】
処理Bとは、映像表示部1001の表示方法を1倍速駆動とし、映像処理部1008によって映像のコントラストと明るさを規定の量下げる処理である。
【0055】
図5のパターン3、パターン5、パターン8は、装置利用者20の頭部の動きが検出されたか、または視線の動きの検出がされたかのいずれかであり、かつ注視点仮想映像上にある場合である。
これらのパターンでは、装置利用者20は静止しておらず、映像表示装置10の装置利用者20が不快を感じる可能性が増すため、不快感への配慮の必要性は高くなる。不快感を低減するための制御部1003は処理Cを指示する。
【0056】
処理Cでは、映像表示部1001の表示方法をより更新速度の早い3倍速とする一方、映像処理部1008による映像処理を初期値に戻す。
【0057】
図5のパターン4、パターン6、パターン9は、装置利用者20の頭部の動きが検出された、または視線の動きが検出されたかのいずれかであり、かつ注視点が仮想映像上にない場合である。
これらのパターンでは、装置利用者20は静止しておらず、装置利用者20の不快感への配慮の必要性は高くなるが、装置利用者20は仮想映像6001を視認しておらず、視認性の重要度も低いため、制御部1003は処理Dを指示する。
【0058】
処理Dでは、映像表示部1001の表示方法をより更新速度の早い3倍速とする一方、映像処理部1008によって映像のコントラストと明るさを規定の量下げる。
【0059】
図5のパターン7では、装置利用者20の頭部の動きが検出され、かつ視線の動きが検出されている。この時の前記頭部の動きの方向と前記視線の動きの方向が略同一の方向である場合、眼球運動はいわゆるサッカード(saccade:断続性運動)である可能性が高く、装置利用者20は外界も仮想映像7001も認識外になっている可能性が高い。このような場合にも装置利用者20の映像への不快感には配慮する必要があるが、仮想映像の視認性の重要度は低いので、制御部1003は前述の処理Dを指示する。
【0060】
図6は
図5に表した、パターンによる制御様式を実現するためのフローチャートであり、制御部1003と運動判定処理部1006により実行される。
本体電源スイッチがONにされた時、あるいは、装置利用者20からの指示があった時に、ステップS010から処理が開始される。
【0061】
ステップS020において、制御部1003は、初期設定と第1センサ1004および第2センサ1005の通電処理を行う。初期処理では、映像表示部1001の表示方法を2倍速に設定し、映像処理部1008の各種パラメータを規定の初期値にする。
【0062】
ステップS030において、運動判定処理部1006が第1センサ1004からセンサ出力を取得する。
ステップS040において、運動判定処理部1006が第2センサ1005からセンサ出力を取得する。
【0063】
ステップS050では、頭部の回転速度の大きさが規定値A1(A1は正の値)以上であるかを、運動判定処理部1006が第1センサの出力から判定し、判定結果をXとする。該検出結果が規定値A1以上であればXは真(‘1’)とし、A1未満であればXは偽(‘0’)とする。
ステップS060では、運動判定処理部1006が、第2センサの出力から、視線の移動の速度の大きさが、規定値S1(S1は正の値)以上であるかを判定し、判定結果をYとする。該検出結果が規定値S1以上であればYは真(‘1’)とし、S1未満であればYは偽(‘0’)とする。
【0064】
ステップS070では、運動判定処理部1006が、第2センサの出力から、視線の位置(注視点)の2次元座標が仮想画像の上(所定の範囲内)にあるかどうかを判定し、判定結果をZとする。注視点の位置が所定の範囲内である場合Zは真(‘1’)として、注視点の位置が所定の範囲外である場合Zは偽(‘0’)とする。
【0065】
上述のX,Y,Zとその値を
図5にも示してあるので参照されたい。
ステップS080では、運動判定処理部1006が、前記判定結果Xと前記判定結果Yの論理積に基づいて条件分岐をおこなう。X・Y=0であるならば、ステップS110に進み、X・Y=1であるならばステップS090に進む。
【0066】
ステップS090では、運動判定処理部1006が、前記判定結果Xと前記判定結果Yの排他的論理和(XOR)に基づいて条件分岐を行う。X XOR Y=1であるならばステップS111に進み、X XOR Y=0であるならばステップS100に進む。
ステップS110では、Zが真であるならばステップS120に進み、制御部1003が処理Aを指示し、Zが偽であるならばステップS130に進み、制御部1003が処理Bを指示する。
【0067】
ステップS100では、運動判定処理部1006が、第1センサ1004の出力である頭部の移動速度の方向と、第2センサ1005の出力である視線の移動方向とを比較し、動きベクトルの方向が略一致するかを判定する。その判定方法については、後述する。
ステップS111では、判定結果Zに基づいて条件分岐を行う。Zが真であるならばステップS140に進み、制御部1003が処理Cを指示し、Zが偽であるならばステップS150に進み、制御部1003が処理Dを指示する。
【0068】
ステップS160では、本フローを連続的に実施する設定となっているかを判定する。該設定は装置利用者20が設定あるいは設定変更しても良いし、デフォルトが設定されていてもよい。設定が有効であれば待機ステップS170に進み、設定が無効であれば終了ステップS180に進む。
【0069】
ステップS170では、所定の時間(300ミリ秒から10秒程度)の待機を行った後、ステップS030に戻る。
ステップS180では第1センサ1004および第2センサ1005の電源遮断処理や休止設定を実施する。
終了ステップS190で処理が終了する。
【0070】
映像表示装置10は記憶部1010を有する。制御部1003は映像表示部1001の表示方法を変更した際、または映像処理部1008の処理方式を変更した際に、変更を行った履歴や時刻等を記憶部1010に記録する。
【0071】
頻度判定処理部1011は記憶部1010に記録された各処理の変更履歴が所定時間内に所定の回数を超えた場合、例えば、3日間に5回の変更が行われた場合、映像情報源1007に対して変更履歴に応じた映像情報の設定変更を要求する。映像情報の変更要求は、例えば
図6のステップS180の終了処理のタイミングで行われ、映像情報の変更とは画像のコントラスト、シャープネス、彩度、色相、画像の明るさなどのパラメータの変更である。
【0072】
4.視線センサ
第2センサ1005である視線センサの1例を紹介する。
図11Aに示すようにセンサA素子1101とセンサB素子1102と検出制御器1103を備える構成である。センサA素子1101が動きを検出すると検出制御器1103がセンサ2素子1102を起動し、より精密なデータを出力するようにセンサB素子に命令する。
【0073】
より具体的な構成を
図11Bに示す。
図1B,
図1Dのような眼鏡型の装置のフレーム部分に実装するのに適している。視線センサは装置利用者20の目1111の動きの検出が可能であり、赤外光を出射する第一の投光部1112および第二の投光部1113、第一の受光器1114および第二の受光器1115、比較器1116、第一のカメラ1117および第二のカメラ1118、電流制御部1119、動き検出処理部1120、休止制御部1121から構成される。
【0074】
第一の投光部1112および第二の投光部1113から出射された赤外光は装置利用者20の目1111に投影され反射される。反射された赤外光は第一の受光器1114および第二の受光器1115に入射する。第一の受光器1114と第二の受光器1115は目1111に対して左右異なる方向に設置され、黒目と白目の位置によって受光量が変化する。目1111の左右に第一の受光器1114と第二の受光器1115が配置されるため、目1111が変位した際の受光量の変化は受光器によって異なる。第一の受光器1114の受光量と第二の受光器1115の受光量から、比較器1116によって差分を求めることで、目1111の動きを検出できる。強膜反射法と呼ばれる検出方法である。
【0075】
動き検出器1120は、比較器1116出力が所定値以上の場合に目1111の動きを検出したと判定し、動き検出信号を出力し、比較器1116出力が所定値より小さい場合に目1111に動き無しと判定し、動き不検出信号を出力する。
【0076】
動き検出器1120から動き検出の信号を受信すると、休止制御部1121は第一のカメラ1117および第二のカメラ1118を映像の撮影が可能な撮像状態とし、それらのカメラは目1111から反射された赤外光により目1111を撮像する。第一のカメラ1117および第二のカメラ1118により撮像された映像から、図示しない画像処理部により画像処理を行いより詳細な視線の動きおよび視点の位置を推定する。画像処理には、暗瞳孔法や角膜反射法などを用いる。
【0077】
動き検出器1120から動き不検出の信号を受信すると、休止制御部1121は第一のカメラおよび第二のカメラ内の一部機能を停止して消費電力を抑える休止状態とさせる。
動き検出処理部1120は、動き検出あるいは動き不検出の信号を電流制御部1119に送る事によって、第一の投光部1112および第二の投光部1113への供給電力を変更する。休止状態における電流量よりも撮像状態における電流量が大きくなるように制御する。
【0078】
一般的にカメラ素子は受光器よりも消費電力が高く、また検出に必要となる光量も多くなる。このため、常時カメラ素子を撮像状態とするよりも、大まかな動きが受光器で検出された場合のみカメラ素子を撮像状態とする本制御方法により装置の消費電力が抑制される。
本実施例では投光部は二つの場合を例示したが、個数はこれに限るものではない。さらに多くの投光部を有してもよい。また、各投光部の発光タイミングを異なるように制御して、各投光部の発光に合わせて受光器またはカメラ素子はデータを取得する構成でもよい。
【0079】
また、カメラ素子と受光器の個数についても、各二個の場合を例示したが、個数はこれに限るものではない。また、受光器とカメラ素子は一つの素子として構成されてもよく、例えばカメラ素子の一部画素を受光器として構成しても良い。
【0080】
5.視点のずれ補正と注視点位置の検出
図6に示した初期設定ステップS020では、第2センサ1005の初期化処理を行ってもよい。第2センサ1005が装置利用者20の視線を検出するセンサである場合、装置利用者20の注視点と第2センサと位置の間に、装置の使用毎にずれが生じる可能性がある。
【0081】
このずれを補正するために、運動判定処理部1006は、初期化処理時に映像表示部1001に
図12Aに示すように表示領域に対角線仮想映像1201を表示し、装置利用者20をその交点を見つめるように促す文章を表示する。第2センサ1005が注視点の位置で所定の秒数静止していることを検出した場合、装置利用者20が仮想映像1201の交点を凝視していると判断して、注視点の位置を第2センサ1005の基準位置p0(h0,v0)と設定する。
【0082】
映像表示部1001の映像表示範囲全体が仮想映像1201のようにP1(Hmin,Vmin)、P2(Hmax,Vmin)、P3(Hmin,Vmax)、P4(Hmax,Vmax)で囲まれる四角形である時、h0=(Hmax−Hmin)/2、v0=(Vmax−Vmin)/2となる。
【0083】
図6の注視点判定ステップS070では基準位置p0(h0,v0)を基準として、第2センサ1005の検出結果が映像表示部1001に表示された映像の上にあるか(Zが‘1’か)を判定する。
図12Bのように、任意の仮想表示映像1202がQ1(Hl,Vd)、Q2(Hl,Vu)、Q3(Hr,Vd)、Q4(Hr,Vu)に囲まれる領域に表示されているとき(Hmin≦Hl≦Hmax、Hmin≦Hr≦Hmax、Vmin≦Vd≦Vmax、Vmin≦Vu≦Vmax)、第2センサ1005により、注視点の位置がp(h,v)として得られたとする。この時、p(h,v)が四角形Q1Q2Q3Q4内にある場合に、運動判定処理部1006は、注視点の位置が仮想映像上にあるとし、ステップS070のZが真であると判定する。
【0084】
基準位置の検出タイミングは、初期処理以外にも、コントローラ1020により、装置利用者20が指定した時点に行ってもよい。装置利用者20が指定された点の注視の前後に故意に特定の長さまたは特定の順序のまばたきをすることで第2センサ1005に検出タイミングを指示してもよい。
仮想表示映像1202は四角形である必要はなく、三角形や円形などその他の図形でもよい。
【0085】
6.頭部の動きの視線の動きの方向
運動判定部1006では、第1センサ1004の動きベクトル出力と、第2センサ1005の動きベクトル出力から、頭部の動きと視線の動きのそれぞれの動きの方向が一致するかを検出する。
【0086】
第1センサ1004の出力が三次元ベクトルA
0で表現できるとする。装置利用者20が仮想映像7001を認識する距離にあり、仮想映像7001の四隅を含む仮想平面をSとしたとき、平面Sに対する三次元ベクトルA
0の正射影ベクトルをAとする。第2センサ1005の出力が三次元ベクトルの場合も同様のベクトル変換処理を行う。
装置利用者20が仮想映像7001を認識する距離は映像表示部1001内の投影部2007などの光学的な構成によって決まり、装置利用者20は眼球の焦点調節機能により仮想映像7001を所定の距離離れた位置に認識する。
【0087】
第2センサ1005が二次元ベクトルB0を出力するとき、第2センサ1005の検出軸を含む三次元空間上の平面Tを考えて、二次元ベクトルB0を平面T上の三次元ベクトルB
1に変換し、三次元ベクトルB
1の平面Sに対する正射影ベクトルをBとする。第1センサ1004の検出結果が二次元の出力で得られる場合も同様のベクトル変換処理を行ってもよい。
【0088】
両検出センサの移動方向を単一の平面に投影したベクトルとして表現し、第1センサ1004の出力の移動ベクトルをA、第2センサ1005の出力の移動ベクトルBとしたとき、両ベクトルのなす角(ANGLE) θ= ANGLE(A−B)の絶対値と、任意の値α(αは正の値)との比較を持って略一致を判断する。
【0089】
すなわち、θ≦αであれば移動方向が略一致すると判定し、θ>αであれば移動方向が一致しないと判定する。
【0090】
7.変形例
(1)第1センサ1004と第2センサ1005は、加速度センサ、地磁気センサ、GPS、使用者を撮影するカメラ、使用者から見た外界映像を撮影するカメラ、使用者の脈拍を測定するセンサ、使用者の血流を測定するセンサ、時計などでもよい。また、第1センサ1004および第2センサ1005はそれぞれにフィルタや増幅器やレベルシフタなどを含んでいてもよい。または、コンパレータを含んで、閾値に対して検出結果が高いか低いかの二値での結果をベクトル値とともに送信する構成でもよい。また、検出結果である動きの持続時間が所定の時間を超えた場合、動きが所定の速度を超えた場合、動きが所定の変動量を超えた場合のいずれかの一つ以上の条件を満たすときに、動きが検出されたとする信号を出力する構成でもよい。
【0091】
(2)第1センサ1004または第2センサ1005の出力を利用した運動判定処理部1006の判定処理に替わりに、映像判定処理部1009が画像の特徴を判定しても良い。
映像判定処理部1009は、映像情報が装置利用者20に対して、表示の不快感を発生する可能性があるかを判定する。例えば
図9Aに示すように画面内を物体が連続的に移動するような映像の場合、装置使用者20は移動する映像に対して眼球を動かして追従すると予測される。また、例えば
図9Bに示すように画面内に文字列などの縦、横、斜めの方向に連続的に認識することで意味を生じるような内容が映像に含まれる場合、装置使用者20は眼球を動かして視点を映像に沿って動かすことが予想される。
【0092】
このような画像は、映像判定処理部1009がデジタル画像の映像解析を行い、画像フレーム間の差分データの量を参照する事により、予め検出できる。
図9A、
図9Bのようにあらかじめ視点を動かすことが予測されるような映像の場合は、処理Cを適用するように、映像判定処理部1009が制御部1003に制御信号を出力する。
【0093】
また、映像表示装置10の投影部2007が透過型である場合、映像判定処理部1009は、表示する映像が外界と関連のある映像、例えば拡張現実(AR:Argmented Reality)の映像であるかを判定してもよい。映像判定処理部1009は、映像のメタデータや付加情報から映像の種類を判定できる。例えば
図7Bの仮想映像7001は、
図7Aの外界と関連した情報を表示しており、このように外界と関連のある映像であると判定された場合は、注視点が仮想映像7001以外の位置に検出されても(Zが偽)、表示映像の視認性の重要度は高いため、
図5の処理Cの適用を制御部1003に指示する。
【0094】
(3)映像表示部1001の表示方法として、
図10Aに示す表示方法を採用しても良い。
図10Aに示す表示方法では、
図4Bの2倍速駆動とし、光源の制御を停止し、光源素子2003の赤色LED3001、緑色LED3002、青色LED3003の発光期間を略同時とする。このようにすることで、三つのLEDからの光が混色され、装置利用者20は映像を白黒の画像として認識し、原理上カラーブレイクが発生しない。
図5において、映像の不快感配慮への必要性が高いとした
図5の処理Cおよび処理Dに適用してもよい。
【0095】
さらに、映像情報のうち連続する複数のフレームの画像が略同一の画像である場合、変調器2005のフレームの更新を停止してもよい。例えば
図10Bのように、フレーム1とフレーム2とフレーム3が、略同一の画像である場合、これらのフレームに対応する期間、変調器2005は同一のフレーム1を表示し続ける。
【0096】
略同一の画像であるとは、例えばH×V個の画素情報(H、Vともに正の整数)として映像情報が表現できるとき、連続するフレームの間で、情報が変更された画素の数がH×V個よりも十分小さい場合や、各画素の色情報がR、G、Bの原色情報(例えばR、G、Bともに0〜255までの正の整数)として表現できるとき、連続するフレームの間で各画素のR、G、Bの値の変化が十分に小さい場合などが挙げられる。
【0097】
こうすることで画像のちらつきを低減できる。また変調器2005が強誘電液晶を使用している場合には、同一のフレームを複数回表示するために、情報の消去と再表示に電力を消費する。変調器2005のフレーム更新を停止することでさらに電力消費の低減につながる。
図5の処理Cおよび処理Dに適用しても良い。
【0098】
(4)映像情報源1007は外部から映像情報を取得する構成でもよい。例えば、DVI、HDMI(登録商標)、DisplayPortなどの映像伝送規格に準拠した受信器であってもよいし、SPI、I2C、RS232、USBなどの一般的な電気信号の伝送方法を用いる受信器であってもよいし、Ethernet(登録商標)などの有線ネットワーク受信器であってもよいし、無線LANやBluetooth(登録商標)などの無線ネットワーク受信器であってもよい。
また、映像情報源1007は、圧縮された情報を受信して伸張することで映像情報にするデコーダを含んでいてもよいし、暗号化された映像情報を受信して復号する機能を含んでいてもよい。
【0099】
(5)電源部1012は映像表示装置10に電力を供給する。電源部1012は電力源として外部電源から充電可能な充電式電池、交換可能な一次電池から所望の電力を取り出す電源回路、コンセントなどの外部電源と接続して所望の電力を取り出すためのコンバータ、電力安定化回路のうち一つ以上を含む。また、電源部1012は電力源の他に、充電や供給電力などを制御したり電力源を観測したりするための電力制御用の集積回路を含む構成でもよい。
【0100】
制御部1003は、電源部1012から電力源の残り電力量の情報を取得し、残り電力量が所定値を上回る場合のみ、映像処理部1008の映像処理を動作させるように制御する。
制御部1003は、電源部1012の残り電力量が所定値を上回る場合のみ、映像表示部1001の表示方法を表示周期が短くなるように変更できる構成としてもよい。
制御部1003は、電源部1012の残り電力量が所定値を下回る場合、映像表示部1001の表示方法を表示周期が長くなるように変更する構成としてもよい。