(58)【調査した分野】(Int.Cl.,DB名)
利用者の眼前部に装着して用いられる映像表示装置の基準位置からの変位を測定する変位測定部により測定された変位に基づいて、前記利用者の姿勢状態が不安定状態か否かを判定する姿勢判定ステップと、
前記利用者の姿勢状態が不安定状態であると判定された場合、映像表示部に表示する映像が、前記映像表示部の中心位置を基準として表示されるように映像信号を調整する表示映像調整ステップと、
を有し、
前記姿勢判定ステップは、前記変位測定部により所定のタイミングで測定された前記映像表示装置の変位の中で最新の測定時における変位と、該最新の測定時の前である前回の測定時における変位との差分を算出し
前記変位の差分が所定の値以上の場合、または、前記変位の差分が所定の値未満である場合が所定の時間以下である場合に、前記利用者の姿勢状態が不安定状態であると判定する
ことを特徴とする映像表示方法。
【発明を実施するための形態】
【0012】
本発明の映像表示装置の実施形態について、図面を参照しながら説明する。
【0013】
図1は、本発明の映像表示装置の一例を示す模式図である。
図1に示すように、本発明の映像表示装置100は、利用者10の眼前部に装着バンド20等により装着して用いられる。
【0014】
図2は、本発明の映像表示装置100の機能構成の一例を示すブロック図である。
図2に示すように、発明の映像表示装置100は、姿勢判定部110と、表示映像調整部120とを備える。
【0015】
上記姿勢判定部110は、映像表示装置100の基準位置からの変位を測定する変位測定部130により測定された変位に基づいて、利用者の姿勢状態が不安定状態か否かを判定する。そして、姿勢判定部110は、所定の姿勢ロック信号を出力することができる。
【0016】
映像表示装置100の基準位置とは、例えば、映像表示装置100の電源がONになった時の映像表示装置100の位置とすることができる。あるいは、映像表示装置100に、基準位置設定用のスイッチ等を設け、このスイッチがONにされた時の映像表示装置100の位置を基準位置とすることもできる。
【0017】
所定の姿勢ロック信号とは、例えば、利用者の姿勢状態に応じた「TRUE」または「FALSE」の信号とすることができる。具体的には、例えば、後述するように、利用者の姿勢状態が安定状態であると判定された場合に、姿勢ロック信号をTRUEとして出力し、利用者の姿勢状態が不安定状態であると判定された場合に、姿勢ロック信号をFALSEとして出力することができる。
【0018】
そして、本発明の映像表示装置100は、上記表示映像調整部120が、姿勢判定部110により利用者の姿勢状態が不安定状態であると判定された場合、映像表示部140に表示する映像が、映像表示部140の中心位置を基準として表示されるように映像信号を調整することを特徴とする。
【0019】
かかる構成により、本発明の映像表示装置100は、利用者の姿勢状態に応じて映像を調整することで、頭部の微動により生じる映像ぶれは除去し、姿勢の変更による大きな動きには映像を追従させることができる。
【0020】
上記姿勢判定部110は、姿勢状態が安定状態か否かを判定し、表示映像調整部120は、姿勢判定部110により利用者の姿勢状態が安定状態であると判定された場合、映像表示部140に表示する映像が、基準変位に基づく位置を基準として表示されるように映像信号を調整することができる。具体的には、表示映像調整部120は、映像表示装置100の映像表示部140の中心位置を基準として表示されるように映像信号を調整することができる。
【0021】
上記姿勢判定部110は、変位測定部130により所定のタイミングで測定された映像表示装置100の変位の中で最新の測定時における変位と、該最新の測定時の前である前回の測定時における変位との差分を算出し、変位の差分が所定の値未満である場合が所定の時間を超えて継続した場合に、利用者の姿勢状態が安定状態であると判定することができる。
【0022】
また、上記姿勢判定部110は、変位測定部130により所定のタイミングで測定された映像表示装置100の変位の中で最新の測定時における変位と、該最新の測定時の前である前回の測定時における変位との差分を算出し、変位の差分が所定の値以上の場合、または、変位の差分が所定の値未満である場合が所定の時間以下である場合に、利用者の姿勢状態が不安定状態であると判定することができる。
【0023】
上記所定の時間とは、後述するように、変位の計測の回数に基づいてカウントされることができる。具体的には、例えば4〜5秒を所定の時間とすることができる。
【0024】
上記姿勢判定部110は、変位測定部130によって、利用者の頭部の直立方向と平行な軸を中心とした回転角であるヨウ角、利用者の頭部の前後方向と平行な軸を中心とした回転角であるロール角、および、利用者の頭部の左右方向と平行な軸を中心とした回転角であるピッチ角を用いて測定された変位に基づいて、利用者の姿勢状態を判定することができる。
【0025】
図3は、上記ヨウ角、ピッチ角、およびロール角を説明するための模式図であり、利用者の頭部の直立方向と平行な軸をZ軸、利用者の頭部の前後方向と平行な軸をX軸、利用者の頭部の左右方向と平行な軸をY軸としたものである。これら3軸は、互いに直交する。
【0026】
この時、頭部の水平的な回転運動は、X軸の正方向を0°としてZ軸の回りを回転する角であるヨウ角Yで示される。なお、ここではZ軸の正方向を向いて時計回りをヨウ角Yの正方向とする。
【0027】
同様に、頭部の前後方向の傾き(お辞儀方向の傾き)は、X軸の正方向を0°としてY軸を中心軸とした回転角であるピッチ角Pとして示される。なお、ここではY軸の正方向を向いて時計回りをピッチ角Pの正方向とする。
【0028】
同様に、頭部の左右方向の傾き(かしげ方向の傾き)は、Y軸の正方向を0°としてX軸を中心軸とした回転角であるロール角Rとして示される。なお、ここではX軸の正方向を向いて時計回りをロール角Rの正方向とする。
【0029】
上記ヨウ角Y、ピッチ角P、ロール角Rを用いて測定された変位により、映像表示装置100の三次元位置を把握することができる。
【0030】
例えば、変位測定部130は、本発明が実現しようとしている機能のON/OFFスイッチがONに切り替わったタイミングにおける映像表示装置100の位置を基準位置としてX,Y,Z軸を設定し、基準位置からのヨウ角Y、ピッチ角P、ロール角Rの変位を変位POS(Y、P、R)として出力することができる。
【0031】
上記姿勢判定部110は、ヨー角、ロール角およびピッチ角の各々について、最新の計測時における変位と前回の計測時における変位との差分絶対値を算出し、ヨー角の変位の差分絶対値が第二の値未満、ロール角の変位の差分絶対値が第三の値未満、かつピッチ角の変位の差分絶対値が第四の値未満が所定の時間を超えて継続した場合に、利用者の姿勢状態が安定状態であると判定することができる。
【0032】
上記第二の値とは、例えば10度とすることができる。
【0033】
上記第三の値とは、例えば10度とすることができる。
【0034】
上記第四の値とは、例えば10度とすることができる。
【0035】
上記姿勢判定部110は、利用者の姿勢状態が安定状態であるとの判定が連続する場合、該連続する安定状態であるとの判定の中で最初の判定時における変位を基準変位として記憶することができる。
【0036】
上記表示映像調整部120は、姿勢判定部110により利用者の姿勢状態が安定状態であると判定された場合、映像表示部140に表示する映像が、基準変位における映像表示装置の映像表示部の中心位置を基準として表示されるように映像信号を調整することができる。すなわち、本明細書において、映像表示部140に表示する映像が、基準変位における映像表示装置の映像表示部の中心位置を基準として表示されることは、「映像表示部140に表示する映像が、利用者の姿勢状態に非追従する」ともいう。具体的には、
図4(a)に示す映像表示装置100の位置を基準変位とすると、
図4(b)に示すように、利用者10の頭部が上向きに微動した場合、映像表示部140により表示される表示領域40は上向きに移動し、表示領域50となるものの、表示される映像55の中心位置は、基準変位における映像表示部140の中心位置Oに揃って表示されるように調整されることができる。
【0037】
上記表示映像調整部120は、姿勢判定部110により利用者の姿勢状態が不安定状態であると判定された場合、映像表示部140に表示する映像が、映像表示部140の中心位置を基準として表示されるように映像信号を調整することができる。すなわち、本明細書において、映像表示部140に表示する映像が、映像表示部140の中心位置を基準として表示されることは、「映像表示部140に表示する映像が、利用者の姿勢状態に追従する」ともいう。具体的には、
図5に示すように、入力された映像信号に各種変形処理を行うことなく、表示される映像55の中心位置が、映像表示部140により表示される表示領域50の中心位置Oに揃って表示されるように調整されることができる。
【0038】
上記姿勢判定部110は、利用者の姿勢状態が安定状態であるとの判定が連続する場合、該連続する安定状態であるとの判定の中で最初の判定時における変位を基準変位として記憶し、表示映像調整部120は、姿勢判定部110により利用者の姿勢状態が安定状態であると判定された場合、映像表示部140に表示する映像が、基準変位における映像表示装置100の映像表示部140の中心位置を基準として表示されるよう、基準変位と最新の測定時の変位との差分を算出し、ロール角の変位の差分絶対値に基づいて、映像信号の中心を軸とした回転処理を行い、回転処理後、ヨー角の変位の差分絶対値に基づいて、映像信号の左右方向シフト処理を行い、シフト処理後、ピッチ角の変位の差分絶対値に基づいて、映像信号の上下方向シフト処理を行うことができる。
【0039】
上記映像表示部140により表示される表示領域50は、例えば
図6に示すように、入力された映像信号による映像55を表示するために必要な画素数よりも多くの画素数を有するのが好ましい。
【0040】
上記変位測定部130は、加速度センサとするのが好ましい。加速度センサには、各種ジャイロセンサを始め、圧電素子とマグネットを組み合わせた傾斜角センサ、角加速度センサ、地磁気センサなどを用いることができる。変位測定部130が設けられる位置については特に限定されないが、例えば、
図1に示すように、利用者の鼻部の上側等に設けられることができる。
【0041】
本発明の映像表示方法の実施形態について、図面を参照しながら説明する。
【0042】
図7は、本発明の映像表示方法の一例のフローを示すフローチャートである。
図7に示すように、本発明の映像表示方法は、コンピュータに、姿勢判定ステップS1000と、表示映像調整ステップS2000とを処理させることを特徴とする。
【0043】
姿勢判定ステップS1000では、利用者の眼前部に装着して用いられる映像表示装置の基準位置からの変位を測定する変位測定部130により測定された変位に基づいて、利用者の姿勢状態が不安定状態か否かを判定する。このステップは、上述した姿勢判定部110により処理されることができる。
【0044】
そして、本発明の映像表示方法は、表示映像調整ステップS2000が、姿勢判定ステップS1000において利用者の姿勢状態が不安定状態であると判定された場合、映像表示部に表示する映像が、映像表示部の中心位置を基準として表示されるように映像信号を調整することを特徴とする。
【0045】
図8は、姿勢判定ステップS1000における具体的な処理フローの一例を示すフローチャートである。
【0046】
初めに、ステップS100では、変位測定部130が変位を測定するための原点セットを行い、POS1(Y1,P1,R1)に(0,0,0)を設定する。そして、姿勢判定部110から出力された姿勢ロック信号LOCKの値をFALSEに設定し、基準変位POS_LOCKに(0,0,0)を設定する。
【0047】
続いて、ステップS101では、カウンタ信号countに0を設定する。
【0048】
ステップS102では、変位測定部130から出力される変位POSを保持しておくための内部レジスタPOS1(Y1,P1,R1)に現在の変位POSを保持する。
【0049】
ステップS103では、変位測定部130から出力される変位POSが更新される。
【0050】
ステップS104では、前回の変位POS1と最新の変位POSの差分絶対値、つまりはDIF_Y,DIF_P,DIF_Rの計算が下記式(1)〜(3)に基づいて行われる。
DIF_Y=|Y−Y1|---------(1)
DIF_P=|P−P1|---------(2)
DIF_R=|R−R1|---------(3)
【0051】
ステップS105では、ステップS100で設定した姿勢ロック信号LOCKと基準変位POS_LOCKを出力する。
【0052】
ステップS106では、DIF_Yが任意に設定可能な閾値TH_Yより小さいかどうかの判定が行われ、YESの場合はステップS107に進み、NOの場合はステップS101に戻りcountが0にリセットされる。
【0053】
ステップS107では、DIF_Pが任意に設定可能な閾値TH_Pより小さいかどうかの判定が行われ、YESの場合はステップS108に進み、NOの場合はステップS101に戻りcountが0にリセットされる。
【0054】
ステップS108では、DIF_Rが任意に設定可能な閾値TH_Rより小さいかどうかの判定が行われ、YESの場合はステップS109に進み、NOの場合はステップS101に戻りcountが0にリセットされる。
【0055】
ステップS109ではカウンタcountの値を1だけカウントアップする。
【0056】
ステップS110では、カウンタcountの値が任意に設定可能な閾値TH_CNTより大きいかどうかの判定が行われ、YESの場合は姿勢ロックモードに遷移しステップS200に進み、NOの場合はS102に戻る。
【0057】
ステップS200では、姿勢ロック信号LOCKの値をTRUEに設定し、基準変位POS_LOCKに現在の変位POS(Y,P,R)を設定する。
【0058】
ステップS201では、ステップS200で設定した姿勢ロック信号LOCKと基準変位POS_LOCKを出力する。
【0059】
ステップS202では変位測定部130から出力される変位POSが更新される。
【0060】
ステップS203では、前回の変位POS1と今回の変位POSの差分絶対値、つまりはDIF_Y,DIF_P,DIF_Rの計算が上記式(1)〜(3)に基づいて行われる。
【0061】
ステップS204では変位測定部130から出力される変位POSを保持しておくための内部レジスタPOS1(Y1,P1,R1)に現在の変位POSを保持する。
【0062】
ステップS205では、DIF_Yが任意に設定可能な閾値TH_Yより小さいかどうかの判定が行われ、YESの場合はステップS206に進み、NOの場合は姿勢ロックモードが解除されステップS100に戻る。
【0063】
ステップS206では、DIF_Pが任意に設定可能な閾値TH_Pより小さいかどうかの判定が行われ、YESの場合はステップS207に進み、NOの場合は姿勢ロックモードが解除されステップS100に戻る。
【0064】
ステップS207では、DIF_Rが任意に設定可能な閾値TH_Rより小さいかどうかの判定が行われ、YESの場合はステップS201に戻り姿勢ロック信号LOCKと基準変位POS_LOCKが出力され、NOの場合は姿勢ロックモードが解除されステップS100に戻る。
【0065】
以上の処理フローにより、DIF_Y<TH_YかつDIF_P<TH_PかつDIF_R<TH_Rの状態が閾値TH_CNT回よりも多く続いたら姿勢ロックモードに遷移し、姿勢ロック信号LOCKの値をTRUEに、基準変位POS_LOCKの値を姿勢ロックモード遷移時の変位POSに更新し出力することができる。
【0066】
また、姿勢ロックモード時は、DIF_Y<TH_YかつDIF_P<TH_PかつDIF_R<TH_Rの状態が続く限り姿勢ロックモードを継続し、モード遷移時に更新した姿勢ロック信号LOCK、基準変位POS_LOCKの値を出力し続ける。
【0067】
一方、姿勢ロックモード時に、DIF_Y<TH_YかつDIF_P<TH_PかつDIF_R<TH_Rの状態が途切れた場合は姿勢ロックモードを解除し、姿勢ロック信号LOCKの値をFALSEに、基準変位POS_LOCKの値を(0,0,0)に更新し出力する。非姿勢ロックモード時は姿勢ロック解除時に更新した姿勢ロック信号LOCK、基準変位POS_LOCKの値を出力し続ける。
【0068】
表示映像調整部120では、姿勢判定部110が出力する姿勢ロック信号LOCKと基準変位POS_LOCK(Y_LOCK,P_LOCK,R_LOCK)と変位測定部130が出力する変位POS(Y,P,R)に基づき、入力されてきた映像信号に対して水平垂直シフト、回転処理を行うことで調整したのち調整映像信号として出力する。
【0069】
表示映像調整部120は、姿勢ロック信号LOCKがFALSEの場合は、
図5に示すように、入力映像信号の表示画素数よりも多くの画素数を有する映像表示部に対して、入力映像信号に各種変形処理を行うことなく入力映像信号の中心位置と映像表示部の中心位置とが揃って表示されるように入力映像信号を調整し出力する。
【0070】
一方、表示映像調整部120は、姿勢ロック信号LOCKがTRUEの場合は、下記式(4)〜(6)の計算を行い、DIF_Y_LOCK、DIF_P_LOCK、DIF_R_LOCKが全て0の場合、つまりは基準変位POS_LOCKからヘッドマウントディスプレイ利用者の頭の位置が動いていない場合は、
図5のように入力映像信号を調整出力し、DIF_Y_LOCK、DIF_P_LOCK、DIF_R_LOCKが0以外の値を取る場合、つまりは基準変位POS_LOCKからヘッドマウントディスプレイ利用者の頭の位置が動いた場合は、入力映像信号に対して水平垂直シフト、回転処理を行うことで
図4に示すように基準変位POS_LOCKにおける映像表示面があたかも固定しているかのように見えるように調整出力する。
DIF_Y_LOCK=Y−Y_LOCK---------(4)
DIF_P_LOCK=P−P_LOCK---------(5)
DIF_R_LOCK=R−R_LOCK---------(6)
【0071】
図9〜11は、表示映像調整ステップS2000における表示映像調整部120の具体的な動作の詳細を説明するための模式図である。
【0072】
上記DIF_Y_LOCK、DIF_P_LOCK、DIF_R_LOCKに基づく画像処理の例を
図9〜11を用いて説明する。
図9では説明を単純化するためにDIF_Y_LOCKのみ0以外の値を取る場合を想定している。DIF_Y_LOCKが正の値となる場合は基準変位POS_LOCKに対して左向きに動いていることを意味し、値が0より大きくなるに従い入力映像信号の表示エリアがより右方向にシフトしていく。一方、DIF_Y_LOCKが負の値となる場合は基準変位POS_LOCKに対して右向きに動いていることを意味し、値が0より小さくなるに従い入力映像信号の表示エリアがより左方向にシフトしていく。
【0073】
図10では説明を単純化するためにDIF_P_LOCKのみ0以外の値を取る場合を想定している。DIF_P_LOCKが正の値となる場合は基準変位POS_LOCKに対して上向きに動いていることを意味し、値が0より大きくなるに従い入力映像信号の表示エリアがより下方向にシフトしていく。一方、DIF_P_LOCKが負の値となる場合は基準変位POS_LOCKに対して下向きに動いていることを意味し、値が0より小さくなるに従い入力映像信号の表示エリアがより上方向にシフトしていく。
【0074】
図11では説明を単純化するためにDIF_R_LOCKのみ0以外の値を取る場合を想定している。DIF_R_LOCKが正の値となる場合は基準変位POS_LOCKに対して右向きに傾げていることを意味し、値が0より大きくなるに従い入力映像信号の表示エリアがより半時計回り方向に回転していく。一方、DIF_R_LOCKが負の値となる場合は基準変位POS_LOCKに対して左向きに傾げていることを意味し、値が0より小さくなるに従い入力映像信号の表示エリアがより時計回り方向に回転していく。表示映像調整部120では、実際にはDIF_Y_LOCK、DIF_P_LOCK、DIF_R_LOCKに基づく
図9〜
図11の処理を足し合わせた結果を調整映像信号として出力する。
【0075】
映像表示部130は、表示映像調整部120から入力される調整済みの映像信号を表示する。
【0076】
以上の処理により、本発明の映像表示装置を用いることで、映画鑑賞などを行っている際に、視聴時の頭部の微動により生じる映像ぶれを除去すると同時に、姿勢変更のような大きな動作を行った際には映像視認面を頭部の動きに付随させることが可能となる。
【0077】
最後に、本発明の映像表示プログラムについて説明する。
本発明の映像表示プログラムは、コンピュータに、姿勢判定手順と、表示映像調整手順とを実行させる。
【0078】
上記姿勢判定手順は、利用者の眼前部に装着して用いられる映像表示装置の基準位置からの変位を測定する変位測定部により測定された変位に基づいて、利用者の姿勢状態が不安定状態か否かを判定する。この機能は、上述した姿勢判定部110により実行されることができる。
【0079】
そして、本発明の映像表示プログラムは、表示映像調整手順が、姿勢判定機能において利用者の姿勢状態が不安定状態であると判定された場合、映像表示部に表示する映像が、映像表示部の中心位置を基準として表示されるように映像信号を調整することを特徴とする。
【0080】
上記プログラムは、コンピュータが読み取り可能な記録媒体に記録されて提供することができる。記録媒体としては、CD−ROMやDVD等、コンピュータが読み取り可能なものであれば特に限定されるものではない。
【0081】
以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せのすべてが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。