(58)【調査した分野】(Int.Cl.,DB名)
前記フレーム移動部は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトする、
請求項1に記載のヘッドマウントディスプレイ。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、画面出力に対する遅延時間を最小化して、使用者の感じる不自然さ及び酔いを最小化できるヘッドマウントディスプレイ及びその制御方法を提供することを目的とする。
【0010】
また、本発明は、既存の構成要素をそのまま利用するものの、複数のセンシング情報に基づいて計算されたピクセル移動情報を利用して、ディスプレイに入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフト(shift)することで、表示パネルに出力されるイメージデータをフレームシフト(frame shift)させるヘッドマウントディスプレイ及びその制御方法を提供することを目的とする。
【0011】
本発明の目的は、以上で言及した目的に制限されないし、言及していない本発明の他の目的及び長所は、下記の説明により理解され、本発明の実施形態によりさらに明らかに理解されるだろう。また、本発明の目的及び長所は、特許請求の範囲に示した手段及びその組み合わせによって実現できることが分かり得るだろう。
【課題を解決するための手段】
【0012】
従来のヘッドマウントディスプレイは、映像データが増加するにつれて遅延時間は長くなり(例えば、50ms以上)、動きに対する画像の応答性が落ちて、使用者は酔い(Sim Sickness)を感じるという問題点があった。
【0013】
かかる問題を解決するために、本発明のヘッドマウントディスプレイは、前記ヘッドマウントディスプレイの動きを測定するセンサー部、第1時点に、前記センサー部で測定した第1センシング情報に基づいてイメージデータを生成する制御部、及び生成された前記イメージデータをフレームシフト(frame shift)して表示パネルに出力するディスプレイ部を含み、前記ディスプレイ部は、前記第1時点の以後である第2時点に、前記センサー部で測定した第2センシング情報を利用して前記イメージデータをフレームシフトし、前記第2時点は、前記制御部が前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含む。
【0014】
また、前記ディスプレイ部は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去する第1映像処理部、ピクセル移動情報に基づいて、前記第1映像処理部で出力されたイメージデータをフレームシフトする信号を生成するフレーム移動部、及び前記レンズ補正情報に基づいて、前記フレーム移動部で出力されたイメージデータにディストーションを適用する第2映像処理部を含んでもよい。
【0015】
また、前記ディスプレイ部は、前記センサー部で入力されたセンシング情報をオイラー角に変換する相補フィルタ、及び前記オイラー角を利用して前記ピクセル移動情報を計算する角度ピクセル変換部をさらに含んでもよい。
【0016】
また、前記フレーム移動部は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトすることができる。
【0017】
また、前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、前記ディスプレイ部は、入力されたイメージデータをデータ電圧に変換して前記複数のデータラインに出力するデータ駆動部、前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力するゲート駆動部、及び前記データ駆動部に入力される前記イメージデータを補償処理して、出力タイミングを制御するタイミング制御部をさらに含み、前記タイミング制御部は、前記データ駆動部に入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせることができる。
【0018】
また、前記データ印加信号は、前記データ駆動部に入力されるイメージデータの単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされてもよい。
【0019】
また、前記データ印加信号は、前記データ駆動部に入力されるイメージデータの一つ以上の単位クロックでシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされてもよい。
【0020】
また、前記第2時点と前記第1時点の間の時間間隔は、前記制御部で前記第1センシング情報に基づいて、一つのイメージフレームを生成する時間と同一であってもよい。
【0021】
本発明のヘッドマウントディスプレイの制御方法は、第1時点で、ヘッドマウントディスプレイの動きを測定する段階、前記第1時点で測定した第1センシング情報に基づいてイメージデータを生成する段階、前記第1時点の以後である第2時点で、前記ヘッドマウントディスプレイの動きを測定する段階、前記第2時点で測定した第2センシング情報に基づいて、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階、及びフレームシフトされた前記イメージデータを表示パネルに出力する段階を含み、前記第2時点は、前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含む。
【0022】
また、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーションを除去する段階、ピクセル移動情報に基づいてディストーションが除去された前記イメージデータをフレームシフトする段階、及び前記レンズ補正情報に基づいてフレームシフトされた前記イメージデータにディストーションを適用する段階を含んでもよい。
【0023】
また、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、前記第1及び第2センシング情報をオイラー角に変換する段階、及び前記オイラー角を利用して前記ピクセル移動情報を計算する段階をさらに含んでもよい。
【0024】
また、前記ピクセル移動情報に基づいて、前記イメージデータをフレームシフトする段階は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトすることができる。
【0025】
また、前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、前記フレームシフトされた前記イメージデータを表示パネルに出力する段階は、入力されるイメージデータをデータ電圧に変換して前記複数のデータラインに出力する段階、前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力する段階、及び前記イメージデータを補償処理して出力タイミングを制御する段階を含み、前記出力タイミングを制御する段階は、前記入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせることができる。
【0026】
また、前記データ印加信号は、入力されるイメージデータの単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされてもよい。
【0027】
また、前記データ印加信号は、入力されるイメージデータの一つ以上の単位クロックでシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされてもよい。
【0028】
また、前記第2時点と前記第1時点の間の時間間隔は、前記第1センシング情報に基づいて一つのイメージフレームを生成する時間と同一であってもよい。
【発明の効果】
【0029】
本発明の一実施形態によれば、本発明のヘッドマウントディスプレイは、第1時点に測定した第1センシング情報を利用してイメージデータを生成し、前記イメージデータを表示パネルに出力する直前である第2時点に測定した第2センシング情報を利用して、前記イメージデータをフレームシフトすることで、出力されるイメージデータの遅延誤差を低減することができる。これを通じて、本発明のヘッドマウントディスプレイ装置は、早い応答性を確保することができる。
【0030】
また、本発明のヘッドマウントディスプレイは、短い遅延時間(motion to photon latency)を有する仮想現実画面を出力することで、より自然な仮想現実画面を具現することができ、仮想現実プログラムを実行する時、使用者の感じる酔い(Sim Sickness)を低減することができる。
【0031】
また、本発明のヘッドマウントディスプレイは、既存にある構成要素をそのまま利用して遅延時間を低減することができ、製作費用を増加させることなく、動作性能を改善することができる。
【発明を実施するための形態】
【0033】
前述の目的、特徴及び長所は、添付図面を参照して詳細に後述し、これによって本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想を容易に実施することができるだろう。本発明を説明するにおいて、本発明に係る公知技術に対する具体的な説明は、本発明の要旨を曖昧にすると判断される場合には詳細な説明を省略する。以下、添付図面を参照して、本発明による望ましい実施形態を詳説する。図面において同じ参照符号は、同一または類似の構成要素を指すものとして使われる。
【0034】
以下、本発明の実施形態によるヘッドマウントディスプレイ及びその制御方法について図面を参照して詳説する。
【0035】
図1は、ヘッドマウントディスプレイを着用した使用者の動きを示すための斜視図である。
【0036】
図1を参照すれば、ヘッドマウントディスプレイ1000は、使用者の頭に固定して、使用者の目の上に着用されて、二つの異なる映像を表示することができる。
【0037】
使用者の頭の中心は、ピッチ(pitch)、ヨー(yaw)及びロール(roll)軸の3次元中心に位置する。3次元座標系において、ピッチ(pitch)はx軸回転で、ヨー(yaw)はy軸回転であり、ロール(roll)はz軸回転である。
【0038】
使用者が着用したヘッドマウントディスプレイ1000の動きは、ピッチ(pitch)、ヨー(yaw)、ロール(roll)で表現することができる。
【0039】
図2は、従来のヘッドマウントディスプレイの画像表現方法を示したブロック図である。
【0040】
図2を参照すれば、従来のヘッドマウントディスプレイは、3D仮想空間上で使用者の視線に沿って動いた角度を計算して、それに該当する映像をディスプレイする。
【0041】
ヘッドマウントディスプレイは、使用者の頭が動いた場合、内装したトラッキングシステム(tracking system)に含まれた複数のセンサーを利用して、動きに対する方向情報を取得する(S110)。このとき、トラッキングシステムに内装したセンサー部は、ジャイロスコープ、加速度センサー、磁気センサー、少なくとも一つのビデオカメラ、カラーセンサーを含み、モーションセンサー、ポジションセンサー、オリエンテーションセンサーを含んでもよい。
【0042】
次いで、ヘッドマウントディスプレイの制御部は、実行されるアプリケーションに従う演算を遂行する(S120)。ここで、アプリケーションは、オペレーティングシステムまたは応用プログラム等を含み得る。例えば、制御部は、センサー部で測定したデータに基づいて、使用者が動いた角度を含む移動情報を計算することができる。但し、本発明はこれに限定されるものではない。
【0043】
次いで、ヘッドマウントディスプレイの制御部は、リアルタイムで使用者が眺める方向に該当するイメージを生成する(S130)。例えば、制御部は、前記移動情報に基づいて新しいイメージを生成することができる。
【0044】
次いで、生成されたイメージを画面に出力する(S140)。
【0045】
一般的にヘッドマウントディスプレイは、センサー部から使用者の動きを取得した時点から画面に該映像をディスプレイするまで一定時間(以下、遅延時間(motion to photon latency)とする)がかかる。
【0046】
遅延時間が20ms以下であるとき、使用者は遅延現象を認知されない。しかし、従来の方式によるヘッドマウントディスプレイの場合、遅延時間は50ms以上であり、これは、アプリケーションの複雑度によってさらに増加し得る。
【0047】
遅延時間が長くなる場合(例えば、50ms以上)、ヘッドマウントディスプレイを着用して仮想現実プログラムを実行する時、使用者は映像に不自然さ及び違和感を感じるようになり、ひどい場合は酔い(Sim Sickness)を感じることがある。
【0048】
図3は、本発明のいくつかの実施形態によるヘッドマウントディスプレイを説明するためのブロック図である。
【0049】
図3を参照すれば、本発明のいくつかの実施形態によるヘッドマウントディスプレイ1000は、ディスプレイ部1100、制御部1200、センサー部1300、無線通信部1400、インターフェース部1500、メモリー部1600及びバス1700を含む。
【0050】
ディスプレイ部1100は、制御部1200からの制御命令に従ってプロセッシングされたイメージデータを表示パネル(
図4の400)にディスプレイする。
【0051】
ディスプレイ部1100は、第1時点にセンサー部1300で測定した第1センシング情報に基づいて生成されたイメージデータを、第2時点にセンサー部1300で測定した第2センシング情報を利用してフレームシフト(frame shift)することができる。このとき、第2時点は、制御部1200が第1時点に対するイメージデータを生成した後、表示パネル(
図4の400)にイメージデータを出力する直前に該当する。
【0052】
このとき、第2時点と第1時点の間の時間間隔は、制御部1200で第1センシング情報に基づいて一つのイメージフレームを生成する時間と同一であってもよい。但し、本発明はこれに限定されるものではなく、これに対する詳説は後述する。
【0053】
表示パネル(
図4の400)は、少なくとも一つになってもよい。例えば、表示パネル(
図4の400)は、ヘッドマウントディスプレイを着用した使用者の両眼のすぐ前にある。このような場合、同じイメージを遠くにあるスクリーンにディスプレイするより比較的に少ない解像度を利用してディスプレイできるという長所がある。
【0054】
制御部1200は、ヘッドマウントディスプレイ1000内のあらゆる構成要素の動作を制御することができる。
【0055】
具体的には、制御部1200は、センサー部1300で測定したデータに基づいて位置情報を計算して、前記位置情報に基づいて新しいイメージデータを生成する。生成された新しいイメージデータは、ディスプレイ部1100に伝達される。制御部1200は、中央処理装置(Central Processing Unit;以下、CPU)、グラフィック処理装置(Graphic Processing Unit;以下、GPU)を含んでもよい。
【0056】
新しいイメージデータを生成する動作は、例えばレンダリング(rendering)及び場面の移動等を含んでもよい。レンダリング(rendering)は、フレームに含まれたイメージの影、色相及び濃度のうち少なくとも一つを変更したものである。フレーム(Frame)は、ビデオフレームで動画を再生する時、場面の動きが連続して表示されるそれぞれの映像、一画面を言う。
【0057】
センサー部1300は、ヘッドマウントディスプレイ1000の動きを感知する。
【0058】
センサー部1300は、モーション、ポジション、オリエンテーションデータを生成するセンサーらを含む。センサー部1300は、ジャイロスコープ、加速度センサー、磁気センサー、少なくとも一つのビデオカメラ、カラーセンサーを含み、モーションセンサー、ポジションセンサー、オリエンテーションセンサーを含んでもよい。ここで、オリエンテーションは、ヘッドマウントディスプレイ1000を着用した使用者が事物を眺める3次元空間における方向ベクトルを意味する。
【0059】
センサー部1300は、高い割合でセンサーデータを提供するため比較的に高い周波数帯域で動作することができる。例えば、センサーデータは、1,000Hzの割合で生成されてもよい。又は、センサー部1300は、百万分の1秒毎にセンシングすることができる。このような方法で、1秒当たり数千個のセンサーデータを生成することができる。但し、本発明はこれに限定されるものではない。
【0060】
無線通信部1400は、通信ネットワークでデータを送るか、通信ネットワークからデータを受信する機能を遂行することができる。無線通信部1400は、プロトコルを利用してデータを送受信する。例えば、無線通信部1400は、ヘッドマウントディスプレイ1000と繋がって動作する使用者コントローラー、又は外部センサーと無線でデータを取り交わすことができる。
【0061】
インターフェース部1500は、使用者の入力を受信することができる。インターフェース部1500は、複数のボタン、赤外線センサー、キネティックセンサ等を利用して使用者の命令を受信することができる。但し、本発明はこれに限定されるものではない。
【0062】
メモリー部1600は、制御部1200で生成されたイメージデータを保存する。また、メモリー部1600は、センサー部1300で測定したセンシングデータ及びディスプレイ部1100に含まれるレンズに対するレンズ補正情報等を保存して、制御部1200又はディスプレイ部1100に提供することができる。
【0063】
メモリー部1600は、揮発性または非揮発性メモリーを含んでもよい。また、メモリー部1600は、生成されたイメージデータを一時的に保存するバッファーとして動作することができる。
【0064】
バス1700は、ディスプレイ部1100、制御部1200、センサー部1300、無線通信部1400、インターフェース部1500及びメモリー部1600が互いにデータ通信をするに利用することができる。本発明のいくつかの実施形態において、このようなバス1700は、多層構造を有してもよい。具体的には、このようなバス1700の例としては、多層AHB(multi−layer Advanced High−performance Bus)、又は多層AXI(multi−layer Advanced eXtensible Interface)が利用され得るが、本発明はこれに制限されるものではない。
【0065】
図4は、
図3のディスプレイ部の構成要素を説明するためのブロック図である。
【0066】
図4を参照すれば、発明のいくつかの実施形態によるヘッドマウントディスプレイ1000のディスプレイ部1100は、タイミング制御部100、データ駆動部200、ゲート駆動部300及び表示パネル400を含む。
【0067】
タイミング制御部100は、RGB画像信号、RGB画像信号のディスプレイのための同期信号(Hsync、Vsync)、クロック信号(MCLK)を受信する。タイミング制御部100は、補償されたRGB画像信号(R’ 、G’、B’)をデータ駆動部200に出力する。タイミング制御部100は、データ駆動部200とゲート駆動部300を制御するためのタイミング信号を生成して、データ駆動部200とゲート駆動部300にそれぞれ出力する。
【0068】
タイミング制御部100は、データ駆動部200にデータ印加信号(DE)、水平同期開始信号(STH)、ロード信号(LOAD)を伝達する。
【0069】
具体的には、データ印加信号(DE)は、画像信号の横線(line)の周期を表す。例えば、1920×1080の解像度を有する画像信号の場合、一フレームの画像信号が出力される間に、データ印加信号(DE)の活性化状態は、1080回表れる。但し、本発明はこれに限定されるものではない。
【0070】
データ印加信号(DE)は、データ駆動部200に入力されたイメージデータをフレームシフト(frame shift)させるために利用される。但し、本発明では、データ駆動部200に入力されたイメージデータに対する入力タイミングはそのまま維持するものの、データ印加信号(DE)をシフトして、イメージデータの出力画面をシフト(shift)することができる。これに対する詳しい説明は、後で
図9ないし
図13を参照して詳説する。
【0071】
水平同期開始信号(STH)は、データ駆動部200に入力されたデータをアナログに変換させて、変換されたアナログ値を表示パネル400に印加するために利用される。ロード信号(LOAD)は、データ駆動部200がデータ信号をローディングすることを命令する。
【0072】
また、タイミング制御部100は、ゲート駆動部300にゲートラインに印加されるゲートオン信号の周期設定のためのゲートクロック信号(Gate clock)、前記ゲートオン信号の開始を命令する垂直同期開始信号(STV)、及び前記ゲート駆動部300の出力をイネーブルさせるデータイネーブル信号(OE;Out Enable)を出力する。
【0073】
また、タイミング制御部100は、RGB画像信号(R、G、B)を補償して、補償されたRGB画像信号(R’、G’、B’)をデータ駆動部200に伝達することができる。
【0074】
データ駆動部200は、タイミング制御部100から補償されたR、G、Bデジタルデータ(R’、G’、B’)を提供されてこれを保存する。その後、ロード信号(LOAD)が印加されると、データ駆動部200は、それぞれのデジタルデータに該当する電圧を選択して、表示パネル400にデータ信号(V1、V2、V3、〜Vn)(未図示)を伝達する。
【0075】
ゲート駆動部300は、シフトレジスター、レベルシフター及びバッファー等を含む。ゲート駆動部300は、タイミング制御部100からゲートクロック信号(Gate clock)と垂直ライン開始信号(STV)を提供されて、ゲート駆動電圧発生部(未図示)又はタイミング制御部100から電圧(Von、Voff、及びVcom)(未図示)を提供されて、表示パネル400上の各薄膜トランジスタをオンオフ(On−Off)して、画素に画素電圧を印加または遮断する。
【0076】
表示パネル400は、n個のデータラインと前記データラインと直交して配列されたm個のゲートライン、前記データラインと前記ゲートラインの間に格子配列された一定領域を含む。表示パネル400は、一端はゲートラインに連結されて、他の一端はデータラインに連結されて、残りの一端は画素電極に連結される薄膜トランジスタ、及び画素電極からなる。表示パネル400でゲート駆動部300から提供されるゲート電圧(G1、G2、〜 Gn)(未図示)は、該画素列に印加されて、この場合、該画素列の薄膜トランジスタは活性化される。これを通じて、データ駆動部200で提供するデータ電圧(D1、D2、〜Dm)(未図示)は、表示パネル400の該画素電極に印加される。
【0077】
図5は、
図4のタイミング制御部の構成要素を説明するためのブロック図である。
【0078】
図5を参照すれば、本発明のいくつかの実施形態によるタイミング制御部100は、演算制御部110、第1メモリー120、第2メモリー125、相補フィルタ130、角度ピクセル変換部140、メモリコントローラ145、第1映像処理部150、フレーム移動部160、第2映像処理部170を含む。
【0079】
演算制御部110は、センサー部1300からセンサー情報を受信する。演算制御部110は、受信したセンサー情報に基づいてイメージデータを生成する。例えば、演算制御部110は、第1時点にセンサー部1300で測定した第1センシング情報に基づいてイメージデータを生成する。
【0080】
第1メモリー120は、表示パネル400と結合されるレンズモジュールに対するレンズ補正情報を受信して保存することができる。レンズ補正情報は、レンズの光学構造に合わせてイメージデータをディストーション(distortion)するか、前記ディストーションを除去することに利用されてもよい。
【0081】
ここで、ディストーションは、広角レンズの歪曲現象を意味し、イメージの遠近感が極端に誇張されて映像が歪むことを意味する。但し、本発明はこれに限定されるものではない。
【0082】
第1メモリー120は、非揮発性メモリーを含んでもよい。第1メモリー120は、角度とピクセルの間の関係を表すルックアップテーブル(LUT)を保存することができ、前記ルックアップテーブル(LUT)を角度ピクセル変換部140に提供することができる。
【0083】
第2メモリー125は、第1メモリー120からレンズ補正情報を受信することができる。レンズ補正情報は、表示パネル400と結合されるレンズモジュールに対する倍率情報を含んでもよい。
【0084】
第2メモリー125は、揮発性メモリーを含み、高速のキャッシュメモリであってもよいが、本発明はこれに限定されるものではない。
【0085】
また、第2メモリー125は、メモリコントローラ145から制御信号を受信して、第1映像処理部150及び第2映像処理部170に伝達することができる。
【0086】
相補フィルタ130は、演算制御部110からセンサー部1300で測定したセンシング情報を受信して、これをオイラー角(Euler angle)に変換することができる。具体的には、センシング情報は、加速センサー(acceleration sensor)で測定した加速情報、ジャイロスコープセンサー(gyroscope sensor)で測定したデータ、地磁気センサー(geomagnetic sensor)で測定したデータを含んでもよい。
【0087】
ここで、オイラー角は、固定点のまわりを回転する剛体の方向を3次元空間に表示するための三つの角度を意味する。
【0088】
角度ピクセル変換部140は、相補フィルタ130からオイラー角を受信して、前記オイラー角に基づいてピクセル移動情報を計算する。このとき、角度ピクセル変換部140は、第1メモリー120で受信したルックアップテーブル(LUT)を利用してピクセル移動情報を計算することができる。
【0089】
メモリコントローラ145は、第2メモリー125の動作を制御する制御信号を生成して提供することができる。例えば、メモリコントローラ145は、第2メモリー125に保存されたレンズ補正情報が第1映像処理部150及び第2映像処理部170に入力されるタイミングを制御することができる。但し、本発明はこれに限定されるものではない。
【0090】
第1映像処理部150は、第2メモリー125で受信したレンズ補正情報を受信して、一つのフレームに対するイメージデータを受信することができる。第1映像処理部150は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去することができる。
【0091】
フレーム移動部160は、角度ピクセル変換部140で計算されたピクセル移動情報を受信することができる。フレーム移動部160は、第1映像処理部150から受信したディストーションの除去されたイメージデータを、ピクセル移動情報に基づいてフレームシフト(frame shift)させる信号を生成することができる。
【0092】
このとき、フレーム移動部160は、第1時点で測定した第1センシング情報と、第2時点で測定した第2センシング情報に基づいて計算されたピクセル移動情報のベクトル値を利用して、イメージデータの位置をシフトすることができる。
【0093】
より具体的には、フレーム移動部160は、データ駆動部(
図4の200)に入力されたイメージデータの出力タイミングを決定するデータ印加信号(DE)をシフトして、表示パネル400に出力されるイメージデータをフレームシフトさせることができる。データ印加信号(DE)は、タイミング制御部(
図4の100)からデータ駆動部(
図4の200)に伝達される。これに対する詳しい説明は、
図9ないし
図13を参照して詳説する。
【0094】
第2映像処理部170は、第2メモリー125で受信したレンズ補正情報を受信して、フレーム移動部160からフレームシフトされたイメージデータを受信することができる。第2映像処理部170は、レンズ補正情報に基づいて入力されたイメージデータにディストーション(distortion)を適用することができる。
【0095】
第2映像処理部170は、ディストーションの適用されたイメージデータをデータ駆動部(
図4の200)に伝達することができる。
【0096】
図6は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するためのブロック図である。
【0097】
図6を参照すれば、本発明のいくつかの実施形態によるヘッドマウントディスプレイは、先ず、センサー部1300から測定されたデータを受信して相補処理(complementary processing)する(S210)。例えば、センサー部1300は、6軸ジャイロセンサーを含み、6軸ジャイロセンサーで測定したセンシング情報は、ax、ay、az、gx、gy、gz軸に対するデータを含んでもよい。但し、本発明はこれに限定されるものではない。
【0098】
次いで、相補フィルタ130は、受信したセンシング情報をオイラー角(Euler angle)に変換する(S220)。
【0099】
次いで、角度ピクセル変換部140は、前記オイラー角に基づいてピクセル移動情報を計算する(S230)。このとき、角度ピクセル変換部140は、第1メモリー120で受信したルックアップテーブル(LUT)を利用してピクセル移動情報を計算することができる。
【0100】
具体的には、角度ピクセル変換部140は、第1時点で測定した第1センシング情報と第2時点で測定した第2センシング情報に基づいて、ピクセル移動情報のベクトル値を含むピクセル移動量を計算する。計算済みピクセル移動量に関するピクセル移動情報は、フレーム移動部160に伝達される。
【0101】
一方、第1映像処理部150は、入力受けたレンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去することができる(S240)。
【0102】
次いで、フレーム移動部160は、第1映像処理部150から受信したイメージデータを、ピクセル移動情報に基づいてフレームシフト(frame shift)させる信号を生成することができる(S250)。このとき、フレーム移動部160は、データ駆動部(
図4の200)に入力されたイメージデータの出力タイミングを決定するデータ印加信号(DE)をシフトして、表示パネル400に出力されるイメージデータをフレームシフトさせることができる。
【0103】
次いで、第2映像処理部170は、レンズ補正情報に基づいて入力されたイメージデータにディストーション(distortion)を適用することができる(S260)。これを通じて、フレームシフトされたイメージデータは、広角レンズの歪曲現象を考慮したディストーションが適用されて、第2時点で測定した第2センシング情報を考慮したイメージデータを出力することができる。
【0104】
図7は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。
図8は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの改善点を説明するためのグラフである。
【0105】
図7を参照すれば、第1時点(A)で測定した第1センシング情報に基づいて新しいイメージデータを演算する場合、アプリケーション(例えば、game、OS)で演算に所要の時間(例えば、gameで5ms、osで15ms)と、GPUで演算に所要の時間(例えば、17ms)、ディスプレイに所要の時間(例えば、16.7ms)がかかる。すなわち、第1時点(A)で測定した第1センシング情報に基づいて、新しいイメージデータを完全に表示するに所要の時間は、約55.7msになり、これはヘッドマウントディスプレイの遅延時間になる。
【0106】
本発明のヘッドマウントディスプレイは、第1時点(A)で測定した第1センシング情報と、第2時点(B)で測定した第2センシング情報を利用してピクセル移動情報を計算する。このとき、ピクセル移動情報は、ピクセル移動のベクトル値を含む。
【0107】
次いで、ピクセル移動情報を利用してイメージデータをフレームシフトさせる。
【0108】
図8を参照すれば、
図8の<A>は、第2センシング情報を利用しない従来のヘッドマウントディスプレイの動作を示す。第1時点(A)で測定した第1センシング情報のみを利用してイメージデータを生成する場合、遅延時間は約55.7msが発生することになる。
【0109】
一方、
図8の<B>は、本発明のヘッドマウントディスプレイの動作を示す。第2時点(B)(例えば、イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前である39ms時点)に測定した第2センシング情報を利用する場合、イメージデータのピクセル移動ベクトルを計算することができる。このとき、第2時点(B)は、イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前である時点(例えば、第1時点で39ms過ぎた時点)に該当する。
【0110】
これを通じて、本発明のヘッドマウントディスプレイは、遅延誤差を相当部分改善することができる。すなわち、本発明は、ディスプレイに所要の時間(例えば、約16.7ms)だけの遅延時間を有するイメージデータを画面に表示することができる。
【0111】
遅延時間を減らすことで、本発明のヘッドマウントディスプレイ装置は、早い応答性を確保することができ、より自然な仮想現実画面を具現することができる。また、ヘッドマウントディスプレイを利用して仮想現実プログラムを体験する時、使用者の感じ得る酔い(Sim Sickness)を低減させることができる。
【0112】
図9及び
図10は、本発明の一実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。
【0113】
図9及び
図10を参照すれば、本発明の一実施形態によるヘッドマウントディスプレイの動作に利用される同期信号(Vsync)とデータ印加信号(DE)とデータ信号(DATA)を示す。
【0114】
このとき、データ印加信号(DE)は、同期信号(Vsync)内部のバックポーチ(Back Porch)とフロントポーチ(Front Porch)のマージン(margin)内で生成される。但し、本発明はこれに限定されるものではない。
【0115】
データ印加信号(DE)それぞれのクロックは、イメージデータの一つの水平ラインを出力するに利用される。例えば、データ印加信号(DE)の一番目クロックでは、イメージデータの第1水平ライン(L1)を出力して、二番目クロックでは、イメージデータの第2水平ライン(L2)を出力する。
【0116】
図9の<A>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は同一である。例えば、データ印加信号(DE)とデータ信号(DATA)は、第1時点(t1)で開始されてもよい。したがって、
図10の<A>を参照すれば、イメージデータは、損失なしにそのまま表示パネル上に出力される。
【0117】
一方、
図9の<B>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は異なる。データ印加信号(DE)は、データ信号(DATA)の単位クロック内でシフトされてもよい。この場合、表示パネル上に出力されるイメージデータは、左右にフレームシフトされてもよい。
【0118】
例えば、データ信号(DATA)の開始時点は第1時点(t1)であり、データ印加信号(DE)の開始時点は第2時点(t2)であってもよい。このとき、
図10の<B>を参照すれば、イメージデータは、左側にフレームシフトされて、S1の間隔は、第1時点(t1)と第2時点(t2)の差に該当する。但し、本発明はこれに限定されるものではなく、データ信号(DATA)は固定したまま、データ印加信号(DE)は、単位クロック内で左右に動くことで、出力されるイメージデータも左右にフレームシフトされてもよい。
【0119】
図11及び
図12は、本発明の他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。説明の便宜のために以下では、前述した実施形態と同じ事項については、重複する説明を省略して差異点を中心に説明する。
【0120】
図11及び
図12を参照すれば、本発明の他の実施形態によるヘッドマウントディスプレイの動作に利用される同期信号(Vsync)とデータ印加信号(DE)とデータ信号(DATA)を示す。
【0121】
図11の<A>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は同一である。例えば、データ印加信号(DE)とデータ信号(DATA)は、第4時点(t4)で開始されてもよい。したがって、
図12の<A>を参照すれば、イメージデータは、損失なしにそのまま表示パネル上に出力される。
【0122】
一方、
図11の<B>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は異なる。データ印加信号(DE)は、データ信号(DATA)の一つ以上の単位クロックでシフトされてもよい。但し、この場合、データ印加信号(DE)のライジングエッジ(rising edge)とデータ信号(DATA)のライジングエッジは一致する。この場合、表示パネル上に出力されるイメージデータは、上下にフレームシフトされてもよい。
【0123】
例えば、データ印加信号(DE)の開始時点は第3時点(t3)であり、データ信号(DATA)の開始時点は第4時点(t4)であってもよい。このとき、
図12の<B>を参照すれば、イメージデータは、下側にフレームシフトされてもよい。但し、本発明はこれに限定されるものではなく、データ信号(DATA)は固定したまま、データ印加信号(DE)は、一つ以上の単位クロックでデータ信号(DATA)とシンクを合わせて左右に動くことで、出力されるイメージデータは、上下にフレームシフトされてもよい。
【0124】
図13は、本発明のさらに他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。説明の便宜のために以下では、前述した実施形態と同じ事項については、重複する説明を省略して差異点を中心に説明する。
【0125】
図13を参照すれば、本発明のさらに他の実施形態によるヘッドマウントディスプレイの動作を示す。このとき、ヘッドマウントディスプレイに出力のために入力されるイメージデータの大きさ(R)は、表示パネルに表示されるイメージの大きさ(P)より大きくてもよい。
【0126】
図面に明確に示されてはいないが、この場合、データ印加信号(DE)がシフティングされることで、イメージデータは、左右または上下にフレームシフトされてもよい。但し、入力されるイメージデータの大きさ(R)は、表示パネルに表示されるイメージの大きさ(P)より大きいため、イメージデータのフレームシフトにもかかわらず、表示パネルに表示されるイメージは、切られるか黒い色に処理されない場合がある。但し、本発明はこれに限定されるものではない。
【0127】
すなわち、本発明のヘッドマウントディスプレイは、データ印加信号(DE)をシフトすることで、出力されるイメージデータをフレームシフトさせることができる。これを通じて、本発明のヘッドマウントディスプレイは、既存にある構成要素をそのまま利用して、画面を表示するためにかかる遅延時間を低減することができ、遅延時間を減らすために要する費用を削減して、動作性能を改善することができる。
【0128】
前述の本発明は、本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想を脱しない範囲内で様々な置換、変形及び変更が可能であり、前述の実施形態及び添付図面によって限定されるものではない。