ホーム > 特許ランキング > ＣＬＩＣＫＥＤ ＩＮＣ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】仮想現実映像の再生方法及びこれを用いたプログラム
(51)【国際特許分類】
H04N 21/438 20110101AFI20221219BHJP
G06F 3/01 20060101ALI20221219BHJP
G06F 3/04845 20220101ALI20221219BHJP
【ＦＩ】
H04N21/438
G06F3/01 510
G06F3/04845
【請求項の数】
7
(21)【出願番号】P 2019547702
(86)(22)【出願日】2018-02-27
(65)【公表番号】
(43)【公表日】2020-03-26
(86)【国際出願番号】 KR2018002398
(87)【国際公開番号】W WO2018159981
(87)【国際公開日】2018-09-07
【審査請求日】2019-09-02
【審判番号】
【審判請求日】2022-01-12
(31)【優先権主張番号】10-2017-0027851
(32)【優先日】2017-03-03
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】518076805
【氏名又は名称】クリックト インコーポレイテッド
【氏名又は名称原語表記】ＣＬＩＣＫＥＤ ＩＮＣ．
【住所又は居所原語表記】５２６，３３０，Ｓｅｏｎｇａｍ－ｒｏ，Ｍａｐｏ－ｇｕ，Ｓｅｏｕｌ ０３９２０ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】キム，テ ウク
(72)【発明者】
【氏名】イ，ハ ラム
(72)【発明者】
【氏名】ジョン，ドク ヨン
【合議体】
【審判長】五十嵐 努
【審判官】田中 啓介
【審判官】樫本 剛
(56)【参考文献】
【文献】特開２００９－１１１５１１（ＪＰ，Ａ）
【文献】特開２０１５－０９５０４５（ＪＰ，Ａ）
【文献】特開２０１８－０８７８４９（ＪＰ，Ａ）
【文献】特開２００８－３００９８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04N21/00-21/858
(57)【特許請求の範囲】
【請求項1】
クライアントがサーバから映像フレームを受信する段階と、特定時点に前記クライアントの画面上に再生されるべき前記映像フレームの方向に関する再生方向データ、及び前記サーバにより生成された前記映像フレームの３次元空間上の方向に関する映像方向データを、獲得する段階と、
前記受信した映像フレームを第１レイヤに割り当てる段階と、
少なくとも１つのグラフィックユーザインターフェースを含む第２レイヤを生成する段階と、
前記第１レイヤ及び前記第２レイヤを合成して最終の映像フレームを生成する段階と、
前記生成された最終の映像フレームを表示する段階と、
を含み、
前記再生方向データ及び前記映像方向データは、高低角データ及び方位角データを含み、
前記映像フレームを受信する段階は、前記クライアントが、前記サーバから第１時点に相応する第１映像フレームと、第２時点に相応する第２映像フレームとを、受信する段階を、含み、
前記クライアントが前記サーバから前記映像フレームを受信可能な状態において、前記第２時点の第２映像フレームが受信されない場合、前記第２時点の再生方向データと前記第１時点の映像方向データとの間の前記高低角データ及び前記方位角データの差値を算出し、前記差値に基づいて前記第１映像フレームを補正し、空白領域が類似色の組み合わせによって処理される第２代替映像フレームを生成し、
前記クライアントが前記サーバから前記映像フレームを受信可能な状態において、第ｎ時点（ｎは２よりも大きい自然数）に相応する映像フレームが受信されない場合、前記第ｎ時点の再生方向データと前記第ｎ－１時点の映像方向データとの間の前記高低角データ及び前記方位角データの差値を算出し、前記差値に基づいて第ｎ-１代替映像フレームを補正し、空白領域が類似色の組み合わせによって処理される第ｎ代替映像フレームを生成し、
前記第２時点は、第２番目の映像フレームが受信される時点であり、前記第１時点から前記映像フレームの伝送周期が経過した時点であり、前記第ｎ時点は、第ｎ番目の映像フレームが受信される時点であり、前記第ｎ-１時点から前記映像フレームの伝送周期が経過した時点である、
仮想現実映像の再生方法。
【請求項2】
少なくとも１つのコントローラの制御情報を表示する第３レイヤを生成する段階を更に含み、前記最終の映像フレームを生成する段階は、前記第１レイヤ、前記第２レイヤ及び前記第３レイヤを合成して前記最終の映像フレームを生成する段階を含むことを特徴とする請求項１に記載の仮想現実映像の再生方法。
【請求項3】
前記第３レイヤを生成する段階は、前記クライアントが前記少なくとも１つのコントローラの動作情報を受信する段階と、
前記受信した動作情報を用いて前記少なくとも１つのコントローラの制御情報を示す映像を生成する段階と、
前記生成された映像を前記第３レイヤに割り当てる段階と、
を含むことを特徴とする請求項２に記載の仮想現実映像の再生方法。
【請求項4】
前記再生方向データを獲得する段階は、ユーザの首の動きを測定して前記再生方向データを獲得する段階を含むことを特徴とする請求項１に記載の仮想現実映像の再生方法。
【請求項5】
前記第１映像フレームを補正する段階は、前記差値に基づいて前記第１映像フレームを移動又は変換させて第２代替映像フレームを生成する段階を含み、前記第１レイヤに割り当てる段階は、前記生成された第２代替映像フレームを前記第１レイヤに割り当てる段階を含むことを特徴とする請求項１に記載の仮想現実映像の再生方法。
【請求項6】
前記再生方向データ及び前記映像方向データは、ユーザの正面方向を軸にする回転角度である傾斜データを含み、前記第１映像フレームを補正する段階は、前記第２時点の再生方向データと前記第１時点の映像方向データ間の前記傾斜データの差に基づいて、前記第１映像フレームを回転して補正する段階を更に含むことを特徴とする請求項１に記載の仮想現実映像の再生方法。
【請求項7】
ハードウェアであるコンピュータと結合され、請求項１～６の何れか一項の方法を実行させるために媒体に格納された、仮想現実映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は仮想現実映像の伝送方法、仮想現実映像の再生方法及びこれを用いたプログラムに関する。より詳細には、無線通信を介して高いスペックを要求する仮想現実コンテンツのリアルタイム伝送及び再生を行う方法又はプログラムに関する。
【背景技術】
【0002】
仮想現実（ＶＲ；Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とは、コンピュータを介して生成された仮想の空間であって、３次元の視覚効果を通じて現実感を付与する空間のことをいう。仮想現実の実現のための技術は、ユーザの入力をリアルタイムで処理してユーザが現実世界に存在するかのように感じられる技術であって、マルチメディアに勝る次世代技術である。
【0003】
仮想現実環境は、ユーザに臨場感あふれる没入感を提供することによって実在する物体をシミュレーションできるだけでなく、実際に存在しない物体や状況を体験できるようにする。このような仮想現実環境は、多様な分野に適用することができる。例えば、自動車の設計やシミュレーション実験などの工学分野から医療分野、文化コンテンツ分野に至るまでまさに多様な分野で用いられている。
【0004】
このような仮想現実（ＶＲ）は、視点に応じて仮想環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）、仮想実在（Ｖｉｒｔｕａｌ Ｐｒｅｓｅｎｃｅ）、人工世界（Ａｒｔｉｆｉｃａｌ Ｗｏｒｌｄ）、仮想世界（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ）、サイバースペース（Ｃｙｂｅｒ Ｓｐａｃｅ）といった用語で使われているが、一般に、コンピュータが創り出す、実世界と類似する３次元の仮想世界をユーザに提供し、その仮想世界とリアルタイムで自由に操作できる入力手段と、ユーザの操作に対応して現実的感覚を提供する感覚フィードバック（Ｓｅｎｓｏｒｙ ｆｅｅｄｂａｃｋ）手段とを、提供することによって、人工的な体験と経験ができるようにする技術と言える。
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、技術の発展に伴い、仮想現実コンテンツを利用できる装置も多数登場している。従来は、高スペックの仮想現実映像を生成するためにデスクトップなどのＰＣにケーブルでＶＲ再生装置を接続した状態で、ユーザが着用して用いていた。しかし、このような場合、ユーザは、ケーブルを介してＶＲ装置を着用しているので、動ける行動半径が制限される。このため、ユーザが、ＶＲ装置を着用して外部を確認できずケーブルに引っ掛かって倒れる事故などが発生し得るという問題があった。また、ＰＣがある場合でしかＶＲ装置を用いて仮想現実映像を楽しむことができないという不便さが存在していた。
【0006】
また、近年は、移動端末をＶＲ装置に結合し、移動端末がＶＲ映像を生成するための情報処理を行った後、ＶＲ装置に伝達する方式が登場している。ここでは、情報処理を行うコンピュータである移動端末と、再生するＶＲ装置とが有線で接続される。この場合、移動端末及びＶＲ装置の結合によって、ケーブルにより発生する問題は解決できる。しかし、移動端末はＰＣに比べて高スペックのプログラムを駆動し難いため、高スペックのＶＲゲームを駆動したり、高い解像度のＶＲ映像を再生したりすることが難しいという問題がある。
【0007】
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、情報処理装置とＶＲ装置との間で無線通信を介して映像フレームを伝送して再生するようにし、場所及び行動半径に制限を受けることなく、高スペックのコンピュータからＶＲ映像の提供を受けられる仮想現実映像の伝送方法、再生方法及びこれを用いたプログラムを、提供することにある。
【0008】
本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。
【課題を解決するための手段】
【0009】
上述した課題を解決するための本発明の一側面に係る仮想現実映像の再生方法は、クライアントがサーバから映像フレームを受信する段階と、前記受信した映像フレームを第１レイヤに割り当てる段階と、少なくとも１つのグラフィックユーザインターフェースを含む第２レイヤを生成する段階と、前記第１レイヤ及び前記第２レイヤを合成して最終の映像フレームを生成する段階と、前記生成された最終の映像フレームを表示する段階とを含む。
【0010】
また、少なくとも１つのコントローラの制御情報を表示する第３レイヤを生成する段階を更に含み、前記最終の映像フレームを生成する段階は、前記第１レイヤ、前記第２レイヤ及び前記第３レイヤを合成して前記最終の映像フレームを生成する段階を含むことができる。
【0011】
更に、前記第３レイヤを生成する段階は、前記クライアントが前記少なくとも１つのコントローラの動作情報を受信する段階と、前記受信した動作情報を用いて前記少なくとも１つのコントローラの制御情報を示す映像を生成する段階と、前記生成された映像を前記第３レイヤに割り当てる段階とを含むことができる。
【0012】
また、前記映像フレームを受信する段階は、前記クライアントが前記サーバから第１時点に相応する第１映像フレームを受信する段階を含み、前記仮想現実映像の再生方法は、前記第１時点に相応する再生方向データ及び映像方向データを獲得する段階を更に含み、前記再生方向データは、特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータであり、前記映像方向データは、前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータであり得る。
【0013】
更に、前記再生方向データを獲得する段階は、ユーザの首の動きを測定して前記再生方向データを獲得する段階を含むことができる。
【0014】
また、前記映像フレームを受信する段階は、第２時点の映像フレームが受信されない場合、前記第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて前記第１映像フレームを補正する段階を更に含み、前記第２時点は、前記第１時点から前記映像フレームの伝送周期が経過した時点であり得る。
【0015】
更に、前記第１映像フレームを補正する段階は、前記差値に基づいて前記第１映像フレームを移動又は変換させて第２代替映像フレームを生成する段階を含み、前記第１レイヤに割り当てる段階は、前記生成された第２代替映像フレームを前記第１レイヤに割り当てる段階を含むことができる。
【0016】
また、前記再生方向データ及び前記映像方向データは、高低角データ及び方位角データを含み、前記差値算出段階は、前記第２時点の再生方向データと前記第１時点の映像方向データ間の高低角及び方位角の差を算出することを特徴とすることができる。
【0017】
更に、前記再生方向データ及び前記映像方向データは、ユーザの正面方向を軸にする回転角度である傾斜データを含み、第１映像フレームを補正する段階は、前記第２時点の再生方向データと前記第１時点の映像方向データ間の前記傾斜データの差に基づいて、前記第１映像フレームを回転して補正する段階を更に含むことができる。
【0018】
また、第ｎ時点（ｎは２よりも大きい自然数）に相応する映像フレームが受信されないと、第ｎ-１時点に相応する映像方向データと前記第ｎ時点に相応する再生方向データとを比較して差値を算出する段階と、前記算出された差値だけ第ｎ-１代替映像フレームを補正して第ｎ代替映像フレームを生成する段階とを更に含み、前記第ｎ時点は、第ｎ番目の映像フレームが受信される時点であり、前記第ｎ-１時点から映像フレームの伝送周期が経過した時点であり得る。
【0019】
上述した課題を解決するための本発明の他の側面に係る仮想現実映像再生プログラムは、ハードウェアであるコンピュータと結合され、開示された実施形態による仮想現実映像の再生方法を実行させるために媒体に格納される。
【0020】
本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【0021】
前記のような本発明によれば、以下のような多様な効果を奏する。
【0022】
第一に、仮想現実映像フレームを無線で伝送するのに伴う特定時点の映像フレームの欠落を補完でき、ユーザは特定の映像フレームが受信されない場合にも仮想現実空間の全体的な時点が揺れることなく、自然に映像が再生され得るという効果を奏する。
【0023】
第二に、ユーザはサーバコンピュータが遠く離れている状態でもセルラー通信やＷＬＡＮ通信を用いてどこでも途切れることなく仮想現実映像を楽しむことができる。
【0024】
第三に、映像フレームが受信されない場合に補完することによって、仮想現実映像を無線で伝送できるので、コンピュータに接続されているケーブルにより行動が制限されるという問題、ケーブルに引っ掛かって不注意による事故が発生するという問題を解決することができる。
【0025】
第四に、サーバは、クライアントにより要請される再生方向データに対応する全体映像のうち１つのフレームのみ抽出して伝送するか、再生方向データに対応する方向のフレームのみ生成して伝送すればよいので、無線通信のネットワーク帯域幅を削減することができる。
【0026】
第五に、同一のデータ容量で全ての方向に対する全体映像を伝送するのではなく、１つのフレームのみ伝送するので、多くの通信トラフィックを占めることなく、高解像度の映像を伝送できる。これにより、クライアントを着用するユーザは、遠距離から高解像度の映像を視聴できる。
【0027】
第六に、クライアントはサーバから再生が要求される方向の映像フレームのみを受信するので、所望の方向を再生するためにクライアントが全体映像の中から再生する方向のフレームを抽出するプロセスを実行する必要がない。これにより、高スペックのクライアントが不要になり得る。
【0028】
本発明の効果は、以上で言及された効果に限定されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるはずである。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施形態に係る仮想現実映像送受信システムの構成図である。
【図2】本発明の一実施形態に係る仮想現実映像の伝送方法に対する順序図である。
【図3】本発明の一実施形態に係る最初の全体映像に基づいて生成された仮想現実映像フレームの伝送方法に対する順序図である。
【図4】本発明の一実施形態に係るクライアントの仮想現実映像の再生方法に対する順序図である。
【図5】第２最終映像フレームが欠落し、第２代替映像フレームが提供されない場合、クライアントを介してユーザに提供される映像の変化を示す例示図である。
【図6】本発明の一実施形態において、クライアントで第１時点の映像方向データと第２時点の再生方向データの差値に基づいて生成した第２代替映像フレームの例示図である。
【図7】クライアントが移動する場合、最終の映像フレームが欠落したフレームがなく順番に提供されることに伴う物体の位置変化を示す例示図である。
【図8】本発明の一実施形態において、クライアントの移動程度を反映して第１最終映像フレームでそれぞれの物体位置を補正した第２代替映像フレームを提供する例示図である。
【図9】一実施形態において、１つ以上のレイヤを用いて仮想現実映像を再生する方法を示すフローチャートである。
【図10】一実施形態において、第１レイヤ及び第２レイヤを含む仮想現実映像の再生方法を示す図である。
【図11】一実施形態において、第１レイヤ、第２レイヤ及び第３レイヤを含む仮想現実映像の再生方法を示す図である。
【発明を実施するための形態】
【0030】
以下、添付の図面を参照して本発明の好適な実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを実現する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は、同一の構成要素を示す。
【0031】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野において通常の知識を有する者に共通して理解され得る意味として使用され得る。また、一般に用いられる辞典に定義されている用語は、特別且つ明白に定義されていない限り、理想的に又は過度に解釈されない。
【0032】
本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除するものではない。
【0033】
以下、図面を参照して本発明の実施形態に係る仮想現実映像送受信システムについて説明する。
【0034】
図１は、本発明の一実施形態に係る仮想現実映像送受信システムの構成図である。
【0035】
本発明の一実施形態に係る仮想現実映像送受信システムは、サーバ１００及びクライアント２００を含む。
【0036】
サーバ１００は、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）映像を生成するコンピュータである。サーバ１００は、情報処理を内部で行ってクライアント２００に提供するＶＲ映像を生成する機能をする。例えば、ＶＲ映像が特定のゲーム実行による映像である場合、サーバ１００は、ゲームプログラムを実行して適切な映像フレームを生成して無線通信を介してクライアント２００に伝送できる。
【0037】
また、サーバ１００は、生成されるＶＲ映像に映像方向データをメタ情報として結合する機能を行える。前記映像方向データは、サーバ１００により生成された映像フレームの３次元空間上の方向に関するデータであり得る。
【0038】
更に、サーバ１００は、クライアント２００から再生方向データを受信することができる。サーバ１００は、映像フレームに結合する映像方向データを受信した再生方向データとして決定し、再生方向データ（又は映像方向データ）に相応するＶＲ映像フレームを生成できる。
【0039】
クライアント２００は、仮想現実映像に該当する映像フレーム（即ち、後述する最終の映像フレーム）を受信して再生する装置である。即ち、クライアント２００は、サーバ１００から受信したＶＲ映像フレームを再生して着用者に提供する機能をする。クライアント２００は、ＶＲ装置そのものであってもよく、ＶＲ装置に移動端末が結合されている形態であってもよい。例えば、ＶＲ装置及び移動端末が結合されてクライアント２００になる場合、クライアント２００では、移動端末が、サーバ１００から生成された映像フレームを受信し、これに接続されている有線ケーブル又は近距離無線通信を介してＶＲ装置に映像フレームを伝達する。これにより、ＶＲ装置は、映像フレームを画面に表示できる。
【0040】
ＶＲ装置は、多様な形態で構成されることができる。例えば、ＶＲ装置は両眼に適したそれぞれの映像を含む映像フレームを１つのディスプレイ部に表示し、各眼球方向の魚眼レンズにより３次元映像に生成できる。また、他の実施形態において、ＶＲ装置は、それぞれの眼球に対応する映像を提供する２つのディスプレイ部を備えることができる。
【0041】
また、クライアント２００は、再生方向データを測定する役割を果たすことができる。前記再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき映像フレームの方向に関するデータであり得る。即ち、着用者がクライアント２００を眼球に着用した場合、クライアント２００は、眺める方向を測定し、これを再生方向データとして決定できる。例えば、再生方向データは、高低角データ、方位角データ又は傾斜データを含むことができる。クライアント２００は、１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を備え、クライアント２００を着用したユーザの頭（又は首）の動きを測定して高低角データ、方位角データ、傾斜データなどを含むことができる。また、クライアント２００は、測定した再生方向データをサーバ１００に無線通信を介して伝送する機能を行える。
【0042】
前記高低角データは、水平面（例えば、地平線）とクライアント２００の視線方向がなす角を、意味し得る。即ち、前記高低角データは、ユーザの首の上下の動きに応じて水平面となす角であり得る。
【0043】
前記方位角データは方位を示す角度であって、水平面上で特定の基準方向を基準として回転した角度を意味し得る。即ち、前記方位角データは、ユーザの胴体（又は首）を軸にして回転する首の動きにより変更され得る。
【0044】
前記傾斜データは、ユーザの正面方向を軸にして首が回転する角を意味し得る。即ち、前記傾斜データは、ユーザの左右への首の動き又はユーザの身体の全体的な回転などにより変更され得る。
【0045】
また、クライアント２００は、着用者の移動を測定することもできる。例えば、仮想シミュレーショントレーニング又はゲームを行う場合、ユーザはクライアント２００を着用し移動するので、クライアント２００は、測定されたユーザの移動程度に基づいて、移動した位置に対応する映像フレームをサーバ１００に要請できる。また、クライアント２００は、後述するように、ユーザが移動した特定時点の映像フレームが受信されない場合、映像フレーム伝送周期間のユーザの移動程度を反映して、映像フレームの補正を行うことができる。
【0046】
更に、クライアント２００は、無線通信で映像フレームを受信する場合に特定の映像フレームが受信されないと、以前に受信した映像フレームをユーザの動きに適するように補正して画面上に表示できる。即ち、クライアント２００は第２時点の最終の映像フレームが受信されない場合、第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて第１時点の最終の映像フレームを補正できる。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。
【0047】
サーバ１００とクライアント２００は、無線通信を介して接続されることができる。無線通信方式としては、Ｗｉ-Ｆｉ方式、セルラー通信などが活用され得る。例えば、サーバ１００がユーザの位置する特定の空間内（例えば、家の内部、仮想現実体験空間内など）に配置されたコンピュータである場合、無線ＡＰ（例えば、Ｗｉ-Ｆｉ ＡＰ）を介してクライアント２００及びサーバ１００の間の通信が遂行され得る。また、例えば、サーバ１００が外部の遠距離に配置されたコンピュータである場合、遠距離のサーバ１００が、セルラー通信又はＬＡＮ通信などを介して、クライアント２００に生成された映像フレームを伝送できる。クライアント２００は、セルラー通信を介して基地局から映像フレームを受信するか、無線ＡＰからＷＬＡＮを介して映像フレームを受信することができる。これにより、ユーザは、無線通信が可能なクライアント２００を所持していれば、サーバ１００に近い位置にいなくても、サーバ１００から提供されるＶＲ映像を受信して利用できる。
【0048】
以下、図面を参照して本発明の実施形態に係る仮想現実映像の伝送方法、再生方法及びプログラムについて説明する。
【0049】
無線通信を介して仮想現実映像（ＶＲ映像）を伝送する場合、無線通信網の状態が円滑でないことにより、特定の映像フレームが欠落することがある。このような場合に、着用者は映像フレーム内の物体が揺れるかのように感じられ、乗り物酔い症状が現れることがある。このような問題を解決するためには、欠落した映像フレームに代わる代替映像フレームを、以前の時点に受信した映像フレームから生成して、ユーザに提供する必要がある。
【0050】
既存のサーバ１００及びクライアント２００がケーブルを介して有線で接続される方式では、映像を生成するサーバ１００により映像の補正までが行われる。このため、この有線方式では、補正のための基準を別途用意する必要がない。一方で、無線通信を用いてサーバ１００及びクライアント２００の間で映像フレームを伝送する方式では、サーバ１００により映像フレームが生成され、クライアント２００により欠落した特定時点の映像フレームが補完される。このように、この無線方式では、役割が分担されるので、映像を補正するための基準が必要である。従って、以下では、無線通信を介して受信されない映像フレームを補完することによって、ユーザに映像が揺れるなどの不快さを感じさせないようにするためのサーバ１００の仮想現実映像の生成及び伝送方法とクライアント２００の仮想現実映像の再生方法を、説明する。
【0051】
図２は、本発明の一実施形態に係る仮想現実映像の伝送方法に対する順序図である。
【0052】
図２を参照すれば、本発明の一実施形態に係る仮想現実映像の伝送方法は、サーバ１００が最初の映像フレームを生成する段階（Ｓ１２０）と、前記最初の映像フレームに相応する映像方向データを判断する段階（Ｓ１４０）と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階（Ｓ１６０）と、前記最終の映像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）とを含む。
【0053】
サーバ１００が最初の映像フレームを生成する（Ｓ１２０）。サーバ１００は、内部にインストールされたプログラムを駆動して最初の映像フレームを生成できる。前記最初の映像フレームは、クライアント２００に送信された後、特定映像フレームの不受信時の補完のための情報処理が行われない映像フレームを意味する。例えば、サーバ１００がゲームプログラムを駆動してゲーム映像フレームを生成できる。
【0054】
サーバ１００は、前記最初の映像フレームに相応する映像方向データを判断する（Ｓ１４０）。前記映像方向データは、前記サーバ１００により生成された映像フレームの３次元空間上の方向に関するデータである。サーバ１００により映像が生成される前に映像方向データを決定（例えば、特定方向の映像の提供が要請されることによって生成する映像方向が定められた後、対応する最初の映像フレームを生成）することができ、映像フレームを生成した後、対応する映像方向データを決定することもできる。
【0055】
サーバ１００は、最初の映像フレームに映像方向データをメタ情報として結合して最終の映像フレームを生成する（Ｓ１６０）。その後、サーバ１００は、無線通信を介して最終の映像フレームをクライアント２００に伝送する（Ｓ１８０）。即ち、サーバ１００は、クライアント２００が映像フレームに対応する方向を判断できるか、次の伝送時点（即ち、第２時点）の映像フレームが受信されない場合に以前時点（即ち、第１時点）の映像フレームの補正により補完できるように、最初の映像フレームに映像方向データを結合した最終の映像フレームをクライアント２００に伝送できる。
【0056】
クライアント２００は、サーバ１００から第２時点の最終の映像フレームが通信状態の問題などにより受信されない場合、第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて前記第１時点の最終の映像フレームを補正できる。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。
【0057】
また、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）を、更に含むことができる。例えば、着用者がクライアント２００を着用して動けば、クライアント２００は、特定時点に、画面を介してユーザに提供されるべき映像フレームの方向に関するデータ（例えば、ユーザの首の動きに関するデータ）を獲得してサーバ１００に伝送できる。再生方向データは、クライアント２００により測定されるデータである。サーバ１００は、映像方向データ判断段階（Ｓ１２０）でクライアント２００から受信した再生方向データに基づいて映像方向データを決定できる。即ち、サーバ１００は、クライアント２００から受信した再生方向データと一致する方向を、映像を生成する方向として決定できる。従って、サーバ１００は、クライアント２００から受信した再生方向データを映像方向データと設定し（Ｓ１２０）、設定された映像方向データに対応する最初の映像フレーム（Ｓ１００）を生成できる。
【0058】
更に、前記最終の映像フレーム生成段階（Ｓ１４０）は、前記最終の映像フレームをそれぞれの眼球用映像フレームに変換する段階を更に含むことができる。３次元映像が提供されるためには、左眼用映像及び右眼用映像に視差が必要であり得る。従って、サーバ１００は、クライアント２００に伝送する最終の映像フレームを左眼用最終映像フレーム及び左右眼用最終映像フレームとしてそれぞれ生成できる。
【0059】
また、前記最終の映像フレーム生成段階（Ｓ１４０）は、前記クライアント２００の画面に対応する大きさに前記最終の映像フレームを変換する段階を、更に含むことができる。即ち、サーバ１００は、クライアント２００が最終の映像フレームを受信して直ちに再生できるように、クライアント２００の画面の大きさに対応するように、映像フレームの大きさを変換できる。これにより、サーバ１００に比べて情報処理のためのスペックが低いクライアント２００において画面の大きさに対応するように変換するプロセスで発生し得る時間遅延（ｄｅｌａｙ）を、最小化できる。
【0060】
図３は、本発明の一実施形態に係る最初の全体映像に基づいて生成された仮想現実映像フレームの伝送方法に対する順序図である。
【0061】
本発明の他の実施形態に係る仮想現実映像の伝送方法は、サーバ１００が特定時点の最初の全体映像を生成する段階（Ｓ１００）と、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）と、前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する段階（Ｓ１２１）と、前記再生方向データを映像方向データとして決定する段階（Ｓ１４１）と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階（Ｓ１６０）と、前記最終の映像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）とを、含む。以下、既に説明された段階についての具体的な説明は省略する。
【0062】
サーバ１００が特定時点の最初の全体映像を獲得する（Ｓ１００）。前記最初の全体映像は、ユーザの視線が向かう全ての方向の映像フレームを含む映像を意味し得る。即ち、サーバ１００は、内部の特定のプログラムを駆動して特定時点の全体映像を生成でき、予め生成された一定時間の全体映像（例えば、３６０°カメラにより一定時間撮影された映像）の中から特定時点の全体映像を抽出できる。
【0063】
サーバ１００がクライアント２００から再生方向データを受信する（Ｓ１１０）。
【0064】
サーバ１００が前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する（Ｓ１２１）。即ち、サーバ１００は、クライアント２００から受信した再生方向データにより映像フレームが要請される方向を判断し、最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出できる。
【0065】
サーバ１００は、前記再生方向データを映像方向データとして決定する（Ｓ１４１）。即ち、サーバ１００は、抽出された最初の映像フレームが前記再生方向データに対応する方向の映像フレームであるので、クライアント２００から受信した再生方向データを、前記抽出された最初の映像フレームの映像方向データと設定することができる。
【0066】
サーバ１００は、前記最初の映像フレームに前記映像方向データをメタ情報として結合して、最終の映像フレームを生成する（Ｓ１６０）。サーバ１００は、無線通信を介して、前記最終の映像フレームをクライアント２００に伝送する（Ｓ１８０）。
【0067】
図４は、本発明の一実施形態に係るクライアント２００の仮想現実映像の再生方法に対する順序図である。
【0068】
本発明の更に他の実施形態に係る仮想現実映像の再生方法は、クライアント２００がサーバ１００から第１時点に相応する第１最終映像フレームを受信する段階（Ｓ２００）と、第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出する段階（Ｓ２２０）と、前記算出された差値だけ前記第１最終映像フレームを補正して受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを生成する段階（Ｓ２４０）と、前記第２代替映像フレームを画面に表示する段階（Ｓ２６０）とを含む。
【0069】
クライアント２００がサーバ１００から第１時点に相応する第１最終映像フレームを受信する（Ｓ２００）。即ち、クライアント２００は、無線通信を介して、サーバ１００から映像方向データがメタ情報として結合されている第１最終映像フレームを、受信することができる。前記映像方向データは、前記サーバ１００により獲得された映像フレームの３次元空間上の方向に関するデータであり得る。前記最終の映像フレームは、前記サーバ１００により前記映像方向データをメタ情報として含む映像フレームであり得る。
【0070】
クライアント２００は、第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して、差値を算出する（Ｓ２２０）。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。クライアント２００は、第１時点に対応する第１最終映像フレームを受信して表示した後に最終の映像フレームの伝送周期が経過すると、第２時点に通信状態の不良などの理由により第２最終映像フレームを受信できなくなる恐れがある。ここで、第２時点で期待される第２最終映像フレームの代りに第１最終映像フレームが継続して表示された場合、第２時点の再生方向データと第１最終映像フレームの映像方向データ間の差だけ物体が揺れる現象が発生し得る。即ち、第２時点で第１時点に相応する第１最終映像フレームを継続して表示した後に、第３時点（即ち、第２時点から最終の映像フレームの伝送周期が経過した時点）に新しい最終の映像フレーム（即ち、第３最終映像フレーム）が受信される。この場合、図５に示すように、映像フレームは、第１最終映像フレームから第３最終映像フレームへ直接変更される。例えば、第２時点に相応する物体の位置が省略され、物体の位置が第１時点の物体位置から第３時点の物体位置へ移動するので、ユーザは、不自然に物体が動いたり、揺れたりするかのような現象を、感じることができる。このような現象が継続して発生すると、ユーザは乗り物酔い症状を感じることができる。これを解決するために、クライアント２００は、欠落した第２最終映像フレームに代わる映像フレームを生成する必要がある。従って、クライアント２００は、第１時点で受信した第１最終映像フレームを修正して第２時点の映像フレーム（即ち、第２代替映像フレーム）として生成できる。
【0071】
クライアント２００は、第１最終映像フレームを第２時点に対応する映像フレームに変換するために補正の水準を決定する必要がある。このために、クライアント２００は、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して、差値を算出できる。再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき映像フレームの方向に関するデータであり得る。再生方向データは、ＶＲ装置内に備えられたセンサ（例えば、ジャイロセンサ、地磁気センサ、加速度センサなど）を介して測定され得る。例えば、クライアント２００は、サーバ１００から再生方向データに対応する映像方向データを含む映像フレームを受信してユーザに提供する場合、クライアント２００は、映像フレームが提供されるべき方向に該当する第２再生方向データと第１最終映像フレームの方向に該当する第１映像方向データとの差を計算し、第１最終映像フレームを補正すべき値として算出できる。
【0072】
前記再生方向データ及び前記映像方向データは、高低角データ及び方位角データを含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の映像方向データ間の高低角及び方位角の差を算出できる。
【0073】
また、前記再生方向データ及び前記映像方向データは、着用者の正面方向を軸とする回転角度である傾斜データを含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の映像方向データ間の傾斜データの差を算出できる。
【0074】
クライアント２００は、前記算出された差値だけ前記第１最終映像フレームを補正して、受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを、生成する（Ｓ２４０）。一実施形態として、クライアント２００は、前記差値に基づいて前記第１最終映像フレームを移動できる。即ち、クライアント２００は、高低角の差値だけ第１最終映像フレームを垂直方向へ移動させることができ、方位角の差値だけ第１最終映像フレームを水平方向へ移動させることができる。また、クライアント２００は、傾斜データの差値だけ第１最終映像フレームを回転できる。ユーザの正面方向を軸に特定の方向に首を傾けると、ユーザに見える物体は回転するので、第１時点の映像方向データと第２時点の再生方向データ間の傾斜データの差値だけ、第１最終映像フレームを回転できる。
【0075】
クライアント２００が第１最終映像フレームを前記差値に応じて補正する場合、ユーザに提供される第２代替映像フレーム上には、図６に示すように、空白領域が発生するようになる。前記空白領域は白黒で処理されるか、着用者が視覚的に最小限に認知するように類似する色の組み合わせで処理されることもできる。
【0076】
クライアント２００は、前記第２代替映像フレームを画面に表示する（Ｓ２６０）。即ち、クライアント２００は、第２時点に欠落した第２最終映像フレームに代えて、第１最終映像フレームを補正した第２代替映像フレームを、画面に表示できる。
【0077】
また、ユーザがクライアント２００を着用して移動する場合、クライアント２００は、ユーザの移動程度（例えば、移動距離及び移動方向、移動した歩数など）を把握する。第２時点の最終の映像フレームが受信されない場合、クライアント２００は、ユーザの移動程度に対応するように、第１最終映像フレームを補正できる。一実施形態として、ユーザが移動する場合に、物体はユーザから離れた距離に応じて位置変化の度合いに差がある。図７に示すように、近くに位置する物体は、ユーザの移動に応じて大幅に移動する。遠くに位置する物体は、近くに位置する物体に比べて、ユーザの移動に応じて小幅に移動する。従って、仮想現実映像でも、このような遠近による物体の移動幅の差を反映しなければ、ユーザに高い現実感を提供できない。このために、複数の物体（即ち、映像フレーム内で各ピクセルの集合で表現された物体）がクライアントからそれぞれ離れた距離情報（以下、深さ情報）をメタ情報として含む最終の映像フレームを、サーバが生成して伝送できる。第２時点の第２最終映像フレームが欠落する場合、クライアントは、含まれている１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を用いてユーザの移動程度を算出し、第１最終映像フレーム内のそれぞれの物体に対して各物体の深さ情報を反映して第２代替映像フレームを生成できる。即ち、図８に示すように、クライアントは、第１時点と第２時点とのクライアント位置（即ち、クライアントを着用したユーザの位置）の差に応じて、第１最終映像フレーム内の複数の物体に相応するピクセル別に補正を行って、第２代替映像フレームを生成できる。また、追加的に、クライアントは、物体が配置された距離に応じた物体の移動幅の差を反映してピクセル単位の物体補正を行った後、既存に第１最終映像フレームで物体が配置されていた領域を補正する作業を行うことができる。クライアントは、周辺の色を反映して特定の色組み合わせで既存の物体配置空間を満たすことができる。
【0078】
更に、他の実施形態として、物体の移動幅が異なる場合、クライアントは最も大きな大きさの物体の配置位置に合うように映像フレームを移動させた後、残りの物体をピクセル単位で調節できる。これにより、最も大きな大きさの物体に対してはピクセル単位の作業を行わないので、ピクセル単位の移動に応じて生成される第２代替映像フレーム内の空き空間が、最小化され得る。また、他の実施形態として、クライアントを着用したユーザが、前方又は後方にのみ移動する場合、クライアントは、第１最終映像フレームを拡大又は縮小して、欠落した第２最終映像フレームに代わる第２代替映像フレームを、生成できる。
【0079】
また、第ｎ時点（ｎは１よりも大きい自然数）に相応する最終の映像フレームが受信されないと、前記第ｎ-１時点に相応する映像方向データと前記第ｎ時点に相応する再生方向データとを比較して差値を算出する段階と、前記算出された差値だけ前記第ｎ-１代替映像フレームを補正して第ｎ代替映像フレームを生成する段階とを、更に含むことができる。即ち、第２時点に第２最終映像フレームが受信されず、第２代替映像フレームが提供された後に第３時点に第３最終映像フレームが受信されると、ユーザは映像内の物体が円滑に移動するものと知覚できる。しかし、第２時点以後にも映像フレームが連続的に受信されない場合、クライアント２００は以前に生成された代替映像フレーム（例えば、第２代替映像フレーム又は第ｎ-１代替映像フレーム）に基づいて、次の代替映像フレーム（例えば、第３代替映像フレーム又は第ｎ代替映像フレーム）を生成する必要がある。クライアント２００は、第ｎ-１時点の第ｎ-１代替映像フレーム内の映像方向データ（又は第ｎ-１時点に測定された再生方向データ）と第ｎ時点に測定された再生方向データとを比較して差値を算出し、算出された差値だけ第ｎ-１代替映像フレームを補正（例えば、移動又は変換）して、第ｎ代替映像フレームを生成できる。これにより、クライアント２００は、通信状態の不良により連続的にサーバ１００から最終の映像フレームが受信されない場合も、自然な仮想現実映像をユーザに提供できる。
【0080】
以下、クライアント２００が１つ以上のレイヤを用いて仮想現実映像を再生する実施形態を具体的に説明する。
【0081】
図９は、一実施形態において、１つ以上のレイヤを用いて仮想現実映像を再生する方法を示すフローチャートである。
【0082】
段階Ｓ３１０で、クライアント２００が、サーバ１００から映像フレームを受信し、受信した映像フレームを第１レイヤに割り当てる。
【0083】
段階Ｓ３２０で、クライアント２００が、少なくとも１つのグラフィックユーザインターフェース（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）を含む第２レイヤを、生成する。
【0084】
段階Ｓ３３０で、クライアント２００が、少なくとも１つのコントローラの制御情報を表示する第３レイヤを、生成する。
【0085】
段階Ｓ３４０で、クライアント２００が、最終の映像フレームを生成し、生成された最終の映像フレームを表示する。
【0086】
一実施形態において、クライアント２００は、第１レイヤ及び第２レイヤを合成して最終の映像フレームを生成し、生成された最終の映像フレームを表示する。
【0087】
他の実施形態において、クライアント２００は、第１レイヤ、第２レイヤ及び第３レイヤを合成して最終の映像フレームを生成し、生成された最終の映像フレームを表示する。
【0088】
図１０は、一実施形態において、第１レイヤ及び第２レイヤを含む仮想現実映像の再生方法を示す図である。
【0089】
図１０を参照すれば、サーバから受信した映像フレームが表示される第１レイヤ４００及び少なくとも１つのグラフィックユーザインターフェース５１０、５２０が表示される第２レイヤ５００が、示されている。
【0090】
第１レイヤ４００に表示された映像フレームは、サーバ１００から映像フレームが伝送される伝送周期毎に変更される。
【0091】
第２レイヤ５００に表示された少なくとも１つのグラフィックユーザインターフェース５１０、５２０は、クライアント２００又はクライアント２００で表示される映像に対応するアプリケーションを制御するか、クライアント２００で表示される映像に対応する情報を表示するために、用いられる。
【0092】
例えば、少なくとも１つのグラフィックユーザインターフェース５１０、５２０は、クライアント２００に表示される映像の再生を制御するか、映像に対応する情報を表示するための少なくとも１つのユーザインターフェースを、含むことができる。
【0093】
他の例として、少なくとも１つのグラフィックユーザインターフェース５１０、５２０は、クライアント２００に表示されるゲームの操作又はゲームに対応する情報を表示するための少なくとも１つのユーザインターフェースを、含むことができる。
【0094】
ユーザの動きによりクライアント２００が移動する場合、第１レイヤ４００に表示される映像フレームは、クライアント２００の位置又は方向によって決定される再生方向データ及び映像方向データに対応する映像フレームに、変更される。しかし、第２レイヤ５００に表示されるグラフィックユーザインターフェースの位置は、変更されず、ユーザの視線と共に移動し得る。
【0095】
同様に、開示された実施形態において、第１レイヤ４００に第１時点の映像フレームが表示され、第１時点から映像フレームの伝送周期が経過した時点で、ある第２時点の映像フレームが受信されない場合、クライアント２００は、第１時点の映像方向データと第２時点の再生方向データの差異点を算出し、差値に基づいて第１映像フレームを補正して第２代替映像フレームを生成する。
【0096】
仮りに、１つのレイヤに映像フレーム及びグラフィックユーザインターフェースが共に表示された状態で、前記実施形態において第１映像フレームが補正される場合、第１映像フレームに表示されたグラフィックユーザインターフェースも共に移動又は回転するようになり、ユーザに不便さを感じさせることがある。
【0097】
従って、図１０に示す実施形態によれば、映像フレームを第１レイヤ４００に割り当て、グラフィックユーザインターフェース５１０、５２０を第２レイヤ５００に割り当てることによって、映像フレームの補正に伴う不便を解消することができる。
【0098】
具体的に、クライアント２００は、生成された第２代替映像フレームを第１レイヤ４００に割り当てて表示するようにする。
【0099】
反面、第２レイヤ５００は、クライアント２００で生成されるため、遅延又は欠落が発生しない。また、第２レイヤ５００に表示されるグラフィックユーザインターフェース５１０、５２０の位置は、フレーム内で変更されないので、第２レイヤ５００に表示されるフレームに対して補正をする必要がない。
【0100】
従って、クライアント２００は、補正が完了した第２代替映像フレームを含む第１レイヤ４００と未補正の第２レイヤ５００とを合成して最終の映像フレームを生成し、生成された最終の映像フレームを表示する。
【0101】
クライアント２００は、第２レイヤ５００に表示されるグラフィックユーザインターフェース５１０、５２０を生成するための情報をサーバ１００から受信してもよく、直接獲得してもよい。
【0102】
サーバ１００から情報を受信してグラフィックユーザインターフェース５１０、５２０を生成する場合、グラフィックユーザインターフェース５１０、５２０を生成するために必要な情報の量は、第１レイヤ４００に表示される映像フレームに含まれている情報の量に比べて非常に少ない。また、グラフィックユーザインターフェース５１０、５２０は、第１レイヤ４００に表示される映像フレームとは異なり、クライアント２００の動きや時間の経過に伴い、即時に変化するものではない場合が多い。このため、第１レイヤ４００と第２レイヤ５００とを分離して処理することによって、容易に映像を補正でき、開示された実施形態による映像フレームの補正過程でグラフィックユーザインターフェースが共に補正でき、ユーザに不便を与える現象も防止できる。
【0103】
図１１は、一実施形態において、第１レイヤ、第２レイヤ及び第３レイヤを含む仮想現実映像の再生方法を示す図である。
【0104】
図１１は、図１０に示す実施形態において第３レイヤ６００が追加された実施形態を示す図である。従って、第１レイヤ４００及び第２レイヤ５００と関連して省略される内容であっても、図１０で説明した内容は、図１１に示す第１レイヤ４００及び第２レイヤ５００にも適用される。
【0105】
一実施形態において、クライアント２００は、１つ以上のコントローラ（図示せず）と接続される。コントローラは、仮想現実映像の制御又は仮想現実映像に対応するアプリケーションやゲームの制御のために用いられる。
【0106】
クライアント２００は、コントローラの動作情報を受信し、受信した動作情報を用いて少なくとも１つのコントローラの制御情報を示す映像を生成する。
【0107】
クライアント２００は、コントローラの制御情報を示す映像を第３レイヤ６００に割り当てる。
【0108】
図１１を参照すれば、第３レイヤ６００は、少なくとも１つのコントローラの位置、方向及び動作情報のうちの少なくとも１つを示すコントローライメージ６１０、６２０を表示する。
【0109】
クライアント２００は、少なくとも１つのコントローラの位置、方向及び動作情報のうちの少なくとも１つを獲得し、獲得した情報を用いてコントローラの制御情報を示す映像を生成する。クライアント２００は、生成された映像の１フレームを第３レイヤ６００に表示する。
【0110】
第３レイヤ６００に表示される情報は、クライアント２００がコントローラから受信して表示するものであるので、サーバ１００との通信状態とは関係なく、クライアント２００が獲得又は生成して表示できる。
【0111】
クライアント２００は、サーバ１００との通信過程で発生し得る遅延（ｌａｔｅｎｃｙ）現象なしにコントローラの制御情報を表示できる。
【0112】
従って、第２レイヤ５００と同様、第３レイヤ６００に対しては、フレーム補正を行う必要がない。
【0113】
クライアント２００は、第１レイヤ４００に表示される映像フレームに対してのみ補正を行い、補正により生成された第２代替映像フレームを第１レイヤ４００に割り当て、第１レイヤ４００、第２レイヤ５００及び第３レイヤ６００を合成して最終の映像フレームを生成する。
【0114】
クライアント２００は、生成された最終の映像フレームを表示する。
【0115】
以上で前述した本発明の一実施形態に係る仮想現実映像の伝送方法、仮想現実映像の再生方法及び仮想現実映像の補正方法は、ハードウェアであるサーバ１００又はクライアント２００と結合されて実行するためにプログラム（又はアプリケーション）で実現して媒体に格納し得る。
【0116】
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行する必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるために必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるために必要な追加の情報やメディアが、前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどと如何に通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。
【0117】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短い瞬間にデータを格納する媒体ではなく半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取れるコードを格納することができる。
【0118】
前記のような本発明によれば、以下のような多様な効果を奏する。
【0119】
第一に、仮想現実映像フレームを無線で伝送するのに伴う特定時点の映像フレームの欠落を補完でき、ユーザは特定の映像フレームが受信されない場合にも仮想現実空間の全体的な時点が揺れることなく、自然に維持され得るという効果がある。
【0120】
第二に、ユーザは、サーバコンピュータが遠く離れている状態でもセルラー通信やＷＬＡＮ通信を用いてどこでも途切れることなく仮想現実映像を楽しむことができる。
【0121】
第三に、映像フレームが受信されない場合に補完することによって、仮想現実映像を無線で伝送できるので、コンピュータに接続されているケーブルにより行動が制限されるという問題、ケーブルに引っ掛かって不注意による事故が発生するという問題を解決することができる。
【0122】
第四に、サーバは、クライアントにより要請される再生方向データに対応する全体映像のうち１つのフレームのみ抽出して伝送するか、再生方向データに対応する方向のフレームのみ生成して伝送すればよいので、無線通信のネットワーク帯域幅を削減することができる。
【0123】
第五に、同一のデータ容量で全ての方向に対する全体映像を伝送するのではなく、１つのフレームのみ伝送するので、多くの通信トラフィックを占めることなく、高解像度の映像を伝送できる。これにより、クライアントを着用するユーザは、遠距離から高解像度の映像を視聴できる。
【0124】
第六に、クライアントは、サーバから再生が要求される方向の映像フレームのみを受信するので、所望の方向を再生するためにクライアントが全体映像の中から再生する方向のフレームを抽出するプロセスを実行する必要がない。これにより、高スペックのクライアントが不要になり得る。
【0125】
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野において通常の知識を有する者は本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できる。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的ではないものとして理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】