特許 6709426 画像表示制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6709426

(24)【登録日】2020年5月27日

(45)【発行日】2020年6月17日

(54)【発明の名称】画像表示制御装置及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200608BHJP

   G06F 3/0484 20130101ALI20200608BHJP

   G09G 5/00 20060101ALI20200608BHJP

   G09G 5/36 20060101ALI20200608BHJP

   G09G 5/38 20060101ALI20200608BHJP

   G06T 19/00 20110101ALI20200608BHJP

   A63F 13/80 20140101ALI20200608BHJP

   A63F 13/25 20140101ALI20200608BHJP

   A63F 13/426 20140101ALI20200608BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0484 150

   G09G5/00 550C

   G09G5/36 520P

   G09G5/38 A

   G09G5/36 520D

   G09G5/36 520E

   G09G5/00 530H

   G09G5/00 510A

   G06T19/00 300B

   A63F13/80 E

   A63F13/25

   A63F13/426

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2016-124715(P2016-124715)

(22)【出願日】2016年6月23日

(65)【公開番号】特開2017-228141(P2017-228141A)

(43)【公開日】2017年12月28日

【審査請求日】2019年6月13日

(73)【特許権者】

【識別番号】516189165

【氏名又は名称】株式会社想通

(74)【代理人】

【識別番号】110000419

【氏名又は名称】特許業務法人太田特許事務所

(72)【発明者】

【氏名】村瀬 廣晃

【審査官】 円子 英紀

(56)【参考文献】

【文献】 国際公開第２００７／１４９７０７（ＷＯ，Ａ１）

【文献】 国際公開第２００２／０５８８０６（ＷＯ，Ａ１）

【文献】 特開平１０−１０８１１２（ＪＰ，Ａ）

【文献】 特開２０１４−２１９９４８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２５４８８２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｇ０６Ｔ １９／００

Ａ６３Ｆ １３／８０

Ａ６３Ｆ １３／２５

Ａ６３Ｆ １３／４２６

(57)【特許請求の範囲】

【請求項1】

予め定められた基準点の周囲に形成されている空間を、当該基準点を視点として、画像化した空間画像のデータを空間画像データとして取得する取得手段と、
前記画像化された空間画像を複数のエリアに分割し、前記取得された空間画像データからそれぞれのエリアに対応するエリア画像のデータをエリア画像データとして生成する分割手段と、
前記生成されたエリア画像データに基づいて、ユーザの視点位置が予め定められて形成された仮想空間に、各エリア画像を配置する画像配置制御手段と、
ユーザの前記仮想空間内における視線方向を検出する視線検出手段と、
前記検出されたユーザの視線方向に応じて、前記仮想空間における前記ユーザの視点位置から見える画像を表示手段に表示させる表示制御手段と、
前記ユーザの指示入力を検出する入力検出手段と、
前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、特定のエリア画像を第１エリア画像として選択する第１選択手段と、
前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、前記第１エリア画像とは異なるエリア画像を第２エリア画像として選択する第２選択手段と、
を備え、
前記画像配置制御手段が、
前記第２エリア画像が選択されると、前記選択された第２エリア画像が配置されている前記仮想空間の位置に、前記選択された第１エリア画像を配置することを特徴とする画像表示制御装置。

【請求項2】

請求項１に記載の画像表示制御装置において、
前記各エリア画像データには、該当するエリア画像を表示するための画像形状及び画像サイズの少なくともいずれか一方が予め規定されており、
前記画像配置制御手段が、
各エリア画像を前記仮想空間に配置する際に、予め選択されている各エリア画像が配置される各配置位置の位置形状に合わせて当該各エリア画像の画像形状又は画像サイズを変更し、
前記第２エリア画像が配置されている前記仮想空間の位置に前記第１エリア画像を配置する際に、前記第１エリア画像の画像形状又は画像サイズを、前記第２エリア画像が配置されている前記仮想空間内の位置形状に合わせて変更する、画像表示制御装置。

【請求項3】

請求項１又は２に記載の画像表示制御装置において、
前記仮想空間には、前記各エリア画像が配置される第１レイヤと、前記ユーザの視点位置と前記第１レイヤとの間に形成され、当該第１レイヤとは異なるレイヤによって形成される第２レイヤと、が設けられており、
前記画像配置制御手段が、
前記検出されたユーザの指示入力に従って前記第１エリア画像が選択された場合に、該当する第１エリア画像を、前記第１レイヤから前記第２レイヤに移動させ、
前記表示制御手段が、
前記仮想空間における前記ユーザの視点位置から見える画像を表示手段に表示させる、画像表示制御装置。

【請求項4】

請求項３に記載の画像表示制御装置において、
前記配置制御手段が、
前記検出されたユーザの指示入力に従って前記第１エリア画像が選択された場合に、当該第１エリア画像が配置されていた第１レイヤ上の位置に、前記第１エリア画像に含まれるオブジェクト又は当該オブジェクトに関連する画像を配置する、画像表示制御装置。

【請求項5】

請求項１〜４のいずれか１項に記載の画像表示制御装置において、
前記仮想空間が、球体形状を有する３次元空間であり、
前記画像配置制御手段が、
前記生成されたエリア画像データに基づいて、前記仮想空間の外郭の内周面に、当該内周面に沿って、各エリア画像を配置する、画像表示制御装置。

【請求項6】

請求項１〜５のいずれか１項に記載の画像表示制御装置において、
前記表示手段が、
前記ユーザの左右の眼を覆うとともに当該ユーザの頭部に装着可能な形状を有する、画像表示制御装置。

【請求項7】

請求項１〜６のいずれか１項に記載の画像表示制御装置において、
前記取得手段が、
前記ユーザの視線の方向の空間を撮像して空間画像として画像化する撮像手段を有し、
前記画像化された空間画像を空間画像データとして出力する、画像表示制御装置。

【請求項8】

コンピュータを、
予め定められた基準点の周囲に形成されている空間を、当該基準点を視点として、画像化した空間画像のデータを空間画像データとして取得する取得手段、
前記画像化された空間画像を複数のエリアに分割し、前記取得された空間画像データからそれぞれのエリアに対応するエリア画像のデータをエリア画像データとして生成する分割手段、
前記生成されたエリア画像データに基づいて、ユーザの視点位置が予め定められて形成された仮想空間に、各エリア画像を配置する画像配置制御手段、
ユーザの前記仮想空間内における視線方向を検出する視線検出手段、
前記検出されたユーザの視線方向に応じて、前記仮想空間における前記ユーザの視点位置から見える画像を表示手段に表示させる表示制御手段、
前記ユーザの指示入力を検出する入力検出手段、
前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、特定のエリア画像を第１エリア画像として選択する第１選択手段、及び、
前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、前記第１エリア画像とは異なるエリア画像を第２エリア画像として選択する第２選択手段、
として機能させ、
前記画像配置制御手段が、
前記第２エリア画像が選択されると、前記選択された第２エリア画像が配置されている前記仮想空間の位置に、前記選択された第１エリア画像を配置することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各種の画像を表示する画像表示制御装置等に関する。

【背景技術】

【0002】

従来、ユーザの視点を基準に３６０度の全方位を全天球カメラ（以下、「全方位カメラ」ともいう。）を用いて撮像して画像化された画像（すなわち、全天球画像）を生成して表示する技術が知られている。

【0003】

また、最近では、ＶＲ（バーチャルリアリティ）技術の応用として、３軸のジャイロセンサを搭載したヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）に全天球画像を表示させるとともに、ジャイロセンサによってユーザの顔の向きを検出して、当該検出された顔の向きに応じて全天球画像を回転させつつ、表示させる画像表示装置も提案されている（例えば、特許文献１）。

【先行技術文献】

【非特許文献】

【0004】

【特許文献1】特開２０１０−２５６５３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の表示装置にあっては、ユーザの顔の向きに応じて、全天球画像の表示を切り替えて、ユーザに空間的な広がりを認知させつつ、ＶＲを実現できるものの、ユーザが主体となって全天球画像の一部を変化させることができず、その応用範囲が限られている。

【0006】

本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザの視線に方向に連動させて分割表示されている画像の表示位置を移動制御することなど、仮想空間における新規な画像表示手法を提供し、新たなインターフェースとして利用し、又は、ゲームに利用するなど、ユーザにおける操作性の向上及びエンターテインメント性や興趣性を向上させることが可能な画像表示制御装置などを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明は、予め定められた基準点の周囲に形成されている空間を、当該基準点を視点として、画像化した空間画像のデータを空間画像データとして取得する取得手段と、前記画像化された空間画像を複数のエリアに分割し、前記取得された空間画像データからそれぞれのエリアに対応するエリア画像のデータをエリア画像データとして生成する分割手段と、前記生成されたエリア画像データに基づいて、ユーザの視点位置が予め定められて形成された仮想空間に、各エリア画像を配置する画像配置制御手段と、ユーザの前記仮想空間内における視線方向を検出する視線検出手段と、前記検出されたユーザの視線方向に応じて、前記仮想空間における前記ユーザの視点位置から見える画像を表示手段に表示させる表示制御手段と、前記ユーザの指示入力を検出する入力検出手段と、前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、特定のエリア画像を第１エリア画像として選択する第１選択手段と、前記検出されたユーザの指示入力に従って、前記仮想空間に配置された複数のエリア画像の中から、前記第１エリア画像とは異なるエリア画像を第２エリア画像として選択する第２選択手段と、を備え、前記画像配置制御手段が、前記第２エリア画像が選択されると、前記選択された第２エリア画像が配置されている前記仮想空間の位置に、前記選択された第１エリア画像を配置する構成を有している。

【発明の効果】

【0008】

本発明は、ユーザの指示に基づいて仮想空間内に分割表示されている画像の表示位置を移動制御することによって、仮想空間における画像の入れ替えなどの新たなインターフェースとして利用すること、及び、ゲームに利用するなど、ユーザにおける操作性の向上及びエンターテインメント性や興趣性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係る画像表示システムの一実施形態の構成を示すシステム構成図である。

【図2】一実施形態の画像表示システムにおいて表示される全天球画像の一例を示す図である。

【図3】一実施形態におけるＨＭＤの構成例を示すブロック図である。

【図4】一実施形態における表示制御装置の構成例を示すブロック図である。

【図5】一実施形態において、パズルゲームにおける画像入れ替え時の動作を説明するイメージ図である。

【図6】一実施形態のパズルゲームにおいて全天球画像を分割する際の分割例を示す図である。

【図7】一実施形態のパズルゲームにおいて全天球画像が仮想空間における外郭内側スクリーンに配置された例を示す図である。

【図8】一実施形態のパズルゲームにおいて、第１エリア及び第２エリアを選択する際の原理を説明する図である。

【図9】一実施形態における第１選択処理、第２選択処理及び配置換え処理を説明するための図である。

【図10】一実施形態の画像表示装置のアプリケーション実行部によって実行される処理を示すフローチャートである。

【図11】一実施形態における変形例において、平面画像を３次元モデル化する場合の処理を説明するための図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、ユーザの両目を覆う形態にて、ユーザの頭部に装着される形状を有するＨＭＤと、当該ＨＭＤに対する画像表示を制御する表示制御装置から構成される画像表示制御装置に対して、本発明に係る画像表示制御装置及びプログラムを適用した場合の実施形態である。

【0011】

［１］画像表示システム
［１．１］画像表示システムの概要
まず、図１及び図２を用いて、本実施形態の画像表示システム１の構成及び概要について説明する。なお、図１は、本実施形態の画像表示システム１の構成を示すシステム構成図であり、図２は、全天球画像データの一例を示す図である。また、図が煩雑になることを防止するため、図１においては、一部のユーザ及び画像表示装置１０のみを示している。すなわち、実際の画像表示システム１においては、表示するよりも多数のユーザ及び画像表示装置１０が存在している。

【0012】

本実施形態の画像表示システム１は、各ユーザによって利用される画像表示装置１０であって、ＨＭＤ２０及び表示制御装置３０から構成される画像表示装置１０と、ネットワーク５０に通信接続され、画像表示装置１０に画像データ（例えば、視点を基準に３６０度の各方向が画像化された全天球画像を表示するための画像データ（以下、「全天球画像データ」という。））を配信し、又は、その管理を実行する管理サーバ装置４０と、を有している。

【0013】

特に、本実施形態の画像表示システム１は、ＨＭＤ２０に球体形状を有する仮想空間内（３次元空間）において、その外郭の内側の面に沿って配置された複数のエリアに分割された全天球画像を表示させる構成を有し、当該表示させた全天球画像を、あたかもユーザの周囲に存在するかのごとく認知させるＶＲ環境を提供するためのシステムである。

【0014】

そして、本実施形態の画像表示システム１は、例えば、ユーザの指示に基づいて、仮想空間に配置された複数のエリアの画像（以下、「エリア画像」という。）の中から、特定のエリア画像を第１エリア画像として選択し、かつ、第１エリア画像とは異なるエリア画像を第２エリア画像として選択すると、選択した第２エリア画像が配置されている仮想空間の位置に、選択した第１エリア画像を配置するユーザの視線を用いて実行するパズルゲームを実現する構成を有している。

【0015】

すなわち、本実施形態の画像表示システム１は、ＶＲ環境下で、例えば、エリア画像をピースとして用いるパズルゲームにおいて、その入れ替え、又は、スライドさせることによって所定の並びによって形成された全天球画像を構築するタイプのパズルゲームを実現するシステムとして用いられる。

【0016】

なお、本実施形態の画像表示システム１においては、球体形状の仮想空間を用いるとともに、当該仮想空間の内周面に沿って全天球画像（動画）を表示する構成を用いて説明するが、仮想区間は球体形状に限らず、直方体や任意の立体的な形状であってもよいし、全天球画像に代えて、半天球画像や単なるパノラマ画像であってもよいし、単なる平面画像の組み合わせであってもよく、動画像のみならず、静止画像であってもよい。

【0017】

また、本実施形態の画像表示システム１に用いるコンテンツとしては、ジグソーパズルのように、複数のピースを組み合わせていき、正しい全天球画像を構築するタイプのパズルゲーム、又は、全天球画像内に歯抜け部分を作っておき、各歯抜けエリアにピースを当て嵌めて、正しい全天球画像を構築するタイプのパズルゲームなどの画像表示を伴ったゲームであってもよい。

【0018】

ただし、単に、コンテンツとして映画、ドラマ、プレゼンテーション用画像、写真、Ｗｅｂページなどのネットワーク上において提供されている画像であってもよい。特に、本実施形態の画像表示システム１は、複数のＷｅｂページから１のＷｅｂページを選択させ、又は、複数の写真の画像から１の画像を選択させるなど、複数の画像が提示され、その中から１の画像を選択表示するシステムに適用可能である。

【0019】

［１．２］画像表示システムの概略構成
次に、本実施形態の画像表示システム１の概略構成について説明する。

【0020】

画像表示装置１０は、ＨＭＤ２０と、当該ＨＭＤ２０に対する全天球画像データの表示を制御するための表示制御装置３０と、を有している。ただし、本実施形態の画像表示装置１０は、ＨＭＤ２０に表示制御装置３０の各機能又は一部の機能が組み込まれる構成を有していてもよいし、その一部の機能が省略されていてもよい。

【0021】

ＨＭＤ２０には、図１に示すように、ユーザの左右の眼の各々に対応する２つの表示パネル（右眼用）２６１及び表示パネル（左眼用）２６２が設けられ、ユーザの頭部に装着可能な構成を有している。そして、表示パネル（右眼用）２６１及び表示パネル（左眼用）２６２は、それぞれ、ユーザの眼を覆う形状を有している。

【0022】

例えば、ＨＭＤ２０は、表示パネル（右眼用）２６１及び表示パネル（左眼用）２６２に、それぞれ、図２に示す右眼用視差画像及び左眼用視差画像を表示させ、ユーザの両眼に所定量の視差を有する動画像を視認させて、全天球画像に対応する動画像の立体視を実現させる構成を有している。

【0023】

なお、立体視を実現するための視差画像については、従来の３Ｄ動画像と同様であるため、詳細を省略する。

【0024】

表示制御装置３０は、ネットワーク５０に通信接続され、管理サーバ装置４０から全天球画像データを取得するとともに、当該全天球画像データをＨＭＤ２０に表示するための各種の制御を実行する。

【0025】

ネットワーク５０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク５０の構成は、これに限られない。

【0026】

管理サーバ装置４０は、各ユーザに対するパズルゲームサービスの提供を管理するためのコンピュータシステムである。

【0027】

具体的には、管理サーバ装置４０は、各ユーザを管理するための情報に対応するデータが記憶されるユーザ管理ＤＢ５０１を有し、ユーザのパズルゲームサービスに対するログイン及び当該サービスにおけるユーザのスコア管理などを行う機能を有する。

【0028】

特に、ユーザ管理ＤＢ５０１には、例えば、各ユーザを一意に識別するためのユーザＩＤと、アカウント名、ログインパスワード、ユーザの氏名、住所、メールアドレス等、ユーザの属性を示すユーザ属性情報と、ユーザの過去のゲーム履歴として、ゲームスコアを示すスコア情報と、を対応付けて記憶するようにすればよい。

【0029】

また、管理サーバ装置４０は、パズルゲームサービスの提供に際して、画像表示装置１０に提供する全天球画像データが、当該全天球画像データを識別するための全天球画像データＩＤと対応付けつつ、記憶される全天球画像データ用ＤＢ５０２を有している。

【0030】

さらに、管理サーバ装置４０は、パズルゲームを実施する際のパズルに対応する問題データ及び当該問題データに対応する正解データが記憶される問題データ用ＤＢ５０３を有している。

【0031】

例えば、問題データとしては、全天球画像の分割数、分割された各エリア画像、及び、各エリア画像のＩＤ（以下、「エリアＩＤ」という。）に基づく全天球画像の組み替えを行うための情報（具体的には、どのエリアのエリア画像を、どのエリアに配置するかを規定する情報）を示すデータが含まれる。また、正解データは、各エリア画像における正解となる配置位置が規定されたデータが含まれる。

【0032】

なお、本実施形態の問題データは、例えば、各全天球画像データと、一対一の対応関係を有し、問題データ用ＤＢ５０３には、各全天球画像データＩＤと対応付けて、該当する問題データ及び正解データが記憶されている。ただし、問題データは、全ての全天球画像データに共通のもの（同一の分割数において各エリア画像の正規の配置に対して問題としての配置位置を規定するもの）を用意してもよい。

【0033】

［２］ＨＭＤ
次に、図３を用いて本実施形態のＨＭＤ２０の構成について説明する。なお、図３は、本実施形態のＨＭＤ２０の構成を示すブロック図である。

【0034】

本実施形態のＨＭＤ２０は、図３に示すように、表示制御装置３０とのデータの授受を仲介するＩ／Ｏインターフェース２１０と、ジャイロセンサ２２０と、ユーザの顔の向きに基づいて表示すべき全天球画像の表示方位を設定する表示方位設定部２３０と、画像メモリ２４０と、ユーザの視線を検出する視線検出カメラ２５０と、表示部２６０と、表示部２６０を制御する表示制御部２７０と、ＨＭＤ２０の全体を統合制御するＨＭＤ制御部２８０と、を有している。そして、各部は、バスＢによって相互接続されている。

【0035】

なお、例えば、視線検出カメラ２５０は、表示制御装置３０と連動して、本発明の入力検出手段及び視線検出手段を構成し、表示部２６０及び表示制御部２７０は、本発明の表示手段を構成する。

【0036】

Ｉ／Ｏインターフェース２１０は、例えば、ＨＤＭＩ（Ｈｉｇｈ−Ｄｉｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ／登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ／登録商標）等の有線による入出力インターフェース、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、若しくは、ＩＥＥＥ８０２．１１ａ、ｇ、ｎ、ａｃ等の無線インターフェースであり、表示制御装置３０と、有線又は無線によって通信を実行し、表示制御装置３０から供給される画像メモリ２４０を介して表示制御部２７０に供給する。

【0037】

ジャイロセンサ２２０は、３軸タイプの加速度センサであり、ユーザの顔の動き（すなわち、頭部の向き）を検出して、当該検出した顔の動きに応じた信号を表示方位設定部２３０に出力する。

【0038】

表示方位設定部２３０は、ジャイロセンサ２２０から供給される信号に基づき、ユーザの顔の向きを検出し、当該検出した顔の向きに応じて、全天球画像において視点から見える画像の方位を決定し、当該決定した表示方位を示す表示方位データを生成し、生成した表示方位データを表示制御装置３０に供給する。

【0039】

画像メモリ２４０は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって構成され、表示制御装置３０から供給される画像データをバッファリングするために用いられる。

【0040】

視線検出カメラ２５０は、ＨＭＤ２０において、ユーザの両眼を画角内に納める位置に配置されたデジタルカメラであり、光学システムと、該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）と、ＣＣＤＩにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有している。

【0041】

そして、視線検出カメラ２５０は、ＨＭＤ制御部２８０による制御の下、ＨＭＤ２０を装着したユーザの画像化した両眼の画像を、撮像画像データとして、Ｉ／Ｏインターフェース２１０を介して、表示制御装置３０に供給する。

【0042】

表示部２６０は、表示パネル（右眼用）２６１と、表示パネル（左眼用）２６２と、を有し、各表示パネル（右眼用）２６１及び表示パネル（左眼用）２６２は、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子又は液晶表示素子または構成され、表示制御部１１６の制御に従って所定の画像を表示する。

【0043】

表示パネル（右眼用）２６１は、ユーザがＨＭＤ２０を装着した状態において、ユーザの右眼正面に位置するように配置されるとともに、表示パネル（左眼用）２６２は、ＨＭＤ２０の装着状態において、ユーザの左眼正面に位置するように配置される。

【0044】

表示制御部２７０は、ＨＭＤ制御部２８０による制御の下、表示制御装置３０から供給される表示用データに基づく表示処理を実行し、表示部２６０に対応する画像を表示させる。

【0045】

特に、表示制御部２７０は、表示制御装置３０から仮想空間の視点から見える当該仮想空間内における画像を構成する表示用データを受信し、当該表示用データに基づき、右眼用視差画像及び左眼用視差画像を生成しつつ、表示パネル（右眼用）２６１に右眼用視差画像を表示させ、かつ、左眼用視差画像を表示パネル（左眼用）２６２に表示させる。

【0046】

ＨＭＤ制御部２８０は、主としてＣＰＵ（中央演算処理装置）により構成され、図示しないスイッチと連動して実行される電源のＯＮ及びＯＦＦの管理などのＨＭＤ２０の各部を統合制御する。

【0047】

［３］表示制御装置
［３．１］構成
次に、図４を用いて本実施形態の表示制御装置３０の構成について説明する。なお、図４は、本実施形態の表示制御装置３０の構成を示すブロック図である。

【0048】

本実施形態の表示制御装置３０は、例えば、図４に示すように、ネットワーク５０を介した通信を行うネットワーク通信部３１０と、Ｉ／Ｏインターフェース３２０と、各種のデータが記憶される記憶部３５０と、操作部３６０と、管理制御部３７０と、上述したパズルゲームを実行するアプリケーション実行部３８０と、を有している。そして、上記の各部は、バスＢによって相互に接続されている。

【0049】

ネットワーク通信部３１０は、所定のネットワークインターフェースであり、ネットワーク５０に通信接続され、管理サーバ装置４０との間において、全天球画像データ、問題データ、正解データ及びパズルゲームの結果データの各データ授受を行う。

【0050】

例えば、本実施形態においては、ネットワーク通信部３１０は、記憶部３５０に記憶されたブラウザによって読み出された各Ｗｅｂページを介して、ネットワーク５０を通じて管理サーバ装置４０と通信を実行する。

【0051】

なお、Ｗｅｂページとしては、例えば、パズルゲームサービスへのログインページ、自身のゲームスコア確認ページ、ランキング確認ページ等のページが含まれる。

【0052】

Ｉ／Ｏインターフェース３２０は、ＨＤＭＩ（登録商標）やＵＳＢ（登録商標）等の入出力インターフェースであり、ＨＭＤ２０に搭載されたＩ／Ｏインターフェース２１０とデータの授受を行うため、ＨＭＤ２０のＩ／Ｏインターフェース２１０と同一の規格に従ったインターフェースによって構成される。

【0053】

記憶部３５０は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、又は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリによって構成される。

【0054】

そして、記憶部３５０は、その記憶領域内に少なくとも、アプリケーション記憶部３５１と、各種の画像データが記憶される画像データ記憶部３５２と、パズルゲームにおいて各エリア画像を配置するための配置条件が配置条件データとして記憶される配置条件データ記憶部３５３と、ＲＯＭ／ＲＡＭ３５４と、を有している。

【0055】

アプリケーション記憶部３５１には、上記パズルゲームを実現するためのアプリケーション（以下、「パズルゲームアプリ」という。）と、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されたデータを管理サーバ装置４０から取得し、ＨＭＤ２０に表示させるための処理を実行するためのブラウザと、が記憶されている。

【0056】

画像データ記憶部３５２には、パズルゲームにおいて、問題データに基づき組み替えられた全天球画像データが記憶される。また、画像データ記憶部３５２は、第１エリア画像及び第２エリア画像の入れ替え処理が実行された際に画像バッファとして利用される。

【0057】

配置条件データ記憶部３５３は、パズルゲームにおいて、第１エリア画像を第２エリア画像の配置位置に配置する際に、第２エリア画像を第１エリア画像の配置位置に配置する際に、又は、後述するように、仮想空間において外郭の内周面に表示している場合に異なるレイヤに配置する際に、エリア画像の画像形状や画像サイズを変更する際に基準となるＵＶマッピング用の配置条件データが記憶される。

【0058】

ＲＯＭ／ＲＡＭ３５４には、表示制御装置３０の駆動に必要な各種のプログラムが記憶されている。また、ＲＯＭ／ＲＡＭ３５４は、管理制御部３７０及びアプリケーション実行部３８０が各種の処理を実行する際のワークエリアとして用いられる。

【0059】

管理制御部３７０は、主にＣＰＵによって構成され、プログラムを実行することによって、表示制御装置３０の各部を統合制御する。例えば、管理制御部３７０は、電源のＯＮ及びＯＦＦ、又は、ＨＭＤ２０と連動に関する各制御を実行する。

【0060】

アプリケーション実行部３８０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、管理制御部３７０の中央演算処理装置（ＣＰＵ）を用いて構成される。

【0061】

そして、アプリケーション実行部３８０は、パズルゲームアプリの実行指示を受け付けつつ、当該パズルゲームの開始指示（問題データの特定も含む。）を受け付けると、ＨＭＤ２０及び管理サーバ装置４０と連動しつつ、当該パズルゲームアプリに従ってパズルゲームに関する種々のゲーム処理を実行する。

【0062】

なお、本実施形態のアプリケーション実行部３８０における各部の構成及び処理の詳細について後述する。

【0063】

［３．２］アプリケーション実行部
次に、図５〜図９を用いて本実施形態のアプリケーション実行部３８０の詳細及び当該アプリケーション実行部３８０によって実行されるパズルゲームについて説明する。

【0064】

なお、図５は、本実施形態のパズルゲームにおける画像入れ替え時の動作を説明するイメージ図であり、図６は、本実施形態のパズルゲームにおいて全天球画像を分割する際の分割例を示す図である。また、図７は、本実施形態の問題データに基づいて全天球画像が仮想空間における外郭内側スクリーンに配置された例を示す図であり、図８は、本実施形態のパズルゲームにおいて第１エリア及び第２エリアを選択する際の原理を説明する図である。さらに、図９は、本実施形態の第１選択処理、第２選択処理及び配置換え処理を説明するための図である。

【0065】

（概要）
本実施形態のアプリケーション実行部３８０は、
（１）パズルゲームアプリの実行指示を受け付けつつ、当該パズルゲームの開始指示（問題データの特定も含む。）を受け付けると、
（２）ユーザの指示又は自動的に選択された問題データの対象となる全天球画像データ（すなわち、予め定められた基準点の周囲に形成されている空間を、管理サーバ装置４０から当該基準点を視点として、画像化した空間画像（すなわち、全天球画像）を含む空間画像データ）を含む各データ取得する処理（以下、「データ取得処理」という。）、
（３）取得した全天球画像データに基づいて、画像化された全天球画像を複数のエリアに分割し、それぞれのエリアに対応するエリア画像のデータをエリア画像データとして生成する処理（以下、「分割処理」という。）、
（４）生成したエリア画像データに基づいて、ユーザの視点位置が予め定められて形成された仮想空間に、各エリア画像を配置する処理（以下、「画像配置処理」という。）、
（５）ＨＭＤ２０と連動し、ユーザの仮想空間内における視線方向を検出する視線検出処理、
（６）検出したユーザの指示入力（具体的には視線方向）に従って、仮想空間に配置された複数のエリア画像の中から、特定のエリア画像を第１エリア画像として選択する処理（以下、「第１選択処理」という。）、
（７）検出したユーザの指示入力（具体的には視線方向）に従って、仮想空間に配置された複数のエリア画像の中から、第１エリア画像とは異なるエリア画像を第２エリア画像として選択する処理（以下、「第２選択処理」という。）、及び
（８）第２エリア画像が選択され場合に、選択した第２エリア画像が配置されている仮想空間の位置に、選択された第１エリア画像を配置する処理（以下、「画像配置換え処理」という。）、
の各処理を実行する。

【0066】

特に、アプリケーション実行部３８０は、ＨＭＤ２０と連動し、パズルゲームの実行中、検出したユーザの視線方向に応じて、仮想空間におけるユーザの視点位置から見える画像をＨＭＤ２０に表示させる表示処理（以下、「仮想空間表示処理」という。）を実行する。

【0067】

すなわち、アプリケーション実行部３８０は、球体形状の仮想空間内の内壁面、すなわち、外殻の内側の面を、全天球画像を表示するためのスクリーン（以下、「外郭内側スクリーン」という。）として用いて当該仮想空間の中心点を視点位置とした仮想カメラを設置し、当該仮想カメラによって映し出される仮想空間内の画像をＨＭＤ２０に表示させる。

【0068】

また、アプリケーション実行部３８０は、各エリア画像を仮想空間に配置する際に、予め選択されている各エリア画像が配置される各配置位置の位置形状に合わせて当該各エリア画像の画像形状又は画像サイズ（例えば、インチ数などの物理画面サイズ又は解像度）を変更し、第２エリア画像が配置されている仮想空間の位置に第１エリア画像を配置する際に、第１エリア画像の画像形状又は画像サイズを、第２エリア画像が配置されている仮想空間内の位置形状に合わせて変更する。

【0069】

そして、アプリケーション実行部３８０は、上記の（４）〜（８）の各処理を繰り返し、問題データと正解データに基づいて、出題されたパズルゲームに正解したと判定した場合には、パズルゲームを終了させて、他のパズルゲームを実行するために、上記の（１）〜（８）の各処理を繰り返し実行させる。

【0070】

具体的には、アプリケーション実行部３８０は、管理制御部３７０による制御の下、パズルゲームアプリを実行することによって、パズルゲームの各ゲーム処理を実行するゲーム制御部３８１と、データ取得処理を実行するデータ取得部３８２と、分割処理、画像配置処理、第１選択処理、第２選択処理及び画像配置換え処理を実行する配置制御部３８３と、ＨＭＤ２０と連動して視線検出処理を実行する視線検出部３８４と、パズルゲームの実行中に仮想空間表示処理を実行するための表示用のデータを生成する表示データ生成部３８５と、を実現する。

【0071】

なお、例えば、本実施形態のデータ取得部３８２は、本発明の取得手段を構成し、配置制御部３８３は、本発明の分割手段、画像配置制御手段、第１選択手段、及び、第２選択手段を構成する。また、例えば、本実施形態の視線検出部３８４は、ＨＭＤ２０とともに視線検出手段及び入力検出手段を構成し、表示データ生成部３８５は、ＨＭＤ２０の表示制御部２７０と連動して、本発明の表示制御手段を構成する。

【0072】

（本実施形態の原理）
ＶＲ環境下においては、パズルゲーム用の画像に限らず、例えば、全天球画像を形成及び表示するためには、仮想空間を球体形状にてその外郭の内周面に沿って画像を配置することが望ましく、この場合には、当該全天球画像を所定のエリア毎に分割して仮想空間の外郭の内側の面（すなわち、内周面）に沿って配置させる必要がある。

【0073】

また、このように、当該全天球画像を所定のエリア毎に分割して仮想空間の外郭の内周面に沿って配置させるために、緯度に応じて形状が変化するという球体形状の特性に基づいて、各エリアにおいて画像形状やサイズを調整する必要がある。

【0074】

特に、パズルゲームなどの全天球画像におけるエリア画像の画像形状やサイズが、仮想空間の配置位置における形状やサイズと非同一の場合には、配置すべきエリア画像の形状やサイズを配置位置の形状やサイズに合わせて調整する必要がある。

【0075】

例えば、全天球画像の場合には、極近傍のエリアに関しては、三角形に近い形状を有するのに対して、赤道近傍のエリアに関しては、短冊状（すなわち、四角形）に近い形状を有している。このため、第１エリア画像として、極近傍のエリアを選択した場合には、当該第１エリア画像に対応する選択エリア画像を、そのままの形態にて、別レイヤや他の外郭内側スクリーンの位置に配置させようとすると、四角形の形状に三角形の形状のエリア画像を配置することも生じ、適切に各エリア画像を表示させることができない。

【0076】

そこで、本実施形態のアプリケーション実行部３８０は、例えば、第１エリア画像が三角形の形状の場合において、配置先の形状が四角形の場合には、当該第１エリア画像の形状を四角形の形状に変形させるなど、全天球画像上のどこのエリアを選択した場合であっても、適切に表示可能に配置することができる構成を有している。

【0077】

（ゲーム制御処理）
ゲーム制御部３８１は、ユーザによってパズルゲームの開始が指示されると、パズルゲームアプリを実行することによってゲームに関する各種の処理を実行するとともに、該当する問題ユーザの指示に基づいて、パズルゲームへのログイン、パズルゲームの開始、自身のゲームスコア確認、ランキングの表示、パズルゲームの終了、及び、パズルゲームの各種の設定など各種の処理を実行する。

【0078】

特に、ゲーム制御部３８１は、データ取得部３８２、パズルゲームの実行中に、配置制御部３８３、視線検出部３８４及び表示データ生成部３８５と連動し、上述の全天球画像取得処理、分割処理、画像配置処理、視線検出処理、第１選択処理、第２選択処理及び配置換え処理を実行させる。

【0079】

例えば、図５（Ａ）に例示するようなパズル問題が出題され、その解答が、図５（Ｃ）に示すようなものであった場合を想定する。

【0080】

この場合において、ゲーム制御部３８１は、
（１）第１画像エリアとして、そのエリアＩＤ（１−３）がユーザによって選択されると、
（２）例えば、図５（Ｂ）に示すように、エリアＩＤ（１−３）に表示されるべきエリア画像を第１エリア画像として特定し、
（３）特定した第１エリア画像を後述するように別レイヤに表示させ、
（４）エリアＩＤ（１−２）が第２エリアに選択されると、
（５）例えば、図５（Ｃ）に示すように、第２エリアに表示されるべき第２エリア画像と第１エリア画像とを配置を入れ替える（図５（Ｃ）についてはこの時点で正解）
ゲーム処理を実行する。

【0081】

また、ゲーム制御部３８１は、第２エリア画像と第１エリア画像の入れ替えが完了すると、パズルゲームの終了まで、すなわち、制限時間内に正解しなかったなどゲームが終了条件を具備したか、又は、正解データに基づき、パズルゲームに正解するまで、（１）〜（５）の処理を繰り返し実行する。

【0082】

そして、ゲーム制御部３８１は、ゲームが終了すると、結果の正否をＨＭＤ２０に表示させた後、結果データを生成し、自機のユーザに対応するユーザＩＤと、を対応付けつつ、管理サーバ装置４０にアップロードしてパズルゲームを終了する。

【0083】

なお、ゲーム結果の正否判定をどのようにして行うのかについては任意であり、例えば、パズルの問題と、正解が、図５（Ａ）及び（Ｃ）のような関係である場合には、正解データとして、エリアＩＤ（１−３）の画像と、エリア（１−２）の画像と、を入れ替えた正解データを用意しておき、正解データによって示される条件の全てが満たされている場合に、正解、満たされていない場合に、不正解と判定するようにしてもよい。

【0084】

（データ取得処理）
データ取得部３８２は、ユーザの指示に基づいて、パズルゲームが開始されて問題データが特定され、かつ、全天球画像が特定されると、管理サーバ装置４０にアクセスしつつ、当該管理サーバ装置４０から取得可能な全天球画像データの一覧を表示（例えば、サムネイル形式による表示）させる。

【0085】

そして、データ取得部３８２は、ユーザによって選択された全天球画像のデータ、全天球画像データを用いたパズルの問題内容を示す問題データと、当該問題データに対応する正解データと、を管理サーバ装置４０から取得する。

【0086】

特に、問題データには、仮想空間において全天球画像を分割する予め定められた列数（緯度方向の分割数）及び行数（経度方向の分割数）と、パズルゲームの開始時における全天球画像が分割された各エリア画像のエリアＩＤ（例えば、列番及び行番で構成されるエリアＩＤ）が仮想区間上で配置するための後述するＩＤ（以下、「配置ＩＤ」という。）が規定されている。そして、正解データには、パズルゲームの正解時の配置ＩＤが規定されている。

【0087】

（分割処理）
配置制御部３８３は、全天球画像などの各データが取得されると、問題データに含まれる分割数（列数及び行数）に基づいて、全天球画像データによって構成された全天球画像を分割して複数のエリア画像を生成するとともに、各エリア画像をデータ化したエリア画像データを生成する。

【0088】

特に、配置制御部３８３は、図６（Ａ）及び（Ｂ）に示すように、所定のエリア（以下、「基準エリア」という。）を基準に、全天球画像を分割し、かつ、分割された各エリア画像にエリアＩＤを付与する。

【0089】

具体的には、配置制御部３８３は、図６（Ａ）に示すように、予め定められた基準点（例えば、全天球画像を生成したとき予め定められた基準点、以下、「画像基準点」という。）を有するエリア画像（すなわち、左隅に以下、「基準エリア画像」という。）を基準に、図６（Ｂ）に示すように、分割されたエリア画像の一部をＸ−Ｙ軸の二次元上に拡大して展開し、当該基準エリア画像から列方向（緯度方向）及び行方向（経度方向）に沿って順次、各エリア画像を一意に識別するためのエリアＩＤを割り振る。

【0090】

例えば、配置制御部３８３は、図６に示す例においては、北極（図６（Ａ）において図面上側の極）の極地点を含む基準エリア画像の行番号を「１」とし、北極側から南極（図６（Ａ）において図面下側の極）側方向に、かつ、左回りにてエリアＩＤを付与する。

【0091】

なお、上記の例では、球体形状を有する全天球画像の全体を平面化しつつ、Ｘ軸方向及びＹ軸方向の各々に対して連番を付すことによって、エリアＩＤを付与する場合を例に示しているが、各エリアにエリアＩＤを付与する具体的な方法は、任意であり、全天球画像のいずれかのエリアから順番に連番のエリアＩＤを付与するようにしてもよい。

【0092】

一方、配置制御部３８３は、分割した各エリア画像の画像形状（例えば、頂点数及びその相対座標）の情報、サイズ（例えば、隣接する頂点間の相対距離及び角度）の情報、又は、その双方の情報をオリジナル情報として抽出し、当該抽出した各情報を配置条件データとして配置条件データ記憶部３５３に記憶する。なお、本実施形態においては、分割時の各エリア画像データの配置順を正解データとして用いてもよい。

【0093】

（画像配置処理及び画像配置換え処理）
配置制御部３８３は、全天球画像を分割すると、分割した各エリア画像を、球体形状の仮想空間の外郭の内側の面（すなわち、球状の内周面の外郭内側スクリーン）に配置する。

【0094】

具体的には、配置制御部３８３は、予め定められた基準点（以下、「仮想空間内基準点」という。）に基づいて、外郭内側スクリーンを全天球画像の分割処理と同一の列数（すなわち、緯度方向の分割数）及び行数（すなわち、経度方向の分割数）に分割し、分割した各スクリーン（以下、「部分スクリーン」という。）に配置ＩＤを付与する。

【0095】

特に、配置制御部３８３は、例えば、図７に示すように、仮想空間内基準点を右上に含む分割された部分スクリーンを基準に、北極側から南極側方向に、かつ、左回りにて配置ＩＤを付与する。

【0096】

そして、配置制御部３８３は、エリア画像データに基づいて、各エリア画像のエリアＩＤを対応付けて、当該各エリア画像を、問題データに含まれる配置ＩＤに従って仮想空間の位置（すなわち、外郭内側スクリーンの位置）に配置する。

【0097】

なお、図７には、問題データによってエリアＩＤ（３−６）のエリア画像をエリアＩＤ（３−７）のエリア画像と入れ替える場合の例を示す。すなわち、この場合には、配置制御部３８３は、パズルゲームの開始時に、エリアＩＤ（３−６）のエリア画像を、配置ＩＤ（Ａ２）の部分スクリーンの位置に配置し、エリアＩＤ（３−７）のエリア画像を、配置ＩＤ（Ａ１）の部分スクリーンの位置に配置する配置処理を実行する。

【0098】

一方、配置制御部３８３は、各エリア画像を外郭内側スクリーンに配置する際に、エリア画像データに基づいて、各エリア画像の画像形状及びサイズと配置先の部分スクリーンの位置形状とが一致しない場合（例えば、エリア画像を元の位置から変更する場合）には、配置条件データ記憶部３５３に記憶された配置条件データに基づいて、ＵＶマッピングを実行し、該当するエリア画像の画像形状又はサイズを配置先の部分スクリーンの位置形状に合わせて変形させて配置する。

【0099】

例えば、配置制御部３８３は、配置先の部分スクリーンの三次元モデルの頂点（仮想空間内における座標）と、配置条件データによって示される該当するエリア画像の頂点（頂点数および各頂点の相対座標）を合わせつつ、部分スクリーンの三次元モデルにエリア画像を貼り付けることによって、部分スクリーンの位置形状に合致させつつ、エリア画像の画像形状又はサイズを変形する。

【0100】

そして、各エリア画像が配置されると、表示データ生成部３８５は、ＨＭＤ２０（具体的には、表示方位設定部２３０）から取得した表示方位データに基づき、ユーザの顔の向きを特定し、当該特定した向きに従って、仮想空間における視点から見える全天球画像を表示するためのデータを生成してＨＭＤ２０に出力する。

【0101】

（視線検出処理）
視線検出部３８４は、パズルゲームアプリを実行することによって、ＨＭＤ２０の視線検出カメラ２５０を制御し、視線検出カメラ２５０から供給される撮像画像データに対応する画像（すなわち、ユーザの眼を撮像した画像）を解析し、ユーザの向いている向きと視点から見える仮想空間内の画像とに基づいて、ユーザの仮想空間内における視線方向を検出する。

【0102】

具体的には、視線検出部３８４は、仮想空間内におけるユーザの視線方向において、当該視線が所定時間（例えば、３秒程度）以上停滞し、かつ、焦点の合っている仮想空間の座標位置（具体的には、仮想空間の外郭内側スクリーンの座標）をユーザの凝視点として特定する。

【0103】

そして、視線検出部３８４は、当該検出したユーザの視線方向の仮想空間内における方位及び凝視点を示すデータ（以下、「視線データ」という。）を生成し、生成した視線データを配置制御部３８３に供給する。

【0104】

例えば、本実施形態の視線検出部３８４は、ユーザの視線方向を検出すると、当該視線方向の外郭内側スクリーン面上に凝視点させるための凝視点サークルを仮想空間上に表示させるための表制御を実行し、当該凝視点サークルを数秒間凝視したことを検出した場合に、当該凝視点サークルの位置を凝視したとして検出し、視線データを生成して配置制御部３８３に供給する。

【0105】

なお、ユーザの眼を撮像した画像を解析して、ユーザの視線を検出する手法は、従来と同様であるため、詳細を省略する。

【0106】

（第１選択処理及び第２選択処理）
配置制御部３８３は、視線検出部３８４から供給される視線データに基づき、当該視線方向にある仮想空間の外郭内側における凝視点を検出し、当該凝視点の属するエリア（以下、「凝視エリア」ともいう。）に形成されているエリア画像を第１エリア画像として選択する。

【0107】

特に、配置制御部３８３は、ユーザの視線が、所定時間以上停滞している位置を凝視点として特定し、かつ、当該凝視点の属するエリアを凝視エリアとして特定する。そして、配置制御部は、特定した凝視エリアに形成されているエリア画像を第１エリア画像として選択し、当該エリア画像のエリアＩＤを第１エリア画像のエリアＩＤとして、ＲＯＭ／ＲＡＭ３５４に記憶させる。

【0108】

また、配置制御部３８３は、第１エリア画像の選択後に、同様に、凝視点を検出し、当該凝視点の属する凝視エリアに形成されているエリア画像を第２エリア画像として選択する。特に、配置制御部３８３は、特定した凝視エリアに形成されているエリア画像を第２エリア画像として選択し、当該エリア画像のエリアＩＤを第２エリア画像のエリアＩＤとして、ＲＯＭ／ＲＡＭ３５４に記憶させる。

【0109】

一方、配置制御部３８３は、第１エリア画像を選択した場合には、各エリア画像が配置されている外郭内側スクリーンのレイヤ（以下、「第１レイヤ」ともいう。）とは異なるレイヤであって、仮想空間内におけるユーザの視点位置と外郭内側スクリーンの第１レイヤとの間に形成されたスクリーンのレイヤ（以下、「第２レイヤ」という。）に、第１エリア画像を移動させる。

【0110】

例えば、図８（Ａ）に示すように、視線検出部３８４によってユーザの視線方向において表示された視点サークルに当該視線が所定時間（例えば、３秒程度）以上停滞し、かつ、焦点の合っている位置をユーザの凝視点として特定された場合を想定する。

【0111】

この場合に、配置制御部３８３は、図８（Ｂ）に示すように、当該凝視点の存在する凝視エリアに配置されたエリア画像のエリアＩＤを第１エリア画像のエリアＩＤとして抽出し、抽出したエリアＩＤを有するエリア画像を、図９に示すように、外郭内側スクリーンが形成されている第１レイヤと異なる仮想空間内における第２レイヤに配置する（図９の［１］）。

【0112】

具体的には、配置制御部３８３は、仮想空間内における空間座標、長方形などの形状タイプ、長方形で各頂点間の距離、又は、これらの２以上の情報が予め定められている第２レイヤのスクリーンの位置形状の情報（以下、「第２レイヤ情報」という。）と、配置条件データによって示される第１エリア画像の画像形状、サイズ又はその双方の情報と、に基づいて、画像配置処理と同様に、ＵＶマッピングを実行し、該当する第１エリア画像の画像形状又はサイズを第２レイヤのスクリーンの位置形状に合わせて変形させて配置する。

【0113】

なお、第１エリア画像を第２レイヤに配置した場合に、当該第１エリア画像が配置されていた外郭内側スクリーンの位置に表示する画像は、任意であり、例えば、黒塗り画像を表示してもよいし、全天球画像における他のエリア画像や他の画像を表示してもよい。

【0114】

また、このとき、配置制御部３８３は、第２レイヤを可動可能に制御し、ユーザの顔の向きが変化した場合であっても、ユーザの視界の一部に常に表示形成される部分に配置する（図９の［２］）。

【0115】

他方、配置制御部３８３は、第２エリア画像が設定されると、配置条件データ記憶部３５３に記憶された配置条件データに基づき、第２レイヤのスクリーンに配置されたエリア画像の画像形状、サイズ又はその双方を、配置条件データに基づいて、ＵＶマッピングを実行し、第２エリア画像が配置されていた位置形状に変形させつつ、当該位置に配置（すなわち、再配置）する（図９の［３］）。

【0116】

そして、配置制御部３８３は、配置条件データ記憶部３５３に記憶された配置条件データに基づき、ＵＶマッピングを実行し、第２エリア画像の画像形状、サイズ又はその双方を、第１エリア画像が元々配置されていた外郭内側スクリーンの位置形状に変形させつつ、当該位置に移動させて配置する（図９の［４］）。

【0117】

（仮想空間表示処理）
表示データ生成部３８５は、分割された各エリア画像が仮想空間における外郭内側スクリーンに配置されると、ゲームが終了するまで、ＨＭＤ２０から取得したユーザの顔の向き（すなわち、頭の向き）を示す表示方位データに応じて当該仮想空間の視点から見える当該仮想空間内の画像を表示させるための表示データを生成し、生成した表示データをＩ／Ｏインターフェース３２０を介してＨＭＤ２０に供給し、ＨＭＤ２０に供給する。

【0118】

特に、表示データ生成部３８５は、リアルタイム（例えば、５ｍｓ毎）にユーザの顔の向きを示す表示方位データを取得し、取得した表示方位データに基づいて、視点から見える仮想空間内を画像化した表示データを生成する。

【0119】

なお、本実施形態においては、視点は仮想空間にける中心を基準とし、所定の範囲内（ユーザの頭部が動ける範囲内、例えば、所定の座標から半径２０ｃｍの球状の範囲）において可動可能な基準点を用いる。ただし、当該視点は、完全に固定されて定点であってもよく、ジャイロやＧＰＳによってユーザの移動方向と距離を検出することが可能であれば、当該移動方向及び距離に伴って当該視点を移動させてもよい。

【0120】

［４］画像表示制御装置の動作
次に、図１０を用いて本実施形態の画像表示装置１０のアプリケーション実行部３８０において実行される処理について説明する。なお、図１０は、本実施形態の画像表示装置１０のアプリケーション実行部３８０によって実行される処理を示すフローチャートである。

【0121】

本動作においては、以下の処理に先立って、ユーザ管理ＤＢ５０１、全天球画像データ用ＤＢ５０２及び問題データ用ＤＢ５０３には、必要なデータが記憶済みの状態にあるものとし、ユーザは、パズルゲームサービスに既にログイン済の状態にあるものとする。

【0122】

まず、ゲーム制御部３８１は、操作部３６０に対するユーザの入力操作を検出すると（ステップＳ１０１）、データ取得部３８２に、管理サーバ装置４０から全天球画像データ、問題データ及び正解データを取得するための処理を実行させる（ステップＳ１０２）。

【0123】

このとき、データ取得部３８２は、管理サーバ装置４０から全天球画像データの一覧を取得しつつ、当該一覧からユーザによって選択された全天球画像データ及び当該全天球画像データに対応する問題データと質問データを管理サーバ装置４０から取得して、当該取得したデータを画像データ記憶部３５２に記憶する。

【0124】

次いで、配置制御部３８３は、分割処理によって、画像データ記憶部３５２に記憶された全天球画像データによって示される全天球画像を複数のエリア画像に分割して仮想空間の外郭内側スクリーンに配置し（ステップＳ１０３）、表示データ生成部３８５は、ＨＭＤ２０において視点から見える仮想空間を表示するための表示データの生成を開始させる（ステップＳ１０４）。

【0125】

なお、表示データ生成部３８５は、ゲームが終了するまでＨＭＤ２０から取得した表示方位データに基づいて視点から見える仮想空間内の画像を表示するための表示データを生成する。

【0126】

次いで、視線検出部３８４は、ＨＭＤ２０から供給された撮像画像データに対応する撮像画像を解析することによって、ユーザの視線及び凝視点を検出し、所定のエリア画像の選択を検出すると（ステップＳ１０５）、凝視点に属する凝視エリアを含むエリア画像を第１エリア画像として選択し、そのエリアＩＤを特定する（ステップＳ１０６）。

【0127】

特に、視線検出部３８４は、ＨＭＤ２０に対し、制御信号を出力することによって視線検出カメラ２５０を制御し、かつ、当該ＨＭＤ２０から供給された撮像画像データに対応する撮像画像を解析し、ユーザの視線を検出する。そして、視線検出部３８４は、視線データに基づき、ユーザの視線が、所定時間以上停滞している位置（すなわち、凝視点）が検出されると、凝視点の属する凝視エリアに属するエリア画像を第１エリア画像として選択する。

【0128】

次いで、配置制御部３８３は、特定したエリアＩＤを有するエリア画像データを取得し、当該取得したエリア画像データに基づいて該当するエリア画像を第２レイヤに配置する（ステップＳ１０７）。このとき、配置制御部３８３は、第１エリア画像が配置されていた元の配位置には所定の画像又は黒の画像を表示する。

【0129】

次いで、視線検出部３８４は、ＨＭＤ２０から供給された撮像画像データに対応する撮像画像を解析することによって、ユーザの視線及び凝視点を検出し、所定のエリア画像の選択を検出すると（ステップＳ１０８）、凝視点に属する凝視エリアを含むエリア画像を第２エリア画像として選択し、そのエリアＩＤを特定する（ステップＳ１０９）。

【0130】

次いで、配置制御部３８３は、配置条件データに基づき、ＵＶマッピングを行いつつ、第１エリア画像を第２エリア画像の外郭内側スクリーンにおける配置位置に配置するとともに、第２エリア画像を外郭内側スクリーンにおける第１エリア画像の配置位置に配置する画像配置換え処理を実行する（ステップＳ１１０）。

【0131】

次いで、ゲーム制御部３８１は、制限時間を経過したか、又は、ステップＳ１１０の処理において正解をしたか否かなどのゲームが終了したか否かを判定する（ステップＳ１１１）。

【0132】

このとき、ゲーム制御部３８１は、ゲームが未だ終了していないと判定した場合には、ステップＳ１０５の処理に移行し、ゲームが終了したと判定した場合には、スコアの表示その他の終了処理を実行して（ステップＳ１１２）本動作を終了させる。

【0133】

以上説明したように、本実施形態においては、ユーザの指示に基づいて仮想空間内に分割表示されている画像の表示位置を移動制御することによって、仮想空間における画像の入れ替えなどの新たなインターフェースとして利用すること、及び、ゲームに利用するなど、ユーザにおける操作性の向上及びエンターテインメント性や興趣性を向上させることができる。

【0134】

［５］変形例
［５．１］変形例１
上記実施形態においては、予め撮像された全天球画像を用いて仮想空間におけるパズルゲームにおける画像表示及びゲーム処理を実行している点に代えてＨＭＤ２０に設けられた撮像カメラによってリアルタイムに撮像された画像を用いて仮想空間におけるパズルゲームにおける画像処理及びゲーム処理を実行してもよい。

【0135】

具体的には、ＨＭＤ２０に風景画像撮像部を設け、当該風景画像撮像部は、ＨＭＤ２０において、ユーザの視線の方向に向けて配置されたデジタルカメラを有し、当該デジタルカメラによって撮像された風景画像（例えば、３６０度の全天球画像）に対応する風景画像データを生成し、Ｉ／Ｏインターフェース２１０を介して、表示制御装置３０に供給する構成を有している。

【0136】

なお、風景画像撮像部に含まれるカメラの具体的な配置位置については、任意であり、例えば、ＨＭＤ２０において、ユーザの双方の眼球が覆われている部位にそれぞれ上記のデジタルカメラを配設する。

【0137】

これによって、ユーザの顔の向きに連動し、それぞれデジタルカメラによって撮像された画像を用いて左右の視差画像を生成すれば、現実空間上の風景画像を用いて仮想空間におけるパズルゲームを実施することができるようになっている。

【0138】

また、例えば、本変形例の風景画像撮像部は、本発明の撮像手段を構成する。

【0139】

特に、本変形例において、アプリケーション実行部３８０（具体的には、画像配置制御部３８３）は、平面的な風景画像であっても、分割したエリア画像毎に以下のように３次元モデル化して外郭内側スクリーンに配置することが可能になっている。

【0140】

すなわち、アプリケーション実行部３８０は、図１１に示すように、
（１）風景画像撮像部によって画像化された風景画像に分割専用座標を付与し、
（２）分割専用座標に付与された風景画像を３次元モデルに貼付けて画像化された風景画像を全天球画像の分割エリアに合致させて、上記の実施形態と同様に、風景画像を複数のエリアに分割し、
（３）分割した撮像風景画像のエリア画像を全天球画像から切り出し、
（４）配置条件データに基づいて、当該切り出されたエリア画像に付与された分割専用座標を外郭内側スクリーンの所定の位置における３次元モデルの頂点とあわせて変形し、
（５）変形したエリア画像を３次元モデル化し、
（６）三次元モデル化したエリア画像を該当する外郭内側スクリーンの位置に配置する。

【0141】

なお、図１１は、本変形例における平面画像を３次元モデル化する場合の処理を説明するための図である。

【0142】

［５．２］変形例２
本実施形態において、第１エリア画像を選択して第２レイヤに移動させた場合に、当該元の第１エリア画像が配置された外郭内側スクリーン上（すなわち、第１レイヤ上）の位置に、当該第１エリア画像に表示されているオブジェクトに関連する画像を配置してもよい。

【0143】

この場合には、アプリケーション実行部３８０は、第１エリア画像に表示される自動車などの商品、人物又はキャラクタなどの特定すべきオブジェクトに対するパターンマッチングなどの画像処理を実行して当該第１エリア画像に含まれるオブジェクトを特定する。

【0144】

すなわち、この場合には、アプリケーション実行部３８０は、例えば、特定すべきオブジェクトの輪郭を示すパターンデータを用意し、第１エリア画像においてエッジ検出を実行して当該パターンデータと比較することによって一致するパターンデータを特定することによって当該第１エリア画像に含まれるオブジェクトを特定する。

【0145】

そして、アプリケーション実行部３８０は、特定されたオブジェクトに関し、予め図示しないデータベースに記憶された当該オブジェクトに対する画像（以下、「オブジェクト画像」という。）を管理サーバ装置４０から取得し、第２エリア画像が選択されるまで当該オブジェクト画像を元の第１エリア画像が配置された外郭内側スクリーン上（すなわち、第１レイヤ上）の位置に配置して仮想空間に表示させる。

【0146】

例えば、アプリケーション実行部３８０は、オブジェクト画像として、オブジェクトに関する広告の画像や当該オブジェクトの説明を行うための画像や当該オブジェクトの他の画像を配置して仮想空間内において表示する。

【0147】

なお、本変形例においては、予め全天球画像データ用ＤＢ５０２に記憶されている全天球画像を仮想空間に配置して当該全天球画像の中から第１エリア画像を選択した場合に適用してもよいし、上記の変形例１に示すようにＨＭＤ２０によってリアルタイムに撮像されて画像化された画像を仮想空間に配置して当該リアルタイムの画像の中から第１エリア画像を選択した場合に適用してもよい。

【0148】

また、本変形例においては、オブジェクト画像を、第１元の第１エリア画像が配置された外郭内側スクリーン上（すなわち、第１レイヤ上）の位置に配置して仮想空間内で表示させる点に代えて、当該第２レイヤに表示されている第１エリア画像上に重畳配置させて仮想空間内で表示させるようにしてもよい。

【0149】

［５．３］変形例３
上記実施形態においては、ユーザの視線を検出し、凝視点に基づき、第１エリア及び第２エリアを設定する構成を採用していたが、第１エリア及び第２エリアを操作部３６０に対するユーザの入力操作に応じて、設定するようにしてもよい。

【0150】

［５．４］変形例４
上記実施形態においては、全天球画像を所定の角度毎に緯度経度方向に分割することによって、全天球画像を複数のエリアに分割する構成を採用したが、エリア分割の形態は、これに限らず、例えば、所定の土地形状に分割するようにしてもよく、また、ジグソーパズル等の形状に分割するようにしてもよい。

【0151】

［５．５］変形例５
本実施形態においては、外郭内側スクリーンに表示する画像として、全天球画像に代えて半天球画像であってもよいし、平面的な画像であってもよい。この場合には、仮想空間としては、外郭内側スクリーンに表示する画像の形状に合わせて変更してもよいし、球形状の仮想空間を用いてもよい。

【0152】

［５．６］変形例６
本実施形態においては、第１エリア画像の選択及び第２エリア画像との配置換えについては、パズルゲームに利用して説明しているが、単にＷｅｂページや映画などの如何なるコンテンツに対しても適用可能である。

【0153】

［５．７］変形例７
本実施形態においては、全天球画像としては予め定められた点からの３次元空間の画像を用いて説明したが、Ｗｅｂページやグラフィック画像などの２次元空間であってもよい。この場合には、ユーザは、疑似的な部屋などの３次元仮想空間内で、外郭内側スクリーンに配置された画像を閲覧するような画像がＨＭＤ２０に表示されることとなる。

【0154】

［５．８］変形例８
本実施形態においては、第１エリア画像が選択された場合に、第２レイヤに第１エリア画像を表示する点に代えて、第１エリア画像に関連する画像（以下、「関連画像」という。）を表示してもよいし、第２レイヤに移動させずに第１レイヤの該当部分に配置される当該第１エリア画像に代えて、当該配置位置に第１エリア画像に関連する関連画像を表示してもよい。

【0155】

この場合には、例えば、関連画像としては、上記のような第１エリア画像に含まれるオブジェクトに関する広告用の画像の他に、風景画像やグラフィック画像などの全天球画像の一部に表示形成されるアイコンやサムネイルをエリア画像として適用し、当該アイコンによって対応付けられた画像を関連画像として用いてもよい。

【0156】

例えば、後者の場合には、全天球画像としてバーチャルの美術館、博物館又は展示場の空間を形成し、閲覧を希望する展示物（すなわち、絵画や展示物）のアイコンやサムネイル的なエリア画像を第１エリア画像として選択されると、当該アイコンやサムネイルに対応付けられた画像（例えば、絵画の作者や時代背景を示す詳細情報や該当する展示物を拡大した画像）を表示することが可能となる。

【0157】

なお、この場合には、上記実施形態のように、第２エリア画像を選択させてもよいし、当該第２エリア画像を選択せずに、第１エリア画像の選択処理のみによって完結してもよい。

【符号の説明】

【0158】

１ … 画像表示システム１
１０ … 画像表示制御装置
２０ … ＨＭＤ
３０ … 表示制御装置
４０ … 管理サーバ装置
２１０ … Ｉ／Ｏインターフェース
２２０ … ジャイロセンサ
２３０ … 表示方位設定部
２４０ … 画像メモリ
２５０ … 視線検出カメラ
２６０ … 表示部
２６１ … 表示パネル（右眼用）
２６２ … 表示パネル（左眼用）
２７０ … 表示制御部
２８０ … ＨＭＤ制御部
３１０ … ネットワーク通信部
３２０ … Ｉ／Ｏインターフェース
３５０ … 記憶部
３５１ … アプリケーション記憶部
３５２ … 画像データ記憶部
３５３ … 配置条件データ記憶部
３５４ … ＲＯＭ／ＲＡＭ
３６０ … 操作部
３７０ … 管理制御部
３８０ … アプリケーション実行部
３８１ … ゲーム制御部
３８２ … データ取得部
３８３ … 配置制御部
３８４ … 視線検出部
３８５ … 表示データ生成部
５０１ … ユーザ管理ＤＢ
５０２ … 全天球画像データ用ＤＢ
５０３ … 問題データ用ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】