特開 2019-174811 表示システム及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-174811(P2019-174811A)

(43)【公開日】2019年10月10日

(54)【発明の名称】表示システム及び表示方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20190913BHJP

   G06T 19/00 20110101ALI20190913BHJP

   G06F 3/01 20060101ALI20190913BHJP

   G06F 3/0484 20130101ALI20190913BHJP

   G09G 5/38 20060101ALI20190913BHJP

【ＦＩ】

   G09G5/00 550C

   G06T19/00 300B

   G06F3/01 510

   G06F3/0484 120

   G09G5/38 A

   G09G5/00 530H

   G09G5/00 550B

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

【全頁数】20

(21)【出願番号】特願2019-82141(P2019-82141)

(22)【出願日】2019年4月23日

(62)【分割の表示】特願2017-234715(P2017-234715)の分割

【原出願日】2017年12月6日

(71)【出願人】

【識別番号】308033283

【氏名又は名称】株式会社スクウェア・エニックス

(74)【代理人】

【識別番号】110001782

【氏名又は名称】特許業務法人ライトハウス国際特許事務所

(72)【発明者】

【氏名】曹 家栄

【テーマコード（参考）】

5B050

5C182

5E555

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA10

5B050EA06

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050FA02

5B050FA09

5C182AA02

5C182AA31

5C182AB34

5C182BA01

5C182BA03

5C182BA06

5C182BA25

5C182BA27

5C182BA29

5C182BA46

5C182BA65

5C182BA75

5C182CB42

5C182CB54

5C182DA65

5E555AA24

5E555AA27

5E555AA64

5E555AA76

5E555BA38

5E555BB38

5E555BC08

5E555BE17

5E555CA10

5E555CB21

5E555CB45

5E555CB55

5E555CC22

5E555DA08

5E555DB53

5E555DC11

5E555FA00

(57)【要約】

【課題】
ＨＭＤを使用するユーザのＶＲ酔いを軽減させることが可能な表示システムを提供することを目的とする。
【解決手段】
表示装置を備える表示システムで、表示装置の向きを特定し、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像と、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像とを表示する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

表示装置を備える表示システムであって、
表示装置の向きを特定する向き特定手段と、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示する表示手段と
を備え、
前記表示手段は、第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を前記所定の領域とは異なる位置に表示するものである、表示システム。

【請求項2】

前記第二画像は、所定の条件を満たすことで表示される、請求項１に記載の表示システム。

【請求項3】

前記特定手段により特定された向きが、仮想空間内における仮想カメラの視軸に対応するものであり、
前記第一画像が、仮想空間を、仮想カメラを視点として仮想スクリーン上に透視変換して生成されるものであり、
前記所定の条件が、前記視軸が仮想空間内の所定のオブジェクトと重なることである、
請求項２に記載の表示システム。

【請求項4】

前記所定の条件が、前記視軸が仮想空間内の所定のオブジェクトと重なった状態が所定の時間、継続することである、請求項３に記載の表示システム。

【請求項5】

前記第二画像が、所定のオブジェクトに関する画像である、請求項３又は４に記載の表示システム。

【請求項6】

前記所定の条件が、前記第一画像に関する情報が所定の条件を満たすことである、請求項２〜５のいずれかに記載の表示システム。

【請求項7】

表示装置には、ジャイロセンサ及び加速度センサを含むセンサが搭載されており、
向き特定手段が、該センサにより測定された値を用いて、表示装置の向きを特定する、請求項１〜６のいずれかに記載の表示システム。

【請求項8】

表示装置を備えるシステムにおいて実行される表示方法であって、
表示装置の向きを特定することと、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示することと
を実行し、
第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を前記所定の領域とは異なる位置に表示する、表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの頭部に装着する表示装置を用いた表示システム及び表示方法に関する。

【背景技術】

【0002】

近年、ヘッドマウントディスプレイ（以下、ＨＭＤという）等を用いたＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術がある。例えば、仮想カメラにより撮像された、仮想世界を構成する背景画像をＨＭＤに表示し、ユーザに対して仮想世界に入り込んだような感覚（いわゆる没入感）を与えるものである。

【0003】

また、前記仮想カメラとは異なる他の仮想カメラにより撮像された画像を、表示された背景画像とは別に、ユーザの視野に含まれるように、背景画像に重畳させて表示する技術もある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の技術ではいわゆるＶＲ酔いが生じていた。これは、ユーザの身体が動いていないにもかかわらず、ＨＭＤの動きに応じて、背景画像及び重畳させた画像が動くことで、ユーザの身体の感覚にずれが生じるためである。

【0005】

本発明の少なくとも１つの実施の形態の目的は、ＨＭＤを使用するユーザのＶＲ酔いを軽減させることが可能な表示システムを提供することである。

【課題を解決するための手段】

【0006】

非限定的な観点によると、本発明に係る表示システムは、表示装置を備える表示システムであって、表示装置の向きを特定する向き特定手段と、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示する表示手段とを備え、前記表示手段は、第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を前記所定の領域とは異なる位置に表示するものである、表示システムである。

【0007】

非限定的な観点によると、本発明に係る表示方法は、表示装置を備えるシステムにおいて実行される表示方法であって、表示装置の向きを特定することと、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示することとを実行し、第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を前記所定の領域とは異なる位置に表示する、表示方法である。

【発明の効果】

【0008】

本発明の各実施形態により１または２以上の不足が解決される。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。

【図2】本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。

【図3】本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。

【図4】本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。

【図5】本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。

【図6】本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。

【図7】本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。

【図8】本発明の実施の形態の少なくとも１つに対応する、実行画面の例である。

【図9】本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。

【図10】本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。

【図11】本発明の実施の形態の少なくとも１つに対応する、サブウィンドウに表示される領域を説明する図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明の実施の形態について説明する。以下、効果に関する記載は、本発明の実施の形態の効果の一側面であり、ここに記載するものに限定されない。また、以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。

【0011】

［第一の実施の形態］
本発明の第一の実施の形態の概要について説明をする。以下では、本発明の第一の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

【0012】

図１は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。表示システム１は、向き特定部１０１、及び表示部１０２を少なくとも備える。

【0013】

向き特定部１０１は、表示装置の向きを特定する機能を有する。表示部１０２は、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示する機能を有する。

【0014】

本発明の第一の実施の形態における実行処理について説明する。図２は、本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。

【0015】

表示システム１は、向き特定部１０１により、ユーザの頭部に装着することで利用される表示装置の向きを特定する（ステップＳ１）。表示システム１は、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示し（ステップＳ２）、終了する。

【0016】

第一の実施の形態の一側面として、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示することで、ＨＭＤを使用するユーザのＶＲ酔いを軽減させることができる。

【0017】

第一の実施の形態において、「頭部に装着」とは、例えば、帽子のように頭に被ること、眼鏡のように顔に付けること、あるいは、その他頭部の一部に付着させることをいい、身体の一部から延長させて頭部を覆うような場合も含む概念である。「表示装置」とは、例えば、両眼あるいは単眼で画像を視認可能な表示装置であって、装着すると外の様子を見ることができない非透過型や、眼鏡のように透明な部材で外の様子を見ることが可能な透過型を含むものである。「向き」とは、例えば、単に物体の方向や角度だけでなく、加速度のような単位時間の変化量に関する方向を含む概念である。「仮想空間」とは、例えば、プログラム及びデータにより定義される空間であって、コンピュータにより生成される仮想的な空間をいう。「第一画像」とは、例えば、仮想空間の状態を示す画像をいう。「第二画像」とは、例えば、仮想空間の状態を示す画像とは異なる画像であって、表示装置により特定された向きに応じて変化しない画像をいう。

【0018】

［第二の実施の形態］
本発明の第二の実施の形態の概要について説明をする。以下では、本発明の第二の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

【0019】

表示システムの構成に関しては、図１に記載された内容を必要な範囲で採用できる。実行処理のフローチャートに関しては、図２に記載された内容を必要な範囲で採用できる。

【0020】

第二の実施の形態の一例として、第二画像は、所定の条件を満たすことで表示されることが好ましい。

【0021】

第二の実施の形態の一側面として、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示することで、ＨＭＤを使用するユーザのＶＲ酔いを軽減させることができる。

【0022】

第二の実施の形態の一側面として、所定の条件を満たすことにより第二画像を表示させることで、第一画像に対するユーザの視認性を損なうことなく、適切な場面で違和感なく第二画像を表示することができる。

【0023】

第二の実施の形態において、「頭部に装着」、「表示装置」、「向き」、「仮想空間」、「第一画像」、及び「第二画像」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。

【0024】

［第三の実施の形態］
次に、本発明の第三の実施の形態の概要について説明する。本発明の第三の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

【0025】

図３は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。図３（ａ）は、表示システムの構成に関する１つの例を表す図である。表示システム１は、動きや向きを検知するためのセンサを搭載したディスプレイ装置２０１と、光線を照射する照射装置２０２と、ディスプレイ装置２０１にて表示される画像を生成又は処理するコンピュータ装置２０３と、センサを搭載したコントローラ２０４とから構成される。

【0026】

ディスプレイ装置２０１は、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは高い透過率を有する透過型ディスプレイであっても、低い透過率を有する非透過型ディスプレイであってもよい。また、ディスプレイ装置２０１は、搭載された複数のセンサを用いて、ユーザの姿勢を特定することができる。ディスプレイ装置２０１の構成については後述する。

【0027】

照射装置２０２は、広範囲にレーザ光線を照射する装置である。照射装置２０２の周囲にレーザ光線が照射されると、ディスプレイ装置２０１及びコントローラ２０４に搭載された光センサによってレーザ光線が感知され、ディスプレイ装置２０１及びコントローラ２０４の位置を特定する。この位置特定方法は、「Ｌｉｇｈｔｈｏｕｓｅ方式」と呼ばれるものである。照射装置２０２は、より正確に位置を特定するために、所定の間隔を空けて少なくとも２台設置されることが好ましい。

【0028】

コンピュータ装置２０３は、ディスプレイ装置２０１及びコントローラ２０４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。コンピュータ装置２０３は、ディスプレイ装置２０１と互いに独立した装置であってもよいし、ディスプレイ装置２０１に組み込まれた一体の装置であってもよい。

【0029】

コントローラ２０４は、ボタンとトリガを備え、ユーザの操作により入力を受け付ける入力装置である。また、光センサが搭載されており、照射装置２０２から照射されたレーザ光線を感知することができる。さらに、タッチセンサが搭載されており、ユーザの接触による入力を受け付けることができる。コントローラ２０４は、一対にして左右の手に把持して使用するものであるが、いずれか１つのみを使用するものであってもよい。

【0030】

図３（ｂ）は、図３（ａ）に示す表示システムとは異なる表示システムの構成に関する１つの例を表す図である。図３（ｂ）に示す表示システムは、光源となる発光部を備えるディスプレイ装置２５１と、ディスプレイ装置２５１やコントローラ２５４の光源となる発光部から発せられた光を撮影する撮影装置２５２と、ディスプレイ装置２５１にて表示される画像を生成又は処理するコンピュータ装置２５３と、光源となる発光部を備えるコントローラ２５４とから構成される。

【0031】

ディスプレイ装置２５１は、ディスプレイ装置２０１と同様に、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは高い透過率を有する透過型ディスプレイであっても、低い透過率を有する非透過型ディスプレイであってもよい。

【0032】

撮影装置２５２は、ディスプレイ装置２５１及びコントローラ２５４の光源となる発光部から発せられた光を撮影することにより、ディスプレイ装置２５１及びコントローラ２５４の位置を特定するための装置である。

【0033】

コンピュータ装置２５３は、ディスプレイ装置２５１及びコントローラ２５４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。

【0034】

コントローラ２５４は、ボタンを備え、ユーザの操作により入力を受け付ける入力装置である。光源となる発光部を備え、コントローラ２５４から発せられた光を撮影装置２５２が撮影することにより、コントローラ２５４の位置を特定する。コントローラは手に把持するものであり、対にして使用することが好ましいが、１つのコントローラを使用するものとしてもよい。

【0035】

以下の説明において、本発明の実施の形態においては、図３（ａ）に示した方式により、ディスプレイ装置２０１及びコントローラ２０４の位置を特定するものとしたが、本発明はこの方式に限定されない。例えば、図３（ｂ）に示した方式や、頭部以外の身体の一部に装着し、ディスプレイ装置２０１及びコントローラ２０４の位置を特定する方式であってもよい。

【0036】

ディスプレイ装置２０１に表示される画像は、ディスプレイ装置２０１に搭載されたセンサにより測定された値、及び、コントローラ２０４へのユーザの入力操作に基づいて、コンピュータ装置２０３により生成又は処理された画像である。

【0037】

ここで、ディスプレイ装置２０１の構成について説明する。図４は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。ディスプレイ装置２０１は、制御部１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ストレージ部１３、撮像部１４、グラフィックス処理部１５、表示部１６、センサ部１８、通信インタフェース１９、インタフェース部２０、及びレンズ２１からなり、それぞれ内部バスにより接続されている。

【0038】

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）から構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、ディスプレイ装置２０１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。

【0039】

制御部１１は、プログラム及びデータをＲＡＭ１２及びストレージ部１３から読み出して処理を行う。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部１５に出力する。さらに、制御部１１は、センサ部１８において測定された各種の値に基づいて処理を行う、あるいは、インタフェース部２０を介してコンピュータ装置３へデータを送信する。

【0040】

撮像部１４は、レンズ２１を介して撮影した画像をグラフィックス処理部１５へ出力する。ディスプレイ装置２０１を頭部に装着することによって視界が覆われる場合には、装置外部の情報を確認することができないため、後述する表示部１６が備える表示画面１７に、撮像部１４により撮像された情報を表示させることで、ユーザは現実空間を認識することができ、安全性を確保することができる。

【0041】

グラフィックス処理部１５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば３０分の１秒である。グラフィックス処理部１５は、描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。

【0042】

表示部１６は、表示画面１７を備え、ユーザの視界を覆うディスプレイ装置２０１のゴーグル内部に設置される。表示画面１７には、例えば、有機ＥＬや無機ＥＬが使用されるが、これに限定されるものではなく、スマートフォン等のディスプレイを備える端末装置を組み込むようにしてもよい。

【0043】

センサ部１８は、近接センサ１８ａ、赤外線センサ１８ｂ、ジャイロセンサ１８ｃ、及び、加速度センサ１８ｄを少なくとも備える。近接センサ１８ａは、ディスプレイ装置２０１のゴーグル部分に設置され、ユーザの顔部との接触有無を判定するために用いる。赤外線センサ１８ｂは、ディスプレイ装置２０１に複数設置されるものであり、照射装置２０２から照射された光線を感知することで、ディスプレイ装置２０１の位置を特定するために用いる。ジャイロセンサ１８ｃ、及び加速度センサ１８ｄは、ユーザの姿勢を特定するために用いる。

【0044】

ここで、図を用いてユーザの姿勢の特定方法について説明する。図５は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。

【0045】

図示するように、ディスプレイ装置２０１を装着したユーザの頭部を中心にして、ＸＹＺ座標を規定する。ユーザが直立する垂直方向をＹ軸（ヨー角）、Ｙ軸と直交し、かつ、ディスプレイ装置２０１の表示画面１７の中心とユーザの頭部とを結ぶ方向をＺ軸（ロール角）、Ｙ軸及びＺ軸と直交する方向をＸ軸（ピッチ角）とする。ジャイロセンサ１８ｃでは、各軸回りの角度（傾き）を検出し、加速度センサ１８ｄでは、ディスプレイ装置２０１の動きを検知し、検出された角度及び検知された動きに応じて、表示画面１７に表示される画像を変化させる。ディスプレイ装置２０１は、複数のセンサにより測定された値（以下、姿勢情報という）を用いて、ユーザの姿勢を特定することができる。

【0046】

続いて、通信インタフェース１９は、無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース１９を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。

【0047】

インタフェース部２０は、主にコンピュータ装置２０３と接続され、コンピュータ装置２０３において処理又は生成された画像等のデータを受信することができる。また、センサ部１８において取得した各種センサの測定値をコンピュータ装置２０３へ送信することもできる。

【0048】

続いて、コンピュータ装置２０３について説明する。図６は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置２０３は、制御部３１、ＲＡＭ３２、ストレージ部３３、サウンド処理部３４、グラフィックス処理部３５、ＤＶＤ／ＣＤ−ＲＯＭドライブ３６、通信インタフェース３７、インタフェース部３８、及びフレームメモリ３９からなり、それぞれ内部バスにより接続されている。

【0049】

制御部３１は、ＣＰＵやＲＯＭから構成される。制御部３１は、ストレージ部３３に格納されたプログラムを実行し、コンピュータ装置２０３の制御を行う。また、制御部３１は時間を計時する内部タイマを備えている。ＲＡＭ３２は、制御部３１のワークエリアである。ストレージ部３３は、プログラムやデータを保存するための記憶領域である。

【0050】

制御部３１は、プログラム及びデータをＲＡＭ３２から読み出して処理を行なう。制御部３１は、ＲＡＭ３２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部３５に出力する。

【0051】

サウンド処理部３４は、サウンド出力装置４０に接続されている。制御部３１がサウンド出力の指示をサウンド処理部３４に出力すると、サウンド処理部３４はサウンド出力装置４０にサウンド信号を出力する。サウンド出力装置４０は、例えば、ヘッドフォンであり、ユーザがディスプレイ装置２０１とともに頭部に装着してもよいし、スピーカがディスプレイ装置２０１に組み込まれていてもよい。

【0052】

グラフィックス処理部３５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば９０分の１秒である。グラフィックス処理部３５は描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。コンピュータ装置２０３のグラフィックス処理部３５は、ディスプレイ装置２０１の位置情報及び姿勢情報と、コントローラ２０４の位置情報とに基づいて、表示画面１７に表示する画像を生成するため、ディスプレイ装置２０１に含まれるグラフィックス処理部１５よりも高い性能を要する。

【0053】

ＤＶＤ／ＣＤ−ＲＯＭドライブ３６は、ディスク４１からデータを読み込み、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。なお、ディスク４１の種類はＤＶＤ又はＣＤに限らず、Ｂｌｕ−ｒａｙ（登録商標）ディスクやその他の規格であってもよい。

【0054】

通信インタフェース３７は無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース３７を介して受信したデータは、ディスク４１から読み込まれたデータと同様に、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。

【0055】

インタフェース部３８は、主にディスプレイ装置２０１と接続され、コンピュータ装置２０３において処理又は生成された画像等のデータを送信することができる。

【0056】

なお、上述の説明において、ディスプレイ装置２０１とコンピュータ装置２０３とは別装置として記載したが、ディスプレイ装置２０１によりコンピュータ装置２０３の処理をすべて行うこととしてもよい。この場合には、コンピュータ装置２０３は不要となり、コントローラ２０４はディスプレイ装置２０１と通信により接続される。

【0057】

続いて、本発明の実施の形態における表示システムの構成について説明する。図７は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。表示システム１は、角度情報測定部３０１、位置及び向き特定部３０２、情報送信部３０３、情報受信部３０４、視線特定部３０５、交差判定部３０６、計時部３０７、経過時間判定部３０８、オブジェクト重畳判定部３０９、サブウィンドウ位置変更部３１０、サブウィンドウ画像生成部３１１、表示画像生成部３１２、画像送信部３１３、画像受信部３１４、及び画像表示部３１５を少なくとも備える。

【0058】

角度情報測定部３０１は、ディスプレイ装置２０１の姿勢から角度情報を測定する機能を有する。位置及び向き特定部３０２は、ディスプレイ装置２０１に搭載された光センサが、照射装置２０２から照射されたレーザ光線を感知し、ディスプレイ装置２０１の位置及び向きを特定する機能を有する。情報送信部３０３は、ディスプレイ装置２０１において測定された角度情報と特定された位置及び向き情報とをコンピュータ装置２０３へ送信する機能を有する。

【0059】

情報受信部３０４は、情報送信部３０３により送信された情報を受信する機能を有する。視線特定部３０５は、情報受信部３０４により受信された情報に基づいて、仮想空間におけるユーザの視線を特定する機能を有する。交差判定部３０６は、仮想空間内に配置されたオブジェクトと、視線特定部３０５により特定された視線とが交差するか否かを判定する機能を有する。

【0060】

計時部３０７は、オブジェクトと視線とが交差したと判定されてから継続して交差していた時間を計時する機能を有する。経過時間判定部３０８は、計時部３０７により計時された時間が、所定の時間を経過したか否かを判定する機能を有する。オブジェクト重畳判定部３０９は、サブウィンドウの表示領域と、仮想空間内に配置されたオブジェクトとが重畳するか否かを判定する機能を有する。

【0061】

サブウィンドウ位置変更部３１０は、サブウィンドウの表示領域とオブジェクトとが重畳すると判定された場合に、サブウィンドウの表示位置を変更する機能を有する。サブウィンドウ画像生成部３１１は、サブウィンドウに表示する画像を生成する機能を有する。表示画像生成部３１２は、表示する画像を生成する機能を有する。

【0062】

画像送信部３１３は、表示画像生成部３１２により生成された表示画像をディスプレイ装置２０１へ送信する機能を有する。画像受信部３１４は、画像送信部３１３により送信された表示画像を受信する機能を有する。画像表示部３１５は、画像受信部３１４により受信された表示画像を表示画面１７に表示する機能を有する。

【0063】

続いて、本発明の第三の実施の形態における実行処理について説明する。本発明の第三の実施の形態の一例として、コンテンツを閲覧するシステムが挙げられる。より具体的には、コンテンツは複数枚の紙面から構成され、ストーリーの展開に応じて進行する漫画に関するデータであって、漫画の一コマ単位に、ユーザの操作により、漫画の一コマを表す仮想空間に入り込むことができる表示システムである。

【0064】

図８は、本発明の実施の形態の少なくとも１つに対応する、実行画面の例である。図８（ａ）において、表示画面１７には、漫画の一コマの状況が表示され、キャラクタ４０１と、サブウィンドウ４０２とが表示されている。サブウィンドウ４０２には、表示画面１７に表示された画像を撮像する仮想カメラとは異なる仮想カメラにより撮像された画像が表示される。図８では、キャラクタ４０１の顔が拡大されて表示されている。

【0065】

図８（ｂ）は、図８（ａ）の状況から、ユーザが視線（以下、視軸ともいう）を左方向へ動かしてディスプレイ装置２０１の向きを変更した実行画面の例である。ユーザが頭部を動かすことで、ユーザに対して図８（ａ）より左側の仮想空間が表示画面１７に表示される。この場合に、サブウィンドウ４０２は、表示画面１７における所定の領域に表示されたままであり、ユーザの頭部の動きに応じて位置が変化しない。所定の領域とは、表示画面１７に含まれる一部の領域であればよく、表示画面１７の右下には限定されない。

【0066】

サブウィンドウ４０２は、漫画の一コマに関連付けて記憶されることで、漫画の一コマを表す仮想空間に入り込むと常に表示されるように設計してもよい。つまり、表示画面１７に表示される画像が属性情報として、例えば、サブウィンドウ４０２を表示するフラグを有するようにしてもよい。あるいは、画像が示す内容が特定のシーンである場合に、サブウィンドウ４０２を表示するように、画像の内容に応じて表示するものであってもよい。

【0067】

サブウィンドウ４０２は、所定の条件を満たした場合に表示されるように設計してもよい。所定の条件とは、例えば、コントローラ２０４において入力操作を受け付けられた場合や、ディスプレイ装置２０１の姿勢から特定された向きと仮想カメラの視軸を対応させ、視軸が仮想空間内のオブジェクトと交差したと判定された場合等が挙げられる。

【0068】

続いて、本発明の実施の形態における、表示画面に表示する画像の生成について説明する。プログラムが実行されると、コンピュータ装置２０３の制御部３１は、プログラムによって定義される仮想空間をグラフィックス処理部３５に出力させる。また、ディスプレイ装置２０１を頭に装着したユーザの位置、及び、コントローラ２０４の位置を、照射装置２０２から照射された光線を受光した位置及び方向に基づいて特定する。さらに、ディスプレイ装置２０１のセンサ部１８の各種センサの測定値により、ディスプレイ装置２０１の姿勢を特定する。

【0069】

プログラムによって定義される仮想空間について説明する。図９は、本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。プログラムにより定義される仮想空間７０が、図示するように半球状の空間で表される場合に、ディスプレイ装置２０１を頭部に装着したユーザ８０の視野は、可視領域８１に該当する。すなわち、可視領域８１に該当する映像が、ディスプレイ装置２０１の表示画面１７に表示される。例えば、ユーザ８０が左を向けば、ユーザ８０の動きにしたがって、可視領域８１は左側に移動する。上下方向についても同様に、例えば、ユーザ８０が上を向けば、ユーザ８０の動きにしたがって、可視領域８１は上側に移動する。

【0070】

［実行処理］
図１０は、本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。最初に、ディスプレイ装置２０１は、ディスプレイ装置２０１の姿勢から角度情報を測定する（ステップＳ１１）。角度情報は、ディスプレイ装置２０１のセンサ部１８に含まれる各種センサにより測定される。

【0071】

次に、ディスプレイ装置２０１に搭載された光センサが、照射装置２０２から照射されたレーザ光線を感知することにより、ディスプレイ装置２０１は、ディスプレイ装置２０１の位置及び向きを特定する（ステップＳ１２）。ステップＳ１１及びステップＳ１２の処理は、所定の間隔毎に行い、測定又は特定の都度、コンピュータ装置２０３へ送信して、ディスプレイ装置２０１の表示画面１７において表示する表示用画像を生成してもよい。

【0072】

次に、ディスプレイ装置２０１は、ステップＳ１１において測定された角度情報、及び、ステップＳ１２において特定された向き及び位置に関する情報をコンピュータ装置２０３へ送信する（ステップＳ１３）。次に、コンピュータ装置２０３は、情報を受信し（ステップＳ１４）、ステップＳ１１において測定された角度情報、及び、ステップＳ１２において特定された位置及び向きに関する情報に基づいて、仮想空間におけるユーザの視線を特定する（ステップＳ１５）。

【0073】

仮想空間におけるユーザの視線とは、ディスプレイ装置２０１の角度情報（水平面に対する傾きに関する情報）、位置に関する情報、及び向きに関する情報（水平面に平行な平面上でどの方向を向いているかに関する情報）に基づいて特定される可視領域８１において、ユーザが仮想空間内で見ていると推測される方向である。つまり、特定された向きは、仮想空間内における仮想カメラの視軸に対応するものである。例えば、ディスプレイ装置２０１の位置に仮想カメラの視点を設定し、ディスプレイ装置２０１の向きをもとに、視点を始点として、仮想世界における水平面に平行な平面上でどの方向へ視線が向いているかを特定し、かつ、ディスプレイ装置２０１の姿勢情報をもとに、該水平面に対する視線の傾きを特定することができる。さらに、仮想カメラの視点から仮想スクリーン上へ透視変換することで、ユーザの視線に対応する画像を生成することができる。このようにすることで、ユーザに意識させることなく、仮想世界において、ユーザが見ていると推測される方向に存在するオブジェクトを、ディスプレイ装置２０１に表示させ、ユーザの利便性を向上させるとともに、より仮想世界に没入させることが可能となる。

【0074】

ところで、ディスプレイ装置２０１が、ディスプレイ装置２０１を装着したユーザの視線を追跡することができる機能を有するようにしてもよい。この場合には、ユーザの眼球の動作から視線を算出することができる。

【0075】

次に、コンピュータ装置２０３は、ステップＳ１５において特定されたユーザの視線と仮想空間内に配置されたオブジェクトとが交差するか否かを判定する（ステップＳ１６）。オブジェクトとは、例えば、仮想空間内に配置され得るものであって、キャラクタ、敵キャラクタ、アイテム、あるいは、仮想空間に表示される物体等をいう。交差とは、視線と、オブジェクトを形成する境界面とが交差することをいい、線と面とが接することも含む概念である。三次元空間における線分と物体の交差判定には、例えば、レイトレーシング法において物体とレイ（光線）との交点を求めるための方法を用いることができる。その他の方法によっても可能であり、本発明の実施の形態においては、交差判定の方法が限定されるものではない。

【0076】

ユーザの視線が仮想空間内の所定のオブジェクトと交差していると判定された場合（ステップＳ１６においてＹＥＳ）には、コンピュータ装置２０３は、コンピュータ装置２０３の制御部３１に備えられた内部タイマにより計時を開始する（ステップＳ１７）。ユーザの視線が仮想空間内の所定のオブジェクトと交差していないと判定された場合（ステップＳ１６においてＮＯ）には、サブウィンドウは表示されない。既にサブウィンドウが表示されている場合には、視線と所定のオブジェクトとが交差しなくなったタイミングで、サブウィンドウを表示しないようにしてもよい。

【0077】

次に、コンピュータ装置２０３は、ステップＳ１７において開始した計時により、所定のオブジェクトと視線との交差が継続している時間が所定の時間を経過したか否かを判定する（ステップＳ１８）。所定時間が経過したと判定された場合（ステップＳ１８にてＹＥＳ）には、コンピュータ装置２０３は、サブウィンドウの表示領域が仮想空間内に配置された所定のオブジェクトと重畳するか否かを判定する（ステップＳ１９）。ステップＳ１９において判定される所定のオブジェクトとは、例えば、コンテンツに関して重要な意味を有するオブジェクトや、重畳することで視認性が悪くなるオブジェクト等をいう。所定時間が経過していない場合（ステップＳ１８にてＮＯ）には、サブウィンドウは表示されない。既にサブウィンドウが表示されている場合には、既存のサブウィンドウが表示されたままの状態を維持するようにしてもよい。

【0078】

サブウィンドウの表示領域と、仮想空間内に配置されたオブジェクトとが重畳すると判定された場合（ステップＳ１９にてＹＥＳ）には、コンピュータ装置２０３は、サブウィンドウの表示位置を変更する（ステップＳ２０）。サブウィンドウの表示領域と、仮想空間内に配置されたオブジェクトとが重畳しないと判定された場合（ステップＳ１９にてＮＯ）には、サブウィンドウの表示位置は変更されない。

【0079】

ここで、サブウィンドウの表示位置について説明する。サブウィンドウは、表示画面１７の所定の領域内に表示されることが予め設定されていて、サブウィンドウが表示される場合には所定の位置に表示されることが好ましい。図１１は、本発明の実施の形態の少なくとも１つに対応する、サブウィンドウに表示される領域を説明する図である。表示画面１７の中央に視軸が向いているとした場合に、視軸に対して所定の位置関係にある領域又は線上が所定の領域となる。

【0080】

図１１（ａ）は、所定の領域９１が、視軸９０を中心に、等分された領域の一つとして定められる場合を説明する図である。分割される領域は、図示されるように、四分割に限られない。つまり、所定の領域は、分割数及び領域の方向を指定して定められるようにしてもよい。

【0081】

図１１（ｂ）は、所定の領域９１が、視軸９０を中心点として所定の角度αの範囲で定められる場合を説明する図である。ここで、αは任意の値である。つまり、所定の領域は、角度αを指定することにより定められるようにしてもよい。

【0082】

図１１（ｃ）は、所定の領域９１が、視軸９０を中心点として、所定の距離β２の範囲で定められる場合を説明する図である。ここで、β１及びβ２は任意の値である。つまり、所定の領域は、長さを指定することにより定められてもよい。長さは、β１のみを指定してもよいし、β１及びβ２を指定して、図示するように、環形の領域を指定してもよい。

【0083】

図１１（ｄ）は、所定の直線９２が、視軸９０を起点としたベクトル９５及び９６の内積により算出される場合を説明する図である。つまり、所定の領域は、直線上のいずれかの点で定められるようにしてもよい。図１１（ｄ）では、一例として、ベクトルを用いて算出したが、三角関数等を用いて算出してもよい。

【0084】

図示しないが、所定の領域は座標を指定することにより設定するようにしてもよい。例えば、表示画面１７にＸＹ座標系を設定し、画面の左上を座標（０，０）とした場合に、始点（１００，１００）から、終点（２００，２００）を指定すると、始点及び終点を対角線とする方形の範囲を所定の領域としてもよい。すなわち、所定の領域とは、視軸に対して定められる領域であって、ディスプレイ装置２０１の位置及び向きの変化によらない領域である。

【0085】

ステップＳ２０におけるサブウィンドウの位置変更とは、例えば、仮想空間内に配置されたオブジェクトとサブウィンドウとが重畳しないように、サブウィンドウの位置を変更することをいう。より具体的には、例えば、サブウィンドウと仮想空間内のオブジェクトとが重畳することでユーザの視認性が悪化し、ストーリーの理解ができない等重大な影響があると考えられる場合等に有効である。サブウィンドウの位置変更は、所定の領域を変更し、サブウィンドウの表示位置を変更してもよい。例えば、画面の右下に表示されていたサブウィンドウを画面の右上に表示するようにしてもよい。また、所定の領域内で少しだけ位置をずらすことで、視認性を損なうことを回避してもよい。

【0086】

次に、コンピュータ装置２０３は、サブウィンドウに表示する画像を生成する（ステップＳ２１）。生成される画像は、任意の画像でよく、ステップＳ１６において視線と交差していると判定されたオブジェクトに関する画像であってもよい。

【0087】

次に、コンピュータ装置２０３は、ステップＳ１５で特定された視線の方向に対応する画像を生成する（ステップＳ２２）。視線の方向に対応する画像とは、仮想カメラにより撮像された画像である。次に、コンピュータ装置２０３は、ステップＳ２１において生成したサブウィンドウ画像と、ステップＳ２２において生成した視線の方向に対応する画像とを、ディスプレイ装置２０１へ送信する（ステップＳ２３）。

【0088】

ディスプレイ装置２０１は、ステップＳ２３において送信された画像を受信する（ステップＳ２４）。ディスプレイ装置２０１は、ステップＳ２４において受信した画像を表示し（ステップＳ２５）、終了する。

【0089】

実行処理は、所定のタイミングで繰り返し実行されるものとしてもよい。所定のタイミングとは、例えば、画面のフレームレートごと、あるいは、フレームレートの倍数のタイミングで行うことができる。

【0090】

ステップＳ２５において、ディスプレイ装置２０１は、受信したサブウィンドウ画像と、視線の方向に対応する画像とを重畳させて表示する。ここで、サブウィンドウ画像は、視線との関係により定められた位置に表示されるものであり、ステップＳ１２において特定された位置及び向きに応じて変化しない。すなわち、ユーザが頭部を動かした場合でも、サブウィンドウ画像は頭部の動きと連動せず、画面上の所定の位置に固定されて表示されるよう制御される。

【0091】

ステップＳ２５において、既にサブウィンドウが表示されている場合には、サブウィンドウに表示された画像を更新するようにしてもよい。

【0092】

第三の実施の形態では、ディスプレイ装置２０１及びコントローラ２０４の位置を特定するための光線はレーザ光線であって、例えば、赤外線が挙げられるが、光線はこれに限定されず、可視光線であってもよいし、その他の不可視光線であってもよい。

【0093】

第三の実施の形態では、視線が所定のオブジェクトと所定の時間交差し続けた場合にサブウィンドウを表示することとしたが、所定の時間が経過したか否かを判定することなく、視線と所定のオブジェクトとの交差に関する判定のみでサブウィンドウを表示することとしてもよい。

【0094】

第三の実施の形態では、視軸に対応する画像中の所定のオブジェクトが、サブウィンドウの所定の領域と重畳していた場合には、サブウィンドウの位置を変更していたが、重畳していた場合にはサブウィンドウを表示しないようにしてもよい。

【0095】

第三の実施の形態の一側面として、表示画面の所定の領域に、特定された向きに応じて変化しないサブウィンドウ画像を表示することで、ＨＭＤを使用するユーザのＶＲ酔いを軽減させることができる。

【0096】

第三の実施の形態の一側面として、所定の条件を満たすことにより第二画像を表示させることで、第一画像に対するユーザの視認性を損なうことなく、適切な場面で違和感なく第二画像を表示することができる。

【0097】

第三の実施の形態の一側面として、仮想空間内に配置された所定のオブジェクトと視線とが交差した場合にサブウィンドウ画像を表示することで、ユーザが入力操作をすることなくサブウィンドウ画像を表示することができ、ユーザの利便性を向上させることができる。

【0098】

第三の実施の形態の一側面として、ユーザの視軸と所定のオブジェクトとが所定の時間継続して交差した場合にサブウィンドウ画像を表示することで、ユーザが意図しないサブウィンドウを表示することを抑制し、ユーザが表示させたいサブウィンドウだけを表示可能にして、利便性を向上させることができる。

【0099】

第三の実施の形態の一側面として、ユーザの視軸と交差した所定のオブジェクトに関する画像をサブウィンドウに表示することにより、ユーザが入力操作をすることなく所定のオブジェクトに関する情報を知ることができる。また、ユーザの視軸が当たっている場所を認識することができるという利点もある。

【0100】

第三の実施の形態の一側面として、視軸に対応する画像に関する情報が所定の条件を満たす場合にサブウィンドウ画像を表示することにより、視軸に対応する画像と関連付けたサブウィンドウ画像を表示することができ、画像を組み合わせた効果を生じさせることができる。例えば、漫画等のコンテンツにおいて、主人公が冷凍庫に閉じ込められた場合に、視軸に対応する画像として冷凍庫内の背景画像を表示し、サブウィンドウに温度計の画像を表示すると、背景画像のみを表示するよりもユーザに緊張感を与え、画像の組み合わせによる効果を生じさせることができる。

【0101】

第三の実施の形態の一側面として、視軸に対応する画像中の所定のオブジェクトが、サブウィンドウが表示される所定の領域と重なる位置に存在する場合に、サブウィンドウを所定の領域とは異なる位置に表示することにより、ユーザの視認性を向上させることができる。

【0102】

第三の実施の形態の一側面として、視軸に対応する画像中の所定のオブジェクトが、サブウィンドウの所定の領域と重なる位置に存在する場合に、サブウィンドウを表示しないことで、ユーザの視認性を向上させることができる。

【0103】

第三の実施の形態において、「頭部に装着」、「表示装置」、「向き」、「仮想空間」、「第一画像」、及び「第二画像」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。

【0104】

第三の実施の形態において、「重なる」とは、例えば、線とオブジェクトとが交差することをいう。「第一画像に関する情報」とは、例えば、第一画像が表す内容の情報や第一画像の属性情報をいう。

【0105】

［付記］
上で述べた実施の形態の説明は、下記の発明を、発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。

【0106】

［１］ ユーザの頭部に装着することで利用される表示装置を備える表示システムであって、
表示装置の向きを特定する向き特定手段と、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示する表示手段と
を備える、表示システム。

【0107】

［２］ 前記第二画像は、所定の条件を満たすことで表示される、［１］に記載の表示システム。

【0108】

［３］ 前記特定手段により特定された向きが、仮想空間内における仮想カメラの視軸に対応するものであり、
前記第一画像が、仮想空間を、仮想カメラを視点として仮想スクリーン上に透視変換して生成されるものであり、
前記所定の条件が、前記視軸が仮想空間内の所定のオブジェクトと重なることである、
［２］に記載の表示システム。

【0109】

［４］ 前記所定の条件が、前記視軸が仮想空間内の所定のオブジェクトと重なった状態が所定の時間継続することである、［３］に記載の表示システム。

【0110】

［５］ 前記第二画像が、所定のオブジェクトに関する画像である、［３］又は［４］に記載の表示システム。

【0111】

［６］ 前記所定の条件が、前記第一画像に関する情報が所定の条件を満たすことである、［２］〜［５］のいずれかに記載の表示システム。

【0112】

［７］ 前記表示手段は、第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を前記所定の領域とは異なる位置に表示するものである、［１］〜［６］のいずれかに記載の表示システム。

【0113】

［８］ 前記表示手段は、第一画像中の所定のオブジェクトが、前記所定の領域と重なる位置に存在する場合に、第二画像を表示しない、［１］〜［７］のいずれかに記載の表示システム。

【0114】

［９］ ユーザの頭部に装着することで利用される表示装置を備えるシステムにおける表示方法であって、
表示装置の向きを特定することと、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示するとともに、表示画面の所定の領域に、特定された向きに応じて変化しない第二画像を表示することと
を実行する表示方法。

【符号の説明】

【0115】

１ 表示システム
１１ 制御部
１２ ＲＡＭ
１３ ストレージ部
１４ 撮像部
１５ グラフィックス処理部
１６ 表示部
１７ 表示画面
１８ センサ部
１８ａ センサ
１８ｂ 赤外線センサ
１８ｃ ジャイロセンサ
１８ｄ 加速度センサ
１９ 通信インタフェース
２０ インタフェース部
２０１ ディスプレイ装置
２０２ 照射装置
２０３ コンピュータ装置
２０４ コントローラ
２１ レンズ
２５１ ディスプレイ装置
２５２ 撮影装置
２５３ コンピュータ装置
２５４ コントローラ
３１ 制御部
３２ ＲＡＭ
３３ ストレージ部
３４ サウンド処理部
３５ グラフィックス処理部
３６ ＣＤ−ＲＯＭドライブ
３７ 通信インタフェース
３８ インタフェース部
３９ フレームメモリ
４０ サウンド出力装置
４１ ディスク
５ 通信回線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】