IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 任天堂株式会社の特許一覧

特開2024-61807画像表示システム、画像表示方法、およびゴーグル型装置
<>
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図1
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図2
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図3
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図4
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図5
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図6
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図7
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図8
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図9
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図10
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図11
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図12
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図13
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図14
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図15
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図16
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図17
  • 特開-画像表示システム、画像表示方法、およびゴーグル型装置 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061807
(43)【公開日】2024-05-08
(54)【発明の名称】画像表示システム、画像表示方法、およびゴーグル型装置
(51)【国際特許分類】
   G06F 3/04815 20220101AFI20240426BHJP
   H04N 13/344 20180101ALI20240426BHJP
   H04N 13/359 20180101ALI20240426BHJP
   G09G 5/00 20060101ALI20240426BHJP
   G09G 5/36 20060101ALI20240426BHJP
   G09G 5/37 20060101ALI20240426BHJP
   G09G 5/38 20060101ALI20240426BHJP
【FI】
G06F3/04815
H04N13/344
H04N13/359
G09G5/00 510A
G09G5/00 550C
G09G5/36 500
G09G5/37 600
G09G5/38
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2024037130
(22)【出願日】2024-03-11
(62)【分割の表示】P 2023084628の分割
【原出願日】2019-02-27
(71)【出願人】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
(74)【代理人】
【識別番号】100158780
【弁理士】
【氏名又は名称】寺本 亮
(74)【代理人】
【識別番号】100121359
【弁理士】
【氏名又は名称】小沢 昌弘
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】岩田 健志
(72)【発明者】
【氏名】松浦 龍平
(57)【要約】
【課題】ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる画像表示システム、画像表示プログラム、画像表示方法、および表示装置を提供する。
【解決手段】表示画面を有する表示装置と当該表示装置を装着可能なゴーグル装置とを備える。第1の表示モードにおいて、表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させ、第2の表示モードにおいて、表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる。そして、第2の表示モードにおいて、第2ユーザインターフェイス画像を、第1ユーザインターフェイス画像が第1の表示モードにおいて表示される表示画面上の位置とは異なる位置に表示させる。
【選択図】図16
【特許請求の範囲】
【請求項1】
画像を表示する表示画面を有する表示装置と当該表示装置を装着可能なゴーグル装置とを備える画像表示システムであって、
前記表示装置を第1の表示モードまたは当該第1の表示モードとは異なる第2の表示モードに設定するモード設定手段と、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御手段と、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と前記第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる第2表示制御手段とを備え、
前記第2表示制御手段は、前記第2の表示モードにおいて、前記第2ユーザインターフェイス画像を、前記第1ユーザインターフェイス画像が前記第1の表示モードにおいて表示される前記表示画面上の位置とは異なる位置に表示させる、画像表示システム。
【請求項2】
前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する検知手段を、さらに備え、
前記モード設定手段は、前記表示装置が前記第1の表示モードに設定されている場合に、前記検知手段の検知結果に基づいて、当該表示装置を前記第2の表示モードに切り替える、請求項1に記載の画像表示システム。
【請求項3】
前記表示装置は、照度センサを備え、
前記ゴーグル装置は、前記表示装置が当該ゴーグル装置に装着状態または装着途中状態にある場合に、当該表示装置の前記照度センサへの光を遮光する遮光部を備え、
前記検知手段は、前記照度センサによる検知結果に基づいて、前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する、請求項2に記載の画像表示システム。
【請求項4】
前記表示装置は、前記表示画面上に設けられるタッチパネルを備え、
前記表示画面に表示された前記第1ユーザインターフェイス画像は、前記タッチパネルに対するタッチ操作に応じた操作指示が可能であり、
前記表示画面に表示された前記第2ユーザインターフェイス画像は、前記表示装置が前記ゴーグル装置に装着された状態で前記タッチパネルに対するタッチ操作に応じた操作指示が可能である、請求項1乃至3の何れか1つに記載の画像表示システム。
【請求項5】
前記第2表示制御手段は、左目用画像および右目用画像からなるコンテンツ画像として、前記第1表示制御手段によって非立体視画像として表示されるコンテンツ画像に対応する画像を前記表示画面に表示させる、請求項1乃至4の何れか1つに記載の画像表示システム。
【請求項6】
前記第2表示制御手段は、前記第2の表示モードにおいて、当該第2の表示モードに設定される直前の前記第1の表示モードにおいて表示されていたコンテンツ画像を、左目用画像および右目用画像からなる立体視画像にして、前記表示画面に表示させる、請求項1乃至5の何れか1つに記載の画像表示システム。
【請求項7】
前記第2表示制御手段は、前記第2の表示モードにおいて、前記表示画面の第1領域において前記左目用画像を表示させ、前記第1領域とは異なる前記表示画面の第2領域において前記右目用画像を表示させ、前記第1領域および前記第2領域とは異なる前記表示画面の第3領域において前記第2ユーザインターフェイス画像を表示させる、請求項1乃至6の何れか1つに記載の画像表示システム。
【請求項8】
前記第2表示制御手段は、前記第1ユーザインターフェイス画像と機能が実質的に同一であって形状が異なるユーザインターフェイス画像を、前記第2ユーザインターフェイス画像として表示させる、請求項1乃至7の何れか1つに記載の画像表示システム。
【請求項9】
前記第2表示制御手段は、前記第2の表示モードにおいて、前記左目用画像を表示させる前記表示画面の第1領域と前記右目用画像を表示させる前記表示画面の第2領域とは異なる前記表示画面の第3領域の形状に合うように前記第2ユーザインターフェイス画像の形状を調整して当該第3領域に表示させる、請求項8に記載の画像表示システム。
【請求項10】
前記第2表示制御手段は、前記表示画面における前記第1領域および前記第2領域によって挟まれる当該表示画面の上方または下方に前記第3領域を設定する、請求項7または9に記載の画像表示システム。
【請求項11】
前記第2表示制御手段は、前記表示画面における前記第1領域および前記第2領域によって挟まれる当該表示画面の下方に前記第3領域を設定する、請求項10に記載の画像表示システム。
【請求項12】
前記ゴーグル装置は、前記表示装置が当該ゴーグル装置に装着された場合に、前記表示画面の一部である前記第3領域を少なくとも外部に露出させる開口部を有する、請求項7および請求項9乃至11の何れか1つに記載の画像表示システム。
【請求項13】
前記開口部は、ユーザが前記ゴーグル装置を着用した場合に当該ユーザの鼻に対応する位置に形成される、請求項12に記載の画像表示システム。
【請求項14】
前記第1表示制御手段は、前記第1の表示モードにおいて、前記表示画面に表示されるコンテンツ画像に重畳させて前記第1ユーザインターフェイス画像を表示させる、請求項1乃至13の何れか1つに記載の画像表示システム。
【請求項15】
前記第2表示制御手段は、前記第2の表示モードにおいて、前記第2ユーザインターフェイス画像を非立体視画像で前記表示画面に表示させる、請求項1乃至14の何れか1つに記載の画像表示システム。
【請求項16】
前記表示装置は、電気的に他の装置と接続可能な表示装置側接続部を、さらに備え、
前記ゴーグル装置は、前記表示装置側接続部と電気的に接続可能なゴーグル装置側接続部を備え、
前記検知手段は、前記表示装置側接続部と前記ゴーグル装置側接続部とが接続されたことに応じて、前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する、請求項2に記載の画像表示システム。
【請求項17】
画像を表示する表示画面を有する表示装置に含まれるコンピュータで実行される画像表示プログラムであって、
前記コンピュータを、
前記表示装置を前記第1の表示モードまたは当該第1の表示モードとは異なる前記第2の表示モードに設定するモード設定手段と、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御手段と、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と前記第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる第2表示制御手段として機能させ、
前記第2表示制御手段は、前記第2の表示モードにおいて前記第2ユーザインターフェイス画像を、前記第1ユーザインターフェイス画像が前記第1の表示モードにおいて表示される前記表示画面上の位置とは異なる位置に表示させる、画像表示プログラム。
【請求項18】
画像を表示する表示画面を有する表示装置に画像を表示する画像表示方法であって、
前記表示装置を前記第1の表示モードまたは当該第1の表示モードとは異なる前記第2の表示モードに設定するモード設定ステップと、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御ステップと、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と前記第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる第2表示制御ステップとを含み、
前記第2表示制御ステップでは、前記第2の表示モードにおいて前記第2ユーザインターフェイス画像が、前記第1ユーザインターフェイス画像が前記第1の表示モードにおいて表示される前記表示画面上の位置とは異なる位置に表示される、画像表示方法。
【請求項19】
画像を表示する表示画面を有する表示装置であって、
前記表示装置を前記第1の表示モードまたは当該第1の表示モードとは異なる前記第2の表示モードに設定するモード設定手段と、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御手段と、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と前記第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる第2表示制御手段とを備え、
前記第2表示制御手段は、前記第2の表示モードにおいて前記第2ユーザインターフェイス画像を、前記第1ユーザインターフェイス画像が前記第1の表示モードにおいて表示される前記表示画面上の位置とは異なる位置に表示させる、表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体視画像を表示可能な画像表示システム、画像表示プログラム、画像表示方法、および表示装置に関する。
【背景技術】
【0002】
従来、互いに視差のある2つの画像をユーザの左右の目でそれぞれ視認させることによって立体画像を表示する立体画像表示装置がある(例えば、特許文献1参照)。例えば、上記特許文献1には、ユーザが装着可能なゴーグル装置にスマートフォンを収納し、当該ゴーグル装置を介して当該スマートフォンの表示画面に表示された立体視画像をユーザが覗き込むことによって、立体視された画像を見ることが可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-198651号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1で開示された立体画像表示装置は、立体視画像を表示画面に表示する際にユーザのタッチ操作を受け付けるユーザインターフェイス画像を提示することについて何ら考慮されていないため、ユーザインターフェイス画像の提示方法について、利便性を向上させる余地がある。
【0005】
それ故に、本発明の目的は、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる画像表示システム、画像表示プログラム、画像表示方法、および表示装置を提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。
【0007】
本発明の画像表示システムの一構成例は、画像を表示する表示画面を有する表示装置と当該表示装置を装着可能なゴーグル装置とを備える。画像表示システムは、モード設定手段、第1表示制御手段、および第2表示制御手段を備える。モード設定手段は、表示装置を第1の表示モードまたは当該第1の表示モードとは異なる第2の表示モードに設定する。第1表示制御手段は、第1の表示モードにおいて、表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる。第2表示制御手段は、第2の表示モードにおいて、表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる。第2表示制御手段は、第2の表示モードにおいて、第2ユーザインターフェイス画像を、第1ユーザインターフェイス画像が第1の表示モードにおいて表示される表示画面上の位置とは異なる位置に表示させる。
【0008】
上記によれば、表示モードを切り替える際、異なる位置にユーザインターフェイス画像が表示されるため、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる。
【0009】
また、上記画像表示システムは、検知手段を、さらに備える。検知手段は、表示装置がゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する。この場合、上記モード設定手段は、表示装置が第1の表示モードに設定されている場合に、検知手段の検知結果に基づいて、当該表示装置を第2の表示モードに切り替えてもよい。
【0010】
上記によれば、ゴーグル装置への表示装置の装着状態または装着途中状態に基づいて、表示モードの切り替えが行われるため、シームレスな表示モードの切り替えが可能となる。
【0011】
また、上記表示装置は、照度センサを備えてもよい。この場合、上記ゴーグル装置は、遮光部を備えてもよい。遮光部は、表示装置が当該ゴーグル装置に装着状態または装着途中状態にある場合に、当該表示装置の照度センサへの光を遮光する。上記検知手段は、照度センサによる検知結果に基づいて、表示装置がゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知してもよい。
【0012】
上記によれば、表示装置に対する遮光状態に基づいて、容易に当該表示装置の装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検出することができる。
【0013】
また、上記表示装置は、表示画面上に設けられるタッチパネルを備えてもよい。この場合、上記表示画面に表示された第1ユーザインターフェイス画像は、タッチパネルに対するタッチ操作に応じた操作指示が可能であってもよい。上記表示画面に表示された第2ユーザインターフェイス画像は、表示装置がゴーグル装置に装着された状態でタッチパネルに対するタッチ操作に応じた操作指示が可能であってもよい。
【0014】
上記によれば、タッチ操作を受け付けるユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる。
【0015】
また、上記第2表示制御手段は、左目用画像および右目用画像からなるコンテンツ画像として、第1表示制御手段によって非立体視画像として表示されるコンテンツ画像に対応する画像を表示画面に表示させてもよい。
【0016】
上記によれば、同じコンテンツ画像における立体視画像および非立体視画像をシームレスに切り替えることができる。
【0017】
また、上記第2表示制御手段は、第2の表示モードにおいて、当該第2の表示モードに設定される直前の第1の表示モードにおいて表示されていたコンテンツ画像を、左目用画像および右目用画像からなる立体視画像にして、表示画面に表示させてもよい。
【0018】
上記によれば、同じコンテンツ画像における立体視画像および非立体視画像をシームレスに切り替えることができる。
【0019】
また、上記第2表示制御手段は、第2の表示モードにおいて、表示画面の第1領域において左目用画像を表示させ、第1領域とは異なる表示画面の第2領域において右目用画像を表示させ、第1領域および第2領域とは異なる表示画面の第3領域において第2ユーザインターフェイス画像を表示させてもよい。
【0020】
上記によれば、タッチ操作されることによって立体視画像を表示するための第1領域および第2領域が汚損することが防止することができるとともに、立体視画像を見ている状態において第2ユーザインターフェイス画像をタッチ操作するための指が視界に入るようなことを防止することができる。
【0021】
また、上記第2表示制御手段は、第1ユーザインターフェイス画像と機能が実質的に同一であって形状が異なる形状のユーザインターフェイス画像を、第2ユーザインターフェイス画像として表示させてもよい。
【0022】
上記によれば、操作および立体視画像表示に適した形状のユーザインターフェイス画像を表示することができる。
【0023】
また、上記第2表示制御手段は、第2の表示モードにおいて、左目用画像を表示させる表示画面の第1領域と右目用画像を表示させる表示画面の第2領域とは異なる表示画面の第3領域の形状に合うように第2ユーザインターフェイス画像の形状を調整して当該第3領域に表示させてもよい。
【0024】
上記によれば、適切な形状のユーザインターフェイス画像を表示することができる。
【0025】
また、上記第2表示制御手段は、表示画面における第1領域および第2領域によって挟まれる当該表示画面の上方または下方に第3領域を設定してもよい。
【0026】
上記によれば、立体視画像表示の邪魔とならないユーザインターフェイス画像を表示することができる。
【0027】
また、上記第2表示制御手段は、表示画面における第1領域および第2領域によって挟まれる当該表示画面の下方に第3領域を設定してもよい。
【0028】
上記によれば、立体視画像表示の邪魔とならず、操作が容易となるユーザインターフェイス画像を表示することができる。
【0029】
また、上記ゴーグル装置は、表示装置が当該ゴーグル装置に装着された場合に、表示画面の一部である第3領域を少なくとも外部に露出させる開口部を有してもよい。
【0030】
上記によれば、ユーザインターフェイス画像をタッチするタッチ操作がゴーグル装置に装着された状態で可能となる。
【0031】
また、上記開口部は、ユーザがゴーグル装置を着用した場合に当該ユーザの鼻に対応する位置に形成されてもよい。
【0032】
上記によれば、遮光性を損なうことなく開口部を形成することができる。
【0033】
また、上記第1表示制御手段は、第1の表示モードにおいて、表示画面に表示されるコンテンツ画像に重畳させて第1ユーザインターフェイス画像を表示させてもよい。
【0034】
上記によれば、ユーザインターフェイス画像の表示に影響されることなく、相対的に大きなコンテンツ画像を表示することができる。
【0035】
また、上記第2表示制御手段は、第2の表示モードにおいて、第2ユーザインターフェイス画像を非立体視画像で表示画面に表示させてもよい。
【0036】
上記によれば、ユーザインターフェイス画像をタッチする操作が容易となる。
【0037】
また、上記表示装置は、電気的に他の装置と接続可能な表示装置側接続部を、さらに備えてもよい。この場合、上記ゴーグル装置は、表示装置側接続部と電気的に接続可能なゴーグル装置側接続部を備えてもよい。上記検知手段は、表示装置側接続部とゴーグル装置側接続部とが接続されたことに応じて、表示装置がゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知してもよい。
【0038】
上記によれば、ゴーグル装置に表示装置が装着されたことを確実に検知する、または装着途中状態にあることを確実に検知することができる。
【0039】
また、本発明は、画像表示プログラム、画像表示方法、および表示装置の形態で実施されてもよい。
【発明の効果】
【0040】
本発明によれば、表示モードを切り替える際、異なる位置にユーザインターフェイス画像が表示されるため、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる。
【図面の簡単な説明】
【0041】
図1】本体装置2に左コントローラ3および右コントローラ4を装着した状態を示す図
図2】本体装置2から左コントローラ3および右コントローラ4をそれぞれ外した状態の一例を示す図
図3】本体装置2の一例を示す六面図
図4】左コントローラ3の一例を示す六面図
図5】右コントローラ4の一例を示す六面図
図6】本体装置2の内部構成の一例を示すブロック図
図7】本体装置2と左コントローラ3および右コントローラ4との内部構成の一例を示すブロック図
図8】ゴーグル装置150の外観の一例を示す斜視図
図9】本体装置2をゴーグル装置150に装着する状態の一例を示す正面図
図10】ゴーグル装置150に装着された本体装置2の状態の一例を示す正面図
図11】本体装置2の前面の一部と接面される前面当接部151bの形状の一例を示す図
図12】ゴーグル装置150の内部構造の一例を示す図
図13】ゴーグル装置150に装着された本体装置2の状態の一例を示す側面図
図14】画像表示システムに表示されている画像を見るユーザの様子の一例を示す図
図15】画像表示システムを把持するユーザの様子の一例を示す図
図16】立体視表示モードおよび非立体視表示モードにおいてそれぞれ本体装置2に表示される画像の一例を示す図
図17】本体装置2のDRAM85に設定されるデータ領域の一例を示す図
図18】ゲームシステム1で実行されるゲーム処理の一例を示すフローチャート
【発明を実施するための形態】
【0042】
以下、本実施形態の一例に係る画像表示システムについて説明する。本実施形態における画像表示システムの一例は、ゲームシステム1(最小限の構成としては、ゲームシステム1に含まれる本体装置2)およびゴーグル装置150によって構成される。ゲームシステム1の一例は、本体装置(情報処理装置;本実施形態ではゲーム装置本体として機能する)2と左コントローラ3および右コントローラ4とを含む。本体装置2は、左コントローラ3および右コントローラ4がそれぞれ着脱可能である。つまり、ゲームシステム1は、左コントローラ3および右コントローラ4をそれぞれ本体装置2に装着して一体化された装置として利用できる。また、ゲームシステム1は、本体装置2と左コントローラ3および右コントローラ4とを別体として利用することもできる(図2参照)。以下では、本実施形態のゲームシステム1のハードウェア構成について説明し、その後に本実施形態のゲームシステム1の制御について説明する。
【0043】
図1は、本体装置2に左コントローラ3および右コントローラ4を装着した状態の一例を示す図である。図1に示すように、左コントローラ3および右コントローラ4は、それぞれ本体装置2に装着されて一体化されている。本体装置2は、ゲームシステム1における各種の処理(例えば、ゲーム処理)を実行する装置である。本体装置2は、ディスプレイ12を備える。左コントローラ3および右コントローラ4は、ユーザが入力を行うための操作部を備える装置である。
【0044】
図2は、本体装置2から左コントローラ3および右コントローラ4をそれぞれ外した状態の一例を示す図である。図1および図2に示すように、左コントローラ3および右コントローラ4は、本体装置2に着脱可能である。なお、以下において、左コントローラ3および右コントローラ4の総称として「コントローラ」と記載することがある。
【0045】
図3は、本体装置2の一例を示す六面図である。図3に示すように、本体装置2は、略板状のハウジング11を備える。本実施形態において、ハウジング11の主面(換言すれば、表側の面、すなわち、ディスプレイ12が設けられる面)は、大略的には矩形形状である。
【0046】
なお、ハウジング11の形状および大きさは、任意である。一例として、ハウジング11は、携帯可能な大きさであってよい。また、本体装置2単体または本体装置2に左コントローラ3および右コントローラ4が装着された一体型装置は、携帯型装置となってもよい。また、本体装置2または一体型装置が手持ち型の装置となってもよい。また、本体装置2または一体型装置が可搬型装置となってもよい。
【0047】
図3に示すように、本体装置2は、ハウジング11の主面に設けられるディスプレイ12を備える。ディスプレイ12は、本体装置2が生成した画像を表示する。本実施形態においては、ディスプレイ12は、液晶表示装置(LCD)とする。ただし、ディスプレイ12は任意の種類の表示装置であってよい。
【0048】
また、本体装置2は、ディスプレイ12の画面上にタッチパネル13を備える。本実施形態においては、タッチパネル13は、マルチタッチ入力が可能な方式(例えば、静電容量方式)のものである。ただし、タッチパネル13は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式(例えば、抵抗膜方式)のものであってもよい。
【0049】
本体装置2は、ハウジング11の内部においてスピーカ(すなわち、図6に示すスピーカ88)を備えている。図3に示すように、ハウジング11の主面には、スピーカ孔11aおよび11bが形成される。そして、スピーカ88の出力音は、これらのスピーカ孔11aおよび11bからそれぞれ出力される。
【0050】
また、本体装置2は、本体装置2が左コントローラ3と有線通信を行うための端子である左側端子17と、本体装置2が右コントローラ4と有線通信を行うための右側端子21を備える。
【0051】
図3に示すように、本体装置2は、スロット23を備える。スロット23は、ハウジング11の上側面に設けられる。スロット23は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム1およびそれと同種の情報処理装置に専用の記憶媒体(例えば、専用メモリカード)である。所定の種類の記憶媒体は、例えば、本体装置2で利用されるデータ(例えば、アプリケーションのセーブデータ等)、および/または、本体装置2で実行されるプログラム(例えば、アプリケーションのプログラム等)を記憶するために用いられる。また、本体装置2は、電源ボタン28を備える。
【0052】
本体装置2は、下側端子27を備える。下側端子27は、本体装置2がクレードルと通信を行うための端子である。本実施形態において、下側端子27は、USBコネクタ(より具体的には、メス側コネクタ)である。上記一体型装置または本体装置2単体をクレードルに載置した場合、ゲームシステム1は、本体装置2が生成して出力する画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置2単体を充電する機能を有する。また、クレードルは、ハブ装置(具体的には、USBハブ)の機能を有する。
【0053】
本体装置2は、照度センサ29を備える。本実施例においては、照度センサ29は、ハウジング11の主面下部に設けられ、ハウジング11の主面側から入射する光の照度(明るさ)を検出する。なお、照度センサ29によって検出された光の照度に応じて、ディスプレイ12を適切な明るさにして画像を表示することができるが、本実施例においては当該検出された照度に基づいて、本体装置2が後述するゴーグル装置150に装着されているか否かが判定される。
【0054】
図4は、左コントローラ3の一例を示す六面図である。図4に示すように、左コントローラ3は、ハウジング31を備える。本実施形態においては、ハウジング31は、縦長の形状、すなわち、上下方向(すなわち、図1および図4に示すy軸方向)に長い形状である。左コントローラ3は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング31は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ3は、横長となる向きで把持されることも可能である。左コントローラ3が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
【0055】
左コントローラ3は、アナログスティック32を備える。図4に示すように、アナログスティック32は、ハウジング31の主面に設けられる。アナログスティック32は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック32を傾倒することによって傾倒方向に応じた方向の入力(および、傾倒した角度に応じた大きさの入力)が可能である。なお、左コントローラ3は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、本実施形態においては、アナログスティック32を押下する入力が可能である。
【0056】
左コントローラ3は、各種操作ボタンを備える。左コントローラ3は、ハウジング31の主面上に4つの操作ボタン33~36(具体的には、右方向ボタン33、下方向ボタン34、上方向ボタン35、および左方向ボタン36)を備える。さらに、左コントローラ3は、録画ボタン37および-(マイナス)ボタン47を備える。左コントローラ3は、ハウジング31の側面の左上に第1Lボタン38およびZLボタン39を備える。また、左コントローラ3は、ハウジング31の側面の、本体装置2に装着される際に装着される側の面に第2Lボタン43および第2Rボタン44を備える。これらの操作ボタンは、本体装置2で実行される各種プログラム(例えば、OSプログラムやアプリケーションプログラム)に応じた指示を行うために用いられる。
【0057】
また、左コントローラ3は、左コントローラ3が本体装置2と有線通信を行うための端子42を備える。
【0058】
図5は、右コントローラ4の一例を示す六面図である。図5に示すように、右コントローラ4は、ハウジング51を備える。本実施形態においては、ハウジング51は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ4は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング51は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ4は、横長となる向きで把持されることも可能である。右コントローラ4が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
【0059】
右コントローラ4は、左コントローラ3と同様、方向入力部としてアナログスティック52を備える。本実施形態においては、アナログスティック52は、左コントローラ3のアナログスティック32と同じ構成である。また、右コントローラ4は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ4は、左コントローラ3と同様、ハウジング51の主面上に4つの操作ボタン53~56(具体的には、Aボタン53、Bボタン54、Xボタン55、およびYボタン56)を備える。さらに、右コントローラ4は、+(プラス)ボタン57およびホームボタン58を備える。また、右コントローラ4は、ハウジング51の側面の右上に第1Rボタン60およびZRボタン61を備える。また、右コントローラ4は、左コントローラ3と同様、第2Lボタン65および第2Rボタン66を備える。
【0060】
また、右コントローラ4は、右コントローラ4が本体装置2と有線通信を行うための端子64を備える。
【0061】
図6は、本体装置2の内部構成の一例を示すブロック図である。本体装置2は、図3に示す構成の他、図6に示す各構成要素81~91、97、および98を備える。これらの構成要素81~91、97、および98のいくつかは、電子部品として電子回路基板上に実装されてハウジング11内に収納されてもよい。
【0062】
本体装置2は、プロセッサ81を備える。プロセッサ81は、本体装置2において実行される各種の情報処理を実行する情報処理部であって、例えば、CPU(Central Processing Unit)のみから構成されてもよいし、CPU機能、GPU(Graphics Processing Unit)機能等の複数の機能を含むSoC(System-on-a-chip)から構成されてもよい。プロセッサ81は、記憶部(具体的には、フラッシュメモリ84等の内部記憶媒体、あるいは、スロット23に装着される外部記憶媒体等)に記憶される情報処理プログラム(例えば、ゲームプログラム)を実行することによって、各種の情報処理を実行する。
【0063】
本体装置2は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ84およびDRAM(Dynamic Random Access Memory)85を備える。フラッシュメモリ84およびDRAM85は、プロセッサ81に接続される。フラッシュメモリ84は、主に、本体装置2に保存される各種のデータ(プログラムであってもよい)を記憶するために用いられるメモリである。DRAM85は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。
【0064】
本体装置2は、スロットインターフェース(以下、「I/F」と略記する。)91を備える。スロットI/F91は、プロセッサ81に接続される。スロットI/F91は、スロット23に接続され、スロット23に装着された所定の種類の記憶媒体(例えば、専用メモリカード)に対するデータの読み出しおよび書き込みを、プロセッサ81の指示に応じて行う。
【0065】
プロセッサ81は、フラッシュメモリ84およびDRAM85、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。
【0066】
本体装置2は、ネットワーク通信部82を備える。ネットワーク通信部82は、プロセッサ81に接続される。ネットワーク通信部82は、ネットワークを介して外部の装置と通信(具体的には、無線通信)を行う。本実施形態においては、ネットワーク通信部82は、第1の通信態様としてWi-Fiの規格に準拠した方式により、無線LANに接続して外部装置と通信を行う。また、ネットワーク通信部82は、第2の通信態様として所定の通信方式(例えば、独自プロトコルによる通信や、赤外線通信)により、同種の他の本体装置2との間で無線通信を行う。なお、上記第2の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置2との間で無線通信可能であり、複数の本体装置2の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。
【0067】
本体装置2は、コントローラ通信部83を備える。コントローラ通信部83は、プロセッサ81に接続される。コントローラ通信部83は、左コントローラ3および/または右コントローラ4と無線通信を行う。本体装置2と左コントローラ3および右コントローラ4との通信方式は任意であるが、本実施形態においては、コントローラ通信部83は、左コントローラ3との間および右コントローラ4との間で、Bluetooth(登録商標)の規格に従った通信を行う。
【0068】
プロセッサ81は、上述の左側端子17、右側端子21、および下側端子27に接続される。プロセッサ81は、左コントローラ3と有線通信を行う場合、左側端子17を介して左コントローラ3へデータを送信するとともに、左側端子17を介して左コントローラ3から操作データを受信する。また、プロセッサ81は、右コントローラ4と有線通信を行う場合、右側端子21を介して右コントローラ4へデータを送信するとともに、右側端子21を介して右コントローラ4から操作データを受信する。また、プロセッサ81は、クレードルと通信を行う場合、下側端子27を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置2は、左コントローラ3および右コントローラ4との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ3および右コントローラ4が本体装置2に装着された一体型装置または本体装置2単体がクレードルに装着された場合、本体装置2は、クレードルを介してデータ(例えば、画像データや音声データ)を据置型モニタ等に出力することができる。
【0069】
ここで、本体装置2は、複数の左コントローラ3と同時に(換言すれば、並行して)通信を行うことができる。また、本体装置2は、複数の右コントローラ4と同時に(換言すれば、並行して)通信を行うことができる。したがって、複数のユーザは、左コントローラ3および右コントローラ4のセットをそれぞれ用いて、本体装置2に対する入力を同時に行うことができる。一例として、第1ユーザが左コントローラ3および右コントローラ4の第1セットを用いて本体装置2に対して入力を行うと同時に、第2ユーザが左コントローラ3および右コントローラ4の第2セットを用いて本体装置2に対して入力を行うことが可能となる。
【0070】
本体装置2は、タッチパネル13の制御を行う回路であるタッチパネルコントローラ86を備える。タッチパネルコントローラ86は、タッチパネル13とプロセッサ81との間に接続される。タッチパネルコントローラ86は、タッチパネル13からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ81へ出力する。
【0071】
また、ディスプレイ12は、プロセッサ81に接続される。プロセッサ81は、(例えば、上記の情報処理の実行によって)生成した画像および/または外部から取得した画像をディスプレイ12に表示する。
【0072】
本体装置2は、コーデック回路87およびスピーカ(具体的には、左スピーカおよび右スピーカ)88を備える。コーデック回路87は、スピーカ88および音声入出力端子25に接続されるとともに、プロセッサ81に接続される。コーデック回路87は、スピーカ88および音声入出力端子25に対する音声データの入出力を制御する回路である。
【0073】
また、本体装置2は、加速度センサ89を備える。本実施形態においては、加速度センサ89は、所定の3軸(例えば、図1に示すxyz軸)方向に沿った加速度の大きさを検出する。なお、加速度センサ89は、1軸方向あるいは2軸方向の加速度を検出するものであってもよい。
【0074】
また、本体装置2は、角速度センサ90を備える。本実施形態においては、角速度センサ90は、所定の3軸(例えば、図1に示すxyz軸)回りの角速度を検出する。なお、角速度センサ90は、1軸回りあるいは2軸回りの角速度を検出するものであってもよい。
【0075】
加速度センサ89および角速度センサ90は、プロセッサ81に接続され、加速度センサ89および角速度センサ90の検出結果は、プロセッサ81へ出力される。プロセッサ81は、上記の加速度センサ89および角速度センサ90の検出結果に基づいて、本体装置2の動きおよび/または姿勢に関する情報を算出することが可能である。
【0076】
照度センサ29は、プロセッサ81に接続され、照度センサ29の検出結果は、プロセッサ81へ出力される。プロセッサ81は、照度センサ29の検出結果に基づいて、本体装置2周辺の明るさに関する情報を算出することが可能である。
【0077】
本体装置2は、電力制御部97およびバッテリ98を備える。電力制御部97は、バッテリ98およびプロセッサ81に接続される。また、図示しないが、電力制御部97は、本体装置2の各部(具体的には、バッテリ98の電力の給電を受ける各部、左側端子17、および右側端子21)に接続される。電力制御部97は、プロセッサ81からの指令に基づいて、バッテリ98から上記各部への電力供給を制御する。
【0078】
また、バッテリ98は、下側端子27に接続される。外部の充電装置(例えば、クレードル)が下側端子27に接続され、下側端子27を介して本体装置2に電力が供給される場合、供給された電力がバッテリ98に充電される。
【0079】
図7は、本体装置2と左コントローラ3および右コントローラ4との内部構成の一例を示すブロック図である。なお、本体装置2に関する内部構成の詳細については、図6で示しているため図7では省略している。
【0080】
左コントローラ3は、本体装置2との間で通信を行う通信制御部101を備える。図7に示すように、通信制御部101は、端子42を含む各構成要素に接続される。本実施形態においては、通信制御部101は、端子42を介した有線通信と、端子42を介さない無線通信との両方で本体装置2と通信を行うことが可能である。通信制御部101は、左コントローラ3が本体装置2に対して行う通信方法を制御する。すなわち、左コントローラ3が本体装置2に装着されている場合、通信制御部101は、端子42を介して本体装置2と通信を行う。また、左コントローラ3が本体装置2から外されている場合、通信制御部101は、本体装置2(具体的には、コントローラ通信部83)との間で無線通信を行う。コントローラ通信部83と通信制御部101との間の無線通信は、例えばBluetooth(登録商標)の規格に従って行われる。
【0081】
また、左コントローラ3は、例えばフラッシュメモリ等のメモリ102を備える。通信制御部101は、例えばマイコン(マイクロプロセッサとも言う)で構成され、メモリ102に記憶されるファームウェアを実行することによって各種の処理を実行する。
【0082】
左コントローラ3は、各ボタン103(具体的には、ボタン33~39、43、44、および47)を備える。また、左コントローラ3は、アナログスティック(図7では「スティック」と記載する)32を備える。各ボタン103およびアナログスティック32は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部101へ出力する。
【0083】
通信制御部101は、各入力部(具体的には、各ボタン103、アナログスティック32、各センサ104および105)から、入力に関する情報(具体的には、操作に関する情報、またはセンサによる検出結果)を取得する。通信制御部101は、取得した情報(または取得した情報に所定の加工を行った情報)を含む操作データを本体装置2へ送信する。なお、操作データは、所定時間に1回の割合で繰り返し送信される。なお、入力に関する情報が本体装置2へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。
【0084】
上記操作データが本体装置2へ送信されることによって、本体装置2は、左コントローラ3に対して行われた入力を得ることができる。すなわち、本体装置2は、各ボタン103およびアナログスティック32に対する操作を、操作データに基づいて判別することができる。
【0085】
左コントローラ3は、電力供給部108を備える。本実施形態において、電力供給部108は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ3の各部(具体的には、バッテリの電力の給電を受ける各部)に接続される。
【0086】
図7に示すように、右コントローラ4は、本体装置2との間で通信を行う通信制御部111を備える。また、右コントローラ4は、通信制御部111に接続されるメモリ112を備える。通信制御部111は、端子64を含む各構成要素に接続される。通信制御部111およびメモリ112は、左コントローラ3の通信制御部101およびメモリ102と同様の機能を有する。したがって、通信制御部111は、端子64を介した有線通信と、端子64を介さない無線通信(具体的には、Bluetooth(登録商標)の規格に従った通信)との両方で本体装置2と通信を行うことが可能であり、右コントローラ4が本体装置2に対して行う通信方法を制御する。
【0087】
右コントローラ4は、左コントローラ3の各入力部と同様の各入力部を備える。具体的には、各ボタン113、アナログスティック52、を備える。これらの各入力部については、左コントローラ3の各入力部と同様の機能を有し、同様に動作する。
【0088】
右コントローラ4は、電力供給部118を備える。電力供給部118は、左コントローラ3の電力供給部108と同様の機能を有し、同様に動作する。
【0089】
次に、図8図15を参照して、ゲームシステム1(具体的には、本体装置2)が装着されることによって画像表示システムを構成する装置の一例であるゴーグル装置150について説明する。なお、図8は、ゴーグル装置150の外観の一例を示す斜視図である。図9は、本体装置2をゴーグル装置150に装着する状態の一例を示す正面図である。図10は、ゴーグル装置150に装着された本体装置2の状態の一例を示す正面図である。図11は、本体装置2の前面の一部と接面される前面当接部151bの形状の一例を示す図である。図12は、ゴーグル装置150の内部構造の一例を示す図である。図13は、ゴーグル装置150に装着された本体装置2の状態の一例を示す側面図である。図14は、画像表示システムに表示されている画像を見るユーザの様子の一例を示す図である。図15は、画像表示システムを把持するユーザの様子の一例を示す図である。なお、図11は、前面当接部151bを分かりやすく示すために、ゴーグル装置150の一部(本体151の一部、レンズ枠部材152、レンズ153、および板状部材154)を取り除いた状態(透過させた状態)にして、図10と同じ方向から見た図である。
【0090】
図8図13において、ゴーグル装置150は、本体151、レンズ枠部材152、レンズ153、および板状部材154を有している。ここで、画像表示システムを構成する装置の一例であるゴーグル装置は、ユーザの左右の目を覆うように当該ユーザの顔にフィットして着用され、外光の少なくとも一部を遮る機能および一対のレンズによって当該ユーザにおける立体視をサポートする機能を有するものであれば、後述する構成に限られない。例えば、上記ゴーグル装置は、ユーザが把持することによって当該ユーザの顔にフィットされるタイプ、ユーザの頭部に固定されることによって当該ユーザの顔にフィットされるタイプ、載置状態の装置をユーザが覗き込むタイプなど、様々な状態で用いられるものであってもよい。また、上記ゴーグル装置は、本体装置2が取り付けられた状態でユーザの頭部に着用されることによって、いわゆるヘッドマウントディスプレイとして機能するものであってもよく、ゴーグル型の他にヘルメット型の形状を有するものであってもよい。以下のゴーグル装置150の説明では、ユーザが把持して当該ユーザの顔にフィットするように着用するゴーグル型タイプのゴーグル装置を用いる。
【0091】
本体151は、本体装置2の前面、背面、上面、および下面と接することによって本体装置2を着脱自在に固定する装着部を有している。装着部は、本体装置2の前面(ディスプレイ12が設けられている面)の一部と接面される前面当接部と、本体装置2の背面と接面される背面当接部と、本体装置2の上面と接面される上面当接部と、本体装置2の下面と接面される下面当接部とを有し、当該前面当接部、背面当接部、上面当接部、および下面当接部に囲まれて形成された空隙を有し左右両側面が開放された角筒状に形成される。装着部は、本体装置2の左側面側または右側面側から装着可能とするために、両側面(図示x軸正方向側の側面およびx軸負方向側の側面)が開口している。そして、図9に示すように本体装置2の右側面側の開口からゴーグル装置150に装着する場合、上記前面当接部が本体装置2の前面と接し、上記背面当接部が本体装置2の背面と接し、上記上面当接部が本体装置2の上面と接し、上記下面当接部が本体装置2の下面と接した状態となる。なお、図11に示すように、本体151の前面当接部151bは、本体装置2が装着された際にディスプレイ12の表示画像(左目用画像および右目用画像)に対する視界を少なくとも妨げないように開口部が形成されている。
【0092】
図9および図13に示すように、本体装置2は、本体装置2の左側面側または右側面側から上記装着部の前面当接部、背面当接部、上面当接部、および下面当接部に沿って、本体151の装着部の空隙内にスライド挿入させることによって、ゴーグル装置150に取り付けられる。また、本体装置2は、ゴーグル装置150に取り付けられた状態から上記装着部の前面当接部、背面当接部、上面当接部、および下面当接部に沿って、左または右にスライドさせることによって、ゴーグル装置150から取り外すことができる。このように、ゴーグル装置150は、本体装置2を着脱可能に装着することができる。
【0093】
レンズ枠部材152は、本体151の前面部に形成された上記開口部側に固設される。レンズ枠部材152は、本体151に装着された本体装置2のディスプレイ12に表示される表示画像(左目用画像IMLおよび右目用画像IMR)に対する視界を妨げないように開口した、一対のレンズ枠を有している。また、レンズ枠部材152の上下左右に形成される外縁には、本体装置2に接合されるための接合面が形成されるとともに、当該下方に形成される外縁の中央部にゴーグル装置150を着用するユーザの鼻と接触するためのV字状の凹部が形成される。
【0094】
レンズ153は、一対の左目用レンズ153Lおよび右目用レンズ153Rによって構成され、例えば一対のフレネルレンズである。左目用レンズ153Lおよび右目用レンズ153Rは、それぞれレンズ枠部材152のレンズ枠に嵌め込まれている。具体的には、左目用レンズ153Lは、本体151に装着された本体装置2のディスプレイ12に表示された左目用画像IMLの視界を妨げないように開口されている一方のレンズ枠に嵌め込まれ、ユーザが左目で左目用レンズ153Lを覗いた場合に当該左目用画像IMLを見ることができる。また、右目用レンズ153Rは、本体151に装着された本体装置2のディスプレイ12に表示された右目用画像IMRの視界を妨げないように開口されている他方のレンズ枠に嵌め込まれ、ユーザが右目で右目用レンズ153Rを覗いた場合に当該右目用画像IMRを見ることができる。なお、左目用レンズ153Lおよび右目用レンズ153Rは、典型的には円形または楕円形の拡大レンズであればよく、画像を歪ませてユーザに視認させるレンズであればよい。例えば、左目用レンズ153Lが円形または楕円形に歪んで表示されている左目用画像IML(後述)を当該画像の歪みとは逆方向に歪ませて視認させ、右目用レンズ153Rが円形または楕円形に歪んで表示されている右目用画像IMR(後述)を当該画像の歪みとは逆方向に歪ませて視認させることによって、画像を立体視するものであってもよい。また、左目用レンズ153Lおよび右目用レンズ153Rは、一体化形成された構成であってもよい。
【0095】
本体151は、レンズ枠部材152の外縁を角筒状に囲むように本体151の前面側から外側へ突出するように設けられた当接部を有している。上記当接部において前面側から外側へ突出している端面は、ゴーグル装置150の外側からレンズ153を見た場合に、当該レンズ153の手前側に配設され、本体装置2を装着した状態で当該端面がゴーグル装置150において最も手前側(z軸負方向側)に配置される。そして、本体151の当接部は、本体装置2が装着されたゴーグル装置150をユーザが覗く場合、ユーザの顔面(典型的には、ユーザの両目周辺)とフィットする端面形状を有しており、当該端面がユーザの顔面と当接することによって、ユーザの眼とレンズ153との位置関係を固定する機能を有している。
【0096】
また、上記当接部は、画像表示システムを用いてディスプレイ12に表示された立体画像を見る場合に、左目用レンズ153Lおよび右目用レンズ153Rへの外光を遮ることができる。これによって、ディスプレイ12に表示された立体画像を見るユーザの没入感を向上させることができる。なお、上記当接部による遮光は、完全に外光を遮らなくてもよい。例えば、図15に示すように、筒状に構成される当接部の一部に凹みが形成されていてもよい。なお、図15に例示されている当接部の凹みは、左目用レンズ153Lおよび右目用レンズ153Rの中間点の下部となる位置に形成されているが、これはディスプレイ12に表示された立体画像を見るユーザの鼻が当接する位置である。すなわち、上記当接部の凹みによって、当接部とユーザの鼻とが強く当接することを避けることが可能となり、多少の遮光性が悪くなったとしても上記当接部と鼻との当接に対する不快感を軽減することができる。
【0097】
図10に示すように、板状部材154は、本体装置2が本体151の装着部に装着されたされた場合に、レンズ枠部材152とディスプレイ12との間となる本体151の内部に固設される。例えば、板状部材154は、その一部がレンズ枠部材152におけるV字状の凹部に沿う形状で、当該凹部と装着された本体装置2のディスプレイ12との間を接続する壁(以下、第1壁部と記載する)のように配置される。そして、上記第1壁部によって囲まれる空間は、本体151に装着された本体装置2のディスプレイ12の一部を外部に露出させて、当該空間を介してユーザが当該一部をタッチ操作可能な操作窓として機能する開口部154hとなる。なお、板状部材154における第1壁部は、図12に示すようにその一部が開口していてもかまわない。
【0098】
また、図12に示すように、板状部材154は、一例として、左目用レンズ153Lと右目用レンズ153Rとの間に縦方向に立設され、当該凹部と装着された本体装置2のディスプレイ12との間を接続する壁(以下、第2壁部と記載する)のように配置される。そして、上記第2壁部は、本体151に本体装置2が装着された状態では、ディスプレイ12に表示された左目用画像IMLと右目用画像IMRとの間に当該画像を区分けするように配設され、左目用画像IMLと右目用画像IMRとの間に設けられる隔壁として機能する。そして、上記第1壁部が上記第2壁部にまで延設されることによって板状部材154が設けられ、上記第1壁部と上記第2壁部とは一体化した部材によって形成される。
【0099】
図10図13図14、および図15において、画像表示システムは、ゴーグル装置150に本体装置2を装着することによって構成される。ここで、本実施例においては、本体装置2は、ゴーグル装置150によって本体装置2全体が覆われるように装着される。そして、ゴーグル装置150に本体装置2が装着された場合、左目用レンズ153Lを介して、ディスプレイ12の左側領域に表示されている左目用画像IMLのみを見ることが可能であり、右目用レンズ153Rを介して、ディスプレイ12の右側領域に表示されている右目用画像IMRのみを見ることが可能となる。したがって、画像表示システムのユーザは、左目で左目用レンズ153Lを見て、右目で右目用レンズ153Rを見ることによって、左目用画像IMLおよび右目用画像IMRを視認することが可能となるため、視差のある左目用画像IMLおよび右目用画像IMRをディスプレイ12に表示することによって、ユーザにとって立体感のある立体画像を表示することができる。
【0100】
図14および図15に示すように、ユーザがゴーグル装置150に本体装置2を装着した画像表示システムを把持して、ディスプレイ12に表示された立体画像を見る場合、本体装置2が装着されたゴーグル装置150の左側部を左手で把持し、ゴーグル装置150の右側部を右手で把持することができる。このようにユーザがゴーグル装置150の左右側部を把持することによって、本体装置2が安定して装着された状態を維持することができる。
【0101】
また、画像表示システムは、本体装置2がゴーグル装置150に装着された状態であっても、板状部材154の上記第1壁部に囲まれて形成されている開口部154hを介して、ディスプレイ12の画面上に設けられたタッチパネル13の一部(後述する、ディスプレイ12の第3領域)をタッチ操作することが可能となる。また、画像表示システムは、本体装置2に設けられている加速度センサ89および/または角速度センサ90の検出結果に基づいて、本体装置2の動きおよび/または姿勢、すなわちゴーグル装置150を含む画像表示システムの動きおよび/または姿勢に関する情報を算出することが可能である。したがって、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザ頭部の重力方向基準の姿勢を算出することができる。また、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザの頭部の姿勢や方向が変化した場合、当該変化した方向や角度を算出することが可能となる。さらに、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザが当該画像表示システムを叩くような振動与えた場合、当該振動を検出することが可能となる。したがって、ゴーグル装置150に本体装置2が装着された状態で左目用レンズ153Lおよび右目用レンズ153Rを介して、ディスプレイ12に表示された立体画像を見る場合、開口部154hを介したタッチ操作、画像表示システムの重力方向基準の姿勢に基づく操作、画像表示システムの姿勢を変化させる操作、画像表示システムに振動を与える操作が可能となるプレイスタイルが実現される。
【0102】
なお、本実施例における画像表示システムを使用する際、本体装置2から取り外されている左コントローラ3および右コントローラ4の少なくとも一方を用いて操作してもよい。例えば、左コントローラ3を用いて、画像表示システムの操作を行う場合、ユーザは、本体装置2が装着されたゴーグル装置150を右手で把持しながらディスプレイ12に表示された立体画像を見るとともに、取り外されている左コントローラ3単体を左手で把持して操作を行う。この場合、本体装置2から取り外されている左コントローラ3および/または右コントローラ4に対して操作された操作情報は、本体装置2との間の無線通信によって本体装置2へ送信される。具体的には、左コントローラ3に対して操作された操作情報は、左コントローラ3の通信制御部101から無線送信され、本体装置2のコントローラ通信部83によって受信される。また、右コントローラ4に対して操作された操作情報は、右コントローラ4の通信制御部111から無線送信され、本体装置2のコントローラ通信部83によって受信される。
【0103】
このように、本実施例においては、ゴーグル装置150に本体装置2を装着することによって、ユーザが把持して立体画像を見る可搬型の画像表示システムを構成することができる。また、本実施例の画像表示システムでは、ゴーグル装置150にユーザの顔を当接させながら本体装置2のディスプレイ12に表示された立体画像を見るため、本体装置2に設けられているステレオスピーカ(左スピーカ88Lおよび右スピーカ88R)とユーザの耳との位置関係も固定され、左右のスピーカがユーザの耳の近傍に配置されることになる。したがって、本体装置2は、イヤホンやスピーカの利用を強制することなく、音声出力装置と視聴者の耳との位置関係に基づいた音声を出力することが可能となる。例えば、本体装置2は、音声出力装置と視聴者の耳との位置関係に基づいて、いわゆる立体音響技術を用いた音源の制御が可能となる。
【0104】
次に、図9図10、および図16を参照して、本体装置2に表示される画像について説明する。なお、図16は、立体視表示モードおよび非立体視表示モードにおいてそれぞれ本体装置2に表示される画像の一例を示す図である。
【0105】
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着されてディスプレイ12に表示される画像を立体視する際に用いられる立体視表示モードと、本体装置2がゴーグル装置150から取り外されてディスプレイ12に表示される画像を直接見ることによって非立体視する際に用いられる非立体視表示モードとの何れかに設定される。そして、画像表示システムは、設定されているモードに応じた画像を、本体装置2のディスプレイ12に表示させる。ここで、立体視するための立体視画像は、互いに視差のある右目用画像と左目用画像とをユーザが右目および左目で見ることによって、当該ユーザが立体視するものでもよい。この場合、非立体視される非立体視画像は、上記2画像表示(立体視表示)以外の画像であり、典型的には単一の画像をユーザが右目および左目で見るものでもよい。なお、本実施例では、第1の表示モードの一例として非立体視表示モードを用いている。また、本実施例では、第2の表示モードの一例として立体視表示モードを用いている。
【0106】
立体視表示モードにおいて、画像表示システムは、表示対象となっているコンテンツ画像(例えば、仮想空間や現実空間の一部を表示するための画像)を、互いに視差のある左目用画像IMLおよび右目用画像IMRによって構成し、左目用画像IMLをディスプレイ12の左側領域に表示し、右目用画像IMLをディスプレイ12の右側領域に表示する。具体的には、図9に示すように、立体視表示モードにおいて、左目用画像IMLは、本体装置2がゴーグル装置150に装着された場合に、左目用レンズ153Lによって視認可能な略楕円形領域であり、ディスプレイ12の左側領域の一部となる第1領域に表示される。また、立体視表示モードにおいて、右目用画像IMRは、本体装置2がゴーグル装置150に装着された場合に、右目用レンズ153Rによって視認可能な略楕円形領域であり、ディスプレイ12の右側領域の一部となる第2領域に表示される。
【0107】
ここで、上述したように、本体装置2がゴーグル装置150に装着された状態では、板状部材154の第2壁部がディスプレイ12の第1領域に表示される左目用画像IMLと第2領域に表示される右目用画像IMRとの間に配置される。したがって、左目用画像IMLと右目用画像IMRとは、板状部材154の第2壁部を隔壁として区分けされるため、左目用レンズ153Lを介して右目用画像IMRが視認されたり、右目用レンズ153Rを介して左目用画像IMLが視認されたりすることを防止することができる。
【0108】
一例として、仮想空間に配置された互いに視差のある一対の仮想カメラ(左仮想カメラおよび右仮想カメラ)からそれぞれ見た当該仮想空間の画像が、それぞれ左目用画像IMLおよび右目用画像IMRとして生成される。上記一対の仮想カメラは、実空間における重力方向を基準とした本体装置2の姿勢と対応するように仮想空間内に配置される。そして、上記一対の仮想カメラは、実空間における本体装置2の姿勢変化と対応するように仮想空間内で姿勢を変化させ、本体装置2の姿勢に応じて仮想カメラの視線方向を制御する。これによって、画像表示システムを着用するユーザは、周囲を見渡すように本体装置2(画像表示システム)の姿勢を変化させる操作によって立体視する仮想空間の表示範囲を変更でき、立体視されている仮想空間を見渡すことができるので、仮想カメラの場所に実際にいるかのような体験をすることができる。なお、本実施例においては、本体装置2は、本体装置2に作用している重力加速度の方向と仮想カメラに作用している仮想空間の重力方向とを一致させるとともに、本体装置2の姿勢の変化量と仮想カメラの視線方向の変化量とを一致させる。これにより、本体装置2の姿勢によって立体視する仮想空間を見渡す操作のリアリティが増す。
【0109】
また、画像表示システムは、本体装置2のタッチパネル13に対するタッチ操作を受け付けるためのユーザインターフェイス画像IMUをディスプレイ12に表示する。例えば、立体視表示モードにおいて表示されるユーザインターフェイス画像IMUaは、ゴーグル装置150の開口部154hを介してタッチ操作可能なディスプレイ12の表示領域に表示される。例えば、上述したように、開口部154hは、板状部材154の第1壁部に囲まれて形成され、ユーザの鼻と当接するレンズ枠部材152におけるV字状の凹部から、ゴーグル装置150に装着された本体装置2のディスプレイ12の一部(具体的には、ディスプレイ12下部中央付近となる領域)へのタッチ操作を可能とする。一例として、図9に示すように、開口部154hは、本体装置2がゴーグル装置150に装着されている状態であっても、ディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の下方に設定される第3領域に対するタッチ操作を可能とする。
【0110】
例えば、立体視表示モードにおいて、ディスプレイ12の第3領域には、2つのユーザインターフェイス画像IMUa1およびIMUa2が表示される。一例として、ユーザインターフェイス画像IMUa1は、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを最初からリトライする操作指示となる操作アイコンである。また、ユーザインターフェイス画像IMUa2は、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを終了する操作指示となる操作アイコンである。そして、2つのユーザインターフェイス画像IMUa1およびIMUa2は、上記第3領域の形状に合うようなサイズで並べてディスプレイ12の第3領域内に表示される。これにより、ユーザは、開口部154hを介して、2つのユーザインターフェイス画像IMUa1およびIMUa2の何れかをタッチ操作することによって、本体装置2がゴーグル装置150に装着された状態であっても、タッチ操作による複数の操作指示が可能となる。なお、2つのユーザインターフェイス画像IMUa1およびIMUa2は、ディスプレイ12の一部を外部に露出させることによってタッチ操作を可能とする上記第3領域付近に表示されてもよい。すなわち、2つのユーザインターフェイス画像IMUa1および/またはIMUa2の一部は、上記第3領域外に表示されていてもよい。なお、本実施例では、第2ユーザインターフェイス画像の一例としてユーザインターフェイス画像IMUaを用いている。
【0111】
2つのユーザインターフェイス画像IMUa1およびIMUa2は、立体視表示モードで表示される画像であるが、ゴーグル装置150に装着された本体装置2のディスプレイ12において、ユーザの左目で見ることができる第1領域およびユーザの右目で見ることができる第2領域の外側となる第3領域に表示される。したがって、上記第3領域に表示されるユーザインターフェイス画像IMUa1およびIMUa2は、ゴーグル装置150を介して視認するユーザの視界外に表示され、また互いに視差のある2つの画像によって構成されていないため、立体視できない非立体視画像として表示されることになる。また、タッチ操作の対象となるユーザインターフェイス画像IMUa1およびIMUa2が、立体視画像を表示するための第1領域および第2領域の外に表示されるため、当該第1領域および第2領域がタッチ操作されることが少なくなる。したがって、ディスプレイ12がタッチ操作されることによって立体視画像を表示するための第1領域および第2領域が汚損することが防止することができるとともに、立体視画像を見ている状態においてタッチ操作するための指が視界に入るようなことを防止することができる。
【0112】
なお、他の実施例においては、ユーザインターフェイス画像IMUa1およびIMUa2は、立体視表示モードにおいて立体視可能な立体視画像としてディスプレイ12に表示されてもかまわない。この場合、ユーザインターフェイス画像IMUa1およびIMUa2は、それぞれ互いに視差のある2つの画像によって構成されることによって立体視画像としてディスプレイ12に表示され、典型的には、上記第1領域の一部に立体視するための一方の画像が表示され、上記第2領域の一部に立体視するための他方の画像が表示される。
【0113】
図16に示すように、非立体視表示モードにおいて、画像表示システムは、表示対象となっている上記コンテンツ画像を、非立体視画像である単一画像IMSによって構成し、一例としてディスプレイ12の表示領域全体に単一画像IMSを表示する。
【0114】
一例として、仮想空間に配置された単一の仮想カメラから見た当該仮想空間の画像が、単一画像IMSとして生成される。上記単一の仮想カメラは、実空間における重力方向を基準とした本体装置2の姿勢と対応するように仮想空間内に配置される。そして、上記単一の仮想カメラは、実空間における本体装置2の姿勢変化と対応するように仮想空間内で姿勢を変化させ、本体装置2の姿勢に応じて仮想カメラの視線方向を制御する。これによって、ゴーグル装置150から取り外された本体装置2を把持するユーザは、周囲を見渡すように本体装置2の姿勢を変化させる操作によってディスプレイ12に表示される仮想空間の表示範囲を変更して仮想空間を見渡すことができるので、仮想カメラの場所に実際にいるかのような体験をすることができる。なお、本実施例においては、非立体視表示モードにおいても、本体装置2は、本体装置2に作用している重力加速度の方向と仮想カメラに作用している仮想空間の重力方向とを一致させるとともに、本体装置2の姿勢の変化量と仮想カメラの視線方向の変化量とを一致させる。これにより、本体装置2の姿勢によって非立体視の仮想空間を見渡す操作においてもリアリティが増す。なお、本実施例では、非立体視画像の一例として単一画像IMSを用いている。
【0115】
また、非立体視表示モードにおいて表示されるユーザインターフェイス画像IMUbは、例えばディスプレイ12に表示されているコンテンツ画像(単一画像IMS)に重畳させてディスプレイ12に表示される。例えば、図16に示すように、非立体視表示モードにおいても、ディスプレイ12には、2つのユーザインターフェイス画像IMUb1およびIMUb2が表示される。一例として、ユーザインターフェイス画像IMUb1は、ユーザインターフェイス画像IMUa1に対応する画像であり、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを最初からリトライする操作指示となる操作アイコンである。また、ユーザインターフェイス画像IMUb2は、ユーザインターフェイス画像IMUa2に対応する画像であり、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを終了する操作指示となる操作アイコンである。ここで、ユーザインターフェイス画像IMUaに対応する画像とは、デザインおよび/またはサイズが異なるが機能がユーザインターフェイス画像IMUaと実質的に同一(例えば、タッチ操作されることによる操作指示内容が同じ)であることを示している。なお、ユーザインターフェイス画像IMUaに対応する画像は、非立体視表示モードで表示されるユーザインターフェイス画像IMUaと機能が実質的に同一だけでなくデザインおよびサイズが同じ、すなわち完全に同一であってもよい。なお、本実施例では、第1ユーザインターフェイス画像の一例としてユーザインターフェイス画像IMUbを用いている。
【0116】
2つのユーザインターフェイス画像IMUb1およびIMUb2は、上記第3領域とは異なるディスプレイ12の隅部領域(例えば、左上隅部領域と右上隅部領域)にそれぞれ表示される。なお、2つのユーザインターフェイス画像IMUb1およびIMUb2は、タッチ操作が可能となる領域の制限を受けないため、立体視表示モードにおいて表示されるユーザインターフェイス画像IMUaより拡大表示が可能であり、ユーザによってタッチ操作しやすいサイズおよび形状で、タッチ操作によってコンテンツ画像(単一画像IMS)の視認性が損なわれにくい位置に表示することができる。
【0117】
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かの検知結果に基づいて、上記立体視表示モードと上記非立体視表示モードとを自動切り替えすることができる。例えば、本体装置2には、ハウジング11の主面側から入射する光の照度(明るさ)を検出する照度センサ29が設けられており、照度センサ29による照度検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かを検知することができる。具体的には、本体装置2がゴーグル装置150に装着された場合、または装着途中状態にある場合、照度センサ29が検出する照度が暗くなるため、当該暗くなった照度を検出可能な閾値を設けて当該閾値以上か否かを検出することによって、本体装置2が装着状態にあるか否かまたは装着途中状態にあるか否かを検知することが可能となる。ここで、照度センサ29による照度検出結果に基づいて、本体装置2によって検知される「装着状態にあること」とは、本体装置2が完全にゴーグル装置150に装着された状態にあることである。また、照度センサ29による照度検出結果に基づいて、本体装置2によって検知される「装着途中状態にあること」とは、本体装置2が完全にゴーグル装置150に装着された状態になる前段階となる状態にあることである。
【0118】
照度センサ29による本体装置2の装着状態にあるか否かまたは装着途中状態にあるか否かの検知は、複数の態様が考えられる。第1の例として、図11に示すように、本体装置2を着脱自在に固定するゴーグル装置150の装着部において、装着状態の本体装置2の前面(ディスプレイ12が設けられている面)の一部と接面される本体151の前面当接部151bが照度センサ29の受光面や受光孔を覆うように形成されている場合、当該前面当接部151bが照度センサ29の受光面や受光孔を覆う状態となることによって本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かが検知される。一例として、照度センサ29の受光面や受光孔が本体装置2の隅部に設けられている場合、当該隅部側から本体装置2がゴーグル装置150の装着部に挿入されると、装着動作における初期に当該受光面や受光孔が前面当接部151bによって覆われた状態となるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着途中状態にあること」を検知することが可能となる。また、照度センサ29の受光面や受光孔が設けられている上記隅部とは反対の側面側から本体装置2がゴーグル装置150の装着部に挿入されると、装着動作における終期に当該受光面や受光孔が前面当接部151bによって覆われた状態となるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着状態にあること」を検知することが可能となる。他の例として、照度センサ29の受光面や受光孔が本体装置2の下部中央側に設けられている場合、本体装置2がゴーグル装置150の装着部に挿入されると、何れの方向から挿入されても装着動作における初期~中期に当該受光面や受光孔が前面当接部151bによって覆われた状態となるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着途中状態にあること」を検知することが可能となる。なお、上記第1の例では、遮光部の一例として本体151の前面当接部151bを用いている。
【0119】
第2の例として、前面当接部151bが照度センサ29の受光面や受光孔を覆うように形成されていない場合であっても、本体151内が相対的に暗いことを利用して本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かが検知される。例えば、左目用レンズ153Lおよび右目用レンズ153Rを介して、ゴーグル装置150の本体151内に外光が入射している状態が考えられるが、当該状態でも本体151の外側より照度が暗くなること検出することによって、本体装置2の装着状態を検知する。一例として、照度センサ29の受光面や受光孔が本体装置2の隅部に設けられている場合、当該隅部側から本体装置2がゴーグル装置150の装着部に挿入されると、装着動作における初期に当該受光面や受光孔が本体151内部に挿入されるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着途中状態にあること」を検知することが可能となる。また、照度センサ29の受光面や受光孔が設けられている上記隅部とは反対の側面側から本体装置2がゴーグル装置150の装着部に挿入されると、装着動作における終期に当該受光面や受光孔が本体150内部に挿入されるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着状態にあること」を検知することが可能となる。他の例として、照度センサ29の受光面や受光孔が本体装置2の下部中央側に設けられている場合、本体装置2がゴーグル装置150の装着部に挿入されると、何れの方向から挿入されても装着動作における初期~中期に当該受光面や受光孔が本体151内部に挿入されるため、照度センサ29による照度検出結果に基づいて本体装置2が「装着途中状態にあること」を検知することが可能となる。なお、上記第2の例では、遮光部の他の例として本体151を用いている。
【0120】
第3の例として、前面当接部151bが照度センサ29の受光面や受光孔を覆うように形成されていない場合であっても、本体装置2が取り付けられたゴーグル装置150をユーザが着用することによって本体151内がより暗くなることを利用して本体装置2がゴーグル装置150に装着状態にあることが検知される。例えば、ゴーグル装置150をユーザが着用していない状態では、左目用レンズ153Lおよび右目用レンズ153Rを介して、ゴーグル装置150の本体151内に外光が入射することが考えられる。この場合、ゴーグル装置150をユーザが着用することによって、左目用レンズ153Lおよび右目用レンズ153Rを介して入射している外光が遮られるため、本体151内の照度がさらに暗くなること検出することによって、本体装置2の装着状態の検知が可能となる。一例として、ゴーグル装置150の本体151内に配置されている照度センサ29の受光面や受光孔に入射する光が、本体151およびユーザの顔面によって遮光された場合、照度センサ29による照度検出結果に基づいて本体装置2が「装着状態にあること」を検知することが可能となる。また、本例では、本体装置2がゴーグル装置150に装着状態であることだけでなく、本体装置2が取り付けられたゴーグル装置150をユーザが着用している状態か否かも検知することができる。なお、上記第3の例では、遮光部の他の例として本体151を用いている。
【0121】
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着された状態にないと判定した場合、本体装置2における表示モードを非立体視表示モードに設定する。一方、非立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に非装着状態から装着状態に変化したと判定された場合、本体装置2は、表示している非立体視画像のコンテンツ画像を立体視画像に変更することによって、同じコンテンツ画像をディスプレイ12に表示する。一例として、本体装置2は、非立体視表示モードにおいて単一画像IMSを表示するために仮想空間に単一の仮想カメラが設定されて仮想空間画像が生成されている場合、当該単一の仮想カメラの位置および視線方向を変えることなく互いに視差がある一対の仮想カメラ(左仮想カメラおよび右仮想カメラ)に変更して、左目用画像IMLおよび右目用画像IMRを表示するための仮想カメラを設定することによって、立体視表示モードにおける仮想空間画像の生成に切り替える。また、立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に装着状態から非装着状態に変化したと判定された場合、本体装置2は、表示している立体視画像のコンテンツ画像を非立体視画像に変更することによって、立体視画像のコンテンツ画像に対応する同じコンテンツ画像を非立体視画像にしてディスプレイ12に表示する。一例として、本体装置2は、立体視表示モードにおいて左目用画像IMLおよび右目用画像IMRを表示するために仮想空間に一対の仮想カメラが設定されて仮想空間画像が生成されている場合、当該一対の仮想カメラの位置および視線方向を変えることなく単一の仮想カメラに変更して、単一画像IMSを表示するための仮想カメラを設定することによって、非立体視表示モードにおける仮想空間画像の生成に切り替える。このように、立体視画像のコンテンツ画像(例えば、仮想空間画像)に対応する非立体視画像のコンテンツ画像(例えば、仮想空間画像)、または非立体視画像のコンテンツ画像(例えば、仮想空間画像)に対応する立体視画像のコンテンツ画像(例えば、仮想空間画像)は、何れの場合も立体視画像か非立体視画像かの差異しかないことを示す。ただし、立体視画像のコンテンツ画像に対応する非立体視画像のコンテンツ画像、または非立体視画像のコンテンツ画像に対応する立体視画像のコンテンツ画像は、表示範囲が異なっていてもよく、典型的には立体視画像のコンテンツ画像の方が非立体視画像のコンテンツ画像よりも表示範囲が狭くなってもよい。
【0122】
また、本実施例における画像表示システムは、表示モードが切り替わった場合、ユーザインターフェイス画像IMUのサイズ、形状、および位置を変えて、ディスプレイ12に表示する。例えば、非立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に非装着状態から装着状態に変化したと判定された場合、本体装置2は、ディスプレイ12の隅部領域にコンテンツ画像と重複表示しているユーザインターフェイス画像IMUb1およびIMUb2を、ユーザインターフェイス画像IMUa1およびIMUa2に形状変化させるとともに、表示位置をディスプレイ12の第3領域内に移動させることによって、同機能のユーザインターフェイス画像IMUを表示させる。また、立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に装着状態から非装着状態に変化したと判定された場合、本体装置2は、ディスプレイ12の第3領域に表示しているユーザインターフェイス画像IMUa1およびIMUa2を、ユーザインターフェイス画像IMUb1およびIMUb2に形状変化させるとともに、表示位置をディスプレイ12の隅部領域においてコンテンツ画像と重複表示するように移動させることによって、同機能のユーザインターフェイス画像IMUを表示させる。
【0123】
なお、上述した実施例では、照度センサ29による照度検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かを検出する例を用いたが、他の検出結果に基づいて本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かを検出してもよい。一例として、本体装置2に設けられた接続端子とゴーグル装置150に設けられた接続端子とが上記装着状態または上記装着途中状態になることによって電気的に接続されることによる検出結果や、本体装置2に設けられた所定のスイッチ機構が上記装着状態または上記装着途中状態になることによってオンまたはオフされることによる検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かを検出してもよい。他の例として、本体装置2に設けられた撮像手段(撮像素子)による撮像結果に基づいて、所定の画像が撮像されているか否かを判定したり、撮像された輝度が閾値以上か否かを判定したりすることによって、本体装置2がゴーグル装置150に装着状態にあるか否かを検出してもよく、または、装着途中状態にあるか否かを検出してもよい。また、他の例として、本体装置2がゴーグル装置150に装着状態または装着途中状態となった場合に、ユーザに所定の操作を促すことにより、当該所定の操作が行われたことに基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かまたは装着途中状態にあるか否かを検出してもよい。
【0124】
また、上述した実施例では、上記第3領域をディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の中心より下側となるディスプレイ12の下方に設定して、当該第3領域に対するタッチ操作を可能としているが、ディスプレイ12における他の領域に上記第3領域を設定してもかまわない。第1の例として、ディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の中心より上側となるディスプレイ12の上方に、上記第3領域を設定してもよい。第2の例として、ディスプレイ12における上記第1領域とディスプレイ12の左端とに挟まれる上方(すなわち、ディスプレイ12の左上隅領域)や下方(すなわち、ディスプレイ12の左下隅領域)に、上記第3領域を設定してもよい。第3の例として、ディスプレイ12における上記第2領域とディスプレイ12の右端とに挟まれる上方(すなわち、ディスプレイ12の右上隅領域)や下方(すなわち、ディスプレイ12の右下隅領域)に、上記第3領域を設定してもよい。何れの領域に上記第3領域が設定される場合においても、当該第3領域の形状に合うようなユーザインターフェイス画像IMUaを当該第3領域内に表示するとともに、当該第3領域内をタッチ操作可能とする開口部154hをゴーグル装置150に形成することによって、上述した説明と同様の操作が可能となる。なお、第3領域は、上記第1領域および上記第2領域によって挟まれる当該第1領域および当該第2領域の間に設定される場合、当該第1領域および当該第2領域の中間位置から左右にずれていてもよい。
【0125】
また、上述した実施例では、ユーザインターフェイス画像の機能として、タッチパネル13に対するタッチ操作を受け付けるためにディスプレイ12に表示されるものを一例として用いたが、タッチ操作を受け付けないものであってもよい。例えば、上記ユーザインターフェイス画像は、タッチ操作はできないがユーザに何らかの情報を提示する文字情報やアイコン等であってもよい。一例として、上記ユーザインターフェイス画像は、左コントローラ3や右コントローラ4におけるボタン操作、スティック操作、コントローラ本体を動かす操作等に応じた指示内容を示す画像であってもよい。
【0126】
また、左目用画像IMLおよび右目用画像IMRは、左目用レンズ153Lと右目用レンズ153Rとによって視認可能なディスプレイ12の表示領域外(典型的には、第1領域外および/または第2領域外)にも表示されてもよく、タッチ操作が可能となる上記第3領域内にもその一部が表示されてもよい。また、左目用画像IMLおよび右目用画像IMRは、左目用レンズ153Lと右目用レンズ153Rとによって視認可能なディスプレイ12の表示領域(典型的には、第1領域および/または第2領域)より小さな範囲に表示されてもよい。
【0127】
次に、図17図18を参照して、本実施形態においてゲームシステム1で実行される具体的な処理の一例について説明する。図17は、本実施形態において本体装置2のDRAM85に設定されるデータ領域の一例を示す図である。なお、DRAM85には、図17に示すデータの他、他の処理で用いられるデータも記憶されるが、詳細な説明を省略する。
【0128】
DRAM85のプログラム記憶領域には、ゲームシステム1で実行される各種プログラムPaが記憶される。本実施形態においては、各種プログラムPaは、上述した左コントローラ3および右コントローラ4との間で無線通信するための通信プログラムや、操作部(左コントローラ3、右コントローラ4、タッチパネル13、加速度センサ89、角速度センサ90)や照度センサ29等から取得したデータに基づいた情報処理(例えば、ゲーム処理)を行うためのアプリケーションプログラム等が記憶される。なお、各種プログラムPaは、フラッシュメモリ84に予め記憶されていてもよいし、ゲームシステム1に着脱可能な記憶媒体(例えば、スロット23に装着された所定の種類の記憶媒体)から取得されてDRAM85に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてDRAM85に記憶されてもよい。プロセッサ81は、DRAM85に記憶された各種プログラムPaを実行する。
【0129】
また、DRAM85のデータ記憶領域には、ゲームシステム1において実行される通信処理や情報処理等の処理において用いられる各種のデータが記憶される。本実施形態においては、DRAM85には、操作データDa、角速度データDb、加速度データDc、照度データDd、姿勢データDe、操作オブジェクトデータDf、仮想カメラデータDg、左目用仮想空間画像データDh、右目用仮想空間画像データDi、立体視用UI(ユーザインターフェイス)画像データDj、非立体視用仮想空間画像データDk、非立体視用UI(ユーザインターフェイス)画像データDm、および画像データDn等が記憶される。
【0130】
操作データDaは、左コントローラ3および/または右コントローラ4やタッチパネル13からそれぞれ適宜取得した操作データである。上述したように、左コントローラ3および/または右コントローラ4からそれぞれ送信される操作データには、各入力部(具体的には、各ボタン、アナログスティック、各センサ)からの入力に関する情報(具体的には、操作に関する情報や各センサによる検出結果)が含まれている。本実施形態では、無線通信によって左コントローラ3および/または右コントローラ4からそれぞれ所定周期で操作データが送信されており、当該受信した操作データを用いて操作データDaが適宜更新される。なお、操作データDaの更新周期は、後述するゲームシステム1で実行される処理の周期である1フレーム毎に更新されてもよいし、上記無線通信によって操作データが送信される周期毎に更新されてもよい。また、タッチパネル13を操作したことを示す操作データは、上記処理の周期毎に取得され、当該取得に応じて操作データDaに格納されて更新される。
【0131】
角速度データDbは、角速度センサ90によって検出された本体装置2に生じている角速度を示すデータである。例えば、角速度データDbは、本体装置2に生じているxyz軸周りの角速度を示すデータ等を含んでいる。
【0132】
加速度データDcは、加速度センサ89によって検出された本体装置2に生じている加速度を示すデータである。例えば、加速度データDcは、本体装置2に生じているxyz軸方向の加速度を示すデータ等を含んでいる。
【0133】
照度データDdは、照度センサ29によって検出された本体装置2周辺の照度を示すデータである。
【0134】
姿勢データDeは、実空間における本体装置2の姿勢を示すデータである。一例として、姿勢データDeは、本体装置2に生じている重力加速度を示す重力ベクトルの基準とする姿勢を示すデータや、本体装置2の姿勢変化を示すデータを含んでいる。
【0135】
操作オブジェクトデータDfは、ユーザが操作するオブジェクトの仮想空間における位置、方向、姿勢、および動作等を示すデータである。
【0136】
仮想カメラデータDgは、仮想空間において設定されている仮想カメラ(立体視表示モードにおける一対の左右仮想カメラ、非立体視表示モードにおける単一仮想カメラ)における位置、方向、視野角、倍率等を示すデータである。
【0137】
左目用仮想空間画像データDhは、立体視表示モードにおける左目用画像IMLを生成するためのデータである。右目用仮想空間画像データDiは、立体視表示モードにおける右目用画像IMRを生成するためのデータである。立体視用UI画像データDjは、立体視表示モードにおけるユーザインターフェイス画像IMUaの位置、形状、サイズ等を示すデータである。
【0138】
非立体視用仮想空間画像データDkは、非立体視表示モードにおける単一画像IMSを生成するためのデータである。非立体視用UI画像データDmは、非立体視表示モードにおけるユーザインターフェイス画像IMUbの位置、形状、サイズ等を示すデータである。
【0139】
画像データDnは、ゲームの際に表示画面に画像(例えば、仮想オブジェクトの画像、ユーザインターフェイス画像、情報画像、フィールド画像、背景画像等)を表示するためのデータである。
【0140】
次に、図18を参照して、本実施形態における情報処理(ゲーム処理)の詳細な一例を説明する。図18は、ゲームシステム1で実行されるゲーム処理の一例を示すフローチャートである。本実施形態においては、図18に示す一連の処理は、プロセッサ81が各種プログラムPaに含まれる通信プログラムや所定のアプリケーションプログラム(ゲームプログラム)を実行することによって行われる。また、図18に示すゲーム処理が開始されるタイミングは任意である。
【0141】
なお、図18に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をプロセッサ81が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、プロセッサ81以外のプロセッサや専用回路が実行するようにしてもよい。また、本体装置2において実行される処理の一部は、本体装置2と通信可能な他の情報処理装置(例えば、本体装置2とネットワークを介して通信可能なサーバ)によって実行されてもよい。すなわち、図18に示す各処理は、本体装置2を含む複数の情報処理装置が協働することによって実行されてもよい。
【0142】
図18において、プロセッサ81は、ゲーム処理における初期設定を行い(ステップS200)、次のステップに処理を進める。例えば、上記初期設定では、プロセッサ81は、以下に説明する処理を行うためのパラメータを初期化する。一例として、プロセッサ81は、加速度データDcに格納されている加速度データを用いて、本体装置2に作用している重力加速度の重力ベクトルの方向を算出して、当該重力ベクトルの方向を基準とする本体装置2の初期姿勢を設定して姿勢データDeを更新する。また、プロセッサ81は、本体装置2に作用している重力加速度の重力ベクトルの方向と本体装置2のxyz軸方向との関係と同様の方向となるように、仮想空間における仮想カメラの初期姿勢を設定して仮想カメラデータDgを更新する。ここで、本体装置2のxyz軸と同様の方向になるとは、実空間における重力加速度方向を基準とするz軸正方向(画面奥行方向)が仮想空間における重力方向を基準とする仮想カメラの視線方向と同じとなり、実空間における重力加速度方向を基準とするx軸正方向(画面左方向)が仮想空間における重力方向を基準とする仮想カメラの左方向と同じとなるような配置関係となることである。
【0143】
次に、プロセッサ81は、各種データを取得して操作データDa、角速度データDb、加速度データDc、および照度データDdをそれぞれ更新し(ステップS201)、次のステップに処理を進める。例えば、プロセッサ81は、左コントローラ3および/または右コントローラ4から操作データを取得して操作データDaを更新する。また、プロセッサ81は、タッチパネル13からタッチ操作データを取得して操作データDaを更新する。また、プロセッサ81は、本体装置2に設けられている慣性センサ(加速度センサ89および角速度センサ90)から慣性データ(加速度データおよび角速度データ)を取得して、加速度データDcおよび角速度データDbをそれぞれ更新する。さらに、プロセッサ81は、照度センサ29から照度データを取得して照度データDdを更新する。
【0144】
次に、プロセッサ81は、本体装置2の姿勢を算出し(ステップS202)、次のステップに処理を進める。例えば、プロセッサ81は、角速度データDbおよび加速度データDcに格納されている加速度データおよび角速度データを用いて、本体装置2に作用している重力加速度の重力ベクトルの方向を算出して、姿勢データDeを更新する。また、プロセッサ81は、本体装置2における上記初期姿勢からの回転方向および回転量を算出して、姿勢データDeを更新する。例えば、プロセッサ81は、上記初期姿勢における本体装置2のxyz軸方向を軸とした回転方向および回転量をそれぞれ算出して、姿勢データDeを更新する。なお、回転方向は、回転量の正負により表すことができるので、姿勢データDeには回転量を示すデータのみ格納してもよい。例えば、プロセッサ81は、前回処理におけるステップS202において算出された回転量に、今回のステップS202で取得した角速度データに基づく回転量を加えて、新たな回転量として算出してもよい。
【0145】
次に、プロセッサ81は、本体装置2がゴーグル装置150に装着されているか否かを判定する処理を行い(ステップS203)、次のステップに処理を進める。例えば、プロセッサ81は、本体装置2がゴーグル装置150に装着された際の照度を検出するための閾値に基づいて、照度データDdが示す照度が当該閾値未満の暗い照度を示す場合、上記ステップS203において本体装置2がゴーグル装置150に装着されていると判定する。なお、検知手段は、表示装置がゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する処理を実行するものであり、一例としてステップS203の処理を行うプロセッサ81に相当する。
【0146】
次に、プロセッサ81は、立体視表示モードであるか否かを判定する(ステップS204)。例えば、プロセッサ81は、上記ステップS203における装着判定処理において、本体装置2がゴーグル装置150に装着されていると判定されている場合、上記ステップS204において肯定判定して立体視表示モードで処理を行う。一方、プロセッサ81は、上記ステップS203における装着判定処理において、本体装置2がゴーグル装置150に装着されていないと判定されている場合、上記ステップS204において否定判定して非立体視表示モードで処理を行う。そして、プロセッサ81は、立体視表示モードで処理を行う場合、ステップS205に処理を進める。一方、プロセッサ81は、非立体視表示モードで処理を行う場合、ステップS213に処理を進める。なお、モード設定手段は、表示装置を第1の表示モードまたは当該第1の表示モードとは異なる第2の表示モードに設定する処理を実行するものであり、一例としてステップS204の処理を行うプロセッサ81に相当する。
【0147】
ステップS205において、プロセッサ81は、オブジェクト動作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、仮想空間における操作オブジェクトを動作させる操作が行われている場合、当該操作に応じた操作オブジェクトの動きを設定する。そして、プロセッサ81は、設定された操作オブジェクトの動きに基づいて、当該操作オブジェクトの仮想空間における位置、方向、姿勢、および動作等を設定して、操作オブジェクトデータDfを更新する。
【0148】
上記ステップS205におけるオブジェクト動作処理では、以下の様なオブジェクト動作制御が考えられる。第1の例として、予め定められた操作オブジェクトを操作対象として、当該操作オブジェクトを動作させる。この場合、左コントローラ3および/または右コントローラ4における各入力部への入力に基づいて、上記予め定められた操作オブジェクトを移動させたり、動作させたり、変形させたりする。第2の例として、操作に基づいて操作オブジェクトを操作対象として選択した上で、当該操作オブジェクトを動作させる。この場合、所定の表示位置に配置されている操作オブジェクト(例えば、表示画面の中央に表示された標識と重複表示されている操作オブジェクト)を操作対象として、左コントローラ3および/または右コントローラ4における各入力部への入力に基づいて、当該操作対象として選択された操作オブジェクトを移動させたり、動作させたり、変形させたりする。第3の例として、上記操作対象となった操作オブジェクトを、本体装置2が装着されたゴーグル装置150への振動に基づいて動作させる。例えば、加速度データDcが示す本体装置2におけるxyz軸方向の加速度から重力加速度成分を除去して、本体装置2に所定の大きさ以上の振動が加えられていることを当該除去後の加速度が示している場合に、上記操作対象となっている操作オブジェクトを当該振動に応じて動作させる。なお、重力加速度を抽出する方法については任意の方法を用いればよく、例えば本体装置2に平均的に生じている加速度成分を算出して当該加速度成分を重力加速度として抽出してもよい。
【0149】
次に、プロセッサ81は、一対の左右仮想カメラを動作させる処理を行い(ステップS206)、次のステップに処理を進める。例えば、プロセッサ81は、一対の左右仮想カメラの仮想空間における姿勢を、上記初期姿勢からステップS202において算出された回転量だけ回転させて設定し、仮想カメラデータDgを更新する。例えば、プロセッサ81は、上記初期姿勢から一対の左右仮想カメラの位置関係を固定した状態で、ステップS202において算出された本体装置2の左右軸方向(x軸方向)を軸とした回転量と同じだけ当該仮想カメラの左右方向を軸として当該仮想カメラを回転させ、かつ、ステップS202において算出された本体装置2の上下軸方向(y軸方向)を軸とした回転量と同じだけ当該仮想カメラの上下方向を軸として当該仮想カメラを回転させ、かつ、ステップS202において算出された本体装置2の画面奥行軸方向(z軸方向)を軸とした回転量と同じだけ当該仮想カメラの視線方向を軸として当該仮想カメラを回転させることによって、一対の左右仮想カメラの仮想空間における姿勢を設定する。
【0150】
次に、プロセッサ81は、左目用仮想空間画像を生成する処理を行い(ステップS207)、次のステップに処理を進める。例えば、プロセッサ81は、操作オブジェクトデータDfに基づいて、仮想空間に操作オブジェクトを配置する。そして、プロセッサ81は、仮想カメラデータDgによって設定されている一対の左右仮想カメラのうち、左仮想カメラから見た仮想空間画像を左目用仮想空間画像として生成し、左目用仮想空間画像データDhを更新する。
【0151】
次に、プロセッサ81は、右目用仮想空間画像を生成する処理を行い(ステップS208)、次のステップに処理を進める。例えば、プロセッサ81は、仮想カメラデータDgによって設定されている一対の左右仮想カメラのうち、右仮想カメラから見た仮想空間画像を右目用仮想空間画像として生成し、右目用仮想空間画像データDiを更新する。
【0152】
次に、プロセッサ81は、立体視用ユーザインターフェイス画像を生成する処理を行い(ステップS209)、次のステップに処理を進める。例えば、プロセッサ81は、ディスプレイ12の第3領域(図9参照)の形状に合うような立体視用のユーザインターフェイス画像を生成し、立体視用UI画像データDjを更新する。
【0153】
次に、プロセッサ81は、左目用仮想空間画像をディスプレイ12の第1領域に表示する表示制御処理を行い(ステップS210)、次のステップに処理を進める。例えば、プロセッサ81は、左目用仮想空間画像データDhに設定されている左目用仮想空間画像を左目用画像IMLとして、ディスプレイ12の第1領域(図9参照)全体に表示する。
【0154】
次に、プロセッサ81は、右目用仮想空間画像をディスプレイ12の第2領域に表示する表示制御処理を行い(ステップS211)、次のステップに処理を進める。例えば、プロセッサ81は、右目用仮想空間画像データDiに設定されている右目用仮想空間画像を右目用画像IMRとして、ディスプレイ12の第2領域(図9参照)全体に表示する。
【0155】
次に、プロセッサ81は、立体視用UI画像をディスプレイ12の第3領域に表示する表示制御処理を行い(ステップS212)、ステップS219に処理を進める。例えば、プロセッサ81は、立体視用UI画像データDjに設定されているユーザインターフェイス画像をユーザインターフェイス画像IMUa(例えば、2つのユーザインターフェイス画像IMUa1およびIMUa2)として、ディスプレイ12の第3領域(図9参照)内の所定位置に表示する。なお、第2表示制御手段は、第2の表示モードにおいて、表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像と第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像とを含む第2画像を表示させる処理を実行するものであり、一例としてステップS205-ステップS212の処理を行うプロセッサ81に相当する。
【0156】
一方、上記ステップS204において非立体視表示モードであると判定された場合、ステップS213において、プロセッサ81は、オブジェクト動作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、仮想空間における操作オブジェクトを動作させる操作が行われている場合、当該操作に応じた操作オブジェクトの動きを設定する。そして、プロセッサ81は、設定された操作オブジェクトの動きに基づいて、当該操作オブジェクトの仮想空間における位置、方向、姿勢、および動作等を設定して、操作オブジェクトデータDfを更新する。なお、上記ステップS213におけるオブジェクト動作処理は、上述したステップS205におけるオブジェクト動作処理と同様であるため、詳細な説明を省略する。
【0157】
次に、プロセッサ81は、単一の仮想カメラを動作させる処理を行い(ステップS214)、次のステップに処理を進める。例えば、プロセッサ81は、単一の仮想カメラの仮想空間における姿勢を、上記初期姿勢からステップS202において算出された回転量だけ回転させて設定し、仮想カメラデータDgを更新する。例えば、プロセッサ81は、上記初期姿勢から単一の仮想カメラを、ステップS202において算出された本体装置2の左右軸方向(x軸方向)を軸とした回転量と同じだけ当該仮想カメラの左右方向を軸として回転させ、かつ、ステップS202において算出された本体装置2の上下軸方向(y軸方向)を軸とした回転量と同じだけ当該仮想カメラの上下方向を軸として回転させ、かつ、ステップS202において算出された本体装置2の画面奥行軸方向(z軸方向)を軸とした回転量と同じだけ当該仮想カメラの視線方向を軸として回転させることによって、単一の仮想カメラの仮想空間における姿勢を設定する。
【0158】
次に、プロセッサ81は、仮想空間画像を生成する処理を行い(ステップS215)、次のステップに処理を進める。例えば、プロセッサ81は、仮想カメラデータDgによって設定されている仮想カメラから見た仮想空間画像を生成し、非立体視用仮想空間画像データDkを更新する。
【0159】
次に、プロセッサ81は、非立体視用ユーザインターフェイス画像を生成する処理を行い(ステップS216)、次のステップに処理を進める。例えば、プロセッサ81は、単一画像IMSに重畳させてディスプレイ12に表示する(図16参照)非立体視用のユーザインターフェイス画像を生成し、非立体視用UI画像データDmを更新する。
【0160】
次に、プロセッサ81は、仮想空間画像をディスプレイ12の全体領域に表示する表示制御処理を行い(ステップS217)、次のステップに処理を進める。例えば、プロセッサ81は、非立体視用仮想空間画像データDkに設定されている仮想空間画像を単一画像IMSとして、ディスプレイ12の全体領域(図16参照)に表示する。
【0161】
次に、プロセッサ81は、非立体視用UI画像を単一画像IMSに重畳表示する表示制御処理を行い(ステップS218)、ステップS219に処理を進める。例えば、プロセッサ81は、非立体視用UI画像データDmに設定されているユーザインターフェイス画像をユーザインターフェイス画像IMUb(例えば、2つのユーザインターフェイス画像IMUb1およびIMUb2)として、ディスプレイ12の左上隅領域および右上隅領域(図16参照)における単一画像IMSに重畳表示する。なお、第1表示制御手段は、第1の表示モードにおいて、表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる処理を実行するものであり、一例としてステップS213-ステップS218の処理を行うプロセッサ81に相当する。
【0162】
ステップS219において、プロセッサ81は、ユーザインターフェイス操作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、タッチパネル13に対するタッチ操作が行われている場合、当該タッチ操作されている位置と重なるディスプレイ12に表示されたユーザインターフェイス画像に応じて、当該タッチ操作に応じたユーザ操作指示を設定する。そして、プロセッサ81は、設定されたユーザ操作指示に応じた処理を行う。
【0163】
次に、プロセッサ81は、ゲームを終了するか否かを判定する(ステップS220)。上記ステップS220においてゲームを終了する条件としては、例えば、ゲームの結果が確定したことや、ユーザがゲームを終了する操作を行ったこと等がある。プロセッサ81は、ゲームを終了しない場合に上記ステップS201に戻って処理を繰り返し、ゲームを終了する場合に当該フローチャートによる処理を終了する。以降、ステップS201~ステップS220の一連の処理は、ステップS220でゲームを終了すると判定されるまで繰り返し実行される。
【0164】
このように、本実施例においては、通常表示モード(非立体視表示モード)と立体視表示モードとを切り替える際、設定される表示モードに応じた異なる位置にユーザインターフェイス画像が表示されるため、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる。また、ゴーグル装置150への本体装置2の装着状態に基づいて、表示モードの切り替えが自動的に行われるため、シームレスな表示モードの切り替えが可能となる。さらに、本実施例においては、立体視表示モードにおいて、右目用画像および左目用画像をそれぞれ表示させる、ディスプレイ12の第1領域および第2領域とは異なる第3領域にユーザインターフェイス画像を表示させるため、立体視画像表示の邪魔とならないユーザインターフェイス画像を表示することができる。
【0165】
なお、上述した実施例では、情報処理機能を有する本体装置2をゴーグル装置150に装着することによって画像表示システムを構成しているが、他の態様によって画像表示システムを構成してもよい。第1の例として、上記情報処理(ゲーム処理)を行って画像を生成する制御部をゴーグル装置150に設け、画像を表示する機能を有する表示装置をゴーグル装置150に装着することによって、立体視画像を表示する画像表示システムを構成してもよい。この場合、ゴーグル装置150の設けられた制御部から表示装置へ、当該表示装置に立体視画像およびユーザインターフェイス画像を表示するための画像データを出力することによって、当該表示装置に立体視画像およびユーザインターフェイス画像が表示されることになる。なお、上記第1の例の態様では、表示装置の装着状況を検出する機構、画像表示システムの姿勢を検出する機構、ユーザ操作を受け付ける機構などは、上記表示装置およびゴーグル装置150に何れに設けられていてもかまわない。第2の例として、表示装置が装着されたゴーグル装置150とは別に当該表示装置と無線または有線接続された制御装置を設け、表示装置、ゴーグル装置150、および当該制御装置によって画像表示システムが構成されてもよい。この場合、操作データ、加速度データ、角速度データ、および照度データ等が表示装置から制御装置へ出力され、当該照度データに基づいた表示モードのコンテンツ画像およびユーザインターフェイス画像が当該制御装置から当該表示装置に出力される。なお、上記第2の例の態様でも、表示装置の装着状況を検出する機構、画像表示システムの姿勢を検出する機構、ユーザ操作を受け付ける機構などは、上記表示装置およびゴーグル装置150に何れに設けられていてもかまわない。そして、上記制御装置は、表示装置および/またはゴーグル装置150から取得した操作データ、加速度データ、および角速度データに応じて、表示するコンテンツ画像の表示範囲を制御して、当該表示装置に出力する。なお、本実施例では、表示装置の一例として本体装置2を用いている。
【0166】
なお、上述した実施例において、本体装置2の姿勢を検出する方法については、単なる一例であって、他の方法や他のデータを用いて本体装置2の姿勢を検出してもよい。一例として、本体装置2および/または本体装置2が装着されたゴーグル装置150を外部から撮像し、当該撮像された画像を用いて本体装置2および/またはゴーグル装置150の姿勢を検出してもよい。また、操作オブジェクトの動作を制御するためのコントローラは、左コントローラ3または右コントローラ4だけでなく、他のコントローラでもよい。
【0167】
また、ゲームシステム1および/または本体装置2は、どのような装置であってもよく、携帯型のゲーム装置、任意の携帯型電子機器(PDA(Personal Digital Assistant)、携帯電話、パーソナルコンピュータ、カメラ、タブレット等)等であってもよい。
【0168】
また、上述した実施例では、互いに視差のある左目用画像および右目用画像が、ディスプレイ12の左側画面および右側画面にそれぞれ表示されることによって、立体視画像が表示される例を用いたが、左目用画像および右目用画像がそれぞれ別の画面に表示されてもよい。例えば、本体装置2に設けられたディスプレイ12が複数の表示画面によって構成される場合、左目用画像を当該複数の表示画面の1つに表示し、右目用画像を当該複数の表示画面の他の1つに表示する。この場合、ユーザは、左目用レンズ153Lを介して複数の表示画面の1つに表示された左目用画像を左目で見るとともに、右目用レンズ153Rを介して複数の表示画面の他の1つに表示された右目用画像を右目で見ることによって、ゴーグル装置150を介して立体視画像を見ることができる。
【0169】
また、本体装置2に表示される立体視画像および非立体視画像は、ユーザ操作に応じてプロセッサ81が情報処理(ゲーム処理)を実行することによるゲーム画像として表示されたり、ユーザ操作に応じてプロセッサ81が動画再生や静止画再生を行うことによる動画像や静止画像として表示されたりする。つまり、情報処理(例えば、ゲーム処理、動画再生処理、静止画再生処理)を本体装置2のプロセッサ81が行うことによって、本体装置2に表示される立体視画像および非立体視画像が生成されるが、当該立体視画像および非立体視画像を生成する処理の少なくとも一部を他の装置で行ってもかまわない。例えば、本体装置2がさらに他の装置(例えば、サーバ、他の画像表示装置、他のゲーム装置、他の携帯端末、他の情報処理装置)と通信可能に構成されている場合、上記処理は、さらに当該他の装置が協働することによって実行してもよい。このように、上記処理の少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、本体装置2のプロセッサ81が所定のプログラムを実行することによって情報処理を行うことが可能であるが、本体装置2が備える専用回路によって上記処理の一部または全部が行われてもよい。
【0170】
ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置(据置型のゲーム装置)と携帯型の情報処理装置(携帯型のゲーム装置)との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。
【0171】
また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。
【0172】
また、上記プログラムは、外部メモリ等の外部記憶媒体を通じてゲームシステム1に供給されるだけでなく、有線または無線の通信回線を通じて当該装置に供給されてもよい。また、上記プログラムは、当該装置内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD-ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
【0173】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
【産業上の利用可能性】
【0174】
以上のように、本発明は、ユーザインターフェイス画像の提示に関する利便性等を向上させることが可能となる画像表示システム、画像表示プログラム、画像表示方法、および表示装置等として利用することができる。
【符号の説明】
【0175】
1…ゲームシステム
2…本体装置
3…左コントローラ
4…右コントローラ
11…ハウジング
12…ディスプレイ
29…照度センサ
81…プロセッサ
83…コントローラ通信部
85…DRAM
150…ゴーグル装置
151…本体
152…レンズ枠部材
153…レンズ
154…板状部材
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
【手続補正書】
【提出日】2024-04-03
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本発明は、立体視画像を表示可能な画像表示システム、画像表示方法、およびゴーグル型装置に関する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0005
【補正方法】変更
【補正の内容】
【0005】
それ故に、本発明の目的は、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる画像表示システム、画像表示方法、およびゴーグル型装置を提供することである。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像を表示する表示画面を有する表示装置と当該表示装置を装着可能なゴーグル装置とを含む画像表示システムであって、
前記表示装置を第1の表示モードまたは当該第1の表示モードとは異なる第2の表示モードに設定するモード設定手段と、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御手段と、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像、および前記第1ユーザインターフェイス画像とは少なくとも位置が異なる非立体視画像である第2ユーザインターフェイス画像を含む第2画像を表示させる第2表示制御手段とを備え、
前記第2表示制御手段は、前記第2の表示モードにおいて、前記第2ユーザインターフェイス画像を、前記表示画面にて前記左目用画像を表示させる第1領域および前記表示画面にて前記右目用画像を表示させる第2領域により構成される領域を除く当該表示画面内の第3領域の中に表示させ、
前記ゴーグル型装置は、前記表示装置が当該ゴーグル型装置に装着された場合に、前記表示画面の一部である前記第3領域に含まれる前記第2ユーザインターフェイス画像を外部に露出させる開口部を有し、
前記開口部は、ユーザが前記ゴーグル型装置を着用した場合に当該ユーザの鼻に対応する位置に形成される、画像表示システム。
【請求項2】
前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する検知手段を、さらに備え、
前記モード設定手段は、前記表示装置が前記第1の表示モードに設定されている場合に、前記検知手段の検知結果に基づいて、当該表示装置を前記第2の表示モードに切り替える、請求項1に記載の画像表示システム。
【請求項3】
前記表示装置は、照度センサを備え、
前記ゴーグル装置は、前記表示装置が当該ゴーグル装置に装着状態または装着途中状態にある場合に、当該表示装置の前記照度センサへの光を遮光する遮光部を備え、
前記検知手段は、前記照度センサによる検知結果に基づいて、前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する、請求項2に記載の画像表示システム。
【請求項4】
前記表示装置は、前記表示画面上に設けられるタッチパネルを備え、
前記表示画面に表示された前記第1ユーザインターフェイス画像は、前記タッチパネルに対するタッチ操作に応じた操作指示が可能であり、
前記表示画面に表示された前記第2ユーザインターフェイス画像は、前記表示装置が前記ゴーグル装置に装着された状態で前記タッチパネルに対するタッチ操作に応じた操作指示が可能である、請求項1乃至3の何れか1つに記載の画像表示システム。
【請求項5】
前記第2表示制御手段は、左目用画像および右目用画像からなるコンテンツ画像として、前記第1表示制御手段によって非立体視画像として表示されるコンテンツ画像に対応する画像を前記表示画面に表示させる、請求項1乃至4の何れか1つに記載の画像表示システム。
【請求項6】
前記第2表示制御手段は、前記第2の表示モードにおいて、当該第2の表示モードに設定される直前の前記第1の表示モードにおいて表示されていたコンテンツ画像を、左目用画像および右目用画像からなる立体視画像にして、前記表示画面に表示させる、請求項1乃至5の何れか1つに記載の画像表示システム。
【請求項7】
前記第2表示制御手段は、前記第1ユーザインターフェイス画像と機能が実質的に同一であって表示態様が異なるユーザインターフェイス画像を、前記第2ユーザインターフェイス画像として表示させる、請求項1乃至の何れか1つに記載の画像表示システム。
【請求項8】
前記第2表示制御手段は、前記第3領域の形状に合うように前記第2ユーザインターフェイス画像の形状を調整して当該第3領域に表示させる、請求項に記載の画像表示システム。
【請求項9】
前記第2表示制御手段は、前記表示画面における前記第1領域および前記第2領域によって挟まれる当該表示画面の上方または下方に前記第3領域を設定する、請求項1乃至8の何れか1つに記載の画像表示システム。
【請求項10】
前記第2表示制御手段は、前記表示画面における前記第1領域および前記第2領域によって挟まれる当該表示画面の下方に前記第3領域を設定する、請求項に記載の画像表示システム。
【請求項11】
前記第1表示制御手段は、前記第1の表示モードにおいて、前記表示画面に表示されるコンテンツ画像に重畳させて前記第1ユーザインターフェイス画像を表示させる、請求項1乃至1の何れか1つに記載の画像表示システム。
【請求項12】
前記表示装置は、電気的に他の装置と接続可能な表示装置側接続部を、さらに備え、
前記ゴーグル装置は、前記表示装置側接続部と電気的に接続可能なゴーグル装置側接続部を備え、
前記検知手段は、前記表示装置側接続部と前記ゴーグル装置側接続部とが接続されたことに応じて、前記表示装置が前記ゴーグル装置に装着状態にあるか否かを検知する、または装着途中状態にあるか否かを検知する、請求項2に記載の画像表示システム。
【請求項13】
画像を表示する表示画面を有し、ゴーグル型装置に装着可能な表示装置に画像を表示する画像表示方法であって、
前記表示装置を第1の表示モードまたは当該第1の表示モードとは異なる第2の表示モードに設定するモード設定ステップと、
前記第1の表示モードにおいて、前記表示画面に、非立体視画像であるコンテンツ画像と第1ユーザインターフェイス画像とを含む第1画像を表示させる第1表示制御ステップと、
前記第2の表示モードにおいて、前記表示画面に、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像、および前記第1ユーザインターフェイス画像とは少なくとも位置が異なる非立体視画像である第2ユーザインターフェイス画像を含む第2画像を表示させる第2表示制御ステップとを含み、
前記第2表示制御ステップでは、前記第2の表示モードにおいて前記第2ユーザインターフェイス画像が、前記表示画面にて前記左目用画像を表示させる第1領域および前記表示画面にて前記右目用画像を表示させる第2領域により構成される領域を除く当該表示画面内の第3領域の中に表示され
前記第3領域は、前記表示装置が前記ゴーグル型装置に装着された場合に、当該ゴーグル型装置が有する開口部により前記第2ユーザインターフェイス画像が外部に露出され、
前記開口部は、ユーザが前記ゴーグル型装置を着用した場合に当該ユーザの鼻に対応する位置に形成される、画像表示方法。
【請求項14】
示装置を装着可能なゴーグル型装置であって、
前記表示装置は、互いに視差のある左目用画像および右目用画像からなるコンテンツ画像、およびユーザインターフェイス画像を表示する表示画面正面に備え、
前記ゴーグル型装置は、
前記表示装置が装着された場合に前記左目用画像の正面側に位置する左目用レンズと、
前記表示装置が装着された場合に前記右目用画像の正面側に位置する右目用レンズと、
前記表示装置が装着された場合に前記ユーザインターフェイス画像の正面側に位置して、当該ユーザインターフェイス画像を外部に露出させる開口部とを備え、
前記開口部は、ユーザが前記ゴーグル型装置を着用した場合に当該ユーザの鼻に対応する位置に形成される、ゴーグル型装置。