特開 2024-178305 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178305

(43)【公開日】2024-12-24

(54)【発明の名称】情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241217BHJP

   G06F 3/04845 20220101ALI20241217BHJP

   A63F 13/213 20140101ALI20241217BHJP

   A63F 13/655 20140101ALI20241217BHJP

   A63F 13/5255 20140101ALI20241217BHJP

   A63F 13/56 20140101ALI20241217BHJP

   A63F 13/5258 20140101ALI20241217BHJP

【ＦＩ】

G06T19/00 600

G06F3/04845

A63F13/213

A63F13/655

A63F13/5255

A63F13/56

A63F13/5258

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024163363

(22)【出願日】2024-09-20

(62)【分割の表示】P 2020190521の分割

【原出願日】2020-11-16

(71)【出願人】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】堀田 順平

(72)【発明者】

【氏名】泉水 一慶

(72)【発明者】

【氏名】新田 昌弘

(72)【発明者】

【氏名】大田 康晴

(72)【発明者】

【氏名】魚澤 純樹

(57)【要約】

【課題】ユーザが意図する位置に仮想オブジェクトを配置することが可能な情報処理システムを提供する。
【解決手段】情報処理システムの一例は、カメラの撮像方向に応じて仮想カメラの撮像方向を設定し、カメラの撮像方向が所定の範囲内であれば、仮想カメラの撮像方向に応じて仮想ドアを仮想空間内で移動させる。カメラの撮像方向が第１閾値よりも上方向を向いている場合は、仮想ドアをさらに上方向に移動させない。また、カメラの撮像方向が第２閾値よりも下方向を向いている場合は、仮想ドアをさらに下方向に移動させない。
【選択図】図５

【特許請求の範囲】

【請求項1】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムであって、
前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する制御手段、を備え、
前記制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する、情報処理システム。

【請求項2】

前記仮想カメラの位置と、前記仮想オブジェクトの位置とに関する位置条件が満たされる場合、前記仮想オブジェクトに関するイベント処理を実行するイベント処理実行手段をさらに備える、請求項１に記載の情報処理システム。

【請求項3】

前記仮想カメラが前記仮想オブジェクトに所定距離内に近づいた場合に、前記位置条件が満たされ、
前記仮想オブジェクトの位置を基準として第２仮想空間が設定され、
前記イベント処理は、前記第２仮想空間内に前記仮想カメラが進入したと判定される処理であり、
前記仮想カメラが前記第２仮想空間内に進入した場合、前記撮像装置の位置又は撮像方向に応じて、前記第２仮想空間内における前記仮想カメラの位置又は撮像方向が制御される、請求項２に記載の情報処理システム。

【請求項4】

前記制御手段は、前記撮像装置の撮像方向が上下方向に変化した場合、前記仮想オブジェクトの前記仮想空間内における垂直方向の姿勢を維持したまま、前記仮想オブジェクトを上下方向に移動させる、請求項１に記載の情報処理システム。

【請求項5】

前記制御手段は、前記撮像装置の撮像方向が前記第１閾値よりも上方向、または、前記第２閾値よりも下方向を向いている場合でも、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度で連動するように、前記撮像装置の撮像方向の左右方向の変化に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する、請求項１から４の何れかに記載の情報処理システム。

【請求項6】

前記制御手段は、前記撮像装置が移動した場合、前記仮想カメラと前記仮想オブジェクトとが一定の距離を保つように、前記仮想カメラの位置および前記仮想オブジェクトの位置を制御する、請求項１から５の何れかに記載の情報処理システム。

【請求項7】

前記制御手段は、前記撮像装置の撮像方向に応じて前記仮想カメラの撮像方向を設定し、前記仮想カメラの撮像方向の変化に追従するように、前記仮想オブジェクトの位置を制御する、請求項１から６の何れかに記載の情報処理システム。

【請求項8】

前記制御手段は、前記撮像装置によって撮像された実画像に基づいて前記現実空間の所定面を検出することなく、前記仮想カメラの撮像方向の所定位置に前記仮想オブジェクトを配置する、請求項１から７の何れかに記載の情報処理システム。

【請求項9】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理装置のコンピュータによって実行される情報処理プログラムであって、前記コンピュータを、
前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する制御手段、として機能させ、
前記制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する、情報処理プログラム。

【請求項10】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理装置であって、
前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する制御手段、を備え、
前記制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する、情報処理装置。

【請求項11】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムにおいて実行される情報処理方法であって、
前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する制御ステップ、を含み、
前記制御ステップでは、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する、情報処理方法。

【請求項12】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムであって、
前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する仮想カメラ方向制御手段と、
前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御するオブジェクト位置制御手段と、を備え、
前記オブジェクト位置制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する、情報処理システム。

【請求項13】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理装置のコンピュータによって実行される情報処理プログラムであって、前記コンピュータを、
前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する仮想カメラ方向制御手段、
前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御するオブジェクト位置制御手段、として機能させ、
前記オブジェクト位置制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する、情報処理プログラム。

【請求項14】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理装置であって、
前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する仮想カメラ方向制御手段と、
前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御するオブジェクト位置制御手段と、を備え、
前記オブジェクト位置制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する、情報処理装置。

【請求項15】

撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムにおいて実行される情報処理方法であって、
前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する仮想カメラ方向制御ステップと、
前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御するオブジェクト位置制御ステップと、を含み、
前記オブジェクト位置制御ステップでは、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現実空間と仮想空間の画像とを合成することが可能な情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法に関する。

【背景技術】

【0002】

先行技術として、仮想空間に仮想オブジェクトを配置し、現実空間と仮想オブジェクトの画像とを合成して表示させる画像処理システムがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０７１８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、仮想オブジェクトを配置する際に、適切な位置に仮想オブジェクトを配置するためには改善の余地があった。

【0005】

それ故、本発明の目的は、適切な位置に仮想オブジェクトを配置することが可能な情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく、本発明は、以下の構成を採用した。

【0007】

本発明の一例は、撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムであって、前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する制御手段、を備え、前記制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する。
本発明の別の一例は、撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムである。情報処理システムは、第１制御手段と、制御状態変更手段と、第２制御手段とを備える。第１制御手段は、第１制御状態において、前記仮想カメラの撮像方向と当該仮想カメラから前記仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する。制御状態変更手段は、ユーザ操作に基づいて、前記第１制御状態を第２制御状態に変更する。第２制御手段は、前記第２制御状態において、前記合成画像から視認される前記仮想オブジェクトが前記現実空間の位置に擬似的に固定されるように、前記撮像装置の位置又は撮像方向に応じて、前記仮想カメラの位置、撮像方向、及び、前記仮想オブジェクトの位置の少なくとも何れか１つを制御する。前記第１制御手段は、前記第１制御状態において、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度よりも小さい第２連動度で連動するように、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御する。

【0008】

上記によれば、第１制御状態では、撮像装置の撮像方向の変化に応じて、仮想カメラの撮像方向と仮想オブジェクト方向とを連動させることができる。ユーザ操作に応じて第２制御状態に変更し、第２制御状態では、仮想オブジェクトが現実空間内で擬似的に固定される。これにより、仮想オブジェクトを現実空間の所望の位置に擬似的に固定することができる。また、第１制御状態では、撮像装置の撮像方向が第１閾値よりも上方向を向いている場合には、仮想カメラの撮像方向と仮想オブジェクト方向とが連動する度合いを、撮像装置の撮像方向が第１閾値よりも上方向を向いていない場合よりも、小さくすることができる。同様に、第１制御状態では、撮像装置の撮像方向が第２閾値よりも下方向を向いている場合には、仮想カメラの撮像方向と仮想オブジェクト方向とが連動する度合いを、撮像装置の撮像方向が第２閾値よりも下方向を向いていない場合よりも、小さくすることができる。これにより、適切でない位置に、仮想オブジェクトが配置されることを防止することができる。

【0009】

また、情報処理システムは、前記第２制御状態において、前記仮想カメラの位置と、前記仮想オブジェクトの位置とに関する位置条件が満たされる場合、前記仮想オブジェクトに関するイベント処理を実行するイベント処理実行手段をさらに備えてもよい。

【0010】

上記によれば、仮想カメラの位置と仮想オブジェクトの位置とに関する位置条件が満たされる場合に、仮想オブジェクトに関するイベント処理を実行することができる。

【0011】

また、前記仮想カメラが前記仮想オブジェクトに所定距離内に近づいた場合に、前記位置条件が満たされてもよい。また、前記仮想オブジェクトの位置を基準として第２仮想空間が設定されてもよい。前記イベント処理は、前記第２仮想空間内に前記仮想カメラが進入したと判定される処理であり、前記仮想カメラが前記第２仮想空間内に進入した場合、前記撮像装置の位置又は撮像方向に応じて、前記第２仮想空間内における前記仮想カメラの位置又は撮像方向が制御されてもよい。

【0012】

上記によれば、仮想カメラが仮想オブジェクトに近づいた場合に、仮想カメラが第２仮想空間内に進入したと判定される。仮想カメラが第２仮想空間内に進入した場合に、撮像装置の位置又は撮像方向の変化に応じて、第２仮想空間内において仮想カメラの位置又は撮像方向を変化させることができる。これにより、ユーザは、撮像装置を仮想オブジェクトに近づけ、第２仮想空間内に進入して、第２仮想空間内を見渡すことができる。

【0013】

また、前記第１制御手段は、前記第１制御状態において、前記撮像装置の撮像方向が上下方向に変化した場合、前記仮想オブジェクトの前記仮想空間内における垂直方向の姿勢を維持したまま、前記仮想オブジェクトを上下方向に移動させてもよい。

【0014】

上記によれば、第１制御状態において撮像装置の撮像方向が上下方向に変化した場合でも、仮想オブジェクトの垂直方向の姿勢を維持することができ、例えば、仮想オブジェクトの上方向を仮想空間の上方向と一致させた状態で、仮想オブジェクトを上下方向に移動させることができる。

【0015】

また、情報処理システムは、前記第２制御手段によって前記仮想オブジェクトが擬似的に固定された場合、ユーザ操作に基づいて前記仮想オブジェクトの状態を第１状態から第２状態に変化させる状態変化手段をさらに備えてもよい。前記仮想オブジェクトが前記第２状態に変化された場合、前記仮想空間に位置する前記仮想カメラから前記第２仮想空間を視認可能となってもよい。

【0016】

上記によれば、仮想オブジェクトが擬似的に固定された状態で、仮想オブジェクトを第２状態に変化させることができ、第２状態において第２仮想空間を視認可能とすることができる。

【0017】

また、前記第１制御手段は、前記撮像装置の撮像方向が前記第１閾値よりも上方向、または、前記第２閾値よりも下方向を向いている場合でも、前記仮想カメラの撮像方向と前記仮想オブジェクト方向とが前記第１連動度で連動するように、前記撮像装置の撮像方向の左右方向の変化に応じて、前記仮想カメラの撮像方向および前記仮想オブジェクトの位置の少なくとも何れか一方を制御してもよい。

【0018】

上記によれば、撮像装置の撮像方向が上方向を向き過ぎている場合や、下方向を向き過ぎている場合でも、撮像装置の撮像方向を左右方向に向けることで、例えば、仮想カメラを左右方向に向けることができ、撮像装置と仮想オブジェクトとを連動させることができる。これによりユーザビリティを向上させることができる。

【0019】

また、前記第１制御手段は、前記第１制御状態において、前記撮像装置が移動した場合、前記仮想カメラと前記仮想オブジェクトとが一定の距離を保つように、前記仮想カメラの位置および前記仮想オブジェクトの位置を制御してもよい。

【0020】

上記によれば、第１制御状態において、撮像装置が移動した場合でも、仮想カメラと仮想オブジェクトとの距離を一定に保つことができ、撮像装置と仮想オブジェクトとを連動させることができる。

【0021】

また、前記第１制御手段は、前記第１制御状態において、前記撮像装置の撮像方向に応じて前記仮想カメラの撮像方向を設定し、前記仮想カメラの撮像方向の変化に追従するように、前記仮想オブジェクトの位置を制御してもよい。

【0022】

上記によれば、撮像装置（仮想カメラ）の撮像方向が変化した場合に、当該撮像方向の変化に追従して、仮想オブジェクトの位置を制御することができ、撮像装置と仮想オブジェクトとを連動させることができる。

【0023】

また、情報処理システムは、前記仮想オブジェクトが前記現実空間に擬似的に固定された場合、前記仮想オブジェクトの表示態様を変化させる表示態様制御手段をさらに備えてもよい。

【0024】

上記によれば、仮想オブジェクトが現実空間に擬似的に固定されたことをユーザに認識させやすくすることができる。

【0025】

また、前記第１制御手段は、前記撮像装置によって撮像された実画像に基づいて前記現実空間の所定面を検出することなく、前記仮想カメラの撮像方向の所定位置に前記仮想オブジェクトを配置してもよい。

【0026】

上記によれば、現実空間の所定面を検出しなくても、仮想オブジェクトを仮想空間に配置することができる。

【0027】

本発明の他の例は、撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムであって、仮想カメラ方向制御手段と、オブジェクト位置制御手段と、を備える。仮想カメラ方向制御手段は、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する。オブジェクト位置制御手段は、前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御する。前記オブジェクト位置制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する。
本発明の他の例は、撮像装置によって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とを合成した合成画像を表示装置に出力する情報処理システムであって、仮想カメラ方向制御手段と、オブジェクト位置制御手段と、オブジェクト固定手段と、仮想カメラ位置制御手段とを備える。仮想カメラ方向制御手段は、前記撮像装置の撮像方向に応じて、前記仮想カメラの撮像方向を制御する。オブジェクト位置制御手段は、前記仮想カメラの撮像方向に追従する態様で、前記仮想オブジェクトの位置を制御する。オブジェクト固定手段は、ユーザ操作に基づいて、前記仮想オブジェクトの位置が前記現実空間の位置に擬似的に固定されるように、当該仮想オブジェクトの位置を制御する。仮想カメラ位置制御手段は、前記仮想オブジェクトの位置が固定された状態において、前記撮像装置の位置に応じて、前記仮想カメラの位置を制御する。前記オブジェクト位置制御手段は、前記撮像装置の撮像方向が、前記現実空間において第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、前記仮想カメラの撮像方向に前記仮想オブジェクトが追従する度合いが減少するように、前記仮想オブジェクトの位置を制御する。

【0028】

上記によれば、撮像装置の撮像方向の変化に応じて、仮想カメラの撮像方向を設定し、ユーザ操作に応じて、仮想オブジェクトを現実空間に擬似的に固定することができる。撮像装置の撮像方向が第１閾値よりも上方向を向いている場合、又は第２閾値よりも下方向を向いている場合には、仮想カメラの撮像方向に仮想オブジェクトが追従する度合いを、小さくすることができる。これにより、適切でない位置に、仮想オブジェクトが配置されることを防止することができる。

【0029】

また、他の発明は、上記情報処理システムに含まれる１又は複数のコンピュータにおいて実行される情報処理プログラムであってもよいし、情報処理装置であってもよい。また、他の発明は、上記情報処理システムにおいて行われる情報処理方法であってもよい。

【発明の効果】

【0030】

本発明によれば、仮想オブジェクトを所望の位置に配置するとともに、適切でない位置に、仮想オブジェクトが配置されることを防止することができる。

【図面の簡単な説明】

【0031】

【図1】本実施形態のスマートフォン１の内部構成の一例を示す図

【図2】現実空間の一例を示す図

【図3】スマートフォン１が位置Ｐ１に配置されたときの表示装置１５に表示される画像の一例を示す図

【図4】現実空間と仮想空間の各種オブジェクトとの位置関係の一例を示す図

【図5】カメラ１３の撮像方向を上向きに変化させるときの仮想空間の変化の一例を示す図

【図6】カメラ１３の撮像方向の角度θが「０」のときに表示装置１５に表示される画像の一例を示す図

【図7】カメラ１３の撮像方向の角度θが第１閾値「ａ」のときに表示装置１５に表示される画像の一例を示す図

【図8】カメラ１３の撮像方向の角度θが第１閾値「ａ」よりも大きいときに表示装置１５に表示される画像の一例を示す図

【図9】カメラ１３の撮像方向を下向きに変化させるときの仮想空間の変化の一例を示す図

【図10】－ｂ＜θ＜０のときに表示装置１５に表示される画像の一例を示す図

【図11】θ＝－ｂのときに表示装置１５に表示される画像の一例を示す図

【図12】θ＜－ｂのときに表示装置１５に表示される画像の一例を示す図

【図13】仮想空間を上方から見た図であって、カメラ１３の撮像方向を右方向に変化させたときの仮想カメラＶＣ及び仮想ドアＶＤの動作の一例を示す図

【図14】図１０の状態からスマートフォン１を右方向にｃ度だけ回転させたときに表示装置１５に表示される画像の一例を示す図

【図15】図１２の状態からスマートフォン１を右方向にｃ度だけ回転させたときに表示装置１５に表示される画像の一例を示す図

【図16】仮想ドアＶＤを現実空間に擬似的に固定した後の表示装置１５に表示される画像の一例を示す図

【図17】図１６の状態からカメラ１３を左方向に平行移動させたときに表示される画像の一例を示す図

【図18】仮想ドアＶＤを介して見える一部の第２仮想空間の一例を示す図

【図19】仮想ドアＶＤと仮想カメラＶＣと第２仮想空間ＶＳ２との位置関係の一例を示す図

【図20】図１９に示す位置Ｐ２に仮想カメラＶＣが配置される場合に表示される画像の一例を示す図

【図21】制限を加えることなく仮想カメラＶＣの撮像方向に連動させて仮想ドアＶＤを移動させる場合の現実空間を横方向から見た図

【図22】スマートフォン１のメモリ１１において記憶されるデータの一例を示す図

【図23】スマートフォン１のプロセッサ１０において実行されるメイン処理の一例を示すフローチャート

【図24】ステップＳ１０５の仮想ドア固定処理の詳細を示すフローチャート

【発明を実施するための形態】

【0032】

本実施形態の情報処理システムは、ユーザに現実空間の画像に仮想空間の画像を合成した合成画像を視認させるためのシステムであり、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）をユーザに提供するためのシステムである。情報処理システムは、例えば、スマートフォン、タブレット端末、携帯型のゲーム装置、携帯型のパーソナルコンピュータ等であってもよい。また、情報処理システムは、携帯型の装置に限らず、据置型の装置であってもよい。本実施形態では、情報処理システムは、スマートフォンであるものとする。

【0033】

図１は、本実施形態のスマートフォン１の内部構成の一例を示す図である。図１に示されるように、スマートフォン１は、例えば、プロセッサ１０と、メモリ１１と、入力装置１２と、カメラ１３と、姿勢検出センサ１４と、表示装置１５とを備える。また、スマートフォン１は、図示しない記憶装置（例えば、不揮発性メモリ）を備える。

【0034】

プロセッサ１０は、メモリ１１と協働して、入力装置１２からの入力情報を処理したり、カメラ１３からの実画像を処理したり、姿勢検出センサ１４からのデータを処理してスマートフォン１（カメラ１３）の姿勢を算出したりする。また、プロセッサ１０は、後述する仮想空間内の各種オブジェクトに関する処理を行ったり、仮想カメラに基づいて仮想画像を生成し、実画像と仮想画像とを合成した合成画像を生成したりする。プロセッサ１０は、生成した合成画像を表示装置１５に出力する。なお、プロセッサ１０は、画像処理を行うためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えてもよい。

【0035】

入力装置１２は、ユーザの入力を受け付ける。入力装置１２は、例えば、タッチパネルやボタン等であってもよい。

【0036】

カメラ１３（撮像装置）は、スマートフォン１の背面に設けられ、背面方向の現実空間を撮像する。

【0037】

姿勢検出センサ１４は、スマートフォン１（カメラ１３）の姿勢を検出するためのセンサであり、例えば、加速度センサ及び／又は角速度センサである。

【0038】

表示装置１５は、スマートフォン１の前面に設けられ、カメラ１３からの画像を表示したり、仮想空間の画像を表示したりする。表示装置１５は、例えば液晶ディスプレイや有機ＥＬディスプレイ等、任意の表示装置であってもよい。

【0039】

次に、スマートフォン１の表示装置１５に表示される画像について説明する。図２は、現実空間の一例を示す図である。図３は、スマートフォン１が位置Ｐ１に配置されたときの表示装置１５に表示される画像の一例を示す図である。

【0040】

図２に示されるように、現実空間には、例えば、床ＲＦと、床ＲＦ上に配置された円柱状の実オブジェクトＲＯと、壁ＲＷとがある。図２に示される現実空間の位置Ｐ１にスマートフォン１が配置された場合、図３に示されるような画像が表示装置１５に表示される。

【0041】

スマートフォン１の表示装置１５には、カメラ１３によって撮像された現実空間の画像（実画像）が表示される。例えば、表示装置１５には、実画像として、床ＲＦの画像と、実オブジェクトＲＯの画像とが表示される。また、表示装置１５には、仮想ドアＶＤが表示される。仮想ドアＶＤは、仮想空間に配置された仮想オブジェクトの一例であり、現実空間には存在しない。スマートフォン１の内部には仮想空間が定義され、仮想空間内に仮想ドアＶＤが配置される。仮想空間内には仮想カメラが配置され、当該仮想カメラを用いて仮想ドアＶＤを撮像することで仮想画像が生成される。生成された仮想画像が、カメラ１３からの実画像に重畳されて合成画像が生成され、当該合成画像が表示装置１５に出力される。これにより、図３に示されるような合成画像が表示される。

【0042】

図４は、現実空間と仮想空間の各種オブジェクトとの位置関係の一例を示す図である。図４では、図３に示される画像が表示されるときの現実空間及び仮想空間を真横から見た図が示されている。

【0043】

図４に示されるように、スマートフォン１に固定のＸＹＺ座標系が定義される。Ｚ軸は、スマートフォン１の背面方向の軸であり、カメラ１３の撮像方向を向く軸である。Ｙ軸は、Ｚ軸と垂直な軸であって、スマートフォン１（カメラ１３）を基準として上方向の軸である。Ｘ軸は、Ｚ軸及びＹ軸に垂直な軸であって、スマートフォン１（カメラ１３）を基準として左方向の軸である。

【0044】

カメラ１３の撮像方向（スマートフォン１の姿勢）は、姿勢検出センサ１４からのデータに基づいて算出される。スマートフォン１にカメラ１３が固定されているため、姿勢検出センサ１４からのデータに基づいて算出される姿勢は、スマートフォン１の姿勢でもあり、カメラ１３の姿勢でもある。例えば、スマートフォン１は、姿勢検出センサ１４によって検出された重力Ｇに基づいて、水平面（床ＲＦ）に対するＺ軸の角度（θ）を算出する。

【0045】

仮想空間ＶＳ内には、仮想カメラＶＣが配置される。仮想カメラＶＣには、ｘｙｚ座標系が設定される。仮想カメラＶＣのｚ軸は、仮想カメラＶＣの撮像方向を向く軸である。仮想カメラＶＣのｙ軸は、ｚ軸と垂直な軸であって、仮想カメラＶＣを基準として上方向の軸である。仮想カメラＶＣのｘ軸は、ｚ軸及びｙ軸と垂直な軸であって、仮想カメラＶＣを基準として左方向の軸である。

【0046】

現実空間内のカメラ１３の姿勢と仮想空間ＶＳ内の仮想カメラＶＣの姿勢とは連動する。具体的には、姿勢検出センサ１４（例えば、加速度センサ及び／又は角速度センサ）からのデータに基づいて算出されるスマートフォン１の姿勢と一致するように、仮想カメラＶＣの姿勢が設定される。例えば、現実空間においてカメラ１３が水平の状態から１０度上向きの状態に変化した場合は、仮想カメラＶＣも仮想空間ＶＳにおいて水平の状態から１０度上向きの状態に変化する。

【0047】

仮想カメラＶＣの撮像方向に追従する態様で、仮想ドアＶＤの位置が制御される。具体的には、図４に示されるように、仮想カメラＶＣの撮像方向（ｚ軸方向）には仮想ドアＶＤが配置される。仮想ドアＶＤは、ドアを模した仮想オブジェクトであり、板状の仮想オブジェクトである。仮想ドアＶＤは、仮想カメラＶＣの位置から一定距離Ｄだけ離れた位置に配置される。例えば、仮想カメラＶＣからＺ軸方向にＤだけ離れた位置に仮想ドアＶＤの中心が設定されてもよい。

【0048】

カメラ１３によって現実空間を撮像した実画像と、仮想カメラＶＣによって仮想ドアＶＤを撮像した仮想画像とを合成した合成画像がスマートフォン１の表示装置１５に表示される。このため、ユーザが合成画像を見た場合に、現実空間に仮想ドアＶＤが存在するように見える。

【0049】

仮想ドアＶＤには、ｘｄ軸、ｙｄ軸、ｚｄ軸が設定される。ｘｄ軸は、仮想ドアＶＤに垂直な軸であり、ｙｄ軸は、仮想ドアＶＤに対して上向きの軸であり、ｘｄ軸は、仮想ドアＶＤに対して左向きの軸である。仮想ドアＶＤは、仮想空間ＶＳの水平面（現実空間の水平面）に対して垂直になるように、仮想空間内に配置される。すなわち、仮想ドアＶＤの上向きのｙｄ軸と、仮想空間の上向きの軸とが同じ方向を向くように、仮想ドアＶＤが仮想空間内に配置される。

【0050】

詳細は後述するが、仮想ドアＶＤは、仮想的な部屋（第２仮想空間）への入口となる仮想オブジェクトである。

【0051】

次に、図３に示される状態からカメラ１３（スマートフォン１）の姿勢が変化したときの表示装置１５に表示される画像について説明する。

【0052】

図５は、カメラ１３の撮像方向を上向きに変化させるときの仮想空間の変化の一例を示す図である。

【0053】

図５に示されるように、仮想カメラＶＣ（カメラ１３）のｚ軸と水平面との角度θが「０」度の場合、仮想カメラＶＣ（カメラ１３）のｚ軸から一定距離Ｄだけ離れた位置に、仮想ドアＶＤの中心が位置するように配置される。このとき、仮想ドアＶＤは、例えば、水平面（床ＲＦ）から高さＨ１の位置に存在しているように見える。なお、以下では、カメラ１３（仮想カメラＶＣ）が上向きのときは、角度θは正の値であり、カメラ１３（仮想カメラＶＣ）が下向きのときは、角度θは負の値であるものとする。

【0054】

角度θが０から第１閾値ａ（ａは正の値）までなるようにカメラ１３の撮像方向を上向きに変化させると、仮想ドアＶＤの位置は、カメラ１３の撮像方向の変化に追従して変化する。すなわち、仮想カメラＶＣの撮像方向と、仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが連動するように、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向が変化するとともに仮想ドアＶＤの位置も変化する。このため、ユーザにはカメラ１３と仮想ドアＶＤとが連動しているように見え、カメラ１３の動きに追従して仮想ドアＶＤが動いているように見える。具体的には、仮想ドアＶＤは、水平面に対して垂直な状態を維持したまま、仮想空間の上方向に移動する。すなわち、仮想ドアＶＤの上方向のｙｄ軸と、仮想空間の上方向の軸とが平行である状態を維持したまま、仮想ドアＶＤが上方向に移動する。例えば、θ＝０の状態からθ＝ａの状態までは、仮想カメラＶＣのｚ軸に一定距離Ｄだけ離れた位置に仮想ドアＶＤの中心が位置するように、仮想ドアＶＤが仮想空間内に配置される。また、この間、仮想ドアＶＤの上方向のｙｄ軸は、重力方向と反対方向（仮想空間の上方向）を向くように制御される。θ＝ａのときには、表示装置１５を見た場合に、仮想ドアＶＤは、例えば水平面（床ＲＦ）から高さＨ２（＞Ｈ１）の位置に存在しているように見える。

【0055】

θ＝ａの状態からさらにカメラ１３の撮像方向を上向きに変化させると、仮想カメラＶＣの撮像方向はカメラ１３の撮像方向と一致するように変化する。しかしながら、仮想ドアＶＤの位置は、カメラ１３の撮像方向の変化に追従して変化しない。すなわち、θ＞ａの状態では、仮想ドアＶＤはさらに上方向に移動せず、仮想ドアＶＤの上方向への移動が制限される。

【0056】

このように、カメラ１３の撮像方向の変化に応じて仮想カメラＶＣの撮像方向が変化することを前提として、０＜θ＜ａの範囲では、仮想カメラＶＣの撮像方向の変化に連動して仮想ドアＶＤが上方向に移動する。一方、θ＞ａの場合、すなわち、仮想カメラＶＣの撮像方向が第１閾値ａよりも上方向を向いている場合、仮想ドアＶＤの上方向の移動が制限される。

【0057】

カメラ１３（スマートフォン１）が上下、左右、前後方向に平行移動する場合、仮想カメラＶＣと仮想ドアＶＤとの相対的な位置関係は変化しない。例えば、カメラ１３が撮像方向を固定したまま、左右方向に平行移動した場合、仮想カメラＶＣも仮想空間内で左右方向に平行移動し、仮想ドアＶＤも仮想空間内で左右方向に平行移動する。カメラ１３が撮像方向を固定したまま上下方向に平行移動した場合も同様である。

【0058】

なお、カメラ１３が撮像方向を固定したまま上下、左右、前後方向に平行移動した場合、仮想カメラＶＣ及び仮想ドアＶＤは、仮想空間内で移動しなくてもよい。この場合でも、仮想カメラＶＣと仮想ドアＶＤとの相対的な位置関係は変化しないため、仮想ドアＶＤは表示装置１５のほぼ中央に表示されたままとなり、仮想ドアＶＤがカメラ１３の移動に追従して移動するように見える。

【0059】

図６は、カメラ１３の撮像方向の角度θが「０」のときに表示装置１５に表示される画像の一例を示す図である。図７は、カメラ１３の撮像方向の角度θが第１閾値「ａ」のときに表示装置１５に表示される画像の一例を示す図である。図８は、カメラ１３の撮像方向の角度θが第１閾値「ａ」よりも大きいときに表示装置１５に表示される画像の一例を示す図である。

【0060】

図６では、図３のときよりもカメラ１３の撮像方向が上向きであるため、実オブジェクトＲＯの画像は、図３よりも画面の下側に表示されている。また、図３では壁ＲＷの画像は表示されていないが、図６では壁ＲＷの画像が表示される。また、図６に示されるように、仮想カメラＶＣの正面に仮想ドアＶＤが位置し、表示装置１５のほぼ中央に仮想ドアＶＤが表示される。

【0061】

図７に示されるように、θ＝ａの場合でも、仮想カメラＶＣの正面に仮想ドアＶＤが位置し、表示装置１５のほぼ中央に仮想ドアＶＤが表示される。θが０からａまで変化する間、仮想ドアＶＤは、仮想カメラＶＣ（カメラ１３）の撮像方向の変化に追従して上方向に移動する。すなわち、表示装置１５に表示された合成画像から視認される仮想ドアＶＤは、カメラ１３の撮像方向の変化に連動するように上方向に移動する。一方、図７に示されるように、実オブジェクトＲＯの画像は、図６よりもさらに下側に表示される。また、壁ＲＷの画像の領域も図６よりも大きくなっている。

【0062】

また、図８に示されるように、θ＞ａの場合、すなわち、カメラ１３が第１閾値よりも上方向を向いている場合、仮想ドアＶＤはカメラ１３（仮想カメラＶＣ）の撮像方向の変化に追従することなく、表示装置１５の表示画面の下側に表示される。図８では、仮想ドアＶＤの下側部分が仮想カメラＶＣの撮像範囲から外れており、当該下側部分は表示装置１５に表示されていない。図８のときよりもさらにカメラ１３を上方向に向けると、仮想ドアＶＤは、仮想カメラＶＣの撮像範囲から外れ、画面に表示されなくなる。これに対して、図８に示されるように、実画像は、図７よりもさらに下側に移動する。実オブジェクトＲＯ及び床ＲＦの画像は、図７よりもさらに下側に表示され、壁ＲＷの画像の領域は図７よりも大きくなる。

【0063】

次に、カメラ１３を下方向に向ける場合について説明する。図９は、カメラ１３の撮像方向を下向きに変化させるときの仮想空間の変化の一例を示す図である。

【0064】

図９に示されるように、角度θが０よりも小さく（すなわち、カメラ１３が下向き）、かつ、「－ｂ（ｂは正の値）」度よりも大きい場合、仮想カメラＶＣ（カメラ１３）のｚ軸から一定距離Ｄだけ離れた位置に、仮想ドアＶＤの中心が位置するように配置される。このとき、表示装置１５に表示される合成画像から視認される仮想ドアＶＤは、例えば、水平面（床ＲＦ）から高さＨ３（＜Ｈ１）の位置に存在しているように見える。

【0065】

θを第２閾値「－ｂ」まで変化させると（すなわち、カメラ１３を下方向に角度ｂまで変化させると）、仮想ドアＶＤは、カメラ１３の撮像方向の変化に追従して下方向に移動する。すなわち、仮想カメラＶＣの撮像方向と、仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが連動するように、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向が変化するとともに仮想ドアＶＤの位置も変化する。このため、ユーザにはカメラ１３と仮想ドアＶＤとが連動しているように見え、カメラ１３の動きに追従して仮想ドアＶＤが動いているように見える。具体的には、仮想ドアＶＤは、水平面に対して垂直な状態を維持したまま、仮想空間の下方向に移動する。この間、仮想ドアＶＤの上向きのｙｄ軸は、重力方向と反対方向（仮想空間の上方向）を向くように制御される。θ＝－ｂの状態では、仮想ドアＶＤは、例えば、水平面（床ＲＦ）から高さＨ４（＜Ｈ３）の位置に存在しているように見える。

【0066】

θ＝－ｂの状態からさらにカメラ１３の撮像方向を下向きに変化させると、仮想カメラＶＣの撮像方向はカメラ１３の撮像方向と一致するように変化する。しかしながら、仮想ドアＶＤの位置は、カメラ１３の撮像方向の変化に追従して変化しない。すなわち、θ＜－ｂの状態では、仮想ドアＶＤはさらに下方向に移動せず、仮想ドアＶＤの下方向への移動が制限される。

【0067】

このように、－ｂ＜θ＜０の範囲では、仮想カメラＶＣの撮像方向の変化に連動して仮想ドアＶＤが下方向に移動する。一方、θ＜－ｂの場合、すなわち、仮想カメラＶＣの撮像方向が第２閾値ｂよりも下方向を向いている場合、仮想ドアＶＤの下方向の移動が制限される。

【0068】

図１０は、－ｂ＜θ＜０のときに表示装置１５に表示される画像の一例を示す図である。図１１は、θ＝－ｂのときに表示装置１５に表示される画像の一例を示す図である。図１２は、θ＜－ｂのときに表示装置１５に表示される画像の一例を示す図である。

【0069】

図１０では、図６のときよりもカメラ１３の撮像方向が下向きであるため、実オブジェクトＲＯの画像は、図６よりも画面の上側に表示されており、実オブジェクトＲＯの一部が表示されなくなっている。また、図１０では壁ＲＷの画像は表示されなくなっている。また、図１０に示されるように、仮想カメラＶＣの正面に仮想ドアＶＤが位置し、表示装置１５のほぼ中央に仮想ドアＶＤが表示される。

【0070】

図１１に示されるように、θ＝－ｂの場合、仮想カメラＶＣの正面に仮想ドアＶＤが位置し、表示装置１５のほぼ中央に仮想ドアＶＤが表示される。θが０から－ｂまで変化する間、仮想ドアＶＤは、仮想カメラＶＣ（カメラ１３）の撮像方向の変化に追従して下方向に移動する。すなわち、表示装置１５に表示された合成画像から視認される仮想ドアＶＤは、カメラ１３の撮像方向の変化に連動するように下方向に移動する。一方、実オブジェクトＲＯの画像は、図１０よりもさらに上側に移動し、ほぼ表示されなくなっている。

【0071】

また、図１２に示されるように、θ＜－ｂの場合、すなわち、カメラ１３が第２閾値よりも下方向を向いている場合、仮想ドアＶＤはカメラ１３（仮想カメラＶＣ）の撮像方向の変化に追従することなく、表示装置１５の表示画面の上側に表示される。図１２では、仮想ドアＶＤの上側部分が仮想カメラＶＣの撮像範囲から外れており、当該上側部分は表示装置１５に表示されていない。図１２よりもさらにカメラ１３を下方向に向けると、仮想ドアＶＤは、仮想カメラＶＣの撮像範囲から外れ、画面に表示されなくなる。これに対して、図１２に示されるように、実画像は、図１１よりもさらに下側に移動する。

【0072】

次に、カメラ１３の撮像方向を左右方向に変化させた場合について説明する。図１３は、仮想空間を上方から見た図であって、カメラ１３の撮像方向を右方向に変化させたときの仮想カメラＶＣ及び仮想ドアＶＤの動作の一例を示す図である。

【0073】

カメラ１３の撮像方向が左右方向に変化する場合も、仮想カメラＶＣの撮像方向は左右方向に変化する。例えば、カメラ１３（スマートフォン１）の右方向の回転角φが１０度の場合は、仮想カメラＶＣも右方向に１０度回転する。図１３に示されるように、仮想カメラＶＣの撮像方向の左右方向の回転に連動して、仮想ドアＶＤも左右方向に移動する。具体的には、仮想ドアＶＤは、仮想カメラＶＣを向くように姿勢を変化させながら左右方向に移動する。例えば、仮想カメラＶＣが右方向に所定の角度回転した場合（カメラ１３が右方向に所定の角度回転した場合）、仮想ドアＶＤは、仮想カメラＶＣとの距離Ｄを維持したまま右方向に移動する。カメラ１３の撮像方向の左右方向に変化に応じて仮想ドアＶＤが左右方向に移動するときも、仮想ドアＶＤは水平面に対して垂直の姿勢を維持する。すなわち、仮想ドアＶＤの上向きのｙｄ軸と、仮想空間の上向きの軸とが平行である状態を維持したまま、仮想ドアＶＤが仮想空間内で左右方向に移動する。

【0074】

なお、カメラ１３の撮像方向が左右方向に変化する場合は、左右方向への回転角φがどのような値でも、仮想カメラＶＣの撮像方向の左右方向の動きに連動して、仮想ドアＶＤは左右方向に移動する。

【0075】

図１４は、図１０の状態からスマートフォン１を右方向にｃ度だけ回転させたときに表示装置１５に表示される画像の一例を示す図である。図１５は、図１２の状態からスマートフォン１を右方向にｃ度だけ回転させたときに表示装置１５に表示される画像の一例を示す図である。

【0076】

図１４に示されるように、図１０の状態からスマートフォン１を右方向に向けた場合、実画像における実オブジェクトＲＯは画面の左側に移動し、現実空間の右側の壁ＲＷの一部が、画面に表示されるようになる。一方、仮想ドアＶＤは、仮想カメラＶＣの正面に位置し、表示装置１５のほぼ中央に表示される。

【0077】

また、図１５に示されるように、図１２の状態からスマートフォン１を右方向に向けた場合、現実空間の右側の画像が画面に表示される。仮想ドアＶＤは、仮想カメラＶＣの正面に位置し、表示装置１５のほぼ中央に表示される。このように、カメラ１３が第２閾値よりも下方向を向いている状態でも、カメラ１３を左右方向に向けることに応じて、仮想ドアＶＤも左右方向に移動する。カメラ１３が第１閾値よりも上方向を向いている状態でも同様である。すなわち、カメラ１３の撮像方向が第１閾値よりも上方向に向いている場合、又は、第２閾値よりも下方向に向いている場合でも、カメラ１３の撮像方向が左右方向に変化した場合には、カメラ１３（仮想カメラＶＣ）の撮像方向の変化に応じて、仮想ドアＶＤの位置も左右方向に変化する。

【0078】

（仮想ドアＶＤの固定）
次に、仮想ドアＶＤを現実空間に擬似的に固定した後の処理について説明する。上述のように、仮想ドアＶＤが表示装置１５に表示された状態でカメラ１３の撮像方向を変化させると、それに追従して仮想ドアＶＤも仮想空間内で移動する。また、カメラ１３の撮像方向を固定したまま、カメラ１３を平行移動させた場合、仮想ドアＶＤもカメラ１３に追従して移動する。これにより、仮想ドアＶＤがカメラ１３と連動しているように見え、仮想ドアＶＤが現実空間内で移動しているように見える。この状態で、入力装置１２に対して所定のユーザ操作が行われると、仮想ドアＶＤが現実空間において擬似的に固定される。

【0079】

図１６は、仮想ドアＶＤを現実空間に擬似的に固定した後の表示装置１５に表示される画像の一例を示す図である。図１６に示されるように、入力装置１２に対して所定のユーザ操作（例えば、仮想ドアＶＤに対するタッチ入力）が行われた場合、仮想ドアＶＤが擬似的に固定されるとともに、仮想ドアＶＤの表示態様が変化する。所定のユーザ操作の前は、仮想ドアＶＤは第１表示態様（例えば、図３に示されるように破線の態様）で表示され、この状態では、仮想ドアＶＤは、カメラ１３の撮像方向の変化に応じて移動する。なお、所定のユーザ操作は、タッチ入力に限らず、ボタン入力、非タッチ入力（例えばジェスチャ入力）、音声による入力等であってもよい。

【0080】

所定のユーザ操作の後は、仮想ドアＶＤは第２表示態様（例えば、図１６に示されるように実線の態様）で表示される。この状態では、仮想ドアＶＤは現実空間に擬似的に固定される。仮想ドアＶＤが擬似的に固定された場合、カメラ１３の撮像方向が変化しても、仮想ドアＶＤの位置は変化しない。また、カメラ１３を平行移動させた場合、仮想ドアＶＤはカメラ１３に追従して移動しない。

【0081】

図１７は、図１６の状態からカメラ１３を左方向に平行移動させたときに表示される画像の一例を示す図である。図１７に示されるように、仮想ドアＶＤが現実空間に擬似的に固定された場合、カメラ１３が左方向に平行移動しても、仮想ドアＶＤは左方向に平行移動しない。具体的には、図１７では、カメラ１３の左方向への平行移動に応じて、実オブジェクトＲＯが画面の右方向に移動し、実オブジェクトＲＯの一部が右端に表示されている。実オブジェクトＲＯの画面内での移動に伴って、仮想ドアＶＤも画面内で右方向に移動している。画面内における実オブジェクトＲＯの移動量と仮想ドアＶＤの移動量とは同じである。これにより、仮想ドアＶＤが、現実空間内で擬似的に固定されたように見える。

【0082】

具体的には、仮想空間に固定のｖｘ－ｖｙ－ｖｚ直交座標系が設定され、所定のユーザ操作が行われた場合、仮想ドアＶＤのｖｘ－ｖｙ－ｖｚ座標値が固定される。一方、仮想カメラＶＣは、カメラ１３の移動に応じて仮想空間内を移動する。また、仮想カメラＶＣの撮像方向は、カメラ１３の撮像方向と一致するように設定される。仮想カメラＶＣはカメラ１３に追従して仮想空間内を移動したり、撮像方向を変化させたりする一方で、仮想ドアＶＤは、仮想空間内で固定される。このため、表示装置１５に表示される仮想ドアＶＤは、現実空間内で擬似的に固定されるように見える。

【0083】

仮想カメラＶＣの位置は、所定の時間間隔（例えば、１／６０秒間隔）で取得されるカメラ１３からの実画像に基づいて算出される。逐次取得される実画像に基づいて、カメラ１３の動き（移動）が算出され、カメラ１３の動き（移動）と一致するように仮想カメラＶＣの位置が設定される。なお、カメラ１３の動き（移動）は、カメラ１３からの実画像に加えて（又は代えて）、姿勢検出センサ１４からの出力に基づいて算出されてもよい。例えば、姿勢検出センサ１４から出力される加速度に基づいてカメラ１３の移動量および移動方向が算出されてもよい。そして、算出された移動量および移動方向に基づいて、仮想カメラＶＣが仮想空間内で移動されてもよい。仮想ドアＶＤが固定された場合、カメラ１３（仮想カメラＶＣ）を移動させることで、仮想カメラＶＣと仮想ドアＶＤとの相対的な位置関係が変化する。

【0084】

なお、仮想空間に固定のｖｘ－ｖｙ－ｖｚ座標系は、仮想ドアＶＤが固定されたときに仮想ドアＶＤを基準として設定されてもよい。例えば、ｖｘ－ｖｙ－ｖｚ座標系の原点が、仮想ドアＶＤの位置に設定され、ｖｙ軸は重力方向と反対方向に設定され、ｖｘ軸は、仮想ドアＶＤのｘｄ軸と平行に設定されてもよい。また、ｖｘ－ｖｙ－ｖｚ座標系は、仮想ドアＶＤが固定される前から仮想空間内に固定されてもよい。例えば、カメラ１３から実画像が取得された場合に、当該実画像と重力方向とに基づいて現実空間内の平面が検出され、当該平面上にｖｘ－ｖｙ－ｖｚ座標系の原点が設定されてもよい。重力方向と反対方向にｖｙ軸が設定され、検出された平面がｖｘ－ｖｚ平面として設定されてもよい。また、現実空間内にマーカが配置され、カメラ１３からの実画像に含まれるマーカ画像に基づいて、ｖｘ－ｖｙ－ｖｚ座標系が設定されてもよい。

【0085】

（第２仮想空間）
上述のように、仮想ドアＶＤが現実空間内で擬似的に固定された場合（仮想ドアＶＤが仮想空間内で固定された場合）、仮想ドアＶＤを基準とした第２仮想空間が生成される。

【0086】

図１８は、仮想ドアＶＤを介して見える一部の第２仮想空間の一例を示す図である。仮想ドアＶＤが固定された後、例えば、ユーザの入力装置１２に対する入力に応じて、仮想ドアＶＤは、図１６に示す閉状態（第１状態）から、図１８に示す開状態（第２状態）に変化する。仮想ドアＶＤが開状態に変化した場合、第２仮想空間ＶＳ２内を視認可能となる。図１８に示されるように、現実空間の実画像と、仮想ドアＶＤの画像と、第２仮想空間ＶＳ２の画像とが合成された画像が表示される。具体的には、図１８に示されるように、仮想ドアＶＤ以外の領域では、実空間の画像が表示され、実オブジェクトＲＯ及び床ＲＦの画像が表示される。仮想ドアＶＤの開口部には、第２仮想空間ＶＳ２を示す仮想的な部屋内の画像が表示される。第２仮想空間ＶＳ２には、仮想床ＶＦの上に仮想テーブルＶＴと仮想キャラクタＣ１とが配置される。

【0087】

図１９は、仮想ドアＶＤと仮想カメラＶＣと第２仮想空間ＶＳ２との位置関係の一例を示す図である。図１９では、第２仮想空間ＶＳ２を含む仮想空間全体を上方から見た図が示されている。

【0088】

図１９に示されるように、仮想カメラＶＣが位置Ｐ１に配置される場合において、仮想ドアＶＤが開状態である場合、図１８に示す画像が表示される。この状態では、仮想カメラＶＣは第２仮想空間ＶＳ２の外にあり、第２仮想空間ＶＳ２内を自由に移動することはできない。

【0089】

第２仮想空間ＶＳ２は、仮想ドアＶＤの位置に応じて設定される。第２仮想空間ＶＳ２は、仮想床ＶＦ、４つの仮想壁ＶＷ、及び、仮想天井によって囲まれた仮想的な部屋である。第２仮想空間ＶＳ２の外側は、仮想空間ＶＳであり、第２仮想空間ＶＳ２の内側と外側との間に、仮想ドアＶＤが位置する。第２仮想空間ＶＳ２は、現実空間の所定範囲に対応する。例えば、第２仮想空間ＶＳ２は、現実空間の数十ｃｍ～数ｍ四方の範囲に対応し、当該範囲に第２仮想空間ＶＳ２が存在するような感覚をユーザに与える。

【0090】

第２仮想空間ＶＳ２内には、仮想テーブルＶＴと、仮想キャラクタＣ１と、仮想キャラクタＣ２とが配置される。これらの他にも、様々なオブジェクト（例えば、家具オブジェクト）が第２仮想空間ＶＳ２内に配置されてもよい。第２仮想空間ＶＳ２の仮想床ＶＦは、仮想ドアＶＤに対して垂直に設定される。すなわち、仮想床ＶＦと、仮想ドアＶＤのｙｄ軸とは垂直に交わる。

【0091】

図１６又は図１８に示されるように、仮想カメラＶＣと仮想ドアＶＤとが所定距離離れた状態から、カメラ１３を撮像方向に移動させると、仮想カメラＶＣもｚ軸方向に移動し、仮想カメラＶＣが仮想ドアＶＤに近づく。仮想カメラＶＣと仮想ドアＶＤとが所定の位置条件を満たすと（仮想カメラＶＣが仮想ドアＶＤに所定距離内に近づくと）、仮想カメラＶＣは、第２仮想空間ＶＳ２内に進入可能となる。例えば、仮想カメラＶＣと仮想ドアＶＤとの距離が所定値未満であり、仮想カメラＶＣの左右方向の位置が仮想ドアＶＤの幅の範囲内であり、かつ、仮想カメラＶＣの上下方向の位置が仮想ドアＶＤの高さの範囲内である場合、仮想カメラＶＣと仮想ドアＶＤとの所定の位置条件が満たされる。すなわち、仮想カメラＶＣ（カメラ１３）が仮想ドアＶＤの位置まで近づき、かつ、仮想カメラＶＣが、上下方向にも左右方向にも仮想ドアＶＤの位置からずれていない場合は、所定の位置条件が満たされる。

【0092】

なお、仮想カメラＶＣが、仮想ドアＶＤとは異なる位置から第２仮想空間ＶＳ２に近づいても、第２仮想空間ＶＳ２内に進入することはできない。すなわち、仮想ドアＶＤの位置を通ってカメラ１３を現実空間の所定範囲内に移動させた場合は、仮想カメラＶＣは第２仮想空間ＶＳ２内に進入し、第２仮想空間ＶＳ２内の画像が表示される。しかしながら、仮想ドアＶＤ以外の位置を通ってカメラ１３を現実空間の所定範囲内に移動させた場合は、仮想カメラＶＣは第２仮想空間ＶＳ２内に入らない。この場合、カメラ１３からの実画像が表示される。

【0093】

仮想カメラＶＣが仮想ドアＶＤの位置まで到達し、さらに仮想カメラＶＣ（カメラ１３）が撮像方向に移動した場合、仮想カメラＶＣは、第２仮想空間ＶＳ２内の位置Ｐ２まで移動する。図２０は、図１９に示す位置Ｐ２に仮想カメラＶＣが配置される場合に表示される画像の一例を示す図である。

【0094】

図２０に示されるように、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入した場合、カメラ１３からの実画像は表示されず、画面全体に仮想カメラＶＣに基づく第２仮想空間ＶＳ２内の仮想画像が表示される。図２０に示される例では、仮想テーブルＶＴと、仮想キャラクタＣ１とが表示されている。この状態でさらにカメラ１３を移動させると、仮想カメラＶＣが第２仮想空間ＶＳ２内で移動する。カメラ１３の移動は、カメラ１３から逐次取得される実画像に基づいて検出される。すなわち、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入している場合、実画像は画面には表示されないものの、カメラ１３からは逐次実画像が取得され、取得された実画像に基づいてカメラ１３（スマートフォン１）の移動が検出される。また、カメラ１３の撮像方向が変化された場合、その変化に応じて仮想カメラＶＣの撮像方向も第２仮想空間ＶＳ２内で変化する。

【0095】

以上のように、本実施形態では、カメラ１３の動きに応じて仮想カメラＶＣを仮想空間内で動作させ、カメラ１３からの実画像に重畳して仮想空間内の仮想ドアＶＤを表示することで、仮想ドアＶＤが現実空間に存在するかのように表示することができる。ユーザは、所定のユーザ操作を行うことで、仮想ドアＶＤを仮想空間内で固定し、仮想ドアＶＤを現実空間に擬似的に固定することができる。また、ユーザは、仮想ドアＶＤを入り口として第２仮想空間ＶＳ２内に進入し、第２仮想空間ＶＳ２内を視認することができる。

【0096】

所定のユーザ操作が行われる前は、カメラ１３を移動させたり、カメラ１３の撮像方向を変化させたりすることで、仮想ドアＶＤを仮想空間内で移動させることができるため、ユーザは、現実空間内の所望の位置に第２仮想空間ＶＳ２内への入り口を配置することができる。

【0097】

ここで、例えば、カメラ１３（仮想カメラＶＣ）の撮像方向の所定位置に、常に仮想ドアＶＤを配置する場合、カメラ１３を上方向に向けすぎた場合には、現実空間の高い位置に仮想ドアＶＤが位置することになる。

【0098】

図２１は、制限を加えることなく仮想カメラＶＣの撮像方向に連動させて仮想ドアＶＤを移動させる場合の現実空間を横方向から見た図である。

【0099】

図２１に示されるように、θ＝０の場合には、仮想カメラＶＣの撮像方向の所定位置に仮想ドアＶＤが配置され、ユーザが表示装置１５を見た場合に、現実空間の高さＨ１の位置に仮想ドアＶＤの底面が位置しているように見える。その位置で仮想ドアＶＤが固定された場合には、高さＨ１の位置に第２仮想空間ＶＳ２の仮想床ＶＦが位置するように第２仮想空間ＶＳ２が設定される。ユーザが、カメラ１３を現実空間に擬似的に固定された仮想ドアＶＤに近づけると、第２仮想空間ＶＳ２内に仮想カメラＶＣを進入させることができ、カメラ１３を動かすことで第２仮想空間ＶＳ２内を見渡すことができる。

【0100】

一方、θが第１閾値ａよりも大きい場合において、仮想ドアＶＤの上方向への移動が制限されない場合には、仮想ドアＶＤの底面の位置は、高さＨ５になる。この場合、ユーザは、現実空間を見上げる状態となる。この状態で仮想ドアＶＤが固定された場合には、現実空間の上方向の位置に第２仮想空間ＶＳ２の仮想床ＶＦが固定されてしまう。第２仮想空間ＶＳ２の仮想床ＶＦが、ユーザの届かない位置に固定された場合は、ユーザはカメラ１３（スマートフォン１）を仮想ドアＶＤに近づけることが困難となり、第２仮想空間ＶＳ２内に仮想カメラＶＣを進入させることが困難となる。仮に、カメラ１３を、仮想ドアＶＤを通過させることができても、高い位置で第２仮想空間ＶＳ２を見渡すようにカメラ１３を移動させることは困難である。

【0101】

したがって、本実施形態では、θが第１閾値ａよりも大きい場合には、すなわち、カメラ１３の撮像方向が第１閾値ａよりも上方向を向いている場合には、仮想ドアＶＤの上方向への移動を制限する。これにより、仮想ドアＶＤが現実空間の高すぎる位置に固定されることを防止することができ、仮想カメラＶＣを第２仮想空間ＶＳ２内に進入させ、第２仮想空間ＶＳ２を見渡しやすくすることができる。

【0102】

仮想ドアＶＤが制限なく下方向に移動する場合も同様である。仮に、カメラ１３が下方向を向き過ぎている場合において、仮想ドアＶＤの下方向への移動が制限されない場合には、仮想ドアＶＤの底面は、現実空間の床よりも下側に位置してしまうことがある。この状態で仮想ドアＶＤが固定された場合には、現実空間の床よりも下の位置に第２仮想空間ＶＳ２の仮想床ＶＦが固定されてしまう。このため、ユーザがカメラ１３（スマートフォン１）を仮想ドアＶＤの位置に近づけることが不可能となり、第２仮想空間ＶＳ２内に入ることが不可能となる。

【0103】

したがって、本実施形態では、θが第２閾値－ｂよりも小さい場合には、すなわち、カメラ１３の撮像方向が第２閾値ｂよりも下方向を向いている場合には、仮想ドアＶＤの下方向への移動を制限する。これにより、仮想ドアＶＤが現実空間の床よりも低い位置に配置されることを防止することができ、第２仮想空間ＶＳ２に進入可能とすることができる。

【0104】

（スマートフォンに記憶されるデータ）
次に、スマートフォン１において記憶されるデータについて説明する。図２２は、スマートフォン１のメモリ１１において記憶されるデータの一例を示す図である。

【0105】

図２２に示されるように、スマートフォン１には、後述するフローチャートによって示される情報処理を行うためのプログラムが記憶される。また、スマートフォン１には、実画像データと、姿勢データと、仮想カメラデータと、仮想画像データと、合成画像データと、仮想ドアデータと、仮想キャラクタデータと、他オブジェクトデータとが記憶される。

【0106】

実画像データは、カメラ１３によって撮像された実画像を示すデータである。プロセッサ１０は、所定の時間間隔（例えば、１／６０秒間隔）でカメラ１３から実画像を取得し、当該実画像を示す実画像データをメモリ１１に記憶する。

【0107】

姿勢データは、現実空間におけるスマートフォン１の姿勢を表すデータであり、カメラ１３の姿勢を表すデータである。姿勢データは、姿勢検出センサ１４からの出力（例えば、加速度値及び／又は角速度値）に基づいて算出される。例えば、姿勢データは、カメラ１３の撮像方向の上下方向の回転に関するデータ（角度θ）と、左右方向の回転に関するデータ（角度φ）とを含んでもよい。

【0108】

仮想カメラデータは、仮想カメラＶＣに関するデータであり、仮想カメラＶＣの姿勢（撮像方向）を表すデータと、仮想カメラＶＣの仮想空間内での位置を表すデータとを含む。

【0109】

仮想画像データは、仮想カメラＶＣによって撮像された仮想画像を示すデータである。仮想画像は、所定の時間間隔（例えば、１／６０秒間隔）で繰り返し生成される。

【0110】

合成画像データは、実画像と仮想画像とを合成した合成画像を示すデータである。合成画像は、実画像に仮想画像を重畳することによって生成される。合成画像は、所定の時間間隔（例えば、１／６０秒間隔）で繰り返し生成される。

【0111】

仮想ドアデータは、仮想ドアＶＤに関するデータである。仮想ドアデータは、仮想ドアＶＤの姿勢を表すデータと、位置を表すデータとを含む。

【0112】

仮想キャラクタデータは、第２仮想空間ＶＳ２内に配置される仮想キャラクタＣ１及びＣ２に関するデータである。仮想キャラクタデータは、各仮想キャラクタの位置及び姿勢を表すデータを含む。他オブジェクトデータは、第２仮想空間ＶＳ２内に配置される他の仮想オブジェクト（例えば、仮想テーブルＶＴ）に関するデータであり、当該オブジェクトの位置及び姿勢を表すデータを含む。

【0113】

（スマートフォンにおける処理の詳細）
次に、スマートフォン１において行われる処理の詳細について説明する。図２３は、スマートフォン１のプロセッサ１０において実行されるメイン処理の一例を示すフローチャートである。なお、図２３に示されるメイン処理は、所定の時間間隔（例えば、１／６０秒間隔）で繰り返し実行される。

【0114】

図２３に示されるように、プロセッサ１０は、カメラ１３から実画像を取得する（ステップＳ１０１）。取得された実画像は実画像データとしてメモリ１１に記憶される。

【0115】

次にプロセッサ１０は、カメラ１３（スマートフォン１）の姿勢を取得する（ステップＳ１０２）。例えば、プロセッサ１０は、姿勢検出センサ１４が検出した加速度値及び／又は角速度値に基づいて、カメラ１３（スマートフォン１）の姿勢を算出し、姿勢データとしてメモリ１１に記憶する。

【0116】

続いて、プロセッサ１０は、仮想カメラＶＣを仮想空間に設定する（ステップＳ１０３）。具体的には、プロセッサ１０は、ステップＳ１０２で取得したカメラ１３の姿勢を仮想カメラＶＣの姿勢として設定する。なお、仮想カメラＶＣの姿勢は、カメラ１３の姿勢に追従すればよく、所定時間かけてカメラ１３の姿勢に近づくように設定されてもよい。

【0117】

次に、プロセッサ１０は、仮想ドアＶＤが固定されているか否かを判定する（ステップＳ１０４）。ステップＳ１０４では、仮想ドアＶＤが仮想空間内で固定されているか否か（すなわち、仮想ドアＶＤが現実空間内で擬似的に固定されているか否か）が判定される。後述するステップＳ２０５の処理が既に行われている場合は、ステップＳ１０４でＹＥＳと判定される。

【0118】

仮想ドアＶＤが固定されていない場合（ステップＳ１０４：ＮＯ）、プロセッサ１０は、仮想ドア固定処理を行う（ステップＳ１０５）。ステップＳ１０５の処理は、仮想ドアＶＤが仮想空間内で固定される前の処理であり、仮想ドアＶＤを固定するための処理とを含む。以下、仮想ドア固定処理の詳細について説明する。

【0119】

（仮想ドア固定処理）
図２４は、ステップＳ１０５の仮想ドア固定処理の詳細を示すフローチャートである。図２４に示されるように、プロセッサ１０は、θが第１閾値「ａ」よりも大きいか、又は、θが第２閾値「－ｂ」よりも小さいか否かを判定する（ステップＳ２０１）。ステップＳ２０１の処理は、カメラ１３の撮像方向が第１閾値ａよりも上方向を向いているか否か、又は、カメラ１３の撮像方向が第２閾値ｂよりも下方向を向いているか否かを判定する処理である。

【0120】

ステップＳ２０１でＮＯと判定した場合、プロセッサ１０は、カメラ１３に追従するように仮想ドアＶＤを配置する（ステップＳ２０２）。例えば、プロセッサ１０は、仮想カメラＶＣの位置から撮像方向に一定距離Ｄだけ離れた位置に、仮想ドアＶＤを配置する。これにより、カメラ１３が上方向に向けられた場合は、仮想ドアＶＤは上方向に移動し、カメラ１３が下方向に向けられた場合は、仮想ドアＶＤは下方向に移動する。また、カメラ１３が左右方向に向けられた場合は、仮想ドアＶＤは左右方向に移動する。また、プロセッサ１０は、仮想ドアＶＤの上方向のｙｄ軸が重力方向と反対方向を向くように、仮想ドアＶＤを配置する。なお、ステップＳ２０２において、仮想カメラＶＣの位置から撮像方向に一定距離Ｄだけ離れた位置に所定時間かけて仮想ドアＶＤが移動するように、仮想ドアＶＤが配置されてもよい。

【0121】

一方、ステップＳ２０１でＹＥＳと判定した場合、プロセッサ１０は、上下方向の位置を制限して仮想ドアＶＤを配置する（ステップＳ２０３）。例えば、θ＞ａの場合、すなわち、カメラ１３の撮像方向が第１閾値ａよりも上方向を向いている場合、プロセッサ１０は、仮想カメラＶＣの位置から、θ＝ａであると仮定したときの撮像方向に一定距離Ｄだけ離れた位置を、仮想カメラＶＣの位置として算出する。また、θ＜－ｂの場合、すなわち、カメラ１３の撮像方向が第２閾値ｂよりも下方向を向いている場合、プロセッサ１０は、仮想カメラＶＣの位置から、θ＝－ｂであると仮定したときの撮像方向に一定距離Ｄだけ離れた位置を、仮想カメラＶＣの位置として算出する。なお、ステップＳ２０３において、このように算出された位置に所定時間かけて仮想ドアＶＤが移動するように、仮想ドアＶＤが配置されてもよい。

【0122】

ステップＳ２０２又はステップＳ２０３の処理を実行した場合、プロセッサ１０は、仮想ドアＶＤを固定するための所定のユーザ操作が行われたか否かを判定する（ステップＳ２０４）。

【0123】

所定のユーザ操作が行われた場合（ステップＳ２０４：ＹＥＳ）、プロセッサ１０は、仮想ドアＶＤを現実空間内で擬似的に固定する（ステップＳ２０５）。現実空間と仮想空間とが対応付けられ、仮想ドアＶＤが仮想空間内で固定されることで、仮想ドアＶＤが現実空間において擬似的に固定される。例えば、現実空間に対応して仮想空間に固定のｖｘ－ｖｙ－ｖｚ座標系が設定されている場合、仮想ドアＶＤの位置は、ｖｘ－ｖｙ－ｖｚ座標系の座標値として表される。所定のユーザ操作が行われた時点の仮想ドアＶＤの座標値を記憶し、以後、当該座標値を更新しないようにすることで、仮想ドアＶＤが仮想空間内で固定される。また、所定のユーザ操作が行われた時点の仮想ドアＶＤの位置をｖｘ－ｖｙ－ｖｚ座標系の原点として設定してもよい。その時点で、仮想カメラＶＣのｖｘ－ｖｙ－ｖｚ座標系の座標値が定まる。以後、カメラ１３が移動した場合は、その移動に応じて仮想カメラＶＣのｖｘ－ｖｙ－ｖｚ座標系の座標値も変化されるが、ｖｘ－ｖｙ－ｖｚ座標系の原点（すなわち、仮想ドアＶＤの位置）は変化しない。

【0124】

また、ステップＳ２０５では、仮想ドアＶＤの位置を基準として、第２仮想空間ＶＳ２が設定される。具体的には、仮想ドアＶＤの底面と第２仮想空間ＶＳ２の仮想床ＶＦとの高さ方向の位置が一致するように、仮想床ＶＦが設定される。また、仮想床ＶＦは、仮想ドアＶＤと垂直となるように（仮想床ＶＦが重力と垂直になるように）設定される。また、第２仮想空間ＶＳ２内には、仮想キャラクタＣ１、Ｃ２、仮想テーブルＶＴとが配置される。なお、ステップＳ２０５において第２仮想空間ＶＳ２が設定されても、第２仮想空間ＶＳ２は透明に設定される。このため、ユーザは第２仮想空間ＶＳ２を視認することができない。

【0125】

次に、プロセッサ１０は、仮想ドアＶＤの表示態様を第１表示態様から第２表示態様に変化させる（ステップＳ２０６）。例えば、仮想ドアＶＤを破線の態様から実線の態様に変化させてもよい。また、ステップＳ２０６において、仮想ドアＶＤの色を変化させてもよいし、仮想ドアＶＤを半透明の態様から不透明の態様に変化させてもよい。

【0126】

ステップＳ２０４でＮＯと判定した場合、又は、ステップＳ２０６の処理を行った場合、プロセッサ１０は、図２４に示す処理を終了し、図２３に処理を戻す。

【0127】

図２３に戻り、仮想ドアＶＤが固定されている場合（ステップＳ１０４：ＹＥＳ）、プロセッサ１０は、仮想カメラＶＣの位置を算出する（ステップＳ１０６）。具体的には、プロセッサ１０は、カメラ１３からの実画像に基づいて、仮想カメラＶＣの仮想空間内での位置を算出する。プロセッサ１０は、カメラ１３から取得した実画像に基づいて、カメラ１３（スマートフォン１）の移動方向及び移動量を算出し、算出した移動方向及び移動量に応じて仮想カメラＶＣの位置を算出して、仮想カメラデータとして記憶する。

【0128】

次に、プロセッサ１０は、仮想ドア開閉処理を行う（ステップＳ１０７）。具体的には、プロセッサ１０は、入力装置１２からの入力に基づいて、ユーザによって仮想ドアＶＤの開閉操作が行われたか否かを判定する。例えば、プロセッサ１０は、仮想ドアＶＤがタッチされたか否かを判定する。例えば、プロセッサ１０は、仮想ドアＶＤが閉状態であるときに、仮想ドアＶＤの開閉操作が行われた場合、仮想ドアＶＤを開状態に変化させる。また、プロセッサ１０は、仮想ドアＶＤが開状態である場合に、仮想ドアＶＤの開閉操作が行われた場合、仮想ドアＶＤを閉状態に変化させる。仮想ドアＶＤが開状態になった場合、仮想ドアＶＤの開口部に対応する第２仮想空間ＶＳ２が不透明となり、当該開口部を通して第２仮想空間ＶＳ２を視認可能となる。

【0129】

次に、プロセッサ１０は、仮想カメラＶＣと仮想ドアＶＤとの位置条件が満たされているか否かを判定する。具体的には、仮想カメラＶＣと仮想ドアＶＤとの仮想空間における距離が所定値未満であり、仮想カメラＶＣの左右方向の位置が仮想ドアＶＤの幅の範囲内であり、かつ、仮想カメラＶＣの上下方向の位置が仮想ドアＶＤの高さの範囲内である場合、プロセッサ１０は、位置条件が満たされたと判定する。

【0130】

位置条件が満たされている場合（ステップＳ１０８：ＹＥＳ）、プロセッサ１０は、第２仮想空間への進入処理を行う（ステップＳ１０９）。具体的には、プロセッサ１０は、仮想カメラＶＣが第２仮想空間ＶＳ２内に存在することを示すフラグをＯＮに設定する。また、仮想カメラＶＣが第２仮想空間ＶＳ２内に配置される。また、第２仮想空間ＶＳ２内の各種仮想オブジェクト（仮想床ＶＦ、仮想壁ＶＷ、仮想天井、仮想キャラクタＣ１，Ｃ２、仮想テーブルＶＴ等）が不透明に設定される。これにより、スマートフォン１の表示装置１５には、仮想カメラＶＣから第２仮想空間ＶＳ２内を見た仮想画像が表示されることになる。仮想ドアＶＤは、第２仮想空間ＶＳ２と、外側の仮想空間ＶＳとを繋ぐ仮想オブジェクトであり、第２仮想空間ＶＳ２内からも見える。仮想カメラＶＣが第２仮想空間ＶＳ２内に入った後、仮想カメラＶＣが仮想ドアＶＤを通って第２仮想空間ＶＳ２の外に出るまで、仮想カメラＶＣは第２仮想空間ＶＳ２内に留まる。また、第２仮想空間への進入処理が行われた場合、第２仮想空間ＶＳ２の内側と外側との間には、仮想的な境界が設定される。第２仮想空間ＶＳ２は、現実空間の所定範囲に対応付けられるが、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入した後は、カメラ１３が仮想ドアＶＤ以外の位置から現実空間の所定範囲外に出ても、仮想カメラＶＣは、第２仮想空間ＶＳ２の外には出ず、仮想的な境界に留まる。このとき、仮想的な境界を撮像した仮想画像（例えば全体が黒い画像）が表示装置１５に表示される。仮想カメラＶＣが第２仮想空間ＶＳ２内に進入する前は、カメラ１３が仮想ドアＶＤ以外の位置から現実空間の所定範囲内に入っても、カメラ１３からの実画像と仮想カメラＶＣからの仮想画像とを合成した合成画像が引き続き表示される。すなわち、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入したと判定された後は、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入したと判定される前とは異なる処理が行われる。

【0131】

ステップＳ１０９の処理を行った場合、又は、ステップＳ１０８でＮＯと判定した場合、プロセッサ１０は、仮想カメラＶＣが第２仮想空間内に存在するか否かを判定する（ステップＳ１１０）。

【0132】

仮想カメラＶＣが第２仮想空間内に存在する場合（ステップＳ１１０：ＹＥＳ）、プロセッサ１０は、第２仮想空間内処理を行う（ステップＳ１１１）。ステップＳ１１１の処理は、仮想カメラＶＣが第２仮想空間ＶＳ２内に存在するときの処理であり、ステップＳ１０６で算出された仮想カメラＶＣの位置に基づいて、仮想カメラＶＣを第２仮想空間ＶＳ２内で制御する処理である。例えば、第２仮想空間ＶＳ２内において、仮想カメラＶＣが仮想ドアＶＤに近づいた場合（すなわち、仮想カメラＶＣと仮想ドアＶＤとが上記所定の位置条件を満たした場合）、仮想カメラＶＣを第２仮想空間ＶＳ２の外に出すための退去処理が行われる。退去処理では、仮想カメラＶＣが第２仮想空間ＶＳ２内に存在することを示すフラグが、ＯＦＦに設定される。退去処理が行われると、仮想カメラＶＣが第２仮想空間ＶＳ２の外に出る。仮想カメラＶＣが第２仮想空間ＶＳ２の外に出ると、仮想カメラＶＣが第２仮想空間ＶＣ２内に進入する前の状態に戻る。これにより、スマートフォン１の表示装置１５には、カメラ１３からの実画像と、仮想空間ＶＳを仮想カメラＶＣから見た仮想画像とを合成した合成画像が表示される。一方、仮想カメラＶＣが、仮想ドアＶＤ以外の第２仮想空間ＶＳ２の境界に移動した場合（カメラ１３が現実空間の上記所定範囲の境界に移動した場合）、仮想カメラＶＣの移動が制限される。具体的には、カメラ１３が現実空間の上記所定範囲を超えて移動しても、仮想カメラＶＣは第２仮想空間ＶＳ２の外に出ず、第２仮想空間ＶＳ２の内側と外側との間に設定された仮想的な境界に留められる。

【0133】

ステップＳ１１１の処理を行った場合、ステップＳ１１０でＮＯと判定した場合、又は、ステップＳ１０５の処理を行った場合、プロセッサ１０は、画像出力処理を行う（ステップＳ１１２）。具体的には、仮想カメラＶＣが第２仮想空間ＶＳ２の外（すなわち、仮想空間ＶＳ）に存在する場合、プロセッサ１０は、カメラ１３によって撮像された実画像に、仮想カメラＶＣによって撮像された仮想画像を重畳して、合成画像を生成する。そして、プロセッサ１０は、生成した合成画像を表示装置１５に出力する。また、仮想カメラＶＣが第２仮想空間ＶＳ２内に存在する場合、プロセッサ１０は、仮想カメラＶＣから第２仮想空間ＶＳ２を見た仮想画像を生成し、当該仮想画像を表示装置１５に出力する。

【0134】

なお、上記ステップＳ２０５で仮想ドアＶＤが固定された後、ユーザによって所定の解除操作が行われた場合、仮想ドアＶＤの固定が解除されてもよい。この場合、仮想ドアＶＤは、再び仮想空間内で移動可能となる。以上でプロセッサ１０は、図２３に示す処理を終了する。

【0135】

なお、上記フローチャートで示した処理は単なる例示に過ぎず、処理の順番や内容、判定に用いられて値等は適宜変更されてもよい。

【0136】

以上のように、本実施形態では、カメラ１３が移動したり、カメラ１３の撮像方向が変化したりすることに応じて、仮想空間内で仮想カメラＶＣが移動したり、仮想カメラＶＣの撮像方向が変化したりする。仮想カメラＶＣの移動や撮像方向の変化に応じて、仮想ドアＶＤが仮想空間内を移動し、所定のユーザ操作に応じて仮想ドアＶＤが固定される。

【0137】

具体的には、仮想ドアＶＤが固定される前は、カメラ１３の撮像方向が上下方向に所定の範囲である場合（－ｂ＜θ＜ａである場合）、カメラ１３（仮想カメラＶＣ）の撮像方向に連動して仮想ドアＶＤが上下方向に移動する。また、カメラ１３が前後、左右、上下方向に平行移動する場合は、仮想ドアＶＤも、仮想空間内で同じ方向に平行移動する。そして、所定のユーザ操作に応じて、仮想ドアＶＤが仮想空間内で固定される。一方、カメラ１３の撮像方向が第１閾値ａよりも上方向を向いている場合、又は、第２閾値ｂよりも下方向を向いている場合、仮想ドアＶＤは、カメラ１３の撮像方向に連動して上下方向に移動しない。

【0138】

これにより、仮想ドアＶＤを移動させて現実空間の所望の位置に擬似的に固定することができるとともに、仮想ドアＶＤが、高すぎる位置や低すぎる位置に固定されることを防止することができる。ユーザは、仮想ドアＶＤを通って第２仮想空間ＶＳ２に進入することができ、第２仮想空間ＶＳ２に入りやすくすることができる。

【0139】

また、仮想ドアＶＤの底面は、第２仮想空間ＶＳ２の仮想床ＶＦと一致し、仮想ドアＶＤと連続して第２仮想空間ＶＳ２が形成される。すなわち、仮想ドアＶＤは、仮想空間ＶＳと第２仮想空間ＶＳ２との境界に位置し、仮想ドアＶＤの現実空間における高さと、第２仮想空間ＶＳ２の現実空間における高さとは一致する。これにより、仮想ドアＶＤを第２仮想空間ＶＳ２への入り口として構成することができ、ユーザは、仮想ドアＶＤを現実空間に擬似的に固定した後、仮想ドアＶＤから第２仮想空間ＶＳ２に違和感なく進入することができる。

【0140】

また、カメラ１３を移動させることで仮想カメラＶＣを仮想ドアＶＤに近づけ、仮想カメラＶＣが、仮想ドアＶＤの位置に到達した場合に、仮想カメラＶＣが第２仮想空間ＶＳ２内に進入する。これにより、仮想ドアＶＤを通って第２仮想空間ＶＳ２内に進入することができ、現実空間にある仮想ドアＶＤから第２仮想空間ＶＳ２に入る感覚をユーザに与えることができる。

【0141】

また、仮想空間に３次元の仮想オブジェクトとしての仮想ドアＶＤが配置され、仮想ドアＶＤは、仮想空間の水平面に垂直な姿勢を維持した状態で仮想空間内で移動される。すなわち、仮想ドアＶＤは、垂直に立った状態を維持したまま仮想空間内を移動する。これにより、仮想ドアＶＤが固定された場合に、第２仮想空間ＶＳ２が斜めになることなく仮想床ＶＦを水平にすることができる。

【0142】

また、本実施形態では、仮想カメラＶＣの撮像方向の所定位置に仮想ドアＶＤが配置される。これにより、例えば現実空間の所定面（床面やテーブル面などの水平面、マーカ等の面）を検出しなくても、仮想ドアＶＤを仮想空間に配置することができる。カメラ１３が移動したり撮像方向が変化した場合でも、カメラ１３に連動して仮想ドアＶＤの位置を制御することができ、当該仮想ドアＶＤを仮想カメラＶＣで撮像した仮想画像を表示することができる。

【0143】

（変形例）
以上、本実施形態について説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。

【0144】

例えば、上記実施形態では、－ｂ＜θ＜ａの場合、すなわち、水平面に対するカメラ１３の撮像方向の角度θが－ｂよりも大きく、かつ、ａよりも小さい場合、仮想カメラＶＣの撮像方向と仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが一致するようにこれらを連動させた。具体的には、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向を設定するとともに、仮想ドアＶＤを上下方向に移動させた。他の実施形態では、－ｂ＜θ＜ａの場合、仮想カメラＶＣの撮像方向と上記仮想オブジェクト方向とが第１連動度で連動するように、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向と、仮想ドアＶＤの上下方向の位置とを設定してもよい。ここで、２つの方向が「第１連動度で連動する」とは、２つの方向が常に完全に一致する場合を含む。この場合、仮想カメラＶＣの撮像方向が変化した場合、その変化量と同じ量だけ上記仮想オブジェクト方向が変化する。また、２つの方向が「第１連動度で連動する」とは、２つの方向が常に完全には一致しないが、所定時間かけて２つの方向が一致する場合を含む。また、２つの方向が「第１連動度で連動する」とは、２つの方向が完全に一致しない場合も含んでもよい。また、２つの方向が「第１連動度で連動する」とは、仮想カメラＶＣの撮像方向と上記仮想オブジェクト方向とが全く変化しない場合も含む。

【0145】

また、上記実施形態では、θ＜－ｂ、又は、θ＞ａの場合、カメラ１３の撮像方向の変化に応じて、仮想ドアＶＤを移動させないようにした。他の実施形態では、θ＜－ｂ、又は、θ＞ａの場合、仮想カメラＶＣの撮像方向と仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが、第１連動度よりも小さい第２連動度で連動するように、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向と、仮想ドアＶＤの上下方向の位置とを設定してもよい。例えば、θ＜－ｂ、又は、θ＞ａの場合でも、仮想ドアＶＤを移動させてもよい。ここで、「仮想カメラＶＣの撮像方向と仮想オブジェクト方向とが、第１連動度よりも小さい第２連動度で連動する」とは、－ｂ＜θ＜ａの場合と比較して、カメラ１３の撮像方向が変化した場合に、表示装置１５から視認される仮想ドアＶＤが現実空間内で全く動かないように見えること、仮想ドアＶＤの動く範囲が小さくなること、仮想ドアＶＤの動く速度が小さくなること等を含む。ここで、「仮想カメラＶＣの撮像方向と仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが、第１連動度よりも小さい第２連動度で連動する」とは、仮想カメラＶＣの撮像方向が変化した場合に、上記仮想オブジェクト方向が全く変化しないこと、すなわち、仮想カメラＶＣの撮像方向が変化しても、仮想ドアＶＤの位置が変化しないことを含む。また、「仮想カメラＶＣの撮像方向と上記仮想オブジェクト方向とが、第１連動度よりも小さい第２連動度で連動する」とは、仮想カメラＶＣの撮像方向が変化した場合に、－ｂ＜θ＜ａの場合と比較して、上記仮想オブジェクト方向の変化の度合いが小さくなる（仮想ドアＶＤの移動量が小さくなる）ことを含む。例えば、θ＞ａの場合において、カメラ１３が上方向に１０度変化した場合、仮想カメラＶＣの撮像方向も上方向に１０度変化するが、上記仮想オブジェクト方向は、１０度よりも小さい角度（例えば、５度）しか変化しなくてもよい（この場合、仮想ドアＶＤは、上方向に「５度」に相当する距離だけ移動する）。

【0146】

また、上記実施形態では、カメラ１３の撮像方向と仮想カメラＶＣの撮像方向とを一致させることを前提として、カメラ１３（仮想カメラＶＣ）の撮像方向を示す角度θに応じて、仮想ドアＶＤの位置を仮想空間内で制御した。他の実施形態では、カメラ１３の撮像方向を示す角度θが、－ｂ＜θ＜ａを満たす場合には、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向および仮想ドアＶＤの位置を変化させないようにしてもよい。また、θ＜－ｂ、又は、θ＞ａの場合には、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向および仮想ドアＶＤの位置の何れか一方のみを変化させてもよい。このように制御することで、カメラ１３が上方向又は下方向を向き過ぎていない場合には（－ｂ＜θ＜ａの場合には）、仮想カメラＶＣの撮像方向と、仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが一致し、カメラ１３の撮像方向の上下方向の変化に追従して仮想ドアＶＤが上下方向に動いているように見える。一方、カメラ１３が上方向又は下方向を向き過ぎている場合には（θ＜－ｂ、又は、θ＞ａの場合には）、仮想カメラＶＣの撮像方向と仮想オブジェクト方向とが一致せず、カメラ１３の撮像方向の上下方向の変化に追従せずに、仮想ドアＶＤが上下方向に動かないように見える。

【0147】

また、上記実施形態では、カメラ１３の姿勢と仮想カメラＶＣの姿勢とが一致するように、仮想カメラＶＣの姿勢を設定した。－ｂ＜θ＜ａの場合には、カメラ１３の撮像方向に応じて、仮想カメラＶＣの撮像方向を設定するとともに、仮想ドアＶＤを移動させることで、仮想カメラＶＣの撮像方向と仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが連動するようにした。他の実施形態では、－ｂ＜θ＜ａの場合において、カメラ１３の撮像方向が変化した場合に、仮想ドアＶＤを移動させずに、仮想カメラＶＣの撮像方向を変化させるとともに、仮想カメラＶＣの位置を変化させてもよい。この場合、仮想カメラＶＣと仮想ドアＶＤとの相対的な位置関係は変化せず、仮想カメラＶＣの撮像方向と仮想オブジェクト方向とは変化しない。このため、カメラ１３の撮像方向が変化した場合に、カメラ１３の動きに追従して仮想ドアＶＤが動くように見える。また、－ｂ＜θ＜ａの場合において、カメラ１３の撮像方向が変化した場合に、仮想カメラＶＣの撮像方向と仮想ドアＶＤの位置の両方を変化させてもよい。すなわち、－ｂ＜θ＜ａの場合において、カメラ１３の撮像方向が変化した場合に、仮想カメラＶＣの撮像方向と仮想カメラＶＣから仮想ドアＶＤへの方向である仮想オブジェクト方向とが連動するように、仮想カメラＶＣの撮像方向及び仮想ドアＶＤの位置の少なくとも何れか一方を制御してもよい。

【0148】

また、上記実施形態では、仮想ドアＶＤが擬似的に固定されていない場合、現実空間におけるカメラ１３の移動に応じて、仮想カメラＶＣを仮想空間内において移動させるとともに、仮想ドアＶＤを仮想空間内で移動させた。これにより、仮想ドアＶＤが擬似的に固定されていない場合、仮想カメラＶＣと仮想ドアＶＤとが一定距離Ｄを保つようにした。他の実施形態では、仮想ドアＶＤが擬似的に固定されていない場合、カメラ１３が移動しても、仮想カメラＶＣ及び仮想ドアＶＤを仮想空間内で移動させず、仮想カメラＶＣと仮想ドアＶＤとの距離を一定に保ってもよい。

【0149】

また、上記実施形態では、現実空間におけるカメラ１３の移動に応じて、仮想カメラＶＣを仮想空間内において移動させることを前提として、仮想空間内で仮想ドアＶＤを固定することで、仮想ドアＶＤを現実空間において擬似的に固定した。他の実施形態では、カメラ１３が移動した場合に、仮想空間内で仮想カメラＶＣを固定したまま仮想ドアＶＤを移動させることで、仮想ドアＶＤを現実空間において擬似的に固定してもよい。例えば、カメラ１３が左方向に移動した場合、同じ移動量だけ仮想ドアＶＤを仮想空間内で右方向に移動させることで、仮想ドアＶＤを基準として仮想カメラＶＣが相対的に左方向に移動することになる。このとき、表示装置１５に表示される合成画像における仮想ドアＶＤは、画面内で右方向に移動する。このように、カメラ１３が移動した場合に仮想ドアＶＤを仮想空間内で移動させても、ユーザに、仮想ドアＶＤが現実空間の所定位置に固定されているように認識させることができる。また、カメラ１３が移動した場合に、仮想カメラＶＣ及び仮想ドアＶＤの両方を移動させてもよい。また、カメラ１３の撮像方向が変化した場合、仮想ドアＶＤを移動させることで、仮想ドアＶＤが現実空間に固定されているように見せてもよい。例えば、カメラ１３を正面から右方向に向けた場合、仮想空間内で仮想カメラＶＣから見て仮想ドアＶＤが左方向に移動するように、仮想ドアＶＤを左方向に移動させてもよい。また、カメラ１３を正面から右方向に向けた場合、仮想空間内で仮想カメラＶＣから見て仮想ドアＶＤが左方向に移動するように、仮想ドアＶＤを固定したまま仮想カメラＶＣを右方向に向けてもよい。この場合、カメラ１３の撮像方向の右方向への変化に応じて、表示装置１５に表示される仮想ドアＶＤは左方向に移動するため、仮想ドアＶＤが現実空間に固定されているように見える。すなわち、表示装置１５に表示される合成画像から視認される仮想ドアＶＤが、現実空間において擬似的に固定されるように、カメラ１３の位置又は撮像方向に応じて、仮想カメラの位置、撮像方向、及び、仮想ドアＶＤの位置の少なくとも何れか１つを制御してもよい。

【0150】

なお、仮想ドアＶＤが現実空間において擬似的に固定された後であっても、仮想ドアＶＤは、多少仮想空間内で動いてもよい。例えば、仮想ドアＶＤが現実空間において擬似的に固定された後でも、カメラ１３の手振れを補正するために、カメラ１３の僅かな移動に応じて仮想ドアＶＤを仮想空間内で僅かに移動させてもよい。

【0151】

また、上記実施形態では、カメラ１３の撮像方向が第１閾値よりも上方向を向いている場合と、カメラ１３の撮像方向が第２閾値よりも下方向を向いている場合の両方で、上記制限（仮想ドアＶＤの上下方向への移動の制限）を行った。他の実施形態では、カメラ１３の撮像方向が第１閾値よりも上方向を向いている場合と、カメラ１３の撮像方向が第２閾値よりも下方向を向いている場合の少なくとも何れか一方の場合において、上記制限を行ってもよい。

【0152】

また、他の実施形態では、仮想ドアＶＤに限らず、任意の仮想オブジェクトが仮想空間内に配置され、当該仮想オブジェクトについて、上述した仮想ドアＶＤと同様の処理が行われてもよい。

【0153】

すなわち、情報処理システムは、カメラによって現実空間を逐次撮像した実画像と、仮想空間に配置された仮想カメラによって仮想オブジェクトを逐次撮像した仮想画像とが合成された合成画像を生成し、当該合成画像を表示装置に出力する。第１制御状態において、仮想カメラの撮像方向と当該仮想カメラから仮想オブジェクトへの方向である仮想オブジェクト方向とが第１連動度で連動するように、カメラの撮像方向に応じて、仮想カメラの撮像方向および仮想オブジェクトの位置の少なくとも何れか一方が制御されてもよい。また、ユーザ操作に基づいて、第１制御状態から第２制御状態に変更され、第２制御状態において、合成画像から視認される仮想オブジェクトが現実空間に擬似的に固定されるように、カメラの位置又は撮像方向に応じて、仮想カメラの位置、撮像方向、及び、仮想オブジェクトの位置の少なくとも何れか１つが制御されてもよい。そして、カメラの撮像方向が第１閾値よりも上方向、または、第２閾値よりも下方向を向いている場合には、仮想カメラの撮像方向と上記仮想オブジェクト方向とが第１連動度よりも小さい第２連動度で連動するように、仮想カメラおよび仮想オブジェクトの少なくとも何れか一方が制御されてもよい。

【0154】

また、上記実施形態では、仮想ドアＶＤが固定されている場合において、仮想カメラＶＣが仮想ドアＶＤの位置まで移動した場合に、進入処理を行った。他の実施形態では、仮想カメラＶＣの位置と、仮想オブジェクトの位置とに関する所定の位置条件が満たされる場合に、上記進入処理が行われてもよい。

【0155】

また、上記実施形態では、進入処理は、仮想カメラＶＣが仮想ドアＶＤを通って第２仮想空間ＶＳ２内に進入したと判定する処理であり、仮想カメラＶＣが第２仮想空間ＶＳ２内に存在することを示すフラグをＯＮに設定する処理を含む。他の実施形態では、仮想カメラＶＣの位置と、仮想オブジェクトの位置とに関する所定の位置条件が満たされる場合に、上述した進入処理に限らず、仮想オブジェクトに関するイベント処理が行われてもよい。「仮想オブジェクトに関するイベント処理」は、上記フラグをＯＮにする処理、仮想カメラＶＣを第２仮想空間ＶＳ２内に進入させて第２仮想空間ＶＳ２内を表示させる処理、第２仮想空間ＶＳ２の内側と外側との間に仮想的な境界を設定する処理、仮想オブジェクトを基準とした第２仮想空間ＶＳ２を生成する処理、仮想カメラＶＣが仮想オブジェクト以外の位置から第２仮想空間ＶＳ２の外に出ることを制限する処理等を含んでもよい。また、「仮想オブジェクトに関するイベント処理」は、仮想オブジェクトの表示態様が変化する処理、仮想オブジェクトと他のオブジェクトとが所定の位置関係となる処理（例えば、仮想オブジェクトに他のオブジェクトが接触する処理）等であってもよい。

【0156】

また、上記実施形態では、第２仮想空間ＶＳ２は、仮想ドアＶＤを通して進入可能な小さな部屋であり、当該第２仮想空間内に仮想キャラクタが存在するものとした。他の実施形態では、第２仮想空間ＶＳ２は、任意の空間でもよく、例えば、地球上の特定の場所や宇宙空間等を表す仮想空間であってもよい。

【0157】

また、上記実施形態では、加速度センサ及び／又は角速度センサを用いて、カメラ１３（スマートフォン１）の姿勢を検出し、カメラ１３からの実画像に基づいて、カメラ１３の位置を検出した。そして、検出したカメラ１３の位置および姿勢に応じて、仮想カメラＶＣの位置および姿勢を設定した。他の実施形態では、別の方法により、カメラ１３（スマートフォン１）の位置および姿勢を検出してもよい。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いてカメラ１３の位置を検出し、地磁気センサを用いてカメラ１３の姿勢（撮像方向）を検出してもよい。また、カメラ１３によって撮像された実画像に基づいて、カメラ１３の位置および姿勢を検出してもよい。例えば、カメラ１３によって撮像された実画像からマーカを検出し、マーカの検出結果に基づいてカメラ１３の位置および姿勢を検出してもよい。また、スマートフォン１に固定されたカメラ１３に限らず、外部のカメラでスマートフォン１を撮像することで、スマートフォン１の位置や姿勢を検出してもよい。

【0158】

また、上記実施形態では、カメラ１３で現実空間を逐次撮像した実画像と、仮想カメラＶＣで仮想空間を逐次撮像した仮想画像とを合成した合成画像を表示装置１５に表示するものとした。他の実施形態では、表示装置はビデオシースルー型の表示装置であってもよい。ユーザは、透過型の表示装置を介して現実空間を視認するとともに、透過型の表示装置に表示された仮想画像を視認する。このように透過型の表示装置を用いて、ユーザに現実空間と仮想画像とを合成した合成画像を視認させてもよい。

【0159】

また、上記実施形態では、カメラと表示装置と上述した処理を行うプロセッサとが一体となったスマートフォン１が用いられた。スマートフォン１は、情報処理システムの単なる一例である。例えば、カメラと表示装置とプロセッサとがそれぞれ分離された情報処理システムが用いられてもよい。また、カメラ及びプロセッサが一体となった装置と、当該装置とは別体の表示装置とによって、情報処理システムが構成されてもよい。また、カメラ及び表示装置が一体となった装置と、当該装置とは別体のプロセッサを有する装置とによって、情報処理システムが構成されてもよい。また、カメラ、表示装置、プロセッサがネットワーク（ＬＡＮやインターネット等）を介して接続されて、情報処理システムが構成されてもよい。

【0160】

また上記実施形態及びその変形例に係る構成は、互いに矛盾しない限り、任意に組み合わせることが可能である。また、上記は本発明の例示に過ぎず、上記以外にも種々の改良や変形が加えられてもよい。

【符号の説明】

【0161】

１ スマートフォン
１０ プロセッサ
１３ カメラ
１４ 姿勢検出センサ
１５ 表示装置
ＶＣ 仮想カメラ
ＶＤ 仮想ドア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】