特開2024-91707画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024091707
(43)【公開日】2024-07-05
(54)【発明の名称】画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240628BHJP
G09G 5/00 20060101ALI20240628BHJP
G09G 5/38 20060101ALI20240628BHJP
G06T 19/00 20110101ALI20240628BHJP
【ＦＩ】
G06F3/01 510
G09G5/00 550C
G09G5/38 100
G06T19/00 A
【審査請求】有
【請求項の数】33
【出願形態】ＯＬ
(21)【出願番号】P 2024062788
(22)【出願日】2024-04-09
(62)【分割の表示】P 2023099844の分割
【原出願日】2019-03-20
(71)【出願人】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
(74)【代理人】
【識別番号】100158780
【弁理士】
【氏名又は名称】寺本 亮
(74)【代理人】
【識別番号】100121359
【弁理士】
【氏名又は名称】小沢 昌弘
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】小野沢 祐貴
(72)【発明者】
【氏名】清水 大悟
(72)【発明者】
【氏名】河合 健太朗
(57)【要約】
【課題】仮想空間に配置されたオブジェクトの操作性を向上させることが可能な画像表示システムを提供する。
【解決手段】画像表示システムの一例は、表示部を有するゴーグル装置を含む。仮想空間に、仮想カメラとユーザインターフェイスが配置される。ゴーグル装置の姿勢に応じて仮想空間内の仮想カメラの姿勢が制御される。例えば、仮想カメラの視線が、ヨー方向における左方向に回転した後、右方向に反転した場合、当該右方向への変化量が所定値以上になったときに、ユーザインターフェイスを仮想カメラの正面に移動させる。
【選択図】図１０
【解決手段】画像表示システムの一例は、表示部を有するゴーグル装置を含む。仮想空間に、仮想カメラとユーザインターフェイスが配置される。ゴーグル装置の姿勢に応じて仮想空間内の仮想カメラの姿勢が制御される。例えば、仮想カメラの視線が、ヨー方向における左方向に回転した後、右方向に反転した場合、当該右方向への変化量が所定値以上になったときに、ユーザインターフェイスを仮想カメラの正面に移動させる。
【選択図】図１０
【特許請求の範囲】
【請求項1】
ゴーグル装置と、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段と、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、画像表示システム。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段と、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、画像表示システム。
【請求項2】
前記仮想カメラの回転量を算出する算出手段をさらに備え、
前記制御手段は、
少なくとも前記検知手段によって前記変化が検知されたこと、および、前記回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１に記載の画像表示システム。
前記制御手段は、
少なくとも前記検知手段によって前記変化が検知されたこと、および、前記回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１に記載の画像表示システム。
【請求項3】
前記制御手段は、前記検知手段によって前記変化が検知された場合において、当該検知された後の前記回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項２に記載の画像表示システム。
【請求項4】
前記算出手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量を算出し、
前記制御手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項２又は３に記載の画像表示システム。
前記制御手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項２又は３に記載の画像表示システム。
【請求項5】
前記制御手段は、前記検知手段によって前記変化が検知された場合において、前記他方向及び／又は前記一方向への回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項４に記載の画像表示システム。
【請求項6】
前記制御手段は、前記検知手段によって前記変化が検知された後の前記他方向及び／又は前記一方向への回転量の累積値が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項５に記載の画像表示システム。
【請求項7】
前記算出手段は、前記所定の回転方向における前記一方向への第１回転量、および、前記所定の回転方向における前記他方向への第２回転量を算出し、
前記第１回転量と前記第２回転量とを比較する比較手段をさらに備え、
前記検知手段は、前記比較手段の比較結果に基づいて、前記変化を検知する、請求項２から６の何れかに記載の画像表示システム。
前記第１回転量と前記第２回転量とを比較する比較手段をさらに備え、
前記検知手段は、前記比較手段の比較結果に基づいて、前記変化を検知する、請求項２から６の何れかに記載の画像表示システム。
【請求項8】
前記検知手段は、前記第１回転量および前記第２回転量のうちの小さい方に基づいて、前記変化を検知する、請求項７に記載の画像表示システム。
【請求項9】
前記算出手段は、前記第１回転量の累積値、および、前記第２回転量の累積値を算出し、
前記検知手段は、前記第１回転量の累積値、および、前記第２回転量の累積値のうちの小さい方に基づいて、前記変化を検知する、請求項７に記載の画像表示システム。
前記検知手段は、前記第１回転量の累積値、および、前記第２回転量の累積値のうちの小さい方に基づいて、前記変化を検知する、請求項７に記載の画像表示システム。
【請求項10】
前記カメラ回転手段は、
少なくとも、前記仮想カメラの撮像範囲内に前記オブジェクトの少なくとも一部が位置する第１姿勢、および、前記仮想カメラの撮像範囲外に前記オブジェクトが位置する第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第２姿勢に近づく方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から９の何れかに記載の画像表示システム。
少なくとも、前記仮想カメラの撮像範囲内に前記オブジェクトの少なくとも一部が位置する第１姿勢、および、前記仮想カメラの撮像範囲外に前記オブジェクトが位置する第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第２姿勢に近づく方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から９の何れかに記載の画像表示システム。
【請求項11】
前記カメラ回転手段は、
少なくとも、前記仮想カメラが前記オブジェクトを向く第１姿勢、および、前記仮想カメラが前記オブジェクトを向かない第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第１姿勢から離れる方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から９の何れかに記載の画像表示システム。
少なくとも、前記仮想カメラが前記オブジェクトを向く第１姿勢、および、前記仮想カメラが前記オブジェクトを向かない第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第１姿勢から離れる方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から９の何れかに記載の画像表示システム。
【請求項12】
前記検知手段は、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転したとき、前記変化を検知し、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転することなく前記一方向に回転しているとき、又は、前記仮想カメラの視線が回転していないとき、前記変化を検知せず、
前記制御手段は、前記変化が検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行い、前記変化が検知されていない場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行わない、請求項１０又は１１に記載の画像表示システム。
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転したとき、前記変化を検知し、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転することなく前記一方向に回転しているとき、又は、前記仮想カメラの視線が回転していないとき、前記変化を検知せず、
前記制御手段は、前記変化が検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行い、前記変化が検知されていない場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行わない、請求項１０又は１１に記載の画像表示システム。
【請求項13】
前記第２姿勢は、前記仮想カメラの視線の左右方向に前記オブジェクトが存在する姿勢である、請求項１０から１２の何れかに記載の画像表示システム。
【請求項14】
前記所定の回転方向は、前記仮想空間におけるヨー方向である、請求項１から１３の何れかに記載の画像表示システム。
【請求項15】
前記カメラ回転手段は、前記仮想カメラの視線を、前記所定の回転方向と直交する第２の回転方向に回転させることが可能であり、
前記検知手段は、さらに、前記仮想カメラの視線が前記第２の回転方向における一方向から他方向に変化したことを検知する、請求項１から１４の何れかに記載の画像表示システム。
前記検知手段は、さらに、前記仮想カメラの視線が前記第２の回転方向における一方向から他方向に変化したことを検知する、請求項１から１４の何れかに記載の画像表示システム。
【請求項16】
前記所定の回転方向は、前記仮想空間におけるピッチ方向である、請求項１から１５の何れかに記載の画像表示システム。
【請求項17】
前記オブジェクトは、ユーザが操作可能なユーザインターフェイスである、請求項１から１６の何れかに記載の画像表示システム。
【請求項18】
前記ユーザインターフェイスを指示するポインタを設定するポインタ設定手段をさらに備え、
前記検知手段は、前記ユーザインターフェイスを基準とする所定の領域に前記ポインタがない場合、前記変化を検知する、請求項１７に記載の画像表示システム。
前記検知手段は、前記ユーザインターフェイスを基準とする所定の領域に前記ポインタがない場合、前記変化を検知する、請求項１７に記載の画像表示システム。
【請求項19】
前記検知手段は、前記所定の領域に前記ポインタがない場合、前記所定の回転方向における前記一方向および前記他方向の回転の変化量を算出する、請求項１８に記載の画像表示システム。
【請求項20】
前記検知手段は、前記ポインタが前記所定の領域に入った場合、前記変化量をリセットする、請求項１９に記載の画像表示システム。
【請求項21】
前記一方向は、前記ポインタが前記所定の領域から離れる方向であり、
前記検知手段は、前記ポインタが前記所定の領域から離れる方向への移動中に前記ポインタの移動方向が反転した場合に、前記変化を検知する、請求項１８から２０の何れかに記載の画像表示システム。
前記検知手段は、前記ポインタが前記所定の領域から離れる方向への移動中に前記ポインタの移動方向が反転した場合に、前記変化を検知する、請求項１８から２０の何れかに記載の画像表示システム。
【請求項22】
前記検知手段は、前記オブジェクトを基準とした前記仮想カメラの視線が所定の角度である場合に、前記変化を検知する、請求項１から２１の何れかに記載の画像表示システム。
【請求項23】
前記仮想カメラの姿勢に応じて前記オブジェクトを選択する選択手段をさらに備え、
前記制御手段は、前記選択手段によって前記オブジェクトが選択されていない場合に、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２２の何れかに記載の画像表示システム。
前記制御手段は、前記選択手段によって前記オブジェクトが選択されていない場合に、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２２の何れかに記載の画像表示システム。
【請求項24】
前記検知手段によって前記変化が検知されていない場合でも、ユーザによる所定の操作に応じて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動又は前記仮想カメラの制御を行う第２制御手段をさらに備える、請求項１から２３の何れかに記載の画像表示システム。
【請求項25】
前記検知手段は、前記仮想カメラの視線の前記一方向から前記他方向への反転、および、前記他方向から前記一方向への反転の回数が所定回数になったことを検知し、
前記制御手段は、前記検知手段によって前記反転の回数が所定回数になったことが検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２４の何れかに記載の画像表示システム。
前記制御手段は、前記検知手段によって前記反転の回数が所定回数になったことが検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２４の何れかに記載の画像表示システム。
【請求項26】
ゴーグル装置の表示部に画像を表示させる装置のプロセッサにおいて実行される画像表示プログラムであって、前記プロセッサを、
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段、および、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段、として機能させる、画像表示プログラム。
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段、および、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段、として機能させる、画像表示プログラム。
【請求項27】
ゴーグル装置の表示部に画像を表示させる表示制御装置であって、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段と、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、表示制御装置。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知手段と、
前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、表示制御装置。
【請求項28】
ゴーグル装置を含む画像表示システムにおいて行われる画像表示方法であって、前記画像表示システムに、
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知ステップと、
前記検知ステップで前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御ステップと、を実行させる、画像表示方法。
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する検知ステップと、
前記検知ステップで前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御ステップと、を実行させる、画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示することが可能な画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法に関する。
【背景技術】
【0002】
先行技術として、仮想空間にオブジェクトを配置し、仮想空間内を移動しつつ、仮想カメラの視線をオブジェクトに向けることでオブジェクトを表示させる画像表示システムがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－２３５４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記先行技術ではオブジェクトを表示させるために、例えばユーザが仮想カメラの視線をオブジェクトに向ける操作を行う必要がある場合があり、オブジェクトの操作性を向上させるという観点では改善の余地があった。
【0005】
それ故、本発明の目的は、仮想空間に配置されたオブジェクトの操作性を向上させることが可能な画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法を提供することである。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明は、以下の構成を採用した。
【0007】
本発明の画像表示システムは、ゴーグル装置と、配置手段と、表示制御手段と、姿勢取得手段と、カメラ回転手段と、検知手段と、制御手段と、を備える。表示制御手段は、仮想空間にオブジェクトを配置する。オブジェクト配置手段は、前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる。姿勢取得手段は、前記ゴーグル装置の姿勢を取得する。カメラ回転手段は、前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させる。検知手段は、前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する。制御手段は、前記検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う。
【0008】
上記によれば、仮想カメラの視線が所定の回転方向における一方向から他方向に変化した場合、オブジェクトを移動させたり仮想カメラを制御することで、オブジェクトを仮想カメラの撮像範囲内に位置するようにすることができる。これにより、ゴーグル装置を用いて仮想空間を見る場合においてオブジェクトの操作性を向上させることができる。
【0009】
また、他の構成では、前記画像表示システムは、前記仮想カメラの回転量を算出する算出手段をさらに備えてもよい。前記制御手段は、少なくとも前記検知手段によって前記変化が検知されたこと、および、前記回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0010】
上記によれば、検知手段によって一方向から他方向への変化が検知されたことに加えて、仮想カメラの回転量に基づいて前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0011】
また、他の構成では、前記制御手段は、前記検知手段によって前記変化が検知された場合において、当該検知された後の前記回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0012】
上記によれば、仮想カメラの視線が所定の回転方向における一方向から他方向に変化した後の仮想カメラの回転量に基づいて、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0013】
また、他の構成では、前記算出手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量を算出してもよい。前記制御手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0014】
上記によれば、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動又は前記仮想カメラの制御を行うことができる。これにより、例えば誤検知によりオブジェクトの移動及び／又は前記仮想カメラの制御をしてしまうことを防止することができる。
【0015】
また、他の構成では、前記制御手段は、前記検知手段によって前記変化が検知された場合において、前記他方向及び／又は前記一方向への回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0016】
上記によれば、仮想カメラの視線が所定の回転方向における一方向から他方向に変化した場合において、当該他方向及び／又は前記一方向への回転量が所定値以上になった場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。これにより、例えば誤検知によりオブジェクトの移動及び／又は前記仮想カメラの制御をしてしまうことを防止することができる。
【0017】
また、他の構成では、前記制御手段は、前記検知手段によって前記変化が検知された後の前記他方向及び／又は前記一方向への回転量の累積値が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0018】
上記によれば、仮想カメラの視線が一方向から他方向に変化した場合において、他方向への変化量の累積値が所定値以上になった場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。これにより、例えば誤検知によりオブジェクトの移動及び／又は前記仮想カメラの制御をしてしまうことを防止することができる。
【0019】
また、他の構成では、前記算出手段は、前記所定の回転方向における前記一方向への第１回転量、および、前記所定の回転方向における前記他方向への第２回転量を算出してもよい。前記画像表示システムは、前記第１回転量と前記第２回転量とを比較する比較手段をさらに備えてもよい。前記検知手段は、前記比較手段の比較結果に基づいて、前記変化を検知してもよい。
【0020】
上記によれば、一方向への回転量と他方向への回転量とを比較することで、仮想カメラの視線の一方向から他方向への変化を検知することができ、簡易な方法で前記変化を検知することができる。
【0021】
また、他の構成では、前記検知手段は、前記第１回転量および前記第２回転量のうちの小さい方に基づいて、前記変化を検知してもよい。
【0022】
上記によれば、簡易な計算で前記変化を検知することができる。
【0023】
また、他の構成では、前記算出手段は、前記第１回転量の累積値、および、前記第２回転量の累積値を算出してもよい。前記検知手段は、前記第１回転量の累積値、および、前記第２回転量の累積値のうちの小さい方に基づいて、前記変化を検知してもよい。
【0024】
上記によれば、前記所定の回転方向における一方向から他方向に変化したことを検知することができる。
【0025】
また、他の構成では、前記カメラ回転手段は、少なくとも、前記仮想カメラの撮像範囲内に前記オブジェクトの少なくとも一部が位置する第１姿勢、および、前記仮想カメラの撮像範囲外に前記オブジェクトが位置する第２姿勢となるように、前記仮想カメラを回転させてもよい。前記一方向は、前記仮想カメラが前記第２姿勢に近づく方向であり、前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向であってもよい。
【0026】
上記によれば、仮想カメラの撮像範囲内に前記オブジェクトが含まれるように仮想カメラを回転させた場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0027】
また、他の構成では、前記カメラ回転手段は、少なくとも、前記仮想カメラが前記オブジェクトを向く第１姿勢、および、前記仮想カメラが前記オブジェクトを向かない第２姿勢となるように、前記仮想カメラを回転させてもよい。前記一方向は、前記仮想カメラが前記第１姿勢から離れる方向であり、前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向であってもよい。
【0028】
上記によれば、仮想カメラがオブジェクトを向くように仮想カメラを回転させた場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0029】
また、他の構成では、前記検知手段は、前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転したとき、前記変化を検知し、前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転することなく前記一方向に回転しているとき、又は、前記仮想カメラの視線が回転していないとき、前記変化を検知しなくてもよい。前記制御手段は、前記変化が検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行い、前記変化が検知されていない場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行わないようにしてもよい。
【0030】
上記によれば、仮想カメラが第２姿勢（撮像範囲外にオブジェクトが位置する姿勢、仮想カメラがオブジェクトを向かない姿勢）である場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。また、仮想カメラが第２姿勢である場合において、仮想カメラの視線が他方向に回転した場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0031】
また、他の構成では、前記第２姿勢は、前記仮想カメラの視線の左右方向に前記オブジェクトが存在する姿勢であってもよい。
【0032】
上記によれば、仮想カメラの視線がオブジェクトに対して左右方向を向いている場合において、前記変化を検知した場合、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0033】
また、他の構成では、前記所定の回転方向は、前記仮想空間におけるヨー方向であってもよい。
【0034】
上記によれば、仮想カメラの視線がヨー方向における一方向（例えば左方向）から他方向（例えば右方向）に変化したことを検知し、当該変化を検知したことに基づいて、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0035】
また、他の構成では、前記カメラ回転手段は、前記仮想カメラの視線を、前記所定の回転方向と直交する第２の回転方向に回転させることが可能であってもよい。前記検知手段は、さらに、前記仮想カメラの視線が前記第２の回転方向における一方向から他方向に変化したことを検知してもよい。
【0036】
上記によれば、所定の回転方向に加えて、第２の回転方向に関して一方向から他方向への変化を検知することができ、当該変化を検知したことに基づいて、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0037】
また、他の構成では、前記所定の回転方向は、前記仮想空間におけるピッチ方向であってもよい。
【0038】
上記によれば、仮想カメラの視線がピッチ方向における一方向（例えば上方向）から他方向（例えば下方向）に変化したことを検知し、当該変化を検知したことに基づいて、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0039】
また、他の構成では、前記オブジェクトは、ユーザが操作可能なユーザインターフェイスであってもよい。
【0040】
上記によれば、ユーザインターフェイスが前記仮想カメラの撮像範囲内に位置するように、例えばユーザインターフェイスを移動させることができる。これにより、ユーザインターフェイスの操作性を向上させることができる。
【0041】
また、他の構成では、前記画像表示システムは、前記ユーザインターフェイスを指示するポインタを設定するポインタ設定手段をさらに備えてもよい。前記検知手段は、前記ユーザインターフェイスを基準とする所定の領域に前記ポインタがない場合、前記変化を検知してもよい。
【0042】
上記によれば、例えば、ユーザインターフェイスの表示領域にポインタが位置しない場合に、前記変化を検知することができる。これにより、例えば、ユーザインターフェイスの表示領域にポインタが位置する場合は、前記変化を検知したことに基づいてユーザインターフェイスを移動させないようにすることができ、操作性を向上させることができる。
【0043】
また、他の構成では、前記検知手段は、前記所定の領域に前記ポインタがない場合、前記所定の回転方向における前記一方向および前記他方向の回転の変化量を算出してもよい。
【0044】
上記によれば、例えば、ユーザインターフェイスの表示領域にポインタが位置しない場合に前記変化量を算出し、ユーザインターフェイスの表示領域にポインタが位置する場合には前記変化量を算出しないようにすることができ、変化量の算出にかかる負荷を低減することができる。
【0045】
また、他の構成では、前記検知手段は、前記ポインタが前記所定の領域に入った場合、前記変化量をリセットしてもよい。
【0046】
上記によれば、前記ポインタが前記所定の領域に入ったり、前記所定の領域から出たりする場合でも、前記所定の領域から出た後の変化量に基づいて、前記変化を検知することができる。
【0047】
また、他の構成では、前記一方向は、前記ポインタが前記所定の領域から離れる方向であってもよい。前記検知手段は、前記ポインタが前記所定の領域から離れる方向への移動中に前記ポインタの移動方向が反転した場合に、前記変化を検知してもよい。
【0048】
上記によれば、前記ポインタが所定の領域から離れる方向に移動しているときにポインタの移動方向が反転した場合に、仮想カメラの視線の一方向から他方向への変化を検知することができ、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0049】
また、他の構成では、前記検知手段は、前記オブジェクトを基準とした前記仮想カメラの視線が所定の角度である場合に、前記変化を検知してもよい。
【0050】
上記によれば、仮想カメラの視線がオブジェクトに対して所定の角度を有している場合に、前記変化を検知することができる。
【0051】
また、他の構成では、前記画像表示システムは、前記仮想カメラの姿勢に応じて前記オブジェクトを選択する選択手段をさらに備えてもよい。前記制御手段は、前記選択手段によって前記オブジェクトが選択されていない場合に、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0052】
上記によれば、オブジェクトが選択されていない場合に、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0053】
また、他の構成では、前記画像表示システムは、前記検知手段によって前記変化が検知されていない場合でも、ユーザによる所定の操作に応じて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行う第２制御手段をさらに備えてもよい。
【0054】
上記によれば、前記変化が検知されたか否かにかかわらず、所定の操作に応じて前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。
【0055】
また、他の構成では、前記検知手段は、前記仮想カメラの視線の前記一方向から前記他方向への反転、および、前記他方向から前記一方向への反転の回数が所定回数になったことを検知してもよい。前記制御手段は、前記検知手段によって前記反転の回数が所定回数になったことが検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行ってもよい。
【0056】
上記によれば、仮想カメラの視線の反転回数に基づいて、前記オブジェクトの移動及び／又は前記仮想カメラの制御を行うことができる。これにより、例えば誤検知を防止することができる。
【0057】
また、他の発明は、ゴーグル装置の表示部に画像を表示させる装置のプロセッサを、上記各手段として機能させる画像表示プログラムであってもよい。また、他の発明は、ゴーグル装置の表示部に画像を表示させる表示制御装置であって、上記各手段を備える装置であってもよい。また、他の発明は、ゴーグル装置を含む上記画像表示システムにおいて行われる画像表示方法であってもよい。
【発明の効果】
【0058】
本発明によれば、仮想カメラの視線が所定の回転方向における一方向から他方向に変化した場合に、オブジェクトを仮想カメラの撮像範囲内に位置するようにすることができ、ゴーグル装置を用いて仮想空間を見る場合においてオブジェクトの操作性を向上させることができる。
【図面の簡単な説明】
【0059】
【図1】本実施形態における画像表示システム１の一例を示す図
【図2】画像表示システム１に含まれる、表示部２１を有する情報処理装置２の外観の一例を示す図
【図3】情報処理装置２の機能構成の一例を示す図
【図4】ユーザがゴーグル装置１０を使用するときの様子を示す図
【図5】仮想空間ＶＳの一例を示す図
【図6A】ゴーグル装置１０が基準姿勢に維持されているときの仮想空間を上方から見た図
【図6B】ゴーグル装置１０が基準姿勢からヨー方向（左方向）に回転されたときの仮想空間を上方から見た図
【図9】ＵＩオブジェクト３０が移動される領域の一例を示す図
【図10】仮想カメラＶＣを仮想空間の上方から見た図であって、仮想カメラＶＣを左方向に回転させた後、右方向に回転させたときの一例を示す図
【図11】仮想カメラＶＣを仮想空間の横方向から見た図であって、仮想カメラＶＣを下方向に回転させた後、上方向に回転させたときの一例を示す図
【図12】仮想カメラＶＣの視線がＡ領域にある場合においてＵＩオブジェクト３０が移動する様子を示した図
【図13A】仮想カメラＶＣの視線が下方向に回転しＡ領域に入った場合において表示部２１に表示される画像の一例を示す図
【図14】情報処理装置２（のＤＲＡＭ２３）に記憶されるデータの一例を示す図
【図15】情報処理装置２のプロセッサ２０において行われるメイン処理の一例を示すフローチャート
【図16】ステップＳ１０６のＢ領域における移動処理の一例を示すフローチャート
【発明を実施するための形態】
【0060】
（画像表示システムの構成）
以下、図面を参照して、本実施形態の画像表示システム１について説明する。本実施形態の画像表示システム１は、ユーザにバーチャルリアリティ（ＶＲ）を体験させるシステムである。図１は、本実施形態における画像表示システム１の一例を示す図である。図２は、画像表示システム１に含まれる、表示部２１を有する情報処理装置２の外観の一例を示す図である。
以下、図面を参照して、本実施形態の画像表示システム１について説明する。本実施形態の画像表示システム１は、ユーザにバーチャルリアリティ（ＶＲ）を体験させるシステムである。図１は、本実施形態における画像表示システム１の一例を示す図である。図２は、画像表示システム１に含まれる、表示部２１を有する情報処理装置２の外観の一例を示す図である。
【0061】
図１に示すように、画像表示システム１は、ゴーグル装置１０を含む。ゴーグル装置１０は、ユーザの両手又は片手で把持され、ユーザの左右の目を覆うようにしてユーザの顔に当てられる。
【0062】
ゴーグル装置１０は、上面１１と、右側面１２と、下面１３と、左側面１４と、底面１５とを含む。これらの面１１～１５によって、ゴーグル本体が形成される。また、ゴーグル装置１０の底面１５には、ユーザの左目に対応する位置に略円形の左開口１６Ｌが設けられ、ユーザの右目に対応する位置に略円形の右開口１６Ｒが設けられる。左開口１６Ｌおよび右開口１６Ｒには、それぞれレンズが嵌合されている。また、ゴーグル装置１０の面１１～１５によって囲まれる内側の空間には、ゴーグル装置１０の内側の空間を左右に区切る仕切り面１７が設けられる。
【0063】
また、ゴーグル装置１０は、表示部２１を備える。具体的には、ゴーグル本体の底面１５の裏側には、表示部２１を備える情報処理装置２が設けられる。底面１５の裏側に設けられた情報処理装置２の表示部２１の一部が、レンズを介して左開口１６Ｌおよび右開口１６Ｒからユーザに視認される。図２に示されるように、表示部２１は、横長の略長方形の表示画面である。図２の左側の破線で囲まれた左領域２１Ｌが、左開口１６Ｌに設けられたレンズを介してユーザの左目に視認され、右側の破線で囲まれた右領域２１Ｒが、右開口１６Ｒに設けられたレンズを介してユーザの右目に視認される。ユーザがゴーグル装置１０を把持して顔に当てた場合、ユーザの左目は上面１１、下面１３、左側面１４、及び仕切り面１７によってほぼ囲まれ、ユーザの右目は上面１１、下面１３、右側面１２、及び仕切り面１７によってほぼ囲まれる。このため、ユーザの左目には、表示部２１の左領域２１Ｌに表示された左目画像が視認される一方、周囲の環境や右領域２１Ｒに表示された右目画像は、左目に視認され難い。また、ユーザの右目には、表示部２１の右領域２１Ｒに表示された右目画像が視認される一方、周囲の環境や左領域２１Ｌに表示された左目画像は、右目に視認され難い。
【0064】
ゴーグル本体と表示部２１とによって、ゴーグル装置１０が構成される。表示部２１を有する情報処理装置２は、ゴーグル本体に着脱可能に装着される。ゴーグル本体に着脱可能な情報処理装置２として、タブレット端末、スマートフォン、携帯型のゲーム装置等が用いられてもよい。
【0065】
詳細は後述するが、情報処理装置２は、仮想空間を左仮想カメラから見た左目画像と、仮想空間を右仮想カメラから見た右目画像とを生成する。情報処理装置２は、生成した左目画像および右目画像を、表示部２１の左領域２１Ｌおよび右領域２１Ｒにそれぞれ表示させる。これにより、ユーザは、立体視画像を視認することができ、自身が仮想空間に存在するかのようなバーチャルリアリティ（ＶＲ）を体験することができる。
【0066】
図３は、情報処理装置２の機能構成の一例を示す図である。図３に示されるように、情報処理装置２は、表示部２１に加えて、プロセッサ２０と、慣性センサ２２と、ＤＲＡＭ２３と、不揮発性メモリ２４とを備える。プロセッサ２０はＣＰＵとＧＰＵとを含む。ＣＰＵは、ＤＲＡＭ２３と協働して後述する処理を行い、ＧＰＵは、ＣＰＵからの命令に応じた画像（左目画像および右目画像）を生成する。生成された左目画像および右目画像は、表示部２１の左領域２１Ｌおよび右領域２１Ｒにそれぞれ表示される。なお、ＣＰＵとＧＰＵとは、それぞれ別々のチップ上に実装されてもよいし、これらはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）として１つのチップ上に実装されてもよい。
【0067】
また、慣性センサ２２は、情報処理装置２の姿勢を検出するためのセンサである。具体的には、慣性センサ２２は、角速度センサと加速度センサとを含む。角速度センサは、所定の３軸（例えば、図２に示すＸＹＺ軸）回りの角速度を検出する。また、加速度センサは、所定の３軸（例えば、図２に示すＸＹＺ軸）回りの加速度を検出する。
【0068】
また、不揮発性メモリ２４は、後述する処理を行うためのプログラムを記憶する記憶装置であり、例えば、フラッシュメモリであってもよい。なお、不揮発性メモリ２４は、磁気ディスク、光ディスク等、任意の記憶装置であってもよい。
【0069】
図４は、ユーザがゴーグル装置１０を使用するときの様子を示す図である。図４に示されるように、ユーザは、情報処理装置２が装着されたゴーグル装置１０を把持して表示部２１を覗き込む。ユーザが、この状態で顔や体全体を左右方向（水平方向。あるいは「ヨー方向」ともいう）に向けたり、上下方向（鉛直方向。あるいは「ピッチ方向」ともいう）に向けたりすると、ゴーグル装置１０（情報処理装置２）の姿勢が基準姿勢から変化する。基準姿勢は、例えば、ユーザが正面を向いたときのゴーグル装置１０の姿勢である。例えば、基準姿勢は、ゴーグル装置１０の表示部２１（底面１５）に沿った下方向（図２のＹ軸負方向）が重力方向と並行になる姿勢であってもよい。
【0070】
情報処理装置２は、慣性センサ２２が検出する角速度値及び／又は加速度値に基づいて、情報処理装置２（ゴーグル装置１０）の姿勢を算出する。実空間における情報処理装置２（ゴーグル装置１０）の姿勢に応じて、仮想空間の左仮想カメラおよび右仮想カメラの姿勢が制御される。
【0071】
仮想空間には、仮想オブジェクトが配置されており、ユーザは当該仮想オブジェクトを含む仮想空間の立体視画像を視認することができる。本実施形態では、仮想空間には、仮想オブジェクトの一例として、ユーザインターフェイス（ＵＩ）オブジェクトが配置される。
【0072】
図５は、仮想空間ＶＳの一例を示す図である。図５に示すように、仮想空間ＶＳには、ｘｙｚ直交座標系が設定される。ｘ軸は仮想空間ＶＳの横方向の軸である。ｙ軸は、仮想空間ＶＳの高さ方向の軸である。ｚ軸は、ｘ軸およびｙ軸に垂直な軸であり、仮想空間の奥行き方向の軸である。
【0073】
仮想空間ＶＳには、左仮想カメラＶＣＬと、右仮想カメラＶＣＲとが配置される。左仮想カメラＶＣＬおよび右仮想カメラＶＣＲは、平均的なユーザの左右の目の間隔と同様の間隔で仮想空間に配置される。左仮想カメラＶＣＬおよび右仮想カメラＶＣＲから仮想空間を見た左目画像および右目画像が、ユーザの左目及び右目にそれぞれ視認されることで、ユーザは、仮想空間の立体視画像を視認する。なお、以下では、左仮想カメラＶＣＬおよび右仮想カメラＶＣＲを総称して「仮想カメラＶＣ」と表記することがある。
【0074】
また、仮想空間ＶＳには、ＵＩオブジェクト３０が配置される。ＵＩオブジェクト３０は、ユーザが操作したり、ユーザに提示される情報を表示したりするための仮想オブジェクトである。例えば、ＵＩオブジェクト３０は、ユーザにメニュー機能を提供する。例えば、所定のゲームアプリケーションの実行中にＵＩオブジェクト３０が表示され、ユーザは、当該ＵＩオブジェクト３０を用いて、ゲームにおける所定の操作を行うことができる。ＵＩオブジェクト３０は、例えば板状のオブジェクトであり、仮想空間における所定の高さの位置に、ｘｚ平面に垂直となる姿勢で配置される。
【0075】
ＵＩオブジェクト３０は、ユーザが選択可能なアイコン３１～３４を含む。例えば、ユーザが選択しているアイコン３４は、他のアイコンと異なる態様で表示されてもよい。ユーザがアイコン３１～３４の何れかを選択する方法は任意である。例えば、表示部２１に表示される立体視画像の所定位置（例えば画像の中心）にポインタ３７（図７Ａ参照）が表示され、当該ポインタがアイコンの表示領域内にある場合、当該アイコンがユーザによって選択されたものとして処理されてもよい。この場合、ユーザは、所望のアイコンを選択する場合、当該所望のアイコンの表示領域内にポインタが入るように、ゴーグル装置１０の姿勢を変化させる。また、例えば、ユーザは、情報処理装置２に無線又は有線で接続される手持ち型の操作装置を用いて、立体視画像に表示されるポインタの位置を制御してもよい。例えば、操作装置は、方向を指示することが可能な方向指示部（例えば、アナログスティック、十字キー、ボタン等）を備え、方向指示部に対する操作に基づいて、ポインタの位置が制御されてもよい。
【0076】
各アイコンは、例えば、ゲームにおける操作を決定するためのアイコンであってもよいし、所定のアイテムを用いるためのアイコンであってもよい。また、各アイコンは、ＵＩオブジェクト３０によって提供されるメニュー画面に対する操作（例えば前の画面に戻る操作、決定するための操作）を行うためのアイコンであってもよい。また、各アイコンは、所定のアプリケーションを選択・起動するためのアイコンであってもよい。
【0077】
また、ＵＩオブジェクト３０は、情報表示オブジェクト３５を含む。情報表示オブジェクト３５は、ユーザに文字や画像等を用いて情報を提供するためのオブジェクトである。
【0078】
なお、仮想空間では、ゲームに限らず他の任意の活動が行われてもよい。例えば、特定の作業（例えば、飛行機や車を運転する作業）のシミュレーションが行われてもよい。仮想空間において行われる活動によって、ＵＩオブジェクト３０に含まれる各アイコンの機能（ＵＩオブジェクト３０を用いて行われる操作）が異なる。
【0079】
（ＵＩオブジェクト３０の移動制御）
次に、ユーザがゴーグル装置１０の表示部２１を見ながらゴーグル装置１０の底面１５を左右方向（ヨー方向）に向けたり、上下方向（ピッチ方向）に向けたりしたときのＵＩオブジェクト３０の制御について説明する。
次に、ユーザがゴーグル装置１０の表示部２１を見ながらゴーグル装置１０の底面１５を左右方向（ヨー方向）に向けたり、上下方向（ピッチ方向）に向けたりしたときのＵＩオブジェクト３０の制御について説明する。
【0080】
図６Ａは、ゴーグル装置１０が基準姿勢に維持されているときの仮想空間を上方から見た図である。図６Ｂは、ゴーグル装置１０が基準姿勢からヨー方向（左方向）に回転されたときの仮想空間を上方から見た図である。図６Ｃは、ゴーグル装置１０が図６Ｂの状態からさらにヨー方向（左方向）に回転されたときの仮想空間を上方から見た図である。
【0081】
図７Ａは、ユーザに視認される画像の一例であって、図６Ａに示す姿勢の仮想カメラＶＣ（ＶＣＬ又はＶＣＲ）から仮想空間を見た画像の一例を示す図である。図７Ｂは、ユーザに視認される画像の一例であって、図６Ｂに示す姿勢の仮想カメラＶＣから仮想空間を見た画像の一例を示す図である。図７Ｃは、ユーザに視認される画像の一例であって、図６Ｃに示す姿勢の仮想カメラＶＣから仮想空間を見た画像の一例を示す図である。なお、図７Ａ～図７Ｃでは、平面的な矩形の画像が示されているが、実際には図７Ａ～図７Ｃに示す画像は、立体視画像であり、左領域２１Ｌ及び右表示領域２１Ｒと同様に略円形状である。
【0082】
仮想カメラＶＣには、仮想カメラＶＣに固定のカメラ座標系（ＸＹＺ座標系）が設定される。Ｘ軸は仮想カメラＶＣの右方向の軸であり、Ｙ軸は仮想カメラＶＣの上方向の軸であり、Ｚ軸は仮想カメラＶＣの視線方向の軸である。図６Ａに示されるように、ゴーグル装置１０（情報処理装置２）が基準姿勢に維持されている場合は、仮想カメラＶＣは、ＵＩオブジェクト３０を向いている。
【0083】
図６Ａに示すような状態では、図７Ａに示すような画像が表示部２１に表示される。ユーザは、表示部２１に表示される左目画像及び右目画像を視認することで、図７Ａに示されるような立体視画像を視認する。図７Ａに示されるように、正面にはＵＩオブジェクト３０が表示され、ＵＩオブジェクト３０の背後には、仮想空間の背景が表示される。また、例えば、立体視画像の中心となる位置にポインタ３７が設定され、表示される。ユーザは、ＵＩオブジェクト３０の表示領域にポインタ３７が位置するようにゴーグル装置１０の姿勢を制御し、ポインタ３７を用いて、ＵＩオブジェクト３０内の選択可能なアイコン３１～３４を選択する。なお、ポインタ３７は画面に表示されず、情報処理装置２の内部的に設定されてもよい。
【0084】
実空間においてゴーグル装置１０をヨー方向（例えば左方向）に回転させると、図６Ｂに示されるように、仮想カメラＶＣも仮想空間におけるヨー方向（例えば左方向）に回転する。このとき、図７Ｂに示すような画像が表示される。具体的には、ゴーグル装置１０を左方向に回転させた場合、ＵＩオブジェクト３０は、正面よりも右側に位置するように表示され、ＵＩオブジェクト３０の一部が表示されなくなる。
【0085】
図６Ｂに示される状態からさらにゴーグル装置１０を左方向に回転させると、図６Ｃに示されるように、仮想カメラＶＣはさらに左方向に回転する。このとき、図７Ｃに示すような画像が表示部２１に表示される。具体的には、ゴーグル装置１０を右方向に反転させることなく、図６Ｂに示される状態からさらに左方向に回転させた場合、ＵＩオブジェクト３０は、仮想カメラＶＣの撮像範囲から出て、表示されなくなる。この場合、ＵＩオブジェクト３０以外の仮想空間の背景が表示される。
【0086】
ユーザは、図６Ｃに示される状態からさらにゴーグル装置１０を左方向に回転させると、さらに左方向の仮想空間を視認することができる。
【0087】
ここで、例えば図６Ｃに示される姿勢において、ユーザがゴーグル装置１０を右方向に所定の角度だけ反転させた場合、ＵＩオブジェクト３０は、仮想カメラＶＣの正面に位置するように移動する。
【0088】
図８は、図６Ｃに示される姿勢においてゴーグル装置１０を右方向に所定の角度だけ反転させた場合にＵＩオブジェクト３０が仮想カメラＶＣの正面に移動する様子を示した図である。図８において、破線の３０‘は、移動する前のＵＩオブジェクトを示し、実線の３０は、移動した後のＵＩオブジェクトを示す。
【0089】
図８に示されるように、ゴーグル装置１０が例えば左方向に回転している状態から、右方向に所定の角度だけ反転した場合、ＵＩオブジェクト３０は、仮想カメラＶＣの正面（左右方向における正面）に移動する。例えば、ＵＩオブジェクト３０は、その向きを変えながら左仮想カメラＶＣＬと右仮想カメラＶＣＲとの中間位置を中心とした円に沿って左方向に移動する。すなわち、ＵＩオブジェクト３０は、仮想カメラＶＣとの距離を維持したまま、ｘｚ平面に並行な面上を左方向に移動する。ＵＩオブジェクト３０は、仮想カメラＶＣを向くように、その向きを変えながら移動する。このため、仮想カメラＶＣが仮想空間におけるピッチ方向に回転していない場合は、仮想カメラＶＣの視線は、移動後のＵＩオブジェクト３０に対して垂直になる。ＵＩオブジェクト３０が仮想カメラＶＣの正面に移動すると、表示部２１には、図７Ａに示すような立体視画像が表示される。
【0090】
ＵＩオブジェクト３０は、１フレーム時間（例えば、１／６０秒）あたり所定の距離だけ移動する。このため、ゴーグル装置１０が例えば左方向に回転している状態から、右方向に所定の角度だけ反転した場合、ＵＩオブジェクト３０は、瞬間的に仮想カメラＶＣの正面に移動するのではなく、ある程度の時間（例えば、数～数十フレーム時間）をかけて移動する。なお、ＵＩオブジェクト３０を、瞬間的に（１フレーム時間で）仮想カメラＶＣの正面に移動させてもよい。
【0091】
なお、図７Ｂに示すようにＵＩオブジェクト３０の一部が表示され他の部分が表示されていないときでも、ゴーグル装置１０が右方向に所定の角度だけ反転した場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。また、ＵＩオブジェクト３０が画面の端に表示され、かつ、ＵＩオブジェクト３０の全部が表示されているときでも、ゴーグル装置１０が右方向に所定の角度だけ反転した場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。
【0092】
また、ＵＩオブジェクト３０の表示領域にポインタ３７が位置する場合は、ＵＩオブジェクト３０を移動させず、ＵＩオブジェクト３０の表示領域にポインタ３７が位置しない場合において、ゴーグル装置１０が所定の角度だけ反転したときには、ＵＩオブジェクト３０を移動させてもよい。
【0093】
このように、本実施形態では、仮想カメラＶＣが単にヨー方向における一方向（例えば左方向）に回転し、例えばＵＩオブジェクト３０が仮想カメラＶＣの撮像範囲外に出ただけでは、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させない。仮想カメラＶＣがヨー方向における一方向（例えば左方向）に回転した後、仮想カメラＶＣがヨー方向における他方向（例えば右方向）に所定の角度だけ回転（反転）した場合に、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。以下、ＵＩオブジェクト３０の移動について詳細に説明する。
【0094】
（ＵＩオブジェクト３０の移動の詳細）
図９は、ＵＩオブジェクト３０が移動される領域の一例を示す図である。図９では、ＵＩオブジェクト３０が仮想カメラＶＣの正面に位置している場合、仮想カメラＶＣを基準として仮想空間を概念的に複数の領域に分けた図が示されている。
図９は、ＵＩオブジェクト３０が移動される領域の一例を示す図である。図９では、ＵＩオブジェクト３０が仮想カメラＶＣの正面に位置している場合、仮想カメラＶＣを基準として仮想空間を概念的に複数の領域に分けた図が示されている。
【0095】
本実施形態では、仮想カメラＶＣの視線が図９に示される「ＵＩ領域」、「Ｂ領域」、「Ａ領域」の何れにあるかに応じて、ＵＩオブジェクト３０の移動に関する処理が異なる。
【0096】
仮想カメラＶＣの視線が図９に示される「ＵＩ領域」にある場合、ＵＩオブジェクト３０は表示部２１に表示され、ＵＩオブジェクト３０はゴーグル装置１０の姿勢変化に応じて仮想空間内で移動しない。「ＵＩ領域」は、ＵＩオブジェクト３０を基準とした領域であり、ＵＩオブジェクト３０に対応する領域である。具体的には、ＵＩオブジェクト３０が仮想カメラＶＣの正面（左右方向および上下方向における正面）に位置するときの仮想カメラＶＣの視線の角度を０度として、仮想カメラＶＣの視線の仮想空間におけるヨー方向およびピッチ方向の角度が所定の閾値以内の場合には、仮想カメラＶＣの視線が図９に示される「ＵＩ領域」にあると判断される。より具体的には、仮想カメラＶＣの視線のヨー方向の回転角の絶対値が、第１の閾値（Ｔｙ）未満であり、かつ、仮想カメラＶＣの視線のピッチ方向の回転角の絶対値が、第２の閾値（Ｔｘ）未満である場合、仮想カメラＶＣの視線が図９に示される「ＵＩ領域」にあると判断される。
【0097】
ここで、第１の閾値および第２の閾値によってＵＩ領域が定められる。例えば、ＵＩ領域は、ＵＩオブジェクト３０の表示領域と一致してもよい。この場合、例えば仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）になったときに、図７Ｃに示されるようにＵＩオブジェクト３０の全体が表示されなくなる。また、ＵＩ領域は、ＵＩオブジェクト３０の表示領域よりも小さくてもよい。この場合、仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）のときに、例えば図７Ｂに示されるようにＵＩオブジェクト３０の一部が表示される。なお、仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）のときでも、ＵＩオブジェクト３０の全部が表示されてもよい。また、第１の閾値および第２の閾値によって定められるＵＩ領域は、ＵＩオブジェクト３０の表示領域よりも大きくてもよい。
【0098】
また、ＵＩ領域は、立体視画像中のポインタ３７がＵＩオブジェクト３０の表示領域内に位置するような領域であってもよい。すなわち、ＵＩ領域は、ポインタ３７がＵＩオブジェクト３０の表示領域の外周に沿って移動する場合、その軌跡によって形成されるような領域であってもよい。
【0099】
仮想カメラＶＣの視線が図９に示されるＢ領域にある場合、「Ｂ領域における移動処理」が行われる。すなわち、仮想カメラＶＣの視線のヨー方向の回転角の絶対値が第１の閾値（Ｔｙ）以上であり、かつ、仮想カメラＶＣの視線のピッチ方向の回転角の絶対値が第２の閾値（Ｔｘ）未満である場合には、「Ｂ領域における移動処理」が行われる。「Ｂ領域における移動処理」では、「ＵＩオブジェクト３０を移動させるか否かの判定」が行われる。以下、この判定について図１０および図１１を参照して具体的に説明する。
【0100】
図１０は、仮想カメラＶＣを仮想空間の上方から見た図であって、仮想カメラＶＣを左方向に回転させた後、右方向に回転させたときの一例を示す図である。図１１は、仮想カメラＶＣを仮想空間の横方向から見た図であって、仮想カメラＶＣを下方向に回転させた後、上方向に回転させたときの一例を示す図である。
【0101】
図１０に示されるように、仮想カメラＶＣの視線が、例えば、ヨー方向における左方向（正方向）に第１の閾値「Ｔｙ」を越えて回転した場合、仮想カメラＶＣの視線はＢ領域に入る。仮想カメラＶＣの視線がＢ領域に入った後、左方向の変化量「ｙ１」および右方向の変化量「ｙ２」が算出される。この左方向の変化量「ｙ１」および右方向の変化量「ｙ２」は、仮想カメラＶＣの視線がＢ領域に入った後の相対的な回転量である。仮想カメラの視線が左右方向に往復している場合には、左方向の変化量「ｙ１」および右方向の変化量「ｙ２」は、それぞれ累積される。例えば、仮想カメラＶＣの視線がＢ領域に入った後、仮想カメラＶＣの視線が、左方向に「１０」度、右方向に「２」度、左方向に「５」度、右方向に「３」度の順で回転した場合、左方向の変化量「ｙ１」の累積値は「１０＋５＝１５」度となり、右方向の変化量「ｙ２」の累積値は「２＋３＝５」度となる。この左方向への変化量「ｙ１」の累積値と右方向への変化量「ｙ２」の累積値とのうち、小さい方の値（右方向の変化量ｙ２の累積値）が、左右方向の変化量Ｒｙとして記憶される。この場合は、右方向への変化量「ｙ２」の累積値「５」度が、左右方向の変化量Ｒｙとして記憶される。
【0102】
ピッチ方向の回転についても同様である。図１１に示されるように、仮想カメラＶＣの視線がＢ領域に入った後（つまり、仮想カメラＶＣの視線がヨー方向に第１の閾値以上回転した後）、ピッチ方向における下方向（負方向）に「ｘ１」度だけ回転し、その後、上方向に「ｘ２（＜ｘ１）」度回転したとする。
【0103】
なお、図１１では、仮想カメラＶＣの視線がＢ領域に入ったときの仮想空間におけるピッチ方向の回転角が「０」度である場合が示されている。仮想カメラＶＣの視線がＢ領域に入った時点で、仮想カメラＶＣの視線が、仮想空間におけるピッチ方向に所定の角度回転している場合もある。この場合は、仮想カメラＶＣの視線がＢ領域に入った時点からの下方向の変化量が「ｘ１」となる。
【0104】
下方向への変化量「ｘ１」の累積値と上方向への変化量「ｘ２」の累積値とのうち、小さい方の値（上方向への変化量ｘ２の累積値）が、上下方向の変化量Ｒｘとして記憶される。例えば、仮想カメラＶＣの視線がＢ領域に入った後、仮想カメラＶＣの視線が、下方向に「１０」度、上方向に「２」度、下方向に「３」度、上方向に「１」度の順で回転した場合、下方向の変化量「ｘ１」の累積値は「１０＋３＝１３」度となり、上方向の変化量「ｘ２」の累積値は「２＋１＝３」度となる。この下方向への変化量「ｘ１」の累積値と上方向への変化量「ｘ２」の累積値とのうち、小さい方の値（上方向の変化量ｘ２の累積値）が、上下方向の変化量Ｒｘとして記憶される。この場合は、上方向への変化量「ｘ２」の累積値「３」度が、上下方向の変化量Ｒｘとして記憶される。
【0105】
ここで、ヨー方向又はピッチ方向に関して、仮想カメラＶＣの視線が一方向（例えばヨー方向における左方向）に回転し続けている場合、他方向への変化量（例えばヨー方向における右方向）は「０」となる。したがって、一方向への回転量および他方向への回転量の累積値のうち、小さい方の値が「０」度を超えている場合は、仮想カメラＶＣの視線の回転が一方向から他方向に変化したことになる。これに対して、一方向への回転量および他方向への回転量の累積値のうち、小さい方の値が「０」度の場合は、仮想カメラの視線が一方向に回転し続けていること、又は、仮想カメラの視線が回転していないことを意味する。
【0106】
したがって、本実施形態では、上記小さい方の値ＲｘおよびＲｙに基づいて、仮想カメラＶＣの視線の回転が一方向から他方向に変化したか（すなわち、反転したか）否かを検知し、一方向から他方向への変化を検知した場合に、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。
【0107】
具体的には、左右方向の変化量Ｒｙと上下方向の変化量Ｒｘとの和が、所定値（例えば、「６」度）以上となった場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。一方、この和が所定値未満の場合は、ＵＩオブジェクト３０を移動させない。例えば、仮想カメラＶＣの視線がＢ領域にある場合において、仮想カメラＶＣの視線が、「左方向に１０度」→「右方向に３度」→「左方向に２０度」の順に回転した場合、左右方向の変化量Ｒｙは「３」度であり、上下方向の変化量Ｒｘは「０」度となる。この場合、「Ｒｘ＋Ｒｙ」は所定値未満であるため、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させない。
【0108】
一方、仮想カメラＶＣの視線がＢ領域にある場合において、仮想カメラＶＣの視線が、「左方向に１０度」→「右方向に３度」→「左方向に２０度」→「右方向に３度」の順に回転した場合、左右方向の変化量Ｒｙは「６」度である。この場合、「Ｒｘ＋Ｒｙ」は所定値以上であるため、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。また、仮想カメラＶＣの視線が、斜め方向に回転した場合、回転方向は左右方向（ヨー方向）および上下方向（ピッチ方向）の成分に分けられて、上記Ｒｘ、Ｒｙがそれぞれ算出される。例えば、仮想カメラＶＣの視線が、「左上方向（左方向の成分に１０度、上方向の成分に１０度）」に回転し、次に、「右下方向（右方向の成分に３度、下方向の成分に３度）」に回転した場合、Ｒｘは「３」度となり、Ｒｙは「３」度となる。この場合、「Ｒｘ＋Ｒｙ」は所定値以上であるため、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。
【0109】
このように、「Ｂ領域における移動処理」では、仮想カメラＶＣがヨー方向又はピッチ方向における一方向に回転した後、反対方向に回転したことが検知される。仮想カメラＶＣが反対方向に回転した場合において、その反対方向の回転角を累積した値が所定値以上となった場合、ＵＩオブジェクト３０は仮想カメラＶＣの正面に移動する。すなわち、仮想カメラＶＣの視線が、所定の回転方向（ヨー方向又はピッチ方向）における一方向から他方向に変化した場合において、さらに他方向への回転角が所定値以上となった場合、ＵＩオブジェクト３０を移動させる。
【0110】
なお、仮想カメラＶＣの視線がＢ領域にある場合、「Ｒｘ＋Ｒｙ」が所定値未満であっても、ユーザによって所定の操作が行われた場合は、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。例えば、ゴーグル装置１０における所定のボタンや場所が押されたり、タップされたり、叩かれたりした場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。また、例えば、ゴーグル装置１０の慣性センサ２２における加速度センサが所定値以上の加速度値を検知した場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。
【0111】
図９に戻り、仮想カメラＶＣの視線がＡ領域にある場合、すなわち、仮想カメラＶＣの視線のピッチ方向における回転角の絶対値が第２の閾値（Ｔｘ）を越えている場合には、「Ａ領域における移動処理」が行われる。「Ａ領域における移動処理」では、上述したＢ領域における判定は行われず、ＵＩオブジェクト３０が常に左右方向に関して仮想カメラＶＣの正面に位置するように、ＵＩオブジェクト３０を移動させる。なお、ここでは、仮想カメラＶＣ（ゴーグル装置１０）の俯角又は仰角が第２の閾値を超えている場合に、「Ａ領域における移動処理」が行われるものとするが、俯角に関する閾値と仰角に関する閾値とは同じ値である必要はなく、これらは異なってもよい。
【0112】
図１２は、仮想カメラＶＣの視線がＡ領域にある場合においてＵＩオブジェクト３０が移動する様子を示した図である。
【0113】
図１２において、破線で示される３０‘は、移動前のＵＩオブジェクトであり、実線で示される３０は、移動後のＵＩオブジェクトである。図１２に示されるように、例えば、仮想カメラＶＣの視線がＵＩオブジェクト３０の上方のＡ領域にある場合、ＵＩオブジェクト３０は、左右方向に関して仮想カメラＶＣの正面に位置するように移動する。移動後のＵＩオブジェクト３０を基準とした仮想カメラＶＣのヨー方向（左右方向）の回転角は「０」度である。すなわち、仮想カメラＶＣの視線方向を基準として、移動後のＵＩオブジェクト３０は、左右方向にずれていない。このため、仮想カメラＶＣの視線を下方向に回転させた場合（仮想カメラＶＣのピッチ方向の回転角が「０」度になるように仮想カメラＶＣを回転させた場合）、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するようになる。
【0114】
ここで、仮想カメラＶＣの視線がＢ領域に入った後、「Ｂ領域における移動処理」でＵＩオブジェクト３０が移動することなく、仮想カメラＶＣの視線がＡ領域に入った場合を想定する。この場合、仮想カメラＶＣの視線がＡ領域に入ったときに、「Ａ領域における移動処理」によって、ＵＩオブジェクト３０が移動を開始する。この場合、ＵＩオブジェクト３０は、左右方向に関して仮想カメラＶＣの正面に、ある程度の時間（例えば、数～数十フレーム時間）をかけて移動してもよいし、瞬間的に（１フレーム時間で）移動してもよい。
【0115】
また、仮想カメラＶＣの視線が「ＵＩ領域」にある状態からＡ領域に入った場合、「Ａ領域における移動処理」によって、ＵＩオブジェクト３０が移動する。仮想カメラＶＣの視線がＡ領域にあるときに仮想カメラＶＣが左右方向に回転すると、ＵＩオブジェクト３０は、仮想カメラＶＣの左右方向の回転に応じて移動する。すなわち、ＵＩオブジェクト３０は、仮想カメラが左右方向の回転をしている間、仮想カメラの左右方向の回転に追従するように常に移動する。
【0116】
図１３Ａは、仮想カメラＶＣの視線が下方向に回転しＡ領域に入った場合において表示部２１に表示される画像の一例を示す図である。図１３Ｂは、図１３Ａの状態から仮想カメラＶＣが左方向に回転したときに表示部２１に表示される画像の一例を示す図である。
【0117】
図１３Ａに示されるように、仮想カメラＶＣの視線が下方向に回転した場合（すなわち、ゴーグル装置１０が下方向に回転した場合）、ＵＩオブジェクト３０の下側の一部が画面の上部領域に表示される。ＵＩオブジェクト３０は、左右方向に関して画面の中央に表示される。また、仮想空間の背景には、例えば、仮想オブジェクト４０があり、仮想オブジェクト４０は、画面の左端に表示されている。
【0118】
この状態で仮想カメラＶＣの視線が左方向に回転した場合（すなわち、ゴーグル装置１０が左方向に回転した場合）、図１３Ｂに示されるように、ＵＩオブジェクト３０の左右方向における位置は変化しない。これは、上記Ａ領域における移動処理によって、仮想カメラＶＣのヨー方向の回転に応じて、ＵＩオブジェクト３０が仮想空間内で移動するからである。一方、仮想空間の背景に存在する仮想オブジェクト４０については、図１３Ａの位置よりも右側に表示される。ユーザがゴーグル装置１０を左方向に回転させ続けている間、ＵＩオブジェクト３０の画面上の位置は変化せず、仮想空間の背景は右方向に移動する。
【0119】
なお、図９に示す「ＵＩ領域」、「Ａ領域」、「Ｂ領域」の大きさや形状は、表示されるＵＩオブジェクト３０の大きさや形状に応じて異なってもよい。また、ＵＩオブジェクト３０には、複数の種類があり、ＵＩオブジェクト３０の種類に応じて各領域の大きさや形状が行ってもよい。また、仮想空間のシーン（背景のシーン）に応じて、各領域の大きさや形状が異なってもよい。この場合、上述した第１の閾値（Ｔｙ）、第２の閾値（Ｔｘ）は、各領域の大きさや形状に応じて異なることになる。また、「ＵＩ領域」は、ＵＩオブジェクト３０の大きさと必ずしも一致しなくてもよい。例えば、ＵＩオブジェクト３０の周りにマージンがあり、ＵＩオブジェクト３０が表示される領域と周囲のマージンとを含む領域が「ＵＩ領域」として設定されてもよい。逆に、「ＵＩ領域」は、ＵＩオブジェクト３０が表示される領域よりも小さくてもよい。
【0120】
以上のように、本実施形態では、仮想空間における仮想カメラＶＣのヨー方向およびピッチ方向の回転角（ゴーグル装置１０のヨー方向およびピッチ方向の回転角）が所定の閾値を超えている場合、ＵＩオブジェクト３０の移動処理が行われる。
【0121】
具体的には、仮想カメラＶＣの仮想空間におけるヨー方向の回転角の絶対値が第１の閾値（Ｔｙ）より大きく、かつ、ピッチ方向の回転角の絶対値が第２の閾値（Ｔｘ）より小さい場合（仮想カメラＶＣの視線がＢ領域にある場合）、「Ｂ領域における移動処理」が行われる。「Ｂ領域における移動処理」では、仮想カメラＶＣのヨー方向およびピッチ方向の回転角に基づいて、ＵＩオブジェクト３０を移動させるか否かの判定が行われる。具体的には、仮想カメラＶＣのヨー方向の回転が一方向から他方向に変化した場合、当該他方向の回転角を累積した値Ｒｙが算出される。また、仮想カメラＶＣのピッチ方向の回転が一方向から他方向に変化した場合、当該他方向の回転角を累積した値Ｒｘが算出される。そして、ＲｘとＲｙの合計が所定値以上の場合、ＵＩオブジェクト３０を移動させると判定され、ＵＩオブジェクト３０が仮想カメラＶＣの正面に移動される。
【0122】
ユーザは、仮想空間においてＵＩオブジェクト３０を視認したいと思うときもあれば、ＵＩオブジェクト３０とは異なる仮想空間のオブジェクト（背景や仮想空間内の他のオブジェクト）を視認したいと思うときもある。仮想カメラＶＣの視線（ゴーグル装置１０の姿勢）が一方向に回転し続けている場合には、ユーザは、ＵＩオブジェクト３０とは異なる仮想空間を視認したがっていると考えられる。このため、本実施形態では、仮想カメラＶＣの視線が一方向（例えば、ヨー方向に関して言えば左方向。ピッチ方向に関して言えば上方向）に回転し続けている場合や、静止している場合には、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させない。したがって、ユーザは、例えば左方向にゴーグル装置１０を回転させ続けることで、ＵＩオブジェクト３０以外の仮想空間を見渡すことができる。
【0123】
一方、仮想カメラＶＣの視線が、ＵＩオブジェクト３０から離れる方向から、ＵＩオブジェクト３０に近づく方向に反転した場合には、ユーザは、仮想空間内の他のオブジェクトよりもＵＩオブジェクト３０を視認したいと思っている可能性がある。したがって、本実施形態では、仮想カメラＶＣの視線が一方向（ＵＩオブジェクト３０から離れる方向）から他方向に反転した場合において、さらに、他方向への回転量が所定値以上になった場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。
【0124】
このような制御を行うことにより、本実施形態では、ユーザにＵＩオブジェクト３０とは異なる仮想空間を視認させることができるとともに、仮想空間内に存在するＵＩオブジェクト３０を正面に移動させてＵＩオブジェクト３０を操作（視認）し易くすることができる。
【0125】
例えば、仮想カメラＶＣがＵＩオブジェクト３０とは異なる方向を向き、仮想カメラＶＣの撮像範囲からＵＩオブジェクト３０が外れた時点で、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させることも考えられる。しかしながら、この場合、仮想カメラＶＣの撮像範囲からＵＩオブジェクト３０が外れた時点でユーザの正面にＵＩオブジェクト３０が移動するため、ユーザはＵＩオブジェクト３０以外の仮想空間を見ることができなくなる。
【0126】
これに対して、本実施形態では、ゴーグル装置１０をヨー方向における一方向（ＵＩオブジェクト３０から離れる方向）に回転させ続けたり、静止している場合には、ＵＩオブジェクト３０が仮想カメラＶＣの正面に移動しないため、ユーザは、ＵＩオブジェクト３０以外の仮想空間を見ることができる。ユーザが仮想空間を見渡しているときに、ＵＩオブジェクト３０を見たり操作したくなった場合には、ユーザは、例えば、ゴーグル装置１０をヨー方向における他方向に反転させたり、ゴーグル装置１０を上下に揺らしたりすることで、ユーザの正面にＵＩオブジェクト３０を移動させることができる。これにより、例えば、容易にポインタを用いてＵＩオブジェクト３０内のアイコンを選択することができ、ＶＲ空間において、ＵＩオブジェクト３０の操作性を向上させることができる。ＵＩオブジェクト３０の少なくとも一部が表示されている場合において、ＵＩオブジェクト３０が画面の端に表示されている場合であっても、ゴーグル装置１０を所定の角度だけ反転させるだけで、ＵＩオブジェクト３０を正面に移動させることができ、操作性を向上させることができる。
【0127】
また、本実施形態では、ＵＩオブジェクト３０を仮想空間内で移動させるため、ＶＲ酔いを軽減することができる場合がある。
【0128】
また、本実施形態では、仮想空間における仮想カメラＶＣのピッチ方向の回転角が第２の閾値（Ｔｘ）より大きい場合（仮想カメラＶＣの視線がＡ領域にある場合）、「Ａ領域における移動処理」が行われる。「Ａ領域における移動処理」では、仮想カメラＶＣのヨー方向の回転に応じてＵＩオブジェクト３０が仮想カメラＶＣの正面（左右方向に関する正面）に常に移動する。このため、仮想カメラＶＣの視線がＡ領域に入った後、ゴーグル装置１０が基準姿勢となるようにして表示部２１を見た場合、ＵＩオブジェクト３０は、常にユーザの正面に位置するようになる。例えば、ユーザが、ゴーグル装置１０の底面１５が下側又は上側になるように実空間の面（地面に平行な面。例えばテーブル）にゴーグル装置１０を置いた後、再びゴーグル装置１０を把持して表示部２１を見たときには、ＵＩオブジェクト３０は、常にユーザの正面に位置するように見える。
【0129】
また、例えば、２人のユーザが１つのゴーグル装置１０を用いてＶＲを体験することを想定する。一方のユーザがゴーグル装置１０を用いてＶＲを体験した後、他方のユーザにゴーグル装置１０を渡す。このとき、ゴーグル装置１０の姿勢が、例えば、底面１５が下向きになるように変化する。この場合において、ＵＩオブジェクト３０が上記Ａ領域における移動処理によって移動しない場合には、他方のユーザがゴーグル装置１０を把持して表示部２１を見たときに、当該他方のユーザの正面にＵＩオブジェクト３０があるとは限らない。ＵＩオブジェクト３０がＡ領域における移動処理によって移動しない場合には、ＵＩオブジェクト３０はゴーグル装置１０を他方のユーザに渡したときの位置を維持する。このため、他方のユーザがゴーグル装置１０の表示部２１を見たときには、ＵＩオブジェクト３０は、他方のユーザの背後に位置している場合もあれば、右方向に位置している場合もある。しかしながら、本実施形態では、ＵＩオブジェクト３０がＡ領域における移動処理によって移動するため、他方のユーザがゴーグル装置１０の表示部２１を見たときには、当該他方のユーザの正面にＵＩオブジェクト３０が位置するようになる。したがって、他方のユーザにとって操作性が向上する。
【0130】
（処理の詳細）
次に、情報処理装置２において行われる処理の一例について具体的に説明する。まず、情報処理装置２に記憶されるデータについて説明する。
次に、情報処理装置２において行われる処理の一例について具体的に説明する。まず、情報処理装置２に記憶されるデータについて説明する。
【0131】
図１４は、情報処理装置２（のＤＲＡＭ２３）に記憶されるデータの一例を示す図である。図１４に示すように、情報処理装置２には、所定のプログラムと、角速度データと、仮想カメラデータと、ＵＩデータと、累積値Ｘ１、Ｘ２と、累積値Ｙ１、Ｙ２と、変化量Ｒｘと、変化量Ｒｙとが記憶される。これらの他にも、仮想空間に配置されるオブジェクトに関するデータ、ユーザの操作に応じた操作データ等、様々なデータが記憶される。
【0132】
プログラムは、後述する処理を実行するためのプログラムである。プログラムは、例えば不揮発性メモリ２４や外部の記憶媒体に記憶されており、当該不揮発性メモリ２４や外部の記憶媒体からＤＲＡＭ２３に読み込まれる。なお、プログラムは、他の装置からネットワーク（例えば、ＬＡＮ、ＷＡＮ、インターネット等）を介して取得されてもよい。
【0133】
角速度データは、慣性センサ２２が出力した角速度に関するデータである。
【0134】
仮想カメラデータは、左仮想カメラＶＣＬおよび右仮想カメラＶＣＲの位置および姿勢に関するデータである。
【0135】
ＵＩデータは、ＵＩオブジェクト３０の位置、種類、ＵＩオブジェクト３０に含まれるアイコン３１～３４、情報表示オブジェクト３５等に関するデータである。
【0136】
累積値Ｘ１は、Ｂ領域における移動処理で用いられる値であり、下方向の変化量ｘ１（図１１参照）を累積した値である。また、累積値Ｘ２は、Ｂ領域における移動処理で用いられる値であり、上方向の変化量ｘ２（図１１参照）を累積した値である。
【0137】
累積値Ｙ１は、Ｂ領域における移動処理で用いられる値であり、左方向の変化量ｙ１（図１０参照）を累積した値である。また、累積値Ｙ２は、Ｂ領域における移動処理で用いられる値であり、右方向の変化量ｙ２（図１０参照）を累積した値である。
【0138】
変化量Ｒｘは、Ｂ領域における移動処理で用いられる値であり、仮想カメラＶＣの視線の上下方向（ピッチ方向）の変化量の累積値Ｘ１、Ｘ２のうち、小さい方の値である。また、変化量Ｒｙは、Ｂ領域における移動処理で用いられる値であり、仮想カメラＶＣの視線の左右方向（ヨー方向）の変化量の累積値Ｙ１，Ｙ２のうち、小さい方の値である。ＲｘおよびＲｙは初期的には「０」に設定される。
【0139】
（メインフローの説明）
次に、情報処理装置２において行われるメイン処理の詳細について説明する。図１５は、情報処理装置２のプロセッサ２０において行われるメイン処理の一例を示すフローチャートである。図１５に示す処理は、情報処理装置２のＣＰＵ又はＧＰＵが所定のプログラムを実行することによって行われる。なお、図１５では、上述したＵＩオブジェクト３０の移動に関する処理のみが示されており、他の処理（例えば、仮想空間において行われるユーザの動作（操作）に応じた処理）は省略されている。
次に、情報処理装置２において行われるメイン処理の詳細について説明する。図１５は、情報処理装置２のプロセッサ２０において行われるメイン処理の一例を示すフローチャートである。図１５に示す処理は、情報処理装置２のＣＰＵ又はＧＰＵが所定のプログラムを実行することによって行われる。なお、図１５では、上述したＵＩオブジェクト３０の移動に関する処理のみが示されており、他の処理（例えば、仮想空間において行われるユーザの動作（操作）に応じた処理）は省略されている。
【0140】
図１５に示すように、プロセッサ２０は、まず、初期処理を行う（ステップＳ１００）。初期処理では、まず、ゴーグル装置１０（情報処理装置２）の姿勢に関する初期化が行われる。例えば、ユーザに情報処理装置２を含むゴーグル装置１０をテーブル等に置くように指示が行われ、ゴーグル装置１０の姿勢が初期化される。また、初期処理では、仮想空間にｘｙｚ座標系が設定され、仮想空間内にＵＩオブジェクト３０、左仮想カメラＶＣＬ、右仮想カメラＶＣＲ、背景、及び、その他のオブジェクト等が配置される。ステップＳ１００の処理の後、プロセッサ２０は、ステップＳ１０１～ステップＳ１０９の処理を所定のフレーム時間（例えば、１／６０秒）毎に繰り返し実行する。
【0141】
ステップＳ１００の処理の後、プロセッサ２０は、慣性センサ２２からのデータ（例えば角速度値）を取得する（ステップＳ１０１）。
【0142】
次に、プロセッサ２０は、ステップＳ１０１で取得した慣性センサ２２からのデータに基づいて、姿勢算出処理を行う（ステップＳ１０２）。具体的には、プロセッサ２０は、慣性センサ２２からの角速度値に基づいて、ゴーグル装置１０（情報処理装置２）の姿勢を算出する。プロセッサ２０は、慣性センサ２２からの角速度値を積分することでステップＳ１００における初期化時からの姿勢の変化を算出し、ゴーグル装置１０の姿勢を取得する。また、プロセッサ２０は、算出したゴーグル装置１０の姿勢に応じて、仮想空間内の仮想カメラＶＣ（左仮想カメラＣＶＬ及び右仮想カメラＶＣＲ）の姿勢を設定する。例えば、プロセッサ２０は、仮想空間における左仮想カメラＶＣＬ及び右仮想カメラＶＣＲの姿勢が、実空間におけるゴーグル装置１０の姿勢と一致するように各仮想カメラＶＣの姿勢を設定する。これにより、例えば、ゴーグル装置１０が左方向に５度回転した場合には、左仮想カメラＶＣＬ及び右仮想カメラＶＣＲも左方向に５度回転する。
【0143】
続いて、プロセッサ２０は、ステップＳ１０２で算出した姿勢に基づいて、仮想カメラＶＣの視線のピッチ方向の回転角が第２の閾値（Ｔｘ）以上か否かを判定する（ステップＳ１０３）。仮想カメラＶＣの視線のピッチ方向の回転角が第２の閾値（Ｔｘ）以上と判定した場合（ステップＳ１０３：ＹＥＳ）、プロセッサ２０は、Ａ領域における移動処理を行う（ステップＳ１０４）。ステップＳ１０４の処理を実行した場合、プロセッサ２０は、次にステップＳ１０８の処理を実行する。
【0144】
具体的には、ステップＳ１０４において、プロセッサ２０は、ＵＩオブジェクト３０を仮想カメラＶＣの左右方向に関して正面になるように移動させる。プロセッサ２０は、ＵＩオブジェクト３０の仮想空間における高さを維持したまま、仮想空間のｘｚ平面に平行な面上でＵＩオブジェクト３０を移動させる。例えば、プロセッサ２０は、ＵＩオブジェクト３０が仮想カメラＶＣの左右方向に関して正面に位置するように、ＵＩオブジェクト３０を仮想カメラＶＣの位置（例えば、左仮想カメラＶＣＬ及び右仮想カメラＶＣＲの中間）を中心とした円に沿って移動させる。これにより、ＵＩオブジェクト３０は、図１２で示したように移動する。なお、プロセッサ２０は、１フレーム時間で所定距離だけＵＩオブジェクト３０を移動させてもよい。この場合、ステップＳ１０４の処理がフレーム時間毎に繰り返し実行され、ＵＩオブジェクト３０が仮想カメラＶＣの左右方向に関して正面に移動する様子が表示部２１において表示される。
【0145】
一方、仮想カメラＶＣの視線のピッチ方向の回転角が第２の閾値（Ｔｘ）未満と判定した場合（ステップＳ１０３：ＮＯ）、プロセッサ２０は、仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）以上か否かを判定する（ステップＳ１０５）。
【0146】
仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）以上と判定した場合（ステップＳ１０５：ＹＥＳ）、プロセッサ２０は、Ｂ領域における移動処理を行う（ステップＳ１０６）。このＢ領域における移動処理の詳細については後述する。ステップＳ１０６の処理を実行した場合、プロセッサ２０は、次にステップＳ１０８の処理を実行する。
【0147】
仮想カメラＶＣの視線のヨー方向の回転角が第１の閾値（Ｔｙ）未満と判定した場合（ステップＳ１０５：ＮＯ）、プロセッサ２０は、ＵＩ処理を行う（ステップＳ１０７）。このＵＩ処理では、ＵＩオブジェクト３０における各アイコンの選択処理、選択した後の処理が行われる。例えば、立体視画像の所定位置（例えば中心）に位置するポインタ３７がＵＩオブジェクト３０におけるアイコン３１の表示領域内にある場合、当該アイコン３１が選択される。各アイコンにはそれぞれ選択された場合の処理（例えば、画面の切り替え、ゲームにおける操作、その他アプリケーションの起動等）が割り当てられている。プロセッサ２０は、選択されたアイコンに応じた処理を行う。なお、プロセッサ２０は、ステップＳ１０７において、後述するステップＳ１０６で算出された変化量Ｒｘ、Ｒｙ、累積値Ｘ１、Ｘ２、Ｙ１、Ｙ２をそれぞれ「０」にリセットする。ステップＳ１０７の処理を実行した場合、プロセッサ２０は、次にステップＳ１０８の処理を実行する。
【0148】
ステップＳ１０８において、プロセッサ２０は、画像生成処理を行う。具体的には、プロセッサ２０は、左仮想カメラＶＣＬを用いて仮想空間を撮像することにより左目画像を生成するとともに、右仮想カメラＶＣＲを用いて仮想空間を撮像することにより右目画像を生成する。
【0149】
そして、プロセッサ２０は、ステップＳ１０８で生成した左目画像および右目画像を表示部２１に表示させる（ステップＳ１０９）。具体的には、プロセッサ２０は、左目画像を左領域２１Ｌに表示させ、右目画像を右領域２１Ｒに表示させる。ステップＳ１０９の処理を実行した場合、プロセッサ２０は、ステップＳ１０１の処理を再び実行する。
【0150】
（Ｂ領域における移動処理）
次に、上記ステップＳ１０６のＢ領域における移動処理について説明する。図１６は、ステップＳ１０６のＢ領域における移動処理の一例を示すフローチャートである。
次に、上記ステップＳ１０６のＢ領域における移動処理について説明する。図１６は、ステップＳ１０６のＢ領域における移動処理の一例を示すフローチャートである。
【0151】
図１６に示されるように、プロセッサ２０は、まず、仮想カメラＶＣの視線の仮想空間におけるピッチ方向の回転角に関して、上方向の変化量ｘ１および下方向の変化量ｘ２を算出する（ステップＳ１３０）。例えば、プロセッサ２０は、前回の処理ループにおける仮想カメラＶＣの姿勢と、今回の処理ループにおける仮想カメラＶＣの姿勢とに基づいて、上方向又は下方向に視線が変化したか否かを判定し、その変化量ｘ１又はｘ２を算出する。そして、算出した変化量ｘ１又はｘ２を、累積値Ｘ１又はＸ２に加算する。例えば、仮想カメラＶＣの視線が上方向に変化し続けている場合には、累積値Ｘ１は増加する一方、下方向の変化量ｘ２は「０」度となり、その累積値Ｘ２も「０」度となる。また、例えば、図１１の例のように、仮想カメラＶＣは下方向にｘ１度回転した後、上方向にｘ２度回転した場合、累積値Ｘ１には「ｘ１」、累積値Ｘ２には「ｘ２」がそれぞれ設定される。
【0152】
次に、プロセッサ２０は、ステップＳ１３０で更新した累積値Ｘ１およびＸ２のうち、小さい方の値を、上下方向の変化量Ｒｘに設定する（ステップＳ１３１）。
【0153】
続いて、プロセッサ２０は、仮想カメラＶＣの視線の仮想空間におけるヨー方向の回転角に関して、左方向の変化量ｙ１および右方向の変化量ｙ２を算出する（ステップＳ１３２）。例えば、プロセッサ２０は、前回の処理ループにおける仮想カメラＶＣの姿勢と、今回の処理ループにおける仮想カメラＶＣの姿勢とに基づいて、左方向又は右方向に視線が変化したか否かを判定し、その変化量ｙ１又はｙ２を算出する。そして、算出した変化量ｙ１又はｙ２を、累積値Ｙ１又はＹ２に加算する。例えば、仮想カメラＶＣの視線が左方向に変化し続けている場合には、累積値Ｙ１は増加する一方、右方向の変化量ｙ２は「０」度となり、その累積値Ｙ２も「０」度となる。また、例えば、図１０の例のように、仮想カメラＶＣが左方向にｙ１度回転した後、右方向にｙ２度回転した場合、累積値Ｙ１には「ｙ１」、累積値Ｙ２には「ｙ２」がそれぞれ設定される。
【0154】
次に、プロセッサ２０は、ステップＳ１３２で更新した累積値Ｙ１およびＹ２のうち、小さい方の値を、左右方向の変化量Ｒｙに設定する（ステップＳ１３３）。
【0155】
続いて、プロセッサ２０は、ステップＳ１３１で設定したＲｘとステップＳ１３３で設定したＲｙとの和が所定値以上か否かを判定する（ステップＳ１３４）。
【0156】
「Ｒｘ＋Ｒｙ」が所定値以上と判定した場合（ステップＳ１３４：ＹＥＳ）、プロセッサ２０は、ＵＩオブジェクト３０を仮想カメラＶＣの正面になるように移動させる（ステップＳ１３５）。具体的には、プロセッサ２０は、ＵＩオブジェクト３０の仮想空間における高さを維持したまま、仮想空間のｘｚ平面に平行な面上でＵＩオブジェクト３０を移動させる。例えば、プロセッサ２０は、ＵＩオブジェクト３０が仮想カメラＶＣの左右方向における正面に位置するように、ＵＩオブジェクト３０を仮想カメラＶＣの位置（例えば、左仮想カメラＶＣＬ及び右仮想カメラＶＣＲの中間）を中心とした円に沿って移動させる。これにより、ＵＩオブジェクト３０は、図８に示すように移動する。
【0157】
ステップＳ１３５の処理を実行した場合、又は、ステップＳ１３４でＮＯと判定した場合、プロセッサ２０は、所定の操作が行われたか否かを判定する（ステップＳ１３６）。ここで、「所定の操作」は、例えば、ゴーグル装置１０における所定のボタンや場所が押されたり、タップされたり、叩かれたりする操作であってもよい。
【0158】
所定の操作が行われたと判定した場合（ステップＳ１３６：ＹＥＳ）、プロセッサ２０は、ステップＳ１３７の処理を実行する。ステップＳ１３７の処理は、ステップＳ１３５と同様の処理である。
【0159】
【0160】
なお、上記フローチャートで示した処理は単なる例示に過ぎず、処理の順番や内容、判定に用いられる閾値は適宜変更されてもよい。また、判定において閾値が含まれてもよいし含まれなくてもよい。例えば、「ある値が閾値以上か否かの判定」は、「ある値が閾値より大きいか否かの判定」に置き換えられてもよい。
【0161】
以上のように、仮想カメラＶＣの視線がＢ領域にある場合、Ｂ領域における移動処理において、ヨー方向又はピッチ方向に関して、仮想カメラＶＣの視線が一方向から他方向に変化したことが検出される。具体的には、ステップＳ１３１又はステップＳ１３３で設定されたＲｘ又はＲｙの値が「０」度を超える場合、一方向から他方向に変化したことになる。仮想カメラＶＣの視線が、一方向から他方向に変化した場合において、その他方向への回転角を累積した値（Ｒｘ及び／又はＲｙ）が所定値以上となった場合、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させる。これにより、ユーザは、ＵＩオブジェクト３０以外の仮想空間を見渡すことができるとともに、ＵＩオブジェクト３０を見たい場合には、ＵＩオブジェクト３０を正面に移動させることができる。
【0162】
また、仮想カメラＶＣの視線がＡ領域にある場合、Ａ領域における移動処理において、ＵＩオブジェクト３０が常に仮想カメラＶＣの左右方向に関して正面になるように移動される。これにより、例えば、ゴーグル装置１０を上方向に向けたり、下方向に向けたりすることで、ＵＩオブジェクト３０を正面に移動させることができる。
【0163】
（変形例）
以上、本実施形態の画像処理ついて説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。
以上、本実施形態の画像処理ついて説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。
【0164】
例えば、上記実施形態では、Ａ領域における移動処理およびＢ領域における移動処理において、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように、ＵＩオブジェクト３０を移動させた。他の実施形態では、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように、仮想カメラＶＣの制御（姿勢の変化、及び／又は、移動）を行ってもよい。例えば、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように、ＵＩオブジェクト３０を固定して、仮想カメラＶＣの姿勢を変化させてもよいし、仮想カメラＶＣを移動させてもよい。また、他の実施形態では、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように、ＵＩオブジェクト３０の移動及び仮想カメラＶＣの制御の両方を行ってもよい。すなわち、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように、ＵＩオブジェクト３０の移動、及び、仮想カメラＶＣの制御（姿勢の変化、及び／又は、移動）のうちの少なくとも何れか一方を行ってもよい。ＵＩオブジェクト３０の移動が行われる場合は、上記実施形態で示したように、ＵＩオブジェクト３０を移動させるとともに、ＵＩオブジェクト３０を回転させて、ＵＩオブジェクト３０が仮想カメラＶＣを向くようにしてもよい。
【0165】
また、上記実施形態では、条件が満たされた場合にＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させた。他の実施形態では、条件が満たされた場合にＵＩオブジェクト３０の少なくとも一部が仮想カメラＶＣの撮像範囲に位置するように、ＵＩオブジェクト３０を移動させてもよいし、仮想カメラＶＣを制御（例えば、仮想カメラの移動及び／又は回転）してもよいし、ＵＩオブジェクト３０の移動及び仮想カメラＶＣの制御の両方を行ってもよい。
【0166】
また、上記実施形態では、Ｂ領域における移動処理において、仮想カメラＶＣのヨー方向又はピッチ方向の回転が一方向から他方向に変化した場合において、他方向の回転角を累積した値及び一方向の回転角を累積した値のうちの小さい方の値が所定以上であるか否かを判定した。具体的には、上記変化量Ｒｙ及びＲｘの和が所定値以上であるか否かを判定した。ＵＩオブジェクト３０を移動させるか否かの判定は、他の方法により行われてもよい。例えば、他の実施形態では、上記変化量Ｒｙ及びＲｘのうち何れか一方が所定値以上であるか否かが判定されてもよい。また、仮想カメラＶＣのヨー方向又はピッチ方向の回転が一方向から他方向に変化した場合において、他方向の回転角を累積した値、及び／又は、一方向の回転角を累積した値が所定以上である場合に、ＵＩオブジェクト３０を移動させてもよい。
【0167】
また、他の実施形態では、他方向の回転角および一方向の回転角を累積せず、他方向の回転角及び／又は一方向の回転角が所定値以上となった場合に、ＵＩオブジェクト３０を移動させてもよい。この場合、仮想カメラＶＣの一方向への回転と他方向への回転とが複数回繰り返されている場合において、各回の他方向への回転角又は一方向への回転角が所定値未満である場合はＵＩオブジェクト３０は移動されない。一方、仮想カメラＶＣの一方向への回転と他方向への回転とが複数回繰り返されている場合において、１回の他方向への回転角又は一方向への回転角が所定値以上となった場合には、ＵＩオブジェクト３０は移動される。
【0168】
また、ヨー方向に関する変化量Ｒｙが所定値以上か否かの判定と、ピッチ方向に関する変化量Ｒｘが所定値以上か否かの判定とは、別々で行われてもよい。この場合、ＲｘおよびＲｙの何れか一方が所定値以上となった場合には、ＵＩオブジェクト３０を移動させる。
【0169】
また、ヨー方向に関する変化量Ｒｙとピッチ方向に関する変化量Ｒｘとで閾値を異ならせてもよい。例えば、ヨー方向についてはＲｙが第１の所定値（例えば４～８度）以上であれば、ＵＩオブジェクト３０を移動させ、ピッチ方向についてはＲｘが第１の所定値より大きな第２の所定値（例えば１０～２０度）以上であれば、ＵＩオブジェクト３０を移動させてもよい。また、これらの閾値を、表示されるＵＩオブジェクト３０の種類、仮想空間のシーン（背景のシーン）に応じて異ならせてもよい。
【0170】
また、上記実施形態では、ヨー方向およびピッチ方向に関して、仮想カメラＶＣの視線が一方向から他方向に反転したことを第１の条件として、当該第１の条件が満たされている場合において、さらに第２の条件が満たされた場合（具体的には、他方向への回転角の累積値が所定値以上になった場合）、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させた。他の実施形態では、上記第１の条件が満たされた場合に、すなわち、仮想カメラＶＣの視線が一方向から他方向に反転した場合に、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。この場合、累積値に関係なく、仮想カメラＶＣの視線が反転した瞬間にＵＩオブジェクト３０が仮想カメラＶＣの正面に移動する。
【0171】
また、他の実施形態では、仮想カメラＶＣの視線の反転回数が所定回数以上となった場合に、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。例えば、仮想カメラＶＣが左方向に回転してＢ領域に入った後、右方向への回転と左方向の回転とを繰り返す場合、反転した回数（右方向への反転、及び、左方向への反転）が所定回数以上となった場合にＵＩオブジェクト３０を移動させてもよい。
【0172】
また、他の実施形態では、仮想カメラＶＣの視線が一方向（例えば左方向）から他方向（例えば右方向）に反転した場合に、反転した後の他方向（右方向）および一方向（左方向）の角度に基づいて、ＵＩオブジェクト３０を移動させてもよい。
【0173】
すなわち、Ｂ領域における移動処理において、仮想カメラＶＣの視線が一方向から他方向に反転したことに基づいて、ＵＩオブジェクト３０を仮想カメラＶＣの正面に移動させてもよい。ここで、「仮想カメラＶＣの視線が一方向から他方向に反転したことに基づいて」とは、例えば、以下の事項を含む。
・仮想カメラＶＣの視線が所定の回転方向における一方向から他方向に反転した場合において、さらに、他方向への回転角又はその累積値（上記Ｒｘ又はＲｙ）が所定値以上となること。
・所定の回転方向における仮想カメラＶＣの視線の反転回数が所定値となること。
・仮想カメラＶＣの視線が所定の回転方向における一方向から他方向に変化すること。
・仮想カメラＶＣの視線が所定の回転方向における一方向から他方向に反転した場合において、さらに、他方向への回転角又はその累積値（上記Ｒｘ又はＲｙ）が所定値以上となること。
・所定の回転方向における仮想カメラＶＣの視線の反転回数が所定値となること。
・仮想カメラＶＣの視線が所定の回転方向における一方向から他方向に変化すること。
【0174】
また、上記実施形態では、仮想カメラＶＣの視線が図９に示す「Ａ領域」および「Ｂ領域」の何れにあるかについて、仮想カメラＶＣの視線の角度に基づいて判定し、各領域に応じてＵＩオブジェクト３０を移動させた。他の実施形態では、仮想カメラＶＣの視線の角度に限らず、例えば、ポインタの位置が「Ａ領域」および「Ｂ領域」の何れの領域にあるかに応じて、ＵＩオブジェクト３０を移動させてもよい。例えば、立体視画像の所定位置（例えば中心）にポインタが表示され、当該ポインタがＡ領域にある場合には上記「Ａ領域における移動処理」を行い、当該ポインタがＢ領域にある場合には上記「Ｂ領域における移動処理」を行ってもよい。
【0175】
また、上記実施形態では、条件が満たされた場合にＵＩオブジェクト３０を移動させることとした。移動させるオブジェクトは、ＵＩオブジェクト３０に限らず、任意のオブジェクトであってもよい。例えば、条件が満たされた場合に、ユーザに所定の情報を伝えるキャラクタオブジェクトを仮想カメラＶＣの正面に移動させてもよい。
【0176】
また、上記実施形態では、ゴーグル装置１０（情報処理装置２）の姿勢を、情報処理装置２に内蔵された慣性センサ２２からのデータに基づいて検出した。他の実施形態では、他の方法によりゴーグル装置１０の姿勢を検出してもよい。例えば、画像表示システム１は、ゴーグル装置１０を外部から撮像するカメラを備え、カメラでゴーグル装置１０又はゴーグル装置１０に取り付けられたマーカを撮像し、撮像した画像に基づいてゴーグル装置１０の姿勢を取得してもよい。また、ゴーグル装置１０がカメラを備え、当該カメラが撮像した画像の変化からゴーグル装置１０の姿勢が取得されてもよい。
【0177】
また、上記実施形態では、仮想カメラＶＣの視線の回転方向を仮想空間における左右方向（ヨー方向）の成分と、上下方向（ピッチ方向）の成分とに分け、仮想カメラＶＣの視線が、左右方向又は上下方向の成分に関して、一方向から他方向に変化したことに基づいて、ＵＩオブジェクト３０を移動させた。例えば、仮想カメラＶＣの視線が、左右方向の成分における一方向（例えば左方向）から他方向（例えば右方向）に変化した場合に、左右方向の成分における他方向及び／又は一方向の回転量を算出し、算出した回転量が所定値以上である場合（所定値を含んでも含まなくてもよい）、ＵＩオブジェクト３０を移動させた。他の実施形態では、仮想カメラＶＣの視線が、斜め方向における一方向（例えば、左下から右上への方向）から他方向（例えば、右上から左下への方向）に変化したことに基づいて、ＵＩオブジェクト３０を移動させてもよい。
【0178】
すなわち、仮想カメラＶＣの視線の回転方向の所定成分（例えば、左右方向成分、上下方向成分、斜め方向成分）が、一方向から他方向に変化したことに基づいて、ＵＩオブジェクト３０を移動させてもよい。
【0179】
また、上記実施形態では、仮想カメラＶＣの視線がＡ領域にあるときには、仮想カメラＶＣの左右方向の回転に追従してＵＩオブジェクト３０を移動させた。他の実施形態では、仮想カメラＶＣの視線がＵＩ領域から出てＡ領域に入った後、仮想カメラＶＣの視線がＵＩ領域に戻ったタイミングで、ＵＩオブジェクト３０を左右方向（ヨー方向）における仮想カメラＶＣの正面に移動させてもよい（又は仮想カメラＶＣを制御してもよい）。すなわち、ユーザが、ゴーグル装置１０を外した後（例えばゴーグル装置１０の底面１５を上又は下方向に向けた後）、ゴーグル装置１０を顔に当てて表示部を見たときに、ＵＩオブジェクト３０が正面に見えるように制御されるのであれば、ＵＩオブジェクト３０を移動させるタイミングはいつでもよい。例えば、仮想カメラＶＣの視線がＡ領域に入った時点で、ＵＩオブジェクト３０を仮想カメラＶＣの左右方向の回転に追従するように移動させてもよいし、仮想カメラＶＣの視線がＡ領域に入ってからＵＩ領域に戻った時点で、ＵＩオブジェクト３０を左右方向における仮想カメラＶＣの正面に移動させてもよい。
【0180】
また、上記実施形態では、仮想カメラＶＣの視線がＡ領域内にある場合に、ヨー方向における仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように制御した。また、仮想カメラＶＣの視線がＢ領域内にある場合において、仮想カメラＶＣの視線が反転したことを条件に、仮想カメラＶＣの正面にＵＩオブジェクト３０が位置するように制御した。ここでいう「正面」とは、厳密な正面だけではなく、実質的な正面を含む。厳密な正面とは、仮想カメラＶＣの視線を伸ばした直線が、ＵＩオブジェクト３０の左右方向の中心を通るｙ軸に平行な直線と交わることである。言い換えると、厳密な正面とは、仮想カメラＶＣの視線が、ＵＩオブジェクト３０の左右方向にずれていないことである。実質的な正面は、仮想カメラＶＣの視線が、ＵＩオブジェクト３０の左右方向にずれている場合も含む。例えば、「仮想カメラＶＣの実質的な正面にＵＩオブジェクト３０が位置する」とは、仮想カメラＶＣの視線を通るｘｚ平面に垂直な面が、ＵＩオブジェクト３０と交わることであってもよい。この場合、ＵＩオブジェクト３０に対する仮想カメラＶＣのピッチ方向の回転角を「０」度にしたときには、仮想カメラＶＣの視線を伸ばした直線は、ＵＩオブジェクト３０に当たることになる。また、「仮想カメラＶＣの実質的な正面にＵＩオブジェクト３０が位置するようにＵＩオブジェクトを移動させる」とは、ＵＩオブジェクト３０に対する仮想カメラＶＣのピッチ方向の回転角を「０」度にした場合に、ＵＩオブジェクト３０の少なくとも一部が仮想カメラＶＣの視野内に入り、かつ、ＵＩオブジェクトの移動前よりもＵＩオブジェクト３０に対する仮想カメラＶＣのヨー方向の回転角が小さくなるように、ＵＩオブジェクトを移動させることであってもよい。すなわち、本明細書における「正面」とは、ＵＩオブジェクト（所定のオブジェクト）に対する仮想カメラのヨー方向の回転角が所定の角度であることを意味する。「所定の角度」は、所定のオブジェクトに対する仮想カメラのピッチ方向の回転角を「０」度にしたときに、仮想カメラの視野内に所定のオブジェクトの少なくとも一部が含まれる角度であってもよい。
【0181】
また、上記実施形態では、仮想カメラＶＣの視線がＵＩ領域の上側のＡ領域又は下側のＡ領域にある場合に、上記Ａ領域における移動処理を行った。他の実施形態では、仮想カメラＶＣの視線がＵＩ領域の上側のＡ領域にある場合にのみ、上記Ａ領域における移動処理を行ってもよい。逆に、仮想カメラＶＣの視線がＵＩ領域の下側のＡ領域にある場合にのみ、上記Ａ領域における移動処理を行ってもよい。
【0182】
また、図９に示す各領域の大きさ、形状は単なる一例であり、各領域は他の任意の大きさ、形状であってもよい。また、仮想カメラＶＣの視線が各領域の境界にある場合には、仮想カメラＶＣの視線がＵＩ領域にあると判定されてもよいし、ＵＩ領域とは異なる領域（すなわち、Ａ領域又はＢ領域）にあると判定されてもよい。
【0183】
また、上記実施形態では、２つの左仮想カメラＶＣＬおよび右仮想カメラＶＣＲに基づいて、互いに視差を有する左目画像および右目画像を生成することとした。他の実施形態では、１つの仮想カメラに基づいて画像を生成し、生成した画像に変形を加えて互いに視差を有する左目画像および右目画像を生成してもよい。すなわち、本明細書において、「仮想カメラに基づいて左目画像および右目画像を生成する」ことは、一対の左仮想カメラＶＣＬおよび右仮想カメラＶＣＲに基づいて（すなわち、複数の仮想カメラに基づいて）左目画像および右目画像を生成することと、１つの仮想カメラに基づいて左目画像および右目画像を生成することとの両方を含むものとする。
【0184】
また、上記実施形態では、ゴーグル装置１０の表示部２１は、ゴーグル本体に着脱可能であるとした。他の実施形態では、ゴーグル装置１０の表示部２１は、ゴーグル本体に固定されてもよい。すなわち、ゴーグル装置１０は、左目用画像および右目用画像を表示するための表示部と、左目用画像および右目用画像を生成する情報処理装置とが一体として構成されたものであってもよい。また、ゴーグル装置１０の表示部は、上述のような表示部２１に限られない。例えば、ゴーグル装置１０の表示部は、２つの表示部（ユーザの左目で視認される左目表示部、および、ユーザの右目で視認される右目表示部）を有してもよい。また、ゴーグル装置１０の表示部は、任意の形状であってもよい。例えば、ゴーグル装置１０の表示部自体が、左開口１６Ｌおよび右開口１６Ｒのように略円形（円形又は楕円）に形成されてもよい。また、正方形や長方形に形成された２つの左右の表示部が、ゴーグル装置１０の表示部として用いられてもよい。また、ゴーグル装置１０の表示部は、液晶表示装置や有機ＥＬ表示装置等の表示装置であってもよいし、投影面に映像を投影する投影方式の表示装置であってもよい。
【0185】
また、上記実施形態の画像表示システム１の構成は単なる一例であり、上記に限られない。例えば、上記実施形態では、ゴーグル装置１０は、画像を表示する表示部２１および画像を生成するための処理を行うプロセッサ２０を有する情報処理装置２と、ゴーグル本体とにより構成されるものとした。すなわち、ゴーグル本体と情報処理装置２とを含むゴーグル装置１０により、画像表示システム１が構成されるものとした。他の実施形態では、表示部を備えるゴーグル装置（表示部と一体となったゴーグル装置）と、画像を生成するための処理等を行う情報処理装置とが別々の装置として構成され、これら複数の装置により、画像表示システム１が構成されてもよい。この場合、ゴーグル装置と情報処理装置とは、有線または無線で接続され、情報処理装置において生成された左目画像および右目画像がゴーグル装置に送信され、ユーザに視認されてもよい。また、情報処理装置が上述したＵＩオブジェクト３０の移動に関する処理を行い、その処理の結果をゴーグル装置に送信し、ゴーグル装置が左目画像および右目画像を生成してユーザに視認させてもよい。また、ゴーグル装置と情報処理装置とは、ネットワーク（ＬＡＮやＷＡＮ、インターネット等）で接続されてもよい。
【0186】
また、本実施形態では、ユーザが手で把持したまま表示部を覗き込むゴーグル装置が用いられるものとしたが、他の実施形態では、ゴーグル装置は、ユーザが手で把持することを必要とせず、ユーザの頭部に固定的に装着するヘッドマウントディスプレイであってもよい。
【0187】
以上、本発明について説明したが、上記説明は本発明の例示に過ぎず、種々の改良や変形が加えられてもよい。
【符号の説明】
【0188】
１ 画像表示システム
２ 情報処理装置
１０ ゴーグル装置
１１ 上面
１２ 右側面
１３ 下面
１４ 左側面
１５ 底面
１６Ｌ 左開口
１６Ｒ 右開口
１７ 仕切り面
２０ プロセッサ
２１ 表示部
２２ 慣性センサ
３０ ＵＩオブジェクト
３１～３４ アイコン
３５ 情報表示オブジェクト
３７ ポインタ
ＶＣ 仮想カメラ
ＶＣＬ 左仮想カメラ
ＶＣＲ 右仮想カメラ
２ 情報処理装置
１０ ゴーグル装置
１１ 上面
１２ 右側面
１３ 下面
１４ 左側面
１５ 底面
１６Ｌ 左開口
１６Ｒ 右開口
１７ 仕切り面
２０ プロセッサ
２１ 表示部
２２ 慣性センサ
３０ ＵＩオブジェクト
３１～３４ アイコン
３５ 情報表示オブジェクト
３７ ポインタ
ＶＣ 仮想カメラ
ＶＣＬ 左仮想カメラ
ＶＣＲ 右仮想カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-05-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ゴーグル装置と、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段と、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段と、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段と、を備える、画像表示システム。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段と、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段と、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段と、を備える、画像表示システム。
【請求項2】
前記第２制御手段は、前記仮想カメラの回転が所定の範囲である場合、前記第１検知手段によって前記変化が検知されない場合であっても、前記ゴーグル装置が前記所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１に記載の画像表示システム。
【請求項3】
前記仮想カメラの回転量を算出する算出手段をさらに備え、
前記第１制御手段は、
少なくとも前記第１検知手段によって前記変化が検知されたこと、および、前記回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１又は２に記載の画像表示システム。
前記第１制御手段は、
少なくとも前記第１検知手段によって前記変化が検知されたこと、および、前記回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１又は２に記載の画像表示システム。
【請求項4】
前記第１制御手段は、前記第１検知手段によって前記変化が検知された場合において、当該検知された後の前記回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項３に記載の画像表示システム。
【請求項5】
前記算出手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量を算出し、
前記第１制御手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項３又は４に記載の画像表示システム。
前記第１制御手段は、前記所定の回転方向における前記他方向及び／又は前記一方向への回転量に基づいて、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項３又は４に記載の画像表示システム。
【請求項6】
前記第１制御手段は、前記第１検知手段によって前記変化が検知された場合において、前記他方向及び／又は前記一方向への回転量が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項５に記載の画像表示システム。
【請求項7】
前記第１制御手段は、前記第１検知手段によって前記変化が検知された後の前記他方向及び／又は前記一方向への回転量の累積値が所定値以上である場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項６に記載の画像表示システム。
【請求項8】
前記算出手段は、前記所定の回転方向における前記一方向への第１回転量、および、前記所定の回転方向における前記他方向への第２回転量を算出し、
前記第１回転量と前記第２回転量とを比較する比較手段をさらに備え、
前記第１検知手段は、前記比較手段の比較結果に基づいて、前記変化を検知する、請求項３から７の何れかに記載の画像表示システム。
前記第１回転量と前記第２回転量とを比較する比較手段をさらに備え、
前記第１検知手段は、前記比較手段の比較結果に基づいて、前記変化を検知する、請求項３から７の何れかに記載の画像表示システム。
【請求項9】
前記第１検知手段は、前記第１回転量および前記第２回転量のうちの小さい方に基づいて、前記変化を検知する、請求項８に記載の画像表示システム。
【請求項10】
前記算出手段は、前記第１回転量の累積値、および、前記第２回転量の累積値を算出し、
前記第１検知手段は、前記第１回転量の累積値、および、前記第２回転量の累積値のうちの小さい方に基づいて、前記変化を検知する、請求項８に記載の画像表示システム。
前記第１検知手段は、前記第１回転量の累積値、および、前記第２回転量の累積値のうちの小さい方に基づいて、前記変化を検知する、請求項８に記載の画像表示システム。
【請求項11】
前記カメラ回転手段は、
少なくとも、前記仮想カメラの撮像範囲内に前記オブジェクトの少なくとも一部が位置する第１姿勢、および、前記仮想カメラの撮像範囲外に前記オブジェクトが位置する第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第２姿勢に近づく方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から１０の何れかに記載の画像表示システム。
少なくとも、前記仮想カメラの撮像範囲内に前記オブジェクトの少なくとも一部が位置する第１姿勢、および、前記仮想カメラの撮像範囲外に前記オブジェクトが位置する第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第２姿勢に近づく方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から１０の何れかに記載の画像表示システム。
【請求項12】
前記カメラ回転手段は、
少なくとも、前記仮想カメラが前記オブジェクトを向く第１姿勢、および、前記仮想カメラが前記オブジェクトを向かない第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第１姿勢から離れる方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から１０の何れかに記載の画像表示システム。
少なくとも、前記仮想カメラが前記オブジェクトを向く第１姿勢、および、前記仮想カメラが前記オブジェクトを向かない第２姿勢となるように、前記仮想カメラを回転させ、
前記一方向は、前記仮想カメラが前記第１姿勢から離れる方向であり、
前記他方向は、前記仮想カメラが前記第１姿勢に近づく方向である、請求項１から１０の何れかに記載の画像表示システム。
【請求項13】
前記第１検知手段は、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転したとき、前記変化を検知し、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転することなく前記一方向に回転しているとき、又は、前記仮想カメラの視線が回転していないとき、前記変化を検知せず、
前記第１制御手段は、前記変化が検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行い、前記変化が検知されていない場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行わない、請求項１１又は１２に記載の画像表示システム。
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転したとき、前記変化を検知し、
前記仮想カメラが前記第２姿勢である場合において、前記仮想カメラの視線が前記他方向に回転することなく前記一方向に回転しているとき、又は、前記仮想カメラの視線が回転していないとき、前記変化を検知せず、
前記第１制御手段は、前記変化が検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行い、前記変化が検知されていない場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行わない、請求項１１又は１２に記載の画像表示システム。
【請求項14】
前記第２姿勢は、前記仮想カメラの視線の左右方向に前記オブジェクトが存在する姿勢である、請求項１１から１３の何れかに記載の画像表示システム。
【請求項15】
前記所定の回転方向は、前記仮想空間におけるヨー方向である、請求項１から１４の何れかに記載の画像表示システム。
【請求項16】
前記カメラ回転手段は、前記仮想カメラの視線を、前記所定の回転方向と直交する第２の回転方向に回転させることが可能であり、
前記第１検知手段は、さらに、前記仮想カメラの視線が前記第２の回転方向における一方向から他方向に変化したことを検知する、請求項１から１５の何れかに記載の画像表示システム。
前記第１検知手段は、さらに、前記仮想カメラの視線が前記第２の回転方向における一方向から他方向に変化したことを検知する、請求項１から１５の何れかに記載の画像表示システム。
【請求項17】
前記所定の回転方向は、前記仮想空間におけるピッチ方向である、請求項１から１６の何れかに記載の画像表示システム。
【請求項18】
前記オブジェクトは、ユーザが操作可能なユーザインターフェイスである、請求項１から１７の何れかに記載の画像表示システム。
【請求項19】
前記ユーザインターフェイスを指示するポインタを設定するポインタ設定手段をさらに備え、
前記第１検知手段は、前記ユーザインターフェイスを基準とする所定の領域に前記ポインタがない場合、前記変化を検知する、請求項１８に記載の画像表示システム。
前記第１検知手段は、前記ユーザインターフェイスを基準とする所定の領域に前記ポインタがない場合、前記変化を検知する、請求項１８に記載の画像表示システム。
【請求項20】
前記第１検知手段は、前記所定の領域に前記ポインタがない場合、前記所定の回転方向における前記一方向および前記他方向の回転の変化量を算出する、請求項１９に記載の画像表示システム。
【請求項21】
前記第１検知手段は、前記ポインタが前記所定の領域に入った場合、前記変化量をリセットする、請求項２０に記載の画像表示システム。
【請求項22】
前記一方向は、前記ポインタが前記所定の領域から離れる方向であり、
前記第１検知手段は、前記ポインタが前記所定の領域から離れる方向への移動中に前記ポインタの移動方向が反転した場合に、前記変化を検知する、請求項１９から２１の何れかに記載の画像表示システム。
前記第１検知手段は、前記ポインタが前記所定の領域から離れる方向への移動中に前記ポインタの移動方向が反転した場合に、前記変化を検知する、請求項１９から２１の何れかに記載の画像表示システム。
【請求項23】
前記第１検知手段は、前記オブジェクトを基準とした前記仮想カメラの視線が所定の角度である場合に、前記変化を検知する、請求項１から２２の何れかに記載の画像表示システム。
【請求項24】
前記仮想カメラの姿勢に応じて前記オブジェクトを選択する選択手段をさらに備え、
前記第１制御手段は、前記選択手段によって前記オブジェクトが選択されていない場合に、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２３の何れかに記載の画像表示システム。
前記第１制御手段は、前記選択手段によって前記オブジェクトが選択されていない場合に、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２３の何れかに記載の画像表示システム。
【請求項25】
前記第１検知手段によって前記変化が検知されていない場合でも、ユーザによる所定の操作に応じて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動又は前記仮想カメラの制御を行う第３制御手段をさらに備える、請求項１から２４の何れかに記載の画像表示システム。
【請求項26】
前記第１検知手段は、前記仮想カメラの視線の前記一方向から前記他方向への反転、および、前記他方向から前記一方向への反転の回数が所定回数になったことを検知し、
前記第１制御手段は、前記第１検知手段によって前記反転の回数が所定回数になったことが検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２５の何れかに記載の画像表示システム。
前記第１制御手段は、前記第１検知手段によって前記反転の回数が所定回数になったことが検知された場合、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う、請求項１から２５の何れかに記載の画像表示システム。
【請求項27】
ゴーグル装置の表示部に画像を表示させる装置のプロセッサにおいて実行される画像表示プログラムであって、前記プロセッサを、
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段、および、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段として機能させる、画像表示プログラム。
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段、および、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段として機能させる、画像表示プログラム。
【請求項28】
ゴーグル装置の表示部に画像を表示させる表示制御装置であって、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段と、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段と、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段と、を備える、表示制御装置。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知手段と、
前記第１検知手段によって前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御手段と、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御手段と、を備える、表示制御装置。
【請求項29】
ゴーグル装置を含む画像表示システムにおいて行われる画像表示方法であって、前記画像表示システムに、
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知ステップと、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知ステップと、
前記第１検知ステップで前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御ステップと、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御ステップと、を実行させる、画像表示方法。
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記仮想カメラの視線が、所定の回転方向における一方向から他方向に変化したことを検知する第１検知ステップと、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知ステップと、
前記第１検知ステップで前記変化が検知されたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第１制御ステップと、
前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う第２制御ステップと、を実行させる、画像表示方法。
【請求項30】
ゴーグル装置と、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段と、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、画像表示システム。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段と、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、画像表示システム。
【請求項31】
ゴーグル装置の表示部に画像を表示させる装置のプロセッサにおいて実行される画像表示プログラムであって、前記プロセッサを、
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段、および、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段として機能させる、画像表示プログラム。
仮想空間にオブジェクトを配置するオブジェクト配置手段、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段、
前記ゴーグル装置の姿勢を取得する姿勢取得手段、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段、および、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段として機能させる、画像表示プログラム。
【請求項32】
ゴーグル装置の表示部に画像を表示させる表示制御装置であって、
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段と、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、表示制御装置。
仮想空間にオブジェクトを配置するオブジェクト配置手段と、
前記仮想空間の仮想カメラによって撮像される画像を前記表示部に表示させる表示制御手段と、
前記ゴーグル装置の姿勢を取得する姿勢取得手段と、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転手段と、
前記ゴーグル装置が所定の衝撃を受けたことを検知する検知手段と、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御手段と、を備える、表示制御装置。
【請求項33】
ゴーグル装置を含む画像表示システムにおいて行われる画像表示方法であって、前記画像表示システムに、
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知ステップと、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御ステップと、を実行させる、画像表示方法。
仮想空間にオブジェクトを配置するオブジェクト配置ステップと、
前記仮想空間の仮想カメラによって撮像される画像を前記ゴーグル装置の表示部に表示させる表示制御ステップと、
前記ゴーグル装置の姿勢を取得する姿勢取得ステップと、
前記ゴーグル装置の姿勢に基づいて、前記仮想カメラを前記仮想空間において回転させるカメラ回転ステップと、
前記ゴーグル装置が所定の衝撃を受けたことを検知する第２検知ステップと、
前記仮想カメラの回転が所定の値を超えている場合において、前記ゴーグル装置が所定の衝撃を受けたことに基づいて、前記オブジェクトの少なくとも一部が前記仮想カメラの撮像範囲内に位置するように、前記オブジェクトの移動及び前記仮想カメラの制御の少なくとも何れか一方を行う制御ステップと、を実行させる、画像表示方法。