特許第6788294号(P6788294)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社コナミデジタルエンタテインメントの特許一覧
<>
  • 特許6788294-表示制御装置及びプログラム 図000002
  • 特許6788294-表示制御装置及びプログラム 図000003
  • 特許6788294-表示制御装置及びプログラム 図000004
  • 特許6788294-表示制御装置及びプログラム 図000005
  • 特許6788294-表示制御装置及びプログラム 図000006
  • 特許6788294-表示制御装置及びプログラム 図000007
  • 特許6788294-表示制御装置及びプログラム 図000008
  • 特許6788294-表示制御装置及びプログラム 図000009
  • 特許6788294-表示制御装置及びプログラム 図000010
  • 特許6788294-表示制御装置及びプログラム 図000011
  • 特許6788294-表示制御装置及びプログラム 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6788294
(24)【登録日】2020年11月4日
(45)【発行日】2020年11月25日
(54)【発明の名称】表示制御装置及びプログラム
(51)【国際特許分類】
   G06F 3/0481 20130101AFI20201116BHJP
   G06F 3/01 20060101ALI20201116BHJP
   A63F 13/525 20140101ALI20201116BHJP
   H04N 13/344 20180101ALI20201116BHJP
   H04N 13/361 20180101ALI20201116BHJP
   H04N 13/366 20180101ALI20201116BHJP
   H04N 13/378 20180101ALI20201116BHJP
   H04N 13/279 20180101ALI20201116BHJP
   G06T 19/00 20110101ALI20201116BHJP
【FI】
   G06F3/0481 150
   G06F3/01 510
   A63F13/525
   H04N13/344
   H04N13/361
   H04N13/366
   H04N13/378
   H04N13/279
   G06T19/00 300B
【請求項の数】4
【全頁数】21
(21)【出願番号】特願2019-157638(P2019-157638)
(22)【出願日】2019年8月30日
(62)【分割の表示】特願2018-42421(P2018-42421)の分割
【原出願日】2018年3月8日
(65)【公開番号】特開2020-74061(P2020-74061A)
(43)【公開日】2020年5月14日
【審査請求日】2019年11月26日
【早期審査対象出願】
(73)【特許権者】
【識別番号】506113602
【氏名又は名称】株式会社コナミデジタルエンタテインメント
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】小川 和宏
(72)【発明者】
【氏名】水上 洋二
【審査官】 木内 康裕
(56)【参考文献】
【文献】 特開2017−021461(JP,A)
【文献】 特開2017−162443(JP,A)
【文献】 特開2017−004357(JP,A)
【文献】 特開2009−259131(JP,A)
【文献】 特許第4077321(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048 − 3/0489
A63F 13/525
G06T 19/00
H04N 13/279
H04N 13/344
H04N 13/361
H04N 13/366
H04N 13/378
(57)【特許請求の範囲】
【請求項1】
両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置であって、
自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更部と、
自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記仮想視点を移動する視点変更部と、
を備え、
前記視点変更部は、前記視界方向を軸とした第1方向への回転の変化量が所定の閾値以上となった場合、前記第1方向とは逆方向の第2方向への回転の変化量が所定の閾値以上となるまで、前記視界方向に基づく方向に前記仮想視点を一定速度で移動させる、
表示制御装置。
【請求項2】
前記回転の軸に基づく方向を表す画像を、前記視界画像中に生成する方向画像生成部をさらに備える、
請求項1に記載の表示制御装置。
【請求項3】
前記視点変更部は、前記視界方向を軸とした前記第1方向への回転が正の回転であるか負の回転であるかに応じて、前記仮想視点の移動方向を変更する、
請求項1または2に記載の表示制御装置。
【請求項4】
両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置のコンピュータに、
自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更ステップと、
自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記視界方向を軸とした第1方向への回転の変化量が所定の閾値以上となった場合、前記第1方向とは逆方向の第2方向への回転の変化量が所定の閾値以上となるまで、前記視界方向に基づく方向に前記仮想視点を一定速度で移動させる視点変更ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置及びプログラムに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ(HMD:Head Mounted Display)は、ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイに仮想空間における画像を表示可能なものである。例えば、HMDを利用したゲームでは、頭部に装着するディスプレイの他、手に持って操作されるコントローラ等のデバイスを併用してゲームをプレイするものがある。しかしながら、ユーザは、視界がHMDによって覆われているため、手元を確認できない。そのため、ユーザは、コントローラから一旦指が離れた場合等で誤操作してしまうことがあった。このようなHMDには、頭部の傾き等の動きを検出して、選択肢の表示/非表示操作等を可能なものがある(例えば、特許文献1)。
【0003】
また、近年、スマートフォン等の高性能化に伴いスマートフォン等を、例えばアタッチメントに装着することでHMDとして利用可能なものがある。この場合、頭部へ装着されることにより、スマートフォンに備えられているタッチパネル等の入力デバイスが利用できなくなる。このようなHMDには、例えばスマートフォンに内蔵されたジャイロ等のセンサを利用して頭部の動きを検出することで、HMDに表示される選択肢に対する操作を実現するものもある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5767386号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、HMDを利用したゲームでは、コントローラによる操作の利便性が十分でなかったり、入力デバイスが利用できなかったりする場合があるため、HMDの傾きによる操作を行いたい場面が多い。しかしながら、HMDの方向情報は、視界画像の視界方向の操作に専ら利用されるため、それ以外の操作を行うことが難しかった。すなわち、HMDを利用したゲームでは、HMDの方向情報に基づく操作を多様化することが望まれている。
【0006】
本発明のいくつかの態様は、HMDの方向情報を用いた操作を多様化することができる表示制御装置及びプログラムを提供することを目的の一つとする。
【0007】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする表示制御装置及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置であって、自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更部と、自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記仮想視点を移動する視点変更部と、を備え、前記視点変更部は、前記視界方向に基づく方向に前記仮想視点を移動する、表示制御装置である。
【0009】
また、本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置のコンピュータに、自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更ステップと、自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記視界方向に基づく方向に前記仮想視点を移動する視点変更ステップと、を実行させるためのプログラムである。
【図面の簡単な説明】
【0010】
図1】第1の実施形態に係るHMDシステムの構成の一例を示すシステム構成図である。
図2】第1の実施形態に係る仮想空間の方向の定義の一例を示す説明図である。
図3】第1の実施形態に係る視界方向と仮想視点との関係の一例を示す説明図である。
図4】第1の実施形態に係る仮想視点の移動の一例を示す説明図である。
図5】第1の実施形態に係る端末装置のハードウェア構成の一例を示すハードウェア構成図である。
図6】第1の実施形態に係る端末装置の機能構成の一例を示す機能ブロック図である。
図7】第1の実施形態に係る仮想視点の移動方向を表す画像を含む視界画像の一例を示す説明図である。
図8】第1の実施形態に係る仮想視点の移動量または/および仮想視点の移動速度を表す画像を含む視界画像の一例を示す説明図である。
図9】第1の実施形態に係る視界変更処理及び仮想視点の視点移動処理の一例を示すフローチャートである。
図10】第1の実施形態の変形例に係る視界変更処理の一例を示すフローチャートである。
図11】第1の実施形態の変形例に係る仮想視点の視点移動処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
[第1の実施形態]
以下、本発明の第1の実施形態について、図面を参照して説明する。
【0012】
[端末装置10の概要]
図1は、本実施形態に係るHMD(Head Mounted Display)システム1の構成の一例を示すシステム構成図である。
HMDシステム1は、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。仮想視点は、例えば、視界画像の生成に利用されるものであってもよい。例えば、HMDシステム1は、右目と左目との両眼視差を利用した立体視画像を表示可能である。また、HMDシステム1は、ジャイロ等のHMDシステム1の動きや傾き(姿勢)を検知するセンサを搭載する。HMDシステム1は、センサによりユーザの頭部の動きや傾きの変化等を検知する。以下の説明では、センサが検知する動きや傾きを示す情報を、センサ情報と称することがある。仮想空間には、例えば、オブジェクトを配置可能な水平面のフィールドが設けられている。
【0013】
図示するHMDシステム1は、アタッチメント2を備える。アタッチメント2には、表示部120を備えた端末装置10を取り付け可能である。HMDシステム1は、端末装置10を、HMDシステム1の表示制御装置として利用可能である。アタッチメント2への端末装置10の取り付けは、ユーザの頭部にHDMシステム1が装着された状態でユーザの正面の視界を覆うように、かつ端末装置10の表示部120をユーザが視認可能に取り付け可能である。HDMシステム1は、取り付けられた端末装置10の表示部120を視認するための右目用レンズ3R及び左目用レンズ3Lと、HMDシステム1をユーザの頭部に装着・固定するためのストラップ5とを備える。ユーザは、HMDシステム1を頭部に装着することで、端末装置10の表示部120に表示される視界画像を、右目用レンズ3R及び左目用レンズ3Lを介して視認できる。
【0014】
[仮想空間の定義]
図2は、第1の実施形態に係る仮想空間の方向の定義の一例を示す説明図である。
本実施形態では、ユーザが直立する方向である垂直方向(鉛直方向)の軸をZ軸とする。また、本実施形態では、Z軸に直交する軸であって、ユーザとHMDシステム1の表示部120とを結ぶ方向の軸、すなわち、視界方向の軸をX軸とする。また、本実施形態では、Z軸及びX軸と直交する軸をY軸とする。
【0015】
ここで、本実施形態では、Z軸を軸とした回転の回転方向をヨー方向(左右方向)とし、Y軸を軸とした回転の回転方向をピッチ方向(上下方向)とし、X軸を軸とした回転の回転方向をロール方向と称する。例えば、各センサは、各軸の回転方向(ヨー方向、ピッチ方向、及びロール方向)の角速度又は角加速度を検出する。なお、本実施形態では、ヨー方向を左右方向、ピッチ方向を上下方向(上向き、下向き)ということもある。また、仮想視点からX軸方向の距離を視界深度ともいうことがある。
【0016】
図3は、第1の実施形態に係る視界方向と仮想視点との関係の一例を示す説明図である。
図3において、仮想空間内の仮想視点K(ユーザの仮想視点)は、X軸、Y軸、及びZ軸の交点(原点)とし、ユーザの視界方向をX軸方向とする。仮想視点からの視界方向の視界画像の範囲(即ち、視界)は、視界方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。視界方向は、ユーザの頭部の方向がピッチ方向および/またはヨー方向に変化すると、その変化に応じてX軸方向からピッチ方向および/またはヨー方向に変化する。一方、ユーザの頭部の方向がロール方向に変化すると、視界方向は変化しないまま、仮想視点の位置が該視界方向(X軸方向))へ移動する。
【0017】
なお、以下では、説明を容易にするため、視界方向は端末装置10の表示面の法線方向であるとするが、アイトラッキングの技術を用いて、ユーザの目の動きから視界方向を特定してよい。
【0018】
また、仮想空間内には、必要に応じて各種のオブジェクトが配置される。例えば、面L1は、仮想空間内においてオブジェクトが配置される面である。面L1には、視界方向に対応する注視点を視認可能とするためのオブジェクトである操作点オブジェクトPが配置される。換言すれば、操作点オブジェクトPは、視界方向を表すオブジェクトである。操作点オブジェクトPは、面L1を形成する視界方向の範囲を示す破線a、b、c、d上の点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の略中央(図示する例では、面L1とX軸の交点)に配置される。なお、操作点オブジェクトPが配置される位置は、面L1において、交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の中央部に限らず、面L1における他の位置に配置されてもよい。
【0019】
ここで、視界方向は、上述のようにHMDシステム1を装着したユーザの頭部の方向がピッチ方向または/およびヨー方向に変化すると、その変化に応じてピッチ方向および/またはヨー方向に変化する。そのため、操作点オブジェクトPは、視界方向に対応する視界画像中の位置(例えば、視界画像の略中央)に表示されるように、視界方向に応じて移動する。
【0020】
両眼視差を利用した立体視画像を表示する場合には、右目用の仮想視点に対応する視界方向と左目用の仮想視点に対応する視界方向がある。また、視界画像は、右目用の視界方向と左目用の視界方向のそれぞれの視界方向の視界画像とが存在する。各視界画像には、各種オブジェクトが含まれる。以下の説明では、説明を容易にするために右目用と左目用とを区別せずに説明する。
【0021】
ここで、仮想視点の移動と視界方向の変更とについて説明する。上述したように、視界方向は、HMDシステム1を装着したユーザの頭部の方向をピッチ方向または/およびヨー方向に回転させることで、該回転に応じて変更可能である。すなわち、視界方向の変更は、Z軸を回転軸とする回転方向および回転量(変化量)、または/およびY軸を回転軸とする回転方向および回転量(変化量)に応じて変更される。
一方、仮想視点は、HMDシステム1を装着したユーザの頭部の方向をロール方向に回転させることで、該回転に応じて視界方向へ移動可能である。すなわち、仮想視点の位置は、X軸を回転軸とする回転方向および回転量(変化量)に応じてX軸方向へ移動する。図4を参照して詳述する。
【0022】
図4は、第1の実施形態に係る仮想視点の移動の一例を示す説明図である。
仮想視点は、図3に図示した仮想視点Kが、視界方向を軸とした回転により移動する。例えば、仮想視点は、X軸を回転軸とし、HMDシステム1を装着したユーザの頭部の初期位置から右回転(例えば正方向に回転)させると、回転量に応じて仮想視点が仮想視点Kから仮想視点K1に移動する。ここでは、X軸、Y軸、及びZ軸の交点に仮想視点Kがあるときのユーザの頭部のロール方向への回転位置(ユーザが頭部をロール方向へ回転させていない0度の位置)を初期位置とする。このとき、X軸を回転軸とし、さらに右回転させると、仮想視点が仮想視点K1から仮想視点K2へと移動する。また、仮想視点の移動では、X軸を回転軸とし、初期位置から左回転(例えば負方向に回転)させると、その回転量に応じて仮想視点が仮想視点Kから仮想視点K3に移動する。このように、仮想視点は、視界方向を回転軸とした回転の回転方向や回転量に応じて移動される。
【0023】
なお、仮想視点の移動は、いずれかの方向に仮想視点Kを移動させているときには、逆方向への仮想視点の移動を制限してもよいし、いずれかの方向に仮想視点Kを移動させているときには逆方向への仮想視点の移動を制限しなくてもよい。ここで言う制限は、例えば、仮想視点の移動(変更)を不可能にすることまたは仮想視点の移動(変更)を困難にすることである。
【0024】
また、仮想視点の移動量は、例えば所定の最大値、例えば仮想空間内における10m等と上限値を設けてもよいし、上限値を設けなくてもよいし、ユーザ等の操作によって仮想視点の移動量、所定の最大値、上限値の有無のうちのいずれかまたは全てが設定可能であってもよい。
【0025】
また、仮想視点の移動は、いずれかのロール方向の回転によっていずれかの方向に仮想視点を移動させているときには、他方のロール方向の回転による仮想視点の逆方向の移動を制限してもよい。具体的には、例えば、X軸を回転軸として初期位置から所定量分、右回転させて仮想視点を仮想視点Kから仮想視点K1に移動させたときに、X軸を回転軸とした左回転が生じたときには、仮想視点K1から仮想視点K方向への仮想視点の移動を無効として、仮想視点を仮想視点K1の位置に留まらせてもよい。
【0026】
また、仮想視点の移動には、閾値を設け、所定閾値以上のいずれかの方向への回転量の検出に応じて、仮想視点を移動させてもよい。
【0027】
また、仮想視点の移動は、端末装置10によるロール方向の回転量の検出に応じた仮想視点の移動量の制御に代えて、または該回転量の検出に応じた仮想視点の移動速度を制御してもよい。仮想視点の移動速度は、回転量(回転の変化量)にかかわらず一定速度であってもよいし、回転量に応じて異なっていてもよい。この場合、例えば、回転量が大きいときには、仮想視点の移動速度を回転量が小さいときよりも早くし、回転量が小さいときには、仮想視点の移動速度を回転量が大きいときよりも遅くするようにしてもよい。また、回転が検出されているときの時間を計時可能なタイマを設け、検出時間が所定時間よりも長い時には仮想視点の移動速度を早くしたり、検出時間が長くなるほど仮想視点の移動速度を早くしたりしてもよい。この場合、所定時間は、複数段階で設けてもよく、それぞれの所定時間に応じた移動速度を設定してもよい。
【0028】
[ハードウェア構成]
端末装置10は、HMDシステム1の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置10がスマートフォンである場合の一例について説明する。なお、HMDシステム1は、ディスプレイや制御部などを一体として備えるコンピュータ装置であってもよい。
【0029】
また、HMDシステム1は、端末装置10が表示装置とセンサとを少なくとも備えていればよく、端末装置10と有線または無線で接続された情報処理装置(非図示)によって生成された視界画像を表示可能なシステムであってもよい。すなわち、端末装置10は、表示装置や制御部を一体として備えるコンピュータ装置でなくてもよい。この場合、情報処理装置(例えば、PC、ゲーム機本体等)は、HDMシステム1としてユーザの頭部に装着されなくてもよい。換言すれば、ユーザの頭部に装着される端末装置10が表示装置とセンサとを少なくとも備え、端末装置10と有線または無線により接続され、ユーザの頭部に装着されない別のハードウェアによって端末装置10を制御(例えば、視界画像の変更する処理、仮想視点の移動する処理、視界画像の生成する処理等)してもよい。
【0030】
図5は、第1の実施形態に係る端末装置10のハードウェア構成の一例を示すハードウェア構成図である。
端末装置10は、例えば、表示装置12と、センサ13と、記憶装置15と、通信部16と、CPU(Central Processing Unit)17と、を備える。
【0031】
表示装置12は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル、有機EL(ElectroLuminescence)ディスプレイパネル等を含んで構成される。例えば、表示装置12は、仮想空間内の仮想視点(HMDシステム1を装着しているユーザの眼)からの視界画像として、両眼視差を利用した立体視画像(右目用画像及び左目用画像)を表示する。また、表示装置12は、仮想空間内に配置された各種オブジェクトを視界画像とともに表示する。
【0032】
センサ13は、各種センサ情報を検知するセンサである。例えば、センサ13は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ13は、方向の変化量を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。また、センサ13は、ジャイロセンサに限られるものではなく、加速度センサ、傾斜センサ、地磁気センサ等であってもよい。
【0033】
記憶装置15は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、ROM(Read−Only Memory)、RAM(Random Access Memory)等を含み、仮想空間データ(画像データ)や、仮想空間内に配置されるオブジェクトのデータ、仮想空間を用いたゲームのプログラム等を記憶する。
【0034】
通信部16は、例えば、情報処理装置(非図示)と端末装置10とを有線または無線により接続するための通信インタフェースである。なお、通信部16は、インターネット網に接続するための通信インタフェースとして機能してもよい。
【0035】
CPU17は、端末装置10が備える各部を制御する制御中枢として機能する。例えば、CPU17は、記憶装置15に記憶された各種プログラムを実行することで、端末装置10の各部を制御する制御部として機能する。
【0036】
上述した各構成は、バス(BUS)を介して相互に通信可能に接続されている。また、端末装置10は、スピーカ、音声出力端子、カメラ、GPS(Global Positioning System)受信モジュール、ユーザの操作入力を受け付ける操作ボタン又はタッチパネル、タイマ等(いずれも非図示)のハードウェア構成を含んで構成されてもよい。
【0037】
例えば、端末装置10は、HMDシステム1を利用したゲームのプログラムを実行する。このゲームは、ユーザがHMDシステム1を装着した状態で、表示装置12に表示される視界画像(ゲーム画面)の視野範囲を頭部の向き等を変えて変更しながらプレイするものである。
【0038】
端末装置10は、センサ13の検出結果に基づいて端末装置10の方向に関する方向情報を検出する。端末装置10は、検出結果に基づいて視界方向の視界画像(ゲーム画面)を表示装置12に表示させる。端末装置10の方向は、HMDシステム1を装着したユーザの頭部の方向に対応する。
【0039】
[機能構成]
図6は、第1の実施形態に係る端末装置10の機能構成の一例を示す機能ブロック図である。
端末装置10は、記憶装置15から各種データやプログラムの書き込み、読み出しを行う機能構成として、記憶部150を備える。また、端末装置10は、表示装置12を制御する機能構成として、表示部120を備える。また、端末装置10は、センサ13による検出値を受け付ける機能構成として、センサ入力部130を備える。また、端末装置10は、記憶装置15に記憶されているプログラムをCPU17が実行することより実現される機能構成として、制御部110を備える。制御部110は、検出部111と、視界変更部112と、視点変更部113と、方向画像生成部115と、移動画像生成部116と、表示制御部117と、を備える。
【0040】
検出部111は、センサ入力部130の検出結果に基づいて、端末装置10の方向情報を検出する。方向情報は、ヨー方向、ピッチ方向、ロール方向のそれぞれの回転方向及び回転量(変化量)を含む、端末装置10の方向を表す情報である。
【0041】
視界変更部112は、検出部111が検出した端末装置10の方向情報に基づいて、仮想空間における視界方向を検出する。また、視界変更部112は、検出部111が検出する端末装置10の方向情報に基づいて視界方向を変更する。具体的には、視界変更部112は、ヨー方向の回転方向および回転量(傾き、変化量)、ピッチ方向の回転方向およびピッチ方向の回転量(傾き、変化量)に応じて視界方向を変更する。
【0042】
視点変更部113は、検出部111が検出した端末装置10の方向情報に基づいて、仮想空間における仮想視点の位置を検出する。また、視点変更部113は、検出部111が検出した端末装置10の方向情報に基づいて、仮想空間における仮想視点の位置を移動(変更)させる。具体的には、視点変更部113は、ロール方向の回転方向及び回転量(傾き量、変化量等ともいう)に応じて仮想視点を移動させる。
【0043】
方向画像生成部115は、仮想空間における視界画像中の仮想視点の移動方向を表す画像(方向画像)を視界画像中に生成する。具体的には、方向画像生成部115は、仮想視点の移動方向を表す方向画像(オブジェクト)を生成し、仮想空間内に配置する。換言すれば、方向画像は、仮想空間内の視界画像中に配置される。方向画像生成部115が生成する画像例については、図7を用いて後述する。なお、端末装置10は、方向画像生成部115を備えなくてもよい。
【0044】
移動画像生成部116は、仮想空間における視界画像中の仮想視点の移動量または仮想視点の移動速度を表す画像(移動画像)を視界画像中に生成する。具体的には、移動画像生成部116は、仮想視点の移動量または仮想視点の移動速度を表す画像(オブジェクト)を生成し、仮想空間内に配置する。換言すれば、移動画像は、仮想空間内の視界画像中に配置される。移動画像生成部116が生成する画像例については、図8を用いて後述する。なお、端末装置10は、移動画像生成部116を備えなくてもよい。
【0045】
表示制御部117は、視界変更部112が検出、変更した視界方向、視点変更部113が検出、移動させた仮想視点に応じて、仮想空間内の仮想視点からの視界方向の視界画像を表示部120に表示させる。また、表示制御部117は、視界変更部112が検出、変更した視界方向、視点変更部113が検出、移動させた仮想視点に応じて、仮想空間内の仮想視点からの視界方向の視界画像と、方向画像生成部115が生成した方向画像、移動画像生成部116が生成した移動画像を表示部120に表示させる。仮想空間内の各方向の視界画像のデータは、仮想空間データとして記憶部150が記憶する。表示制御部117は、視界方向に対応する視界画像を仮想空間データから取得して視界画像として表示部120に表示させる。
【0046】
[方向画像]
図7は、第1の実施形態に係る仮想視点の移動方向を表す画像を含む視界画像の一例を示す説明図である。
図7に示す視界画像V1には、仮想視点の移動方向を表す操作点オブジェクトPが含まれる。例えば、操作点オブジェクトPは、視界画像V1の中央部に表示される。つまり、操作点オブジェクトPは、視界画像V1中に配置される。なお、操作点オブジェクトPは、例えば、ユーザが仮想視点の位置を移動するときに表示部120に表示されてもよい。
【0047】
例えば、端末装置10がロール方向の傾きを検知すると、仮想視点の位置は、視界画像V1の仮想空間における手前側から視界画像V1の仮想空間における奥方向、すなわち、操作点オブジェクトPの方向に移動する。換言すれば、操作点オブジェクトPは、仮想視点の移動方向、例えば図3で説明したX軸がいずれの方向であるかを表す画像である。
【0048】
このように、仮想視点の移動方向を視界画像中に表示することで、仮想視点がどの方向に移動するのかをユーザが把握することができるため、ユーザの操作性を向上させることができる。また、ユーザは、仮想視点の移動方向を表す操作点オブジェクトPを見ながらロール方向の傾きやピッチ方向の傾きによって視界方向を調整することもできるため、頭部の動きのみで視界画像に対する多様な操作をすることができる。
【0049】
[移動画像]
図8は、第1の実施形態に係る仮想視点の移動量または仮想視点の移動速度を表す画像を含む視界画像の一例を示す説明図である。
図8に示す視界画像V2には、仮想視点の移動量または仮想視点の移動速度を表す画像volが含まれる。
例えば、仮想視点の移動量または仮想視点の移動速度を表す画像volは、視界画像V2の中央部に表示される。例えば、仮想視点の移動量または仮想視点の移動速度を表す画像volは、仮想視点がどれだけ移動しているかの移動量および仮想視点の現在の移動速度がどれだけであるかを表す画像である。仮想視点の移動量または仮想視点の移動速度を表す画像volを含む視界画像V1は、例えば、ユーザが仮想視点の位置を移動するときに表示部120に表示される。
【0050】
仮想視点の移動量または仮想視点の移動速度を表す画像volは、例えば、C環状の形状で表示され、開始点(例えば、0)vol_sから終了点(例えば、最高速度、または最大移動量)vol_eまでのうち、現在値vol_nがどれだけであるかを表す画像である。
【0051】
このように、仮想視点の移動量または仮想視点の移動速度を表す画像を視界画像中に表示することで、仮想視点がどれくらいの移動量であるかや、仮想視点の移動速度がどのくらいの移動速度であるかをユーザが把握することができる。また、仮想視点の移動量または仮想視点の移動速度を表す画像をみながら仮想視点を移動させることができるため、ユーザの操作性を向上させることができる。
【0052】
[端末装置10の動作]
図9は、第1の実施形態に係る視界方向変更処理及び仮想視点移動処理の一例を示すフローチャートである。
ステップS200において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS202の処理を実行する。
ステップS202からステップS210において、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。
【0053】
ステップS202において、端末装置10は、方向情報に基づいてX軸を回転軸とする回転が検知されているか否かを判定する。端末装置10は、X軸を回転軸とする回転が検知されている場合(ステップS202;YES)、ステップS204の処理を実行する。一方、端末装置10は、X軸を回転軸とする回転が検知されていない場合(ステップS202;NO)、ステップS214の処理を実行する。
【0054】
ステップS204において、端末装置10は、X軸を回転軸とする回転の回転量が閾値以上であるか否かを判定する。端末装置10は、X軸を回転軸とする回転の回転量が閾値以上である場合(ステップS204;YES)、ステップS206の処理を実行する。一方、端末装置10は、X軸を回転軸とする回転の回転量が閾値未満である場合(ステップS204;NO)、ステップS214の処理を実行する。
【0055】
ステップS206において、端末装置10は、X軸を回転軸とする回転の回転方向が正の方向であるか否かを判定する。端末装置10は、X軸を回転軸とする回転の回転方向が正の方向である場合(ステップS206;YES)、ステップS208の処理を実行する。一方、端末装置10は、X軸を回転軸とする回転の回転方向が正の方向でない場合(ステップS206;NO)、すなわち負の方向である場合、ステップS210の処理を実行する。
【0056】
ステップS208において、端末装置10は、正の方向(例えばユーザの視界方向前方)に仮想視点位置を、検知した変化量分移動させる。その後、端末装置10は、ステップS214の処理を実行する。
ステップS210において、端末装置10は、負の方向(例えばユーザの視界方向後方)に仮想視点位置を、検知した変化量分移動させる。その後、端末装置10は、ステップS214の処理を実行する。
【0057】
ステップS214において、端末装置10は、方向情報に基づいてZ軸を回転軸とする回転が検知されているか否かを判定する。端末装置10は、Z軸を回転軸とする回転が検知されている場合(ステップS214;YES)、ステップS218の処理を実行する。一方、端末装置10は、Z軸を回転軸とする回転が検知されていない場合(ステップS214;NO)、ステップS224の処理を実行する。
【0058】
ステップS218において、端末装置10は、Z軸を回転軸とする回転の回転方向が正の方向であるか否かを判定する。端末装置10は、Z軸を回転軸とする回転の回転方向が正の方向である場合(ステップS218;YES)、ステップS220の処理を実行する。一方、端末装置10は、Z軸を回転軸とする回転の回転方向が正の方向でない場合(ステップS218;NO)、すなわち負の方向である場合、ステップS222の処理を実行する。
【0059】
ステップS220において、端末装置10は、正の方向(例えば左方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS224の処理を実行する。
ステップS222において、端末装置10は、負の方向(例えば右方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS224の処理を実行する。
【0060】
ステップS224において、端末装置10は、方向情報に基づいてY軸を回転軸とする回転が検知されているか否かを判定する。端末装置10は、Y軸を回転軸とする回転が検知されている場合(ステップS224;YES)、ステップS228の処理を実行する。一方、端末装置10は、Y軸を回転軸とする回転が検知されていない場合(ステップS224;NO)、ステップS234の処理を実行する。
【0061】
ステップS228において、端末装置10は、Y軸を回転軸とする回転の回転方向が正の方向であるか否かを判定する。端末装置10は、Y軸を回転軸とする回転の回転方向が正の方向である場合(ステップS228;YES)、ステップS230の処理を実行する。一方、端末装置10は、Y軸を回転軸とする回転の回転方向が正の方向でない場合(ステップS228;NO)、すなわち負の方向である場合、ステップS232の処理を実行する。
【0062】
ステップS230において、端末装置10は、正の方向(例えば上方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS233の処理を実行する。
ステップS232において、端末装置10は、負の方向(例えば下方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS233の処理を実行する。
【0063】
ステップS233において、端末装置10は、ステップS214からステップS232によって定まる視界方向を、仮想視点の移動方向として設定する。その後、端末装置10は、ステップS234の処理を実行する。
ステップS234において、端末装置10は、ステップS202からステップS210で特定した仮想視点の位置、およびステップS214からステップS230で特定した視界方向に基づいて、仮想視点の位置からの視界画像を生成する。その後、端末装置10は、ステップS200の処理を実行する。
【0064】
なお、ステップS204における回転量と閾値との比較判定は、しなくてもよい。この場合、端末装置10は、検知した回転量に応じて仮想視点を移動させたり、検知した回転量に応じて視界方向を変更したりすればよい。
【0065】
なお、本実施形態において、仮想視点を移動させている場合には、仮想視点の移動開始時の移動方向を維持してもよい。例えば、ステップS204において、仮想視点が移動している場合、端末装置10は、ステップS233によって定まる視界方向を、仮想視点の位置の移動が停止(例えば、ステップS202:NO)するまで維持してもよい。なお、ここで仮想視点が移動している場合とは、例えば、前回のステップS204において、X軸を回転軸とする回転の回転量が閾値以上であること(ステップS204;YES)であってもよい。ここで、前回のステップとは、ステップS200からステップS234までの各処理を実行するよりも前に実行されたステップS200からステップS234までの各処理のことである。
その後、ステップS204において、X軸を回転軸とする回転の回転量が閾値以上(ステップS204;YES)である間、端末装置10は、ステップS233の処理をスキップ、すなわちステップS233の処理を実行せずにステップS234の処理を実行する。
【0066】
このようにすることで、移動を開始した仮想視点は、移動が停止するまでその移動方向が維持されるため、ユーザは仮想視点の移動方向を気にすることなく自由に視界方向を変更することができる。
【0067】
なお、本実施形態において、仮想視点を移動させている場合には、視界方向の変更とともに仮想視点の移動方向を変更してもよい。例えば、仮想視点の移動中であっても、端末装置10は、ステップS233の処理をスキップせず、すなわちステップS233の処理を実行し、ステップS214からステップS232によって視界方向が定まる毎に仮想視点の移動方向を更新してもよい。
【0068】
このようにすることで、ユーザは、仮想視点の移動中であっても、視界方向を変更することで仮想視点の移動方向を所望の方向に変更することができる。
【0069】
なお、上記説明では、仮想視点の位置を移動させる場合について説明したが、仮想視点を移動させる代わりに、視界範囲を変更させてもよい。つまり、仮想視点の位置を変更する代わりに、ズームインまたはズームアウトなどの処理を実行可能にしてもよい。
なお、上記説明では、移動画像をC環状の形状で表示する場合について説明したが、数値で表示してもよいし、矢印などの記号や記号の大きさ、表示させる記号数などによって示してもよいし、文字列によって示してもよいし、振動や音声などによって示してもよい。
なお、上記説明では、方向画像を点で表示する場合について説明したが、十字記号などによって表示させてもよいし、アイコンなどによって表示させてもよいし、範囲を示す画像を表示させてもよい。
【0070】
[第1の実施形態のまとめ]
(1)以上説明してきたように、本実施形態に係る表示制御装置(端末装置10、HMDシステム1など)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置(端末装置10、HMDシステム1など)であって、自装置の方向に関する自装置方向情報(例えば、ヨー方向の回転(傾き)、ピッチ方向の回転(傾き)など)に基づいて、視界方向を変更する視界変更部112と、自装置の視界方向を軸とした回転に関する自装置回転情報(例えば、ロール方向の回転(傾き)等)などに基づいて、仮想視点を移動する視点変更部113と、を備え、視点変更部113は、視界方向に基づく方向に仮想視点を移動する。
【0071】
これにより、端末装置10は、方向情報を用いて視界方向を変更したり、自装置回転情報を用いて仮想視点を移動させたりすることができる。また、端末装置10は、視界画像中で任意の位置に仮想視点を移動したり、視界方向を変更したりすることができるため、操作性を向上させることができる。したがって、端末装置10は、HDMの方向情報を用いた操作を多様化することができる。
また、端末装置10は、あらかじめ定められたオブジェクトでなく、視界画像中の任意の位置に仮想視点を移動させることもできるため、仮想空間を実環境に近く感じさせることができる。
【0072】
(2)また、本実施形態による表示制御装置(端末装置10)において、視点変更部113は、視界方向を軸とした回転と所定閾値とに基づいて、仮想視点を移動する。
【0073】
これにより、端末装置10は、ユーザが意図しない動きによって仮想視点が移動されることを防止することができる。ユーザが意図しない動きとは、ユーザが仮想視点を移動させることを目的とした動きでない動き、例えば、呼吸、鼓動などの生体運動に伴う動きなどである。また、端末装置10は、微動などによる仮想視点の移動を抑制することができるため、HDMシステム1を装着した状態での映像酔いを防止することができる。
【0074】
(3)また、本実施形態による表示制御装置(端末装置10)において、回転の軸に基づく方向を表す画像(例えば、図7に示す方向画像など)を、視界画像中に生成する方向画像生成部115をさらに備える。
【0075】
これにより、端末装置10は、仮想視点の移動方向がいずれの方向であるかをユーザに把握させることができる。また、仮想視点の移動方向を視界画像中に表示することで、仮想視点がどの方向に移動するのかをユーザが把握することができるため、端末装置10は、ユーザの操作性を向上させることができる。また、ユーザは、仮想視点の移動方向を見ながらヨー方向の傾きやピッチ方向の傾きによって視界方向を調整することもできるため、頭部の動きのみで視界画像に対する多様な操作をすることができる。
【0076】
(4)また、本実施形態による表示制御装置(端末装置10)において、視点変更部113は、視界方向を軸とした回転の変化量に基づいて、仮想視点の位置を移動する。
【0077】
これにより、端末装置10は、例えばユーザが大きく動作したときには、ユーザが小さく動作したよりも仮想視点の移動距離を大きくすることができる。また、端末装置10は、例えばユーザが小さく動作したときには、ユーザが大きく動作したよりも仮想視点の移動距離を小さくすることができる。これにより、ユーザは、その動作の大きさに応じて感覚的に仮想視点の移動を操作することができる。また、仮想視点を移動させすぎた場合や、仮想視点の移動が足りない場合等であっても、微調整することができるため、多様な操作をすることができる。
【0078】
(5)また、本実施形態による表示制御装置(端末装置10)において、視点変更部113は、視界方向を軸とした回転の変化量に基づいて、前記仮想視点の移動速度を変更する。
【0079】
これにより、端末装置10は、例えばユーザが大きく動作したときには、ユーザが小さく動作したときよりも仮想視点を速く移動させたりすることができる。また、端末装置10は、例えばユーザが小さく動作したときには、ユーザが大きく動作したよりも仮想視点を遅く移動させたりすることができる。これにより、ユーザの動作に応じて感覚的な操作をすることができる。また、仮想視点の移動が速すぎる場合や、仮想視点の移動が遅すぎる場合であっても、微調整することができるため、多様な操作をすることができる。また、仮想視点の移動距離が大きいときには仮想視点を速く移動させたりすることもできるため、ユーザ操作を多様化させることができる。また、回転の回転量に基づいて仮想視点の移動量を変更する場合に比べて、移動距離の上限なく仮想視点を移動させることができるため、仮想空間内をより自由に移動することができる。
【0080】
(6)また、本実施形態による表示制御装置(端末装置10)において、仮想視点の移動量を表す画像または/および仮想視点の移動速度を表す画像を、視界画像中に生成する移動画像生成部をさらに備える。
【0081】
これにより、端末装置10は、仮想視点の移動量または仮想視点の移動速度を表す画像を視界画像中に表示することで、仮想視点がどれくらいの移動量であるかや、仮想視点の移動速度がどのくらいの移動速度であるかをユーザに把握させることができる。また、ユーザが仮想視点の移動量または仮想視点の移動速度を表す画像をみながら仮想視点を移動させることができるため、ユーザの操作性を向上させることができる。
【0082】
(7)また、本実施形態による表示制御装置(端末装置10)において、視点変更部113は、視界方向を軸とした回転が正の回転であるか負の回転であるかに応じて、仮想視点の移動方向を変更する。
【0083】
これにより、端末装置10は、ユーザが意図する方向の回転に応じて仮想視点を移動させることができる。また、端末装置10は、ユーザの動作に応じた方向に仮想視点を移動させるため、ユーザによる感覚的な操作が可能となる。また、ある方向に仮想視点を動かしすぎた場合等であっても逆方向に仮想視点を移動させることもできるため、仮想視点を移動させる場合の操作性を向上させることができる。
【0084】
(8)また、本実施形態による表示制御装置(端末装置10)において、視点変更部113は、仮想視点を移動させている場合、仮想視点の移動開始時の移動方向を維持する。
【0085】
これにより、移動を開始した仮想視点は、移動が停止するまでその移動方向が維持されるため、ユーザは仮想視点の移動方向を気にすることなく自由に視界方向を変更することができる。また、端末装置10は、仮想視点の移動方向を維持することができるため、仮想視点を移動させる際のユーザの操作性を向上させることができる。
【0086】
(9)また、本実施形態における表示制御装置(端末装置10)において、視点変更部113は、仮想視点を移動させている場合、視界方向の変更とともに仮想視点の移動方向の変更をする。
【0087】
これにより、ユーザは仮想視点の移動中であっても、視界方向を変更することで仮想視点の移動方向を所望の方向に変更することができる。
また、端末装置10は、仮想視点の移動方向とともに視界方向を自由に変更することができるため、ユーザの操作性を向上させることができる。
【0088】
[変形例]
なお、端末装置10は、視界方向変更モードと視点移動モードとの2つのモード(設定)を有してもよい。例えば、視界方向変更モードは、視界画像の視界方向を変更可能なモードとし、視点移動モードは、仮想視点の位置を変更可能なモードとすればよい。この場合、例えば、各モードの切り替えは、ユーザが所定の操作を行うことで可能である。また、各モードでは、いずれもセンサ情報に基づいて視界画像を変化させる処理が行われればよい。ただし、各モードでは、センサ情報、すなわち動きや傾きが同じであっても、視界画像の変化は異なる。
視界方向変更モードと視界方向変更モードとの切り替え可能に構成する場合、端末装置10は、例えば、以下のように構成されればよい。
【0089】
表示制御部117は、視界画像の表示において、視界方向変更モードを提供するための視界方向変更処理と、視点移動モードを提供するための視点移動処理とを実行する。視界方向変更処理と視点移動処理とのいずれを実行するかは、例えば、モードを示すフラグ情報の設定値を参照することで特定されてよい。このフラグ情報は、記憶部150に記憶されていてよい。
【0090】
視界方向変更処理では、表示制御部117は、視界変更部112による視界方向の変更に応じて、表示部120に表示させる視界画像を変更する。
例えば、表示制御部117は、実空間で端末装置10の傾きがピッチ方向において変化した場合には、仮想空間における視界画像をピッチ方向において変化させる。同様に、表示制御部117は、実空間で端末装置10の傾きがヨー方向において変化した場合には仮想空間における視界画像をヨー方向において変化させる。他方、表示制御部117は、実空間において端末装置10の傾きがロール方向において変化した場合であっても、仮想空間における仮想視点の位置は変化させない。つまり、表示制御部117は、視界方向変更御処理では、仮想空間における仮想視点の位置の移動を制限する。ここで、ロール方向において端末装置10の傾きが変化した場合の視界画像は、ロール方向の傾きに応じて視界画像も回転した視界画像となる。具体的には、ロール方向において5度右に傾きが変化した場合、表示部120に表示される視界画像も右に5度回転したものとなる。
なお、視界画像は、ロール方向において傾きが変化した場合であっても、ロール方向の傾きに応じて回転しなくてもよい。
【0091】
視点移動モードでは、表示制御部117は、視点変更部113による仮想視点の移動に応じて、表示部120に表示させる視界画像を変更する。
例えば、表示制御部117は、実空間で端末装置10の傾きがロール方向において変化した場合には、ロール方向の傾きの変化に応じて移動した仮想空間における仮想視点の位置からの視界画像に変化させる。他方、表示制御部117は、実空間において端末装置10の傾きがヨー方向に変化したり、ピッチ方向に変化したりした場合であっても、仮想空間における視界方向は変更しない。つまり、表示制御部117は、視点移動処理では、仮想空間における視界方向の変更を制限する。このとき、視界画像は、ロール方向の傾きに応じて回転させてもよいし、回転させなくてもよい。
【0092】
図10は、第1の実施形態の変形例に係る視界変更処理の一例を示すフローチャートである。
ステップS100において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS102の処理を実行する。
ステップS102において、端末装置10は、方向情報に基づいて仮想空間における視界方向を特定する。また、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。その後、端末装置10は、ステップS104の処理を実行する。 ステップS104において、端末装置10は、ステップS102で特定した仮想視点の位置および視界方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS106の処理を実行する。
【0093】
ステップS106において、端末装置10は、視点移動モードに遷移させるか否かを判定する。例えば、表示制御部117は、モード切り替えに関するユーザ操作を受け付けたか否かに応じて視点移動モードに遷移させるか否かを判定する。そして、端末装置10は、ユーザ操作を受け付けた場合(ステップS106;YES)、端末装置10は、図10に示す視界方向変更処理を終了し、図11に示す視点移動モードに遷移させる。つまり、端末装置10は、視界方向変更モードを解除して、視点移動処理を開始する。また、端末装置10は、ユーザ操作を受け付けいない場合(ステップS106;NO)、端末装置10は、ステップS100の処理を繰り返す。つまり、端末装置10は、視界方向変更モードを解除せず、視界方向変更処理を続行する。
【0094】
なお、ステップS106の処理において、端末装置10は、例えば、自装置を振動させる操作を加速度センサで検出したり、ユーザの発声による指示操作をマイクで検出すること等に応じて、視界方向変更モードを解除したり、視点移動モードに遷移させたりしてよい。
【0095】
図11は、第1の実施形態の変形例に係る仮想視点の視点移動処理の一例を示すフローチャートである。
ステップS120において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS122の処理を実行する。
ステップS122において、端末装置10は、方向情報に基づいて仮想空間における視界方向を特定する。また、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。その後、端末装置10は、ステップS124の処理を実行する。 ステップS124において、端末装置10は、ステップS122で特定した仮想視点の位置および視界方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS126の処理を実行する。
【0096】
ステップS126において、端末装置10は、視界方向変更モードに遷移させるか否かを判定する。例えば、表示制御部117は、モード切り替えに関するユーザ操作を受け付けたか否かを判定する。そして、端末装置10は、モード切り替えに関するユーザ操作を受け付けた場合(ステップS126;YES)、端末装置10は、図11に示す視点移動処理を終了し、図10に示す視界方向変更モードに遷移させる。つまり、端末装置10は、視点移動モードを解除して、視界方向変更処理を開始する。また、端末装置10は、モード切り替えに関するユーザ操作を受け付けていない場合(ステップS126;NO)、端末装置10は、ステップS100の処理を繰り返す。つまり、端末装置10は、視点移動モードを解除せず、視点移動処理を続行する。
【0097】
なお、ステップS126において、端末装置10は、例えば、自装置を振動させる操作を加速度センサで検出したり、ユーザの発声による指示操作をマイクで検出すること等に応じて、視点移動モードを解除したり、視界方向変更モードに遷移させたりしてよい。
【0098】
なお、視界方向変更モードへの遷移は、視点移動モードにおける仮想視点の移動させるための方向情報の入力、例えば、ロール方向の回転(傾き)が検知されなくなってから所定時間が経過したり、ロール方向の回転(傾き)が所定閾値以下となったり、ユーザ操作によるモード操作を検知したりした場合や、それらの組み合わせ等によって視界方向変更モードへの遷移や視点移動モードの解除を行ってもよい。
【0099】
なお、本実施形態において、視点移動モードにて仮想視点を移動させている場合や、視点移動処理の各処理を実行しているときには、視界方向変更モードへの遷移や、視界方向変更モードの各処理を制限してもよい。
【0100】
以上、この発明の実施形態や変形例について図面を参照して詳述してきたが、具体的な構成は上述の実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1の実施形態において説明した各構成は、任意の変形例等と組み合わせることができる。
【0101】
また、上述の制御部110の一部または全部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部110としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、ユーザ端末で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にユーザ端末で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0102】
[付記]
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
【0103】
(付記1)本発明の一態様に係る表示制御装置(端末装置10)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置であって、自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更部(視界変更部112、S220、S222、S230、S232)と、自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記仮想視点を移動する視点変更部(視点変更部113、S208、S210)と、を備え、前記視点変更部(視点変更部113)は、前記視界方向に基づく方向に前記仮想視点を移動する。
【0104】
付記1の構成によれば、表示制御装置は、方向情報を用いて視界方向を変更したり、自装置回転情報を用いて仮想視点を移動させたりすることができるため、操作性を向上させることができる。したがって、表示制御装置は、HDMの方向情報を用いた操作を多様化することができる。
【0105】
(付記2)また、前記視点変更部(視点変更部113)は、前記視界方向を軸とした回転と所定閾値とに基づいて、前記仮想視点を移動する。
【0106】
付記2の構成によれば、表示制御装置は、所定閾値によってユーザが意図しない動きによって仮想視点が移動されることを防止することができる。
【0107】
(付記3)また、本発明の一態様は、付記1または付記2に記載の表示制御装置(端末装置10)であって、前記回転の軸に基づく方向を表す画像を、前記視界画像中に生成する方向画像生成部(方向画像生成部115)をさらに備える。
【0108】
付記3の構成によれば、表示制御装置は、仮想視点の移動方向がいずれの方向であるかを提示することができる。
【0109】
(付記4)また、本発明の一態様は、付記1から付記3のいずれか一項に記載の表示制御装置(端末装置10)であって、前記視点変更部(視点変更部113)は、前記視界方向を軸とした回転の変化量に基づいて、前記仮想視点の位置を移動する。
【0110】
付記4の構成によれば、表示制御装置は、視界方向を軸とする回転の変化量に応じて仮想視点を移動させることができる。また、表示制御装置は、ユーザの動作に応じて仮想視点を移動させることができる。
【0111】
(付記5)また、本発明の一態様は、付記1から付記3のいずれか一項に記載の表示制御装置(端末装置10)であって、前記視点変更部(視点変更部113)は、前記視界方向を軸とした回転の変化量に基づいて、前記仮想視点の移動速度を変更する。
【0112】
付記5の構成によれば、表示制御装置は、視界方向を軸とする回転の変化量に応じて仮想視点の移動速度を変化させることができる。
【0113】
(付記6)また、本発明の一態様は、付記1から付記5のいずれか一項に記載の表示制御装置(端末装置10)であって、前記仮想視点の移動量を表す画像または/および前記仮想視点の移動速度を表す画像を、前記視界画像中に生成する移動画像生成部(移動画像生成部116)をさらに備える。
【0114】
付記6の構成によれば、表示制御装置は、現在の仮想視点の移動量または/および現在の仮想視点の移動速度をユーザに提示することができる。
【0115】
(付記7)また、本発明の一態様は、付記1から付記6のいずれか一項に記載の表示制御装置(端末装置10)であって、前記視点変更部(視点変更部113)は、前記視界方向を軸とした回転が正の回転であるか負の回転であるかに応じて、前記仮想視点の移動方向を変更する。
【0116】
付記7の構成によれば、表示制御装置は、ある方向に仮想視点を動かしすぎた場合等であっても逆方向に仮想視点を移動させることもできるため、仮想視点を移動させる場合の操作性を向上させることができる。
【0117】
(付記8)また、本発明の一態様は、付記1から付記7のいずれか一項に記載の表示制御装置(端末装置10)であって、前記視点変更部(視点変更部113)は、前記仮想視点を移動させている場合、前記仮想視点の移動開始時の移動方向を維持する。
【0118】
付記8の構成によれば、移動を開始した仮想視点は、移動が停止するまでその移動方向が維持されるため、ユーザは仮想視点の移動方向を気にすることなく自由に視界方向を変更することができる。また、表示制御装置は、仮想視点の移動方向を維持することができるため、仮想視点を移動させる際のユーザの操作性を向上させることができる。
【0119】
(付記9)また、本発明の一態様は、付記1から付記7のいずれか一項に記載の表示制御装置(端末装置10)であって、前記視点変更部(視点変更部113)は、前記仮想視点を移動させている場合、前記視界方向の変更とともに前記仮想視点の移動方向を変更する。
【0120】
付記9の構成によれば、ユーザは、仮想視点の移動中であっても、視界方向を変更することで仮想視点の移動方向を所望の方向に変更することができる。
また、表示制御装置は、仮想視点の移動方向とともに視界方向を自由に変更することができるため、ユーザの操作性を向上させることができる。
【0121】
(付記10)また、本発明の一態様に係るプログラムは、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置のコンピュータに、自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更ステップと、自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記視界方向に基づく方向に前記仮想視点を移動する視点変更ステップと、を実行させる。
【0122】
付記10の構成によれば、方向情報を用いて視界方向を変更したり、自装置回転情報を用いて仮想視点を移動させたりすることができるため、操作性を向上させることができる。したがって、HDMの方向情報を用いた操作を多様化することができる。
【符号の説明】
【0123】
10…端末装置、12…表示装置、13…センサ、15…記憶装置、16…通信部、110…制御部、111…検出部、112…視界変更部、113…視点変更部、114…判定部、115…方向画像生成部、116…移動画像生成部、117…表示制御部、120…表示部、130…センサ入力部、150…記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11