(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-17
(45)【発行日】2023-11-28
(54)【発明の名称】プログラムおよび画像表示システム
(51)【国際特許分類】
G06F 3/04812 20220101AFI20231120BHJP
G06F 3/04815 20220101ALI20231120BHJP
G06F 3/01 20060101ALI20231120BHJP
H04N 13/344 20180101ALI20231120BHJP
H04N 13/366 20180101ALI20231120BHJP
H04N 13/361 20180101ALI20231120BHJP
G06T 19/00 20110101ALI20231120BHJP
G09G 5/00 20060101ALI20231120BHJP
G09G 5/36 20060101ALI20231120BHJP
【FI】
G06F3/04812
G06F3/04815
G06F3/01 510
H04N13/344
H04N13/366
H04N13/361
G06T19/00 A
G09G5/00
G09G5/36
(21)【出願番号】P 2022108996
(22)【出願日】2022-07-06
(62)【分割の表示】P 2019215391の分割
【原出願日】2018-01-22
【審査請求日】2022-07-27
(73)【特許権者】
【識別番号】506113602
【氏名又は名称】株式会社コナミデジタルエンタテインメント
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】小川 和宏
【審査官】星野 裕
(56)【参考文献】
【文献】特開2017-097696(JP,A)
【文献】特開2018-005517(JP,A)
【文献】特開2017-058971(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048
G06F 3/01
H04N 13/344
H04N 13/366
H04N 13/361
G06T 19/00
G09G 5/00
G09G 5/36
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部、および、
前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係に応じて前記オブジェクトの動作を制御する動作制御部
としてコンピュータを機能させるプログラムであって、
前記表示制御部は、前記基準線が前記オブジェクトに交差しない場合に第1指示画像を前記基準線の方向に表示させ、前記基準線が前記オブジェクトに交差する場合に、前記第1指示画像とは表示態様が相違する第2指示画像を前記基準線の方向に表示させ
、かつ、前記オブジェクトにおいて前記基準線が交差する位置に応じて前記第2指示画像の表示態様を変化させる
プログラム。
【請求項2】
前記第2指示画像は、前記仮想空間内において前記オブジェクトの表面に接触する
請求項1のプログラム。
【請求項3】
ヘッドマウントディスプレイと情報処理装置とを具備する画像表示システムであって、
前記情報処理装置は、
前記ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部と、
前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係に応じて前記オブジェクトの動作を制御する動作制御部とを具備し、
前記表示制御部は、前記基準線が前記オブジェクトに交差しない場合に第1指示画像を前記基準線の方向に表示させ、前記基準線が前記オブジェクトに交差する場合に、前記第1指示画像とは表示態様が相違する第2指示画像を前記基準線の方向に表示させ
、かつ、前記オブジェクトにおいて前記基準線が交差する位置に応じて前記第2指示画像の表示態様を変化させる
画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間を撮像した画像を表示するための技術に関する。
【背景技術】
【0002】
仮想空間内に設置された仮想的なカメラ(以下「仮想カメラ」という)により撮像された画像を表示装置に表示させる技術が従来から提案されている。例えば特許文献1には、ヘッドマウントディスプレイの傾きに応じて仮想空間内にメニュー画像を表示する構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
仮想空間内のキャラクタ等のオブジェクトとの間でコミュニケーションするゲーム等のコンテンツが従来から提案されている。この種のコンテンツをヘッドマウントディスプレイにより表示する場面では、仮想カメラの光軸や利用者の視線等の仮想的な直線(以下「基準線」という)と、仮想空間内のキャラクタ等のオブジェクトとの位置関係を、利用者が把握し難いという問題がある。以上の事情を考慮して、本発明は、仮想空間内のオブジェクトと基準線との位置関係を利用者が把握することを容易にすることを目的とする。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本発明の好適な態様に係るプログラムは、ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部、および、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係に応じて前記オブジェクトの動作を制御する動作制御部、としてコンピュータを機能させる。
【0006】
本発明の好適な態様に係る画像表示システムは、ヘッドマウントディスプレイと情報処理装置とを具備する画像表示システムであって、前記情報処理装置は、ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部と、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係に応じて前記オブジェクトの動作を制御する動作制御部とを具備する。
【図面の簡単な説明】
【0007】
【
図1】本発明の第1実施形態に係る画像表示システムの外観を例示する斜視図である。
【
図2】画像表示システムの構成を例示するブロック図である。
【
図3】画像表示システムの機能的な構成を例示するブロック図である。
【
図6】制御装置が実行する処理の内容を例示するフローチャートである。
【
図7】ロール方向におけるHMDの回転の説明図である。
【
図9】変形例A4における仮想カメラの移動の説明図である。
【
図10】変形例A5における撮像範囲の変化の説明図である。
【
図11】第2実施形態における画像表示システムの機能的な構成を例示するブロック図である。
【
図12】第2実施形態において基準線がキャラクタに交差しない場合に表示される画像の説明図である。
【
図13】第2実施形態において基準線がキャラクタに交差する場合に表示される画像の説明図である。
【
図14】第2実施形態におけるキャラクタと指示画像との関係の説明図である。
【
図15】第2実施形態の制御装置が実行する処理の内容を例示するフローチャートである。
【
図16】変形例B2における指示画像の経時的な変化の説明図である。
【
図17】変形例B3における指示画像の説明図である。
【
図18】変形例B4における指示画像の説明図である。
【
図19】変形例C5における画像表示システムの外観を例示する斜視図である。
【発明を実施するための形態】
【0008】
[A:第1実施形態]
図1は、本発明の第1実施形態に係る画像表示システム1Aの外観を例示する斜視図である。画像表示システム1Aは、画像を表示するための映像機器であり、端末装置10と装着具20とを具備する。端末装置10は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末である。端末装置10は、装着具20に対して着脱可能に設置される。装着具20は、端末装置10を利用者Uの頭部に装着するための器具である。例えば、
図1の例示の通り、利用者Uの頭部に巻回されるベルトを具備するゴーグル型のアタッチメントが装着具20として好適である。
【0009】
図2は、端末装置10の構成を例示するブロック図である。
図2に例示される通り、端末装置10は、制御装置11と記憶装置12と表示装置13と検出装置14とを具備するコンピュータシステムである。制御装置11は、CPU(Central Processing Unit)等のプロセッサであり、画像表示システム1Aの各要素を統括的に制御する。記憶装置12は、制御装置11が実行するプログラムと制御装置11が使用する各種のデータとを記憶する。例えば、磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せにより、記憶装置12が構成される。
【0010】
表示装置13は、制御装置11による制御のもとで画像を表示する。例えば液晶表示パネルまたは有機EL(Electroluminescence)表示パネル等の平面型の表示器が表示装置13として利用される。
図1から理解される通り、利用者Uの頭部に装着具20が装着された状態では、利用者Uの頭部に表示面が対向した状態で利用者Uの両眼の前方に表示装置13が配置される。第1実施形態の表示装置13は、利用者Uが立体感を知覚可能な立体視画像を表示する。立体視画像は、両眼視差が付与された右眼用画像と左眼用画像とで構成される。右眼用画像を利用者Uの右眼に視認させ、左眼用画像を利用者Uの左眼に視認させることで、利用者Uは立体感を知覚する。
【0011】
図2に例示される通り、表示装置13と検出装置14と装着具20とはヘッドマウントディスプレイ(以下「HMD」という)30を構成し、制御装置11と記憶装置12とは、HMD30に画像を表示させる情報処理装置40を構成する。すなわち、画像表示システム1Aは、HMD30と情報処理装置40とを具備する。前述の通り、第1実施形態では、情報処理装置40と表示装置13と検出装置14とが単体の端末装置10により実現される。なお、情報処理装置40をHMD30の要素として把握してもよい。
【0012】
図2の検出装置14は、HMD30の姿勢に応じた検出信号を出力するセンサである。具体的には、検出装置14は、角速度を検知するジャイロセンサ、加速度を検知する加速度センサ、傾斜角を検知する傾斜センサ、および、地磁気により方向を検知する地磁気センサ等の複数種のセンサから選択された1種類以上のセンサで構成される。検出装置14から出力される検出信号の解析により、HMD30の姿勢または姿勢の変化を特定することが可能である。検出装置14は、表示装置13または端末装置10の姿勢に応じた検出信号を出力するセンサとも換言される。なお、検出信号を増幅する増幅器、および検出信号をアナログからデジタルに変換するA/D変換器の図示は便宜的に省略した。
【0013】
図1に例示される通り、HMD30の姿勢は、原点Oにおいて相互に直交する3軸(X軸,Y軸,Z軸)で規定される。X軸は、表示装置13の表示面に垂直な軸線であり、利用者Uの前後方向に相当する。Y軸およびZ軸は、表示装置13の表示面に平行な軸線である。Y軸は、利用者Uの左右方向に相当し、Z軸は、利用者Uの上下方向に相当する。表示装置13の表示面に着目すると、X軸は表示面の奥行き方向に相当し、Y軸は表示面の横方向に相当し、Z方向は表示面の縦方向に相当する。X軸を中心とした円周の方向はロール方向であり、Y軸を中心とした円周の方向はピッチ方向であり、Z軸を中心とした円周の方向はヨー方向である。X軸の方向は、ピッチ方向の角度とヨー方向の角度とにより確定する。ロール方向の回転は、利用者Uが前方を向いた状態で頭部を左右に傾斜させる動作に相当する。すなわち、例えば利用者Uが首をかしげた場合にHMD30はロール方向に回転する。以下の説明では、
図1に例示される通り、ロール方向における一方側を「第1側」と表記し、他方側を「第2側」と表記する。X軸を中心とした時計回りおよび反時計回りの一方が第1側であり、他方が第2側である。
【0014】
図2の制御装置11は、記憶装置12に記憶されたプログラムを実行することで、
図3に例示される通り、姿勢解析部41、表示制御部42Aおよび動作制御部43Aとして機能する。なお、制御装置11の機能の一部または全部を専用の電子回路で実現してもよい。
【0015】
姿勢解析部41は、検出装置14が出力する検出信号を解析することでHMD30の姿勢を特定する。具体的には、姿勢解析部41は、HMD30の姿勢に関する姿勢データを所定の周期で順次に生成する。姿勢データは、HMD30の姿勢または姿勢の変化を表すデータである。
【0016】
表示制御部42Aは、仮想空間V内の仮想カメラEにより撮像した画像を表示装置13に表示させる。
図4は、仮想空間Vの説明図である。
図4に例示される通り、仮想カメラEは、仮想空間V内に設置され、仮想空間Vにおける特定の範囲(以下「撮像範囲」という)Rを撮像する。撮像範囲Rは、仮想カメラEの光軸に対して縦方向および横方向における所定の角度にわたる範囲である。仮想カメラEの光軸は、仮想空間V内における利用者Uの仮想的な視線に相当する。第1実施形態の表示制御部42Aは、両眼視差を利用した立体視画像(右眼用画像および左眼用画像)を表示装置13に表示させる。したがって、仮想カメラEは、左眼用画像を撮像する第1仮想カメラと右眼用画像を撮像する第2仮想カメラとを含んで構成される。仮想カメラEが撮像した立体視画像を表す画像データが表示制御部42Aから表示装置13に順次に供給されることで、表示装置13には立体視画像が表示される。
【0017】
表示制御部42Aは、仮想空間V内における仮想カメラEの方向を、姿勢解析部41が特定したHMD30の方向に応じて制御する。具体的には、原点Oを中心としたX軸の回転に連動して仮想カメラEの光軸の方向(さらには撮像範囲R)が変化する。例えば、HMD30がヨー方向に回転した場合には、仮想カメラEの光軸が原点Oを中心として左右に回転し、HMD30がピッチ方向に回転した場合には、仮想カメラEの光軸が原点Oを中心として上下に回転する。第1実施形態では、HMD30がロール方向に回転した場合でも仮想カメラEの姿勢(光軸を中心とした角度)は変化しない。ただし、HMD30のロール方向の回転に応じて、光軸を中心とした仮想カメラEの傾きを変化させてもよい。
【0018】
図4に例示される通り、仮想カメラEが設置された仮想空間V内にはキャラクタCが配置される。第1実施形態のキャラクタCは、仮想空間V内で活動する仮想的な生物(例えば人間、動物またはモンスター)を表すオブジェクトであり、頭部と胴体部とを含んで構成される。仮想空間V内でキャラクタCに対して随時に接触(スキンシップ)しながら当該キャラクタCと交流するゲームが画像表示システム1Aにより利用者Uに提供される。
【0019】
仮想空間V内には基準線Qが設定される。基準線Qは、HMD30の方向(X軸の方向)に応じて仮想空間V内における方向が変化する直線である。第1実施形態では、
図4に例示される通り、仮想カメラEの光軸を基準線Qとして例示する。例えば、利用者Uが頭部を右側に向ければ基準線Qは右側に回転し、利用者Uが頭部を左側に向ければ基準線Qは左側に回転する。以上の説明から理解される通り、基準線Qは、仮想空間V内における利用者Uの仮想的な視線である。
【0020】
図5は、表示装置13に表示される画像の模式図である。
図5に例示される通り、表示制御部42Aは、仮想空間V内で仮想カメラEが撮像した立体視画像を表示装置13に表示させる。撮像範囲R内にキャラクタCが位置する場合には当該キャラクタCが表示装置13に表示される。また、表示制御部42Aは、基準線Qの方向を表す画像(以下「指示画像」という)Gを表示装置13に表示させる。指示画像Gは、仮想空間V内において基準線Qの線上の所定の位置に配置される。第1実施形態における基準線Qは仮想カメラEの光軸であるから、表示装置13の表示面内における所定の位置に指示画像Gは表示される。
【0021】
図3の動作制御部43Aは、仮想空間V内におけるキャラクタCの動作を制御する。動作制御部43Aは、ゲームの進行に応じてキャラクタCの動作を制御するほか、仮想空間V内における利用者Uの接触に対応した動作(以下「反応動作」という)をキャラクタCに実行させる。具体的には、動作制御部43Aは、仮想空間V内で利用者UがキャラクタCに接触したか否かを判定し、利用者Uによる接触に対する反応動作をキャラクタCに実行させる。例えば、姿勢の変化、表情の変化、または特定の台詞の発音等の各種の動作が、反応動作の典型例である。
【0022】
動作制御部43Aは、姿勢解析部41が特定したHMD30の姿勢の変化に応じて、仮想空間V内で利用者UがキャラクタCに接触したか否かを判定する。第1実施形態の動作制御部43Aは、HMD30がロール方向に回転した場合に、仮想空間V内で利用者UがキャラクタCに接触したと判定する。すなわち、HMD30のロール方向の回転は、仮想空間V内で利用者UがキャラクタCに接触するための指示(動作指示)に相当する。具体的には、動作制御部43Aは、HMD30がロール方向に回転した場合に、基準線QとキャラクタCの表面とが交差する地点(以下「接触地点」という)Pに利用者Uが接触したと判定する。接触地点PはキャラクタCの表面上に位置する。なお、基準線Qが複数の地点でキャラクタCの表面に交差する場合、複数の地点のうち仮想カメラE(すなわち利用者U)に最も近い地点が接触地点Pとして選択される。
【0023】
以上に説明した通り、第1実施形態では、HMD30のロール方向の回転に応じて仮想空間V内のキャラクタCの動作が制御される。したがって、キャラクタCの動作を制御するための指示を利用者Uが入力する操作装置をHMD30とは別個に用意することを必要とせずに、利用者Uからの指示をキャラクタCの動作に反映させることができる。第1実施形態では特に、基準線QとキャラクタCとが交差する関係にある場合に利用者UがキャラクタCに接触したと判定されるから、利用者UはキャラクタCを視界内に捉えながら当該キャラクタCを操作することが可能である。すなわち、利用者UがキャラクタCをより直観的に操作できるという利点がある。
【0024】
図6は、動作制御部43Aが実行する処理(以下「第1制御処理」という)の具体的な内容を例示するフローチャートである。動作制御部43Aは、
図6の第1制御処理を所定の周期で反復的に実行する。記憶装置12には、仮想空間V内において利用者UがキャラクタCに接触した状態(以下「接触状態」という)にあるか否かを表す接触判定データが記憶される。接触判定データは、例えば接触状態および非接触状態の何れかを示すフラグである。
【0025】
第1制御処理を開始すると、動作制御部43Aは、接触判定データが接触状態を示すか否かを判定する(Sa1)。接触判定データが非接触状態を示す場合(Sa1:NO)、動作制御部43Aは、HMD30がロール方向に回転したか否かを判定する(Sa2)。具体的には、動作制御部43Aは、姿勢解析部41から順次に供給される姿勢データを参照することで、HMD30がロール方向の第1側(例えば時計回り)に回転したか否かを判定する。
【0026】
図7は、HMD30がロール方向に回転したか否かを判定する処理の説明図である。
図7に例示される通り、動作制御部43Aは、HMD30がロール方向の第1側に回転した角度θが閾値θtを上回る場合に、HMD30がロール方向に回転したと判定する。角度θは、X軸を中心としてZ軸またはY軸が回転した角度であり、例えば鉛直方向を基準(θ=0)として規定される。他方、HMD30の回転角度θが閾値θtを下回る場合、動作制御部43Aは、HMD30がロール方向に回転したと判定しない。以上に説明した通り、第1実施形態では、閾値θtを下回る程度の回転ではHMD30はロール方向に回転したと判定されない。したがって、HMD30が回転したと過剰な頻度で判定される可能性を低減できる。また、利用者UがHMD30の回転を意図していないにも関わらずHMD30が回転したと判定される可能性(すなわち誤操作の可能性)を低減できるという利点もある。
【0027】
なお、HMD30にロール方向の回転のみが単独で発生した場合だけでなく、ロール方向の回転とともにピッチ方向またはヨー方向の回転が発生した場合でも、ロール方向における回転の角度が閾値θtを上回る場合には、HMD30がロール方向に回転したと判定される。
【0028】
図6の第1制御処理において、HMD30がロール方向の第1側に回転したと判定すると(Sa2:YES)、動作制御部43Aは、基準線Qが仮想空間V内のキャラクタCに交差するか否かを判定する(Sa3)。すなわち、基準線Qの線上にキャラクタCが存在するか否かが判定される。
図8の例示の通り、基準線Qが仮想空間V内のキャラクタCに交差する場合(Sa3:YES)、動作制御部43Aは、利用者UがキャラクタCの接触地点Pに接触した接触状態にあると判定する(Sa4)。具体的には、接触状態を示す数値に接触判定データを変更する。以上の説明から理解される通り、動作制御部43Aは、HMD30がロール方向に回転した場合に、利用者Uが仮想空間V内でキャラクタCの接触地点Pに接触したと判定する。すなわち、利用者Uは、HMD30をロール方向に回転させることで、キャラクタCの接触地点Pに対する接触を指示することが可能である。
【0029】
接触状態に遷移した場合、動作制御部43Aは、反応動作をキャラクタCに実行させる(Sa5)。具体的には、動作制御部43Aは、キャラクタCのうち基準線Qが交差する接触地点Pの位置に応じた反応動作をキャラクタCに実行させる。すなわち、キャラクタCが実行する反応動作は、接触地点Pの位置に応じて変化する。例えば、キャラクタCの表面を区分した複数の領域の各々について反応動作の種類を規定するテーブルが記憶装置12に記憶される。動作制御部43Aは、キャラクタCの表面の複数の領域のうち、接触地点Pを含む領域についてテーブルに規定された反応動作をキャラクタCに実行させる。例えば、動作制御部43Aは、接触地点PがキャラクタCの頭部に位置する場合には、利用者Uによる接触を受容する反応動作(例えば喜ぶ、笑うまたは近付く等の好意的な動作)をキャラクタCに実行させる。他方、動作制御部43Aは、接触地点PがキャラクタCの胴体部に位置する場合には、利用者Uによる接触を拒否する反応動作(例えば怒る、悲しむまたは遠離る等の否定的な動作)をキャラクタCに実行させる。以上の構成によれば、接触地点Pの位置に応じてキャラクタCの反応動作を多様に変化させることが可能である。
【0030】
他方、HMD30がロール方向の第1側に回転しない場合(Sa2:NO)、または、基準線QがキャラクタCに交差しない場合(Sa3:NO)、動作制御部43Aは、非接触状態を示す数値に接触判定データを維持する。すなわち、HMD30がロール方向の第1側に回転した場合でも、
図5の例示のように基準線QがキャラクタCに交差しないときには、利用者UがキャラクタCに接触していないと判定される。
【0031】
仮想空間V内で利用者UがキャラクタCに接触した場合、以降における第1制御処理のステップSa1では、接触判定データが接触状態を示すと判定される。接触判定データが接触状態を示す場合(Sa1:YES)、動作制御部43Aは、姿勢解析部41から順次に供給される姿勢データを参照することで、HMD30がロール方向の第2側(例えば反時計回り)に回転したか否かを判定する。具体的には、動作制御部43Aは、ロール方向の第2側に対する回転角度θが所定の閾値θtを上回る場合に、HMD30がロール方向の第2側に回転したと判定する。HMD30がロール方向の第2側に回転した場合(Sa6:YES)、動作制御部43Aは、キャラクタCに対する接触が解除されたと判定する(Sa7)。具体的には、動作制御部43Aは、非接触状態を示す数値に接触判定データを変更する。他方、HMD30がロール方向の第2側に回転しない場合(Sa6:NO)、動作制御部43Aは、接触状態を示す数値に接触判定データを維持する。
【0032】
なお、キャラクタCに対する接触が解除された場合に、動作制御部43Aが、接触の解除に反応する動作をキャラクタCに実行させる構成が好適であるが、接触の解除に反応する動作をキャラクタCに実行させない構成も想定される。
【0033】
以上の説明から理解される通り、動作制御部43Aは、HMD30がロール方向の第1側に回転した場合(Sa2:YES)に利用者UがキャラクタCに接触したと判定する(Sa4)。他方、利用者UがキャラクタCに接触した状態(Sa1:YES)において、HMD30がロール方向の第2側に回転した場合(Sa6:YES)に、キャラクタCに対する接触が解除されたと判定する。以上の構成によれば、利用者Uは、ロール方向におけるHMD30の回転の向きに応じて、仮想空間V内のキャラクタCに対する接触の発生と解除とを指示することができる。ロール方向において相互に逆向きの回転が、キャラクタCに対する接触の発生および解除という反対の動作に対応するから、キャラクタCに対する接触の発生および解除を利用者Uが直観的に把握し易いという利点もある。
【0034】
第1実施形態においては、例えば以下に例示する構成を採用してもよい。
【0035】
[変形例A1]
変形例A1における動作制御部43Aは、仮想空間V内においてキャラクタCに対する接触が維持される時間長に応じた反応動作をキャラクタCに実行させる。具体的には、動作制御部43Aは、接触状態が継続する期間(以下「接触期間」という)内において反応動作を経時的に変化させる。接触期間は、HMD30がロール方向の第1側に回転してから第2側に回転するまでの期間である。なお、接触判定データが接触状態を示す数値に設定されてから、非接触状態を示す数値に変更されるまでの期間を接触期間としてもよい。動作制御部43Aは、接触期間の始点から終点にかけてキャラクタCの反応動作を経時的に変化させる。したがって、接触期間の時間長に応じてキャラクタCの反応動作は変化する。以上の構成によれば、利用者UがキャラクタCに接触する時間長に応じてキャラクタCの反応動作を多様に変化させることができる。
【0036】
[変形例A2]
変形例A2における記憶装置12には、キャラクタCに関するパラメータが記憶される。具体的には、利用者Uに対するキャラクタCの好感度がパラメータとして記憶装置12に記憶される。好感度は、キャラクタCから利用者Uに対する好意的な感情の度合を示すパラメータである。動作制御部43Aは、ゲームの進行に応じて好感度を変化させるほか、キャラクタCから利用者Uに対する好感度を当該キャラクタCに対する接触に応じて変化させる。具体的には、利用者UがキャラクタCに接触する度合(例えば回数または時間)が大きいほど、当該利用者Uに対するキャラクタCからの好感度は大きい数値に設定される。なお、以上の例示では、利用者Uに対するキャラクタCの好感度として説明したが、記憶装置12に記憶される好感度は、利用者Uが使用するキャラクタ(プレイヤキャラクタ)に対するキャラクタCからの好感度でもよい。利用者Uは仮想空間V内に複数のプレイヤキャラクタを所持し得る。
【0037】
また、動作制御部43Aは、キャラクタCについて記憶された好感度に応じて反応動作を変化させる。すなわち、利用者UがキャラクタCに接触した場合(Sa2:YES,Sa3:YES)にキャラクタCが実行(Sa4)する反応動作の種類が、当該キャラクタCの好感度に応じて変化する。例えば、キャラクタCとの接触の回数または時間が不足していて好感度が低い状態では、利用者Uが頭部に接触するとキャラクタCは当該接触を拒否する反応動作を実行する。他方、キャラクタCとの接触の回数または時間が充分に確保されて好感度が高い状態では、利用者Uが頭部に接触するとキャラクタCは当該接触を受容する反応動作を実行する。以上の構成によれば、キャラクタCに関するパラメータに応じてキャラクタCの反応動作を多様に変化させることができる。
【0038】
なお、キャラクタCの反応動作に影響するパラメータは、以上に例示した好感度に限定されない。例えば、キャラクタCの成長度(レベル)、または、利用者UとキャラクタCとの間の親密度等の各種のパラメータが、利用者UによるキャラクタCの接触に応じて変化し、当該パラメータに応じてキャラクタCの反応動作が制御される。
【0039】
[変形例A3]
変形例A3における動作制御部43Aは、HMD30がロール方向に回転した角度θに応じた反応動作をキャラクタCに実行させる。例えば、HMD30の回転角度θは、仮想空間V内において利用者UがキャラクタCに接触する仮想的な圧力に相当する。例えば、回転角度θが小さい場合には、利用者UがキャラクタCに対して軽く接触している状態を意味し、回転角度θが大きい場合には、利用者UがキャラクタCを強く押圧している状態を意味する。動作制御部43Aは、例えば回転角度θが小さい場合には、利用者Uによる接触を受容する反応動作をキャラクタCに実行させ、回転角度θが大きい場合には、利用者Uによる接触を拒否する反応動作をキャラクタCに実行させる。以上の構成によれば、HMD30の回転角度θ(すなわち利用者UがキャラクタCに接触する仮想的な圧力)に応じてキャラクタCの反応動作を多様に変化させることができる。
【0040】
[変形例A4]
変形例A4における表示制御部42Aは、HMD30のロール方向における回転に応じて仮想カメラE(すなわち仮想空間V内における仮想的な視点)を仮想空間V内で移動させる。具体的には、表示制御部42Aは、仮想空間V内における仮想カメラEとキャラクタCとの位置関係をHMD30の回転に連動して変化させる。例えば、仮想カメラEとキャラクタCとの距離がHMD30の回転角度θに応じて制御される。すなわち、HMD30のロール方向における回転に連動して仮想カメラEがオブジェクトの方向に移動する。
【0041】
例えば、HMD30がロール方向の第1側に回転した場合、表示制御部42Aは、
図9に矢印a1で示す通り、HMD30の回転角度θ(θ>0)に応じた移動量だけ仮想カメラEを仮想空間V内でキャラクタCに接近させる。他方、HMD30がロール方向の第2側に回転した場合、表示制御部42Aは、
図9に矢印a2で示す通り、HMD30の回転角度θ(θ<0)に応じた移動量だけ仮想カメラEを仮想空間V内でキャラクタCから離間させる。以上の構成によれば、HMD30をロール方向に回転させる簡便な操作により、利用者Uは、仮想空間Vにおいて仮想カメラEを移動させることができる。
【0042】
[変形例A5]
変形例A5における表示制御部42Aは、HMD30のロール方向における回転に応じて仮想カメラEによる撮像範囲R(すなわち仮想カメラEの画角)を変化させる。すなわち、仮想空間V内において表示装置13に表示される範囲がHMD30のロール方向の回転に応じて変化する。例えば、HMD30がロール方向の第1側に回転した場合、表示制御部42Aは、
図10に矢印b1で示す通り、HMD30の回転角度θに応じた比率で撮像範囲Rを縮小する。したがって、例えば仮想空間V内のキャラクタCがズームイン(拡大)される。他方、HMD30がロール方向の第2側に回転した場合、表示制御部42Aは、
図10に矢印b2で示す通り、HMD30の回転角度θに応じた比率で撮像範囲Rを拡大する。したがって、例えば仮想空間V内のキャラクタCがズームアウト(縮小)される。以上の構成によれば、HMD30をロール方向に回転させる簡便な操作により、利用者Uは、仮想空間V内における仮想カメラEの撮像範囲Rを変化させることができる。
【0043】
[変形例A6]
第1実施形態では、HMD30がロール方向の第2側に回転した場合(Sa6:YES)にキャラクタCに対する接触が解除されたと判定したが、キャラクタCに対する接触が解除されたと判定するための条件は以上の例示に限定されない。例えば、動作制御部43Aは、HMD30がロール方向に回転した状態(Sa2:YES)から元に戻った場合に、キャラクタCに対する接触が解除されたと判定してもよい。具体的には、動作制御部43Aは、
図6のステップSa6において、HMD30の回転角度θが、キャラクタCに対する接触のための回転が開始された時点における初期的な角度(例えばθ=0)に変化した場合に、キャラクタCに対する接触が解除されたと判定する(Sa7)。他方、ステップSa2では、動作制御部43Aは、HMD30の回転の方向(第1側/第2側)に関わらず、回転角度θが変化した場合に、利用者UがキャラクタCに接触したと判定する。以上の説明から理解される通り、HMD30の回転角度θを監視することで、HMD30の回転の方向(第1側/第2側)までは判別しなくても、キャラクタCに対する接触の発生と解除とを判定できる。すなわち、キャラクタCに対する接触の判定において、動作制御部43Aが、HMD30の回転の方向を判別する必要は必ずしもない。
【0044】
[変形例A7]
第1実施形態では、基準線Qが仮想空間V内のキャラクタCに交差する場合(Sa3:YES)に、利用者Uによる接触に対する反応動作をキャラクタCに実行させたが、基準線QとキャラクタCとの間の位置関係に関する条件は以上の例示に限定されない。例えば、基準線QとキャラクタCとの距離が所定の閾値を下回ることを条件として、反応動作をキャラクタCに実行させてもよい。基準線QとキャラクタCとの距離が所定の閾値を下回る場合には、基準線QがキャラクタCに交差する場合のほか、閾値を下回る範囲で基準線QがキャラクタCから離間した場合も含まれる。また、基準線QがキャラクタCの特定の部位に交差することを条件として、反応動作をキャラクタCに実行させてもよい。基準線QがキャラクタCの特定の部位以外に交差する場合、動作制御部43Aは、反応動作をキャラクタCに実行させない。以上の説明から理解される通り、第1実施形態の動作制御部43Aは、基準線QとキャラクタCとの位置関係(例えば基準線QとキャラクタCとが交差する関係)に応じてキャラクタCの動作を制御する要素として包括的に表現される。
【0045】
[B:第2実施形態]
本発明の第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【0046】
第2実施形態における画像表示システムは、
図1および
図2に例示した第1実施形態と同様の構成である。すなわち、第2実施形態のHMD30は、端末装置10の表示装置13および検出装置14と装着具20とを具備し、情報処理装置40は、端末装置10の制御装置11と記憶装置12とを具備する。
【0047】
図11は、第2実施形態の端末装置10における機能的な構成を例示するブロック図である。
図11に例示される通り、第2実施形態の制御装置11は、記憶装置12に記憶されたプログラムを実行することで、姿勢解析部41、表示制御部42Bおよび動作制御部43Bとして機能する。なお、制御装置11の一部または全部を専用の電子回路で実現してもよい。姿勢解析部41は、第1実施形態と同様に、検出装置14が出力する検出信号を解析することで、HMD30の姿勢に関する姿勢データを順次に生成する。
【0048】
表示制御部42Bは、第1実施形態の表示制御部42Aと同様に、仮想空間Vのうち仮想カメラEによる撮像範囲R内の画像と、基準線Qの方向を表す指示画像Gとを表示装置13に表示させる。第1実施形態について前述した通り、基準線Qは、HMD30の方向に応じて仮想空間V内における方向が変化する仮想的な直線である。
【0049】
第2実施形態の表示制御部42Bは、基準線Qと仮想空間V内のキャラクタC(オブジェクトの例示)との位置関係に応じて指示画像Gの表示態様を変化させる。具体的には、表示制御部42Bは、基準線QがキャラクタCに交差する場合と基準線QがキャラクタCに交差しない場合とで指示画像Gの表示態様を相違させる。表示態様とは、利用者Uが視覚的に弁別可能な画像の性状を意味する。例えば、色の3属性である色相(色調)、彩度および明度(階調)のほか、サイズおよび画像内容(例えば模様または形状)も、表示態様の概念に包含される。
【0050】
基準線QがキャラクタCに交差しない場合、表示制御部42Bは、
図12に例示される通り、画像G1を指示画像Gとして表示装置13に表示させる。画像G1は、仮想空間V内に配置された円状または点状のオブジェクトであり、仮想空間V内において基準線Qの線上に配置される。他方、基準線QがキャラクタCに交差する場合、表示制御部42Bは、
図13に例示される通り、画像G1とは相違する画像G2を指示画像Gとして表示装置13に表示させる。画像G2は、利用者Uの手を模式的に表す平面状のオブジェクトである。表示制御部42Bは、
図14に例示される通り、仮想空間V内におけるキャラクタCの表面のうち基準線Qと交差する地点(すなわち接触地点P)に画像G2を配置する。すなわち、画像G2は、仮想空間V内においてキャラクタCの表面上の接触地点Pに接触する。接触地点Pは、キャラクタCの表面において画像G2が接触する地点とも換言される。
【0051】
なお、以上の説明では、画像G1と画像G2との間の切替を例示したが、指示画像Gの表示態様の変化には、表示/非表示の切替も含まれる。すなわち、表示制御部42Bは、基準線QがキャラクタCに交差する場合に画像G2を指示画像Gとして表示し、基準線QがキャラクタCに交差しない場合には指示画像Gを非表示としてもよい。
【0052】
以上の説明から理解される通り、第2実施形態においては、仮想空間V内における基準線Qの方向を表す指示画像Gの表示態様が基準線QとキャラクタCとの位置関係に応じて変化する。したがって、仮想空間V内における基準線QとキャラクタCとの位置関係を利用者Uが容易に把握できる。また、仮想空間V内におけるキャラクタCの表面に指示画像G(画像G2)が配置されるから、仮想空間V内でキャラクタCの表面に接触している状態を利用者Uが知覚し易いという利点がある。指示画像GがキャラクタCの表面に配置されることで、利用者Uが接触地点Pを視覚的に的確に把握し易いという利点もある。
【0053】
図11の動作制御部43Bは、第1実施形態の動作制御部43Aと同様に、仮想空間V内におけるキャラクタCの動作を制御する。具体的には、動作制御部43Bは、仮想空間V内における利用者Uの接触に反応する動作(すなわち反応動作)をキャラクタCに実行させる。反応動作の典型例は、姿勢の変化、表情の変化、または特定の台詞の発音である。
【0054】
具体的には、動作制御部43Bは、キャラクタCのうち基準線Qが交差する接触地点Pの位置に応じた動作をキャラクタCに実行させる。例えば、動作制御部43Bは、接触地点PがキャラクタCの頭部に位置する場合には、利用者Uによる接触を受容する反応動作をキャラクタCに実行させ、接触地点PがキャラクタCの胴体部に位置する場合には、利用者Uによる接触を拒否する動作をキャラクタCに実行させる。以上の構成によれば、接触地点Pの位置に応じてキャラクタCの動作を多様に変化させることが可能である。
【0055】
図15は、第2実施形態の表示制御部42Bおよび動作制御部43Bが実行する処理(以下「第2制御処理」という)の具体的な内容を例示するフローチャートである。
図15の第2制御処理は所定の周期で反復的に実行される。
【0056】
第2制御処理を開始すると、表示制御部42Bは、仮想空間V内において基準線QがキャラクタCに交差するか否かを判定する(Sb1)。基準線QがキャラクタCに交差する場合(Sb1:YES)、表示制御部42Bは、基準線QとキャラクタCとが交差する接触地点Pに配置された画像G2を指示画像Gとして表示装置13に表示させる(Sb2)。他方、基準線QがキャラクタCに交差しない場合(Sb1:NO)、表示制御部42Bは、基準線Qの線上に配置された画像G1を指示画像Gとして表示装置13に表示させる(Sb3)。
【0057】
キャラクタCに重なる画像G2が表示された状態において、動作制御部43Bは、キャラクタCに対する動作の指示(以下「動作指示」という)を、利用者Uから受付けたか否かを判定する(Sb4)。動作指示は、仮想空間V内のキャラクタCに対する作用を発生させるための指示である。第2実施形態の動作指示は、仮想空間V内で利用者UがキャラクタCに接触することの指示を意味する。
【0058】
第2実施形態の動作制御部43Bは、HMD30の姿勢に関する特定の変化を、利用者Uからの動作指示として受付ける。具体的には、動作制御部43Bは、HMD30の姿勢の変化が所定の条件(以下「指示判定条件」という)を充足する場合に動作指示を受付けたと判定する。例えば、動作制御部43Bは、第1実施形態と同様に、HMD30がロール方向に回転した場合に、利用者Uから動作指示が付与されたと判定する。すなわち、HMD30のロール方向の回転が指示判定条件である。他方、HMD30の姿勢の変化が指示判定条件を充足しない場合、動作制御部43Bは、動作指示を受付けていないと判定する。なお、
図7を参照して前述した通り、HMD30の回転角度θが閾値θtを上回る場合にHMD30が回転したと判定する構成が好適である。
【0059】
利用者Uから動作指示を受付けた場合(Sb4:YES)、動作制御部43Bは、仮想空間V内で利用者UがキャラクタCに接触したと判定し、利用者Uによる接触に反応する動作をキャラクタCに実行させる(Sb5)。具体的には、動作制御部43Bは、前述の通り、キャラクタCのうち基準線Qが交差する接触地点Pの位置に応じた動作をキャラクタCに実行させる。以上の説明から理解される通り、第2実施形態においては、利用者Uは、キャラクタCの所望の位置に交差するように基準線Qを移動させた状態で動作指示を付与することにより、仮想空間V内でキャラクタCの所望の位置に接触することが可能である。
【0060】
なお、HMD30の姿勢の変化を動作指示として認識する構成では、表示面に対するタッチ操作等の直接的な操作が不要であるから、利用者Uが接触の感覚を実感し難いという問題がある。第2実施形態では、基準線QとキャラクタCとの位置関係(具体的には基準線QがキャラクタCに交差するか否か)に応じて指示画像Gの表示態様が変化するから、指示画像Gが固定的な態様で表示される構成と比較して、仮想空間V内で利用者UがキャラクタCに接触した感覚を利用者Uが実感し易いという利点がある。
【0061】
第2実施形態においては、例えば以下に例示する構成を採用してもよい。
【0062】
[変形例B1]
第2実施形態では、接触地点Pの位置に応じた反応動作をキャラクタCに実行させたが、第1実施形態と同様に、HMD30の姿勢の変化量(例えばロール方向の回転角度θ)に応じた反応動作をキャラクタCに実行させてもよい。例えば、HMD30の姿勢の変化量を、仮想空間V内において利用者UがキャラクタCに接触する仮想的な圧力と仮定する。変形例B1の動作制御部43Bは、HMD30の姿勢の変化量が小さい場合には、利用者Uによる接触を受容する反応動作をキャラクタCに実行させ、姿勢の変化量が大きい場合には、利用者Uによる接触を拒否する反応動作をキャラクタCに実行させる。以上の態様によれば、HMD30の姿勢に応じた多様な反応動作をキャラクタCに実行させることができる。
【0063】
[変形例B2]
変形例B2の動作制御部43Bは、時間軸上の特定の期間(以下「指示受付期間」という)内において利用者Uからの動作指示を受付ける。すなわち、指示受付期間内に利用者Uが付与した動作指示はキャラクタCの動作に有効に反映されるが、指示受付期間の経過後の時点で利用者Uが付与した動作指示は無視される。指示受付期間は、例えば、基準線QがキャラクタCに交差し始めた時点を始点とする所定の時間長(例えば数秒)の期間である。なお、指示受付期間の始点または終点は以上の例示に限定されない。例えば、ゲーム内で特定のイベントが開始した時点を指示受付期間の始点としてもよい。以上のように動作指示の受付を指示受付期間に制限することで、利用者Uに適度な緊張感が付与され、結果的にゲームの飽きを抑制することが可能である。
【0064】
表示制御部42Bは、指示受付期間内において指示画像G(画像G2)の表示態様を経時的に変化させる。例えば、
図16に例示される通り、基準線QがキャラクタCに交差するときに指示画像Gとして表示される画像G2が、画像G21と画像G22とを含む場合を想定する。画像G21は、第1実施形態の画像G2と同様に利用者Uの手を表す画像であり、画像G22は、画像G21の背後に配置された円形状の画像である。表示制御部42Bは、指示受付期間の始点から終点にかけて画像G22のサイズを経時的に縮小する。画像G21のサイズは変化しない。以上の構成によれば、動作指示の受付が許可される指示受付期間(例えば残り時間)を、利用者Uが指示画像Gの表示態様から視覚的に把握できるという利点がある。
【0065】
[変形例B3]
変形例B3の表示制御部42Bは、仮想空間V内のキャラクタCのうち基準線Qが交差する接触地点Pの位置に応じて指示画像Gの表示態様を変化させる。具体的には、
図17に例示される通り、仮想空間V内で接触地点PがキャラクタCの表面の第1位置にある場合とキャラクタCの表面の第2位置にある場合とで、指示画像Gの表示態様が相違する。第1位置は、例えば利用者Uによる接触をキャラクタCが受容する位置(例えばキャラクタCの胴体部)であり、第2位置は、例えば利用者Uによる接触をキャラクタCが拒否する位置(例えばキャラクタCの頭部)である。
【0066】
なお、
図17においては接触地点Pが第1位置または第2位置にある場合を例示したが、表示制御部42Bは、キャラクタCにおける接触地点Pの位置の変化に並行して指示画像Gの表示態様を経時的に変化させてもよい。すなわち、利用者UがHMD30の姿勢に応じて接触地点PをキャラクタCの表面上を移動させると、表示制御部42Bは、接触地点Pの移動に連動して指示画像Gの表示態様を経時的に変化させる。例えば、接触地点Pが
図17の第1位置から第2位置まで移動する期間内に、表示制御部42Bは、指示画像Gの表示態様を、第1位置における表示態様から第2位置における表示態様まで連続的または段階的に変化させる。
【0067】
変形例B3では、接触地点Pの位置に応じて指示画像Gの表示態様が変化する。したがって、指示画像Gの表示態様を視認することで、利用者Uは、接触時のキャラクタCの動作を利用者Uを推測できる。すなわち、指示画像Gの表示態様を確認することで接触時のキャラクタCの動作を推測しながら接触地点Pを徐々に移動させ、所望の動作が予想される位置に接触地点Pを維持した状態で動作指示を付与する、という興趣性を利用者Uに提供できる。
【0068】
[変形例B4]
変形例B4の表示制御部42Bは、キャラクタCの視線が基準線Qを追跡するようにキャラクタCを制御する。例えば、基準線QがキャラクタCに交差する接触地点Pを視線が向くようにキャラクタCが制御される。具体的には、
図18に例示される通り、キャラクタCの眼球(例えば瞳)および頭部が、基準線Qを追跡するように回転する。なお、キャラクタCの眼球および頭部の一方のみが基準線Qを追跡してもよい。変形例B4によれば、利用者UがキャラクタCに影響している感覚を利用者Uが把握し易いという利点がある。
【0069】
[変形例B5]
第2実施形態では、基準線QがキャラクタCに交差するか否かに応じて指示画像Gの表示態様を変化させたが、指示画像Gの表示態様を変化させるための条件は以上の例示に限定されない。例えば、表示制御部42Bは、基準線QとキャラクタCとの距離に応じて指示画像Gの表示態様を連続的または段階的に変化させてもよい。基準線QとキャラクタCとの交差は、指示画像Gの表示態様を変化させるための必須の条件ではない。また、基準線QがキャラクタCの特定の部位に交差するか否かに応じて、指示画像Gの表示態様を変化させてもよい。基準線QがキャラクタCの特定の部位以外に交差する状態では、基準線QがキャラクタCとの交差しない場合と同様の表示態様で指示画像Gが表示される。以上の説明から理解される通り、第2実施形態の動作制御部43Bは、基準線QとキャラクタCとの位置関係に応じて指示画像Gの表示態様を変化させる要素として包括的に表現される。
【0070】
[変形例B6]
基準線QとキャラクタCとの位置関係に応じて指示画像Gの表示態様を変化させる第2実施形態の構成は、利用者Uが端末装置10(例えばスマートフォン)を手で把持した状態で使用する場合にも同様に適用される。第2実施形態と同様に、仮想空間Vのうち表示装置13に表示される撮像範囲Rは、端末装置10の姿勢に応じて変化する。
【0071】
変形例B6の端末装置10は、表示装置13の表示面に対する利用者Uの接触を検出するタッチパネルを具備する。第2実施形態では、仮想空間V内の接触地点Pの位置をHMD30の姿勢に応じて変化させたが、変形例B6では、表示装置13の表示面に対して利用者Uが接触した地点を接触地点Pとして指示画像Gが表示される。例えば、利用者Uが接触した接触地点Pを通過する基準線Qが仮想空間V内に設定される。すなわち、表示装置13の表示面に対する接触(すなわちタッチ操作)で利用者Uが指示した方向の仮想的な直線が基準線Qとして仮想空間V内に設定される。表示制御部42Bは、基準線QがキャラクタCに交差する場合には画像G2を指示画像Gとして表示装置13に表示させ、基準線QがキャラクタCに交差しない場合には画像G1を指示画像Gとして表示装置13に表示させる。以上の構成でも、仮想空間V内における基準線QとキャラクタCとの位置関係(例えば仮想空間V内で利用者UがキャラクタCに接触している状態)を利用者Uが容易に把握できるという利点がある。
【0072】
変形例B6の例示から理解される通り、第2実施形態において、表示装置13を利用者Uの頭部に装着する構成は省略され得る。利用者Uの頭部に装着されることを前提としない構成における表示制御部42Bは、表示装置13の姿勢に応じて姿勢が制御される仮想カメラEで仮想空間Vを撮像した画像を表示装置13に表示させる要素として表現される。また、利用者Uが手に把持した状態で使用される表示装置13においては、当該表示装置13に対する操作(例えばタッチ操作)で指示された方向の仮想的な直線が「基準線」である。
【0073】
[C:他の変形例]
第1実施形態または第2実施形態に対する具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【0074】
[変形例C1]
基準線Qは、前述の各形態で例示した仮想カメラEの光軸に限定されない。例えば、表示装置13の表示面に垂直な直線が基準線Qとして利用される。また、仮想カメラEの光軸または表示面に垂直な直線に対して所定の角度をなす直線を基準線Qに利用してもよい。なお、利用者Uの視線の方向を推定するアイトラッキング(視線計測)機能を搭載したHMD30においては、当該機能により推定された視線を基準線Qとして利用してもよい。以上の例示から理解される通り、基準線Qは、仮想空間V内に設定される仮想的な直線として包括的に表現される。
【0075】
[変形例C2]
前述の各形態では、仮想空間Vに配置されるオブジェクトとしてキャラクタCを例示したが、仮想空間V内で利用者Uが接触するオブジェクトはキャラクタCに限定されない。例えば、仮想空間V内の建造物や自然物等の無生物的な要素もオブジェクトの概念に包含される。生物的なオブジェクト(キャラクタC)について「動作」とは、例えば当該オブジェクトの挙動、行為、様子または態度である。また、無生物的なオブジェクトについて「動作」とは、例えば当該要素の形態の変化である。例えば建造物のドアが開く動作、または、岩石等の自然物が変形ないし移動する動作が、オブジェクトの動作として例示される。
【0076】
[変形例C3]
前述の各形態では、HMD30がロール方向に回転した場合に、仮想空間V内で利用者UがキャラクタCに接触したと判定してキャラクタCに反応動作を実行させたが、反応動作の契機(すなわち動作指示)は以上の例示に限定されない。例えば、ピッチ方向またはヨー方向におけるHMD30の回転を利用者Uによる接触としてキャラクタCに反応動作を実行させてもよい。また、例えば基準線QがキャラクタCの特定の範囲内に交差した状態(すなわち利用者Uが当該範囲内を長時間にわたり凝視した場合)が所定の時間にわたり継続したことを条件としてキャラクタCに反応動作を実行させてもよい。HMD30に接続された操作装置(図示略)を利用者Uが操作することを条件としてキャラクタCに反応動作を実行させてもよい。以上の例示から理解される通り、HMD30の姿勢の変化(特にロール方向の回転)をキャラクタCの反応動作の契機とする構成は省略され得る。
【0077】
[変形例C4]
前述の各形態では、ロール方向におけるHMD30の回転を動作指示(キャラクタCに対する接触の指示)として受付けたが、動作指示と判定されるHMD30の姿勢の変化はロール方向の回転に限定されない。例えば、ピッチ方向またはヨー方向におけるHMD30の回転を動作指示として受付けてもよい。
【0078】
[変形例C5]
第1実施形態について例示した変形例(変形例A1から変形例A7)は、第2実施形態にも同様に適用される。また、第2実施形態について例示した変形例(変形例B1から変形例B6)は、第1実施形態にも同様に適用される。
【0079】
[変形例C6]
前述の各形態では、HMD30の表示装置13および検出装置14とHMD30を制御する情報処理装置40とを単体の端末装置10で実現した構成を例示したが、
図19の画像表示システム1BのようにHMD30と情報処理装置40とを別体の装置として実現してもよい。HMD30と情報処理装置40とは有線または無線により相互に通信可能である。HMD30と情報処理装置40との間の通信の方式は任意であるが、例えばbluetooth(登録商標)等の近距離無線通信が好適である。
【0080】
HMD30は、第1実施形態と同様に、表示装置13と検出装置14と装着具20とを具備し、利用者Uの頭部に装着される。情報処理装置40は、HMD30と通信することで各種の画像をHMD30に表示させる制御機器であり、制御装置11と記憶装置12とを具備する。例えば、携帯電話機、スマートフォン、タブレット端末、パーソナルコンピュータ、または家庭用ゲーム装置等の各種の情報端末が情報処理装置40として利用される。なお、情報処理装置40が可搬型であるか据置型であるかは不問である。制御装置11は、記憶装置12に記憶されたプログラムを実行することで、第1実施形態または第2実施形態と同様に、姿勢解析部41、表示制御部42(42A,42B)および動作制御部43(43A,43B)として機能する。したがって、
図19の構成においても第1実施形態または第2実施形態と同様の効果が実現される。
【0081】
[変形例C7]
本発明の好適な態様は、前述の各形態での例示の通り、コンピュータ(具体的には制御装置11)とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
【0082】
[D:付記]
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記する、本発明を図示の態様に限定する趣旨ではない。
【0083】
[態様1]
本発明の好適な態様(態様1)に係るプログラムは、ヘッドマウントディスプレイ(30)の方向に応じて方向が制御される仮想カメラ(E)で仮想空間(V)を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイ(30)の表示装置(13)に表示させる表示制御部(42B)、としてコンピュータ(11)を機能させるプログラムであって、前記表示制御部(42B)は、前記ヘッドマウントディスプレイ(30)の方向に応じて前記仮想空間(V)における方向が変化する基準線(Q)の方向に指示画像(G)を表示させ、前記基準線(Q)と前記仮想空間(V)内のオブジェクト(C)との位置関係に応じて前記指示画像(G)の表示態様を変化させる。以上の構成では、仮想空間(V)内における基準線(Q)の方向を表す指示画像(G)の表示態様が、当該基準線(Q)とオブジェクト(C)との位置関係に応じて変化するから、仮想空間(V)内における基準線(Q)とオブジェクト(C)との位置関係を利用者(U)が容易に把握できるという利点がある。
【0084】
「基準線」は、仮想空間(V)内に設定された仮想的な直線である。例えば、仮想カメラ(E)の光軸、表示装置(13)による表示画面の中心線、または、これらの直線に対して所定の角度をなす直線が、基準線(Q)の好適例である。なお、利用者(U)の視線を推定するアイトラッキング機能を利用可能な構成では、以上に例示した直線のほか、利用者(U)の視線を基準線(Q)として利用してもよい。
【0085】
「オブジェクト」とは、仮想空間(V)内に設置される仮想的な物体である。オブジェクト(C)の典型例はキャラクタ(例えば人間,動物またはモンスター)であるが、仮想空間(V)内の建造物または自然物等の無生物的な要素もオブジェクトの概念に含まれ得る。
【0086】
「表示態様」とは、視覚的に弁別可能な画像の性状を意味する。例えば、色の3属性である色相(色調)、彩度および明度(階調)のほか、サイズおよび画像内容(例えば模様または形状)も、表示態様の概念に包含される。また、表示態様の変化には、表示/非表示の切替も含まれる。
【0087】
[態様2]
態様1の好適例(態様2)において、前記表示制御部(42B)は、前記オブジェクト(C)の表面のうち前記基準線(Q)と交差する地点(P)に前記指示画像(G)を表示させる。以上の態様によれば、仮想空間(V)内におけるオブジェクト(C)の表面に指示画像(G)が配置されるから、当該オブジェクト(C)の表面に接触している状態を、利用者(U)が指示画像(G)により知覚し易いという利点がある。
【0088】
[態様3]
態様1または態様2の好適例(態様3)に係るプログラムは、前記基準線(Q)と前記オブジェクト(C)との位置関係に応じて前記オブジェクト(C)の動作を制御する動作制御部(43B)としてコンピュータ(11)を機能させる。以上の態様によれば、利用者(U)からの指示を反映した多様な動作をオブジェクト(C)に実行させることができる。
【0089】
なお、「オブジェクトの動作」とは、例えば、オブジェクト(C)の一例であるキャラクタの挙動,行為,様子または態度である。無生物的な要素について「オブジェクトの動作」とは、例えば当該要素の形態の変化(例えば建造物のドアまたは窓が開く、岩石等の自然物が変形ないし移動する等)である。
【0090】
[態様4]
態様3の好適例(態様4)において、前記動作制御部(43B)は、利用者(U)から動作指示を受付けた場合に、前記基準線(Q)と前記オブジェクト(C)との位置関係に応じて前記オブジェクト(C)の動作を制御する。以上の態様によれば、利用者(U)は、基準線(Q)を所望の位置に移動させた状態で動作指示を付与することで、オブジェクト(C)における所望の位置に対応した動作を実行させることができる。
【0091】
「動作指示」とは、仮想空間(V)内のオブジェクト(C)に対する作用(例えば接触)を発生させるための指示である。指示画像(G)が表す暫定的な方向を利用者(U)の所望の方向に確定するための指示とも換言される。例えば、ヘッドマウントディスプレイ(30)の方向について特定の変化(例えばロール方向の回転)が発生した場合に動作指示を受付けたと判定される。また、例えば仮想空間(V)内において基準線(Q)が静止した状態が所定の時間(例えば2秒)にわたり継続した場合に動作指示を受付けたと判定してもよい。
【0092】
[態様5]
態様4の好適例(態様5)において、前記動作制御部(43B)は、前記ヘッドマウントディスプレイ(30)の姿勢の変化が所定の条件を充足する場合に前記動作指示を受付けたと判定し、当該姿勢の変化量に応じた動作を前記オブジェクト(C)に実行させ、前記表示制御部(42B)は、前記動作指示の受付前に、前記ヘッドマウントディスプレイ(30)の姿勢の変化に応じて前記指示画像(G)の表示態様を変化させる。以上の態様によれば、ヘッドマウントディスプレイ(30)の姿勢に応じた多様な動作をオブジェクト(C)に実行させることができる。また、ヘッドマウントディスプレイ(30)の姿勢に応じて指示画像(G)の表示態様が変化するから、利用者(U)がオブジェクト(C)に影響している感覚(例えば接触している感覚)を利用者(U)が把握し易いという利点がある。なお、「所定の条件」とは、利用者(U)による動作指示と判定される姿勢変化の条件であり、例えば実施形態においてはロール方向の回転である。
【0093】
[態様6]
態様4または態様5の好適例(態様6)において、前記表示制御部(42B)は、利用者(U)による前記動作指示の受付が許可される指示受付期間内において前記指示画像(G)の表示態様を経時的に変化させる。以上の態様によれば、動作指示の受付が許可される指示受付期間(例えば指示受付期間の残り時間)を、利用者(U)が指示画像(G)の表示態様から視覚的に把握できる。なお、「指示受付期間」とは、例えばキャラクタに対する1回の接触が可能な残り時間、または、キャラクタに対する接触が許可される動作モードの残り時間である。
【0094】
[態様7]
態様3から態様6の何れかの好適例(態様7)において、前記表示制御部(42B)は、前記オブジェクト(C)のうち前記基準線(Q)が交差する地点(P)の位置に応じて前記指示画像(G)の表示態様を変化させる。以上の態様によれば、オブジェクト(C)のうち基準線(Q)が交差する地点(P)の位置に応じて指示画像(G)の表示態様が変化するから、利用者(U)は、指示画像(G)の表示態様からオブジェクト(C)の動作を推測することができる。
【0095】
[態様8]
態様7の好適例(態様8)において、前記表示制御部(42B)は、前記オブジェクト(C)のうち前記基準線(Q)が交差する地点(P)の位置の変化に並行して前記指示画像(G)の表示態様を経時的に変化させる。以上の態様によれば、オブジェクト(C)のうち基準線(Q)が交差する地点(P)の位置の変化に並行して指示画像(G)の表示態様が経時的に変化するから、指示画像(G)の表示態様を確認しながら基準線(Q)を徐々に変化させる興趣性を利用者(U)に提供できる。なお、「表示態様の経時的な変化」とは、表示態様が特定の時点で2値的にのみ変化するのではなく、表示態様が時間の経過とともに徐々に変化することを意味する。なお、表示態様が連続的に変化するのか段階的に変化するのかは不問である。
【0096】
[態様9]
態様1から態様8の何れかの好適例(態様9)において、前記動作制御部(43B)は、前記オブジェクト(C)の視線が前記基準線(Q)を追跡するように前記オブジェクト(C)を制御する。以上の態様によれば、利用者(U)がオブジェクト(C)に影響している感覚(例えば接触している感覚)を利用者(U)が把握し易い。なお、「オブジェクトの視線が基準線を追跡する」とは、オブジェクト(C)の眼球(例えば瞳)が基準線(Q)を追跡するように回転する場合だけでなく、オブジェクト(C)の頭部が基準線(Q)に応じて回転する場合も含む。
【0097】
[態様10]
本発明の好適な態様(態様10)に係る画像表示システム(1A,1B)は、ヘッドマウントディスプレイ(30)と情報処理装置(40)とを具備する画像表示システム(1A,1B)であって、前記情報処理装置(40)は、ヘッドマウントディスプレイ(30)の方向に応じて方向が制御される仮想カメラ(E)で仮想空間(V)を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイ(30)の表示装置(13)に表示させる表示制御部(42B)を具備し、前記表示制御部(42B)は、前記ヘッドマウントディスプレイ(30)の方向に応じて前記仮想空間(V)における方向が変化する基準線(Q)の方向に指示画像(G)を表示させ、前記基準線(Q)と前記仮想空間(V)内のオブジェクト(C)との位置関係に応じて前記指示画像(G)の表示態様を変化させる。以上の構成では、仮想空間(V)内における基準線(Q)の方向を表す指示画像(G)の表示態様が、当該基準線(Q)とオブジェクト(C)との位置関係に応じて変化するから、仮想空間(V)内における基準線(Q)とオブジェクト(C)との位置関係を利用者(U)が容易に把握できるという利点がある。なお、ヘッドマウントディスプレイ(30)と情報処理装置(40)とは一体および別体の何れでもよい。
【符号の説明】
【0098】
1A,1B…画像表示システム、10…端末装置、11…制御装置、12…記憶装置、13…表示装置、14…検出装置、20…装着具、30…HMD、40…情報処理装置、41…姿勢解析部、42A,42B…表示制御部、43A,43B…動作制御部、V…仮想空間、E…仮想カメラ、C…キャラクタ、R…撮像範囲、Q…基準線、G…指示画像、P…接触地点。