特開 2023-96844 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023096844

(43)【公開日】2023-07-07

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230630BHJP

   G06F 3/04815 20220101ALI20230630BHJP

   G06T 19/00 20110101ALI20230630BHJP

   G09G 5/00 20060101ALI20230630BHJP

   G09G 5/36 20060101ALI20230630BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481 150

G06T19/00 300B

G09G5/00 550C

G09G5/36 520E

G09G5/00 510A

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021212861

(22)【出願日】2021-12-27

(71)【出願人】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】澤木 一晃

【テーマコード（参考）】

5B050

5C182

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA11

5B050BA12

5B050CA07

5B050CA08

5B050EA04

5B050EA26

5B050FA02

5B050FA13

5C182AA02

5C182AA03

5C182AA04

5C182AA26

5C182AA31

5C182AB08

5C182AB34

5C182AB35

5C182AC46

5C182BA01

5C182BA02

5C182BA14

5C182BA29

5C182BA35

5C182BA39

5C182BA46

5C182BA47

5C182BA56

5C182BA75

5C182BC22

5C182BC25

5C182BC26

5C182CB13

5C182CB14

5C182DA44

5C182DA65

5E555AA27

5E555AA64

5E555BA04

5E555BB04

5E555BC08

5E555BE17

5E555CA42

5E555CA44

5E555CB66

5E555CC22

5E555DA08

5E555DA09

5E555DB53

5E555DC26

5E555DC27

5E555DC63

5E555DC84

5E555EA11

5E555EA14

5E555FA00

(57)【要約】

【課題】パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させる。
【解決手段】プロセッサ２１０を備えたコンピュータ２００において実行されるプログラム２３１である。プログラム２３１は、プロセッサ２１０に、画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、提示画像を表示装置に出力するステップと、センサ部によって検出されるユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、動作情報に基づいて、仮想カメラと天球の位置関係又は仮想カメラの視野角を変更するステップと、を実行させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

プロセッサを備えたコンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、
前記提示画像を表示装置に出力するステップと、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更するステップと、を実行させる、
プログラム。

【請求項2】

前記変更するステップは、前記天球内において前記仮想カメラの位置を移動させることを含む、
請求項１に記載のプログラム。

【請求項3】

前記天球の内縁よりも内側に、前記仮想カメラが移動可能な移動可能領域が設定されている、
請求項２に記載のプログラム。

【請求項4】

前記変更するステップは、前記天球の大きさを変更することを含む、
請求項１に記載のプログラム。

【請求項5】

前記変更するステップは、前記身体の少なくとも一部が、前記身体の少なくとも一部の周囲に設定された第１領域を超えて動いた場合に実行される、
請求項１から請求項４のいずれか一項に記載のプログラム。

【請求項6】

前記変更するステップは、前記動きの変化量が所定の閾値以上である場合に実行される、
請求項１から請求項４のいずれか一項に記載のプログラム。

【請求項7】

前記動作情報は、所定の基準平面に対する前記ユーザの身体の少なくとも一部の傾きに関する傾き情報を含み、
前記変更するステップは、前記基準平面に平行な方向における前記動きに基づいて、前記位置関係又は前記視野角を変更することを含み、
前記変更するステップは、前記傾きの大きさが所定の範囲外にある場合には実行されない、
請求項１から請求項６のいずれか一項に記載のプログラム。

【請求項8】

前記表示装置は、ヘッドマウントデバイスであり、
前記センサ部は、前記ユーザの頭部の動きを検出可能である、
請求項１から請求項７のいずれか一項に記載のプログラム。

【請求項9】

プロセッサを備えたコンピュータにおいて実行される情報処理方法であって、
前記情報処理方法は、前記プロセッサに、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、
前記提示画像を表示装置に出力するステップと、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更するステップと、を実行させることを含む、
情報処理方法。

【請求項10】

プロセッサを備えた情報処理装置であって、
前記プロセッサは、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成し、
前記提示画像を表示装置に出力し、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得し、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更する、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

従来、ヘッドマウントデバイス（以下、「ＨＭＤ」とも称する）等の機器を用いて、ユーザにＶＲ（Virtual Reality）空間等の仮想空間を提供する技術が知られている。例えば、特許文献１には、ＨＭＤ内の慣性センサを用いてＨＭＤの動きを検出し、検出された動きに基づいて仮想現実シーン内のキャラクタのアクション（移動等を含む）を決定することが開示されている。

【0003】

また、特許文献２には、ユーザの現実の視界に重畳させる重畳画像を表示する表示部を備えたＨＭＤにおいて、ＨＭＤの姿勢に応じて重畳画像の表示領域を縮小することが開示されている。また、特許文献３には、仮想空間の画像をＨＭＤに表示し、ユーザが操作を入力するための入力装置が現実空間における所定位置に存在する場合に、ＨＭＤに表示させている画像の一部を拡大し、仮想空間の画像に拡大画像を重畳して表示することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－５０８８０５号公報

【特許文献2】特開２０１６－２１２５９９号公報

【特許文献3】特開２０１９－４６２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、映像が投影された天球の内部に配置された仮想カメラに基づく画像をユーザに提供する技術が知られている。このような画像は、パノラマ画像とも呼ばれており、あたかもその場にいるような没入感をユーザに与えることが可能である。しかし、従来のパノラマ画像において、ユーザは、視線方向を変えることはできるものの、視点倍率は固定されていて変更できないことが多く、例えば、ユーザの動作情報に基づいて画像を拡大や縮小して見ることができなかった。従来のパノラマ画像は、半径が無限遠に設定されているような大きな天球に投影されたものであり、例えば、ＨＭＤを装着したユーザが画像に対して頭を近づける動作をしたとしても、天球と仮想カメラの位置関係は変更されないため、ユーザの動作情報に基づく画像の縮尺変更がされることはなく、ユーザビリティの点で改善の余地があった。

【0006】

なお、特許文献１～３には、パノラマ画像の縮尺をユーザの動作情報に基づいて変更するという思想は何ら示されておらず、当然ながら、映像が投影された天球と該天球の内部に配置された仮想カメラの位置関係をユーザの動作情報に基づいて変更することも開示されていない。

【0007】

本開示の一態様は、パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させることを目的とする。

【課題を解決するための手段】

【0008】

本開示に示す一実施形態によれば、
プロセッサを備えたコンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、
前記提示画像を表示装置に出力するステップと、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更するステップと、を実行させる、
プログラムが提供される。

【発明の効果】

【0009】

本開示に示す一実施形態よれば、パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させることができる。

【図面の簡単な説明】

【0010】

【図1】ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。

【図2】ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。

【図3】ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。

【図4】ある実施の形態に従う動作処理の一例を示すフローチャートである。

【図5】ある実施の形態に従う提示画像の拡大及び縮小の一例を示す模式図である。

【図6】ある実施の形態に従う仮想カメラと天球の位置関係の変更の一例を示す模式図である。

【図7】ある実施の形態に従う仮想カメラと天球の位置関係の変更の一例を示す模式図である。

【図8】ある実施の形態に従う仮想カメラの視野角の変更の一例を示す模式図である。

【図9】ある実施の形態に従う仮想空間と現実空間の関係の一例を示す模式図である。

【発明を実施するための形態】

【0011】

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

【0012】

以下では、ＨＭＤシステムを用いてユーザにパノラマ画像を提供する場合を例に挙げて説明をするが、本開示は、この例に限定されない。本開示は、ユーザにパノラマ画像を提供するシステムであれば特に制限なく適用することができる。また、以下では、ＶＲ空間においてユーザにパノラマ画像を提供する場合を例に挙げているが、本開示は、ＶＲだけではなく、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、ＳＲ（Substitutional Reality）等のいわゆるＸＲ技術全般に適用することができる。

【0013】

本明細書において、「パノラマ画像」とは、例えば、画像が投影された天球の内部に配置された仮想カメラに基づいてユーザに提示される提示画像のことをいう。「パノラマ画像」には、いわゆる３６０度画像、１８０度画像、全天周画像、及び半天周画像と呼ばれるものが含まれる。「パノラマ画像」は、３６０度や１８０度ではない所定の角度の範囲で展開される画像であってもよい。また、「パノラマ画像」は、動画であっても静止画であってもよい。

【0014】

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

【0015】

ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。

【0016】

ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。

【0017】

ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。また、ＨＭＤ１２０として、ＶＲグラス、スマートグラス、ＡＲグラス、ＭＲグラス、コンタクトレンズディスプレイ等を用いてもよい。

【0018】

モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

【0019】

別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

【0020】

ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

【0021】

ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。

【0022】

別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。

【0023】

別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。

【0024】

注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。

【0025】

第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。

【0026】

マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。

【0027】

コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

【0028】

ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。

【0029】

モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

【0030】

ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。

【0031】

サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。

【0032】

外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。

【0033】

［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。

【0034】

プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

【0035】

メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

【0036】

ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

【0037】

別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

【0038】

入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。

【0039】

ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

【0040】

通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。

【0041】

ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に画像を表示する。本実施形態において、プロセッサ２１０は、ストレージ２３０に記憶されているプログラム２３１を読み込みことで、生成部２１１、出力部２１２、取得部２１３、及び変更部２１４として機能しうる。これら各部の機能については、後の段落で詳述する。

【0042】

図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

【0043】

コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

【0044】

ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

【0045】

ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。

【0046】

ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。

【0047】

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。

【0048】

図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

【0049】

ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

【0050】

ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。

【0051】

ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。

【0052】

ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。

【0053】

［プロセッサの機能］
図２に示したように、本実施形態において、プロセッサ２１０は、プログラム２３１を読み込みことで、生成部２１１、出力部２１２、取得部２１３、及び変更部２１４として機能しうる。以下、これらの各機能について説明をする。

【0054】

生成部２１１は、画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザ５に提示する提示画像を生成する。仮想カメラの向き、仮想カメラと天球の位置関係、又は仮想カメラの視野角が変更されることに応じて、提示画像も変更されうる。提示画像の変更は、例えば、仮想カメラの向き等の変更に応じて、その時にＨＭＤ１２０に出力すべき画像をリアルタイムで描画して行う形式でもよい。また、提示画像の変更は、例えば、仮想カメラの視野外の画像についても予め描画しておき、仮想カメラの向き等の変更に応じて、その時にＨＭＤ１２０に出力する画像の範囲を変更する形式でもよい。天球に投影される画像は、例えば、サーバ６００、外部機器７００、又はストレージ２３０から取得したデータに基づいて生成されうる。なお、天球は、半径が無限遠に設定されているような大きなものではなく、所定の長さの半径を有するものである。

【0055】

出力部２１２は、生成部２１１が生成した提示画像を表示装置であるＨＭＤ１２０に出力する。提示画像が出力される表示装置は、ＨＭＤ１２０に限定されず、その他の表示装置であってもよい。表示装置に出力された提示画像は、パノラマ画像としてユーザ５に提供される。

【0056】

取得部２１３は、センサ部によって検出されるユーザ５の身体の少なくとも一部の動きに関する動作情報を取得する。センサ部は、ユーザ５の身体の少なくとも一部の動きを検出可能なものであれば特に限定はされない。センサ部は、例えば、注視センサ１４０、センサ１９０、ＨＭＤセンサ４１０及びモーションセンサ４２０のうちの１以上によって構成される。なお、ユーザ５の身体の少なくとも一部とは、例えば、ユーザ５の頭部、手、指、及び目のうちの１以上が挙げられるが、センサ部によって動きを把握できる部位であれば、特に限定はされない。

【0057】

動作情報は、例えば、所定の基準平面に対するユーザ５の身体の少なくとも一部の傾きに関する傾き情報を含んでもよい。所定の基準平面としては、例えば、ｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、及びロール軸（ｗ軸）のうちのいずれか２つの軸を含む平面が挙げられ、好ましくはピッチ軸（ｕ軸）及びロール軸（ｗ軸）を含む平面が挙げられるが、これに限定されない。また、動作情報は、例えば、上述の基準平面に平行な方向におけるユーザ５の身体の少なくとも一部の動きに関する第１動作情報を含んでもよい。

【0058】

変更部２１４は、取得部２１３が取得した動作情報に基づいて、仮想カメラと天球の位置関係又は仮想カメラの視野角を変更する。この変更によって、生成部２１１が生成する画像は拡大又は縮小される。変更部２１４は、例えば、上述の傾き情報及び第１動作情報のうちの１以上に基づいて、仮想カメラと天球の位置関係又は仮想カメラの視野角を変更する。

【0059】

ある局面において、変更部２１４は、天球内において仮想カメラの位置を移動させる。この場合、天球の半径を変更しないことが好ましいが、変更してもよい。また、ある局面において、変更部２１４は、天球の大きさ（半径）を変更する。この場合、仮想カメラの位置を変更しないことが好ましいが、変更してもよい。また、変更部２１４が仮想カメラの視野角を変更する場合、仮想カメラの位置及び天球の大きさを変更しないことが好ましいが、変更してもよい。なお、変更部２１４は、取得部２１３が取得した動作情報に基づいて仮想カメラの向きを変更しうる。

【0060】

変更部２１４による上記のような位置関係又は視野角の変更は、動作情報が所定の条件を満たした場合に実行されることが好ましい。所定の条件としては、例えば、ユーザ５の身体の少なくとも一部が、身体の少なくとも一部の周囲に設定された第１領域を超えて動くことが挙げられる。第１領域は、提示画像の拡大や縮小を意図していない小さな動作によって上記の変更がなされることを抑制する目的で設けられた領域である。第１領域の大きさは、上記目的を達成できる範囲であれば特に制限はされず、センサ部による動作検出の対象となる身体の部位に応じて適宜設定することができる。第１領域の大きさは、例えば、ユーザ５の年齢、性別、身長等に基づいて予め設定された値を持っていてもよいし、ユーザ５が任意に設定してもよい。ユーザ５の頭部の動きを検出対象とする場合、第１領域は、例えば、ユーザ５の頭部を中心とした半径５～１５０ｃｍの球状または円状の領域としてもよい。これはユーザが座った座位の姿勢をとる場合と立った姿勢をとる場合で範囲が異なるためである。座位の場合は上限を５０ｃｍ、立位の場合は上限を１５０ｃｍとすることが考えられる。また、ユーザがいる空間の規模に応じて範囲を設定することも可能である。

【0061】

また、所定の条件は、例えば、動きの変化量が所定の閾値以上であることとしてもよい。動きの変化量とは、例えば、ユーザ５の身体の少なくとも一部の単位時間当たりの移動量である。この条件も、提示画像の拡大や縮小を意図していない小さな動作によって上記の変更がなされることを抑制する目的で設定されるものである。したがって、所定の閾値の大きさは、上記目的を達成できる範囲であれば特に制限はされず、センサ部による動作検出の対象となる身体の部位に応じて適宜設定することができる。所定の閾値の大きさは、例えば、ユーザ５の年齢、性別、身長等に基づいて予め設定された値を持っていてもよいし、ユーザ５が任意に設定してもよい。ユーザ５の頭部の動きを検出対象とする場合、所定の閾値は、例えば、０．１～１秒当たり５～５０ｃｍの範囲としてもよい。また、動きの変化量に加えて又は代えて、動きの速度や加速度が所定の閾値以上であることを所定の条件としてもよい。

【0062】

また、所定の条件は、動作情報に含まれる傾き情報が示す傾きの大きさが所定の範囲内にあることとしてもよい。すなわち、傾き情報が示す傾きの大きさが所定の範囲外にある場合、上記のような位置関係又は視野角の変更を実行しないようにしてもよい。具体的には、変更部２１４は、傾き情報が示す傾きの大きさが所定の範囲内にある場合に、上述の基準平面に平行な方向におけるユーザ５の身体の少なくとも一部の動き（第１動作情報）に基づいて、上記の位置関係又は視野角を変更するように構成してもよい。この条件は、提示画像の拡大や縮小を意図していないと思われる動作中に上記の変更がなされることを抑制する目的で設定されるものである。提示画像の拡大や縮小を意図していないと思われる動作とは、例えば、ストレッチのために顔を真上や真下に向けるような動作などが挙げられる。所定の範囲は、上記目的を達成できる範囲であれば特に制限はされず、センサ部による動作検出の対象となる身体の部位に応じて適宜設定することができる。

【0063】

［動作処理］
次に、本実施形態に係るＨＭＤシステム１００による動作処理について説明をする。以下では、センサ部によってユーザ５の頭部の動きに関する動作情報を取得する場合を例に挙げるが、本開示は、この例に限定されるものではない。また、本明細書において説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同であり、並列的に実行されてもよい。

【0064】

図４は、ある実施の形態に従う動作処理の一例を示すフローチャートである。まず、ステップＳ１において、プロセッサ２１０は、仮想空間を生成する。仮想空間は、例えば、ストレージ２３０、サーバ６００、又は外部機器７００から取得したデータに基づいて生成される。仮想空間には、仮想カメラと、所定の長さの半径を有する天球が含まれる。仮想空間には、その他の仮想オブジェクトが含まれてもよい。

【0065】

ステップＳ２において、プロセッサ２１０は、天球に画像を投影する。ステップＳ３において、プロセッサ２１０は、画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザ５に提示する提示画像（パノラマ画像）を生成する。次に、ステップＳ４において、プロセッサ２１０は、ステップＳ３で生成した提示画像を表示装置であるＨＭＤ１２０へと出力する。

【0066】

ステップＳ５において、プロセッサ２１０は、センサ部によって検出されたユーザ５の頭部の動きに関する動作情報を取得する。ステップＳ５は、所定の時間間隔で繰り返し実行されうる。ステップＳ５で取得した動作情報が所定の条件を満たさない場合（ステップＳ６においてＮｏ）、後述のステップＳ７の処理は実行されない。ステップＳ５における所定の条件は、上述した各条件のうちの１以上とすることが好ましい。

【0067】

ステップＳ５で取得した動作情報が所定の条件を満たす場合（ステップＳ６においてＹｅｓ）、ステップＳ７において、プロセッサ２１０は、その動作情報に基づいて、仮想カメラと天球の位置関係又は仮想カメラの視野角を変更し、終了する。ステップＳ７の処理によって、提示画像は、拡大又は縮小される。

【0068】

以下、図５から図９を用いて、図４のフローチャートに示されるいくつかの処理に関してより具体的に説明をする。図５は、ある実施の形態に従う提示画像５００の拡大及び縮小の一例を示す模式図である。図５の提示画像５００は、図４のステップＳ４にてＨＭＤ１２０へ出力される画像である。図５の例において、提示画像５００には、キャラクタ５０１及びオブジェクト５０２が含まれている。提示画像５００Ａ及び５００Ｂは、提示画像５００が拡大又は縮小されたものである。

【0069】

提示画像５００Ａは、ステップＳ５で取得した動作情報Ａに基づいてステップＳ７の処理を実行した結果、提示画像５００が拡大されたものである。提示画像５００Ａにおけるキャラクタ５０１及びオブジェクト５０２は、提示画像５００におけるキャラクタ５０１及びオブジェクト５０２よりも拡大されている。また、拡大された結果、天球に投影された画像のうちで提示画像５００Ａに含まれる範囲は、提示画像５００よりも狭くなっている。なお、動作情報Ａは、特に制限はされないが、例えば、ユーザ５が頭部を現在の視線方向側（以下、「前方側」とも称する）に動かしたことを示す情報を含むものである。

【0070】

提示画像５００Ｂは、ステップＳ５で取得した動作情報Ｂに基づいてステップＳ７の処理を実行した結果、提示画像５００が縮小されたものである。提示画像５００Ｂにおけるキャラクタ５０１及びオブジェクト５０２は、提示画像５００におけるキャラクタ５０１及びオブジェクト５０２よりも縮小されている。また、縮小された結果、天球に投影された画像のうちで提示画像５００Ｂに含まれる範囲は提示画像５００よりも広くなっており、提示画像５００Ｂには、提示画像５００には含まれていなかったオブジェクト５０３が含まれている。なお、動作情報Ｂは、特に制限はされないが、例えば、ユーザ５が頭部を現在の視線方向とは反対側（以下、「後方側」とも称する）に動かしたことを示す情報を含むものである。

【0071】

図６から図８は、図４のステップＳ７の処理に関連する。図６は、ある実施の形態に従う仮想カメラ６０２と天球６０１の位置関係の変更の一例を示す模式図である。具体的には、図６は、ステップＳ７において天球６０１内の仮想カメラ６０２の位置を移動させることによって、提示画像５００を拡大又は縮小する場合の例である。なお、図６の例では、天球６０１の半径ｒ１及び仮想カメラ６０２の視野角θ１は変更していないが、動作情報又はユーザ５によるその他の操作入力に応じて、半径ｒ１及び視野角θ１のうちの少なくとも一方を変更するように構成してもよい。

【0072】

図６に示す状態６１０は、ステップＳ４における天球６０１及び仮想カメラ６０２との位置関係の一例を示している。状態６１０において、仮想カメラ６０２は、天球６０１の中心である位置Ｐ１に配置されている。状態６１０においてＨＭＤ１２０に出力される画像は、例えば、図５に示す提示画像５００である。

【0073】

状態６１０Ａは、状態６１０のときに取得した動作情報Ａに基づいて、ステップＳ７の処理を実行した後の状態である。状態６１０Ａにおいて、仮想カメラ６０２は、位置Ｐ２に位置している。位置Ｐ２は、位置Ｐ１よりも前方側にある。すなわち、ステップＳ７において、仮想カメラ６０２を前方側へ移動させ、天球６０１との位置関係を変更したことになる。言い換えると、前方側において、仮想カメラ６０２と天球６０１との距離を近づけたことになる。よって、状態６１０ＡにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を拡大したものとなり、例えば、図５に示す提示画像５００Ａとなる。

【0074】

状態６１０Ｂは、状態６１０のときに取得した動作情報Ｂに基づいて、ステップＳ７の処理を実行した後の状態である。状態６１０Ｂにおいて、仮想カメラ６０２は、位置Ｐ３に位置している。位置Ｐ３は、位置Ｐ１よりも後方側にある。すなわち、ステップＳ７において、仮想カメラ６０２を後方側へ移動させ、天球６０１との位置関係を変更したことになる。言い換えると、前方側において、仮想カメラ６０２と天球６０１との距離を遠ざけたことになる。よって、状態６１０ＢにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を縮小したものとなり、例えば、図５に示す提示画像５００Ｂとなる。

【0075】

図７は、ある実施の形態に従う仮想カメラ６０２と天球６０１の位置関係の変更の一例を示す模式図である。具体的には、図７は、ステップＳ７において天球６０１の半径ｒ１の大きさを変更することによって、提示画像５００を拡大又は縮小する場合の例である。なお、図７の例では、仮想カメラ６０２の位置Ｐ１及び視野角θ１は変更していないが、動作情報又はユーザ５によるその他の操作入力に応じて、位置Ｐ１及び視野角θ１のうちの少なくとも一方を変更するように構成してもよい。

【0076】

図７に示す状態６１０は、図６に示す状態６１０と同様であるため説明を省略する。状態７１０Ａは、状態６１０のときに取得した動作情報Ａに基づいて、ステップＳ７の処理を実行した後の状態である。状態７１０Ａにおける天球６０１Ａは、天球６０１の半径ｒ１よりも小さい半径ｒ２を有する。すなわち、ステップＳ７において、天球６０１を小さくして天球６０１Ａにする処理がなされている。その結果、前方側において、仮想カメラ６０２と天球６０１Ａとの距離は、仮想カメラ６０２と天球６０１との距離よりも短くなっている。よって、状態７１０ＡにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を拡大したものとなり、例えば、図５に示す提示画像５００Ａとなる。

【0077】

状態７１０Ｂは、状態６１０のときに取得した動作情報Ｂに基づいて、ステップＳ７の処理を実行した後の状態である。状態７１０Ｂにおける天球６０１Ｂは、天球６０１の半径ｒ１よりも大きい半径ｒ３を有する。すなわち、ステップＳ７において、天球６０１を大きくして天球６０１Ｂにする処理がなされている。その結果、前方側において、仮想カメラ６０２と天球６０１Ｂとの距離は、仮想カメラ６０２と天球６０１との距離よりも長くなっている。よって、状態７１０ＢにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を縮小したものとなり、例えば、図５に示す提示画像５００Ｂとなる。

【0078】

図８は、ある実施の形態に従う仮想カメラと天球の位置関係の変更の一例を示す模式図である。具体的には、図８は、ステップＳ７において仮想カメラ６０２の視野角θ１の大きさを変更することによって、提示画像５００を拡大又は縮小する場合の例である。なお、図８の例では、天球６０１の半径ｒ１及び仮想カメラ６０２の位置Ｐ１は変更していないが、動作情報又はユーザ５によるその他の操作入力に応じて、半径ｒ１及び位置Ｐ１のうちの少なくとも一方を変更するように構成してもよい。

【0079】

図８に示す状態６１０は、図６に示す状態６１０と同様であるため説明を省略する。状態８１０Ａは、状態６１０のときに取得した動作情報Ａに基づいて、ステップＳ７の処理を実行した後の状態である。状態８１０Ａにおける仮想カメラ６０２の視野角θ２は、状態６１０における仮想カメラ６０２の視野角θ１よりも小さい。すなわち、ステップＳ７において、仮想カメラ６０２の視野角が視野角θ１より小さくなるように変更する処理がなされている。その結果、仮想カメラ６０２の視野に含まれる天球６０１の範囲は狭くなり、その狭い範囲が拡大されてユーザ５に提供される。すなわち、状態８１０ＡにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を拡大したものとなり、例えば、図５に示す提示画像５００Ａとなる。

【0080】

状態８１０Ｂは、状態６１０のときに取得した動作情報Ｂに基づいて、ステップＳ７の処理を実行した後の状態である。状態８１０Ｂにおける仮想カメラ６０２の視野角θ３は、状態６１０における仮想カメラ６０２の視野角θ１よりも大きい。すなわち、ステップＳ７において、仮想カメラ６０２の視野角が視野角θ１より大きくなるように変更する処理がなされている。その結果、仮想カメラ６０２の視野に含まれる天球６０１の範囲は広くなり、その広い範囲が縮小されてユーザ５に提供される。すなわち、状態８１０ＢにおいてＨＭＤ１２０に出力される画像は、状態６１０において出力される画像を縮小したものとなり、例えば、図５に示す提示画像５００Ｂとなる。

【0081】

図９は、図４のステップＳ５からステップＳ７の処理に関連する。図９は、ある実施の形態に従う仮想空間９０１Ａと現実空間９０１Ｂの関係の一例を示す模式図である。図９の例では、仮想カメラ６０２は位置Ｐ１に存在しており、ユーザ５は位置Ｑ１に存在している。センサ部は、例えば、現実空間９０１Ｂにおけるユーザ５の頭部の動きを検出し、動作情報としてコンピュータ２００に送信する。プロセッサ２１０は、動作情報が所定の条件を満たした場合に、例えば、仮想空間９０１Ａにおける仮想カメラ６０２の位置及び視野角、並びに天球６０１の半径ｒ１のうちの１以上を変更する。

【0082】

現実空間９０１Ｂにおいて、ユーザ５の頭部の位置（図９では位置Ｑ１）の周囲に境界線９０４が設定されている。境界線９０４の内部は、第１領域として設定されている。仮想空間９０１Ａにおける境界線６０４は、境界線９０４に対応する。ユーザ５の頭部の位置が境界線９０４を超えて動いた場合、ステップＳ６において所定の条件を満たすと判定され、例えば、仮想カメラ６０２が境界線６０４を超えて動く等、上述したようなステップＳ７の処理が実行される。一方で、ユーザ５の頭部の位置が境界線９０４を超えて動かない場合、ステップＳ６において所定の条件を満たすとは判定されず、例えば、仮想カメラ６０２の位置の変更等はなされない。

【0083】

なお、図９の例において、境界線９０４は、例えば、ユーザ５の頭部の位置を中心とする、半径Ｒ５の球体の外縁である。境界線９０４は、例えば、基準平面上にある半径Ｒ５の円の外縁としてしてもよい。境界線９０４は、例えば、その位置をリセットするための操作がユーザ５によってなされるまでは同じ位置であってもよい。また、境界線９０４は、例えば、所定の時間間隔又はユーザ５の頭部の動きが停止する等のタイミングで、そのときのユーザ５の頭部の位置を中心として設定されてもよい。境界線６０４は、例えば、仮想カメラ６０２の位置を中心とする、半径ｒ５の球体又は円の外縁である。境界線６０４の位置は、境界線９０４に応じて変更される。

【0084】

また、仮想空間９０１Ａには、境界線６０３が設定されている。境界線６０３は、例えば、天球６０１の内縁よりも内側に設けられ、中心が位置Ｐ１であり、半径ｒ４（＜ｒ１）の球体の外縁である。境界線６０３の内側の領域は、仮想カメラ６０２が移動可能な移動可能領域として設定されている。仮想空間９０１Ａにおける境界線９０３は、境界線６０３に対応するものであるが、ユーザ５が境界線９０３を超えて動いたとしても、仮想カメラ６０２が境界線６０３の外側へ移動することはない。なお、境界線６０３の半径ｒ４と境界線９０３の半径Ｒ４との比（ｒ４／Ｒ４）は、ユーザ５が動いた距離に対して仮想カメラ６０２がどれだけ動くかを示す尺度となる。半径ｒ４と半径Ｒ４の比は、特に制限されず、投影する画像の種類やユーザの選択等に応じて適宜設定可能である。

【0085】

ここで、ステップＳ７が天球６０１の半径ｒ１を変更する処理を含む場合は、半径ｒ１の最小値及び最大値が設定されていることが好ましい。すなわち、例えば、ユーザ５が前方側へ進むほど天球６０１の半径ｒ１が小さくなるように設定されている場合であっても、半径ｒ１が最小値に達した後は、ユーザ５がそれ以上前方側へ進んだとしても半径の変更はなされないことが好ましい。同様に、例えば、後方側へ進むほど天球６０１の半径ｒ１が大きくなるように設定されている場合であっても、半径ｒ１が最大値に達した後は、ユーザ５がそれ以上後方側へ進んだとしても半径の変更はなされないことが好ましい。半径ｒ１の最小値及び最大値は、特に制限されず、投影する画像の種類やユーザの選択等に応じて適宜設定可能である。

【0086】

同様に、ステップＳ７が仮想カメラ６０２の視野角θ１を変更する処理を含む場合は、視野角θ１の最小値及び最大値が設定されていることが好ましい。すなわち、例えば、ユーザ５が前方側へ進むほど視野角θ１が小さくなるように設定されている場合であっても、視野角θ１が最小値に達した後は、ユーザ５がそれ以上前方側へ進んだとしても視野角の変更はなされないことが好ましい。同様に、例えば、後方側へ進むほど天球６０１の視野角θ１が大きくなるように設定されている場合であっても、視野角θ１が最大値に達した後は、ユーザ５がそれ以上後方側へ進んだとしても視野角の変更はなされないことが好ましい。視野角θ１の最小値及び最大値は、特に制限されず、投影する画像の種類やユーザの選択等に応じて適宜設定可能である。

【0087】

上記の実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【0088】

［付記事項］
本開示の内容を列記すると以下の通りである。

【0089】

（項目１）
プロセッサを備えたコンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、
前記提示画像を表示装置に出力するステップと、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更するステップと、を実行させる、
プログラム。
これにより、パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させる。具体的には、ユーザは、身体の少なくとも一部を動かすことによって、パノラマ画像を拡大又は縮小して見ることが可能になる。また、これらにより、新たなユーザ体験を提供することが可能になる。

【0090】

（項目２）
前記変更するステップは、前記天球内において前記仮想カメラの位置を移動させることを含む、
項目１に記載のプログラム。
これにより、ユーザの動作に応じて仮想カメラの位置が動くことになるため、ユーザは、パノラマ画像の拡大又は縮小を直感的に行うことが可能になる。

【0091】

（項目３）
前記天球の内縁よりも内側に、前記仮想カメラが移動可能な移動可能領域が設定されている、
項目２に記載のプログラム。
これにより、仮想カメラが天球を超えて動くことを防止し、ユーザにとってパノラマ画像が見えなくなる又は拡大されすぎて見えにくいといった事態が生じることが抑制できる。

【0092】

（項目４）
前記変更するステップは、前記天球の大きさを変更することを含む、
項目１に記載のプログラム。
これにより、ユーザの動作に応じて天球の大きさが変わることになるため、ユーザは、パノラマ画像の拡大又は縮小を直感的に行うことが可能になる。

【0093】

（項目５）
前記変更するステップは、前記身体の少なくとも一部が、前記身体の少なくとも一部の周囲に設定された第１領域を超えて動いた場合に実行される、
項目１から項目４のいずれか一項に記載のプログラム。
これにより、パノラマ画像の拡大や縮小を意図していない小さな動作によって拡大や縮小がなされることを抑制でき、結果として、さらにユーザビリティを向上することができる。

【0094】

（項目６）
前記変更するステップは、前記動きの変化量が所定の閾値以上である場合に実行される、
項目１から項目４のいずれか一項に記載のプログラム。
これにより、パノラマ画像の拡大や縮小を意図していない小さな動作によって拡大や縮小がなされることを抑制でき、結果として、さらにユーザビリティを向上することができる。

【0095】

（項目７）
前記動作情報は、所定の基準平面に対する前記ユーザの身体の少なくとも一部の傾きに関する傾き情報を含み、
前記変更するステップは、前記基準平面に平行な方向における前記動きに基づいて、前記位置関係又は前記視野角を変更することを含み、
前記変更するステップは、前記傾きの大きさが所定の範囲外にある場合には実行されない、
項目１から項目６のいずれか一項に記載のプログラム。
これにより、パノラマ画像の拡大や縮小を意図していないと思われる動作によって拡大や縮小がなされることを抑制でき、結果として、さらにユーザビリティを向上することができる。

【0096】

（項目８）
前記表示装置は、ヘッドマウントデバイスであり、
前記検出するステップは、前記ユーザの頭部の動きを前記センサ部によって検出することを含む、
項目１から項目７のいずれか一項に記載のプログラム。
この態様は、本開示の好ましい適用例である。

【0097】

（項目９）
プロセッサを備えたコンピュータにおいて実行される情報処理方法であって、
前記情報処理方法は、前記プロセッサに、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成するステップと、
前記提示画像を表示装置に出力するステップと、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得するステップと、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更するステップと、を実行させることを含む、
情報処理方法。
これにより、パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させる。具体的には、ユーザは、身体の少なくとも一部を動かすことによって、提示画像を拡大又は縮小して見ることが可能になる。また、これらにより、新たなユーザ体験を提供することが可能になる。

【0098】

（項目１０）
プロセッサを備えた情報処理装置であって、
前記プロセッサは、
画像が投影された天球の内部に配置された仮想カメラに基づいて、ユーザに提示する提示画像を生成し、
前記提示画像を表示装置に出力し、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得し、
前記動作情報に基づいて、前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更する、
情報処理装置。
これにより、パノラマ画像をユーザに提供する場合において、ユーザビリティを向上させる。具体的には、ユーザは、身体の少なくとも一部を動かすことによって、提示画像を拡大又は縮小して見ることが可能になる。また、これらにより、新たなユーザ体験を提供することが可能になる。

【符号の説明】

【0099】

１００：ＨＭＤシステム
１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ：ＨＭＤセット
１２０：ＨＭＤ
２００：コンピュータ
２１０：プロセッサ
２２０：メモリ
２３０：ストレージ
６００：サーバ
７００：外部機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-01-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータを、
画像が投影された天球内の仮想カメラに基づいて、ユーザに提示する提示画像を生成する生成手段と、
前記提示画像を出力する出力手段と、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得する取得手段と、
前記動作情報に基づいて、前記ユーザに提示される前記提示画像の拡大又は縮小を制御する制御手段、として機能させる、
プログラム。

【請求項2】

前記制御手段は、前記動作情報に基づいて前記仮想カメラと前記天球の位置関係又は前記仮想カメラの視野角を変更することで、前記ユーザに提示される前記提示画像の拡大又は縮小を制御する、請求項１に記載のプログラム。

【請求項3】

前記制御手段は、前記天球内において前記仮想カメラの位置を移動させる、
請求項１に記載のプログラム。

【請求項4】

前記天球の内縁よりも内側に、前記仮想カメラが移動可能な移動可能領域が設定されている、
請求項３に記載のプログラム。

【請求項5】

前記制御手段は、前記天球の大きさを変更する、
請求項１に記載のプログラム。

【請求項6】

前記制御手段は、前記身体の少なくとも一部が、前記身体の少なくとも一部の周囲に設定された第１領域を超えて動いた場合に前記提示画像の拡大又は縮小を制御する、
請求項１から請求項５のいずれか一項に記載のプログラム。

【請求項7】

前記制御手段は、前記動きの変化量が所定の閾値以上である場合に前記提示画像の拡大又は縮小を制御する、
請求項１から請求項５のいずれか一項に記載のプログラム。

【請求項8】

前記動作情報は、所定の基準平面に対する前記ユーザの身体の少なくとも一部の傾きに関する傾き情報を含み、
前記制御手段は、前記基準平面に平行な方向における前記動きに基づいて、前記提示画像の拡大又は縮小を制御し、
前記制御手段は、前記傾きの大きさが所定の範囲外にある場合には前記提示画像の拡大又は縮小を制御しない、
請求項１から請求項７のいずれか一項に記載のプログラム。

【請求項9】

前記出力手段は、前記提示画像を表示装置に出力し、
前記表示装置は、ヘッドマウントデバイスであり、
前記センサ部は、前記ユーザの頭部の動きを検出可能である、
請求項１から請求項８のいずれか一項に記載のプログラム。

【請求項10】

プロセッサを備えた情報処理装置であって、
前記プロセッサは、
画像が投影された天球内の仮想カメラに基づいて、ユーザに提示する提示画像を生成し、
前記提示画像を出力し、
センサ部によって検出される前記ユーザの身体の少なくとも一部の動きに関する動作情報を取得し、
前記動作情報に基づいて、前記ユーザに提示される前記提示画像の拡大又は縮小を制御する、
情報処理装置。