特開 2023-99046 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023099046

(43)【公開日】2023-07-11

(54)【発明の名称】ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20230704BHJP

   G06F 3/01 20060101ALI20230704BHJP

   G06T 19/00 20110101ALI20230704BHJP

【ＦＩ】

G06F3/04815

G06F3/01 510

G06T19/00 600

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023069361

(22)【出願日】2023-04-20

(62)【分割の表示】P 2021503345の分割

【原出願日】2019-03-06

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】高見澤 尚久

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】岡田 義憲

(57)【要約】

【課題】仮想現実あるいは拡張現実により表示される仮想オブジェクトの存在位置などを容易に把握する。
【解決手段】ヘッドマウント情報処理装置１００において、仮想オブジェクト生成処理部１２２は、仮想オブジェクトを生成する。入力操作部１２１は、情報を設定および入力する。カメラ部１１１は、現実空間を撮像する。表示部１３０は、カメラ部１１１が撮像する実写画像および仮想オブジェクト生成処理部１２２が生成する仮想オブジェクトを表示する。制御部１２５は、仮想オブジェクト生成処理部１２２および表示部１３０を制御する。制御部１２５は、入力操作部１２１からの入力に基づいて仮想オブジェクト生成処理部１２２が生成した視野範囲外に配置された仮想オブジェクトを表示部１３０に一覧表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部からの入力に基づいて前記仮想オブジェクト生成処理部が生成した視野範囲外に配置された仮想オブジェクトを前記表示部に一覧表示させる、
ヘッドマウント情報処理装置。

【請求項2】

請求項１に記載のヘッドマウント情報処理装置において、
前記制御部は、前記視野範囲外に配置された仮想オブジェクトを位置情報を伴って前記表示部に一覧表示させる、
ヘッドマウント情報処理装置。

【請求項3】

請求項１に記載のヘッドマウント情報処理装置において、
前記表示部に表示される前記仮想オブジェクトを変形させる変形操作を行う仮想オブジェクト変形操作処理部を有し、
前記制御部は、前記表示部に前記一覧表示された仮想オブジェクトを前記仮想オブジェクト変形操作処理部が変形操作するように制御する、
ヘッドマウント情報処理装置。

【請求項4】

請求項３に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクト変形操作処理部が前記仮想オブジェクトの変形操作を行う際に、変形操作を行う前記仮想オブジェクトを前記表示部の予め設定されている位置に移動して表示させる、
ヘッドマウント情報処理装置。

【請求項5】

請求項１に記載のヘッドマウント情報処理装置において、
前記表示部に表示される前記仮想オブジェクトの姿勢を操作する仮想オブジェクト姿勢操作処理部を有し、
前記制御部は、前記表示部の表示視野画面に前記仮想オブジェクトを一覧表示した際に前記仮想オブジェクト姿勢操作処理部が前記仮想オブジェクトの姿勢を操作するように制御する、
ヘッドマウント情報処理装置。

【請求項6】

請求項１に記載のヘッドマウント情報処理装置において、
前記カメラ部は、全天球の画像を撮影する全天球カメラであり、
前記制御部は、前記表示部に前記仮想オブジェクトを一覧表示する際に、前記表示部に前記カメラ部が撮像した全天球画像を表示させる、
ヘッドマウント情報処理装置。

【請求項7】

請求項６に記載のヘッドマウント情報処理装置において、
前記制御部は、前記入力操作部の操作により仮想オブジェクトが選択された際に、選択された前記仮想オブジェクトを拡大して前記表示部の予め設定した位置に移動して表示させる、
ヘッドマウント情報処理装置。

【請求項8】

請求項５に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクト姿勢操作処理部が仮想オブジェクトの姿勢操作を行う際に、姿勢操作を行う仮想オブジェクトを前記表示部の予め設定された位置に移動させて姿勢操作を行い、姿勢操作された前記仮想オブジェクトを前記一覧表示の元の表示位置に戻す、
ヘッドマウント情報処理装置。

【請求項9】

請求項１に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクトのリスト表示を一覧表示画面の表示領域と異なる表示領域に表示させる、
ヘッドマウント情報処理装置。

【請求項10】

請求項１に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクトのリスト表示を一覧表示画面に重畳するように前記表示部に表示させる、
ヘッドマウント情報処理装置。

【請求項11】

請求項１に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクトを小型化したミニチュアおよび前記ミニチュアを表示する領域であるミニチュア表示領域をそれぞれ生成し、前記ミニチュアを前記ミニチュア表示領域内に収めて前記表示部に表示させる、
ヘッドマウント情報処理装置。

【請求項12】

請求項１１に記載のヘッドマウント情報処理装置において、
前記ミニチュア表示領域は、球体形状である、
ヘッドマウント情報処理装置。

【請求項13】

請求項１１に記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクトと前記ミニチュア表示領域に収めて表示される前記仮想オブジェクトに対応する同じ形状の前記ミニチュアとを繋ぐ仮想ラインを生成して前記表示部に表示させる、
ヘッドマウント情報処理装置。

【請求項14】

通信ネットワークに接続され、現実空間物体や仮想オブジェクトを表示するヘッドマウント情報処理装置と、
前記通信ネットワークに接続される仮想オブジェクト生成サーバ装置と、
を有し、
前記ヘッドマウント情報処理装置は、
情報を設定および入力する入力操作部と、
前記仮想オブジェクトを表示する表示部と、
前記表示部を制御する制御部と、
を備え、
前記仮想オブジェクト生成サーバ装置は、
前記仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を前記通信ネットワークに送受信する通信部と、
を備え、
前記仮想オブジェクト生成処理部は、前記入力操作部からの入力に基づいて、視野範囲外に配置された仮想オブジェクトを生成し、
前記通信部は、前記仮想オブジェクト生成処理部が生成する前記仮想オブジェクトを前記通信ネットワークに送信し、
前記制御部は、前記通信ネットワークを経由して送信された前記視野範囲外に配置された仮想オブジェクトを前記表示部に一覧表示させる、
ヘッドマウントディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステムに関し、特に、仮想オブジェクトにおける位置の把握に有効な技術に関する。

【背景技術】

【0002】

近年、仮想現実（Virtual Reality：ＶＲ）技術や拡張現実（Augmented Reality：ＡＲ）技術などが、ゲームや各種シミュレーションに利用されている。仮想現実は、現実に似せた仮想世界を作り出し、あたかもそこにいるような感覚を体験する技術である。拡張現実は、現実世界にデジタル情報を付与してＣＧ（Computer Graphics）などで作った仮想空間（仮想オブジェクト）を現実世界に反映し拡張していく技術である。

【0003】

これらの技術を具現化するツールとしては、表示部やカメラ部などを頭部に装着するヘッドマウント情報処理装置が広く用いられている。この種のヘッドマウント情報処理装置は、構造上表示範囲に制約があり、視野範囲が狭いという問題があった。

【0004】

この問題を解決する技術としては、例えば仮想空間内における視野を適切に拡大させた広視野画像を生成することにより、視野が広くなり、視野外となっていた仮想オブジェクトなども適切に表示するものがある（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９－２４４９３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の技術では、前述したように仮想空間における視野を拡大させて広範囲にある仮想オブジェクトを表示することが記載されている。しかしながら、拡張現実（ＡＲ）空間で現実の物体、または現実世界を現わす実写物体や仮想現実（ＶＲ）空間の他の仮想物体の裏側に仮想オブジェクトが配置されている場合には、幾ら視野を広げても仮想オブジェクトの存在自体を視認できないという問題がある。

【0007】

本発明の目的は、仮想現実あるいは拡張現実により表示される仮想オブジェクトの存在位置などを容易に把握することができる技術を提供することにある。

【0008】

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0009】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

【0010】

すなわち、代表的なヘッドマウント情報処理装置は、仮想オブジェクト生成処理部、入力操作部、カメラ部、表示部、および制御部を有する。前記仮想オブジェクト生成処理部は、前記仮想オブジェクトを生成する。入力操作部は、情報を設定および入力する。

【0011】

カメラ部は、現実空間を撮像する。表示部は、カメラ部が撮像する実写画像および仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する。制御部は、仮想オブジェクト生成処理部および表示部を制御する。

【0012】

制御部は、前記入力操作部からの入力に基づいて前記仮想オブジェクト生成処理部が生成した視野範囲外に配置された仮想オブジェクトを前記表示部に一覧表示させる。

【発明の効果】

【0013】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0014】

仮想オブジェクトの配置場所などを的確に視認することができるので、利便性を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１によるヘッドマウント情報処理装置における構成の一例を示すブロック図である。

【図2】図１のヘッドマウント情報処理装置が有する表示部によるユーザ視界の一例を示す説明図である。

【図3】図１のヘッドマウント情報処理装置における使用状況の周囲全景例を模式的に示した説明図である。

【図4】図３に示した全景例における実風景の一例を示す説明図である。

【図5】図１のヘッドマウント情報処理装置による表示画面の一例を示す説明図である。

【図6】図５の点線部分を表示しない場合の表示例を示した説明図である。

【図7】図１のヘッドマウント情報処理装置による実写物体の背景画像の表示例を示す説明図である。

【図8】図１のヘッドマウント情報処理装置による表示画面の他例を示す説明図である。

【図9】図１のヘッドマウント情報処理装置における仮想オブジェクトの姿勢操作による表示画面の一例を示す説明図である。

【図10】図９に続く姿勢操作後の仮想オブジェクトの表示の一例を示す説明図である。

【図11】図９に続く姿勢操作後の仮想オブジェクトの表示の他の例を示す説明図である。

【図12】図１のヘッドマウント情報処理装置による姿勢操作後の仮想オブジェクトを全天球表示画面の枠外に表示する例を示す説明図である。

【図13】図１のヘッドマウント情報処理装置による姿勢操作後の仮想オブジェクトを全天球表示画面内に重ねて表示する例を示す説明図である。

【図14】図１のヘッドマウント情報処理装置による仮想の小型物体の配置例を模式的に示した説明図である。

【図15】図１４に示した配置例による表示視野画面の一例を示す説明図である。

【図16】図１のヘッドマウント情報処理装置による小型物体の表示の一例を示す説明図である。

【図17】図１のヘッドマウント情報処理装置による表示部における表示視野画面の一例を示す説明図である。

【図18】図１のヘッドマウント情報処理装置による表示部における表示視野画面の他の例を示す説明図である。

【図19】図１のヘッドマウント情報処理装置による全天球画像を背景として表示した際の表示画面の一例を示す説明図である。

【図20】実施の形態２によるヘッドマウントディスプレイシステムにおける構成の一例を示すブロック図である。

【発明を実施するための形態】

【0016】

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0017】

（実施の形態１）
以下、実施の形態を詳細に説明する。

【0018】

〈ヘッドマウント情報処理装置の構成例〉
図１は、本実施の形態１によるヘッドマウント情報処理装置１００における構成の一例を示すブロック図である。

【0019】

ヘッドマウント情報処理装置１００は、図１に示すように、カメラ部１１１、右目視線検出部１１２、左目視線検出部１１３、加速度センサ部１１４、ジャイロセンサ部１１５、地磁気センサ部１１６、振動発生部１１７、外周音マイク１１８、発声音マイク１１９、ヘッドフォン１２０、入力操作部１２１、仮想オブジェクト生成処理部１２２、仮想オブジェクト姿勢操作処理部１２３、仮想オブジェクト変形操作処理部１２４、制御部１２５、メモリ部１２８、表示部１３０、深度センサ部１３１、刺激発生部１３２などから構成されている。これら各機能ブロックは、バス１４０を介して相互に接続されている。

【0020】

カメラ部１１１は、ヘッドマウント情報処理装置１００に設置されており、ユーザ周辺の風景などを撮影する。カメラ部１１１は複数のカメラであってもよいし、あるいは１台または複数のカメラを組み合わせることによって全天球の画像を撮影できる３６０度全天球カメラであってもよい。

【0021】

仮想オブジェクト生成処理部１２２は、現実空間とは異なる仮想空間の物体である仮想オブジェクトを生成する。例えば、仮想オブジェクト生成処理部１２２は、メモリ部１２８に記憶された仮想オブジェクトの雛形データを仮想オブジェクト生成処理部１２２が読み込み、入力操作部１２１を用いたユーザ操作に従い、仮想オブジェクトデータを生成し、表示部１３０に表示すると共に、メモリ部１２８に記憶する。

【0022】

仮想オブジェクトの雛形データは必ずしも必要ではなく、ユーザ操作により雛形なしで直接仮想オブジェクトデータを生成してもよい。例えば、入力操作部１２１を用いたユーザ操作により、実空間上に仮想オブジェクトの各頂点となる８点を指定することで、直方体の仮想オブジェクトを生成することが可能である。

【0023】

ここでは、後述する図４に示す現実空間の風景に重ねて仮想オブジェクトを表示する通常表示に加えて、全ての仮想オブジェクトを視野内で一覧できる一覧表示モードを設ける。

【0024】

さらに、この一覧表示モードは、オリジナルモードと加工モードとに分けられる。オリジナルモードは、後述する図１９に示すように、仮想オブジェクトが通常表示で視認できる態様であり、仮想オブジェクトを一覧視野内に収めて表示するモードである。一方、加工モードは、通常表示で視認できる表示態様を離れて、一覧表示において仮想オブジェクトが見やすくなるように表示態様を調整したものである。

【0025】

仮想オブジェクト姿勢操作処理部１２３は、一覧表示時に仮想オブジェクトの姿勢情報を変更し、仮想オブジェクトが一覧表示（加工モード）において視認しやすい姿勢になるように操作する。仮想オブジェクト変形操作処理部１２４は、一覧表示（加工モード）時に加えて元の仮想オブジェクトの表示（通常表示）にも姿勢の変更が反映されるように姿勢情報を変更する。

【0026】

仮想オブジェクト姿勢操作処理部１２３は、表示部１３０に表示された仮想オブジェクトを回転させたり拡大や縮小させたりして、視認しやすい形状の姿勢になるように仮想オブジェクトの姿勢を操作する。仮想オブジェクト姿勢操作処理部１２３による姿勢操作結果は、一覧表示（加工モード）時のみ有効であり、元のオブジェクトの姿勢、形状、および向きなどには影響を与えない。

【0027】

仮想オブジェクト変形操作処理部１２４は、表示部１３０に表示された仮想オブジェクトに対して変形操作を行う。この変形操作は、例えば仮想オブジェクトの向きを変える、大きさを変える、形状を変える、一部分を削除する、あるいは全部を削除する、などである。

【0028】

変形操作の結果は、一覧表示（加工モード）の表示に反映されると共に、元の仮想オブジェクトの姿勢、形状、向きなどにも反映される。

【0029】

制御部１２５は、例えばＣＰＵ（Central Processing Unit）などからなる。制御部１２５は、ＯＳ（Operating System）や動作制御用アプリケーションなどのプログラム１２６を実行することによって、各機能ブロックを制御し、ヘッドマウント情報処理装置１００全体の動作を制御する。

【0030】

制御部１２５では、入力操作部１２１にて入力された仮想オブジェクト表示を指示する仮想オブジェクト表示指示情報に応じて、仮想オブジェクト生成処理部１２２にて生成される各仮想オブジェクトを表示部１３０の表示視野内に収めて配置して表示する制御を行う。

【0031】

この制御例としては、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像を表示部１３０の表示視野画面上に投影して反映し、仮想オブジェクトが実際に存在している全天球画像上の位置に仮想オブジェクトを配置して表示する。

【0032】

また、他の制御例としては、表示視野画面内に小型物体、例えば透明な小型の球形などを配置して表示し、小型物体上には仮想オブジェクトのミニチュア（小型模型）を配置して表示する。ミニチュアの配置位置としては、仮想オブジェクトが実際に存在する位置を小型物体上に反映させた位置にすればよい。

【0033】

また、制御部１２５は、表示視野内に配置された視認しにくい仮想オブジェクトに対しては、仮想オブジェクト姿勢操作処理部１２３にて仮想オブジェクトの全体形状が視認しやすいように姿勢を操作された状態で仮想オブジェクトを表示させるように制御する。制御部１２５は、バス１４０にて接続されている各センサ、検出部などの機能ブロックからの入力情報も使用して表示映像を生成する。

【0034】

メモリ部１２８は、フラッシュメモリなどに例示される不揮発性半導体メモリからなり、前述した各種のプログラム１２６、および仮想オブジェクトや実写画像などの情報データ１２７などを記憶する。

【0035】

表示部１３０は、例えば液晶パネルなどにより構成されている。表示部１３０は、現実空間の実写画像や仮想オブジェクトを表示する。また、ユーザへの呈示通知情報や動作状態などの表示内容を画面表示する。

【0036】

例えば、カメラ部１１１にて撮影された実写画像の表示や、仮想オブジェクト表示に際しては、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像上で仮想オブジェクトが存在している位置に仮想オブジェクトを配置して表示する。あるいは仮想オブジェクトのミニチュアが配置されている小型物体を表示する。

【0037】

表示部１３０は、半透過型の表示デバイスであってもよく、その場合、透過して見える現実空間に重畳して、仮想オブジェクトなどを表示してもよい。

【0038】

ここでは、表示部１３０が半透過型である場合の説明を行うが、表示部１３０が半透過型でない場合には、カメラ部１１１により撮影された現実空間の映像に重畳して仮想オブジェクトなどを表示してもよい。

【0039】

〈ユーザの視界例〉
図２は、図１のヘッドマウント情報処理装置１００が有する表示部１３０によるユーザ視界の一例を示す説明図である。

【0040】

この図２は、前述したように表示部１３０が半透過型とした例を示したものであり、表示部１３０には、制御部１２５がメモリ部１２８に記録されている仮想オブジェクトデータを読み出して仮想オブジェクトのみが表示されている。それ以外の部分には、表示されているものがなく、表示部１３０の先の現実空間の風景１８０１が透過して見える。

【0041】

表示部１３０を通して現実空間の風景１８０１を見ることで、ユーザには、図２の上方に示す風景１８０３のように、現実空間の風景上に仮想オブジェクトが存在しているように見える。

【0042】

図２において、右目視線検出部１１２および左目視線検出部１１３は、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。

【0043】

例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Light Emitting Diode）をユーザの顔に照射して赤外線カメラなどによって撮影し、赤外線ＬＥＤの照射でできた反射光の角膜上の位置、すなわち角膜反射を基準点とし、該角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出する技術が知られている。

【0044】

加速度センサ部１１４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き、振動、および衝撃などを捉えることができる。ジャイロセンサ部１１５は、回転方向の角速度を検出するセンサであり、縦、横、および斜めの姿勢の状態を捉えることができる。

【0045】

これら加速度センサ部１１４およびジャイロセンサ部１１５を用いることによって、ヘッドマウント情報処理装置１００を装備しているユーザの頭部の動きを検出することができる。

【0046】

地磁気センサ部１１６は、地球の磁力を検出するセンサであり、ヘッドマウント情報処理装置１００の向いている方向を検出する。地磁気センサ部１１６は、例えば前後方向と左右方向とに加え上下方向の地磁気も検出する３軸タイプを用いることによって、頭部の動きに対する地磁気変化を捉まえることができる。これにより、頭部の動きを検出することも可能である。

【0047】

これら加速度センサ部１１４、ジャイロセンサ部１１５、および地磁気センサ部１１６により、ユーザが装着しているヘッドマウント情報処理装置１００の動きや変動を詳しく検出することができる。

【0048】

振動発生部１１７は、制御部１２５の制御によって振動を発生させるものであり、ヘッドマウント情報処理装置１００にて発信されたユーザへの通知情報を振動に変換する。振動発生部１１７は、例えば密接装着されているユーザの頭部などに振動を発生させることにより、ユーザへの通知を確実に伝えることができる。

【0049】

外周音マイク１１８および発声音マイク１１９は、外部からの音声やユーザ自身の発声を集音する。ヘッドフォン１２０は、ユーザの耳部に装着され、ユーザへの音声を聞き取るものであり、ユーザへの通知情報を音声で知らしめることができる。

【0050】

なお、発声音マイク１１９は、骨伝導マイクなどの音声入力デバイスであってもよい。ヘッドフォン１２０は、スピーカあるいは骨伝導イヤホンなどの音声出力デバイスであってもよい。

【0051】

深度センサ部１３１は、物体までの距離を面で測定する。深度センサ部１３１には、例えば、赤外線やレーザなどの反射を利用したものがあるが、取り付け位置の異なる複数のカメラにて撮影した画像の視差から距離情報を得るなど、他の方式で実現してもよい。

【0052】

深度センサ部１３１で取得した距離情報を制御部１２５が解析することにより、手の動き、および身体の動きなどを検出することが可能である。手の動き、および身体の動きなどの解析には、カメラ部１１１で撮影された画像から得られる情報を合わせて使用してもよい。

【0053】

刺激発生部１３２は、制御部１２５からの制御によって皮膚で知覚できる刺激を発生させるものであり、ヘッドマウント情報処理装置１００から発信されたユーザへの通知情報を皮膚で知覚できる刺激に変換する。

【0054】

皮膚で知覚できる刺激には、圧力、温感、冷感、あるいは電気刺激などがある。刺激発生部１３２は、密接装着されているユーザ頭部の皮膚で知覚できる刺激を発生させることにより、ユーザーへの通知を確実に伝えることができる。

【0055】

入力操作部１２１は、例えばキーボードやキーボタン、またはタッチパッドなどからなり、ユーザが入力したい情報を設定入力する。入力操作部１２１は、ヘッドマウント情報ユーザが入力操作を行いやすい位置に設ければよい。あるいはヘッドマウント情報処理装置１００の本体から分離して、有線や無線にて接続された形態であってもよい。

【0056】

ヘッドマウントディスプレイから分離した入力操作装置の例としては、ジャイロセンサや加速度センサなどを用いた３次元空間位置入力装置である空間マウス、身体を映したカメラ映像から身体に装着したコントローラ自身の空間位置を検出して入力に用いるコントローラなどがある。

【0057】

また、表示部１３０の表示画面内に入力操作画面を表示させ、右目視線検出部１１２および左目視線検出部１１３により検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよい。あるいは、ポインタを入力操作画面上に表示させて入力操作部１２１によりポインタを操作して入力操作情報を取り込んでもよい。

【0058】

カメラ部１１１を含む各センサ、すなわち加速度センサ部１１４、ジャイロセンサ部１１５、地磁気センサ部１１６、および深度センサ部１３１にて検出したユーザの頭部の動きに合わせてポインタを移動し、入力操作情報を取り込んでもよい。

【0059】

さらに、ユーザが入力操作を示す音声を発声し、発声音マイク１１９で集音して入力操作情報を取り込んでもよい。ユーザの手の動き、身体の動きをカメラ部１１１の撮影画像、深度センサなどで取り込んで制御部１２５にて解析し、ゼスチャ入力として入力操作情報を取り込んでもよい。

【0060】

入力操作に発声や表示、身体の動きを用いることにより、頭部に装着されているヘッドマウント情報処理装置１００の使い勝手を一層向上させることが可能である。

【0061】

以上の構成により、入力操作部などにて入力された仮想オブジェクト表示を指示する仮想オブジェクト表示要求指示に応じて、全ての仮想オブジェクトを表示部１３０の表示視野内に収めて配置して一覧表示することが可能となる。その結果、全ての仮想オブジェクトの存在を容易に視認することができる。

【0062】

さらには、形状、配置状態などが不明瞭な仮想オブジェクトに対しては、その仮想オブジェクトを回転したり拡大や縮小したりして仮想オブジェクトの姿勢を操作することにより、仮想オブジェクトの形状および全容を的確に視認でき、使い勝手よく仮想オブジェクトを特定できるという効果が得られる。

【0063】

〈ヘッドマウント情報処理装置の動作例〉
次に、図１のヘッドマウント情報処理装置１００の動作について説明する。

【0064】

図３は、図１のヘッドマウント情報処理装置１００における使用状況の周囲全景例を模式的に示した説明図である。

【0065】

図３において、ヘッドマウント情報処理装置１００を装着しているユーザ２００の前方正面には、机２０１およびパソコン２０２が置かれている。また、ユーザ２００の右側には、収納ボックス２０３が置かれており、ユーザ２００の後方背面には、本棚２０４が置かれている。

【0066】

仮想オブジェクト生成処理部１２２にて生成された仮想オブジェクトとしては、正面後方に仮想オブジェクト２１１、机２０１の裏側に仮想オブジェクト２１２、机２０１の右側後方に仮想オブジェクト２１３、収納ボックス２０３の後方に仮想オブジェクト２１４、机２０１の左側後方に仮想オブジェクト２１５、および本棚２０４の右側後方に仮想オブジェクト２１６がそれぞれ配置されている。

【0067】

図４は、図３に示した全景例における実風景の一例を示す説明図である。

【0068】

図４（ａ）は、ヘッドマウント情報処理装置１００を使用するユーザから前方正面を見たときの実写風景、すなわち図３に示した周囲全景状態において、ヘッドマウント情報処理装置１００を装着したユーザの視界を示したものである。

【0069】

ユーザの現在の視野内の座標位置に配置された仮想オブジェクト２１１，２１３は、表示されるが、視野外の座標位置に配置された仮想オブジェクト２１４、２１６は、表示されない。

【0070】

部分的に視野内の座標位置に配置された仮想オブジェクト２１５は、一部分のみしか表示されず、また、机２０１の裏側にある仮想オブジェクト２１２は、表示されない。

【0071】

図４（ｂ）は、ヘッドマウント情報処理装置１００を使用するユーザから後方背面を見たときの実写風景、すなわち図３の周囲全景状態において、ヘッドマウント情報処理装置１００を装着したユーザが後方背面を向いた状態の視界を示したものである。

【0072】

図４（ｂ）に示すようにヘッドマウント情報処理装置１００を装着したユーザが後方背面を向いた状態においては、視野内の座標位置に配置された仮想オブジェクト２１６が表示されるが、仮想オブジェクト２１６以外は視野外の座標位置に配置されるため表示されない。

【0073】

このように、ヘッドマウント情報処理装置１００を装着したユーザの頭の向きの視野外の座標位置に配置された仮想オブジェクトについては、表示されない。

【0074】

図５は、図１のヘッドマウント情報処理装置１００による表示画面の一例を示す説明図である。図５は、ヘッドマウント情報処理装置１００による仮想オブジェクトを表示視野画面内に収めて配置させて仮想オブジェクトを一覧表示させた表示画面の一例を示したものである。

【0075】

図５の点線で示した部分は、実写物体を背景として表示した場合の例で、仮想オブジェクトとの位置関係を分かりやすく示すためのものであり、表示は行わなくてもよい。なお、以下、図８～図１１についても、図５と同様に点線にて示した部分の表示は行わなくてもよい。

【0076】

この場合、ヘッドマウント情報処理装置１００は、図５に示すように、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像を表示部１３０の表示視野画面上に投影して反映し、投影反映された全天球画像上で仮想オブジェクトが存在している位置に仮想オブジェクトを配置して、仮想オブジェクトを一覧表示する。

【0077】

これにより、例えば仮想オブジェクト２１２などのように、現実の物体である机２０１の裏側に配置される仮想オブジェクトについても存在を視認することが可能となる。その結果、周囲全景に存在する全ての仮想オブジェクトの存在を、存在位置とともに視認することができる。

【0078】

図６は、図５の点線部分を表示しない場合の表示例を示した説明図である。図７は、図１のヘッドマウント情報処理装置１００による実写物体の背景画像の表示例を示す説明図である。

【0079】

図５では、仮想オブジェクトとの位置関係を分かりやすく示すため実写物体の背景画像を点線で示しているが、実際の表示では、図６に示すように点線が表示されない。

【0080】

あるいは、制御部１２５は、全周囲全景に存在する全ての仮想オブジェクトを表示させる際に、図７に示すように、図５の点線で示した机２０１、パソコン２０２、収納ボックス２０３、および本棚２０４などの実写物体を背景画像として表示させるようにしてもよい。

【0081】

これにより、現実空間と仮想オブジェクトとの位置関係を認識しやすくすることができる。例えば、図５に示すように背面の本棚２０４の右側上部に仮想オブジェクト２１６がある場合、背景画像としての本棚の右上部位置に仮想オブジェクトが表示されていれば、仮想オブジェクト位置を認識しやすくなる。

【0082】

なお、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像は、一度に全天球の画像を撮影できる３６０度全天球カメラを使用して取得してもよいし、あるいは通常画角カメラの画像をつなぎ合わせて取得してもよい。

【0083】

また、取得できた一部の範囲だけの画像を用いてもよく、例えば、１８０度全天周画像など、全天球でなく一部の範囲の画像でほぼ全ての仮想オブジェクトの存在を視認可能な場合などでは、同様な作用、効果が得られることは明白である。

【0084】

図８は、図１のヘッドマウント情報処理装置１００による表示画面の他例を示す説明図である。図８に示す例では、図５の一覧表示の仮想オブジェクトの中から選択した仮想オブジェクトを手前の予め定めた位置に表示させた場合の表示画面を示している。

【0085】

この場合、ユーザは、図５に示した一覧表示された仮想オブジェクトの中から、例えば仮想オブジェクト２１１を選択する。そして、ユーザが表示部１３０の表示視野内の背景部分に仮想オブジェクトの一覧表示を残したまま、選択した仮想オブジェクトを予め定めた位置に拡大して配置する操作を行うことによって、図８の仮想オブジェクト５０１のように表示させる。

【0086】

予め定めた位置に拡大しながら配置する操作は、オブジェクトを選択することにより自動で配置まで行ってもよいし、選んだオブジェクトを引き寄せるような自然な操作により手動で配置をするようにしてもよい。また、オブジェクトは、配置する際に合わせて拡大率を決定する操作を行い、拡大率を変更してもよい。

【0087】

以上の動作は、制御部１２５が主体となり実行する。制御部１２５は、入力操作部１２１から入力されたユーザ操作に従い、メモリ部１２８に記憶されているオブジェクトの形状および表示位置などの情報データ１２７を読み出し、選択したオブジェクトの形状、表示位置の情報を変更したものを表示部１３０に表示する。

【0088】

これにより、一覧表示では見にくかった仮想オブジェクトをよりはっきりと視認することができる。予め定めた位置は、メモリ部１２８に予め記憶されている初期値を用いるようにしてもよい。初期値は、例えば視認しやすい位置などとする。

【0089】

あるいは、制御部１２５は、ユーザが入力操作部１２１から入力した設定情報をメモリ部１２８に書き込むことにより、その都度設定した設定情報を用いるようにしてもよい。この場合、設定情報としては、例えば、身体の正面の手の稼動範囲部分などとすると、仮想オブジェクトを視認しやすく、姿勢操作や変形操作などを行いやすい。

【0090】

選択した仮想オブジェクトを視認確認した後、選択仮想オブジェクトは、表示部１３０の表示視野内の背景部分の配置操作前の元の位置に戻される。この動作は、制御部１２５により視認確認終了操作後に自動で行われる。

【0091】

引き続き、別の仮想オブジェクトを選択して、予め定めた位置に持ってきて配置する操作を行う場合、前に選択された仮想オブジェクトは元の位置に戻り、元々の仮想オブジェクトの一覧表示画像が背景として残っている。よって、次の仮想オブジェクトの配置操作、視認確認を容易に行うことができる。

【0092】

一方、１つの仮想オブジェクトを選択して配置操作を行い、その後別の仮想オブジェクトの配置操作を行わない場合は、配置操作による視認確認終了後、仮想オブジェクトを元の位置に戻す際に仮想オブジェクトの一覧表示画像を消して、仮想オブジェクトを本来存在している位置に重畳表示した表示視野画面に戻してもよい。

【0093】

また、仮想オブジェクトを予め定めた位置に配置する配置操作時において、仮想オブジェクトの一覧表示が邪魔になるなどの場合には、背景部分の仮想オブジェクトの一覧表示画像を消してもよい。

【0094】

あるいはカメラ部１１１にて予め撮影した現実空間の実写画像を表示部１３０に表示した上に仮想オブジェクトを本来存在する位置に重畳表示するようにしてもよい。例えば、仮想オブジェクトを実世界の背景の寸法にあわせて配置したい場合などに使用すると、使い勝手を向上させることができる。

【0095】

〈仮想オブジェクトの姿勢操作例〉
続いて、図１のヘッドマウント情報処理装置による仮想オブジェクトの姿勢操作の動作について説明する。

【0096】

図９は、図１のヘッドマウント情報処理装置１００における仮想オブジェクトの姿勢操作による表示画面の一例を示す説明図である。図１０は、図９に続く姿勢操作後の仮想オブジェクトの表示の一例を示す説明図である。図１１は、図９に続く姿勢操作後の仮想オブジェクトの表示の他の例を示す説明図である。

【0097】

なお、図９～図１１において、図３に示され同一の符号を付された部分は、図３で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0098】

図５で説明したように、全天球画像上に仮想オブジェクトを配置して表示することにより全ての仮想オブジェクトの存在を視認できるが、そのままでは仮想オブジェクトの全体の形状を視認しにくい場合がある。

【0099】

そこで、表示視野内に配置された視認しにくい仮想オブジェクトに対しては、仮想オブジェクト姿勢操作処理部１２３にて仮想オブジェクトの全体形状が視認しやすいように仮想オブジェクトの姿勢を操作し、姿勢操作後の仮想オブジェクトを一覧表示（加工モード）上の元の位置に戻して表示する。

【0100】

以上の動作は、仮想オブジェクト姿勢操作処理部１２３がメモリ部１２８に記憶されているオブジェクトの形状および表示位置などの情報データ１２７を読み出し、選択したオブジェクトの形状、表示位置の情報を変更したものをメモリ部１２８に書き込む。制御部１２５は、メモリ部１２８から読み込んだ情報を表示部１３０に表示する。

【0101】

例えば、図９に示した仮想オブジェクト２１５は、本来立方体の形状であるが、全天球画像上での表示形状では立方体と視認特定できない表示形状である。そこで、仮想オブジェクト姿勢操作処理部１２３は、仮想オブジェクト２１５をまずは姿勢操作しやすい手前の予め定めた位置の表示位置に、必要に応じて拡大させながら移動させる。

【0102】

その後、仮想オブジェクト姿勢操作処理部１２３は、移動した仮想オブジェクト２１５を３次元的回転動作含めて回転させて、全体形状が視認しやすい表示形状に姿勢操作を行い、仮想オブジェクト６０１に示す表示形状に変換する。

【0103】

全体形状が視認しやすい表示形状については、予め仮想オブジェクト生成時の雛形となる形状データに、そのオブジェクトの視認しやすい向き、大きさ、および色などの情報（姿勢情報）を紐付けててメモリ部１２８に記録し、その情報を生成された仮想オブジェクトに使用してもよい。また、ユーザが仮想オブジェクトごとに指定した姿勢情報をメモリ部１２８に記憶して、表示時に使用するようにしてもよい。

【0104】

さらに、仮想オブジェクト姿勢操作処理部１２３による姿勢操作後、一覧表示（加工モード）上の元の位置に戻して、図１０に示すように、仮想オブジェクト７０１として表示させるようにしてもよい。

【0105】

図１１は、仮想オブジェクト２１５以外の仮想オブジェクトに対しても姿勢操作を行った場合の仮想オブジェクトの表示形状を示している。図９に示す仮想オブジェクト２１３，２１４，２１６に対し、仮想オブジェクト２１５と同様、仮想オブジェクト姿勢操作処理部１２３が回転による姿勢操作を行う。これによって、仮想オブジェクト２１３，２１４，２１６は、図１１に示すように仮想オブジェクト８１３，８１４，８１６にて示す表示形状にそれぞれ変換される。

【0106】

また、図９の仮想オブジェクト２１１に対しては、拡大による姿勢操作を行う。これによって、仮想オブジェクト２１１は、図１１の仮想オブジェクト８１１の表示形状に変換される。その結果、視認特定しやすい表示形状で仮想オブジェクトを表示することができる。

【0107】

このように、仮想オブジェクト姿勢操作処理部１２３が、全体形状が視認しにくい仮想オブジェクトに対して姿勢操作を行うことにより、全体形状が視認特定可能な表示形状の仮想オブジェクトに変換する。それにより、仮想オブジェクトの全体形状、全容を的確に把握することが可能となる。

【0108】

また、仮想オブジェクトに対して予め視認し易い姿勢情報が設定されている場合には、仮想オブジェクトを予め定めた位置に移動してから姿勢操作をするのではなく、制御部１２５による一覧表示（加工モード）開始時に、仮想オブジェクト姿勢操作処理部１２３が自動で設定されている姿勢情報に基づいた姿勢操作を行った後の仮想オブジェクトを表示するようにしてもよい。

【0109】

また、仮想オブジェクト相互の配置や位置関係は変えずに、選択した仮想オブジェクトが正面に来るように、仮想オブジェクトの空間全体を回転してもよい。すなわち、ユーザが体を仮想オブジェクトの方向に回転させる代わりに、仮想オブジェクトの空間全体を回転させる。

【0110】

〈変形操作例〉
続いて、変形操作について説明する。

【0111】

仮想オブジェクト変形操作処理部１２４は、図９に示すように仮想オブジェクト２１５を手前の予め定めた位置、例えば仮想オブジェクト６０１の位置に移動させた状態にて変形操作を行うことができる。

【0112】

この場合、変形操作は、仮想オブジェクト変形操作処理部１２４が選択したオブジェクトの形状および表示位置の情報を変更した後にメモリ部１２８に書き込む。ここで、仮想オブジェクトの形状は、向き、大きさ、および角度などを含む。制御部１２５は、メモリ部１２８に格納された情報に基づいて、仮想オブジェクト６０１を表示部１３０に表示する。

【0113】

変形操作の結果は、元の仮想オブジェクトの表示状態にも反映される。例えば、変形操作によりオブジェクトの向きを変えた場合は、一覧表示（加工モード）のための表示のみならず、仮想オブジェクト自身の向きが変わるため、前述した図４（ａ）、図４（ｂ）に示す現実空間の風景に重ねて仮想オブジェクトを表示する通常表示に遷移した場合でも、仮想オブジェクトは変形操作後の向きで表示される。変形操作時には、変形前の元の仮想オブジェクトの向き、大きさなどを含む形状を半透過で表示したままにする、あるいは視野内の変形操作に用いない場所に表示するなどしてもよい。

【0114】

これにより、変形前の元の仮想オブジェクトと変形後の仮想オブジェクトとの向きおよび大きさなどを含む形状との差分を分かりやすく表示することができる。

【0115】

仮想オブジェクトに対して、姿勢操作あるいは変形操作のどちらを行うかについては、例えば入力操作部１２１に設けられる図示しない操作モード切り替えボタンなどで操作前に指定する。

【0116】

姿勢操作と変形操作を組み合わせて、仮想オブジェクトを姿勢操作により拡大して見やすくした後に変形操作を行ってもよい。姿勢操作により仮想オブジェクトに適用した拡大、縮小などの操作を変形操作に適用してもよい。

【0117】

〈姿勢操作後の表示例〉
次に、姿勢操作後の仮想オブジェクトの表示例について説明する。

【0118】

図１２は、図１のヘッドマウント情報処理装置１００による姿勢操作後の仮想オブジェクトを全天球表示画面の枠外に表示する例を示す説明図である。図１３は、図１のヘッドマウント情報処理装置１００による姿勢操作後の仮想オブジェクトを全天球表示画面内に重ねて表示する例を示す説明図である。

【0119】

図１２、図１３において、図３に示され同一の符号を付された部分は、図３で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0120】

まず、全天球画面上には、図１２に示すように、姿勢操作前の仮想オブジェクト２１１～２１６をその存在位置にそれぞれ表示し、加えて、姿勢操作後の仮想オブジェクト２１２，７０１，８１１，８１３，８１４，８１６を全天球画面の枠外下部のエリア９０１にリスト表示する。

【0121】

また、エリア９０１内での姿勢操作後の各仮想オブジェクト２１２，７０１，８１１，８１３，８１４，８１６の配置位置は、全天球画面上の姿勢操作前の仮想オブジェクト２１１～２１６の存在位置と表示画面の縦方向にほぼ揃えた位置とする。

【0122】

以上の動作は、仮想オブジェクト姿勢操作処理部１２３がメモリ部１２８に記憶されているオブジェクトの形状、表示位置などの情報データ１２７を読み込んで、選択したオブジェクトの形状、表示位置などを変更した後にメモリ部１２８に書き込む。その後、制御部１２５がメモリ部１２８から読み込んだ情報に基づいて、仮想オブジェクトの表示位置および大きさなどを調整して表示部１３０に表示する。

【0123】

あるいは図１３に示すように、全天球画面上に姿勢操作前の仮想オブジェクト２１１～２１６をその存在位置に表示し、該全天球画面の下方に設けられるエリア１００１に姿勢操作後の仮想オブジェクト２１２，７０１，８１１，８１３，８１４，８１６を全天球画面上に透過するようにリスト表示してもよい。

【0124】

また、姿勢操作前の仮想オブジェクト２１１～２１６の位置は、エリア１００１における姿勢操作後の各仮想オブジェクト２１２，７０１，８１１，８１３，８１４，８１６の配置位置が表示画面の縦方向にそれぞれ対応するように揃える。

【0125】

以上の動作は、仮想オブジェクト姿勢操作処理部１２３がメモリ部１２８に記憶されているオブジェクトの形状、表示位置などの情報データ１２７を読み込んで、選択したオブジェクトの形状、表示位置などを変更した後にメモリ部に書き込む。

【0126】

その後、制御部１２５がメモリ部１２８から読み込んだ情報に基づいて、仮想オブジェクトの表示位置、大きさ、および透過度などを調整して表示部１３０に表示する。

【0127】

これらにより、姿勢操作前仮想オブジェクトと姿勢操作後の仮想オブジェクトとを同時に視認することができ、仮想オブジェクトの特定をより一層確実にすることができる。

【0128】

なお、図１２では、姿勢操作後の仮想オブジェクトを表示するエリア９０１を表示視野画面の枠外下方に配置した例を示したが、エリア９０１は、表示視野画面の枠外上方に配置してもよい。

【0129】

また、図１２および図１３では、姿勢操作後の仮想オブジェクトを表示するエリア９０１，１００１に、仮想オブジェクトを画面の横方向に並べて配置する例を示したが、画面の縦方向に並べて配置してもよい。エリア９０１，１００１は、画面内のどの位置に配置してもよい。

【0130】

〈仮想オブジェクトを一覧表示例〉
続いて、図５で示した全天球画像による仮想オブジェクトの一覧表示に代えて、小型物体を用いて仮想オブジェクトを一覧表示する例について説明する。

【0131】

図１４は、図１のヘッドマウント情報処理装置１００による仮想の小型物体の配置例を模式的に示した説明図である。

【0132】

図１４は、ヘッドマウント情報処理装置の周囲にある仮想オブジェクトおよび仮想の小型物体における配置例を示したものである。

【0133】

図１５は、図１４に示した配置例による表示視野画面の一例を示す説明図である。

【0134】

図１５は、図１４に示した配置例において、ヘッドマウント情報処理装置１００を使用するユーザから前方正面を見て、仮想オブジェクトの存在位置に対応する形で仮想オブジェクトのミニチュアである小型模型を仮想の小型物体上に配置し、現実空間の視界に仮想の小型物体を重畳表示した例を示している。

【0135】

図１４および図１５において、図１、図３に示す同一の符号を付された部分は、図１、図３で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0136】

ヘッドマウント情報処理装置１００を装着しているユーザ２００の前方には、図１４に示すように、小型物体の例として小型の球体１１０１が仮想設置されている。球体１１０１は、仮想オブジェクト１１０２，１１０３，１１０４の小型模型であるミニチュア１１０５，１１０６，１１０７が収納されて表示される領域、すなわちミニチュア表示領域である。

【0137】

ミニチュア１１０５，１１０６，１１０７は、球体１１０１内に各仮想オブジェクト１１０２，１１０３，１１０４の存在位置に対応するようにそれぞれ配置されている。

【0138】

また、仮想オブジェクト１１０２，１１０３，１１０４とそれに対応する各々のミニチュア１１０５，１１０６，１１０７とは、仮想ライン１１０８，１１０９，１１１０にてそれぞれ繋がれることによって対応付けされている。

【0139】

なお、ユーザ２００の前方正面には、机２０１、パソコン２０２、ユーザ２００の右側には、収納ボックス２０３、ユーザ２００の後方背面には本棚２０４が置かれており、周囲状況は、図３で説明したと同様である（図１４には図示せず）。

【0140】

図１４に示した配置例において、表示部１３０の表示視野画面では、図１５に示すように、ユーザ２００の前方正面の現実空間の視界にある机２０１、パソコン２０２に重畳して、仮想オブジェクト１１０２，１１０３，１１０４のミニチュア１１０５，１１０６，１１０７を配置した球体１１０１が表示視野内の左上方に表示される。

【0141】

よって、図１５に示した表示画面例からわかるように、ヘッドマウント情報処理装置１００を装着したユーザ２００の位置を中心に全周囲にある全ての仮想オブジェクトのミニチュアが現実空間に重畳して、球体１１０１内に投影反映して表示される。これによって、ミニチュアによる仮想オブジェクトの一覧表示を可能にすることができる。

【0142】

また、仮想オブジェクト１１０２～１１０３とミニチュア１１０５～１１０７とを繋ぐ仮想ライン１１０８，１１０９，１１１０をたどっていくことにより、ユーザ２００は仮想オブジェクトの存在する位置を容易に推定することができる。

【0143】

なお、図１４において、点線で示した仮想ライン１１１２のように仮想オブジェクト１１０２とそのミニチュア１１０５との間を仮想ラインで繋ぐと、仮想ラインがユーザ２００の身体を貫いてしまう。

【0144】

その場合には、仮想オブジェクトと仮想オブジェクトのミニチュアとの位置関係の把握が困難になる恐れがある。よって、例えば仮想ライン１１０８に示すようにユーザ２００の身体を避けて、曲線にて仮想オブジェクト１１０２とそのミニチュア１１０５と繋ぐことにより、仮想ラインをたどりやすくする。それにより、仮想オブジェクトの存在する位置を推定しやすくすることができる。

【0145】

制御部１２５は、メモリ部１２８に記憶されている仮想オブジェクトのデータおよび座標情報などを読み込み、メモリ部１２８に記憶されているプログラム１２６に従って、図１５に示す球体１１０１、各仮想オブジェクト１１０２，１１０３，１１０４のミニチュア１１０５，１１０６，１１０７、および仮想ライン１１０８，１１０９，１１１０などを表示画像として生成し、表示部１３０に表示する。仮想オブジェクトの姿勢操作が必要な場合は、適宜仮想オブジェクト姿勢操作処理部１２３が処理を行う。

【0146】

ミニチュアと仮想オブジェクトとを仮想ラインで繋いだ場合、現実の物体に仮想ラインが重なってしまう場合がある。例えば図１５に示すミニチュア１１０７と仮想オブジェクト１１０４とを繋ぐ仮想ライン１１１１では、机２０１やパソコン２０２などと重なっている。

【0147】

このような場合には、図１５に示すようにミニチュア１１０７と仮想オブジェクト１１０４とを繋ぐ仮想ラインを曲線の仮想ライン１１１０として、現実の物体に重ならないようにする。これにより、仮想ラインをたどりやすくすることが可能となり、仮想オブジェクトの存在する位置を推定しやすくすることができる。

【0148】

さらに、図１６に示すように球体１１０１内に配置された仮想オブジェクトのミニチュア１１０５，１１０６，１１０７は、ユーザ２００の操作によって、球体１１０１を表示部１３０の表示画面の略中央部手前に拡大しながら回転させて表示することにより、形状認識を容易にすることができる。これによって、仮想オブジェクトの形状など全容をより一層的確に視認することができる。

【0149】

〈表示視野画面例〉
図１７は、図１のヘッドマウント情報処理装置１００による表示部１３０における表示視野画面の一例を示す説明図である。

【0150】

図１７は、ユーザ２００が前方正面から向きを変えて右側正面を向いた際の表示視野画面を示している。

【0151】

なお、図１７において、図１、図３、および図１４に示され同一の符号を付された部分は、図１、図３、および図１４で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0152】

まず、ユーザ２００の向きが前方正面から右側正面に移動すると、図１７に示すように、右側正面にある現実の物体である収納ボックス２０３が視界の中央に位置する。それに伴い、収納ボックス２０３の上部に存在する仮想オブジェクト１１０４は、表示画面中央上部に表示される。

【0153】

また、球体１１０１自体は、表示視野内の左上隅に表示されるが、ユーザ２００の右横向き移動に伴って、球体１１０１内の各仮想オブジェクトのミニチュア１１０５～１１０７は、右横回転した形で表示される。

【0154】

すなわち、図１７に示すように、球体１１０１内の中心部にミニチュア１１０７が位置するように、ミニチュア１１０５～１１０７が回転して表示される。また、表示部１３０の表示画面中央に表示された仮想オブジェクト１１０４と、仮想オブジェクト１１０４のミニチュア１１０７とは、仮想ライン１１１０で繋がれて表示される。

【0155】

すなわち、ヘッドマウント情報処理装置１００を装着しているユーザ２００が向く方向を変えると、表示視野内の球体１１０１の位置は変わらないが、向く方向に応じて球体１１０１が回転し、球体１１０１内のミニチュア１１０５～１１０７の配置角度がユーザ２００の移動向きに応じて変わる。それに伴い、球体１１０１内のミニチュア１１０７と仮想オブジェクト１１０４とを繋いでいる仮想ライン１１１０についても引きなおすように変化する。

【0156】

そして、ヘッドマウント情報処理装置１００を装着しているユーザ２００が向く方向を変えた場合、例えば前方正面から右側正面などに向きを変えても、表示部１３０の表示画面内に表示されている球体１１０１にてユーザ２００の全周囲にある全ての仮想オブジェクトをミニチュア一覧表示により確認することができる。

【0157】

さらに、球体１１０１内のミニチュアから実際の仮想オブジェクトに繋いだ仮想ラインをたどることにより、球体１１０１内のミニチュアから実際の仮想オブジェクトの位置を容易に認識することができる。また、仮想ラインの方向や曲がり方で仮想オブジェクトの位置を推定することも可能になる。

【0158】

なお、ヘッドマウント情報処理装置１００自体の向きや回転などの動きは、ユーザの姿勢変化に起因する外界情報の変化を解析することにより、把握することができる。これによって、ヘッドマウント情報処理装置１００の変化レベルを捉えることができる。

【0159】

よって、ヘッドマウント情報処理装置１００の向き変化により、例えば当初表示視野外の位置に存在していた仮想オブジェクトが表示視野内に入ることなど、仮想オブジェクト表示の状態変化を認識することができる。その結果、仮想オブジェクトをあるべき位置に表示することを可能にしている。

【0160】

ここで、ヘッドマウント情報処理装置１００自体の向きや回転などの動きの検出には、ヘッドマウント情報処理装置１００が備えている加速度センサ部１１４、ジャイロセンサ部１１５、あるいは地磁気センサ部１１６などを用いる。

【0161】

あるいはヘッドマウント情報処理装置１００自体の向きや回転などの動きは、カメラ部１１１や深度センサ部１３１などで得られたユーザの姿勢変化に起因する外界情報の変化を解析することにより得ることができる。

【0162】

図１８は、図１のヘッドマウント情報処理装置１００による表示部１３０における表示視野画面の他の例を示す説明図である。

【0163】

図１８は、ユーザが前方正面から向きを変えて後方背面を向いたときの表示視野画面の一例を示したものである。

【0164】

図１８において、図１、図３、図１４に示され同一の符号を付された部分は、図１、図３、図１４で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0165】

ユーザ２００の向きが後方背面に移動すると、図１８に示すように、後方背面にある本棚２０４が視界の中央に位置するとともに、本棚２０４の上部に存在する仮想オブジェクト１１０２は、表示部１３０の表示画面中央上部に表示される。

【0166】

また、球体１１０１自体は表示視野内の左上隅に表示されるが、ユーザ２００の背面向き移動に伴って、球体１１０１および球体１１０１内の各仮想オブジェクトのミニチュアは背面向きに回転した形で表示される。

【0167】

すなわち、図１８に示すように、表示画面中央上部に表示される仮想オブジェクト１１０２のミニチュア１１０５が球体１１０１の正面に位置するように回転される。球体１１０１には、各ミニチュア１１０５，１１０６，１１０７が配置された形で表示される。

【0168】

また、表示画面中央に表示された仮想オブジェクト１１０２と、仮想オブジェクト１１０２のミニチュア１１０５とは、仮想ライン１１０８で繋がれて表示される。すなわち、ヘッドマウント情報処理装置１００を装着しているユーザ２００が向く方向を変えると、表示視野内の球体１１０１の位置は変わらないが、向く方向に応じて球体１１０１が回転し、球体１１０１の仮想オブジェクトのミニチュアの配置角度がユーザの移動向きに応じて変わる。さらに、球体１１０１内のミニチュアと仮想オブジェクトとを繋いでいるラインも引きなおす形で変化する。

【0169】

そして、図１７での説明と同様、ヘッドマウント情報処理装置１００を装着しているユーザが向く方向を変えても、例えば前方正面から後方背面に向きを変えても、ユーザ２００が向いた方向の現実空間に重畳して、表示画面内に表示されている球体１１０１にてユーザの全周囲にある全ての仮想オブジェクトをミニチュア一覧表示により確認できる。

【0170】

さらには、球体１１０１内のミニチュア１１０５から実際の仮想オブジェクト１１０２に繋いだ仮想ライン１１０８をたどることにより、球体１１０１内のミニチュア１１０５から実際の仮想オブジェクト１１０２の位置を容易に認識することができる。

【0171】

図１９は、図１のヘッドマウント情報処理装置１００による全天球画像を背景として表示した際の表示画面の一例を示す説明図である。

【0172】

図１９において、図１、図３、および図１４に示され同一の符号を付された部分は、図１、図３、図１４で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

【0173】

この図１９に示す表示例の場合、仮想オブジェクトのミニチュアを配置した球体１１０１とともに、全ての仮想オブジェクトを表示画面内に表示することができ、仮想オブジェクトの配置位置を容易に視認できる。

【0174】

以上、小型物体としては小型の球体の場合を説明したが、仮想オブジェクトが存在する空間に対応した形状の小型物体を用いてもよい。その場合、実際の空間との関係を認識しやすいという効果が出てくる。例えば、部屋のような立方体型の閉じた空間ならば立方体の小型物体を使用してもよい。

【0175】

また、仮想オブジェクトの種類ごとに小型物体を分けてもよい。例えば色分けされた小型物体が縮小状態でいくつも並んでいて、選択した小型物体に関連付けされた仮想オブジェクトのグループの情報のみ表示してもよい。あるいは、小型物体を重ねることで全ての仮想オブジェクトを表示してもよい。

【0176】

また、小型物体の表示が不要な場合には一旦隠すなどの操作を行ってもよい。また、仮想オブジェクトのミニチュアの表示に際しては、実際の形状に拘らず特定の記号、例えば「☆」などを用いてもよいし、仮想オブジェクトの分類ごとに記号の色分けをしてもよい。

【0177】

このように仮想オブジェクトのミニチュアを簡略化して表示することは、大まかに仮想オブジェクトの存在を視認する場合には有効となる。

【0178】

また、小型物体を表示視野内に固定して常に表示するだけではなく、小型物体を特定の空間位置に固定して表示してもよい。この場合、ユーザが向きを変えたとき、小型物体は表示視野から外れることとなる。また、小型物体だけでなくラインも固定されることなるが、ユーザにとって視野方向による仮想オブジェクトや小型物体の位置混乱を避けやすくなる。

【0179】

小型物体上の仮想オブジェクトのミニチュアと実際の仮想オブジェクトとを繋ぐラインは、仮想オブジェクトの種類によりラインの色、太さ、およびラインの種類などを変えてもよい。

【0180】

例えば、仮想オブジェクトである書類ウインドには、黒の細いライン、仮想オブジェクトであるキャラクタには、黄色の太い破線ライン、などとしてもよい。また、仮想ラインを触れると、つながっている先の仮想オブジェクトのプレビューを正面に表示させてもよい。

【0181】

あるいは、ラインをつかんで引っぱる動作で実際の仮想オブジェクトを正面に移動させ、使用後投げ上げるなどの動作によって元の位置に戻るようにしてもよい。

【0182】

現実空間の風景に重ねて仮想オブジェクトを表示する通常表示に遷移する動作においては、一覧表示画面で選択した仮想オブジェクトをマーキングしてから通常表示に戻すと、そこまでラインが引かれるようにしてもよい。

【0183】

同様に、選択した仮想オブジェクトをゆっくり元の位置に戻すことにより目で追えるようにしてもよい。これらは選択の有無にかかわらず全ての仮想オブジェクトに対して行ってもよい。

【0184】

また、ユーザによる入力操作部１２１などからの要求指示や、ヘッドマウント情報処理装置１００で行われる操作や表示の動作などの際に、その要求指示、操作動作、および表示動作などを示す情報を表示部１３０にて表示して通知することにより、ユーザにヘッドマウント情報処理装置の稼動状態を確実に知らしめ認識させることができる。

【0185】

要求指示、操作動作、および表示動作などを示す情報は、ヘッドフォン１２０から音声でユーザに発声したり、ユーザに密着している振動発生部１１７にて振動を発生したり、あるいは刺激発生部１３２にて刺激を発生したりして通知するようにしてもよい。

【0186】

以上により、仮想オブジェクトがヘッドマウント情報処理装置１００の視野範囲外などにあっても、仮想オブジェクトの存在、形状、配置場所など全容を的確に視認することができる。

【0187】

その結果、使い勝手よく仮想オブジェクトの特定を可能とするヘッドマウント情報処理装置１００を実現することができる。

【0188】

（実施の形態２）
〈ヘッドマウントディスプレイシステムの構成例〉
図２０は、本実施の形態２によるヘッドマウントディスプレイシステム１７００における構成の一例を示すブロック図である。

【0189】

ヘッドマウントディスプレイシステム１７００は、図２０に示すようにヘッドマウント情報処理装置１００、仮想オブジェクト生成サーバ装置１７０２、およびネットワーク１７０３から構成されている。

【0190】

図２０に示すヘッドマウント情報処理装置１００は、図１に示した同一符号を付された各機能ブロックの構成に加えて、通信部１７０４および送受信アンテナ１７０５が新たに設けられている。その一方、図２０のヘッドマウント情報処理装置１００には、仮想オブジェクト生成処理部１２２が設けられていない。

【0191】

仮想オブジェクト生成サーバ装置１７０２は、仮想オブジェクト生成処理部１７１１、メモリ部１７１２、制御部１７１３、通信部１７１４、および送受信アンテナ１７１５などから構成されている。仮想オブジェクト生成サーバ装置１７０２における各機能ブロックは、バス１７２０を介して相互に接続されている。なお、図２０において、図１の実施例と同一処理部分には同じ符号を付しており、それらの説明は省略する。

【0192】

ヘッドマウントディスプレイシステム１７００において、仮想オブジェクト生成サーバ装置１７０２が有する仮想オブジェクト生成処理部１７１１は、仮想オブジェクトを生成する。

【0193】

メモリ部１７１２は、仮想オブジェクト生成処理部１７１１が生成した仮想オブジェクトを保存する。通信部１７１４は、メモリ部１７１２が保存した仮想オブジェクトを送受信アンテナ１７１５から通信ネットワークであるネットワーク１７０３を経由してヘッドマウント情報処理装置１００に送信する。ヘッドマウント情報処理装置１００では、ネットワーク１７０３を経由して送信された仮想オブジェクトを受信する。

【0194】

また、図２０において、ヘッドマウント情報処理装置１００での仮想オブジェクトの表示処理自体は、図１で示した実施例の場合と同様であるが、仮想オブジェクトの生成をヘッドマウント情報処理装置１００とは別装置である仮想オブジェクト生成サーバ装置１７０２で行うことが異なる。

【0195】

仮想オブジェクト生成サーバ装置１７０２において、メモリ部１７１２は、ヘッドマウント情報処理装置１００のメモリ部１２８と同様、フラッシュメモリなどの不揮発性半導体メモリである。

【0196】

メモリ部１７１２は、仮想オブジェクト生成サーバ装置１７０２の制御部１７１３が使用する各種プログラムや生成された仮想オブジェクトなど記憶する。通信部１７１４は、ネットワーク１７０３を介してヘッドマウント情報処理装置１００と通信を行う通信インタフェースであり、ヘッドマウント情報処理装置１００と情報の送受信を行う。

【0197】

制御部１７１３は、例えばＣＰＵなどからなり、メモリ部１７１２に記憶格納されているＯＳや動作制御用アプリケーションなどのプログラムを実行することによって、各機能ブロックを制御し、仮想オブジェクト生成サーバ装置１７０２全体を制御する。

【0198】

制御部１７１３は、仮想オブジェクト生成処理部１７１１での仮想オブジェクトの生成や、生成された仮想オブジェクトのメモリ部１７１２への保存を制御する。また、制御部１７１３は、ヘッドマウント情報処理装置１００からの仮想オブジェクトの送信出力要求に応じて、生成された仮想オブジェクトをヘッドマウント情報処理装置１００に送信するように制御する。

【0199】

これにより、仮想オブジェクトの生成をヘッドマウント情報処理装置１００でなく、ヘッドマウント情報処理装置１００と分離された仮想オブジェクト生成サーバ装置１７０２を用いて行うことにより、取り扱える仮想オブジェクト情報量の大規模化が可能になる。同時に複数の場所で複数のヘッドマウント情報処理装置１００に対してそれぞれ要求された仮想オブジェクトを生成して配信することが可能となる。

【0200】

その結果、同時に複数のヘッドマウント情報処理装置１００にて使い勝手よく仮想オブジェクトの全容視認を容易に実現することができる。

【0201】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

【0202】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0203】

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【0204】

また、上記の各構成、機能、処理部、処理機能などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0205】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0206】

１００ ヘッドマウント情報処理装置
１１１ カメラ部
１１２ 右目視線検出部
１１３ 左目視線検出部
１１４ 加速度センサ部
１１５ ジャイロセンサ部
１１６ 地磁気センサ部
１１７ 振動発生部
１１８ 外周音マイク
１１９ 発声音マイク
１２０ ヘッドフォン
１２１ 入力操作部
１２２ 仮想オブジェクト生成処理部
１２３ 仮想オブジェクト姿勢操作処理部
１２４ 仮想オブジェクト変形操作処理部
１２５ 制御部
１２８ メモリ部
１３０ 表示部
１３１ 深度センサ部
１３２ 刺激発生部
１４０ バス
１７００ ヘッドマウントディスプレイシステム
１７０２ 仮想オブジェクト生成サーバ装置
１７０３、ネットワーク
１７１１ 仮想オブジェクト生成処理部
１７１２ メモリ部
１７１３ 制御部
１７１４ 通信部
１７１５ 送受信アンテナ
１７２０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】