特許 6836060 情報処理装置、情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6836060

(24)【登録日】2021年2月9日

(45)【発行日】2021年2月24日

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210215BHJP

   G09G 5/00 20060101ALI20210215BHJP

   G09G 5/14 20060101ALI20210215BHJP

   G09G 5/377 20060101ALI20210215BHJP

   G09G 5/38 20060101ALI20210215BHJP

   G06F 3/0482 20130101ALI20210215BHJP

   G06F 3/0481 20130101ALI20210215BHJP

   G02B 27/02 20060101ALI20210215BHJP

【ＦＩ】

   G06T19/00 600

   G09G5/00 530M

   G09G5/00 550C

   G09G5/00 550X

   G09G5/14 A

   G09G5/36 520M

   G09G5/38 A

   G06F3/0482

   G06F3/0481 150

   G02B27/02 Z

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2017-15825(P2017-15825)

(22)【出願日】2017年1月31日

(65)【公開番号】特開2018-124746(P2018-124746A)

(43)【公開日】2018年8月9日

【審査請求日】2020年1月31日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】松田 翔

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１５−０６９４４４（ＪＰ，Ａ）

【文献】 特開２０１６−２０６４４７（ＪＰ，Ａ）

【文献】 特開２０１８−０６３５９０（ＪＰ，Ａ）

【文献】 特開２０１８−０６３５８９（ＪＰ，Ａ）

【文献】 特開２０１７−２２８０４４（ＪＰ，Ａ）

【文献】 特開２０１９−１９７４７８（ＪＰ，Ａ）

【文献】 Convrge VR，Ghosting Improvements - Virtual Reality Locomotion Technique，YouTube[online][video]，２０１５年１０月 １日，https://www.youtube.com/watch?v=N3tWSZlAI-0，ＵＲＬ，https://www.youtube.com/watch?v=N3tWSZlAI-0

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０２Ｂ ２７／０２

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８２

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／１４

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３８

(57)【特許請求の範囲】

【請求項1】

装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置であって、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定手段と、
前記決定手段による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記決定手段は、前記表示装置の位置する仮想空間のフロアと別のフロアの前記所定の位置を前記第１の所定の位置として決定し、前記表示装置の位置する仮想空間のフロアと同じフロアの前記所定の位置を前記第２の所定の位置として決定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記表示装置の位置する仮想空間の部屋と別の部屋の前記所定の位置を前記第１の所定の位置として決定し、前記表示装置の位置する仮想空間の部屋と同じ部屋の前記所定の位置を前記第２の所定の位置として決定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記所定の位置とは、前記表示装置の仮想空間上における位置を移動させる候補として記憶された位置であって、
前記情報処理装置は、
前記表示制御手段により表示された前記第１の所定の位置又は前記第２の所定の位置のうち選択を受け付けた仮想空間上の位置に、前記表示装置の仮想空間上の位置を移動させるべく前記表示装置の仮想空間上の位置を決定する位置決定手段と、
を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置における情報処理方法であって、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定工程と、
前記決定工程による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御工程と、
を含むことを特徴とする情報処理方法。

【請求項6】

装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置を、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定手段と、
前記決定手段による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御手段として機能させるためのプログラム。

【請求項7】

装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムであって、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定手段と、
前記決定手段による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御手段と、
を備えることを特徴とする情報処理システム。

【請求項8】

装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムにおける情報処理方法であって、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定工程と、
前記決定工程による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御工程と、
を含むことを特徴とする情報処理方法。

【請求項9】

装着型の表示装置と、前記表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置と、を含む情報処理システムを、
前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定手段と、
前記決定手段による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザに対し、現実画像にＣＧモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置とＣＧモデルの位置とを、センサや二次元マーカを用いて特定する手法が取られている。

【0003】

特許文献１には、ＨＭＤで撮影された画像の中に写る二次元マーカを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献２には、磁気センサを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。

【0004】

また、特許文献３には、撮影した複合現実画像と、その時点での時刻とＨＭＤの位置姿勢を対応付けて記憶することが記載されている。特許文献４には、画像の撮影地点にサムネイル画像を配置した仮想空間画像を提供する技術が記載されている。特許文献５には、視線によるユーザの選択操作に基づいてユーザの視点位置を変更することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−３０８５１４号公報

【特許文献2】特開２００３−２４０５３２号公報

【特許文献3】特開２００５−２６０７２４号公報

【特許文献4】特開２０１０−９３７１３号公報

【特許文献5】特開２００８−２９３３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数人でＭＲを体験する場合、他者が見ていた場所や物を見たい場面が想定される。例えば、記録された複合現実画像に対応する位置を指定することで、当該指定された仮想空間上の位置に自身の視点位置を移動させ、他者が撮影時点で見ていたＣＧモデルを、他者が見ていた場所から確認できる。

【0007】

例えば他者の仮想空間上の位置を一覧化し、自分が移動したい位置をユーザに選択させることで、選択された仮想空間上の位置にユーザの視点位置を移動させることが考えられる。

【0008】

しかし、全ての位置の情報を一覧に表示すると、画面が煩雑になり、選択する対象を探し出す手間が増えてしまう。

【0009】

また、選択肢の一覧を表示するということは、ＭＲの体験者であるユーザの視界を一覧で塞いでしまうこととなる。選択肢となるデータが一覧上に増えるほど、視界が塞がれる範囲が広くなれば、ＭＲの快適な体験を妨げてしまうこととなる。

【0010】

本発明は、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明は、装着型の表示装置のユーザの視点を示す仮想空間の視点位置と姿勢を記憶する位置姿勢記憶手段と、仮想オブジェクト及び前記仮想オブジェクトの仮想空間における位置姿勢を記憶する仮想オブジェクト記憶手段と、前記表示装置の位置姿勢と前記仮想オブジェクトの位置姿勢に基づいて前記表示装置の視点から見た場合の前記仮想オブジェクトの画像を生成する生成手段と、を備える情報処理装置であって、前記位置姿勢記憶手段に記憶された過去の位置のうち複数の所定の位置と、前記表示装置の位置との位置関係に応じて、前記所定の位置のうち、前記所定の位置にかかる情報を前記表示装置に一覧表示する第１の所定の位置と、前記表示装置の位置姿勢に基づいて表示位置を決定して表示する第２の所定の位置とを決定する決定手段と、前記決定手段による決定に応じて、前記第１の所定の位置にかかる情報を一覧表示し、または／及び、前記第２の所定の位置にかかる情報を前記表示装置の位置姿勢に基づいて決定される位置に表示すべく制御する表示制御手段と、を備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能な仕組みを提供することが可能になる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態における、情報処理システム構成図の一例を示す図である。

【図2】本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。

【図3】本発明の実施形態における、各種装置の機能構成の一例を示す図である。

【図4】本発明の実施形態における、各種装置のモジュール構成の一例を示す処理図である。

【図5】本発明の実施形態における、複合現実画像の生成及び表示処理の一例を示す処理図である。

【図6】本発明の実施形態における、各種データ構成の一例を示す図である。

【図7】本発明の実施形態における、現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す図である。

【図8】本発明の実施形態における、ＨＭＤの方向、角度の例を示す図である。

【図9】本発明の実施形態における、撮影画像の記録処理の流れを示すフローチャートである。

【図10】本発明の実施形態における、処理の概要を示すフローチャートである。

【図11】本発明の実施形態における、共有画像の表示処理の詳細を示すフローチャートである。

【図12】本発明の実施形態における、視点位置の移動処理の詳細を示すフローチャートである。

【図13】本発明の実施形態における、各種データ構成の一例を示す図である。

【図14】本発明の実施形態における、視点移動の様子とＭＲ画像の一例を示す図である。

【図15】本発明の実施形態における、共有画像の表示の一例を示す図である。

【図16】本発明の実施形態における、共有画像の表示の一例を示す図である。

【発明を実施するための形態】

【0014】

図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。

【0015】

図１に示すように、本発明における情報処理システムの各種装置はネットワーク１５０を介して通信可能に接続されている。例えばＰＣ１００は、ＨＭＤ１０１（ＨＭＤ１０１Ａ〜ＨＭＤ１０１Ｃの総称）と通信可能に接続されている。ＨＭＤ１０１は、頭部装着型のディスプレイ（ヘッドマウントディスプレイ）である。

【0016】

ＰＣ１００には、ＨＭＤ１０１により撮影される現実画像に重畳する３次元モデル（ＣＧモデル／仮想オブジェクト／仮想物体）が記憶されている。

【0017】

また、ＰＣ１００は、自機の管理するＨＭＤ１０１（図１におけるＨＭＤ１０１Ａ〜１０１Ｃ）より現実画像を取得して、記憶部に記憶する。また、ＰＣ１００はＨＭＤ１０１の位置姿勢を特定し、記憶する。ＨＭＤ１０１の位置姿勢の特定方法は、特許文献１に記載されている、ＨＭＤ１０１の撮影した現実画像中の二次元マーカを用いて特定可能である。また、特許文献２に記載されている、センサ（図１における光学センサ１０４）がＨＭＤ１０１に設置された光学式マーカの位置姿勢をＨＭＤ１０１の位置姿勢として検出し、それをＰＣ１００が取得することで特定可能である。本実施形態においては、特許文献２に記載の方法用いてＨＭＤ１０１の位置姿勢を特定するものとする。

【0018】

ＰＣ１００では、ＨＭＤ１０１の位置姿勢と、記憶部に記憶されている３次元モデル及び３次元モデルの位置姿勢の情報を用いて、現実画像に３次元モデルを重畳した複合現実画像を生成する。そして、当該複合現実画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する。ＨＭＤ１０１は受信した複合現実画像をディスプレイに表示する。以上が図１の説明である。

【0019】

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。

【0020】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0021】

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。

【0022】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0023】

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２０９）からの入力を制御する。

【0024】

また、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。

【0025】

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ（入力Ｃ）２０５は、ＰＣ１００の備えるディスプレイ２１０（ＣＲＴディスプレイ等）の表示器への表示を制御する。なお、図２では、表示器はＣＲＴディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

【0026】

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

【0027】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学センサ１０４との通信も制御する。

【0028】

汎用バス２１２は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

【0029】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。

【0030】

次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。

【0031】

撮影画像送信部３０１は、カメラで撮影した撮影画像（現実画像）をＰＣ１００に送信する。

【0032】

撮影画像受信部３１１は、撮影画像を受信して随時ＲＡＭ上に記憶する。位置姿勢記憶部３１２は、光学センサにより取得したＨＭＤ１０１の位置姿勢を記憶する。

【0033】

ＭＲ画像生成部３１３は、現実に仮想物体の画像を重畳した重畳画像であるＭＲ画像を生成する。ＭＲ画像送信部３１４は、生成したＭＲ画像をＨＭＤ１０１において表示させるべく出力する。

【0034】

共有画像記憶部３１５は、ＨＭＤ１０１に設置されている不図示のレリーズボタンの押下を受け付けることにより、ＨＭＤ１０１で表示中のＭＲ画像を、レリーズボタン押下時のＨＭＤ１０１の位置姿勢と対応付けて外部メモリに記憶する。レリーズボタンの押下＝表示中のＭＲ画像の撮影及び保存指示である。

【0035】

判定部３１６は、ＨＭＤ１０１にかかる属性と、共有画像の属性とが一致するか判定する。例えば、ＨＭＤ１０１のいる部屋と、共有画像が撮影された部屋とが同じか判定する。

【0036】

決定部３１７は、判定部３１６の判定結果に応じて、各共有画像の表示方法を決定する。例えば、複数ある共有画像のうち、ＨＭＤ１０１のいる部屋と同じ部屋の共有画像を部屋に配置する仮想オブジェクトとして表示する画像として決定し、ＨＭＤ１０１のいる部屋と異なる部屋の共有画像をＨＭＤ１０１に一覧表示する画像として決定する。

【0037】

表示制御部３１８は、ＨＭＤ１０１のいる部屋と同じ部屋の共有画像を仮想オブジェクトとして表示するべく、仮想オブジェクトを作成して位置決定し、対象の共有画像を当該仮想オブジェクトに貼り付けてＭＲ画像を生成する。また、ＨＭＤ１０１のいる部屋と別の部屋の共有画像を表示する一覧表示部の画像を生成して一覧表示部における対象の共有画像の位置を決定する。そして、これらのＭＲ画像及び一覧表示部をＨＭＤ１０１に送信して表示指示し、ＨＭＤ１０１に表示させる。

【0038】

共有画像一覧表示部３０２は、共有画像記憶部３１５に記憶されているＭＲ画像の一覧を選択可能に表示する。

【0039】

ＭＲ画像送信部３１４は、視点移動後のＭＲ画像を生成してＨＭＤ１０１に送信する。

【0040】

ＭＲ画像受信部３０３は、当該ＭＲ画像を受信し、表示部３０４は当該ＭＲ画像を表示する。

【0041】

なお、本実施形態においては、３１１〜３１８の各機能部の備える機能をＰＣ１００が備えているが、例えばこれらの構成をＨＭＤ１０１が備えるよう構成してもよいものとする。以上が図３の説明である。

【0042】

次に図４を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。

【0043】

ＰＣ１００は、オペレーティングシステム４０１（ＯＳ）、グラフィックエンジン４０２、複合現実感プラットフォーム４０３（ＭＲプラットフォームともいう）、複合現実感アプリケーション４０４（ＭＲアプリケーションやビューアアプリケーションともいう）で構成され、ＣＰＵ２０１により制御されている。

【0044】

オペレーティングシステム４０１は、ＨＭＤ１０１の入出力を制御しカメラ２２１から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム４０３へ受け渡す。またグラフィックエンジン４０２で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ２２２へ出力する。

【0045】

グラフィックエンジン４０２は、外部メモリ２１１に記憶されている３次元モデルから描画する画像を生成し、現実画像に重畳し、合成する。描画に利用するエンジンは、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてＯｐｅｎＧＬを利用するものとする。

【0046】

複合現実感プラットフォーム４０３は、光学センサ１０４からＨＭＤに付与された複数の光マーカの位置姿勢を受信することでＨＭＤ１０１の位置姿勢を特定し、現実空間と仮想空間の位置合わせを行う。

【0047】

なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開２００２−３２７８４、特開２００６−０７２９０３、特開２００７−１６６４２７等を用いて実現することが可能である。

【0048】

なお、二次元マーカを使用せずに、ＨＭＤ１０１に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、ＨＭＤ１０１の位置や姿勢を特定して実現することも可能である。

【0049】

複合現実感アプリケーション４０４は、複合現実感プラットフォーム４０３からＨＭＤ１０１の位置姿勢、３次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン４０２に対して、３次元モデルの描画命令を発行する。この時、ＯｐｅｎＧＬのＡＰＩを用いて、描画する３次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図４の説明である。

【0050】

次に図５を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。

【0051】

ＨＭＤ１０１は、不図示のユーザ操作を受け付けることにより、ステップＳ５０１で複合現実アプリケーション起動し、カメラ２２１の機能を用いて現実画像の撮影を開始する（ステップＳ５０２）。そして、撮影処理によって取得した現実画像をＰＣ１００に送信する（ステップＳ５０３）。

【0052】

当該複合現実アプリケーションの起動及び撮影開始は、例えばＰＣ１００におけるユーザ操作を受け付けることによっても実行可能である。

【0053】

ＰＣ１００のＣＰＵ２０１はＨＭＤ１０１より現実画像を受信し（ステップＳ５０４）、受信した現実画像を外部メモリ２１１に記憶する（ステップＳ５０５）。例えば、図６の現実画像テーブル６３０に示すように、現実画像の送信元のＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６３１と、現実画像６３２とを対応付けて記憶する。

【0054】

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢を取得して（ステップＳ５０６）、外部メモリ２１１に記憶する（ステップＳ５０７）。例えば、図６のＨＭＤ情報６１０に示すように、ＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６１１と、当該ＨＭＤの位置６１２（Ｘ，Ｙ，Ｚ座標）、姿勢（方向６１３及び角度６１４）を記憶する。

【0055】

方向６１３及び角度６１４の例を図８に示す。方向６１３は、ＨＭＤ１０１の視線方向である。方向６１３は、図８の８００に示すように、３次元空間のＸＹＺ方向の軸に基づく球８０１上の、視線方向と交差する点のＸＹＺ座標によって示される。

【0056】

角度６１４は、図８の８１０に示すような、ＨＭＤ１０１の左右の傾きの角度である。ＨＭＤ１０１が床面と平行な状態を角度６１４＝０度とする。ＨＭＤ１０１を装着した状態で頭部を左に傾けると＋ｎ度となり、ＨＭＤ１０１を装着した状態で頭部を右に傾けると−ｎ度となる。

【0057】

また、ステップＳ５０７において、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の属する（位置する）フロア（階）とルーム（部屋）の識別情報（ＩＤ）を特定して、フロア６１５、ルーム６１６にそれぞれ記憶する。フロア６１５、ルーム６１６はＨＭＤ１０１を装着したユーザの体験状況の属性情報である。

【0058】

なお、フロア及びルーム自体の位置の情報は、例えば図６の６６０に示す形式でＰＣ１００の外部メモリ２１１に予め記憶されている。フロア６６１はフロアのＩＤである。ルーム６６２はフロア６６１に属する（位置する）部屋のＩＤである。

【0059】

位置６６３は、ルーム６６２の示すルームの頂点位置を複数記憶している。当該頂点を、当該頂点が記憶されている順につなぐことでルームの形状（外枠）が特定可能である。つまり、位置６６３は、ルームの位置及び形状の情報である。当該形状（外枠）によって特定される、当該ルーム形状の内側の位置＝ルームの中である。

【0060】

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置（Ｘ，Ｙ，Ｚ座標）とルームの位置（Ｘ，Ｙ，Ｚ座標）を用いて、ＨＭＤ１０１が現在どのルームの中にあるかを特定し、特定されたＨＭＤ１０１が位置するルーム及びそのルームのフロアのＩＤをフロア６１５、ルーム６１６にそれぞれ記憶するものである。

【0061】

ＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から仮想物体（ここでは３Ｄモデル）の情報を取得し、ＨＭＤ１０１から受信した現実画像に重畳して複合現実画像を生成して（ステップＳ５０８）、ＨＭＤ１０１に送信する（ステップＳ５０９）。

【0062】

３Ｄモデルの情報は、例えば図６のモデル情報６２０に示す情報である（仮想オブジェクト記憶手段に該当）。モデル情報６２０は、予めＰＣ１００の外部メモリ２１１に記憶されている情報である。モデルＩＤ６２１は３Ｄモデルの識別情報である。

【0063】

モデル名６２２は、３Ｄモデルのファイル名である。ファイルパス６２３は、ファイルが記憶されている場所を示す。位置６２４、姿勢（方向６２５、角度６２６）は、３Ｄモデルの位置姿勢を示す。

【0064】

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの現在の位置姿勢から、ＨＭＤ１０１と同じ画角を持つカメラが、モデル情報６２０の位置姿勢の３Ｄモデルを撮影した場合の、当該３Ｄモデルの画像を描画データ６４０として生成する。一例として、レンダリング済みのモデル画像とする。

【0065】

そして、当該描画データを現実画像と合成することで、図６のＭＲ画像テーブル６５０に示すＭＲ画像（複合現実画像）を生成する。ＭＲ画像は、現実に仮想物体の画像を重畳した重畳画像である。

【0066】

図７に現実空間及び仮想空間におけるカメラの様子と、ＭＲ画像の一例を示す。図７において、７００は現実空間、７１０は仮想空間、７２０は現実空間と仮想空間を複合した複合現実空間（ＭＲ空間）である。

【0067】

現実空間７００と仮想空間７１０は、例えば同じ大きさの空間であり、７０３を原点として位置合わせがされている。つまり、現実空間における位置（ＸＹＺ座標）及び姿勢と、仮想空間における位置姿勢は同じである。

【0068】

現実空間７００においてＨＭＤ１０１の位置姿勢が光学センサ１０４によって特定される。７０２は現実物体であり、７００においてはＨＭＤ１０１のカメラ装置によって現実物体７０２の一部が撮影されている。撮影された現実画像（図６の６３２）の一例を７０１に示す。

【0069】

仮想空間７１０において、仮想カメラ７１３は、ＨＭＤ１０１の現実空間上の位置姿勢と同じ仮想空間上の位置姿勢で、仮想空間上に仮想的に配置される。仮想カメラはＨＭＤ１０１ごとに対応づけられて存在する。

【0070】

ＨＭＤ１０１のカメラ装置と仮想カメラ７１３の画角は同じである。ＰＣ１００のＣＰＵ２０１は、仮想カメラ７１３の位置姿勢を、ＨＭＤ１０１の現実空間上の位置姿勢に連動させて変更する。

【0071】

仮想カメラ７１３は、仮想空間７１０の画像（動画）を撮影している。例えば仮想空間７１０には仮想物体７１２が配置されており、ＨＭＤ１０１と同じ位置姿勢の仮想カメラ７１３は、仮想物体７１２を撮影している。７１１は仮想カメラ７１３が仮想空間７１０を撮影した仮想画像であり、７１１における７１２は、描画データ６４０の一例である。

【0072】

ＰＣ１００のＣＰＵ２０１は、現実画像７０１と仮想画像７１１（仮想画像７１１の中の描画データ）を重畳して、ＭＲ画像７２１（複合現実画像）を生成する。

【0073】

また、ＭＲ画像テーブル６５０の、ＭＲ画像を生成するために用いた現実画像の送信元のＨＭＤ（ＨＭＤ ＩＤ６５１）と対応付けて記憶する。その後、ＨＭＤ ＩＤ６５１の示すＨＭＤ１０１に、複合現実画像６５２を送信する（ステップＳ５０９）。

【0074】

ＨＭＤ１０１は、ＰＣ１００から複合現実画像を受信し（ステップＳ５１０）、表示画面に表示する（ステップＳ５１１）。ＨＭＤ１０１及びＰＣ１００は、複合現実アプリケーションの終了指示を受け付けるまで、ステップＳ５０２〜Ｓ５１１の処理を繰り返し実行する。以上が図５の説明である。

【0075】

次に図９を参照して、本発明の実施形態における、撮影画像の記録処理の流れについて説明する。ここでいう撮影画像の記録処理とは、撮影指示を受け付けた時点のＨＭＤ１０１の位置姿勢と撮影画像を記憶する処理である。

【0076】

ステップＳ９０１では、ＰＣ１００のＣＰＵ２０１は指示を受け付け、受け付けた指示がＨＭＤ１０１に表示中のＭＲ画像の撮影・保存指示か判定する。

【0077】

例えば、ＨＭＤ１０１に設置された不図示のレリーズボタンの押下を受け付けた旨の情報をＨＭＤ１０１から受け付け、ＰＣ１００が当該レリーズボタンの押下を検知した場合に、ＨＭＤ１０１に表示中の画像の保存指示を受け付けたと判定する。ここでいう表示中の画像とはサーバ２００によって生成されたＭＲ画像である。

【0078】

ここでは、画像の保存の操作（レリーズボタンの押下）を受け付けたのはＨＭＤ１０１Ａであるものとする。

【0079】

画像の保存指示を受け付けた場合、ＰＣ１００のＣＰＵ２０１は、ステップＳ９０２で保存指示がされた時点でＨＭＤ１０１に表示していた画像を、保存指示がされた時点のＨＭＤ１０１の位置姿勢と対応付けて記憶する。

【0080】

保存指示された画像は、共有画像情報１３００に記憶されることで他のＨＭＤ１０１からも参照可能となる。つまり、複数のＨＭＤ１０１によって共有される共有画像として記憶される（撮影画像記憶手段に該当）。

【0081】

例えば、図１３の共有画像情報１３００に撮影した画像の情報を記憶する。画像ＩＤ１３０１には、ステップＳ９０２で画像の保存指示がされた時点でＨＭＤ１０１に表示していたＭＲ画像を記憶する。撮影者１３０２には、画像の保存指示がされた、画像ＩＤ１３０１の画像を表示していたＨＭＤのＩＤを記憶する。また、画像の撮影日時を、撮影日時１３０６に記憶する。

【0082】

ステップＳ９０３で、ＰＣ１００のＣＰＵ２０１は、当該画像と対応付けて、ＨＭＤ１０１の画像撮影当初の位置姿勢を、共有画像情報１３００の１３０３〜１３０５に記憶する。

【0083】

位置１３０３には、画像の保存指示がされた時点の、撮影者１３０２の示すＨＭＤ１０１の位置を記憶する。

【0084】

方向１３０４、角度１３０５には、画像の保存指示がされた時点の、撮影者１３０２の示すＨＭＤ１０１の向いている方向と、角度を記憶する。

【0085】

また、ステップ９０４で、ＰＣ１００のＣＰＵ２０１は、画像の保存指示がされた時点の、ＨＭＤ１０１の位置するフロアと部屋の識別情報（ＩＤ）を、フロア１３０７、ルーム１３０８に記憶する。以上が図８の説明である。

【0086】

次に図１０を参照して、本発明の実施形態における処理の概要について説明する。

【0087】

ステップＳ１００１で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１に共有画像を表示する表示処理を行う。当該表示所為の詳細については図１１の説明で後述する。

【0088】

ステップＳ１００２で、ＰＣ１００のＣＰＵ２０１は、ユーザ操作により共有画像の選択を受け付ける。

【0089】

ＨＭＤ１０１に一覧表示されている共有画像の場合、例えばＨＭＤ１０１に設置されているボタンを複数回押下することで選択中の共有画像を切り替え、ボタンの長押しを受け付けることで共有画像の選択確定をする。また、仮想空間上の当該共有画像の撮影位置に配置され、ＨＭＤ１０１の位置姿勢に応じてＨＭＤ１０１に表示されている共有画像の場合、例えばＨＭＤ１０１の視線で選択を行う。具体的には、ＨＭＤ１０１の視線方向と交差する共有画像（共有画像が貼り付けられた仮想オブジェクト）を選択し、当該交差している状態が所定時間以上（例：５秒以上）継続した場合に選択確定する。

【0090】

ここでは、当該共有画像の選択を行ったのはＨＭＤ１０１Ｂであるものとする。

【0091】

共有画像の選択決定は、選択された共有画像の撮影位置への視点の移動指示である。

【0092】

ステップＳ１００３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１００２で選択された位置に、ＨＭＤ１０１の仮想空間上の視点位置を移動する処理を行う。視点位置の移動処理の詳細は図１２の説明で後述する。以上が図１０の説明である。

【0093】

次に図１１を参照して、本発明の実施形態における、共有画像の表示処理の詳細について説明する。

【0094】

共有画像の表示処理は、外部メモリに記憶されているＨＭＤ（ＨＭＤを装着したユーザ）の過去の位置を選択及び識別可能に表示する処理である。

【0095】

ステップＳ１１０１で、ＰＣ１００のＣＰＵ２０１は、共有画像の表示指示を受け付ける。例えば、ＨＭＤ１０１に設置された不図示のボタンの押下を受け付け、当該ボタンが押下された旨の情報をＨＭＤ１０１がＰＣ１００に送信し、ＰＣ１００がこれを検知することで共有画像の表示指示を受け付けるものとする。

【0096】

ＰＣ１００のＣＰＵ２０１は、共有画像の表示指示を受け付けた場合にステップＳ１１０１の処理を行う。

【0097】

ステップＳ１１０１で、ＰＣ１００のＣＰＵ２０１は、現在のＨＭＤ１０１のユーザの体験状況の属性を取得する。具体的には、ボタンが押下されたＨＭＤ１０１の現在のフロア６１５、ルーム６１６を取得する。

【0098】

ＰＣ１００のＣＰＵ２０１は、図１３の１３００に記憶された共有画像数分、ステップＳ１１０２〜Ｓ１１０６の処理を繰り返す。つまり、全ての共有画像に対してステップＳ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１１０５又はステップＳ１１０２、Ｓ１１０３、Ｓ１１０６の処理を適用する。

【0099】

ステップＳ１１０２で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０３以下の処理を未適用の（未処理の）共有画像を１３００から１つ取得し、処理中の画像としてＲＡＭ上に記憶する。

【0100】

ステップＳ１１０３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０２で取得した画像の属性と、ステップＳ１１０１で取得したＨＭＤ１０１の体験状況の属性とが一致するか判定する。ここでは、取得した共有画像とＨＭＤが同じルームに位置しているか判定するものとする。

【0101】

ステップＳ１１０３で２つのデータの属性が一致している（共有画像とＨＭＤとが同じルームに位置している）と判定された場合、処理をステップＳ１１０４に移行する。ステップＳ１１０３で２つのデータの属性が一致していない（共有画像とＨＭＤとが同じルームに位置していない）と判定された場合、処理をステップＳ１１０６に移行する。

【0102】

ステップＳ１１０４で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１と同じルームに位置すると判定された共有画像を、ＨＭＤ１０１の位置姿勢に応じてＨＭＤ１０１に表示する共有画像として決定し、ＲＡＭ上に記憶する。

【0103】

ステップＳ１１０５で、ＰＣ１００のＣＰＵ２０１は、外部メモリに予め記憶されているテンプレートの仮想オブジェクト（テンプレートモデル情報１３１０に図示）を取得する。

【0104】

テンプレートの仮想オブジェクトの構成は、モデル情報６２０の構成と同じである。但し、まだ仮想空間に配置されていない状態のであり、モデルＩＤや位置姿勢の情報は未挿入の状態である。

【0105】

ステップＳ１１０５で、ＰＣ１００のＣＰＵ２０１は、追加表示モデル情報１３２０のテーブルを外部メモリに生成して、取得したテンプレートの仮想オブジェクトをコピーし、追加・記憶する。つまり、表示対象の仮想オブジェクトを生成する。

【0106】

追加表示モデル情報１３２０は、ＨＭＤ１０１ごと（ユーザごと）に、ＨＭＤ１０１のＩＤと対応付けて作成・記憶・管理する。追加表示モデル情報１３２０は、モデル情報６２０に加えて、当該追加表示モデル情報１３２０に対応するＨＭＤ１０１（共有画像の表示指示がされたＨＭＤ１０１）のＭＲ画像の生成に用いる仮想オブジェクトを記憶するテーブルである。他のＨＭＤ１０１のＭＲ画像の生成には用いない。

【0107】

なお、追加表示モデル情報１３２０におけるモデルＩＤには、追加表示モデル情報１３２０へのデータの追加時に新規の値を付与する。また、モデルの姿勢は一律同じ値を設定する。

【0108】

ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０４でＲＡＭに記憶した共有画像の位置を取得し、追加表示モデル情報１３２０に追加した仮想オブジェクトの位置として記憶する。そして、画像１３２１に、ステップＳ１１０２で取得した共有画像を記憶する。つまり、共有画像の仮想空間上の位置を決定する。

【0109】

画像１３２１は、当該追加表示モデル情報１３２０に追加した仮想オブジェクトにテクスチャ画像として貼り付ける画像を記憶する記憶部である。

【0110】

ステップＳ１１０６で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１と同じルームに位置しないと判定された共有画像を、ＨＭＤ１０１の共有画像一覧表示部に表示する共有画像として決定し、ＲＡＭ上に記憶する。

【0111】

ＰＣ１００のＣＰＵ２０１は、全ての共有画像に対するＳ１１０２〜Ｓ１１０６の処理を完了すると、処理をステップＳ１１０７に移行する。

【0112】

ステップＳ１１０７で、ＰＣ１００のＣＰＵ２０１は、モデル情報６２０及び追加表示モデル情報１３２０を用いて、ステップＳ１１０１で共有画像の表示指示がされたＨＭＤ１０１のＭＲ画像の生成・表示更新を行う。具体的には、図５のステップＳ５０６以降の処理を順次行い、ステップＳ５０８において、モデル情報６２０だけでなく、追加表示モデル情報１３２０の仮想オブジェクトも用いて描画データの生成及びＨＭＤ１０１の画面における表示位置（描画位置）を決定してＭＲ画像を生成し、ステップＳ５１１まで処理を実行する。

【0113】

また、ステップＳ１１０６で記憶された、ＨＭＤ１０１と同じルームに位置しないと判定された共有画像があるか判定し、ある場合には、当該ＨＭＤ１０１と同じルームに位置しないと判定された共有画像をＨＭＤ１０１に一覧表示する（一覧表示部に各共有画像を配置して表示する）。

【0114】

以降、共有画像の表示を終了する指示を受け付けるまで、共有画像の一覧、又は／及び共有画像を貼り付けた仮想オブジェクトを用いたＭＲ画像の生成・表示処理を継続する。以上が図１１の説明である。

【0115】

ＨＭＤ１０１と同じルームの共有画像のみ記憶されている場合の共有画像の表示（共有画像がテクスチャとして貼り付けられた仮想オブジェクトの表示）の一例を、図１５の１５００に示す。テンプレートの仮想オブジェクトは、１５０５に示す共有画像の撮像位置（具体的には撮影位置から高さ方向において床に向けて垂直に伸ばした線と床が交差する点）を示す部分と、共有画像を貼り付ける１５０１〜１５０４の部分とから成る。１５０１〜１５０４には、ＨＭＤ１０１と同じルームの共有画像が貼り付けられ、ＨＭＤ１０１で表示される。

【0116】

ＨＭＤ１０１と別のルームの共有画像のみ記憶されている場合の共有画像の表示の一例を、図１５の１５１０に示す。一覧表示部１５１１には、ＨＭＤ１０１と別のルームの共有画像が選択可能に一覧表示されている。

【0117】

ＨＭＤ１０１と同じルームの共有画像と、ＨＭＤ１０１と別のルームの共有画像の両方が記憶されている場合の共有画像の表示の一例を図１６の１６００に示す。

【0118】

次に図１２を参照して、本発明の実施形態における、視点位置の移動処理の詳細について説明する。

【0119】

視点位置を移動させるとは、現実空間におけるＨＭＤ１０１の動きと連動して移動・方向転換する仮想空間上の仮想のカメラの位置を、他の仮想空間上の位置に移動させるということである。例えば図１４に示すように、ＨＭＤ１０１に対応する仮想カメラ７１３の位置を、仮想空間において移動させる処理である。

【0120】

現実空間のＨＭＤ１０１の視点が移動するわけではなく、仮想空間上の仮想の視点が移動だけであるため、現実の映像に重畳する仮想物体（ＣＧ）の表示のみが移動先の位置から見た仮想物体の表示に変更されることとなる。共有画像の位置は移動先の候補の位置である。

【0121】

ステップＳ１２０１で、ＰＣ１００のＣＰＵ２０１は、図１０のステップＳ１００２において選択された共有画像の位置姿勢を取得する。具体的には、図１３の共有画像情報１３００から対象の共有画像の位置１３０３、方向１３０４、角度１３０５を取得する。

【0122】

ステップＳ１２０２で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１２０１で取得した位置姿勢情報からＨＭＤ１０１の仮想空間上の位置（視点位置）の移動先の位置を決定する。例えば、当該共有画像の位置１３０３を移動先の位置として決定する。

【0123】

ステップＳ１２０３で、ＰＣ１００のＣＰＵ２０１は、ステップＳ１２０２で決定した移動先の位置に、ＨＭＤ１０１の仮想空間上の視点位置を変更する。つまり、ユーザの視点を指定された共有画像の位置に移動する。

【0124】

ステップＳ１２０４で、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１のカメラが撮像している現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成（重畳）して、ＭＲ画像を生成し、ステップＳ１２０５でＨＭＤ１０１に送信して表示させる。

【0125】

以降、視点位置の移動を解除する操作がされるまで、現在の現実画像と、移動先の仮想空間上の視点位置から見た仮想オブジェクトの画像を合成してＭＲ画像を生成し、ＨＭＤ１０１に表示するものとする。以上が図１２の説明である。

【0126】

視点の移動前後の位置関係及びＭＲ画像の状態を図１４に示す。１４００の１４０１は現実画像である。１４１０は仮想空間上のＨＭＤ１０１の視点位置（仮想カメラ）の移動の様子を示す。１４１１は視点位置の移動前の仮想空間の画像である。１４２０の１４２１は、視点位置移動後のＭＲ画像の一例である。

【0127】

以上説明したように、本発明によれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能な仕組みを提供することができる。

【0128】

例えば、ユーザが装着したＨＭＤの位置する部屋と、共有画像の位置する部屋とに応じて、共有画像の表示方法を変更してユーザに提示することができる。

【0129】

これにより、仮に一覧に表示する共有画像（過去の位置の識別情報）が多い場合であっても、一覧表示部を過剰に拡大してしまいＨＭＤの表示領域を圧迫してしまう危険を低減できる。

【0130】

なお、上述した実施形態においては、図１１のステップＳ１１０３で、ＨＭＤ１０１と共有画像が同じ部屋の中にあるか判定するものとしたが、例えば、ＨＭＤ１０１と共有画像が同じフロアにあるか判定するようしにてもよい。

【0131】

具体的には、ステップＳ１１０３においてＰＣ１００のＣＰＵ２０１が、ステップＳ１１０１で取得したＨＭＤ１０１の位置するフロアと、ステップＳ１１０２で取得した共有画像に対応するフロアとが一致するか判定し、一致する場合は処理をステップＳ１１０４に移行し、一致しない場合は処理をステップ１１０６に移行する。

【0132】

これにより、仮に一覧に表示する共有画像（過去の位置の識別情報）が多い場合であっても、一覧表示部を過剰に拡大してしまいＨＭＤの表示領域を圧迫してしまう危険を低減できる。

【0133】

また、図６の６６０に示す部屋の情報がない場合であっても、フロアの情報さえれば、ユーザと記録済の位置の関係に応じて適切に当該位置の選択部を表示することが可能となる。

【0134】

また、上述した実施形態においては、共有画像として記憶するデータは静止画である画像として説明したが、例えば動画像であってもよい。動画の撮影場所＝動画の撮影が開始された時点（録画開始時点）の撮影者のＨＭＤの位置とする。

【0135】

以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

【0136】

例えば、図２に示すＰＣ１００の構成を全て備えるＨＭＤ１０１が、自機の機能をＣＰＵ２０１で実行して、上述した実施形態においてＰＣ１００の実行するものとして説明した処理の全てを、実行するようにしてもよい。

【0137】

具体的には、ＨＭＤ１０１とＰＣ１００が一体であり、１つ筐体として、ＨＭＤ１０１のＣＰＵ２０１が、ステップＳ５０４〜Ｓ５０９の処理及びその他の図のフローチャートに記載の処理を実行するよう構成してもよい。この場合、ＰＣ１００の機能は各ＨＭＤ１０１に備わり、各ＨＭＤ１０１の記憶装置に、光学センサ１０４から取得された各ＨＭＤ１０１の位置姿勢が記憶されるものとする。

【0138】

なお、上述した実施形態においては、複合現実における視点移動と案内について説明したが、例えば視点移動及び経路案内の表示を、仮想現実や拡張現実の技術を用いて実現するようにしてもよい。

【0139】

また、上述した実施形態においては、現実画像と仮想物体の描画データを重畳することで複合現実画像を生成するものとしたが、例えば透過型（シースルー型）のＨＭＤ１０１を採用し、透過率１００％の現実画像に透過率０％の描画データを重ね合わせてディスプレイに表示し、現実の情報はディスプレイ越しに肉眼で確認できるような複合現実画像を生成・表示するようにしてもよい。

【0140】

また、上述した実施形態においては、ＭＲ画像を生成するものとしたが、例えば仮想世界の画像のみを表示するようにしてもよい。つまり、複合現実ではなく、仮想現実の技術を用いて本発明を実現するようにしてもよい。

【0141】

また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。

【0142】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。

【0143】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

【0144】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

【0145】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0146】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0147】

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0148】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0149】

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0150】

１００ ＰＣ
１０１Ａ ＨＭＤ
１０１Ｂ ＨＭＤ
１０１Ｃ ＨＭＤ
１０３ 光学式マーカ
１０４ 光学センサ
１５０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】