特許 6011567 情報処理装置、その制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011567

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】情報処理装置、その制御方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20161006BHJP

   H04N 5/272 20060101ALI20161006BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/272

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2014-45802(P2014-45802)

(22)【出願日】2014年3月10日

(65)【公開番号】特開2015-170232(P2015-170232A)

(43)【公開日】2015年9月28日

【審査請求日】2015年2月27日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(74)【代理人】

【識別番号】100188938

【弁理士】

【氏名又は名称】榛葉 加奈子

(72)【発明者】

【氏名】向井 利光

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１３−００８２９７（ＪＰ，Ａ）

【文献】 特開２００２−２７１６９４（ＪＰ，Ａ）

【文献】 特開２００２−２７１６９３（ＪＰ，Ａ）

【文献】 特開２００１−１９５６０１（ＪＰ，Ａ）

【文献】 特開２０００−０２３０３７（ＪＰ，Ａ）

【文献】 特開平０６−０２８４４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６２−５／２７５

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

撮像装置と通信可能に接続され、３次元モデルが配置される仮想空間を生成する情報処理装置であって、
現実空間における前記撮像装置の位置及び向きに対応する、前記仮想空間における位置及び向きを記憶する記憶手段と、
現実空間における対象物であって、現実空間を移動する対象物の現在位置を繰り返し取得し、当該取得した現在位置に基づいて、前記仮想空間における前記対象物の現在位置を繰り返し特定する位置特定手段と、
前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間における所定の位置に前記３次元モデルを配置すると共に、前記位置特定手段で特定された前記対象物の現在位置に従って、前記現実空間画像取得手段で取得した現実空間画像を当該仮想空間に配置し、更に前記対象物の移動に応じて、前記配置した現実空間画像を前記位置特定手段で特定した当該対象物の現在位置に移動して配置する配置手段と、
前記配置手段で配置された現実空間画像のサイズを、前記記憶手段に記憶された位置及び向きを視点とした場合の視界の範囲のうち、当該現実空間画像が配置されている現在位置における範囲と略同一のサイズに変更するサイズ変更手段と、
前記サイズ変更手段でサイズ変更された前記現実空間画像と前記３次元モデルとを含む前記仮想空間を、前記記憶手段に記憶された位置及び向きを視点として表示するよう制御する表示制御手段と
を備えることを特徴とする情報処理装置。

【請求項2】

前記配置手段は、前記仮想空間に配置される３次元モデルとの前後関係が表現されるように、前記現実空間画像取得手段で取得した現実空間画像を前記仮想空間に配置することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記配置手段は、前記記憶手段に記憶された位置及び向きを視点とした視線方向に垂直な位置で、かつ前記位置特定手段で特定された前記対象物の現在位置に前記現実空間画像取得手段で取得した現実空間画像を前記仮想空間に配置することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記現実空間画像取得手段は、前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された画像から前記対象物を抽出した現実空間画像を取得することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記現実空間画像取得手段は、前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された画像の所定の色を透過することにより、前記対象物を抽出した現実空間画像を生成することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記配置手段は、前記位置特定手段で特定された前記対象物の現在位置に従って、オブジェクトを前記仮想空間に配置し、当該オブジェクトに前記現実空間画像を貼り付けることで、当該現実空間画像を当該仮想空間に配置することを特徴とする請求項１乃至５に記載の情報処理装置。

【請求項7】

現実空間における撮像装置の位置及び向きに対応する、仮想空間における位置及び向きを記憶する記憶手段を備え、
撮像装置と通信可能に接続され、３次元モデルが配置される仮想空間を生成する情報処理装置の制御方法であって、
前記情報処理装置の位置特定手段が、現実空間における対象物であって、現実空間を移動する対象物の現在位置を繰り返し取得し、当該取得した現在位置に基づいて、前記仮想空間における前記対象物の現在位置を繰り返し特定する位置特定ステップと、
前記情報処理装置の現実空間画像取得手段が、前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得ステップと、
前記情報処理装置の配置手段が、前記仮想空間における所定の位置に前記３次元モデルを配置すると共に、前記位置特定ステップで特定された前記対象物の現在位置に従って、前記現実空間画像取得ステップで取得した現実空間画像を当該仮想空間に配置し、更に前記対象物の移動に応じて、前記配置した現実空間画像を前記位置特定ステップで特定した当該対象物の現在位置に移動して配置する配置ステップと、
前記情報処理装置のサイズ変更手段が、前記配置ステップで配置された現実空間画像のサイズを、前記記憶手段に記憶された位置及び向きを視点とした場合の視界の範囲のうち、当該現実空間画像が配置されている現在位置における範囲と略同一のサイズに変更するサイズ変更ステップと、
前記情報処理装置の表示制御手段が、前記サイズ変更ステップでサイズ変更された前記現実空間画像と前記３次元モデルとを含む前記仮想空間を、前記記憶手段に記憶された位置及び向きを視点として表示するよう制御する表示制御ステップと
を備えることを特徴とする情報処理装置の制御方法。

【請求項8】

現実空間における撮像装置の位置及び向きに対応する、仮想空間における位置及び向きを記憶する記憶手段を備え、
撮像装置と通信可能に接続され、３次元モデルが配置される仮想空間を生成する情報処理装置の制御方法を実行可能なプログラムであって、
前記情報処理装置を、
現実空間における対象物であって、現実空間を移動する対象物の現在位置を繰り返し取得し、当該取得した現在位置に基づいて、前記仮想空間における前記対象物の現在位置を繰り返し特定する位置特定手段と、
前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間における所定の位置に前記３次元モデルを配置すると共に、前記位置特定手段で特定された前記対象物の現在位置に従って、前記現実空間画像取得手段で取得した現実空間画像を当該仮想空間に配置し、更に前記対象物の移動に応じて、前記配置した現実空間画像を前記位置特定手段で特定した当該対象物の現在位置に移動して配置する配置手段と、
前記配置手段で配置された現実空間画像のサイズを、前記記憶手段に記憶された位置及び向きを視点とした場合の視界の範囲のうち、当該現実空間画像が配置されている現在位置における範囲と略同一のサイズに変更するサイズ変更手段と、
前記サイズ変更手段でサイズ変更された前記現実空間画像と前記３次元モデルとを含む前記仮想空間を、前記記憶手段に記憶された位置及び向きを視点として表示するよう制御する表示制御手段
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置により撮像された現実空間上の対象物を含む現実空間画像を仮想空間に配置する仕組みにおいて、対象物が現実空間を移動したとしても、撮像装置から見た対象物の大きさと、仮想空間に設定される視点から見た現実空間画像に含まれる対象物の大きさとが略同一になるよう、現実空間画像のサイズを変更することの可能な仕組みを提供することの可能な情報処理装置、その制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、映像において被写体の背景を変更する技術が考えられている。この技術の一つとしてクロマキー合成という技術が存在する。これは、均質な色（例えば、青や緑）の背景の前で被写体を撮像し、撮像により得られた映像において当該均質な色を透過する。そして、背景としたい他の映像に透過した映像を重畳することで、被写体の背景を変更する仕組みである。

【0003】

下記の特許文献１では、このクロマキー合成に関する技術が開示されている。クロマキー合成では２つの映像を重畳するため、下の映像の一部が隠れてしまう問題がある。そこで下記の特許文献１では、透過されない被写体の部分を半透明にすることで、被写体によって下の映像が隠れることのないようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平７−２２２１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、従来ヘッドマウントディスプレイ（ＨＭＤ）やスマートフォンで撮像した現実の世界（以下、現実空間）の画像に、コンピュータで生成された仮想の世界（以下、仮想空間）の画像を重畳させて、ＨＭＤやスマートフォンの画面に表示する技術が存在する。例えば、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲ）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術などがある。

【0006】

このＭＲ技術では、複合現実感を高めるために、ユーザの位置及び姿勢をリアルタイムに取得し、現実空間を撮像した画像の変化に追従させて仮想空間の画像を生成し、ＨＭＤを通じてユーザに対してリアルタイムに表示する必要がある。そのため、ＭＲ技術では、センサ等によって計測したユーザの位置及び姿勢を仮想空間での仮想の位置及び姿勢として設定し、この設定に基づいて仮想空間の画像をＣＧにより描画し、現実空間の画像と合成している。この技術により、ユーザはあたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

【0007】

このＭＲ技術により複合現実感を体験している様子を撮像したいことがある。しかしながら、現実空間でＨＭＤを装着しているユーザを撮像したとしても、当該ユーザと現実空間が撮像されるだけで、仮想空間に存在する３次元モデルのオブジェクト等を含めて撮像することはできない。

【0008】

そこで前述したクロマキー合成を用いる方法が考えられる。すなわち、以下のような方法である。複合現実感を体験する部屋を青や緑といった均質な色にし、ＨＭＤを装着しているユーザを撮像する。そして、撮像した画像（映像）において当該均質な色を透過し、現実空間を撮像した位置に相当する仮想空間の位置から見た画像と重畳する。例えば、図１２に示すような形態である。図１２の１２０１は現実空間を撮像した現実空間画像であり、１２０２は仮想空間を撮像した仮想空間画像である。これらを重畳することで、１２０３に示すように複合現実感を体験しているユーザと同じ仮想空間を含めた画像を生成できる。

【0009】

しかしながら、この方法では仮想空間におけるユーザの位置を適切に表現することができない問題がある。図１２のユーザ１２０５はオブジェクト１２０４よりも手前に表示されているが、正しくは図９の９００に示すようにユーザはオブジェクトよりも後ろに表示されなければならない。ユーザは仮想空間を自由に歩き回ることができるため、仮想空間におけるユーザの位置を考慮しないと、図１２の１２０３に示すような不自然な画像となってしまう。

【0010】

本発明は、撮像装置により撮像された現実空間上の対象物を含む現実空間画像を仮想空間に配置する仕組みにおいて、対象物が現実空間を移動したとしても、撮像装置から見た対象物の大きさと、仮想空間に設定される視点から見た現実空間画像に含まれる対象物の大きさとが略同一になるよう、現実空間画像のサイズを変更することの可能な仕組みを提供することの可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記の目的を達成するために本発明の情報処理装置は、撮像装置と通信可能に接続され、３次元モデルが配置される仮想空間を生成する情報処理装置であって、撮像装置と通信可能に接続され、３次元モデルが配置される仮想空間を生成する情報処理装置であって、現実空間における前記撮像装置の位置及び向きに対応する、前記仮想空間における位置及び向きを記憶する記憶手段と、現実空間における対象物であって、現実空間を移動する対象物の現在位置を繰り返し取得し、当該取得した現在位置に基づいて、前記仮想空間における前記対象物の現在位置を繰り返し特定する位置特定手段と、前記撮像装置で前記対象物を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間における所定の位置に前記３次元モデルを配置すると共に、前記位置特定手段で特定された前記対象物の現在位置に従って、前記現実空間画像取得手段で取得した現実空間画像を当該仮想空間に配置し、更に前記対象物の移動に応じて、前記配置した現実空間画像を前記位置特定手段で特定した当該対象物の現在位置に移動して配置する配置手段と、前記配置手段で配置された現実空間画像のサイズを、前記記憶手段に記憶された位置及び向きを視点とした場合の視界の範囲のうち、当該現実空間画像が配置されている現在位置における範囲と略同一のサイズに変更するサイズ変更手段と、前記サイズ変更手段でサイズ変更された前記現実空間画像と前記３次元モデルとを含む前記仮想空間を、前記記憶手段に記憶された位置及び向きを視点として表示するよう制御する表示制御手段とを備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、撮像装置により撮像された現実空間上の対象物を含む現実空間画像を仮想空間に配置する仕組みにおいて、対象物が現実空間を移動したとしても、撮像装置から見た対象物の大きさと、仮想空間に設定される視点から見た現実空間画像に含まれる対象物の大きさとが略同一になるよう、現実空間画像のサイズを変更することの可能な仕組みを提供することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態におけるＭＲシステムのシステム構成の一例を示す図である。

【図2】第１の情報処理装置１０１のハードウェア構成の一例を示す図である。

【図3】第２の情報処理装置１０５のハードウェア構成の一例を示す図である。

【図4】第１の情報処理装置１０１、第２の情報処理装置１０５の機能構成の一例を示す図である。

【図5】本発明の実施形態における一連の処理の流れの一例を示すフローチャートである。

【図6】現実空間画像から抽出したユーザとは異なる領域に透過色を設定する様子を示す図である。

【図7】ＨＭＤ位置・姿勢７００、客観カメラ位置・姿勢７１０を示す図である。

【図8】客観カメラ１０６の位置・姿勢とユーザの位置とに応じてテクスチャが配置された仮想空間を示す図である。

【図9】図８に示す仮想空間を仮想カメラ８０４から閲覧した場合を示す図である。

【図10】図８とは異なる位置にユーザが移動した場合の仮想空間を示す図である。

【図11】図１０に示す仮想空間を仮想カメラ８０４から閲覧した場合を示す図である。

【図12】誤った位置関係で画像データが生成されてしまう一例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本発明の実施形態の一例について説明する。

【0015】

図１は、本発明の実施形態におけるＭＲシステムのシステム構成の一例を示す図である。ＭＲシステムは、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲ）をユーザに提供するシステムである。ＭＲシステムは、第１の情報処理装置１０１、ＨＭＤ１０２、光学式センサ１０４、第２の情報処理装置１０５、客観カメラ１０６（撮像装置）とを含む。第１の情報処理装置１０１にＨＭＤ１０２と光学式センサ１０４と第２の情報処理装置１０５とが接続されており、第１の情報処理装置１０１はこれらと相互にデータ通信可能に有線または無線で接続されている。また、第２の情報処理装置１０５に客観カメラ１０６が接続されており、第２の情報処理装置１０５はこれと相互にデータ通信可能に有線または無線で接続されている。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

【0016】

第１の情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。第１の情報処理装置１０１は、現実空間の画像（以下、現実空間画像）と、仮想空間の画像（以下、仮想空間画像）とを重畳した画像（以下、複合現実画像）を生成し、ＨＭＤ１０２に送信する。ＭＲの技術に関しては従来技術を用いるため、詳細な説明は省略する。

【0017】

ＨＭＤ１０２は、いわゆるヘッドマウントディスプレイである。ＨＭＤ１０２は、ユーザの頭部に装着するディスプレイ装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０２は、ＨＭＤ１０２のビデオカメラで撮像された現実空間画像を第１の情報処理装置１０１に送信する。そして、第１の情報処理装置１０１から送信されてきた複合現実画像を受信し、ディスプレイに表示する。更に、右目用と左目用のビデオカメラとディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０２で撮像する現実空間画像、及び表示する複合現実画像は、動画が望ましいが、所定の間隔で撮像された静止画であってもよい。

【0018】

光学式センサ１０４は、現実空間を撮像し、光学式マーカ１０３の位置及び姿勢を検出する装置である。本実施形態では、光学式センサ１０４はＨＭＤ１０２が備える光学式マーカ１０３を検出し、ＨＭＤ１０２の位置及び姿勢を特定する。どのような状況下でも光学式マーカ１０３を検出できるように、光学式センサ１０４を部屋の中に複数設置することが望ましい。尚、本実施形態では光学式センサ１０４とＨＭＤ１０２が備える光学式マーカ１０３とを用いてＨＭＤ１０２の位置及び姿勢を示す情報を取得するが、ＨＭＤ１０２の位置及び姿勢が検出できればどのような形態でも構わない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０２で撮像された映像を解析して位置及び姿勢を特定してもよい。

【0019】

第２の情報処理装置１０５は、オペレーティングシステムを搭載する汎用的な装置である。第２の情報処理装置１０５は、第１の情報処理装置１０１が管理している仮想空間と同じ仮想空間を管理している。また、第１の情報処理装置１０１から取得したＨＭＤ１０２の位置を示す情報に応じて、客観カメラ１０６で撮像された現実空間画像を仮想空間に配置する。

【0020】

客観カメラ１０６は、現実空間を撮像する装置である。客観カメラ１０６で撮像した現実空間画像は、第２の情報処理装置１０５に送信する。尚、本実施形態においては、現実空間画像は動画が望ましいが、所定の間隔で撮像された静止画であってもよい。また、本実施形態における客観カメラ１０６は、単眼のカメラであり、更に所定の位置に固定されている。

【0021】

図２は、第１の情報処理装置１０１のハードウェア構成を示す図である。尚、図２の第１の情報処理装置１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

【0022】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0023】

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

【0024】

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0025】

また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。

【0026】

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０２が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

【0027】

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

【0028】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学式センサ１０４との通信も制御する。

【0029】

汎用バス２０９は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

【0030】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0031】

本発明の第１の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

【0032】

図３は、第２の情報処理装置１０５のハードウェア構成を示す図である。尚、図３の第２の情報処理装置１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

【0033】

第２の情報処理装置１０５のハードウェア構成は、図２で前述した第１の情報処理装置１０１のハードウェア構成と同様であるので、同じ箇所については説明を省略する。第１の情報処理装置１０１とは異なり、第２の情報処理装置１０５のビデオコントローラ２０６には、右目・左目ディスプレイ２２２が接続されていない。また、第２の情報処理装置１０５の通信Ｉ／Ｆコントローラ２０８には、光学式センサ１０４が接続されていない。更には、第２の情報処理装置１０５の汎用バス２０９には、右目・左目ビデオカメラ２２１が接続されておらず、客観カメラ１０６が接続されている。

【0034】

図４は、第１の情報処理装置１０１、第２の情報処理装置１０５の機能構成を示す機能構成図である。尚、図４の第１の情報処理装置１０１、第２の情報処理装置１０５の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

【0035】

第１の情報処理装置１０１は機能部として、通信制御部４０１、ＨＭＤ位置・姿勢取得部４０２、ＨＭＤ現実空間画像取得部４０３、仮想空間画像取得部４０４、複合現実画像生成部４０５、仮想空間管理部４０６、表示制御部４０７を備えている。

【0036】

通信制御部４０１は、第１の情報処理装置１０１と通信可能なＨＭＤ１０２と光学式センサ１０４と第２の情報処理装置１０５との各種情報の送受信を行う機能部である。通信制御部４０１は、前述したビデオコントローラ２０６、通信Ｉ／Ｆコントローラ２０８、汎用バス２０９等を通じてこれらの装置と情報の送受信を行う。

【0037】

ＨＭＤ位置・姿勢取得部４０２は、ＨＭＤ１０２の現実空間における位置及び姿勢を示す情報を光学式センサ１０４から取得する機能部である。ＨＭＤ現実空間画像取得部４０３は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１から現実空間画像を取得する機能部である。

【0038】

仮想空間画像取得部４０４は、第１の情報処理装置１０１で生成する仮想空間の画像を取得する機能部である。仮想空間画像取得部４０４が仮想空間の画像を取得する場合には、ＨＭＤ位置・姿勢取得部４０２で取得したＨＭＤ１０２の位置及び姿勢に基づいて仮想空間上の視点を決定し、当該視点から見た場合の仮想空間画像を生成し、これを取得する。

【0039】

複合現実画像生成部４０５は、ＨＭＤ現実空間画像取得部４０３で取得した現実空間画像に仮想空間画像取得部４０４で取得した仮想空間画像を重畳することにより、複合現実画像を生成する機能部である。

【0040】

仮想空間管理部４０６は、第１の情報処理装置１０１において仮想空間を生成し、当該仮想空間に３次元モデルから成るオブジェクトを配置する機能部である。仮想空間管理部４０６で使用する各オブジェクトは、第１の情報処理装置１０１の外部メモリ２１１等に記憶されており、これらを適宜読み出して仮想空間を生成する。

【0041】

表示制御部４０７は、第１の情報処理装置１０１に接続されたＨＭＤ１０２の右目・左目ディスプレイ２２２や第１の情報処理装置１０１に接続されたディスプレイ２１２における各種情報の表示制御を行う機能部である。

【0042】

また、第２の情報処理装置１０５は機能部として、通信制御部４５１、客観カメラ位置・姿勢取得部４５２、客観カメラ現実空間画像取得部４５３、透過処理部４５４、テクスチャ生成部４５５、ＨＭＤ位置取得部４５６、オブジェクト配置部４５７、テクスチャ制御部４５８、表示制御部４５９、仮想空間管理部４６０を備えている。

【0043】

通信制御部４５１は、第２の情報処理装置１０５と通信可能な第１の情報処理装置１０１と客観カメラ１０６との各種情報の送受信を行う機能部である。通信制御部４０１は、前述した通信Ｉ／Ｆコントローラ２０８、汎用バス２０９等を通じてこれらの装置と情報の送受信を行う。

【0044】

客観カメラ位置・姿勢取得部４５２は、客観カメラ１０６が設置されている現実空間上の位置及び姿勢を示す情報を取得する機能部である。本実施形態においては、客観カメラ１０６は所定の場所に固定されているので、あらかじめ外部メモリ２１１等に客観カメラ１０６の位置及び姿勢を示す情報を記憶されている。よって、客観カメラ位置・姿勢取得部４５２は、この記憶された情報を取得する。または、客観カメラ現実空間画像取得部４５３で取得した現実空間画像に含まれる情報に基づいて、客観カメラ１０６が設置されている位置及び姿勢を特定し、これを取得してもよい。この場合には、図１に示すような二次元マーカ１０７を仮想空間の所定の座標と対応付けておき、客観カメラ１０６の撮像範囲の床や壁等に当該二次元マーカ１０７を設置する。そして、客観カメラ１０６から取得した現実空間画像に含まれる二次元マーカ１０７の大きさや形状、対応付けた座標等に基づいて、二次元マーカ１０７との位置関係を算出し、客観カメラ１０６の位置及び姿勢を特定する。

【0045】

客観カメラ現実空間画像取得部４５３は、客観カメラ１０６から現実空間画像を取得する機能部である。

【0046】

透過処理部４５４は、客観カメラ現実空間画像取得部４５３で取得した現実空間画像に含まれる所定の色を透過する機能部である。例えば、現実空間の背景色を青にした場合、現実空間画像に含まれる画素のうち、青色の画素の透過度（アルファ値）を「０」にする。尚、透過度は必ずしも「０」である必要はないが、完全に透過させることで、本願発明の効果をより向上することができる。また、透過する色は複数色あってもよいし、色味や濃さによって透過する対象の色に幅を持たせてもよい。

【0047】

テクスチャ生成部４５５は、仮想空間に配置される平面の３次元モデル（オブジェクト）に貼り付け可能なテクスチャを生成する機能部である。テクスチャ生成部４５５は、透過処理部４５４で指定色が透過処理された現実空間画像をテクスチャとして生成する。

【0048】

ＨＭＤ位置取得部４５６は、ＨＭＤ１０２の現実空間における位置を示す情報を第１の情報処理装置１０１から取得する機能部である。尚、本実施形態においては第１の情報処理装置１０１から取得する形態で説明を行うが、光学式センサ１０４と通信Ｉ／Ｆコントローラ２０８とを接続し、光学式センサ１０４からＨＭＤ１０２の位置を示す情報を直接取得してもよい。

【0049】

オブジェクト配置部４５７は、テクスチャ生成部４５５で生成したテクスチャを貼り付けるオブジェクトの位置を決定し、決定した位置に平面のオブジェクトを配置する機能部である。オブジェクト配置部４５７は、客観カメラ位置・姿勢取得部４５２で取得した客観カメラ１０６の位置及び姿勢を示す情報とＨＭＤ位置取得部４５６で取得したＨＭＤ１０２の位置を示す情報とを用いて、仮想空間上における客観カメラ１０６の光軸に垂直かつＨＭＤ１０２の位置を通る平面のオブジェクトを配置する。

【0050】

テクスチャ制御部４５８は、オブジェクト配置部４５７で配置したオブジェクトにテクスチャ生成部で生成されたテクスチャを貼り付ける機能部である。貼り付ける際には、テクスチャの中心点を、仮想空間上における客観カメラ１０６の光軸が通る位置に貼り付ける。また、仮想空間管理部４６０が客観カメラ１０６の位置・姿勢に応じて仮想空間上の視点を制御し、当該制御された視点から仮想空間を閲覧した場合の閲覧範囲を満たすように、テクスチャ制御部４５８がテクスチャのサイズを変更する。

【0051】

表示制御部４５９は、仮想空間管理部４６０が客観カメラ１０６の位置及び姿勢に応じて仮想空間上の視点を制御し、当該制御された視点から閲覧した仮想空間をディスプレイ２１２に表示制御する機能部である。

【0052】

仮想空間管理部４６０は、第２の情報処理装置１０５において第１の情報処理装置１０１と同様の仮想空間を生成し、当該仮想空間に第１の情報処理装置１０１と同様の３次元モデルから成るオブジェクトを配置する機能部である。仮想空間管理部４０６で使用する各オブジェクトは、第２の情報処理装置１０５の外部メモリ２１１等に記憶されており、これらを適宜読み出して仮想空間を生成する。そのため、あらかじめ第１の情報処理装置１０１から仮想空間を生成するための各種情報を外部メモリ２１１に複製しておくことが望ましい。

【0053】

次に、本発明の実施形態における第１情報処理装置１０１、第２の情報処理装置１０５によって行われる一連の処理について、図５に示すフローチャートを用いて説明する。

【0054】

まず、第１の情報処理装置１０１における処理の流れについて説明する。第１の情報処理装置１０１は、ＨＭＤ１０２を装着するユーザに対して複合現実感を提示する。特に、本実施形態においては、ユーザは所定の色（青や緑等）の壁や床や天井、その他設置物から成る部屋でＨＭＤ１０２を装着し、複合現実感を体感することを前提として、以下説明を行う。

【0055】

ステップＳ５０１では、第１の情報処理装置１０１のＣＰＵ２０１は、光学式センサ１０４からＨＭＤ１０２の位置及び姿勢を示す情報を、ＨＭＤ位置・姿勢取得部４０２を用いて取得し、ＲＡＭ２０３等に記憶する。すなわちステップＳ５０１では、現実空間でＨＭＤ１０２を装着しているユーザの位置及び姿勢を示す情報を取得している。ＨＭＤ１０２の位置及び姿勢を示す情報は、例えば図７のＨＭＤ位置・姿勢７００に示す通りである。現実空間の所定の場所を原点とした場合のＸＹＺ座標と、当該ＸＹＺ座標を用いたベクトルである。この２つをＨＭＤ１０２の位置及び姿勢とする。尚、ＨＭＤ１０２の位置及び姿勢を示す情報の取得方法は、これに限らない。磁気センサや二次元マーカを用いてＨＭＤ１０２の位置及び姿勢を特定してもよい。現実空間における対象物の位置及び姿勢を示す情報の取得方法は従来技術であるので、説明は省略する。

【0056】

ステップＳ５０２では、第１の情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０１で取得したＨＭＤ位置・姿勢７００のうち、ＨＭＤ１０２の位置を示す情報を、通信制御部４０１を用いて第２の情報処理装置１０５に送信する。

【0057】

ステップＳ５０３では、第１の情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１から送信される現実空間画像を、ＨＭＤ現実空間画像取得部４０３を用いて取得し、ＲＡＭ２０３等に記憶する。右目・左目ビデオカメラ２２１はユーザの右目に相当するビデオカメラと左目に相当するビデオカメラとの２つが存在するため、これらから右目用と左目用の現実空間画像を取得する。

【0058】

ステップＳ５０４では、第１の情報処理装置１０１のＣＰＵ２０１は、仮想空間画像取得部４０４を用いて仮想空間画像を取得し、ＲＡＭ２０３等に記憶する。より具体的には、まずステップＳ５０１で取得したＨＭＤ位置・姿勢７００をＲＡＭ２０３等から読み出し、当該ＨＭＤ位置・姿勢７００に対応する仮想空間上の位置及び姿勢を特定する。そして、特定した仮想空間上の位置及び姿勢で仮想空間上に仮想のカメラ（視点）を設置し、当該カメラにより仮想空間を撮像する。これにより仮想空間画像を生成する。尚、前述した現実空間画像と同様に、ＨＭＤ１０２の右目・左目ディスプレイ２２２のそれぞれに表示するために右目用の仮想空間画像と左目用の仮想空間画像の２枚を取得する。

【0059】

ステップＳ５０５では、第１の情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で取得した現実空間画像とステップＳ５０４で取得した仮想空間画像とをＲＡＭ２０３等から読み出す。そして、複合現実画像生成部４０５を用いて当該現実空間画像に当該仮想空間画像を重畳し、複合現実画像を生成する。生成した複合現実画像はＲＡＭ２０３等に記憶する。尚、前述した通り、現実空間画像と仮想空間画像とは右目用と左目用の２枚ずつがＲＡＭ２０３等に記憶されているので、右目用の現実空間画像に右目用の仮想空間画像を重畳し、左目用の現実空間画像に左目用の仮想空間画像を重畳する。また、前述した通り本実施形態では、後述するステップＳ５１０を実行する都合上、現実空間の部屋の壁等は所定の色（青や緑等）になっている。よって、当該所定の色が見えないような仮想空間画像を重畳することが望ましい。すなわち、バーチャルリアリティのように現実空間が見えないほうが、より没入感が高くなる。

【0060】

ステップＳ５０６では、第１の情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０５で生成した複合現実画像をＲＡＭ２０３等から読み出し、ビデオコントローラ２０６を通じてＨＭＤ１０２の右目・左目ディスプレイ２２２に表示する。ＲＡＭ２０３等に記憶された複合現実画像は、右目用と左目用の２枚が存在する。そのため表示制御部４０７を用いて、右目用の複合現実画像を右目・左目ディスプレイ２２２の右目のディスプレイに表示するよう制御し、左目用の複合現実画像を右目・左目ディスプレイ２２２の左目のディスプレイに表示するよう制御する。

【0061】

ステップＳ５０７では、第１の情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２を装着しているユーザに複合現実感を提示する処理（前述したステップＳ５０１乃至ステップＳ５０６）の終了指示があったか否かを判定する。例えば、前述したステップＳ５０１乃至ステップＳ５０６の処理を実行する第１の情報処理装置１０１のアプリケーションの停止指示や終了指示があったか否かを判定する。終了指示があったと判定した場合には、本一連の処理を終了する。終了指示があったと判定しなかった場合、すなわち終了指示がなかった場合にはステップＳ５０１に処理を戻し、終了指示があるまでステップＳ５０１乃至ステップＳ５０７を繰り返す。

【0062】

次に、第１の情報処理装置１０１とは非同期で動作する第２の情報処理装置１０５の処理について説明する。

【0063】

ステップＳ５０８では、第２の情報処理装置１０５のＣＰＵ２０１は、通信制御部４５１を用いて、ステップＳ５０２において第１の情報処理装置１０１から送信されたＨＭＤ１０２の位置を示す情報（位置情報）を受信し、ＲＡＭ２０３等（記憶手段）に記憶する。本実施形態では、ＨＭＤ１０２の位置を示す情報を第１の情報処理装置から受信することで取得するが、客観カメラ１０６が複眼カメラであった場合には、三角測量により客観カメラ１０６からＨＭＤ１０２に対する距離を取得し、客観カメラ１０６の位置及び姿勢を示す情報を用いて、ＨＭＤ１０２の位置を算出してもよい。

【0064】

ステップＳ５０９では、第２の情報処理装置１０５のＣＰＵ２０１は、第２の情報処理装置１０５に接続された客観カメラ１０６で現実空間を撮像することにより生成された現実空間画像を、客観カメラ現実空間画像取得部４５３を用いて取得し、ＲＡＭ２０３等に記憶する（現実空間画像取得手段）。前述した通り、客観カメラ１０６は本実施形態では単眼カメラであるので、ＨＭＤ１０２のような複眼カメラとは異なり、出力される画像（または映像）は１つである。

【0065】

ステップＳ５１０では、第２の情報処理装置１０５のＣＰＵ２０１は、ステップＳ５０９で取得した現実空間画像をＲＡＭ２０３等から読み出し、透過処理部４５４を用いて当該現実空間画像の所定の色（青や緑等）を透過する（透過処理手段）。現実空間画像は、ＨＭＤ１０２を装着するユーザ以外の部分は所定の色となっているため、この所定の色のアルファ値を変更することで現実空間画像の所定の色を透過する。こうすると、ユーザだけを現実空間画像から抽出できる。図６はステップＳ５１０の概要を示している。図６の６００は、ステップＳ５０９で取得した現実空間画像である。この現実空間画像にはＨＭＤ１０２を装着したユーザ６０１が含まれており、床や壁や天井等はステップＳ５１０で透過処理される所定の色である。この現実空間画像に対してステップＳ５１０の処理を実行すると、所定の色が透過されるので、６１０に示す通りの現実空間画像となる。すなわち、ユーザ以外の床や壁や天井等が透過された画像となる。

【0066】

ステップＳ５１１では、第２の情報処理装置１０５のＣＰＵ２０１は、ステップＳ５１０で透過した現実空間画像を用いて仮想空間で表示可能なテクスチャを生成する（テクスチャ生成手段）。テクスチャとは、３次元モデルから成るオブジェクトの表面に貼り付ける模様である。テクスチャ生成部４５５を用いて現実空間画像からこのテクスチャを生成する。

【0067】

ステップＳ５１２では、第２の情報処理装置１０５のＣＰＵ２０１は、客観カメラ１０６の位置及び姿勢を示す情報（位置姿勢情報）を、客観カメラ位置・姿勢取得部４５２を用いて取得する。前述した通り、本実施形態では外部メモリ２１１等（記憶手段）に客観カメラ１０６の位置及び姿勢を示す情報が記憶されているので、これを取得するものとする。尚、前述した通り、客観カメラ１０６の位置及び姿勢を取得する方法はこれに限らない。すなわち、現実空間の壁等に貼り付けられた二次元マーカ１０７を客観カメラ１０６で撮像することにより、当該客観カメラ１０６の位置及び姿勢を特定してもよいし、これ以外の方法で特定してもよい。客観カメラ１０６の位置及び姿勢を示す情報は、例えば図７の客観カメラ位置・姿勢７１０に示す通りである。客観カメラ位置・姿勢７１０は、ＨＭＤ位置・姿勢７００と同様の情報であるため、説明は省略する。

【0068】

ステップＳ５１３では、第２の情報処理装置１０５のＣＰＵ２０１は、仮想空間における客観カメラ１０６の光軸を、仮想空間管理部４６０を用いて特定する。すなわち、ステップＳ５１２で取得した客観カメラ位置・姿勢７１０に対応する仮想空間上の位置及び姿勢を特定し、当該位置及び姿勢で仮想空間を撮像した場合の光軸のベクトルを特定する。

【0069】

ステップＳ５１４では、第２の情報処理装置１０５のＣＰＵ２０１は、ステップＳ５０８で受信したＨＭＤ１０２の位置を示す情報をＲＡＭ２０３等から読み出す。

【0070】

ステップＳ５１５では、第２の情報処理装置１０５のＣＰＵ２０１は、オブジェクト配置部４５７を用いて、ステップＳ５１３で特定した客観カメラ１０６の仮想空間上における光軸に垂直で、かつステップＳ５１４で読み出したＨＭＤ１０２の位置を通る平面のオブジェクトを生成し、配置する（オブジェクト配置手段）。

【0071】

ステップＳ５１６では、第２の情報処理装置１０５のＣＰＵ２０１は、テクスチャ制御部４５８を用いて、ステップＳ５１５で配置したオブジェクトにステップＳ５１１で生成したテクスチャを貼り付ける（テクスチャ貼付手段）。貼り付ける際には、客観カメラ１０６の仮想空間上における光軸がテクスチャの中心点を通るように貼り付ける。

【0072】

ステップＳ５１７では、第２の情報処理装置１０５のＣＰＵ２０１は、テクスチャ制御部４５８を用いて、ステップＳ５１６で貼り付けたテクスチャのサイズをディスプレイ２１２に表示する仮想空間の範囲に応じて変更する（テクスチャサイズ変更手段）。すなわち、仮想空間を撮像する仮想のカメラの撮像範囲と同等のサイズにテクスチャを拡大または縮小する。テクスチャの位置が仮想のカメラ（客観カメラ１０６の現実空間上の位置・姿勢に対応する仮想空間上の視点）に近ければ近いほどテクスチャのサイズを縮小し、テクスチャの位置が仮想のカメラから遠ければ遠いほどテクスチャのサイズを拡大することになる。

【0073】

客観カメラ１０６で撮像した現実空間画像において、すでに被写体であるユーザの遠近感は表現されている。しかしながら、仮想空間上においても遠近感が存在するので、テクスチャのサイズを変更しないと遠近感が単純に２倍となる。つまり、客観カメラ１０６が捉えた遠近感を崩さないためにも、テクスチャの位置が仮想カメラに近ければテクスチャを縮小して仮想空間上の遠近感を相殺し、テクスチャの位置が仮想カメラから遠ければテクスチャを拡大して仮想空間上の遠近感を相殺している。

【0074】

ステップＳ５１８では、第２の情報処理装置１０５のＣＰＵ２０１は、ステップＳ５１２で取得した客観カメラ位置・姿勢７１０をＲＡＭ２０３等から読み出し、当該客観カメラ位置・姿勢７１０に応じて仮想空間上に仮想のカメラ（視点）を設定し、当該カメラから見た仮想空間を撮像する。これにより仮想空間画像を生成し、ＲＡＭ２０３等に記憶する。

【0075】

ステップＳ５１９では、第２の情報処理装置１０５のＣＰＵ２０１は、ステップＳ５１８で撮像した仮想空間画像をＲＡＭ２０３等から取得し、ビデオコントローラ２０６を介してディスプレイ２１２に当該仮想空間画像を表示する（表示手段）。

【0076】

ステップＳ５２０では、第２の情報処理装置１０５のＣＰＵ２０１は、ＨＭＤ１０２を装着しているユーザが仮想空間を移動する様子を表示する処理（前述したステップＳ５０８乃至ステップＳ５１８）の終了指示があったか否かを判定する。例えば、前述したステップＳ５０８乃至ステップＳ５１８の処理を実行する第２の情報処理装置１０５のアプリケーションの停止指示や終了指示があったか否かを判定する。終了指示があったと判定した場合には、本一連の処理を終了する。終了指示があったと判定しなかった場合、すなわち終了指示がなかった場合にはステップＳ５０８に処理を戻し、終了指示があるまでステップＳ５０８乃至ステップＳ５１９を繰り返す。

【0077】

図８から図１１を用いて、ステップＳ５０８乃至ステップＳ５１９の処理の一例を説明する。

【0078】

図８の斜視イメージ８００は、ステップＳ５０８乃至ステップＳ５１７の処理を実行した結果の仮想空間を示す図である。この仮想空間には３次元モデルから成るオブジェクト８０１、オブジェクト８０２、オブジェクト８０３が配置されている。また、客観カメラ１０６の位置及び姿勢に応じて仮想空間上に仮想のカメラ８０４が設置されている。当該仮想のカメラ８０４を視点とした映像がディスプレイ２１２に表示される。

【0079】

ステップＳ５１３では、客観カメラ１０６の光軸を仮想空間上で特定する。すなわち、光軸８０５が客観カメラ１０６の光軸である。この光軸に垂直で、かつＨＭＤ１０２の位置を通る平面のオブジェクトがオブジェクト８０６である。上面イメージ８１０に示すように、光軸８０５に垂直で、かつＨＭＤ１０２の位置８１１を通る平面がオブジェクト８０６である。

【0080】

そして、オブジェクト８０６には図６の６１０に示す透過された現実空間画像のテクスチャをオブジェクト８０６に貼り付けて（ステップＳ５１６）、仮想のカメラ８０４の撮像範囲８０７となるよう、貼り付けた現実空間画像のサイズを変更する（ステップＳ５１７）。図８に示す撮像範囲８０７が示す４つの線分を含む内側の空間が仮想のカメラ８０４の撮像可能な範囲である。この範囲を満たすよう、現実空間画像のサイズを調整する。このようにすることで、オブジェクト８０２とオブジェクト８０３との間に、テクスチャの貼り付けられたオブジェクト８０６が配置されるので、仮想のカメラ８０４で撮像すると、図９の仮想空間画像９００が示すような画像がディスプレイ２１２に表示されることとなる。仮想空間画像９００は、前述した図１２の１２０３の画像とは異なり、適切な奥行き位置にＨＭＤ１０２を装着するユーザ６０１を配置することができている。

【0081】

ＨＭＤ１０２を装着するユーザ６０１が移動すれば、オブジェクト８０６の位置も変わる。図１０に示す斜視イメージ１０００は、ユーザ６０１がオブジェクト８０１とオブジェクト８０２との間に移動した場合を示す。客観カメラ１０６は固定なので、仮想のカメラ８０４の位置及び姿勢は変わらない。そのため、光軸８０５や撮像範囲８０７は図８と同じである。ＨＭＤ１０２を装着するユーザ６０１が、上面イメージ１０１０の１０１１が示す位置に移動すると、オブジェクト８０６は１００１に示す位置に移動する。そのため、この仮想空間を仮想のカメラ８０４で撮像すると、図１１の仮想空間画像１１００が示すような画像がディスプレイ２１２に表示されることとなる。図１１の仮想空間画像１１００に映るユーザ６０１が、オブジェクト８０１とオブジェクト８０２との間に位置していることが確認できる。

【0082】

このように、通常のクロマキー合成では表現できない奥行きを、現実空間画像のテクスチャと仮想空間とを用いることにより表現することができるようになる。

【0083】

以上説明したように、本実施形態によれば、現実空間のユーザを撮像することにより生成される画像を仮想空間上の適切な位置に表示することの可能な効果を奏する。

【0084】

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0085】

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

【0086】

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

【0087】

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

【0088】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

【0089】

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

【0090】

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

【0091】

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

【0092】

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0093】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

【0094】

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0095】

１０１ 第１の情報処理装置
１０２ ＨＭＤ
１０３ 光学式マーカ
１０４ 光学式センサ
１０５ 第２の情報処理装置
１０６ 客観カメラ
１０７ 二次元マーカ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 汎用バス
２１０ 入力デバイス
２１１ 外部メモリ
２１２ ディスプレイ
２２１ 右目・左目ビデオカメラ
２２２ 右目・左目ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】