特許 7465133 情報処理装置、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-02

(45)【発行日】2024-04-10

(54)【発明の名称】情報処理装置、情報処理方法

(51)【国際特許分類】

   G06T 15/04 20110101AFI20240403BHJP

   G06F 3/0484 20220101ALI20240403BHJP

【ＦＩ】

G06T15/04

G06F3/0484

【請求項の数】 13

(21)【出願番号】P 2020056622

(22)【出願日】2020-03-26

(65)【公開番号】P2021157458

(43)【公開日】2021-10-07

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】渡辺 貴文

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００８－０３３５３１（ＪＰ，Ａ）

【文献】特表２０２０－５３５５５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／０４

Ｇ０６Ｆ ３／０４８４５

(57)【特許請求の範囲】

【請求項1】

背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成手段と、
現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成手段と、
仮想物体の画像を生成する第３生成手段と
を備え、
前記第３生成手段は、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定する
ことを特徴とする情報処理装置。

【請求項2】

前記第１生成手段は、現実空間に対応する多面体を、該現実空間の距離画像に基づいて生成し、該多面体に該現実空間の色画像をマッピングしたマッピング済み多面体を、前記第１環境マップとして生成することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２生成手段は、前記デバイスの位置を中心とし且つ前記距離に応じたサイズを有する多面体を設定し、該設定した多面体に前記デバイスが取得した移動体の色画像をマッピングしたマッピング済み多面体を、前記第２環境マップとして生成することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記第３生成手段は、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の位置への視線ベクトルの、該位置における反射ベクトルを求める手段と、
前記第２環境マップにおいて前記反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域内であれば、前記第２環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第２環境マップにおいて前記反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域外であれば、前記第１環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項１ないし３の何れか１項に記載の情報処理装置。

【請求項5】

背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成手段と、
移動体を含む現実空間の色画像をマッピングした多面体を第２環境マップとして生成する第２生成手段と、
仮想物体の画像を生成する第３生成手段と
を備え、
前記第３生成手段は、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第１環境マップおよび前記第２環境マップのそれぞれについて補正した補正反射ベクトルと、前記第１環境マップと、前記第２環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理装置。

【請求項6】

前記第１生成手段は、現実空間の色画像を、該現実空間よりも大きいサイズの多面体にマッピングしたマッピング済み多面体を、前記第１環境マップとして生成することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記第２生成手段は、移動体を含む現実空間の色画像を、該現実空間よりも大きいサイズの多面体にマッピングしたマッピング済み多面体を、前記第２環境マップとして生成することを特徴とする請求項５または６に記載の情報処理装置。

【請求項8】

前記第３生成手段は、
前記反射ベクトルを、前記第１環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第１補正反射ベクトルを求める手段と、
前記反射ベクトルを、前記第２環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第２補正反射ベクトルを求める手段と、
前記第２環境マップにおいて前記第２補正反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域内であれば、前記第２環境マップの前記第２補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第２環境マップにおいて前記第２補正反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域外であれば、前記第１環境マップの前記第１補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項５ないし７の何れか１項に記載の情報処理装置。

【請求項9】

前記第３生成手段は、
前記仮想物体の画像を、頭部装着型表示装置によって撮像された現実空間の画像と合成して該頭部装着型表示装置に出力することを特徴とする請求項１ないし８の何れか１項に記載の情報処理装置。

【請求項10】

前記現実空間は、複合現実空間を体感する空間であることを特徴とする請求項１ないし９の何れか１項に記載の情報処理装置。

【請求項11】

情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１生成手段が、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成工程と、
前記情報処理装置の第２生成手段が、現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成工程と、
前記情報処理装置の第３生成手段が、仮想物体の画像を生成する第３生成工程と
を備え、
前記第３生成工程では、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定する
ことを特徴とする情報処理方法。

【請求項12】

情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１生成手段が、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成工程と、
前記情報処理装置の第２生成手段が、移動体を含む現実空間の色画像をマッピングした多面体を第２環境マップとして生成する第２生成工程と、
前記情報処理装置の第３生成手段が、仮想物体の画像を生成する第３生成工程と
を備え、
前記第３生成工程では、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第１環境マップおよび前記第２環境マップのそれぞれについて補正した補正反射ベクトルと、前記第１環境マップと、前記第２環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理方法。

【請求項13】

コンピュータを、請求項１ないし１０の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複合現実空間を提供するための技術に関するものである。

【背景技術】

【0002】

近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）システムの開発が盛んに行われている。ＭＲシステムの研究の進展に伴い、特許文献１や非特許文献１のように現実物体と仮想物体の合成を目的とした、マスキング技術も提案されている。

【0003】

現実空間と仮想空間の融合性を高める方法の一つとして、金属のように表面に光沢がある仮想物体を複合現実空間で提示する際、仮想物体の周囲に存在する現実空間の景色が、仮想物体の表面に反射して映り込む現象の再現が挙げられる。このような映り込みを正確に実現するためには、観察者に提示する複合現実空間の画像の画素に対応するすべての光線の伝播を物理法則に従ってシミュレートするレイトレーシングを利用する方法がある（特許文献２）。しなしながら、レイトレーシングは一般に計算量が大きいことが知られている。

【0004】

映り込みを簡易的に実現する方法として、コンピュータグラフィックの分野では、古くより環境マッピングと呼ばれる方法が取られてきた。環境マッピングは、物体に映り込むと想定される周囲環境の画像を用意し、物体に対してあたかも映り込んでいるかのようにテクスチャマッピングする方法である。特許文献３では、角度を制御できる撮像装置を利用して周囲の動画像を取得し、これを環境マッピングで利用することで映り込みを実現する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００２-１５７６０６号公報

【文献】特許第４９９９７１１号公報

【文献】特開２０１１－１７５５６７号公報

【非特許文献】

【0006】

【文献】林建一，加藤博一，西田正吾，“境界線ベースステレオマッチングを用いた実物体と仮想物体の前後判定”，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，Ｎｏ．３，ｐｐ．３７１－３８０，２００５．

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、一般に環境マッピングは、十分に大きな球体あるいは立方体といった多面体に周囲の様子を映した画像が貼付されていると想定し、観察者の視線が仮想物体の表面で反射した際のベクトル（以下、反射ベクトル）から該画像のどの画素の色と対応付くかを調べる方法であり、あくまで近似である。したがって、現実空間に存在する３次元物体の映り込みを正確に再現することはできず、映り込み位置が本来の位置から大きくずれることがある。本発明では、仮想物体の表面に現実空間の映り込みを実現する場合に、映り込み位置の不正確さを低減させるための技術を提供する。

【課題を解決するための手段】

【0008】

本発明の一様態は、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成手段と、現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成手段と、仮想物体の画像を生成する第３生成手段とを備え、前記第３生成手段は、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定することを特徴とする。

【発明の効果】

【0009】

本発明の構成によれば、仮想物体の表面に現実空間の映り込みを実現する場合に、映り込み位置の不正確さを低減させることができる。

【図面の簡単な説明】

【0010】

【図1】システムの構成例を示すブロック図。

【図2】環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理のフローチャート。

【図3】第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を示す図。

【図4】環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理のフローチャート。

【図5】第１多面体、第２多面体、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を示す図。

【図6】第１多面体、第２多面体、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を示す図。

【図7】システムの構成例を示すブロック図。

【図8】コンピュータ装置のハードウェア構成例を示すブロック図。

【図9】情報処理装置１２００が行う処理のフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

［第１の実施形態］
環境マッピングにおいて、仮想物体における現実空間の映り込みの位置が正確に表現されない主な原因は、主に次の２点である。つまり、計算を省略するために、周囲の空間の形状を球体あるいは立方体などの多面体で近似することと、多面体の大きさを映り込みが発生する物体に対し十分に大きく設定することにある。これらの原因によって、特に仮想物体の近傍の周囲の現実空間の映り込みは誤差が大きくなることが多い。本実施形態を含む以下の各実施形態では、複合現実感において上記問題を低減するために、周囲の現実空間の形状や、現実空間に存在する特定物体までの距離や位置を計測し、この情報を利用して近似の精度を向上させる。

【0013】

本実施形態では、環境マッピングを実施する際の、計算上の想定としての、周囲の現実空間の画像を貼付する多面体の大きさや形状や位置を、現実空間の部屋の大きさや移動体の位置に合わせて設定することで、映り込み位置のずれの軽減を行う。

【0014】

先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＲＧＢ－Ｄセンサ１１００と、ＨＭＤ１０００と、情報処理装置１２００と、を有する。情報処理装置１２００とＨＭＤ１０００との間は、互いにデータ通信が可能なように接続されており、例えば、ＬＡＮやインターネットなどのネットワークを介して接続されている。なお、情報処理装置１２００とＨＭＤ１０００との間の接続形態については特定の接続形態に限らない。例えば、無線であっても良いし有線であっても良い。また、ＨＭＤ１０００と情報処理装置１２００とを一体化させて１つの装置としてもよい。また、情報処理装置１２００とＲＧＢ－Ｄセンサ１１００との間は、互いにデータ通信が可能なように接続されている。情報処理装置１２００とＲＧＢ－Ｄセンサ１１００との間の接続形態についても、特定の接続形態に限らない。

【0015】

先ず、ＲＧＢ－Ｄセンサ１１００について説明する。ＲＧＢ－Ｄセンサ１１００は、現実空間中に配置され、その配置位置からの現実空間の色画像（例えばＲＧＢ画像）および距離画像を取得可能なセンサである。周知の如く、距離画像の各画素の画素値は該距離画像の撮像面からの奥行値を表していることから、該画素は現実空間（３次元空間）における１点（３次元点）に対応することになる。このように、距離画像は、該距離画像における各画素に対応する３次元点の集合（３次元点群）に対応していることから、以下では、距離画像を３次元点群と称する場合がある。

【0016】

なお、本実施形態では、現実空間の色画像および距離画像が取得できるのであれば、その方式は特定の方式に限らない。例えば、「ＲＧＢカメラ」と「Time of Flight方式あるいはアクティブステレオ方式、あるいは位相差検出方式などを利用した深度カメラ」とを組み合わせて、現実空間の色画像および距離画像を取得する方法を採用してもよい。また、ステレオのＲＧＢカメラから距離画像を算出する方法や、単眼のＲＧＢカメラから機械学習などによって距離画像を推定する方法を採用してもよい。

【0017】

次に、ＨＭＤ１０００について説明する。ＨＭＤ１０００は、現実空間と仮想空間とを融合させた複合現実空間をユーザに提供するための頭部装着型表示装置の一例である。ユーザは自身の頭部にＨＭＤ１０００を装着して該ＨＭＤ１０００に表示される画像を観察することで該複合現実空間を体感することができる。

【0018】

撮像部１０１０は、ＨＭＤ１０００を頭部に装着したユーザの視線方向と略一致する視線方向の現実空間の動画像を撮像し、該撮像した動画像の各フレームの色画像（現実空間の撮像画像）は順次、情報処理装置１２００に対して出力される。撮像部１０１０は、単一の撮像センサによって単一画像を取得するものであっても良いし、左眼用及び右眼用の二つの撮像センサによってステレオ画像を取得するものであっても良い。

【0019】

表示部１０２０は、ＨＭＤ１０００を自身の頭部に装着したユーザの眼前に位置するようにＨＭＤ１０００に取り付けられており、情報処理装置１２００から送信される画像や文字を表示する。表示部１０２０は、ステレオ立体視のために、左眼と右眼に個別に表示を行えるよう、左眼用表示部と右眼用表示部とを有する構成であっても良いし、どちらか一方の眼のみに提示する構成でも良い。

【0020】

なお、ＨＭＤ１０００に加えて若しくは代えて撮像機能と表示機能とを有する装置を用いてもよく、そのような装置には、例えば、スマートフォンやタブレット端末装置が適用可能である。

【0021】

次に、情報処理装置１２００について説明する。情報処理装置１２００には、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置などのコンピュータ装置を適用することができる。

【0022】

生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から得られる現実空間の距離画像および色画像に基づいて、仮想物体に対する環境マッピングを実施するために用いる環境マップを生成する。

【0023】

算出部１２２０は、撮像部１０１０から出力された現実空間の撮像画像から、世界座標系（現実空間中における１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における撮像部１０１０（視点）の位置姿勢を求める。本実施形態では、現実空間の撮像画像中に写っている特徴点に基づいて、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）の処理を実施することで、世界座標系における撮像部１０１０の位置姿勢を求める。なお、世界座標系における撮像部１０１０の位置姿勢を取得するための方法には様々な方法があり、特定の方法に限らない。例えば、撮像部１０１０に対する相対的な位置姿勢が既知のセンサをＨＭＤ１０００に取り付け、該センサによる計測値を該相対的な位置姿勢に基づいて変換することで、世界座標系における撮像部１０１０の位置姿勢を求めるようにしても良い。また、モーションキャプチャシステムを利用して、世界座標系における撮像部１０１０の位置姿勢を求めてもよい。

【0024】

レンダリング部１２３０は、周囲環境の映り込みが再現された仮想物体を、生成部１２１０が生成した環境マップに基づいて生成し、該生成した仮想物体を算出部１２２０が求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。

【0025】

合成部１２４０は、撮像部１０１０から出力された現実空間の撮像画像と、レンダリング部１２３０によって生成された仮想物体画像と、を合成した合成画像を複合現実空間の画像として生成する。

【0026】

ここで、現実空間の撮像画像の画像領域における一部もしくは全部に仮想物体画像を合成（重畳）させる場合、現実物体と仮想物体との奥行きを考慮して、物体同士の隠蔽関係を整合させても良い。つまり、撮像画像における現実物体の画像領域において該現実物体よりも視点に近い仮想物体が重なっている部分領域については、仮想物体画像の重畳を許可する。一方、撮像画像における現実物体の画像領域において該現実物体よりも視点から遠い仮想物体が被っている部分領域については仮想物体画像の重畳を禁止する。

【0027】

そして合成部１２４０は、該生成した複合現実空間の画像をＨＭＤ１０００（表示部１０２０）に対して出力する。これにより、ＨＭＤ１０００を自身の頭部に装着したユーザの眼前に、該複合現実空間の画像を提示することができる。

【0028】

次に、視点の位置姿勢に応じた複合現実空間の画像を生成してＨＭＤ１０００に出力するために情報処理装置１２００が行う処理について、図９のフローチャートに従って説明する。なお、図９のフローチャートに従った処理は、１フレーム分の複合現実空間の画像を生成してＨＭＤ１０００に出力するための処理である。よって、実際には、情報処理装置１２００は、図９のフローチャートに従った処理を繰り返すことで、複数フレームの複合現実空間の画像を生成してＨＭＤ１０００に出力する。

【0029】

ステップＳ９０１では、算出部１２２０は、撮像部１０１０から出力された現実空間の撮像画像を取得する。ステップＳ９０２では、算出部１２２０は、ステップＳ９０１で取得した撮像画像から、世界座標系における撮像部１０１０（視点）の位置姿勢を求める。

【0030】

ステップＳ９０３では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から得られる現実空間の距離画像および色画像に基づいて環境マップを生成する。そして、レンダリング部１２３０は、周囲環境の映り込みが再現された仮想物体を、生成部１２１０が生成した環境マップに基づいて生成し、該生成した仮想物体をステップＳ９０２で求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。

【0031】

ステップＳ９０４では、合成部１２４０は、ステップＳ９０１で取得した現実空間の撮像画像と、ステップＳ９０３でレンダリング部１２３０によって生成された仮想物体画像と、を合成した合成画像を複合現実空間の画像として生成する。ステップＳ９０５では、合成部１２４０は、ステップＳ９０４で生成した複合現実空間の画像をＨＭＤ１０００（表示部１０２０）に対して出力する。

【0032】

次に、環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理について、図２のフローチャートに従って説明する。

【0033】

図２のフローチャートにおいてステップＳ２１００およびステップＳ２２００では、ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。よって、ステップＳ２１００およびステップＳ２２００は、該ユーザが該部屋に入る前に前処理として実行される。

【0034】

ステップＳ２１００では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された「ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の距離画像および色画像」を取得する。ここで、一般的なＲＧＢ－Ｄセンサ１１００の視野角では、全周囲の距離画像および色画像を一度に取得することは困難である。よって本実施形態では、ＲＧＢ－Ｄセンサ１１００を様々な方向に向けて全周囲（部屋全体）の撮像を行って、部屋全体の距離画像（部屋全体の３次元点群）および色画像（部屋の全周囲色画像）を取得する。そして生成部１２１０は、このような撮像により得られた部屋全体の距離画像が表す該部屋の形状（部屋全体の３次元点群によって規定される形状）に最もフィットする多面体（直方体、立方体など）を第１多面体として求める。

【0035】

なお、第１多面体を取得する方法は特定の方法に限らない。例えば、ＲＧＢ－Ｄセンサ１１００が取得する距離画像は部屋の一部の距離画像であってもよく、一部の距離画像から構成が困難な第１多面体の面については、他の面の位置姿勢や所定の値を用いて補完しても良い。また、事前に部屋の形状をメジャーなどの計測器で計測しておき、該計測により得られた計測値をもとに、第１多面体を構成してもよい。

【0036】

このような撮像を行った後、本システムのオペレータはＲＧＢ－Ｄセンサ１１００を、「ＨＭＤ１０００を装着して複合現実空間を体感するユーザが部屋内で行動すると推定される領域」を撮像可能な位置および姿勢に移動させる。該移動後のＲＧＢ－Ｄセンサ１１００によって撮像された距離画像および色画像は生成部１２１０に出力される。生成部１２１０は、該距離画像が表す３次元点群が、部屋全体の距離画像が表す３次元点群のどの部分に最も一致するかを特定し、該特定した部分の３次元点群に基づいて、第１多面体に対するＲＧＢ－Ｄセンサ１１００の相対的な位置姿勢（相対位置姿勢）を求める。また生成部１２１０は、第１多面体を規定する各頂点の位置を世界座標系における位置に変換する。この変換では、第１多面体を規定する各頂点の位置（ＲＧＢ－Ｄセンサ１１００の位置姿勢を基準とする座標系における位置）を、世界座標系におけるＲＧＢ－Ｄセンサ１１００の位置姿勢と上記の相対位置姿勢とに基づいて変換する処理が行われる。世界座標系におけるＲＧＢ－Ｄセンサ１１００の位置姿勢の取得方法は特定の取得方法に限らない。例えば、世界座標系における原点の位置にマーカを配置し、このマーカの色画像をＲＧＢ－Ｄセンサ１１００で取得し、それを画像処理することによって自身の世界座標系における位置姿勢を推定しても良い。また、ＲＧＢ－Ｄセンサ１１００にモーションキャプチャなどの位置姿勢センサを取り付けて、自身の世界座標系における位置姿勢を計測しても良い。あるいは、ＲＧＢ－Ｄセンサ１１００にマーカを添付し、それを外部から撮影し、該撮影により得られる画像を画像処理することによって、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置姿勢を推定しても良い。

【0037】

次に、ステップＳ２２００では、生成部１２１０は、ステップＳ２１００でＲＧＢ－Ｄセンサ１１００から取得した全周囲色画像を第１多面体にマッピングしたマッピング済み多面体を、第１環境マップとして生成する。このマッピングでは、第１多面体の各頂点と、全周囲色画像上の画素位置と、を対応付けている。これにより、第１多面体上の着目位置に対応する全周囲色画像上の画素位置を特定することができ、第１多面体上の着目位置に対応する色が、該着目位置に対応する全周囲色画像上の画素位置における画素値（色）であると特定することができる。

【0038】

次に、ステップＳ２３００～ステップＳ２５００では、ＨＭＤ１０００を頭部に装着したユーザを含む現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。ステップＳ２３００～ステップＳ２５００の処理は、仮想物体画像を生成する各フレームについて行ってもよいし、所定の時間間隔で行ってもよい。

【0039】

ステップＳ２３００では生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された距離画像および色画像を取得する。そして生成部１２１０は、該取得した距離画像および色画像の両方若しくは一方を用いた背景差分によって、該色画像におけるユーザの画像領域および該距離画像における該ユーザの領域を特定する。例えば、事前にユーザを含まない現実空間の画像を背景情報として一度取得しておく。そして、その後、ユーザが存在する現実空間の画像と背景情報との差分から、該画像におけるユーザの画像領域を抽出する。この「画像」を色画像として上記の処理を行えば、色画像におけるユーザの画像領域を特定することができ、「画像」を距離画像として上記の処理を行えば、距離画像におけるユーザの画像領域を特定することができる。

【0040】

ステップＳ２４００では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００からユーザまでの距離に基づいて、第２多面体を設定する。例えば、生成部１２１０は、ステップＳ２３００で特定した「距離画像におけるユーザの画像領域」を構成する各画素の画素値のうち最も小さい画素値（ユーザとＲＧＢ－Ｄセンサ１１００との間の最小距離）を距離ｄとして特定する。そして生成部１２１０は、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置を中心とし、一辺が２ｄの立方体を第２多面体として設定する。

【0041】

なお、距離ｄに適用するものは、上記の例に限らず、例えば、ステップＳ２３００で特定した「距離画像におけるユーザの画像領域」を構成する各画素の画素値の平均値を距離ｄとしてもよい。また、「距離画像におけるユーザの画像領域」に対応する３次元点群の領域の一部をセグメンテーションし、このセグメンテーションされた一部の領域の重心（該領域の３次元点群の位置から求める）までの距離であっても良い。また、第２多面体は立方体に限らず、例えば、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置を中心とし、「距離画像におけるユーザの画像領域」に対応する３次元点群の一部若しくは全部を含む多面体であってもよい。

【0042】

ステップＳ２５００では、生成部１２１０は、第２多面体において、「距離画像におけるユーザの画像領域」に対応する領域Ｒに、「色画像におけるユーザの画像領域」をマッピングしたマッピング済み多面体を、第２環境マップとして生成する。第２多面体において領域Ｒを除く他の領域には、「適当な値」を有する画素を有する画像をマッピングする。「適当な値」には、例えば、色画像がαチャンネルを有さない場合は、予め定義されたブランクの値を用いてもよいし、色画像がαチャンネルを有する場合は、α値「０」を用いてもよい。ユーザの画像領域は、環境マップの画像の一部にしか過ぎないため、メモリアクセスの処理時間を省くために画像領域のみを書き換える工夫などを適宜行っても良い。

【0043】

ここで、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を図３に示す。図３では、部屋３０００全体の３次元点群に最もフィットする多面体３０３０が第１多面体として求められており、該多面体３０３０には部屋３０００全体の全周囲色画像がマッピングされており、これが第１環境マップとなる。また、図３では、ＲＧＢ－Ｄセンサ１１００の位置を中心とし且つユーザ３０１０とＲＧＢ－Ｄセンサ１１００との間の最小距離ｄの２倍の距離を一辺とする多面体３０４０が設定されている。多面体３０４０においてユーザの画像領域に対応する領域Ｒには、色画像における該画像領域がマッピングされており、これが第２環境マップとなる。また、ユーザ３０１０の頭部にはＨＭＤ１０００が装着されている。

【0044】

次に、ステップＳ２６００～Ｓ２８００では、第１環境マップおよび第２環境マップを用いて、周囲の現実空間の映り込みを反映させた仮想物体の画像（仮想物体画像）を生成する。ステップＳ２６００～ステップＳ２８００の処理は、仮想物体画像を生成する各フレームについて行う。

【0045】

ステップＳ２６００では、レンダリング部１２３０は先ず、仮想物体を生成して配置する。そしてレンダリング部１２３０は、視点の位置から、仮想物体画像の各画素（着目画素）に対応する仮想空間中の位置への方向ベクトルを視線ベクトルとして求める。そしてレンダリング部１２３０は、それぞれの視線ベクトルについて、仮想物体において該視線ベクトルとの交点位置（仮想物体上の位置）を求め、該交点位置における該視線ベクトルの反射ベクトルを求める。仮想物体は、該仮想物体を規定する規定データ（仮想物体がポリゴンで構成される場合は、該ポリゴンの頂点の位置データ、該ポリゴンの法線データ、該ポリゴンの材質を表すデータ等を含む）を用いて構成される。仮想物体において視線ベクトルとの交点位置が特定されると、該交点位置における法線ベクトルは上記の規定データから取得することができるので、該視線ベクトルおよび該法線ベクトルから周知の計算方法により、対応する反射ベクトルを求めることができる。

【0046】

図３の例では、仮想物体３０２０において視線ベクトル３０５０との交点位置３０６０を求め、該交点位置３０６０における法線ベクトル３０７０と、該視線ベクトル３０５０と、から該視線ベクトル３０５０に対応する反射ベクトル３０８０を求める。図３に示す如く、反射ベクトル３０８０は、多面体３０３０と交差するサイズを有するものとする。

【0047】

ステップＳ２７００では、レンダリング部１２３０は、ステップＳ２６００で求めた反射ベクトルごとに次のような処理を行う。つまりレンダリング部１２３０は、第１環境マップにおいて反射ベクトルとの交点位置を求め、該第１環境マップにおいて該交点位置における画素値（色）を第１色情報として特定する。図３の例では、第１環境マップである多面体３０３０において反射ベクトル３０８０との交点位置３１００を求め、該交点位置３１００における第１環境マップの画素値（色）を第１色情報として特定する。またレンダリング部１２３０は、第２環境マップにおいて反射ベクトルとの交点位置を求め、該第２環境マップにおいて該交点位置における画素値（色）を第２色情報として特定する。図３の例では、第２環境マップである多面体３０４０において反射ベクトル３０８０との交点位置３０９０を求め、該交点位置３０９０における第２環境マップの画素値（色）を第２色情報として特定する。

【0048】

ステップＳ２８００では、レンダリング部１２３０は、反射ベクトルごとに次のような処理を行うことで、仮想物体画像における各画素の画素値（色）を確定する。レンダリング部１２３０は、着目反射ベクトルについてステップＳ２７００で特定した第２色情報が「適用な値」ではない場合（第２環境マップにおいて着目反射ベクトルとの交点位置が、該第２環境マップにマッピングされているユーザの画像領域内である場合）には、着目反射ベクトルに対応する仮想物体画像の画素の画素値を第２色情報に基づいて決定する。一方、レンダリング部１２３０は、着目反射ベクトルについてステップＳ２７００で特定した第２色情報が「適用な値」である場合（第２環境マップにおいて着目反射ベクトルとの交点位置が、該第２環境マップにマッピングされているユーザの画像領域外である場合）には、着目反射ベクトルに対応する仮想物体画像の画素の画素値を第１色情報に基づいて決定する。画素の画素値を第１色情報に基づいて決定する場合であっても第２色情報に基づいて決定する場合であっても、該画素に対応する仮想物体の面のマテリアル情報や環境光などを勘案して、最終的な画素値を決定する。

【0049】

このような処理をそれぞれの視線ベクトルに対応する反射ベクトルについて行うことで、視点から見た仮想物体の画像（仮想物体画像）における各画素の画素値（色）を決定することができる。

【0050】

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。一般的な環境マッピングでは、環境マップに利用する立方体や球体などの多面体に対して、映り込みが発生する仮想物体を十分に大きく設定し、またユーザの視線ベクトルと仮想物体との交点が環境マップの多面体の中心に存在するものと仮定する。これにより、交点での反射ベクトルから、環境マップにおけるどの画素の色を交点における映り込みの色としてサンプリングするかを簡易な計算で求めることができる。

【0051】

本実施形態では、第１の実施形態のように、現実物体の形状や位置に応じて、環境マップに利用する多面体自体の形状や大きさ、位置を変化させるのではなく、反射ベクトルを補正する。これにより、既存の一般的な環境マッピングの仕組みを活用しつつ、映り込み位置の不正確さを低減する。

【0052】

環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理について、図４のフローチャートに従って説明する。

【0053】

図４のフローチャートにおいてステップＳ４０１０～Ｓ４０２０では、ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。よって、ステップＳ４０１０～Ｓ４０２０は、該ユーザが該部屋に入る前に前処理として実行される。

【0054】

ステップＳ４０１０では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された「ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の距離画像および色画像」を取得する。本実施形態では、ＲＧＢ－Ｄセンサ１１００を部屋の中央に配置して様々な方向に向けて全周囲（部屋全体）の撮像を行って、部屋全体の距離画像（部屋全体の３次元点群）および色画像（部屋の全周囲色画像）を取得する。そして生成部１２１０は、部屋に対して十分に大きいサイズの多面体に該全周囲色画像をマッピングすることで第１環境マップを生成する。つまり生成部１２１０は、全周囲色画像がこの多面体に貼付されていると想定し、該多面体の頂点と全周囲色画像の座標とを対応付ける。ステップＳ４０２０では、生成部１２１０は、上記のステップＳ２１００と同様の処理を行うことで、第１多面体を求める。

【0055】

このような撮像を行った後、第１の実施形態と同様、本システムのオペレータはＲＧＢ－Ｄセンサ１１００を、「ＨＭＤ１０００を装着して複合現実空間を体感するユーザが部屋内で行動すると推定される領域」を撮像可能な位置および姿勢に移動させる。

【0056】

次に、ステップＳ４０３０～ステップＳ４０５０では、ＨＭＤ１０００を頭部に装着したユーザを含む現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。ステップＳ４０３０～ステップＳ４０５０の処理は、仮想物体画像を生成する各フレームについて行ってもよいし、所定の時間間隔で行ってもよい。

【0057】

ステップＳ４０３０では、生成部１２１０は、第１の実施形態と同様にして、色画像におけるユーザの画像領域および該距離画像における該ユーザの領域を特定する。

【0058】

ステップＳ４０４０では、生成部１２１０は、部屋に対して十分に大きいサイズの多面体にステップＳ４０３０で色画像から特定したユーザの画像領域をマッピングすることで第２環境マップを生成する。第２環境マップを立方体とすると、その立方体上のどの位置にユーザの画像領域を貼付するかの対応付けが整合的に行われる必要がある。これについては、世界座標系におけるＲＧＢ－Ｄセンサ１１００の向きが規定されていれば、色画像座標が、環境マップ上のどこに位置づくかを一意に決定することができる。なお、多面体においてユーザの画像領域をマッピングしていない領域には、第１の実施形態と同様に、「適当な値」を有する画素を有する画像をマッピングする。ユーザの画像領域は、環境マップの画像の一部にしか過ぎないため、メモリアクセスの処理時間を省くために画像領域のみを書き換える工夫などを適宜行っても良い。ステップＳ４０５０では、生成部１２１０は、上記のステップＳ２４００と同様の処理を行うことで、第２多面体を設定する。

【0059】

ここで、第１多面体、第２多面体、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を図５，６に示す。図５，６において図３に示した要素と同じ要素については同じ参照番号を付しており、該要素に係る説明は省略する。

【0060】

図５では、部屋３０００よりも十分に大きいサイズを有する多面体５０００には部屋３０００全体の全周囲色画像がマッピングされており、これが第１環境マップとなる。図６では、部屋３０００よりも十分に大きいサイズを有する多面体６０００にはステップＳ４０３０で色画像から特定したユーザの画像領域がマッピングされており、これが第２環境マップとなる。

【0061】

次に、ステップＳ４０６０～Ｓ４１１０では、第１環境マップおよび第２環境マップを用いて、周囲の現実空間の映り込みを反映させた仮想物体の画像（仮想物体画像）を生成する。ステップＳ４０６０～ステップＳ４１１０の処理は、仮想物体画像を生成する各フレームについて行う。

【0062】

ステップＳ４０６０でレンダリング部１２３０は第１の実施形態と同様に、仮想物体を生成して配置し、それぞれの視線ベクトルについて、仮想物体において該視線ベクトルとの交点位置（対応位置）を求め、該交点位置における該視線ベクトルの反射ベクトルを求める。図５や図６の例では、仮想物体３０２０において視線ベクトル３０５０との交点位置３０６０を求め、該交点位置３０６０における法線ベクトル３０７０と、該視線ベクトル３０５０と、から該視線ベクトル３０５０に対応する反射ベクトル５０２０を求める。なお、ステップＳ４０６０で求めた反射ベクトルは、後の処理で補正するため、「仮の反射ベクトル」と称する。

【0063】

一般的な環境マッピングにおいては、仮の反射ベクトルを利用して、環境マップから反射色をサンプリングする。しかしながら一般的な環境マップは、環境マップが仮想物体に対して十分に大きいことを想定しており、反射ベクトルは常に環境マップの中心から伸びている（図５のベクトル５０５０参照）と近似することで計算を簡略化している。したがって、本実施形態のように有限の大きさの背景、例えば部屋などの映り込みの場合は、映り込み位置がずれることがある。そこで、以下のステップＳ４０７０～Ｓ４０９０の処理によって、この仮の反射ベクトルを補正して、映り込み位置のずれを補正する。以下では、図５，６を例にとり説明する。また、以下の処理は、それぞれの視線ベクトルについて求めた仮の反射ベクトルについて行う。

【0064】

ステップＳ４０７０では、レンダリング部１２３０は、仮の反射ベクトル５０２０と第１多面体３０３０との交点位置５０３０（第１交点）を求めるとともに、仮の反射ベクトル５０２０と第２多面体３０４０との交点位置６０２０（第２の交点）を求める。

【0065】

ステップＳ４０８０では、レンダリング部１２３０は、第１環境マップである多面体５０００において仮の反射ベクトル５０２０を補正した補正反射ベクトル５０６０を求める。一般的な環境マッピングの仕組みを活用するには、反射ベクトルが多面体５０００の中心位置５０１０より伸びているという前提を壊さないことである。そこで、図５に示す如く、レンダリング部１２３０は、多面体５０００の中心位置５０１０から交点位置３０６０に伸びるベクトル５０７０を求める。そしてレンダリング部１２３０は、中心位置５０１０を始点とし且つ「ベクトル５０７０と反射ベクトル５０２０（交点位置３０６０を始点とし、交点位置５０３０を終点とするベクトル）との合成ベクトル」を、補正反射ベクトル５０６０として求める。図５に示す如く、補正反射ベクトル５０６０は第１環境マップである多面体５０００と交差するサイズを有する。

【0066】

ステップＳ４０９０では、レンダリング部１２３０は、第２環境マップである多面体６０００において仮の反射ベクトル５０２０を補正した補正反射ベクトル６０４０を求める。つまり、図６に示す如く、レンダリング部１２３０は、多面体６０００の中心位置から交点位置３０６０に伸びるベクトル６０３０を求める。そしてレンダリング部１２３０は、該中心位置を始点とし且つ「ベクトル６０３０と反射ベクトル５０２０（交点位置３０６０を始点とし、交点位置６０２０を終点とするベクトル）との合成ベクトル」を、補正反射ベクトル６０４０として求める。図６に示す如く、補正反射ベクトル６０４０は第２環境マップである多面体６０００と交差するサイズを有する。

【0067】

ステップＳ４１００では、レンダリング部１２３０は、第１環境マップである多面体５０００において補正反射ベクトル５０６０との交点位置５０４０を求め、該多面体５０００において該交点位置５０４０における画素値（色）を第１色情報として特定する。またレンダリング部１２３０は、第２環境マップである多面体６０００において補正反射ベクトル６０４０との交点位置６０５０を求め、該多面体６０００において該交点位置６０５０における画素値（色）を第２色情報として特定する。反射ベクトルが環境マップの中心から伸びている場合、環境マップにおいて色情報を取得する点は反射ベクトルの向きだけで決定することができる。

【0068】

ステップＳ４１１０では、レンダリング部１２３０は、着目補正反射ベクトルについてステップＳ４１００で特定した第２色情報が「適当な値」ではない場合には、着目補正反射ベクトルに対応する仮想物体画像の画素の画素値を第２色情報に基づいて決定する。一方、レンダリング部１２３０は、着目補正反射ベクトルについてステップＳ４１００で特定した第２色情報が「適当な値」である場合には、着目補正反射ベクトルに対応する仮想物体画像の画素の画素値を第１色情報に基づいて決定する。

【0069】

［第３の実施形態］
第１，２の実施形態では、ＲＧＢ－Ｄセンサを用いて、環境マップの色画像を取得する取得デバイス（つまり該ＲＧＢ－Ｄセンサ）から現実物体までの距離を直接的に計測している。しかし、環境マップの色画像を取得する取得デバイスと現実物体までの距離を計測することができれば、取得デバイスとして利用可能なデバイスはＲＧＢ－Ｄセンサに限らない。たとえば、色画像の取得デバイスとして広角カメラを用いてもよい。広角カメラは一般にＲＧＢ－Ｄセンサよりも入手性が高く、視野角も広いため、より簡便にシステムを構築・運用できると考えられる。本実施形態では、ＨＭＤの撮像部には複数のカメラもしくは深度センサが搭載されており、ＨＭＤからの深度情報を取得することで、環境マップの色画像を取得する広角カメラと現実物体までの距離情報を取得する場合について説明する。

【0070】

本実施形態に係るシステムの構成例について、図７のブロック図を用いて説明する。本実施形態に係るシステムでは、ＲＧＢ－Ｄセンサ１１００の代わりに広角カメラ７０００を有する。広角カメラ７０００は、ＨＭＤ７０５０や情報処理装置１２００の外部装置として設けられ、ユーザが複合現実空間を体感する空間全体を撮像する。

【0071】

本実施形態に係るＨＭＤ７０５０が有する撮像部７０１０は、該ＨＭＤ７０５０を自身の頭部に装着したユーザの視線と略一致する視線方向の現実空間のステレオ画像を撮像するステレオカメラとして機能する。なお、撮像部７０１０により撮像されるステレオ画像は、仮想物体画像と合成するために利用されるとともに、各画素が奥行値を有する距離画像（深度情報）を生成するためにも利用される。よって、撮像部７０１０は、仮想物体画像と合成するための色画像と、距離画像を生成するために必要な情報と、を取得できれば、ステレオカメラ以外の装置で構成されてもよい。

【0072】

本実施形態に係る情報処理装置１２００が有する生成部７０２０は、撮像部７０１０からのステレオ画像から、「各画素が撮像部７０１０の撮像面からの奥行値を有する距離画像」を生成する。距離画像の生成方法は特定の生成方法に限らない。例えば、ステレオ画像からセミグローバルマッチング法により視差画像を算出し、ステレオ画像を取得した二つのカメラの相対的な位置関係から距離画像を生成する。なお、視差を得る方法は上記の方法に限らず、例えば、ステレオ画像で対応する特徴点やエッジから視差を得ても良いし、機械学習の推論によって視差を得ても良い。

【0073】

本実施形態に係る情報処理装置１２００が有する算出部７０３０は、撮像部７０１０によるステレオ画像から第１の実施形態で説明した方法により、世界座標系における撮像部７０１０の位置姿勢を求める。そして算出部７０３０は、生成部７０２０が生成した距離画像中のユーザの領域を構成する各画素の奥行値（該画素に対応する３次元点の座標）を、世界座標系における撮像部７０１０の位置姿勢を用いて、世界座標系における３次元点の位置に変換する。そして算出部７０３０は、世界座標系における３次元点の位置の重心位置を、世界座標系におけるユーザの位置として求める。そして算出部７０３０は、前記、世界座標系におけるユーザの位置と世界座標における広角カメラ７０００の位置姿勢からユーザと広角カメラ７０００との間の相対的な位置姿勢（相対位置姿勢）を求める。なお広角カメラ７０００の世界座標系における位置姿勢は、事前にメジャーで計測した値を利用しても良いし、広角カメラ７０００にモーションキャプチャなどの位置姿勢センサを取り付けて計測しても良い。あるいは、広角カメラ７０００にマーカを添付し、それを外部から撮影、画像処理をすることによって位置姿勢を推定しても良い。

【0074】

なお、複合現実感を体験する空間において、事前には何も物体が存在しない領域を指定しておくことで、体験中にこの領域に物体を検出した場合、その物体は移動体とみなすことができる。複合現実感においては、ＨＭＤを装着したユーザ自身の頭部や手などの身体が仮想物体へ映り込むことによって、現実空間と仮想空間の融合感がより高まると考えられる。そこで、算出部７０３０では、頭部や手といった特定の現実物体に特化して位置を算出しても良い。頭部位置は、撮像部に対して所定の相対位置に頭部が存在するとみなすことができる。また手の位置については、例えば、手の色を自身に登録しておき、色画像において手の色を有する画像領域を特定し、距離画像において該画像領域に対応する３次元点群の世界座標系における位置の重心位置を手の位置として利用することができる。

【0075】

生成部７０４０は、第１環境マップおよび第２環境マップを生成する。第１環境マップおよび第２環境マップの生成方法は、第１の実施形態で説明した生成方法であってもよいし、第２の実施形態で説明した生成方法であってもよい。

【0076】

なお、本実施形態では、第１多面体に色画像をマッピングすることで第１環境マップを生成する場合、次のような処理を行う。すなわち、ＨＭＤ７０５０の向きを動かすことで部屋全体の距離画像を取得し、該取得した距離画像から、部屋全体の３次元点群に最もフィットする多面体を第１多面体として取得する。そして、該第１多面体に広角カメラ７０００による撮像画像をマッピングすることで第１環境マップを生成する。

【0077】

また、本実施形態では、第２多面体にユーザの画像領域をマッピングすることで第２環境マップを生成する場合には、次のような処理を行う。すなわち、世界座標系におけるユーザの位置と上記の相対位置姿勢とを用いて世界座標系における広角カメラ７０００の位置を求める。そして、上記の相対位置姿勢から得られる「ユーザと広角カメラ７０００との間の距離」を距離ｄとして求める。そして、世界座標系における広角カメラ７０００の位置を中心とし、一辺が２ｄの立方体を第２多面体として設定する。なお、上記のように算出部７０３０が頭部や手といった特定現実物体に特化して位置を算出した場合、この値を利用する。そして、第２多面体に、広角カメラ７０００による撮像画像においてユーザの画像領域を対応する領域にマッピングし、そのほかの領域には「適用な値」を有する画素の画像をマッピングすることで、第２環境マップを生成する。

【0078】

［第４の実施形態］
上記の各実施形態では、ＨＭＤはビデオシースルー型のＨＭＤであるものとして説明したが、光学シースルー方式のＨＭＤであってもよい。後者の場合、合成部１２４０は、仮想物体画像をＨＭＤの表示部に出力することになる。

【0079】

また、上記の各実施形態では、移動体は、ＨＭＤを頭部に装着したユーザであるものとして説明したが、該ユーザに加えて若しくは代えて他の物体を移動体としてもよい。また、移動体は単数であってもよいし、複数であってもよい。なお、「移動体」とは、常に動く物体に限らず、定期的もしくは不定期的に移動する物体であればよい。

【0080】

また、第１の環境マップは、背景用の色画像をマッピングした多面体の一例であり、ユーザが複合現実空間を体感する空間において背景となる場所の色画像をマッピングした多面体であれば、如何なる多面体であってもよい。

【0081】

また、図１，７に示した情報処理装置１２００が有するものとして示した各機能部はハードウェアで実装してもよいし、ソフトウェア（コンピュータプログラム）で実装してもよい。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は情報処理装置１２００に適用することができる。情報処理装置１２００に適用可能なコンピュータ装置のハードウェア構成例について、図８のブロック図を用いて説明する。

【0082】

ＣＰＵ８２００は、ＲＡＭ８４００やＲＯＭ８３００に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ８２００は、コンピュータ装置全体の動作制御を行うとともに、情報処理装置１２００が行うものとして上述した各処理を実行もしくは制御する。

【0083】

ＲＯＭ８３００には、コンピュータ装置の設定データや起動プログラムなどが格納されている。ＲＡＭ８４００は、外部記憶装置８４５０やＲＯＭ８３００からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ８４００は、入力Ｉ／Ｆ８５００を介して外部装置（ＲＧＢ－Ｄセンサ１１００、撮像部１０１０、撮像部７０１０、広角カメラ７０００など）から受信した各種のデータを格納するためのエリアを有する。さらにＲＡＭ８４００は、ＣＰＵ８２００が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８４００は各種のエリアを適宜提供することができる。

【0084】

外部記憶装置８４５０は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置８４５０には、ＯＳ（オペレーティングシステム）や、情報処理装置１２００が行うものとして上述した各処理をＣＰＵ８２００に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。

【0085】

外部記憶装置８４５０に保存されているコンピュータプログラムには、図１，７に示した情報処理装置１２００が有するものとして示した各機能部の機能をＣＰＵ８２００に実行もしくは制御させるためのコンピュープログラムが含まれている。

【0086】

外部記憶装置８４５０に保存されているデータには、仮想物体に関連する上記の規定データ、仮想空間に関連するデータ（仮想空間中に配置される光源を規定するデータなど）、仮想物体画像と共に表示される画像や文字のデータが含まれている。

【0087】

外部記憶装置８４５０に保存されているコンピュータプログラムやデータは、ＣＰＵ８２００による制御に従って適宜ＲＡＭ８４００にロードされ、ＣＰＵ８２００による処理対象となる。

【0088】

入力Ｉ／Ｆ８５００は、外部装置（ＨＭＤ１０００、ＲＧＢ－Ｄセンサ１１００、ＨＭＤ７０５０、広角カメラ７０００など）からのデータ入力を行うための通信インターフェースである。出力Ｉ／Ｆ８６００は、外部装置（ＨＭＤ１０００、ＨＭＤ７０５０など）に対するデータ出力を行うための通信インターフェースである。

【0089】

ＣＰＵ８２００、ＲＯＭ８３００、ＲＡＭ８４００、外部記憶装置８４５０、入力Ｉ／Ｆ８５００、出力Ｉ／Ｆ８６００は何れも、システムバス８１００に接続されている。なお、情報処理装置１２００に適用可能なコンピュータ装置のハードウェア構成は、図８に示した構成に限らず、適宜変形／変更が可能である。

【0090】

なお、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

【0091】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0092】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0093】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0094】

１０００：ＨＭＤ １０１０：撮像部 １０２０：表示部 １１００：ＲＧＢ－Ｄセンサ １２００：情報処理装置 １２１０：生成部 １２２０：算出部 １２３０：レンダリング部 １２４０：合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】