特開 2022-92738 ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092738

(43)【公開日】2022-06-23

(54)【発明の名称】ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220616BHJP

   G06F 3/04815 20220101ALI20220616BHJP

   G06F 3/01 20060101ALI20220616BHJP

【ＦＩ】

G06T19/00 A

G06F3/0481 150

G06F3/01 510

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020205619

(22)【出願日】2020-12-11

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】蔡 仲智

(72)【発明者】

【氏名】林 郁文

(72)【発明者】

【氏名】▲ユー▼ ▲ティン▼文

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050GA08

5E555AA26

5E555AA63

5E555AA76

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555BC08

5E555BE17

5E555CA42

5E555CB48

5E555DA08

5E555DB53

5E555DC13

5E555DC21

5E555DC43

5E555DC60

5E555DD06

5E555EA07

5E555EA08

5E555EA09

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法を提供する。
【解決手段】方法は、現実環境において建築空間を走査することにより生成されるシーン画像を取得しＳ２１０、シーン画像において、現実環境内の現実オブジェクトであるタグを識別しＳ２３０、シーン画像に基づき、建築空間内のタグの位置関係を判定しＳ２５０タグの位置関係に基づき、建築空間に対応する仮想環境内の仮想壁を生成するＳ２７０。
【効果】仮想壁は、建築空間内のタグの位置から延伸するため、建築空間全体を走査することなく、完全な仮想環境を生成することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

建築空間の仮想環境を構築するための方法であって、
現実環境においてシーン画像を取得することであって、前記シーン画像が建築空間を走査することにより生成されることと、
前記シーン画像内のタグを識別することであって、前記タグが現実環境における現実オブジェクトであることと、
前記シーン画像に基づき、前記建築空間内の前記タグの位置関係を判定することと、
前記タグの前記位置関係に基づき、前記建築空間に対応する仮想環境内の仮想壁を生成することであって、前記仮想壁が前記建築空間内の前記タグの位置から延伸することと
を含む、
方法。

【請求項2】

ユーザの頭に装着可能であり、前記ユーザの周囲の現実環境を走査する、ヘッドマウントディスプレイシステムであって、
前記現実環境における建築空間を走査することにより、シーン画像を撮像する、画像撮像装置と、
前記画像撮像装置に結合され、
前記画像撮像装置からの前記シーン画像内のタグを識別することであって、前記タグが前記現実環境における現実オブジェクトであることと、
前記シーン画像に基づき、前記建築空間内の前記タグの位置関係を判定することと、
前記タグの前記位置関係に基づき、前記建築空間に対応する仮想環境内の仮想壁を生成することであって、前記仮想壁が前記建築空間内の前記タグの位置から延伸することと
を行うよう構成された、プロセッサと
を含む、
ヘッドマウントディスプレイシステム。

【請求項3】

前記タグの前記位置関係が、対向方向と、前記シーン画像が撮像された少なくとも１つの走査位置に対する相対位置とを含み、前記仮想環境内に仮想壁を生成するステップが、
前記対向方向と前記相対位置とに基づき、前記仮想壁の深度情報を生成することと、
前記仮想壁の前記深度情報と、前記現実環境内の少なくとも１つの第２の現実オブジェクトの深度情報とに基づき、前記仮想環境を構築することであって、前記少なくとも１つの第２の現実オブジェクトが前記建築空間内に存在することと
を含む、
請求項１に記載の方法、
又は、
前記タグの前記位置関係が、対向方向と、前記シーン画像が撮像された少なくとも１つの走査位置に対する相対位置とを含み、前記プロセッサが、
前記対向方向と前記相対位置とに基づき、前記仮想壁の深度情報を生成することと、
前記仮想壁の前記深度情報と、前記現実環境内の少なくとも１つの第２の現実オブジェクトの深度情報とに基づき、前記仮想環境を構築することであって、前記少なくとも１つの第２の現実オブジェクトが前記建築空間内に存在することと
を行うよう構成された、
請求項２に記載のヘッドマウントディスプレイシステム。

【請求項4】

前記タグがパターンを有し、前記タグの前記位置関係を判定するステップが、
前記パターンの前記対向方向と前記相対位置とを識別すること
を含む、
請求項３に記載の方法、
又は、
前記タグがパターンを有し、前記プロセッサが、
前記パターンの前記対向方向と前記相対位置とを識別する
よう構成された、
請求項３に記載のヘッドマウントディスプレイシステム。

【請求項5】

前記仮想環境内に前記仮想壁を生成するステップが、
前記タグの前記位置関係に基づき、前記仮想環境から、前記仮想壁の１つの側に位置する少なくとも１つの第１の仮想オブジェクトを取り除くこと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記タグの前記位置関係に基づき、前記仮想環境から、前記仮想壁の１つの側に位置する少なくとも１つの第１の仮想オブジェクトを取り除く
よう構成された、
請求項２に記載のヘッドマウントディスプレイシステム。

【請求項6】

前記仮想壁の縁が、前記仮想環境の少なくとも１つの第２の仮想オブジェクトと重なり、前記少なくとも１つの仮想オブジェクトが、少なくとも１つの第３の現実オブジェクトに対応し、前記少なくとも１つの第３の現実オブジェクトが、壁、床、又は天井である、
請求項１に記載の方法、
又は、
請求項２に記載のヘッドマウントディスプレイシステム。

【請求項7】

前記仮想壁が固定延伸距離を有し、前記仮想壁が第２のタグに基づき更に延伸し、前記第２のタグが前記現実環境におけるもう１つの現実オブジェクトであり、前記仮想壁が前記第２のタグの位置から延伸する、
請求項１に記載の方法、
又は、
請求項２に記載のヘッドマウントディスプレイシステム。

【請求項8】

前記タグが前記現実環境における第４の現実オブジェクトに位置し、前記仮想壁が前記現実環境における前記第４の現実オブジェクトに対応する第３の仮想オブジェクトに垂直である、
請求項１に記載の方法、
又は、
請求項２に記載のヘッドマウントディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、世界環境シミュレーションに関するものであり、特に、ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法に関するものである。

【背景技術】

【0002】

仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）といった、感覚、知覚、及び／又は環境をシミュレートするためのＸＲ技術は、最近人気が高まっている。前記技術は、ゲーム、軍事訓練、医療、遠隔操作等といった、複数の分野に応用することができる。

【0003】

ユーザにシミュレートされた環境を現実環境のように感じさせるため、現実環境の空間が、現実環境のように見えるシミュレートされた環境を生成するため走査される。

【0004】

しかし、プライバシー、都合、又は難易度といった理由のため、ユーザによっては空間全体を走査することを欲しない可能性がある。例えば、シミュレートされた環境は複数のユーザに共有される可能性があるが、あるユーザの床に積まれた物品のいくつかは、他のユーザに見せることができない。もう１つの例として、部屋が大きすぎ、部屋全体を走査するには長時間を要する可能性がある。ユーザがいくつかの領域の走査を無視した場合、シミュレートされた環境は一部を欠くか、シミュレートされた環境は生成されることができない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

シミュレートされた環境は、単に建築空間の一部を走査することにより構築されることができない。従って、本発明は、ユーザが無視したい領域を伴わずに完全な仮想環境を構築するための、ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法を対象とする。

【課題を解決するための手段】

【0006】

例示的な実施形態の１つにおいて、建築空間の仮想環境を構築するための方法は、以下のステップを含むが、これに限定されない。現実環境においてシーン画像が取得される。シーン画像は、建築空間を走査することにより生成される。シーン画像内のタグが識別される。タグは、現実環境内の現実オブジェクトである。建築空間内のタグの位置関係が、シーン画像に基づき判定される。建築空間に対応する仮想環境内の仮想壁が、タグの位置関係に基づき生成される。仮想壁は、建築空間内のタグの位置から延伸する。

【0007】

例示的な実施形態の１つにおいて、ヘッドマウントディスプレイシステムは、画像撮像装置とプロセッサとを含む。ヘッドマウントディスプレイシステムはユーザの頭に装着可能であり、ユーザの周囲の現実環境を走査するために用いられる。画像撮像装置は、現実環境において１以上のシーン画像を撮像するために用いられる。プロセッサは画像撮像装置に結合される。プロセッサは、画像撮像装置からのシーン画像内のタグを識別し、シーン画像に基づき建築空間内のタグの位置関係を判定し、タグの位置関係に基づき建築空間に対応する仮想環境内の仮想壁を生成する。タグは、現実環境内の現実オブジェクトである。仮想壁は、建築空間内のタグの位置から延伸する。

【発明の効果】

【0008】

上記を鑑み、ヘッドマウントディスプレイシステム及び建築空間の仮想環境を構築するための方法によると、現実環境において現実タグが提供され、シーン画像からタグの画像識別結果が、仮想環境内の仮想壁を生成するために用いられる。仮想壁は現実環境から走査されるが、ユーザの配置に基づき生成される。このため、建築空間内のいくつかの領域は仮想環境において無視され、仮想環境はユーザが定義した壁を用いて完成される。

【0009】

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

【図面の簡単な説明】

【0010】

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

【0011】

【図1】図１は、本発明の例示的な実施形態の１つによるヘッドマウントディスプレイシステムを表すブロック図である。

【0012】

【図2】図２は、本発明の例示的な実施形態の１つによる、建築空間の仮想環境を構築するための方法を表すフロー図である。

【0013】

【図3】図３Ａ～３Ｃは、タグに基づく仮想壁生成を表す概略図である。

【0014】

【図4】図４は、仮想壁を伴う仮想環境を表す概略図である。

【発明を実施するための形態】

【0015】

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

【0016】

図１は、本発明の例示的な実施形態の１つによるヘッドマウントディスプレイ（ＨＭＤ）システム１００を表すブロック図である。図１を参照し、ＨＭＤシステム１００は、メモリ１１０と、ディスプレイ１２０と、画像撮像装置１３０と、プロセッサ１５０とを含むが、これに限定されない。ＨＭＤシステム１００は、ＸＲ又は他の現実シミュレーション関連技術に適合される。

【0017】

メモリ１１０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記デバイスの組合せの如何なる種類であってもよい。メモリ１１０は、プログラムコード、デバイス設定、バッファデータ、又は（シーン画像、位置関係、深度情報、又は仮想オブジェクト素材といった）永続的データを記録し、これらデータについては後に紹介する。

【0018】

ディスプレイ１２０は、ＬＣＤ、ＬＥＤディスプレイ、又はＯＬＥＤディスプレイであることができる。

【0019】

画像撮像装置１３０は、モノクロカメラ又はカラーカメラといったカメラ、深層学習対応カメラ、ビデオレコーダ、又は画像を撮像できるその他の画像センサであってよい。１つの実施形態において、画像撮像装置１３０は、外部を撮像するため、ヘッドマウントディスプレイシステム１００の本体に設けられる。例えば、ユーザがヘッドマウントディスプレイシステム１００を装着したとき、画像撮像装置１３０はユーザの目の前方の位置にあってよい。いくつかの実施形態において、ヘッドマウントディスプレイシステム１００は、深度センサ、ＴＯＦ（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）カメラ、又は外部オブジェクトの深度又は距離情報を取得することのできる他のセンサを更に含んでよい。

【0020】

プロセッサ１５０は、メモリ１１０と、ディスプレイ１２０と、画像撮像装置１３０とに結合される。プロセッサ１５０は、本発明の例示的な実施形態の手順を実行するため、メモリ１１０に格納されたプログラムコードを読み込むよう構成される。

【0021】

いくつかの実施形態において、プロセッサ１３０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、グラフィックスプロセッシングユニット（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、プロセッサ１５０の動作はソフトウェアにより実装されてもよい。

【0022】

１つの実施形態において、ＨＭＤ又はデジタルメガネは、メモリ１１０と、ディスプレイ１２０と、画像撮像装置１３０と、プロセッサ１５０とを含む。いくつかの実施形態において、プロセッサ１５０は、ディスプレイ１２０及び／又は画像撮像装置１３０と同一の装置に設けられなくてよい。ただし、ディスプレイ１２０、画像撮像装置１３０、プロセッサ１５０をそれぞれ搭載する機器は、互いにデータを送受信するため、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線無線通信といった、互換性のある通信技術を有する通信トランシーバ、又は物理的な伝送路を更に含んでよい。例えば、画像撮像装置１３０がＨＭＤの外に設けられるのに対し、プロセッサ１５０はＨＭＤ内に設けられてよい。もう１つの例として、ディスプレイ１２０が演算装置の外に設けられるのに対し、プロセッサ１５０は演算装置内に設けられてよい。

【0023】

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、ＨＭＤシステム１００の動作処理を詳述するため、いくつかの実施形態を以下に例示する。システム１００内のデバイスとモジュールは、ここで提供される仮想環境を構築するための方法を説明するための、下記の実施形態において適用される。方法の各ステップは実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

【0024】

図２は、本発明の例示的な実施形態の１つによる、建築空間の仮想環境を構築するための方法を表すフロー図である。図２を参照し、プロセッサ１５０は、画像撮像装置１３０を介し、現実環境における１以上のシーン画像を取得してよい（ステップＳ２１０）。具体的には、ユーザがＨＭＤシステム１００を頭に装着していると仮定する。ユーザはＨＭＤシステム１００を移動又は回転させてよく、これにより、（部屋又はオフィス等といった）建築空間を走査するため、画像撮像装置１３０はＨＭＤシステム１００の姿勢に対応する方向に向かい撮像してよい。（部屋又はオフィス等といった）現実環境において画像撮像装置１３０により撮像された画像は、本発明の実施形態においてシーン画像と呼ばれるが、これに限定されない。プロセッサ１５０は、ＨＭＤシステム１００の本体が、（互いに直交するｘ、ｙ、又はｚ軸において１５、２０、又は３０度といった）特定の角度回転する毎に、又は、ある時間間隔が過ぎる毎に、シーン画像を撮像するため画像撮像装置１３０をトリガーしてよい。例えば、３６０度仮想環境の構築について、各シーン画像の視角が、隣接するシーン画像から１５度離れていると仮定する。ユーザはＨＭＤシステム１００で水平に３６０度回転を行ってよく、画像撮像装置１３０から２４のシーン画像が得られる。

【0025】

プロセッサ１５０は、シーン画像内のタグを識別してよい（ステップＳ２３０）。具体的には、タグは、現実環境における紙又はプラスチック皿といった現実オブジェクトである。タグは、１以上のパターンで描かれるか、印刷されるか、貼り付けられる。パターンは１次元又は２次元のバーコード、テキスト、１以上のシンボル、特定の形状、またはこれらの組合せであることができる。ユーザは、建築空間内の如何なる現実オブジェクト上にもタグを貼り付けることができる。例えば、図３Ａ～３Ｃは、タグに基づく仮想壁生成を表す概略図である。図３Ａを参照し、シーン画像において、ＱＲコード（登録商標）を有するタグＴが現実の床Ｆ上に貼り付けられる。

【0026】

プロセッサ１５０は、シーン画像からタグを見つけるため、オブジェクト識別アルゴリズムに基づきタグのパターンを識別してよい。オブジェクト識別アルゴリズムは、機械学習ベースの推定又は画像特徴比較に関連してよい。

【0027】

いくつかの実施形態において、タグは、パターンなしに特定の形状及び色で設計されてよい。例えば、タグの形状は正方形であり、その色は赤である。

【0028】

プロセッサ１５０は、シーン画像に基づき、建築空間内のタグの位置関係を判定してよい（ステップＳ２５０）。１つの実施形態において、タグの位置関係は、対向方向と、シーン画像が画像撮像装置１３０により撮像された１以上の走査位置に対する相対位置とを含む。対向方向は、タグが位置する面に垂直な法線ベクトルの方向であることができる。いくつかの実施形態において、対向方向と前記の面との間の特定の夾角が定義されてよく、例えば、６０度、３０度、又は４５度である。相対位置は、シーン画像からタグの深度情報に基づき判定されてよい。例えば、シーン画像内のタグに対応するセンシング強度と画素位置が深度情報を判定するため用いられてよい。

【0029】

１つの実施形態において、プロセッサ１５０は、タグの相対位置とするため、パターンの対向方向と相対位置とを識別してよい。パターンは、形状、サイズ、角度、又は長さといった、１以上の特定の特徴で定義される。プロセッサ１５０は、シーン画像内のタグの特徴を取得するため、（スケール不変特徴量変換ＳＩＦＴ）、Ｈａａｒ型特徴比較、アダブースト、サポートベクターマシン（ＳＶＭ）、またはニューラルネットワークといった）特徴抽出アルゴリズムを用いてよい。抽出された特徴は、グレー値、スケール、位置、色、又は方向であることができる。抽出された特徴は、相対位置を推定するために、予め格納された特徴と比較する、又は、機械学習型モデルに入力するために用いられることができる。

【0030】

もう１つの実施形態において、プロセッサ１５０は、タグの位置関係を判定するため、シーン画像内のパターン又はタグの長さ、角度、サイズを用いてよい。例えば、パターンは正方形である。シーン画像内のパターンの長さは、相対位置を判定するために、画像撮像装置１３０からタグまでの距離を判定するために用いることができる。シーン画像内のパターンは台形となり、その内角が対向方向を判定するため用いられることができる。

【0031】

プロセッサ１５０は、タグの位置関係に基づき、建築空間に対応する仮想環境内の仮想壁を生成するために用いられてよい（ステップＳ２７０）。具体的には、上述したように、ユーザは仮想環境において建築空間のいくつかの領域を示すことを欲しない可能性がある。図３Ａを例として、机又は椅子といった現実オブジェクトＯ１は、ＨＭＤを装着している間のユーザの歩行経路に影響する可能性があり、ユーザは現実オブジェクトＯ１が位置する領域を無視する可能性がある。図３Ｂを参照し、タグＴの背後の領域はユーザにより走査されず、シーン画像は図３Ａの現実オブジェクトＯ１を含まない可能性があるが、現実オブジェクトＯ２はシーン画像内に留まる。仮想環境の完全性を維持するため、１以上の仮想壁が形成される。仮想壁は現実環境内の如何なる実際のオブジェクトにも対応しない。これは、生成された仮想壁がある位置には現実の壁が存在しないことを意味する。図３Ａを例として、タグＴの位置には実際の壁が立っていない。

【0032】

１つの実施形態において、プロセッサ１５０は、タグの対向方向と相対位置とに基づき、仮想壁の深度情報を生成してよい。相対位置に基づくタグの位置は、仮想壁が立つ位置を表す。ただし、タグのサイズは壁のサイズよりもはるかに小さい可能性がある。仮想壁は建築空間内のタグの位置から延伸する。タグの対向方向は、仮想壁の延伸方向を表す。

【0033】

１つの実施形態において、タグは現実環境内の（床、現実の壁、又は椅子といった）現実オブジェクトに位置し、仮想壁は現実環境内の現実オブジェクトに対応する（もう１つの仮想壁又は仮想椅子といった）仮想オブジェクトに対し垂直である。これは、タグの対向方向又は仮想壁の延伸方向が、タグが位置する現実オブジェクトの表面に対し垂直であることを意味する。

【0034】

いくつかの実施形態において、上記現実オブジェクトの仮想オブジェクトの表面と仮想壁との間のもう１つの特定の夾角が定義されるが、９０度ではない。例えば、夾角は７５度、６０度、又は４５度である。

【0035】

１つの実施形態において、仮想壁の縁は、仮想環境の１以上の他の仮想オブジェクト、及び、（壁、床、又は天井といった）１以上の現実オブジェクトに対応する他の仮想オブジェクトと重なる。これは、仮想壁は、その縁が他の仮想壁、仮想床、又は仮想天井と重なるまで延伸することを意味する。図３Ｂと３Ｃを例として、図３Ｃの仮想壁ｖＷ１は、図３Ｂの現実の壁Ｗに対応する。図３Ｃの仮想床ｖＦは、図３Ｂの床Ｆに対応する。図３Ｂの仮想壁ｖＷ２はタグＴに対応する。仮想壁ｖＷ２の２つの縁は、それぞれ仮想壁ｖＷ１と仮想床ｖＦと重なる。ただし、仮想壁ｖＷ２は、仮想床ｖＦから仮想上天井（図示せず）へと、図３Ｂの現実オブジェクトＯ２に対応する図３Ｃの仮想椅子ｖＯを貫通してよい。

【0036】

いくつかの実施形態において、タグに対応する仮想壁は固定延伸距離を有し、仮想壁は現実環境内のもう１つの現実オブジェクトに対応するもう１つのタグに基づき更に延伸する。もう１つのタグは、上記で紹介したものと同一又は類似のタグであることができる。仮想壁の長さ又はサイズは固定であってよい。ユーザが仮想壁を更に拡大したい場合、１以上のタグが建築空間内の他の場所に配置されるべきである。仮想壁は他のタグから更に延伸してよい。

【0037】

例えば、図４は、仮想壁を伴う仮想環境を表す概略図である。図４を参照し、タグＴｍとＴｓに対応する仮想壁の幅が固定であると仮定する。仮想環境において、タグＴｍに対応する仮想壁ｖＷ３の縁が仮想壁ｖＷ４とｖＷ５に届くことができない場合、タグＴｍに加え、２つのタグＴｓがタグＴｍの左右の側に配置されるべきである。最終的に、タグＴｍとＴｓに対応する仮想壁ｖＷ３の２つの縁は仮想壁ｖＷ４とｖＷ５と重なる。

【0038】

タグに対応する仮想壁の形状、サイズ、位置が判定された後、仮想壁の深度情報が判定されることができる。プロセッサ１５０は、現実環境内にニセの壁（即ち、タグに対応する仮想壁）が存在すると仮定し、画像撮像装置１３０に対するニセの壁の深度を新たに生成してよい。プロセッサ１５０は、タグの位置関係に基づき、仮想環境からタグに対応する仮想壁の１つの側に位置する仮想オブジェクトを取り除いてよい。シーン画像の視野について、ニセの壁の背後に位置する現実オブジェクトはニセの壁により覆われると仮定してよい。これら現実オブジェクトがニセの壁により覆われる場合、シーン画像から、１以上の現実オブジェクトに対応する１以上の画素の深度情報が改変されてよい。これら画素の深度情報は、ニセの壁の深度に基づき改変される。このため、覆われた現実オブジェクトに対応する深度情報は、取り除かれ、ニセの壁により置き換えられてよく、これらの仮想オブジェクトも取り除かれてよい。

【0039】

プロセッサ１５０は、仮想壁の深度情報と、現実環境の建築空間内に存在する１以上の現実オブジェクトの深度情報とに基づき、仮想環境を構築してよい。ニセの壁に覆われない他の現実オブジェクトの深度情報は残る。

【0040】

建築空間の仮想環境は２Ｄ又は３Ｄ空間モデルであってよい。１つの実施形態において、プロセッサ１５０は、点群、３次元メッシュ等のモデル形式で仮想環境を生成してよい。これは、仮想環境が、点群及び３次元メッシュのモデル形式により作られることを意味する。点群図を例として、プロセッサ１５０は、シーン画像からの（色、線、パターンといった）特徴と、ニセの壁と他の現実オブジェクトの深度情報とを取得する。シーン画像内の画素／ブロックの特徴は、対応する深度と位置に従い、空白の仮想環境内の特定の３Ｄ空間座標にマッピングされる。これら全ての画素／ブロックがマッピングされた後、仮想環境が生成される。

【0041】

１つの実施形態において、タグに対応する仮想壁は、近接する現実の壁と同一の色とテクスチャを有してよい。いくつかの実施形態において、タグに対応する仮想壁の色とテクスチャは、近接する現実の壁を参照することなく、予め定義されてよい。

【0042】

もう１つの実施形態において、プロセッサ１５０は、点群のモデル形式とは異なるもう１つのモデル形式で、最適化された仮想環境を取得してよい。最適化された仮想環境のモデル形式は、ＳＴＬ、ＦＢＸ、ＣＯＬＬＡＤＡ、３ＤＳ、ＯＢＪ、又はその他の形式であってよい。これは、最適化された仮想環境が点群のモデル形式で作られないことを意味する。ＨＭＤシステム１００は、ローカル又はワイドエリアネットワークを介し、シーン画像から生成された予備的な仮想環境を（デスクトップコンピュータ、ラップトップ、又はワークステーションといった）リモートサーバにアップデートしてよい。最適化された仮想環境の構築が完了した後、ＨＭＤシステム１００はリモートサーバから最適化された仮想環境をダウンロードしてよい。

【0043】

１つの実施形態において、プロセッサ１５０は、ディスプレイ１２０上の視覚位置で、透視図で仮想環境を表示してよい。視覚位置は、画像撮像装置１３０によりシーン画像が撮像された現実環境内の現実位置に対応する。仮想環境の構築の間、ＨＭＤシステム１００は移動又は回転されてよく、以前の位置又は以前の向きから離れてよい。環境構築が終了した場合、プロセッサ１５０は画像撮像装置１３０を起動してよく、画像撮像装置１３０は現実環境における現実位置で１以上の第２のシーン画像を撮像してよい。次いで、プロセッサ１５０は、シーン画像と第２のシーン画像とを比較し、これらの対応度を判定してよい。プロセッサ１５０は、閾値よりも大きい対応度を有するシーン画像を選択し、仮想環境における選択されたシーン画像に対応する仮想位置を判定してよい。次いで、判定された仮想位置は、第２のシーン画像の現実位置に対応する。更に、選択されたシーン画像は特定の透視図に対応する。プロセッサ１５０は、ＨＭＤシステム１００を装着していないユーザにより目にされる透視図と同一となるよう、判定された仮想位置に従い、仮想環境内の透視図を改変する。

【0044】

まとめると、上述した例示的な実施形態は、ＨＭＤシステム及び建築空間の仮想環境を構築するための方法を描写している。タグがシーン画像内で識別され、仮想環境内の仮想壁を生成するために用いられるが、仮想壁は如何なる現実の壁にも対応しない。従って、建築空間全てを走査することなく、仮想環境がニセの壁で完成されることができる。

【0045】

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

【産業上の利用可能性】

【0046】

本発明のＨＭＤシステム及び建築空間の仮想環境を構築するための方法は、世界環境シミュレーションに応用することができる。

【符号の説明】

【0047】

１００：ヘッドマウントディスプレイシステム
１１０：メモリ
１２０：ディスプレイ
１３０：画像撮像装置
１５０：プロセッサ
Ｓ２１０～Ｓ２７０：ステップ
Ｏ１：現実オブジェクト
Ｏ２：現実オブジェクト
Ｗ：現実の壁
Ｔ：タグ
Ｆ：現実の床
ｖＷ１、ｖＷ２、ｖＷ３、ｖＷ４、ｖＷ５：仮想壁
ｖＯ：仮想椅子
ｖＦ：仮想床
Ｔｍ：タグ
Ｔｓ：タグ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【外国語明細書】