特許 7576579 仮想特徴開発のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-23

(45)【発行日】2024-10-31

(54)【発明の名称】仮想特徴開発のためのシステム及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241024BHJP

   G06F 3/04815 20220101ALI20241024BHJP

   G06F 3/0484 20220101ALI20241024BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

G06F3/0484

【請求項の数】 20

(21)【出願番号】P 2021576285

(86)(22)【出願日】2020-06-24

(65)【公表番号】

(43)【公表日】2022-09-07

(86)【国際出願番号】 US2020039255

(87)【国際公開番号】W WO2020263901

(87)【国際公開日】2020-12-30

【審査請求日】2023-05-31

(31)【優先権主張番号】62/866,481

(32)【優先日】2019-06-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/908,374

(32)【優先日】2020-06-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511077292

【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ヘインズ ストックウェル ダッドリー

(72)【発明者】

【氏名】ゲルゲン パトリック ジョン

(72)【発明者】

【氏名】グラハム マーティン エヴァン

(72)【発明者】

【氏名】クラッフ トーマス エドワード

(72)【発明者】

【氏名】ブロンビー クリストファー ロバート

(72)【発明者】

【氏名】マラス クレイグ リチャード

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特表２０１７－５２９６３５（ＪＰ，Ａ）

【文献】特開２０１２－１２８７７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００ －１９／２０

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

ユーザに提供される拡張現実（ＡＲ）体験を評価するためのシステムであって、
背景幕と、
前記背景幕上に光を投影するように構成された物理的ライトと、
仮想特徴を表示して、前記ユーザが前記仮想特徴を前記背景幕上にオーバーレイされたものとして見ることを可能にするように構成されたディスプレイシステムと、
前記ディスプレイシステム及び前記物理的ライトに通信可能に結合されたコントローラと、
を備え、前記コントローラは、
前記仮想特徴を仮想空間内でレンダリングし、
前記物理的ライトの動作パラメータを示すフィードバックをセンサから受け取り、
前記仮想特徴の外観を定める仮想光の状態を示す追加フィードバックをセンサから受け取り、
前記物理的ライトの前記動作パラメータを示す前記フィードバックに基づいて前記仮想特徴の前記外観を更新された外観に調整する第１の動作、前記仮想光の前記状態を示す前記追加フィードバックに基づいて前記物理的ライトの前記動作パラメータを調整する第２の動作、又は前記第１の動作及び前記第２の動作の両方を行う、
ように構成される、
ことを特徴とするシステム。

【請求項2】

前記物理的ライトの前記動作パラメータを示す前記フィードバックを前記コントローラに提供するように構成された物理的ライトセンサを備え、前記動作パラメータは、前記背景幕に対する前記物理的ライトの位置、前記背景幕に対する前記物理的ライトの向き、前記背景幕上に投影される前記光の色相、前記背景幕上に投影される前記光の強度、又はこれらの組み合わせを含む、
請求項１に記載のシステム。

【請求項3】

前記物理的ライトに結合されて該物理的ライトの前記動作パラメータを調整するように構成されたアクチュエータを備え、前記コントローラは、前記仮想光の前記状態を示す前記追加フィードバックを受け取ったことに応答して前記物理的ライトの前記動作パラメータを調整するように前記アクチュエータに命令するよう構成される、
請求項１に記載のシステム。

【請求項4】

前記動作パラメータは、前記背景幕に対する前記物理的ライトの位置、前記背景幕に対する前記物理的ライトの向き、又はこれらの両方を含む、
請求項３に記載のシステム。

【請求項5】

前記コントローラに通信可能に結合されて、前記ユーザが前記仮想光の前記状態を示す前記追加フィードバックを前記コントローラに提供することを可能にするように構成されたユーザ入力装置を備える、
請求項１に記載のシステム。

【請求項6】

前記コントローラは、前記仮想空間内に仮想ステージをレンダリングするように構成され、前記仮想ステージは、前記背景幕を有する物理的ステージに対応し、前記仮想光の前記状態は、前記仮想ステージに対する前記仮想光の位置、前記仮想ステージに対する前記仮想光の向き、前記仮想光によってレンダリングされる仮想光の色相、前記仮想光によってレンダリングされる仮想光の強度、又はこれらの組み合わせを含む、
請求項５に記載のシステム。

【請求項7】

前記ディスプレイシステムは、前記ユーザによって装着されるように構成されたヘッドマウントディスプレイを含み、該ヘッドマウントディスプレイは、該ヘッドマウントディスプレイの透過スクリーンを介して前記背景幕上に前記仮想特徴をオーバーレイするように構成される、
請求項１に記載のシステム。

【請求項8】

前記ディスプレイシステムは、前記背景幕上に前記仮想特徴をオーバーレイするために前記仮想特徴を前記ユーザの目に投影するように構成された１又は２以上のプロジェクタを含む、
請求項１に記載のシステム。

【請求項9】

前記コントローラは、
前記背景幕を取り巻く周囲照明状態を示す周囲照明フィードバックを周囲光センサから受け取り、
前記周囲照明フィードバックに基づいて前記仮想特徴の前記外観を前記更新された外観に調整する、
ように構成される、請求項１に記載のシステム。

【請求項10】

ユーザに提供される拡張現実（ＡＲ）体験を評価する方法であって、
ディスプレイシステムを介して背景幕上に仮想特徴をオーバーレイして、前記ユーザが前記背景幕上にオーバーレイされた前記仮想特徴を見ることを可能にするステップと、
前記背景幕を照明するように構成された物理的ライトの動作パラメータを示すフィードバックをセンサから受け取るステップと、
前記仮想特徴の外観を定める仮想光の状態を示す追加フィードバックをコントローラにおいてセンサから受け取るステップと、
前記コントローラを介して、前記物理的ライトの前記動作パラメータを示す前記フィードバックに基づいて前記仮想特徴の前記外観を更新された外観に調整するステップと、
前記コントローラを介して、前記仮想光の前記状態を示す前記追加フィードバックに基づいて前記物理的ライトの前記動作パラメータを調整するステップと、
を含むことを特徴とする方法。

【請求項11】

前記仮想光の前記状態を示す前記追加フィードバックを受け取ったことに応答して、前記物理的ライトに結合されたアクチュエータを介して前記物理的ライトの前記動作パラメータを調整するステップを含む、
請求項１０に記載の方法。

【請求項12】

前記動作パラメータは、前記背景幕に対する前記物理的ライトの位置、前記背景幕に対する前記物理的ライトの向き、又はこれらの両方を含む、
請求項１１に記載の方法。

【請求項13】

前記仮想特徴を仮想空間の仮想ステージ内でレンダリングするステップを含み、前記仮想ステージは、前記背景幕を有する物理的ステージに対応し、前記物理的ステージに寸法的に比例する、
請求項１０に記載の方法。

【請求項14】

前記仮想光の前記状態を示す前記追加フィードバックを、前記コントローラに通信可能に結合されたユーザインターフェイスから受け取るステップを含む、
請求項１０に記載の方法。

【請求項15】

前記物理的ライトを該物理的ライト固有の識別子に関連付けるステップを含み、前記物理的ライトは、前記背景幕を照明するように構成されてそれぞれの識別子に関連付けられた複数の物理的ライトのうちの第１の物理的ライトであり、
前記第１の物理的ライトにおける故障状態の発生を検出するステップと、
前記発生の検出に応答して、前記ディスプレイシステムを介して、前記第１の物理的ライトに関連する識別子を表示するステップと、
をさらに含む、請求項１０に記載の方法。

【請求項16】

拡張現実（ＡＲ）システムであって、
ユーザが見ることができる環境上に仮想特徴をオーバーレイするように構成されたディスプレイシステムと、
前記環境を照明するように構成された物理的ライトと、
前記ディスプレイシステム及び前記物理的ライトに通信可能に結合されたコントローラと、
を備え、前記コントローラは、
仮想光を有する仮想空間内で前記仮想特徴をレンダリングし、前記仮想光の状態が前記仮想特徴の外観を定め、
前記物理的ライトの動作パラメータを示すフィードバックに基づいて前記仮想光の状態を調整し、
前記仮想光の前記状態を示す追加フィードバックに基づいて前記物理的ライトの前記動作パラメータを調整する、
ように構成される、
ことを特徴とするＡＲシステム。

【請求項17】

前記動作パラメータをモニタするように構成されたセンサを備え、前記動作パラメータは、前記環境内の前記物理的ライトの位置、前記環境内の前記物理的ライトの向き、前記物理的ライトによって出力される光の色相、前記物理的ライトによって出力される光の強度、又はこれらの組み合わせを含む、
請求項１６に記載のＡＲシステム。

【請求項18】

ユーザインターフェイスであって、当該ユーザインターフェイスにおけるユーザ入力に応答して前記仮想光の前記状態を示す前記追加フィードバックを生成するように構成されたユーザインターフェイスを備える、
請求項１６に記載のＡＲシステム。

【請求項19】

前記ディスプレイシステムは、前記ユーザによって装着されるように構成されたヘッドマウントディスプレイを含む、
請求項１６に記載のＡＲシステム。

【請求項20】

前記仮想光の前記状態は、前記仮想特徴の陰影、彩色、色相及び／又は強調表示を定める、
請求項１６に記載のＡＲシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１９年６月２５日に出願された「仮想特徴開発のためのシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＶＩＲＴＵＡＬ ＦＥＡＴＵＲＥ ＤＥＶＥＬＯＰＭＥＮＴ）」という名称の米国仮特許出願第６２／８６６，４８１号に基づく優先権及びその利益を主張するものであり、この文献はその全体が全ての目的で引用により本明細書に組み入れられる。

【背景技術】

【0002】

遊園地及び／又はテーマパークは、遊園地のゲスト（例えば、家族及び／又は全ての年齢層の人々）に楽しみを提供する上で有用な様々な娯楽アトラクション、レストラン及び乗り物を含むことができる。遊園地のエリアは、特定の観衆を特異的に対象とする異なるテーマを有することができる。例えば、いくつかのエリアは伝統的に子供が興味を抱くテーマを含むことができ、他のエリアは伝統的にさらに成熟した観衆が興味を抱くテーマを含むことができる。一般に、このような遊園地に関連するテーマを有する場所は、アトラクション又はテーマ別アトラクションと呼ばれることがある。このようなアトラクションでは、テーマを仮想特徴で補強することによってゲストの没入的体験を向上させることが望ましいと認識されている。残念ながら、様々な遊園地アトラクションのために仮想特徴を開発することは困難で時間が掛かることが判明している。

【発明の概要】

【課題を解決するための手段】

【0003】

以下、本明細書に開示するいくつかの実施形態の概要を示す。これらの態様は、読者にこれらのいくつかの実施形態の要約を示すものにすぎず、本開示の範囲を限定するものではないと理解されたい。実際には、本開示は、以下では示していないこともある様々な態様を含むことができる。

【0004】

１つの実施形態では、ユーザに提供される拡張現実（ＡＲ）体験を評価するためのシステムが、背景幕（ｂａｃｋｄｒｏｐ）と、背景幕上に光を投影するように構成された物理的ライトと、ディスプレイシステムとを含む。ディスプレイシステムは、仮想特徴を表示して、ユーザが背景幕上にオーバーレイされた仮想特徴を見ることを可能にするように構成される。システムは、ディスプレイシステム及び物理的ライトに通信可能に結合されたコントローラも含む。コントローラは、仮想空間内で仮想特徴をレンダリングし、物理的ライトの動作パラメータを示すフィードバックを受け取り、仮想特徴の外観を定める仮想光の状態を示す追加フィードバックを受け取るように構成される。コントローラは、物理的ライトの動作パラメータを示すフィードバックに基づいて仮想特徴の外観を更新された外観に調整し、仮想光の状態を示す追加フィードバックに基づいて物理的ライトの動作パラメータを調整し、又はこれらの両方を行うようにも構成される。

【0005】

１つの実施形態では、ユーザに提供される拡張現実（ＡＲ）体験を評価する方法が、ディスプレイシステムを介して背景幕上に仮想特徴をオーバーレイして、ユーザが背景幕上にオーバーレイされた仮想特徴を見ることを可能にするステップを含む。この方法は、背景幕を照明するように構成された物理的ライトの動作パラメータを示すフィードバックをセンサから受け取るステップと、仮想特徴の外観を定める仮想光の状態を示す追加フィードバックをコントローラにおいて受け取るステップとを含む。この方法は、コントローラを介して、物理的ライトの動作パラメータを示すフィードバックに基づいて仮想特徴の外観を更新された外観に調整し、仮想光の状態を示す追加フィードバックに基づいて物理的ライトの動作パラメータを調整し、又はこれらの両方を行うステップをさらに含む。

【0006】

１つの実施形態では、拡張現実（ＡＲ）システムが、ユーザが見ることができる環境上に仮想特徴をオーバーレイするように構成されたディスプレイシステムと、環境を照明するように構成された物理的ライトと、ディスプレイシステム及び物理的ライトに通信可能に結合されたコントローラとを含む。コントローラは、仮想光を有する仮想空間内で仮想特徴をレンダリングするように構成され、仮想光の状態が仮想特徴の外観を定める。コントローラは、物理的ライトの動作パラメータを示すフィードバックに基づいて仮想光の状態を調整し、仮想光の状態を示す追加フィードバックに基づいて物理的ライトの動作パラメータを調整するようにも構成される。

【0007】

本開示の様々な態様に関連して、上述した特徴の様々な改善を行うこともできる。また、これらの様々な態様にさらなる特徴を組み込むこともできる。これらの改善及びさらなる特徴は、個別に又はあらゆる組み合わせで存在することができる。

【0008】

全体を通じて同じ要素を同じ記号で示す添付図面を参照しながら以下の詳細な説明を読めば、本開示のこれらの及びその他の特徴、態様及び利点がより良く理解されるであろう。

【図面の簡単な説明】

【0009】

【図1】本実施形態による、現実世界の環境に仮想特徴をオーバーレイするために利用できる拡張現実（ＡＲ）システムの実施形態のブロック図である。

【図2】本実施形態による、ＡＲシステムにおいて使用できるヘッドマウントディスプレイの実施形態の図である。

【図3】本実施形態による、ＡＲシステムにおいて使用できる拡張現実（ＡＲ）ライトボックスシステムの実施形態の図である。

【発明を実施するための形態】

【0010】

以下、本開示の１又は２以上の具体的な実施形態について説明する。これらの実施形態を簡潔に説明するために、本明細書では実施の特徴を全て説明しているわけではない。あらゆる工学又は設計プロジェクトにおいて見られるようなあらゆるこのような実施の開発においては、実施によって異なり得るシステム関連及びビジネス関連の制約の順守などの開発者の個別の目的を達成するために、数多くの実施固有の決定を行わなければならないと理解されたい。さらに、このような開発努力は複雑で時間が掛かる場合もあるが、本開示の恩恵を受ける当業者にとっては設計、製作及び製造という日常的な取り組みであると理解されたい。

【0011】

本開示の様々な実施形態の要素を紹介する場合、「ａ」、「ａｎ」及び「ｔｈｅ」といった冠詞は、これらの要素が１つ又は２つ以上存在することを意味するものとする。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「有する（ｈａｖｉｎｇ）」という用語は、包括的なものとして意図されており、列記する要素以外のさらなる要素が存在し得ることを意味する。また、本開示の「１つの実施形態」又は「ある実施形態」についての言及は、記載する特徴も含むさらなる実施形態の存在を排除するものとして解釈されるように意図するものではないと理解されたい。

【0012】

遊園地は、遊園地アトラクションのゲストにＡＲ体験を提供することによってゲストの体験を個別化又は別様に強化するように構成された拡張現実（ＡＲ）システムを含むことができる。実際には、特定のハードウェア構成、ソフトウェア構成（例えば、アルゴリズム的構造及び／又はモデル化された応答）、並びに特定のアトラクション特徴の組み合わせを利用して、カスタマイズ可能な個別化された相互作用的ＡＲ体験をゲストに提供することができる。

【0013】

例えば、ヘッドマウントディスプレイ（例えば、電子ゴーグル又はディスプレイ、メガネ）などの視覚装置を、遊園地のゲスト又はその他のユーザがＡＲ及び／又は複合現実シーンを見ることを可能にするように構成することができる。とりわけ、ヘッドマウントディスプレイは、例えば遊園地に関連する現実世界の環境内に仮想的に特徴を追加又はオーバーレイして、同じ遊園地乗り物内で異なる体験が得られるように調整可能な仮想環境を提供することなどによって、ゲストの体験を向上させるために利用することができる。残念ながら、遊園地の様々な現実世界の環境内で特定のＡＲ特徴の知覚されるリアリズムを予測することは困難と考えられる。具体的には、ＡＲシステムがＡＲ特徴の外観（例えば、陰影、彩色）を効果的に調整するかどうかを開発者（例えば、ＡＲ特徴を開発する設計技師）が現実世界の環境の特定の照明条件に基づいて評価することは面倒であり、或いは別様に時間の掛かることであると考えられる。

【0014】

従って、本開示の実施形態は、様々なシミュレートされた現実世界の環境内で様々な異なる照明条件にわたって開発者が特定のＡＲ特徴の外観を評価することを可能にする、本明細書ではＡＲライトボックスシステムと呼ぶ仮想オブジェクトシミュレーションシステムを目的とする。とりわけ、ＡＲライトボックスシステムは、ＡＲ特徴を生成して（例えば、ヘッドマウントディスプレイを介して）現実世界の環境上にＡＲ特徴をオーバーレイするように構成されたＡＲシステムがＡＲ特徴の外観を効果的に調整するかどうかを開発者が現実世界の環境の様々な照明条件の変化に基づいて評価することを可能にする。従って、ＡＲライトボックスシステムは、現実世界の環境を土台としているように見えるＡＲ特徴の開発を容易にするとともに、このようなＡＲ特徴を遊園地アトラクションのテーマなどの現実世界の環境上にオーバーレイするために使用されるアルゴリズムの開発を容易にすることができる。

【0015】

これらを踏まえて、図１は、ユーザ（例えば、ゲスト、遊園地の従業員、乗り物車両の乗客）が制御されたＡＲ及び／又は複合現実シーンを体験する（例えば、見る、相互作用する）ことを可能にするように構成された拡張現実（ＡＲ）システム１０の実施形態のブロック図である。いくつかの実施形態では、ＡＲシステム１０が、通信ネットワーク１４（例えば、無線ローカルエリアネットワーク［ＷＬＡＮ］、無線ワイドエリアネットワーク［ＷＷＡＮ］及び近距離無線通信［ＮＦＣ］などの有線及び／又は無線通信ネットワーク）と、コントローラ１６と、１又は２以上のユーザシステム１８（例えば、ゲームシステム）とを含むことができる。通信ネットワーク１４は、コントローラ１６、１又は２以上のユーザシステム１８、及び／又はＡＲシステム１０の他のいずれかの好適なコンポーネントを互いに通信可能に結合する有線又は無線通信コンポーネントを含むことができる。

【0016】

コントローラ１６は、プログラマブルロジックコントローラ（ＰＬＣ）又はその他の好適な制御装置とすることができる。コントローラ１６は、メモリ２２（例えば、有形の非一時的コンピュータ可読媒体及び／又はその他の記憶装置）に動作可能に結合されてメモリ２２に記憶された命令を実行するプロセッサ２０（例えば、汎用プロセッサ、システムオンチップ［ＳｏＣ］デバイス、特定用途向け集積回路［ＡＳＩＣ］、又は他の何らかの同様のプロセッサ構成）を含むことができる。１又は２以上のユーザシステム１８は、中央処理装置（ＣＰＵ）又はその他の好適なシステムとすることができる。後述するように、コントローラ１６及び１又は２以上のユーザシステム１８は、一般に現実世界の環境ビュー上にオーバーレイするための仮想又は拡張グラフィックスをレンダリングするように構成することができる。また、１又は２以上のユーザシステム１８は、特定のゲームロジック、及び実空間内の特定の仮想オブジェクトの配置を担うこともできる。いくつかの実施形態では、１又は２以上のユーザシステム１８を互いに通信可能に結合することによって、複数のユーザが共有ゲーム（例えば、複数のプレーヤーを有するゲーム）に関与することを可能にすることができる。いくつかの実施形態では、１又は２以上のユーザシステム１８の各々が、ユーザ入力装置２６（例えば、ユーザインターフェイス）又は一群の複数のユーザ入力装置２６と、コンピュータグラフィックス生成システム２８とを含むことができる。ユーザ入力装置２６は、コンピュータグラフィックス生成システム２８に通信可能に結合することができ、コンピュータグラフィックス生成システム２８は、（例えば、通信ネットワーク１４を介して）ディスプレイシステム２９に通信可能に結合することができる。

【0017】

本明細書で説明するように、いくつかの実施形態では、ディスプレイシステム２９が、ＡＲシステム１０のユーザによって装着されるように構成されるとともに、ユーザによって知覚される現実世界の環境上にＡＲ特徴をオーバーレイするように構成された、ヘッドマウントディスプレイ（ＨＭＤ）３０を含むことができる。従って、ヘッドマウントディスプレイ３０は、ＡＲ体験、複合現実体験、コンピュータ利用現実体験、これらの組み合わせ又は他の同様の超現実環境を含むことができる超現実環境３２（例えば、ゲーム環境）をユーザが視覚化して知覚することを可能にすることができる。すなわち、超現実環境３２は、ＡＲ特徴で補強（例えば、オーバーレイ）できる現実世界のビュー及びオブジェクトを含むことができる。いくつかの実施形態では、ユーザが、乗り物（例えば、遊園地乗り物）の継続時間中、或いはゲーム中、遊園地の特定のエリアの入場時、遊園地に関連するホテルへの乗車中及びホテル滞在時などの別の所定の時点にヘッドマウントディスプレイ３０を装着することができる。

【0018】

コンピュータグラフィックス生成システム２８は、ヘッドマウントディスプレイ３０上に表示すべきＡＲグラフィックスを生成して送信することができる。具体的には、コンピュータグラフィックス生成システム２８は、プロセッサ３４（例えば、汎用プロセッサ又はその他のプロセッサ）などの処理回路及びメモリ３６を含み、ユーザのための超現実環境３２を生成するのに有用なデータを処理することができる。超現実環境３２を生成するのに有用なデータとしては、以下に限定するわけではないが、それぞれのヘッドマウントディスプレイ３０、（単複の）ユーザ入力装置２６、コントローラ１６から受け取られるリアルタイムデータ、１又は２以上のユーザシステム１８によって受け取られる様々なセンサデータ、及びメモリ３６に記憶されたデータを挙げることができる。いくつかの実施形態では、コンピュータグラフィックス生成システム２８が、このようなデータを使用して、ヘッドマウントディスプレイ３０によって提示されるＡＲ特徴をユーザの周囲の現実世界の環境と調和させるための基準系（ｆｒａｍｅ ｏｆ ｒｅｆｅｒｅｎｃｅ）を生成することができる。

【0019】

例えば、コンピュータグラフィックス生成システム２８は、ヘッドマウントディスプレイ３０上に表示するためのＡＲグラフィックスを、ユーザの向き、位置、注視方向、視野及び動きなどの変化を反映するように選択的に生成することができる。また、コンピュータグラフィックス生成システム２８は、１又は２以上のユーザが（単複の）ユーザ入力装置２６を使用して提供した入力の変化を反映するようにＡＲグラフィックスを選択的に生成することもできる。さらに、コンピュータグラフィックス生成システム２８は、コンピュータグラフィックス生成システム２８によって（例えば、メモリ３６に）記憶されているいくつかの所定の又はモデル化されたアルゴリズムに従って、ＡＲ特徴に影響を与えることができる模擬相互作用に基づいてＡＲグラフィックスを生成することもできる。一例として、所定の又はモデル化されたアルゴリズムは、物理エンジン又は同様のモジュールによって、或いはコンピュータグラフィックス生成システム２８の一部として実装することができる。いくつかの実施形態では、コンピュータグラフィックス生成システム２８が、共有ゲーム内の複数のユーザのうちの特定のユーザが共有ゲーム内の複数のユーザのうちの他のユーザ（例えば、プレーヤ）によって適用されたゲーム効果を見ることができるように、共有ゲーム内の複数のユーザに対応する上述した情報又はデータを追跡することができる。

【0020】

なお、ディスプレイシステム２９は、ユーザによって知覚される現実世界の環境上にＡＲ特徴をオーバーレイするためにヘッドマウントディスプレイ３０に加えて又は代えて使用される他のいずれかの好適なディスプレイ装置及び／又は投影装置を含むこともできると理解されたい。従って、このようなディスプレイ装置及び／又は視覚化装置は、ＡＲ特徴で補強（例えば、オーバーレイ）された現実世界のビューを含む超現実環境３２をユーザが視覚化して認識することを可能にする。非限定的な例として、ディスプレイシステム２９は、ユーザが自分の見ているＡＲ特徴を現実世界の環境上にオーバーレイされたものとして知覚できるように、ユーザの片目又は両目に直接的又は間接的にＡＲ特徴（例えば、光）を投影するように構成された１又は２以上のプロジェクタ３７を含むことができる。例えば、いくつかの実施形態では、１又は２以上のプロジェクタ３７が、ユーザの目の虹彩及び／又は網膜上に直接ＡＲ画像をラスターする（ｒａｓｔｅｒ）ように構成された仮想網膜ディスプレイとして動作することができる。いくつかの実施形態では、ディスプレイシステム２９が、他のいずれかの好適なホログラフィックディスプレイ又は透明発光ダイオード（ＬＥＤ）ディスプレイを含むことができる。例えば、ディスプレイシステム２９は、ユーザから分離した（例えば、ユーザが装着できない）スタンドアロン型透明ディスプレイを含むことができる。

【0021】

いずれにせよ、上述したように、ＡＲ特徴の特定の特徴（例えば、陰影、彩色、反射）を現実世界の環境の過渡的環境条件（例えば、照明条件）と同期させることは困難と考えられる。実際に、開発者が遊園地、ホテル又はその他のエリアの様々な環境設定においてＡＲ特徴の知覚されるリアリズムを評価することは面倒であり、或いは別様に時間の掛かることであると考えられる。従って、開発者は、コンピュータグラフィックス生成システム２８が採用できるモデル化されたアルゴリズムを、特定の現実世界の環境内のＡＲ特徴の外観（例えば、ユーザによって知覚されるリアリズム）を強化する形でＡＲ特徴をレンダリングするように効果的に調整できない可能性がある。

【0022】

従って、本明細書で説明するＡＲシステム１０の実施形態は、様々なシミュレートされた現実世界の設定（例えば、テーマ）において様々な異なる環境条件（例えば、自然又は人工照明条件）にわたって開発者が特定のＡＲ特徴の外観をテスト環境内で効率的に評価することを可能にするＡＲライトボックスシステム３８を含む。従って、開発者は、様々な設定におけるＡＲ特徴の外観（例えば、知覚されるリアリズム）を素早く評価することができ、これによってＡＲ特徴の開発、並びにＡＲ特徴のレンダリング及び現実世界の環境ビュー上へのＡＲ特徴のオーバーレイを制御するためにコンピュータグラフィックス生成システム２８によって使用されるアルゴリズムの開発を容易にすることができる。ＡＲライトボックスシステム３８は、例えばコントローラ１６又はコンピュータグラフィックス生成システム２８などのＡＲシステム１０のいずれかの好適なコンポーネントに通信可能に結合することができ、これについては以下で詳細に説明する。

【0023】

図２は、ディスプレイシステム２９に含めることができるヘッドマウントディスプレイ３０の実施形態の図である。ヘッドマウントディスプレイ３０は、遊園地のゲスト、遊園地の従業員又はＡＲシステム１０の開発者などのユーザ４０が装着することができる。ヘッドマウントディスプレイ３０は、遊園地設定で実装される場合には乗客乗り物（例えば、遊園地アトラクション）の乗り物車両に結合する（例えば、ケーブル又はワイヤを介して繋ぎ止める）ことができる。例えば、いくつかの実施形態では、ユーザ４０（例えば、ゲスト）が遊園地設定内で使用するためにヘッドマウントディスプレイ３０を購入し、又は別様にユーザ４０に提供することができる。ヘッドマウントディスプレイ３０は、電子メガネ４２（例えば、ＡＲメガネ、ゴーグル）と、電子メガネ４２の少なくとも一部を収容するように構成された装着部分４４とを含むことができる。ヘッドマウントディスプレイ３０は、超現実環境３２を作り出すように単独で又は他の機能と組み合わせて使用することができる。例えば、いくつかの実施形態では、ユーザ４０が遊園地乗り物の継続時間全体を通じてヘッドマウントディスプレイ３０を装着することができる。

【0024】

ヘッドマウントディスプレイ３０は、プロセッサ４６及びメモリ４８（例えば、有形の非一時的コンピュータ可読媒体）を含むことができる。プロセッサ４６及びメモリ４８は、ヘッドマウントディスプレイ３０がディスプレイとして機能する（例えば、ヘッドマウントディスプレイ３０を最終的に駆動する信号をコンピュータグラフィックス生成システム２８から受け取る）のを可能にするように構成することができる。プロセッサ４６は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何らかの同様のプロセッサ構成とすることができる。

【0025】

ヘッドマウントディスプレイ３０は、加速度計、磁力計、ジャイロスコープ、ＧＰＳ受信機、動き追跡センサ、電磁式及び固体動き追跡センサ、慣性計測装置（ＩＭＵ）、存在センサ又はその他のセンサなどの方位及び／又は位置センサを含むことができる追跡システム５０を含むことができる。追跡システム５０は、ユーザ４０の位置、向き、焦点距離、注視方向、視野、動き、又はこれらのいずれかの組み合わせを示すリアルタイムデータを収集することができる。ヘッドマウントディスプレイ３０は、追跡システム５０を介して取り込まれたリアルタイムデータを処理のためにプロセッサ４６及び／又はコンピュータグラフィックス生成システム２８に送信できる（例えば、無線トランシーバを含む）通信インターフェイス５２を含むことができる。通信インターフェイス５２は、ヘッドマウントディスプレイ３０がコンピュータグラフィックス生成システム２８によって送信された表示信号を受け取ることを可能にすることもできる。

【0026】

いくつかの実施形態では、電子メガネ４２が、それぞれがユーザ４０のそれぞれの眼に対応する一対のディスプレイ６０及び６２を含むことができる。いくつかの実施形態では、一対のディスプレイ６０、６２の代わりに統合型ディスプレイを採用することもできる。ディスプレイ６０、６２の各々は、非限定的な例として、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又はユーザ４０が自身を取り巻く実際の物理的環境（例えば、現実世界の環境）の現実世界の画像６６を見ることを可能にする他の同様のディスプレイ又は透明スクリーンを含むことができる。いくつかの実施形態では、ディスプレイ６０、６２の各々が、ユーザ４０が物理的環境又は現実世界の環境内の実在するオブジェクト６８（例えば、ベンチなどの物理的オブジェクト）を見ることを可能にする透明（例えば、シースルー）ＬＥＤディスプレイ、又は透明（例えば、シースルー）ＯＬＥＤディスプレイを含むことができる。換言すれば、現実世界の画像６６は、一般にユーザ４０がヘッドマウントディスプレイ３０を装着していない場合でも見えると思われるものを表す。

【0027】

電子メガネ４２は、ユーザ４０が見ている現実世界の画像６６上にディスプレイ６０、６２が拡張現実画像７０をオーバーレイすることを可能にする特徴（例えば、回路、発光体）を含むことができる。すなわち、いくつかの実施形態では、発光体がディスプレイ６０、６２上に１又は２以上の仮想特徴を投影することにより、ディスプレイ６０、６２から仮想特徴が反射してユーザ４０の目に入るようにすることができる。従って、ヘッドマウントディスプレイ３０は、表面上に特定の仮想特徴がオーバーレイされた実質的に透明な電子メガネセット４２を通してユーザ４０が物理的環境を見ることを可能にすることができる。従って、ユーザ４０は、物理的環境に仮想特徴が組み込まれていると知覚することができる。このように、ユーザ４０は、ヘッドマウントディスプレイ３０を装着している時に完全に超現実環境３２に包まれていると感じることができ、従って超現実環境３２が特定の仮想特徴を含む現実世界の物理的環境であると知覚できるようになる。実際には、ヘッドマウントディスプレイ３０は、超現実環境３２が実際の物理的環境（例えば、現実世界の画像６６）に拡張現実画像７０をオーバーレイしたものであるようにユーザ４０の視界を少なくとも部分的に制御することができる。

【0028】

例えば、ディスプレイ６０、６２は、現実世界のオブジェクト６８（例えば、ベンチ）上に仮想オブジェクト７２又は仮想特徴（例えば、幽霊）をオーバーレイすることにより、現実世界の環境内に仮想オブジェクト７２が物理的に存在して現実世界のオブジェクト６８と相互作用しているという錯覚を生み出すことができる（例えば、ヘッドマウントディスプレイ３０は、幽霊がベンチに座っているという錯覚を生み出すことができる）。いくつかの実施形態では、拡張現実画像７０が、現実世界のオブジェクト６８をオーバーレイすることによって、現実世界のオブジェクト６８が削除され又はもはや存在しないように見せる（例えば、現実世界のオブジェクト６８が仮想オブジェクト７２又は仮想環境表現で完全に又は部分的にオクルードされる）ように機能することもできる。

【0029】

上述したように、いくつかの実施形態では、ディスプレイシステム２９が、ヘッドマウントディスプレイ３０の代わりに１又は２以上のプロジェクタ３７を含むことができる。このような実施形態では、１又は２以上のプロジェクタ３７を、（例えば、ユーザ４０がディスプレイを介して物理的環境を見ることなく）ユーザ４０の目に直接拡張現実画像７０を投影して、ユーザ４０が物理的環境の現実世界のオブジェクト６８上にオーバーレイされた仮想オブジェクト７２を知覚できるように構成することができる。いくつかの実施形態では、ディスプレイシステム２９が、ユーザ４０から分離されて（例えば、ユーザ４０によって装着されずに）物理的環境内に配置されたスタンドアロン型透明ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他の同様のディスプレイ）を含むことができる。スタンドアロン型透明ディスプレイは、電子メガネ４２に関して上述した技術と同様の形で現実世界の画像６６上に拡張現実画像７０をオーバーレイするように構成することができる。従って、ユーザ４０は、スタンドアロン型透明ディスプレイを通して物理的環境を見た時に、拡張現実画像７０がオーバーレイされた現実世界の画像６６を見ることができる。

【0030】

いくつかの実施形態では、現実世界の環境が、現実世界の環境内に存在する物理的オブジェクトを照明できる様々な照明源８０（例えば、入射太陽光、ユーザが操作する懐中電灯又はレーザーポインタ）を含むことができる。一例として、いくつかの実施形態では、遊園地アトラクションの一部としてユーザ４０に照明装置８２（例えば、懐中電灯、レーザーポインタ）を提供することができる。照明装置８２は、ユーザ入力装置２６、又はユーザ入力装置２６の一部を含むことができる。ユーザ４０は、照明装置８２を使用して、ユーザ４０を取り巻く特定の現実世界のオブジェクト６８（例えば、ベンチ）を（例えば、遊園地アトラクションに関連するゲームの一部として）選択的に照明することができる。従って、ユーザ４０は、自身が選択的に照明した現実世界の環境の部分を電子メガネ４２を通して知覚することができる。ユーザ４０が仮想オブジェクト７２（例えば、幽霊）上及び／又はその方向にフラッシュライトを向けた場合には、照明装置８２が仮想オブジェクト７２を照らしているような錯覚を生じるように仮想オブジェクト７２の外観（例えば、陰影効果、色、反射）を更新することが望ましいと考えられる。後述するように、ＡＲライトボックスシステム３８は、ＡＲシステム１０によって実装できるモデリングアルゴリズムをこのような照明入力に応答して開発者が効果的に更新、修正及び／又は別様に調整して仮想オブジェクト７２の外観を調整し、これによって仮想オブジェクト７２の知覚されるリアリズムを強化することを可能にする。実際に、このような仮想オブジェクトの外観の調整と現実世界の照明条件との間の同期は、仮想オブジェクト７２が現実世界の環境内に物理的に存在しているという錯覚を強化することができる。

【0031】

以下の説明を容易にするために、図３は、ＡＲライトボックスシステム３８の実施形態の概略図である。上記で簡潔に説明したように、ＡＲライトボックスシステム３８は、様々な照明条件にさらされる現実世界の環境内に仮想オブジェクト７２がレンダリングされた時の仮想オブジェクト７２の知覚されるリアリズムを開発者が評価することを可能にする。具体的には、ＡＲライトボックスシステム３８は、仮想オブジェクト７２を実装すべき遊園地乗り物又は別のアトラクションの継続時間全体を通じて発生すると予想される特定の現実世界の照明条件を再現するように構成されたテスト環境を提供することができる。従って、開発者は、コンピュータグラフィックス生成システム２８がこのような照明条件において仮想オブジェクト７２をリアルに見える形で提示するように適切に構成されているかどうかを評価することができる。実際に、ＡＲライトボックスシステム３８は、ＡＲライトボックスシステム３８のテスト環境においてシミュレートされる様々な照明条件での仮想オブジェクト７２の評価及び検査時に、（例えば、コンピュータグラフィックス生成システム２８を介して）仮想オブジェクト７２を生成するために採用されるモデリングアルゴリズムを開発者が素早く修正、更新及び／又は調整することを可能にすることができる。従って、開発者は、様々な現実世界の環境内の仮想オブジェクト７２をより良く提示（例えば、レンダリング）するように、及び／又は過渡的な照明条件に応答してこのような現実世界の環境内の仮想オブジェクト７２の外観をより良く更新するようにコンピュータグラフィックス生成システム２８のモデリングアルゴリズムを調整し、これによってこれらの環境内の仮想オブジェクト７２の知覚されるリアリズムを強化することができる。さらに、ＡＲライトボックスシステム３８は、ＡＲシステム１０を実装すべき遊園地アトラクションでの経験的テストを伴わずに開発者がこのようなモデリングアルゴリズムの修正を引き出すことを可能にすることができる。

【0032】

例えば、図示の実施形態では、ＡＲライトボックスシステム３８が、１又は２以上の内壁９４によって定められた背景幕９２を有する物理的ステージ９０（例えば、環境）を含む。従って、物理的ステージ９０は、現実世界の環境内の物理的空間９６を定める。明確にするために、物理的ステージ９０は、物理的空間９６又は物理的空間９６の一部を定めるいずれかの好適なプラットフォーム、表面、壁、パネル、又はこれらの組み合わせを含むことができると理解されたい。後述するように、ディスプレイシステム２９（例えば、ヘッドマウントディスプレイ３０、１又は２以上のプロジェクタ３７）は、仮想オブジェクト７２を背景幕９２上にオーバーレイして、ディスプレイシステム２９を使用するユーザ４０（例えば、開発者）が仮想オブジェクト７２を物理的空間９６内に位置するものとして知覚することを可能にするように構成することができる。ＡＲライトボックスシステム３８は、物理的ステージ９０の特定の部分を照明するように個別に動作可能な１又は２以上の物理的ライト１００を含む。具体的には、図示の実施形態では、ＡＲライトボックスシステム３８が、第１の物理的ライト１０２、第２の物理的ライト１０４及び第３の物理的ライト１０６を含む。明確にするために、本明細書で使用する「物理的ライト」は、現実世界の環境内に配置されて物理的ステージ９０などの現実世界の環境内の現実世界のオブジェクトを照明するように構成された好適な照明装置を意味する。非限定的な例として、このような物理的ライトは、白熱電球、小型蛍光ランプ、ハロゲンランプ、ネオンランプ、発光ダイオード（ＬＥＤ）、懐中電灯（例えば、ユーザが操作可能な懐中電灯、及び／又は１又は２以上のアクチュエータを介して制御可能な懐中電灯）、又は他のいずれかの好適な照明装置を含むことができる。なお、物理的ライト１００は、物理的ステージ９０によって定められる物理的空間９６内に配置することも、或いは物理的空間９６の外部に配置することもできる。例えば、いくつかの実施形態では、物理的ライト１００を物理的ステージ９０に隣接して配置して物理的空間９６内及び背景幕９２上に光を投影するように構成することができる。

【0033】

いくつかの実施形態では、背景幕９２が、背景幕９２上に表示された及び／又は背景幕９２と一体化された様々なテーマ、デザイン及び／又はその他のグラフィックを含むことができる。例えば、いくつかの実施形態では、アトラクション内で仮想オブジェクト７２を提示する際に表示すべき特定の環境（例えば、宇宙テーマ、ジャングルテーマ）をシミュレートするように、背景幕９２上に様々なグラフィックをペイント又は描画することができる。いくつかの実施形態では、背景幕９２の表面上にグラフィックがオーバーレイされるように、投影システムを介して様々なグラフィックを背景幕９２上に投影することができる。さらなる実施形態では、背景幕９２の一部又は実質的に全部が、様々な静止画像又はビデオフィードを表示するように構成された１又は２以上のディスプレイを含むことができる。一例として、１又は２以上のディスプレイは、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ＬＥＤディスプレイ、又は画像データを表示する他の好適なディスプレイを含むことができる。後述するように、背景幕９２は、ユーザ４０がヘッドマウントディスプレイ３０を装着して本明細書で説明する技術に従ってＡＲライトボックスシステム３８を利用しながら部屋を横切る（例えば、歩く）ことができるように、部屋の１又は２以上の壁、床及び／又は天井を含むことができると理解されたい。

【0034】

いくつかの実施形態では、物理的ライト１００のうちの１つ又は２つ以上を、特定の色（例えば、波長）の可視光を出力するように選択的に制御することができる。一例として、一定数／量の物理的ライト１００は、背景幕９２上に様々な色の光を選択的に投影するように動作できる制御可能なＬＥＤを含むことができる。いくつかの実施形態では、物理的ライト１００を、内部制御回路を介して光の強度（例えば、光度）を調整するように構成することができる。いくつかの実施形態では、物理的ライト１００に含めることができる統合型制御回路に加えて又は代えて、１又は２以上の物理的な調整装置を使用して、物理的ライト１００によって出力される光の色及び／又は光の強度を調整することもできる。例えば、物理的ライト１００は、物理的ライト１００によって出力される光の色を調整するために物理的ライト１００の前に選択的に配置できるそれぞれの着色ゲルを伴うことができる。さらに、物理的ライト１００は、物理的ライト１００によって出力される光の強度を調整するように構成されたそれぞれのシャッターを伴うこともできる。

【0035】

いくつかの実施形態では、物理的ライト１００の一部を、物理的ステージ９０に対する物理的ライト１００の向き及び／又は位置を調整するように動作可能なそれぞれのアクチュエータ１０８に結合することができる。例えば、アクチュエータ１０８は、物理的ライト１００が物理的ステージ９０の特定の部分に光を向ける角度を調整するように構成することができる。これに加えて又はこれに代えて、アクチュエータ１０８は、物理的ライト１００と物理的ステージ９０との間の分離距離を調整し、及び／又は物理的ステージ９０に対して物理的ライト１００を動かすこともできる。アクチュエータ１０８は、例えば線形アクチュエータ、空気圧アクチュエータ、電気機械式アクチュエータ、又は他の好適なアクチュエータを含むことができる。従って、アクチュエータ１０８は、物理的ライト１００のうちの１つ又は２つ以上に回転動作、線形動作及び／又はその他の動作を与えるように構成することができると理解されたい。

【0036】

物理的ライト１００及びアクチュエータ１０８は、ライトコントローラ１１０又はＡＲライトボックスシステム３８の別の好適な制御装置に（例えば、有線又は無線通信コンポーネントを介して）通信可能に結合することができる。後述するように、ライトコントローラ１１０は、各物理的ライト１００によって出力される光の強度及び／又は光の色を調整するように物理的ライト１００に命令するよう構成することができる。さらに、ライトコントローラ１１０は、物理的ステージ９０に対する物理的ライト１００の向き及び／又は位置を調整するようにアクチュエータ１０８に命令するよう構成することができる。

【0037】

ライトコントローラ１１０は、ＡＲライトボックスシステム３８の様々なコンポーネントを制御するために使用できる、ＡＲライトボックスシステム３８のライトボックスコントローラ１１２に通信可能に結合することができる。いくつかの実施形態では、ライトボックスコントローラ１１２がコンピュータグラフィックス生成システム２８を含むことができ、或いはライトボックスコントローラ１１２をコンピュータグラフィックス生成システム２８と一体化することができる。他の実施形態では、ライトボックスコントローラ１１２が、コンピュータグラフィックス生成システム２８から分離されてコンピュータグラフィックス生成システム２８との間で情報を送受信するように構成されたコントローラを含むことができる。例えば、いくつかの実施形態では、コンピュータグラフィックス生成システム２８が、ライトボックスコントローラ１１２がディスプレイシステム２９を介して（例えば、ヘッドマウントディスプレイ３０及び／又は１又は２以上のプロジェクタ３７を介して）仮想特徴をレンダリングして表示することを可能にする命令（例えば、モデリングアルゴリズム）をライトボックスコントローラ１１２に与えることができる。なお、ライトコントローラ１１０及びライトボックスコントローラ１１２の各々は、これらが本明細書で説明する技術及びプロセスを実行することを可能にするそれぞれのプロセッサ１１４、１１６及びそれぞれのメモリ１１８、１２０（例えば、有形の非一時的コンピュータ可読媒体）を含むことができると理解されたい。

【0038】

ライトボックスコントローラ１１２は、物理的ステージ９０の仮想表現である仮想ステージ１２８を生成（例えば、レンダリング）するように構成することができる。仮想ステージ１２８は、物理的空間９６のサイズ及び／又はスケールに一致するように構成された仮想空間１３０（例えば、ゲーム空間）を定めることができる。換言すれば、ライトボックスコントローラ１１２は、仮想ステージ１２８の相対的寸法が物理的ステージ９０の相対的寸法に比例すること又は等しいことを保証することができる。いくつかの実施形態では、ライトボックスコントローラ１１２が仮想ステージ１２８をデジタル表現としてレンダリングせず、代わりに仮想ステージ１２８を利用して仮想空間１３０の外部寸法境界を定めることができる。仮想空間１３０は、それぞれが物理的ライト１００のそれぞれの物理的ライトに関連する１又は２以上の仮想光１３２を含むことができる。具体的には、図示の実施形態では、仮想空間１３０が、第１の物理的ライト１０２、第２の物理的ライト１０４及び第３の物理的ライト１０６にそれぞれ関連する第１の仮想光１３４、第２の仮想光１３６及び第３の仮想光１３８を含む。明確にするために、本明細書で使用する「仮想光」は、仮想空間１３０内の仮想照明の表現を更新するように構成された光シミュレーションを意味することができる。なお、図示のＡＲライトボックスシステム３８の実施形態は３つの物理的ライト１００及び３つの仮想光１３２を含むが、他の実施形態では、ＡＲライトボックスシステム３８がいずれかの好適な数量の物理的ライト１００及び対応する仮想光１３２を含むことができると理解されたい。

【0039】

仮想空間１３０は、仮想オブジェクト７２の表現１４０を含むことができる。表現１４０は、仮想オブジェクト７２のモデル（例えば、デジタル表現）とすることができる。とりわけ、ライトボックスコントローラ１１２は、上述した技術に従ってディスプレイシステム２９が好適な現実世界の環境上に仮想オブジェクト７２をオーバーレイすることを可能にする入力としてディスプレイシステム２９に表現１４０を提供するように構成することができる。換言すれば、いくつかの実施形態では、仮想オブジェクト７２を、ライトボックスコントローラ１１２によって生成された表現１４０のレンダリングとすることができる。本明細書で詳述するように、ライトボックスコントローラ１１２は、物理的空間９６の照明条件の変化及び仮想空間１３０の照明条件の変化に基づいて表現１４０の外観（例えば、着色、陰影）を更新するように構成することができる。この結果、表現１４０の外観の変化を仮想オブジェクト７２の外観の変化として反映することができる（例えば、仮想オブジェクト７２のレンダリングを表現１４０に従って更新することができる）。

【0040】

開発者は、特定の照明環境内の仮想オブジェクト７２の外観を評価するために、ディスプレイシステム２９を使用して背景幕９２上に仮想オブジェクト７２をオーバーレイするように入力装置１４４（例えば、ユーザ入力装置２６）を介してライトボックスコントローラ１１２に命令することができる。物理的ライト１００は、開発者によって指定された特定の現実世界の照明条件を物理的空間９６内でシミュレートするように構成することができる。例えば、開発者は、特定の遊園地乗り物の継続時間全体を通じて発生すると予想される照明条件をシミュレートするように（例えば、ライトボックスコントローラ１１２に提供される入力を介して）物理的ライト１００に命令することができる。各物理的ライト１００は、その特定の物理的ライト１００の現在の動作パラメータを示すフィードバックをライトコントローラ１１０に提供するように構成することができる。一例として、このような動作パラメータは、各物理的ライト１００に関連する識別子（例えば、第１の物理的ライト１０２、第２の物理的ライト１０４及び第３の物理的ライト１０６を区別するために使用される識別コード）、各物理的ライト１００によって出力される光強度、各物理的ライト１００によって出力される光の色（例えば、色相）、物理的ステージ９０に対する各物理的ライト１００の位置、物理的ステージ９０に対する各物理的ライトの向き、又はこれらの組み合わせを含むことができる。いくつかの実施形態では、物理的ライト１００が、上述した動作パラメータのうちのいずれか１つ又は組み合わせを示すフィードバックをライトコントローラ１１０に提供するように構成されたセンサ（例えば、統合センサ）を含むことができる。これに加えて又はこれに代えて、物理的ライト１００は、このような動作パラメータを示すフィードバックをライトコントローラ１１０に提供するように構成されたそれぞれのセンサ１４８（例えば、外部センサ）に関連することもできる。例えば、いくつかの実施形態では、センサ１４８が、光学センサ（例えば、光強度センサ、波長検出器）、ＧＰＳセンサ、光電センサ、又はその他の好適なセンサを含むことができる。

【0041】

いくつかの実施形態では、物理的ライト１００及び対応するアクチュエータ１０８の一部を、物理的ライト１００の位置、向き、照明色相、照明強度及び／又はその他のパラメータを一時的に定める特定の照明シーケンス（例えば、所定の照明シーケンス）を実行するように構成することができる。照明シーケンスは、特定のオペレータ入力時（例えば、ユーザがライトボックスコントローラ１１２に結合されたユーザインターフェイスに入力を提供した時）及び／又はセンサフィードバック時（例えば、ユーザが物理的ステージ９２に対して特定の場所に向かって移動した時）に開始することができる。物理的ライト１００に関連する照明シーケンスは、例えばライトコントローラ１１０及び／又はライトボックスコントローラ１１２のそれぞれのメモリ１１８、１２０に記憶することができる。これに加えて又はこれに代えて、照明シーケンスは、物理的ライト１００の関連するメモリ（例えば、統合メモリ）に記憶することもできる。いずれにせよ、特定の照明シーケンスの開始時には、物理的ライト１００のうちの１つ又は２つ以上が、対応する照明シーケンスを実行中である物理的ライト１００の現在の動作パラメータを示すフィードバックをライトボックスコントローラ１１２に提供することができる。すなわち、ライトボックスコントローラ１１２は、物理的ライト１００の動作パラメータを示すフィードバックをセンサ１４８から受け取る代わりに、照明シーケンスを実行するように構成された物理的ライト１００の対応するコントローラから物理的ライト１００の現在の動作パラメータを示すフィードバックを直接受け取ることができる。

【0042】

いくつかの実施形態では、ＡＲライトボックスシステム３８が、物理的ステージ９０を取り巻く周囲照明を示すフィードバック（例えば、周囲照明フィードバック）をライトコントローラ１１０に提供するように構成された１又は２以上の周囲照明センサ１５０を含むことができる。非限定的な例として、１又は２以上の周囲照明センサ１５０は、物理的ステージ９０上に投影される自然太陽光、又は物理的ステージ９０の上方に配置された追加照明装置から物理的ステージ９０上に投影できる模擬太陽光を示すフィードバックをライトコントローラ１１０に提供するように構成することができる。いくつかの実施形態では、１又は２以上の周囲照明センサ１５０の一部を、物理的ステージ９０に対する周囲照明センサ１５０の位置を調整するように構成された作動マニピュレータ（例えば、ロボットマニピュレータ）に結合することができる。従って、作動マニピュレータは、物理的ステージ９０に沿った様々な場所の周囲照明状態を示すフィードバックを１又は２以上の周囲照明センサ１５０が取得することを可能にすることができる。作動マニピュレータは、ライトボックスコントローラ１１２に通信可能に結合することよって、ライトボックスコントローラ１１２が作動マニピュレータを介して１又は２以上の周囲照明センサ１５０の位置を調整する命令を送信することを可能にすることができる。いくつかの実施形態では、ディスプレイシステム２９を、作動マニピュレータにＡＲ特徴をオーバーレイすることによって、ディスプレイシステム２９を介して物理的ステージ９０を見ている開発者（例えば、ユーザ４０）に対して作動マニピュレータが削除され又はもはや存在しないように見せるように構成することができる（例えば、ディスプレイシステム２９は、作動マニピュレータを仮想環境表現で完全に又は部分的にオクルードすることができる）。

【0043】

ライトコントローラ１１０は、物理的ライト１００から受け取られたフィードバック、及び／又はセンサ１４８及び／又は周囲照明センサ１５０から受け取られたフィードバックを示す情報をライトボックスコントローラ１１２に提供することができる。なお、いくつかの実施形態では、物理的ライト１００、センサ１４８及び／又は周囲照明センサ１５０が、このようなフィードバックを直接ライトボックスコントローラ１１２に提供することができると理解されたい。実際には、このような実施形態では、ＡＲライトボックスシステム３８からライトコントローラ１１０を省略することができる。いずれにせよ、ライトボックスコントローラ１１２は、物理的ライト１００によって提供されたフィードバック、センサ１４８によって提供されたフィードバック及び／又は周囲照明センサ１５０によって提供されたフィードバックに基づいて仮想空間１３０内の仮想照明状態（例えば、仮想光１３２のそれぞれの状態）を更新することができる。例えば、ライトボックスコントローラ１１２は、物理的空間９６内の対応する物理的ライト１００の決定された位置及び／又は決定された向きに基づいて仮想空間１３０内の各仮想光１３２の位置及び／又は向きを更新することができる。とりわけ、ライトボックスコントローラ１１２は、仮想空間１３０に対する仮想光１３２の位置パラメータ（例えば、位置、向き）を物理的空間９６に対する物理的ライト１００の位置パラメータ（例えば、位置、向き）と一致するように調整することができる。さらに、ライトボックスコントローラ１１２は、物理的ライト１００によって投影された光の現在の色及び／又は強度に基づいて、表現１４０上にレンダリングされる仮想照明の色及び／又は強度を更新することができる。

【0044】

非限定的な例として、ライトボックスコントローラ１１２は、第１の物理的ライト１０２の（例えば、物理的ステージ９０に対する）位置、第１の物理的ライト１０２の（例えば、物理的ステージ９０に対する）向き、第１の物理的ライト１０２によって出力される光の色相（例えば、色）、及び／又は第１の物理的ライト１０２によって出力される光の強度（例えば、発光強度）などの、第１の物理的ライト１０２の１又は複数の動作パラメータを示すフィードバックを第１の物理的ライト１０２から直接的又は間接的に受け取るように構成することができる。ライトボックスコントローラ１１２は、このようなフィードバックを受け取ると、第１の仮想光１３４の状態を第１の物理的ライト１０２の対応する１又は複数の動作パラメータに一致するように更新するよう構成することができる。すなわち、ライトボックスコントローラ１１２は、仮想空間１３０内の第１の仮想光１３４の（例えば、仮想ステージ１２８に対する）位置及び／又は向きを、物理的空間９６内の第１の物理的ライト１０２の（例えば、物理的ステージ９０に対する）現在の位置及び現在の向きと一致するように調整することができる。従って、ライトボックスコントローラ１１２は、物理的空間９６内の第１の物理的ライト１０２の位置及び／又は向きに基づいて、表現１４０上に仮想光がレンダリングされる角度を調整することができる。また、ライトボックスコントローラ１１２は、第１の仮想光１３４によってレンダリングされる仮想光の色相及び強度を第１の物理的ライト１０２によって出力される光の色相及び強度と一致するように調整することもできる。従って、ライトボックスコントローラ１１２は、表現１４０上にレンダリングされる仮想光の色及び強度を第１の物理的ライト１０２によって出力される光の色及び強度に調整することができる。換言すれば、ライトボックスコントローラ１１２は、（例えば、第１の物理的ライト１０２の動作パラメータに基づいて）第１の仮想光１３４の状態を調整することによって仮想オブジェクト７２の外観を調整（例えば、更新）することができる。

【0045】

ライトボックスコントローラ１１２は、上述した技術に従って、第２の物理的ライト１０４及び第３の物理的ライト１０６の照明出力に基づいて、第２の仮想光１３６及び第３の仮想光１３８によってレンダリングされる仮想光をそれぞれ調整することができる。すなわち、ライトボックスコントローラ１１２は、第２及び第３の物理的ライト１０４、１０６内の統合センサからのフィードバック、及び／又はセンサ１４８（例えば、第２及び第３の物理的ライト１０４、１０６の外部のセンサ）からのフィードバックに基づいて、第２及び第３の仮想光１３６、１３８によってレンダリングされる仮想光を調整することができる。このように、ライトボックスコントローラ１１２は、物理的ライト１００の動作パラメータに基づいて、表現１４０のレンダリングされた外観（例えば、陰影、強調表示、彩色）を調整し、従って仮想オブジェクト７２のレンダリングされた外観を調整することができる。実際に、ライトボックスコントローラ１１２は、物理的空間９６内の物理的ライト１００の動作パラメータ（例えば、位置、向き、色相、強度）の変化に応答して、上述した技術を実質的にリアルタイムで実行して仮想オブジェクト７２の外観を調整することができる。これにより、ＡＲライトボックスシステム３８は、レンダリングされた仮想オブジェクト７２の外観が物理的ライト１００によって生成された照明条件と同等にリアルに見えるかどうかを開発者が評価することを可能にする。換言すれば、開発者は、コンピュータグラフィックス生成システム２８が物理的ライト１００によって出力される照明の変化に応答して仮想オブジェクト７２の外観を適切に調整するかどうかを判定することができる。

【0046】

一例として、開発者は、１又は２以上の物理的ライト１００が物理的ステージ９０に対して移動した時、及び／又は異なる色相又は強度の光を出力するように命令された時に、ライトボックスコントローラ１１２が仮想オブジェクト７２の陰影及び／又は影付けを空間的及び／又は時間的にリアルに調整するかどうかを判定することができる。実際には、開発者は、ＡＲライトボックスシステム３８を使用して、例えば特定の遊園地乗り物の継続時間全体を通じて発生し得る様々な現実世界の照明条件を（例えば、物理的ライト１００を介して）シミュレートし、このような現実世界の照明条件の変化に応答して過渡的に調整される仮想オブジェクト７２の外観のリアリズムを評価することができる。従って、開発者は、ＡＲライトボックスシステム３８を有するテスト環境内で、遊園地の特定の設定で仮想オブジェクトがどのように表示されるかを予測することができる。従って、ＡＲライトボックスシステム３８は、現在採用されているアルゴリズムによる仮想オブジェクト７２の外観の調整がリアルでない又は不十分であるとの判定時に、仮想オブジェクト７２の外観を更新するために使用されるアルゴリズムに開発者が調整を加えることを可能にすることができる。従って、ＡＲライトボックスシステム３８は、物理的ライト１００によって出力された光が仮想オブジェクト７２と相互作用している（例えば、反射している、色調又は陰影を変化させている）という錯覚をライトボックスコントローラ１１２及び／又はコンピュータグラフィックス生成システム２８がより効果的に生成できるようにする形で開発者がライトボックスコントローラ１１２及び／又はコンピュータグラフィックス生成システム２８のモデリングアルゴリズムをより良く調整することを可能にする。なお、ライトボックスコントローラ１１２は、第１、第２及び／又は第３の仮想光１３４、１３６、１３８のいずれかによってレンダリングされる光を、周囲照明センサ１５０によって提供される周囲照明フィードバックに基づいて調整することができると理解されたい。従って、ライトボックスコントローラ１１２は、物理的ステージ９０の背景幕９２を取り巻く周囲照明条件に基づいて仮想オブジェクト７２の外観を調整することができる。

【0047】

いくつかの実施形態では、ＡＲライトボックスシステム３８を、物理的ライト１００の動作パラメータに基づいて仮想光１３２の動作状態を調整することに加えて又は代えて、仮想光１３２の動作状態（例えば、仮想ステージ１２８に対する仮想光１３２の位置及び／又は向き、仮想光１３２によってレンダリングされる仮想光の色相及び／又は強度）に基づいて物理的ライト１００の動作パラメータ（例えば、物理的ステージ９０に対する物理的ライト１００の位置及び／又は向き、物理的ライト１００によって出力される光の色相及び／又は強度）を調整するように構成することもできる。例えば、開発者は、入力装置１４４を通じて与えられる命令を介して、ライトボックスコントローラ１１２に仮想光１３２の動作状態を調整するように命令することができる。具体的には、開発者は、入力装置１４４を使用して、第１の仮想光１３４の（例えば、仮想ステージ１２８に対する）位置を調整し、第１の仮想光１３４の（例えば、仮想ステージ１２８に対する）向きを調整し、第１の仮想光１３４によってレンダリングされる仮想光の色相（例えば、色）を調整し、及び／又は第１の仮想光１３４によってレンダリングされる仮想光の強度を調整することができる。このような命令は、遊園地アトラクションの一部として提示されるゲームなどの、コンピュータグラフィックス生成システム２８によって生成されるゲーム中にユーザが提供できる可能性があるユーザ入力をシミュレートするために使用することができる。ライトボックスコントローラ１１２は、このような命令を受け取ると、上述した技術に従って表現１４０の外観及び仮想オブジェクト７２の外観を調整することができる。ライトボックスコントローラ１１２は、仮想オブジェクト７２の外観を調整することと実質的に連動して、物理的空間９６内の（例えば、物理的ステージ９０に対する）第１の物理的ライト１０２の位置及び／又は向きを、仮想空間１３０内の（例えば、仮想ステージ１２８に対する）第１の仮想光１３４の現在の位置及び向き（例えば、状態）と一致するように（例えば、対応するアクチュエータ１０８を介して）調整することができる。また、ライトボックスコントローラ１１２は、第１の物理的ライト１０２によって出力される光の色相及び／又は強度を、第１の仮想光１３４によってレンダリングされる仮想光の色相及び強度（例えば、状態）に一致するように調整することもできる。なお、ライトボックスコントローラ１１２は、これらの技術に従って、第２の仮想光１３６及び第３の仮想光１３８の状態に基づいて第２の物理的ライト１０４及び第３の物理的ライト１０６の動作パラメータをそれぞれ調整することができると理解されたい。

【0048】

従って、ライトボックスコントローラ１１２は、（例えば、仮想光１３２の操作によって定められる）仮想オブジェクト７２の更新された外観に基づいて物理的ライト１００の動作パラメータを調整することができる。ライトボックスコントローラ１１２は、仮想オブジェクト７２の外観の指定された調整に合わせて物理的ライト１００の動作パラメータ（例えば、位置、向き、色相、強度）を実質的にリアルタイムで調整することができ、これによって物理的ライト１００が仮想オブジェクト７２の調整された外観と同等に同期的かつリアルな形でその照明出力を調整するかどうかを開発者が評価することを可能にすることができる。従って、ＡＲライトボックスシステム３８は、現在採用されているアルゴリズムによる物理的ライト１００の動作の調整が（例えば、仮想オブジェクト７２の外観の調整に関連して）リアルではないとの判定時に、物理的ライト１００の動作を制御するために使用されるアルゴリズムに開発者が調整を加えることを可能にすることができる。

【0049】

いくつかの実施形態では、ライトボックスコントローラ１１２を、１又は２以上の物理的ライト１００故障状態の発生を判定するように構成することができる。例えば、ライトボックスコントローラ１１２は、１又は２以上の物理的ライト１００が効果的に動作していないかどうか、又は（例えば、ライト内のフィラメントの故障によって）動作不能であるかどうかを判定することができる。ライトボックスコントローラ１１２は、このような故障状態を検出すると、開発者に物理的ライト１００のうちの１つ又は２つ以上に対してメンテナンス（例えば、交換、修理）を行うように促す通知を（例えば、ヘッドマウントディスプレイ３０などの好適なディスプレイ装置、可聴警告を介して）開発者に提供することができる。いくつかの実施形態では、各物理的ライト１００に関連する識別子が、物理的ライト１００のうちのどのライト（例えば、第１の物理的ライト１０２、第２の物理的ライト１０４、第３の物理的ライト１０６）に特に故障状態が発生しているかをライトボックスコントローラ１１２が開発者に知らせることを可能にすることができる。例えば、ライトボックスコントローラ１１２は、（例えば、故障状態の発生の検出に応答して）故障状態を示している特定の物理的ライトの位置を、識別子の表示を介して開発者に通知することができる。

【0050】

いくつかの実施形態では、ＡＲライトボックスシステム３８を、様々なテスト場所又は設定に容易に移動できるように構成されたポータブルキットとすることができる。例えば、物理的ステージ９０は、机又はその他の好適な構造上に配置されるサイズとすることができる。ライトコントローラ１１０及びライトボックスコントローラ１１２は、ポータブルな構造内に収容して、物理的ライト１００、センサ１４８、１５０、及び／又はアクチュエータ１０８などの物理的ステージ９０のコンポーネントに通信可能に結合するように構成することもできる。いくつかの実施形態では、ライトコントローラ１１０、ライトボックスコントローラ１１２、及び／又はＡＲライトボックスシステム３８に含まれる他の機能を、物理的ステージ９０の好適な部分内で統合することができる。なお、他の実施形態では、物理的ステージ９０をいずれかの好適なサイズにスケール調整することができると理解されたい。例えば、いくつかの実施形態では、物理的ステージ９０を、開発者が物理的ステージ９０上に立って及び／又は物理的ステージ９０を横切って移動して（例えば、物理的ステージ９０に対する）様々な視点から仮想オブジェクト７２を見ることを可能にするようなサイズとすることができる。さらに、物理的ステージ９０上にいくつかの小道具（例えば、アニマトロニクスフィギュア、劇場用小道具、その他のオブジェクト）を配置して、開発者が物理的ステージ９０上の小道具に関する仮想オブジェクト７２の外観を評価できるようにすることもできる。いくつかの実施形態では、物理的ステージ９０が、上述した物理的ステージ９０の特徴（例えば、背景幕９２、物理的ライト１００、アクチュエータ１０８など）を有する部屋を含む。従って、ユーザ（例えば、開発者、遊園地アトラクションのゲスト）は、上述した技術に従ってＡＲライトボックスシステム３８を利用して、様々な現実世界の設定で仮想オブジェクトを見ることができる。

【0051】

上述したように、本開示の実施形態は、様々なシミュレートされた現実世界の設定で様々な異なる照明条件にわたってＡＲ特徴の外観を評価するのに有用な１又は２以上の技術的効果を提供することができる。とりわけ、本明細書で説明したＡＲライトボックスシステムは、現実世界の環境を土台としているように見えるＡＲ特徴を開発者又はその他のユーザがより効果的に開発して、このようなＡＲ特徴を現実世界の環境上にオーバーレイするために使用されるアルゴリズムを開発することを可能にすることができる。なお、本明細書における技術的効果及び技術的課題は一例であり、限定的なものではないと理解されたい。実際に、本明細書で説明した実施形態は他の技術的効果を奏することもでき、他の技術的課題を解決することもできる。

【0052】

本開示で説明した実施形態は様々な修正及び代替形態が可能であるが、図面には特定の実施形態を一例として示し、本明細書ではこれらについて詳細に説明した。しかしながら、本開示は、開示した特定の形態に限定されるように意図したものではないと理解されたい。本開示は、以下の添付の特許請求の範囲によって定められる本開示の趣旨及び範囲内にある全ての修正物、同等物及び代替物を対象とする。

【0053】

本明細書に示して特許請求する技術は、本技術分野を確実に改善する、従って抽象的なもの、無形のもの又は純粋に理論的なものではない実際的性質の有形物及び具体例を参照し、これらに適用される。さらに、本明細書の最後に添付するいずれかの請求項が、「．．．［機能］を［実行］する手段」又は「．．．［機能］を［実行］するステップ」として指定されている１又は２以上の要素を含む場合、このような要素は米国特許法１１２条（ｆ）に従って解釈すべきである。一方で、他のいずれかの形で指定された要素を含むいずれかの請求項については、このような要素を米国特許法１１２条（ｆ）に従って解釈すべきではない。

【符号の説明】

【0054】

１０ ＡＲシステム
２９ ディスプレイシステム
３０ ヘッドマウントディスプレイ（ＨＭＤ）
３２ 超現実環境
３７ プロジェクタ
３８ ＡＲライトボックス
４０ ユーザ
４２ 電子メガネ
４４ 装着部分
４６ プロセッサ
４８ メモリ
５０ 追跡システム
５２ 通信
６０ ディスプレイ
６２ ディスプレイ
６６ 現実世界の画像
６８ 実在するオブジェクト
７０ 拡張現実画像
７２ 仮想オブジェクト
８０ 照明源
８２ 照明装置

【図1】

【図2】

【図3】