特許 6750025 拡張現実（ＡＲ）システムを動作させる方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6750025

(24)【登録日】2020年8月14日

(45)【発行日】2020年9月2日

(54)【発明の名称】拡張現実（ＡＲ）システムを動作させる方法

(51)【国際特許分類】

   G09G 5/10 20060101AFI20200824BHJP

   G06T 19/00 20110101ALI20200824BHJP

   G09G 5/00 20060101ALI20200824BHJP

   G09G 5/36 20060101ALI20200824BHJP

   G02B 27/02 20060101ALI20200824BHJP

【ＦＩ】

   G09G5/10 B

   G06T19/00 600

   G09G5/00 510G

   G09G5/00 550C

   G09G5/36 520P

   G02B27/02 Z

【請求項の数】17

【全頁数】24

(21)【出願番号】特願2018-548381(P2018-548381)

(86)(22)【出願日】2017年3月15日

(65)【公表番号】特表2019-517012(P2019-517012A)

(43)【公表日】2019年6月20日

(86)【国際出願番号】US2017022578

(87)【国際公開番号】WO2017161039

(87)【国際公開日】20170921

【審査請求日】2020年3月13日

(31)【優先権主張番号】62/308,433

(32)【優先日】2016年3月15日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】カシュ， マイケル

【審査官】 小野 健二

(56)【参考文献】

【文献】 特開２０１０−１７７７８８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００６３４８６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２０８０１４（ＵＳ，Ａ１）

【文献】 特開２０１４−０９２７８７（ＪＰ，Ａ）

【文献】 特開２００２−１４８５５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ３／００−５／４２

Ｇ０２Ｆ １／１３３

Ｇ０２Ｂ ２７／０２−２７／６４

Ｈ０４Ｎ ５／６６−５／７４

(57)【特許請求の範囲】

【請求項1】

拡張現実（ＡＲ）システムを動作させる方法であって、前記方法は、
エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にすることと、
ユーザの頭部に対して取り付けられている少なくとも１つのカメラを用いて、前記３次元場面の画像データを捕捉することと、
前記エンドユーザの視点からの仮想画像データを生成することであって、前記少なくとも１つのカメラを用いて捕捉された前記画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義される、ことと、
前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の重複領域を決定することであって、前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定することは、前記画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の前記空間重複を決定することを含む、ことと、
少なくとも、前記重複領域について前記画像データ内の前記対応する実オブジェクトの対応する色を決定することによって、前記重複領域内の前記実オブジェクトの色を決定することと、
前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成することと、
前記重複領域内の前記実オブジェクトの前記色に基づいて、前記エンドユーザの視点から前記重複領域内の前記実オブジェクトを完全に覆い隠すことであって、前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記仮想オブジェクトのピクセルの前記少なくとも１つの値を修正することを含み、前記重複領域内の前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値を修正することは、前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値を減少させることを含み、前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値は、前記対応する実オブジェクトの対応するピクセルの少なくとも１つの対応する値だけ減少させられる、ことと
を含む、方法。

【請求項2】

前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
前記重複領域内の前記実オブジェクトの前記色に基づいて、干渉データを生成することと、
干渉画像が前記実オブジェクトからの前記直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記重複領域を覆う前記干渉画像として前記干渉データを前記ユーザに表示することと
を含む、請求項１に記載の方法。

【請求項3】

前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、請求項２に記載の方法。

【請求項4】

前記背景は、略均一色を前記重複領域内に有する、請求項３に記載の方法。

【請求項5】

前記略均一色は、灰色である、請求項４に記載の方法。

【請求項6】

前記干渉画像は、第１の色を前記重複領域内の前記実オブジェクトに加える、請求項２に記載の方法。

【請求項7】

前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記実オブジェクトの前記色に基づいて、前記仮想画像データを修正することを含む、請求項１に記載の方法。

【請求項8】

前記仮想画像データを修正することは、前記色を前記重複領域内の前記仮想オブジェクトから減じることを含む、請求項７に記載の方法。

【請求項9】

前記複数のピクセルの各々は、色ベクトルを定義する３つの値を有する、請求項１に記載の方法。

【請求項10】

前記色ベクトルは、赤色値、緑色値、および青色値を備えている、請求項９に記載の方法。

【請求項11】

前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値は、第１の色ベクトルを定義する３つの第１の値を有し、前記実オブジェクトの前記対応するピクセルの前記少なくとも１つの値は、第２の色ベクトルを定義する３つの第２の値を有する、請求項１に記載の方法。

【請求項12】

前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
前記重複領域内の前記仮想オブジェクトのための背景の背景ピクセルの少なくとも１つの背景値を選択することと、
第１の複数のピクセルを備える干渉データを生成することであって、前記第１の複数のピクセルの各々は、少なくとも１つの第２の値によって定義される、ことと、
干渉画像が前記実オブジェクトからの前記直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための前記背景を作成するように、前記重複領域を覆う前記干渉画像として前記干渉データを前記ユーザに表示することと
を含む、請求項１に記載の方法。

【請求項13】

前記第１の複数のピクセルの各々は、色ベクトルを定義する３つの値を有する、請求項１２に記載の方法。

【請求項14】

前記色ベクトルは、赤色値、緑色値、および青色値を備えている、請求項１２に記載の方法。

【請求項15】

前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記仮想オブジェクトのための前記背景の背景ピクセルの少なくとも１つの背景値を選択することをさらに含み、前記干渉データの第１の対応するピクセルの少なくとも１つの干渉値は、前記重複領域内の前記画像データにおける前記対応する実オブジェクトの前記対応するピクセルの前記少なくとも１つの対応する値にそれぞれ追加されると、前記重複領域内の前記仮想オブジェクトのための前記背景の前記背景ピクセルの前記少なくとも１つの背景値に等しい、請求項１２に記載の方法。

【請求項16】

前記重複領域について前記画像データにおける前記対応する実オブジェクトの対応するピクセルの対応する値の全ては、それぞれ、前記重複領域内の前記仮想オブジェクトのための前記背景の前記背景ピクセルの前記少なくとも１つの背景値を下回る、請求項１２に記載の方法。

【請求項17】

前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
前記重複領域内の前記画像データにおける前記対応する実オブジェクトの別の対応するピクセルの少なくとも１つの第１の対応する値が前記重複領域内の前記仮想オブジェクトのための前記背景の別の対応する背景ピクセルの少なくとも１つの第１の背景値を下回ることを決定することと、
前記重複領域内の前記仮想オブジェクトの別の対応するピクセルの前記少なくとも１つの値を修正することと
をさらに含む、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の引用）
本願は、米国仮特許出願第６２／３０８，４３３号（２０１６年３月１５日出願、名称「ＤＩＲＥＣＴ ＬＩＧＨＴ ＣＯＭＰＥＮＳＡＴＩＯＮ ＴＥＣＨＮＩＱＵＥ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」、代理人事件番号ＭＬ．３００３６．００）からの優先権を主張する。上記出願の内容は、その全体が参照により本明細書に明示的に引用される。

【0002】

（発明の分野）
本発明は、概して、１人以上のユーザのための双方向拡張現実環境を促進するように構成されるシステムおよび方法に関する。

【背景技術】

【0003】

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式で、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

【0004】

例えば、図１を参照すると、拡張現実場面２が、描写されており、ＡＲ技術のユーザは、人々６、木々８、背景における建物１０および空１２を特徴とする実世界公園状設定４と、コンクリートプラットフォーム１４とを見る。これらのアイテムに加え、ＡＲ技術のユーザは、実世界プラットフォーム１４上に立っているロボット１６と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１８とを「見ている」と知覚するが、これらの要素１６、１８は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術の生成は、困難である。

【0005】

ＶＲおよびＡＲディスプレイシステムは、視認者またはユーザの頭部姿勢に関する情報（すなわち、ユーザの頭部の向きおよび／または場所）から利益を享受し得る。

【0006】

例えば、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）は、ユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢の変化を考慮するように更新されることができる。

【0007】

例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れるエリアの周囲を歩く場合、その３Ｄオブジェクトは、各視点のために再レンダリングされ、ユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間内に提示するために使用される場合（例えば、豊かな仮想世界）、ユーザの動的に変化する頭部の場所および向きに合致する場面を再レンダリングし、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定値を使用することができる。

【0008】

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、ユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることにより、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される透明要素は、実世界のユーザのビューの上にディスプレイからの光を重ねる。

【0009】

本発明に最も関連するものは、ユーザが実世界環境からの周囲光を直接視認することを可能にする、光学シースルーＡＲディスプレイである。一般に、実世界の上に重ねられる仮想オブジェクトは、実世界体験をユーザに提供するために、ユーザの視点からの仮想オブジェクトの背後の実オブジェクトまたはその一部が完全に覆い隠されるように、不透明であることが望ましい。しかしながら、実世界からの光は、仮想世界によって遮断されるのとは対照的に、仮想世界からの光と組み合わせられるので、仮想オブジェクトまたはその一部は、実オブジェクトに重なるとき、透明または半透明であるように見え得る。

【0010】

したがって、光学シースルーＡＲシステムにおいてユーザに表示される仮想オブジェクトが、可能な限り不透明であることを確実にする必要がある。

【発明の概要】

【課題を解決するための手段】

【0011】

本発明の第１の側面によると、拡張現実（ＡＲ）システムを動作させる方法が、提供される。方法は、エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にすることと、エンドユーザの視点からの仮想画像データを生成することと、３次元場面内の実オブジェクトと仮想画像データ内の仮想オブジェクトとの間の空間重複の領域と、重複領域内の実オブジェクトの色特性とを決定することとを含む。方法は、重複領域内の実オブジェクトの決定された色特性に基づいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラスト（例えば、知覚される色コントラストおよび／または知覚される色強度）を減少させることをさらに含む。方法は、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、可視化された直接光とともに、仮想画像として、仮想画像データをエンドユーザに表示し、３次元拡張場面を作成することをさらに含む。

【0012】

１つの方法では、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させることは、重複領域内の実オブジェクトの決定された色特性に基づいて、干渉データを生成することと、干渉画像が、実オブジェクトからの直接光と組み合わさり（例えば、色を加えることによって）、重複領域内の仮想オブジェクトのための背景を作成するように、干渉データを重複領域を覆う干渉画像としてエンドユーザに表示することとを含む。重複領域内の背景は、重複領域内の実オブジェクトに対して減少したダイナミックカラーレンジを有し得る。例えば、背景は、略均一色（例えば、灰色）を重複領域内に有し得る。

【0013】

別の方法では、実オブジェクトと仮想オブジェクトとの間のコントラストを減少させることは、重複領域内の実オブジェクトの決定された色特性に基づいて、仮想画像データを修正することを含む（例えば、色を仮想オブジェクトから減じることによって）。

【0014】

なお別の方法は、ユーザの頭部に対して取り付けられている少なくとも１つのカメラを用いて、実３次元場面の画像データを捕捉することと、捕捉された画像データをユーザの視点に対してワープさせることとをさらに含む。この場合、実オブジェクトと仮想オブジェクトとの間の重複領域を決定することは、ワープさせられた画像データ内の対応する実オブジェクトと仮想画像データ内の仮想オブジェクトとの間の空間重複を決定することを含み、重複領域内の実オブジェクトの色特性を決定することは、重複領域内のワープさせられた画像データ内の対応する実オブジェクトの色特性を決定することを含む。ワープさせられた画像データおよび仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、その場合、実オブジェクトと仮想オブジェクトとの間のコントラストを減少させることは、仮想オブジェクトおよび重複領域内のワープさせられた画像データから導出される干渉データのうちの一方または両方のピクセルの値を修正することを含み得る。ピクセルの各々は、色ベクトルを定義する３つの値（例えば、赤色値、緑色値、および青色値）を備え得、さらに、ピクセルの強度を定義する第４の値を有し得る。

【0015】

本発明の別の側面によると、拡張現実（ＡＲ）システムは、エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にするために構成されているディスプレイシステムを備えている。一実施形態では、ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるために構成される。拡張現実システムは、ディスプレイシステムを支持し、エンドユーザによって装着されるために構成されているフレーム構造をさらに備え得る。ディスプレイシステムは、投影サブシステムと、部分的透明ディスプレイ表面とを含み得、投影サブシステムは、仮想画像を部分的透明ディスプレイ表面上に投影するために構成される。この場合、部分的透明ディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置するために構成される。

【0016】

拡張現実システムは、仮想画像データをエンドユーザの視点から生成することと、３次元場面内の実オブジェクトと仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定することと、重複領域内の実オブジェクトの色特性を決定することと、例えば、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚される色コントラストを修正することおよび／または重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚される強度コントラストを修正することとによって、重複領域内の実オブジェクトの決定された色特性に基づいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させることとのために構成される、制御システム（例えば、グラフィカル処理ユニット（ＧＰＵ）を備えているもの）をさらに備えている。制御システムはさらに、ディスプレイシステムに、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、可視化された直接光とともに、仮想画像として仮想画像データをエンドユーザに表示し、３次元拡張場面を作成するように命令するために構成される。

【0017】

一実施形態では、制御システムは、重複領域内の実オブジェクトの決定された色特性に基づいて、干渉データを生成することによって、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させることと、干渉画像が実オブジェクトからの直接光と組み合わさり（例えば、色を加えることによって）、重複領域内の仮想オブジェクトのための背景を作成するように、ディスプレイシステムに、干渉データを重複領域を覆う干渉画像としてエンドユーザに表示するように命令することとを行うために構成される。重複領域内の背景は、重複領域内の実オブジェクトに対して減少したダイナミックカラーレンジを有し得る。例えば、背景は、略均一色（例えば、灰色）を重複領域内に有し得る。

【0018】

別の実施形態では、制御システムは、重複領域内の実オブジェクトの決定された色特性に基づいて、仮想画像データを修正する（例えば、色を仮想オブジェクトから減じることによって）ことによって、実オブジェクトと仮想オブジェクトとの間のコントラストを減少させるために構成される。

【0019】

さらに別の実施形態では、拡張現実システムは、ユーザの頭部に対して取り付けられるために構成され、実３次元場面の画像データを捕捉するためにさらに構成される少なくとも１つのカメラをさらに備え、制御システムは、捕捉された画像データをユーザの視点に対してワープさせることのために構成される。この場合、制御システムは、捕捉された画像データ内の対応する実オブジェクトと仮想画像データ内の仮想オブジェクトとの間の空間重複を決定することによって、実オブジェクトと仮想オブジェクトとの間の重複領域を決定するために構成され、重複領域内の実オブジェクトの色特性を決定することは、重複領域内のワープさせられた画像データ内の対応する実オブジェクトの色特性を決定することを含む。

【0020】

捕捉された画像データおよび仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、その場合、制御システムは、仮想オブジェクトおよび重複領域内のワープさせられた画像データから導出される干渉データのうちの一方または両方のピクセルの値を修正することによって、実オブジェクトと仮想オブジェクトとの間のコントラストを減少させるために構成される。ピクセルの各々は、色ベクトルを定義する３つの値（例えば、赤色値、緑色値、および青色値）を備え得、さらに、ピクセルの強度を定義する第４の値を有し得る。

【0021】

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実（ＡＲ）システムを動作させる方法であって、前記方法は、
エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にすることと、
前記エンドユーザの視点からの仮想画像データを生成することと、
前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定することと、
前記重複領域内の前記実オブジェクトの色特性を決定することと、
前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることと、
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成することと
を含む、方法。
（項目２）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される色コントラストを修正することを含む、項目１に記載の方法。
（項目３）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される強度コントラストを修正することをさらに含む、項目２に記載の方法。
（項目４）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、
前記重複領域内の実オブジェクトの決定された色特性に基づいて、干渉データを生成することと、
干渉画像が前記実オブジェクトからの直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記干渉データを前記重複領域を覆う前記干渉画像として前記エンドユーザに表示することと
を含む、項目１に記載の方法。
（項目５）
前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、項目４に記載の方法。
（項目６）
前記背景は、略均一色を前記重複領域内に有する、項目５に記載の方法。
（項目７）
前記略均一色は、灰色である、項目６に記載の方法。
（項目８）
前記干渉画像は、色を前記重複領域内の前記実オブジェクトに加える、項目４に記載の方法。
（項目９）
前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させることは、前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記仮想画像データを修正することを含む、項目１に記載の方法。
（項目１０）
前記仮想画像データを修正することは、色を前記重複領域内の前記仮想オブジェクトから減じることを含む、項目９に記載の方法。
（項目１１）
前記ユーザの頭部に対して取り付けられている少なくとも１つのカメラを用いて、前記実３次元場面の画像データを捕捉することと、
前記捕捉された画像データを前記ユーザの視点に対してワープさせることと
をさらに含み、
前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定することは、前記捕捉された画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の空間重複を決定することを含み、前記重複領域内の前記実オブジェクトの色特性を決定することは、前記重複領域内の前記捕捉された画像データ内の前記対応する実オブジェクトの色特性を決定することを含む、項目１に記載の方法。
（項目１２）
前記捕捉された画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させることは、前記重複領域内の前記仮想オブジェクトおよび前記捕捉された画像データから導出される干渉データのうちの一方または両方のピクセルの前記少なくとも１つの値を修正することを含む、項目１１に記載の方法。
（項目１３）
前記ピクセルの各々は、色ベクトルを定義する３つの値を有する、項目１２に記載の方法。
（項目１４）
前記色ベクトルは、赤色値、緑色値、および青色値を備えている、項目１３に記載の方法。
（項目１５）
前記ピクセルの各々は、前記ピクセルの強度を定義する第４の値を有する、項目１３に記載の方法。
（項目１６）
拡張現実（ＡＲ）システムであって、前記拡張現実システムは、
エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にするために構成されているディスプレイシステムと、
制御システムと
を備え、
前記制御システムは、
前記エンドユーザの視点からの仮想画像データを生成することと、
前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定することと、
前記重複領域内の前記実オブジェクトの色特性を決定することと、
前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることと、
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成するように前記ディスプレイシステムに命令することと
を行うめに構成されている、拡張現実システム。
（項目１７）
前記制御システムは、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるために構成され、前記減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される色コントラストを修正することを含む、項目１６に記載の拡張現実システム。
（項目１８）
前記制御システムは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される強度コントラストを修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるためにさらに構成されている、項目１７に記載の拡張現実システム。
（項目１９）
前記制御システムは、
前記重複領域内の前記実オブジェクトの前記決定された色特性に基づいて、干渉データを生成することと、
干渉画像が前記実オブジェクトからの直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記干渉データを前記重複領域を覆う前記干渉画像として前記エンドユーザに表示するように前記ディスプレイシステムに命令することと
によって、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるために構成されている、項目１６に記載の拡張現実システム。
（項目２０）
前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、項目１９に記載の拡張現実システム。
（項目２１）
前記背景は、略均一色を前記重複領域内に有する、項目２０に記載の拡張現実システム。
（項目２２）
前記略均一色は、灰色である、項目２１に記載の拡張現実システム。
（項目２３）
前記干渉画像は、色を前記重複領域内の前記実オブジェクトに加える、項目１９に記載の拡張現実システム。
（項目２４）
前記制御システムは、前記重複領域内の前記実オブジェクトの前記決定された色特性に基づいて、前記仮想画像データを修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させるために構成されている、項目１６に記載の拡張現実システム。
（項目２５）
前記仮想画像データを修正することは、色を前記重複領域内の前記仮想オブジェクトから減じることを含む、項目２４に記載の拡張現実システム。
（項目２６）
前記ユーザの頭部に対して取り付けられるために構成され、前記実３次元場面の画像データを捕捉するためにさらに構成されている少なくとも１つのカメラをさらに備え、前記制御システムは、前記捕捉された画像データを前記ユーザの視点に対してワープさせるために構成され、前記制御システムは、前記捕捉された画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の空間重複を決定することによって、前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定するために構成され、前記重複領域内の前記実オブジェクトの色特性を決定することは、前記重複領域内の前記捕捉された画像データ内の前記対応する実オブジェクトの色特性を決定することを含む、項目１６に記載の拡張現実システム。
（項目２７）
前記捕捉された画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、前記制御システムは、前記重複領域内の前記仮想オブジェクトおよび前記捕捉された画像データから導出される干渉データのうちの一方または両方のピクセルの前記少なくとも１つの値を修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させるために構成されている、項目２６に記載の拡張現実システム。
（項目２８）
前記ピクセルの各々は、色ベクトルを定義する３つの値を有する、項目２７に記載の拡張現実システム。
（項目２９）
前記色ベクトルは、赤色値、緑色値、および青色値を備えている、項目２８に記載の拡張現実システム。
（項目３０）
前記ピクセルの各々は、前記ピクセルの強度を定義する第４の値を有する、項目２８に記載の拡張現実システム。
（項目３１）
前記ディスプレイシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目１６に記載の仮想画像生成システム。
（項目３２）
前記ディスプレイシステムは、投影サブシステムと、部分的透明ディスプレイ表面とを含み、前記投影サブシステムは、前記仮想画像を前記部分的透明ディスプレイ表面上に投影するために構成され、前記部分的透明ディスプレイ表面は、前記エンドユーザの眼と前記周囲環境との間の視野内に位置するために構成されている、項目１６に記載の仮想画像生成システム。
（項目３３）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイシステムを支持する、項目１６に記載の仮想画像生成システム。
（項目３４）
前記制御システムは、グラフィック制御システムユニット（ＧＰＵ）を備えている、項目１６に記載の仮想画像生成システム。

【図面の簡単な説明】

【0022】

図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。

【図1】図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。

【図2】図２は、本発明の一実施形態に従って構築された仮想画像生成システムのブロック図である。

【図3】図３は、図２の仮想画像生成システムによって生成される例示的フレームの平面図である。

【図4A】図４Ａは、図２の仮想画像生成システムを装着するために使用され得る１つの技法の図である。

【図4B】図４Ｂは、図２の仮想画像生成システムを装着するために使用され得る別の技法の図である。

【図4C】図４Ｃは、図２の仮想画像生成システムを装着するために使用され得るさらに別の１つの技法の図である。

【図4D】図４Ｄは、図２の仮想画像生成システムを装着するために使用され得るさらに別の１つの技法の図である。

【図5】図５は、図２の拡張現実システムによってエンドユーザに表示され得る３次元拡張現実場面の写真であり、実オブジェクトと仮想オブジェクトとの間の重複領域が、特に着目される。

【図6】図６は、図２の拡張現実システムを動作させ、実オブジェクトを覆って表示されるときの仮想オブジェクトの不透明度を増加させる１つの方法を図示するフロー図である。

【図7】図７は、図２の拡張現実システムを動作させ、実オブジェクトを覆って表示されるときの仮想オブジェクトの不透明度を増加させる別の方法を図示するフロー図である。

【図8】図８は、図２の拡張現実システムを動作させ、実オブジェクトを覆って表示されるときの仮想オブジェクトの不透明度を増加させる別の方法を図示するフロー図である。

【発明を実施するための形態】

【0023】

続く説明は、拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、仮想現実における用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されない場合があることを理解されたい。

【0024】

図２を参照して、本発明に従って構築された拡張現実システム１００の一実施形態が、ここで説明されるであろう。拡張現実システム１００は、エンドユーザ５０の視野内の物理的オブジェクトと混合された仮想オブジェクトの画像を提供する。拡張現実システム１００および本明細書に教示される種々の技法は、拡張現実以外の用途で採用され得る。例えば、種々の技法は、任意の投影またはディスプレイシステムに適用され得る。または、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得る、ピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実システムの視点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

【0025】

拡張現実システム１００のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはタグもしくはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。

【0026】

拡張現実システム１００は、実オブジェクトを覆って表示される仮想オブジェクトの不透明度を確実にするか、または少なくとも増加させることが可能である。拡張現実システム１００は、仮想オブジェクトの表示に先立って、追加の干渉画像を実オブジェクトを覆って表示すること、および／または仮想画像データを修正することにより、それらが重なる領域内の仮想オブジェクトと実オブジェクトとの間のコントラストを減少させることによって、これを遂行する。

【0027】

この目的を達成するために、拡張現実システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、フレーム構造１０２によって支持されるディスプレイシステム１０４であって、ディスプレイシステム１０４は、エンドユーザ５０の眼５２の正面に位置付けられる、ディスプレイシステム１０４と、スピーカ１０６とを備え、スピーカ１０６は、エンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）、フレーム構造１０２によって支持される。ディスプレイシステム１０４は、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴う、物理的現実に対する拡張として快適に知覚されることが可能であり得る光ベースの放射パターンを提示し、かつ２次元コンテンツを提示可能であり得るように設計される。ディスプレイシステム１０４は、一続きのフレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

【0028】

図示される実施形態では、ディスプレイシステム１０４は、「光学シースルー」ディスプレイであり、それを通してユーザは、透明（または半透明）要素を介して、実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される透明要素は、ディスプレイからの光を実世界のユーザのビューの上に重ねる。この目的を達成するために、ディスプレイシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する部分的に透明なディスプレイ表面１１０とを備えている。ディスプレイ表面１１０は、周囲環境からの直接光が、ディスプレイ表面１１０を通してエンドユーザ５０の眼５２に伝送されるように、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。図示される実施形態では、投影サブシステム１０８は、１つ以上の光ファイバ１１２（例えば、単一モード光ファイバ）を含み、それらの各々は、光が受け取られる一端１１２ａと、光が部分的に透明なディスプレイ表面１１０に提供される別の端部１１２ｂとを有し、それによって、その光は、周囲環境からの直接光と結合し、ディスプレイ表面１１０からユーザ５０の眼５２に伝送される。投影サブシステム１０８は、光を生成し（例えば、異なる色の光を定義されたパターンで放出し）、光を光ファイバ１１２の他端１１２ａに通信可能に結合する、１つ以上の光源１１４も含み得る。光源１１４は、ピクセル情報またはデータのそれぞれのフレームにおいて規定される定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生成するように動作可能な多種多様な形態）のいずれか（例えば、ＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード））をとり得る。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

【0029】

ディスプレイシステム１０４は、制御信号に応答して所定のパターンで光ファイバ１１２を走査する走査デバイス１１６をさらに備え得る。例えば、図３を参照すると、ピクセル情報またはデータのフレーム１１８は、１つの図示される実施形態に従って、画像、例えば、１つ以上の仮想オブジェクトの画像を提示するためのピクセル情報またはデータを規定する。フレーム１１８は、水平行または列１２２ａ−１２２ｎに分割されるセル１２０ａ−１２０ｍとともに図式的に図示される。フレーム１１８の各セル１２０は、セル１２０が対応するそれぞれのピクセルのための複数の色の各々のための値、および／または強度を規定し得る。例えば、フレーム１１８は、ピクセルの各々のために、赤色１２４ａのための１つ以上の値、緑色１２４ｂのための１つ以上の値、および青色１２４ｃのための１つ以上の値を規定し得る。値１２４は、各色のためのバイナリ表現、例えば、各色のためのそれぞれの４ビット数として規定され得る。フレーム１１８の各セル１２０は、加えて、強度を規定する４ビット数の形態の値１２４ｄを含み得る。ディスプレイシステム１０４の例を説明するさらなる詳細は、米国仮特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に提供される。

【0030】

図２に戻って参照すると、拡張現実システム１００は、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）をさらに備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

【0031】

例えば、一実施形態では、拡張現実システム１００は、１つ以上の慣性変換器を含み、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉する、頭部装着型変換器システム１２６を備えている。したがって、変換器システム１２６は、エンドユーザ５０の頭部の移動についての情報を感知、測定、または収集するために使用され得る。例えば、変換器システム１２６は、エンドユーザ５０の頭部５４の測定移動、速度、加速、および／または位置を検出するために使用され得る。

【0032】

重要なこととして、拡張現実システム１００は、ユーザ５０の頭部５４に対して取り付けられる１つ以上の前向きカメラ１２８をさらに備え得る。一好ましい実施形態では、カメラ１２８は、フレーム構造１０２に搭載される。前向きカメラ１２８は、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る。前向きカメラ１２８は、その環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の距離および向きを示す情報を捕捉するために使用され得る。頭部装着型であるとき、前向きカメラ１２８は、特に、エンドユーザ５０が位置する環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の頭部５４の距離および向きを示す情報を捕捉するために好適である。前向きカメラ１２８は、例えば、頭部の移動、頭部の移動の速度、および／または加速を検出するために採用され得る。前向きカメラ１２８は、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の向きに基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用され得る。向きは、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出され得る。より重要なこととして、前向きカメラ１２８は、周囲環境内の３次元場面の画像データを捕捉し、それは、さらに以下に議論されるであろうように、エンドユーザ５０の視点からの実オブジェクトと仮想オブジェクトとの間の重複を決定し、重複領域内の実オブジェクトの色特性を分析し、実オブジェクトと仮想オブジェクトとの間のコントラストの低減を促進するために使用されることができる。

【0033】

拡張現実システム１００は、患者向き検出モジュール１３０をさらに備えている。患者向きモジュール１３０は、エンドユーザ５０の頭部５４の瞬間位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測する。一実施形態では、患者向きモジュール１３０は、エンドユーザ５０の焦点におけるシフトを予測することに基づいて、頭部５４の位置を予測する。例えば、患者向きモジュール１３０は、少なくとも、エンドユーザ５０の注意を示す入力に基づいて、仮想オブジェクトを選択し、エンドユーザ５０の基準のフレームに対して、エンドユーザ５０の視野内の仮想オブジェクトの出現の場所を決定し得る。別の例として、患者向きモジュール１３０は、推定された速度および／または推定された速度変化もしくは推定された加速を採用し、エンドユーザ５０の頭部５４の位置を予測し得る。さらに別の例として、患者向きモジュール１３０は、エンドユーザ５０の履歴属性を採用し、エンドユーザ５０の頭部５４の位置を予測し得る。エンドユーザ５０の頭部位置の予測を説明するさらなる詳細は、米国特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）（参照することによって前述で本明細書に組み込まれている）に記載されている。

【0034】

拡張現実システム１００は、多種多様な形態のいずれかをとり得る制御システムをさらに備えている。制御システムは、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

【0035】

図示される実施形態では、拡張現実システム１００の制御システムは、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備えている。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１３６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイシステム１０４の走査デバイスの動作を制御し得る。フレームバッファ１４６の中への読み込みおよび／またはそこからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。拡張現実システム１００は、読み取り専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とをさらに備えている。拡張現実システム１００は、３次元データベース１４２をさらに備え、そこからＧＰＵ１３４は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。

【0036】

以下にさらに詳細に説明されるであろうように、ＣＰＵ１３２は、前向きカメラ１２８から受信されたデータに基づいて、ＧＰＵ１３２によってレンダリングされる仮想オブジェクトと、実オブジェクトとの間の重複領域を決定し、これらの重複領域内の実オブジェクトの色特性を分析し、エンドユーザ５０への仮想オブジェクトの表示に先立って、分析された色特性に基づいて、これらの重複領域内の仮想オブジェクトと実オブジェクトとの間のコントラストを減少させる。

【0037】

拡張現実システム１００の種々の処理コンポーネントは、分散型システム内に物理的に含まれ得る。例えば、図４Ａ−４Ｄに図示されるように、拡張現実システム１００は、有線導線または無線接続性１４６等によって、ディスプレイシステム１０４およびセンサに動作可能に結合されるローカル処理およびデータモジュール１４４を備えている。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられる構成（図４Ａ）、ヘルメットもしくは帽子５６に固定して取り付けられる構成（図４Ｂ）、ヘッドホン内に埋設される構成、エンドユーザ５０の胴体５８に除去可能に取り付けられる構成（図４Ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる構成（図４Ｄ）等、種々の構成で搭載され得る。拡張現実システム１００は、有線導線または無線接続性１５０、１５２等によって、ローカル処理およびデータモジュール１４４に動作可能に結合される遠隔処理モジュール１４８および遠隔データリポジトリ１５０をさらに備え、それによって、これらの遠隔モジュール１４８、１５０は、互いに動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能である。

【0038】

ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得、データは、センサから捕捉され、および／または、おそらく、そのような処理または読み出し後、ディスプレイシステム１０４への通過のために、遠隔処理モジュール１４８、および／または遠隔データリポジトリ１５０を使用して取得され、および／または処理される。遠隔処理モジュール１４８は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、全データが、記憶され、全計算が、ローカル処理およびデータモジュール１４４において行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。

【0039】

前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択肢は、図４Ａ−４Ｄに図示されるものと異なり得る。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

【0040】

図示される実施形態では、患者向きモジュール１３０は、ローカル処理およびデータモジュール１４４内に含まれる一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含まれるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含まれ得る。３Ｄデータベース１４２は、遠隔データリポジトリ１５０に関連付けられることができる。

【0041】

本発明に重要なこととして、拡張現実システム１００は、仮想オブジェクトがディスプレイ表面１１０上で覆って重ねられる実世界からの直接光を補償する。特に、図５を参照すると、ディスプレイ内の第１の重複領域２００ａは、ロボット１６の右脚の一部および建物１０の一部と一致し、ディスプレイ内の第２の重複領域２００ｂは、ロボット１６の左腕の一部および空１２の一部と一致することに留意されたい。ロボット１６の右脚部分および左腕部分は、これらのロボット像部分の背後の建物１０および空１２の部分がエンドユーザ５０によって見られることができないように、不透明であることが好ましい。

【0042】

着目すべきこととして、ディスプレイ内の重複領域２００ａおよび２００ｂの場所は、エンドユーザ５０の視点と、仮想オブジェクト、この場合、ロボット１６の任意の移動とに大きく依存する。例えば、エンドユーザ５０が、その頭部５４を左に移動させる場合、重複領域２００ａおよび２００ｂは、ディスプレイ内の右にシフトするであろう。エンドユーザ５０がその頭部５４を右に移動させる場合、重複領域２００ａおよび２００ｂは、ディスプレイ内の左にシフトするであろう。ロボット１６が左に移動する場合、重複領域２００ａおよび２００ｂは、ディスプレイ内で左にシフトするであろう。または、ロボット１６が右に移動する場合、重複領域２００ａおよび２００ｂは、ディスプレイ内で右にシフトするであろう。

【0043】

簡単に上で議論したように、拡張現実システム１００は、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラスト（例えば、色コントラストおよび／または強度コントラスト）を減少させることによって、実世界からの直接光を補償する。例えば、拡張現実システム１００は、第１の重複領域２００ａ内のロボット１６の右脚と建物１０との間で知覚されるコントラストを減少させ得、第２の重複領域２００ｂ内のロボット１６の左腕と空１２との間で知覚されるコントラストを減少させ得る。拡張現実システム１００は、種々の方法のうちの任意の１つにおいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させ得る。

【0044】

例えば、図６を参照すると、１つの方法３００では、拡張現実システム１００は、重複領域内の実オブジェクトを覆って、仮想画像と別個の干渉画像を表示することによって、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させる。特に、拡張現実システム１００は、エンドユーザ５０が、周囲環境、例えば、図１に図示される実世界公園状設定４内の３次元場面からの直接光を可視化することを可能にする（ステップ３０２）。図示される実施形態では、それは、単に、周囲環境からの直接光がディスプレイ表面１１０を通ってユーザ５０の眼５４に入ることを可能にすることによって遂行される。次に、ＣＰＵ１３２は、前向きカメラ１２８に、３次元場面４の画像データを捕捉するように指示する（ステップ３０４）。着目すべきこととして、前向きカメラ１２８は、典型的には、エンドユーザ５０の焦点からオフセットされているであろう。例えば、前向きカメラ１２８は、ユーザの頭部５４の側面の近傍に取り付けられ得る。したがって、ＣＰＵ１３２は、捕捉された画像データをユーザ５０の視点に対してワープさせる（ステップ３０６）。図示される実施形態では、２次元視差ワープ技法が、捕捉された画像データに対して実施される。

【0045】

次に、ＣＰＵ１３２は、ＧＰＵ１３４に、エンドユーザ５０の視点からの仮想画像データを生成し、本実施形態では、３次元仮想場面からの２次元仮想画像データをレンダリングするように命令する（ステップ３０８）。一実施形態では、仮想画像データは、例えば、「Ｗｉｄｅ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ ｆｏｒ Ｌｏｗ−Ｌａｔｅｎｃｙ Ｒｅｎｄｅｒ」と題された米国特許出願第６２／３０８，４１８号（弁理士整理番号ＭＬ−３００３２−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に説明される様式において、仮想画像データをレンダリングし、ワープさせることによって、予測頭部位置に基づいて生成され、任意の待ち時間問題を最小化し得る。

【0046】

次いで、ＣＰＵ１３２は、捕捉された画像データ内の実オブジェクト（３次元場面４内の実オブジェクトを取得するため）と仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定し（ステップ３１０）、空間重複の領域は、例えば、重複領域２００ａおよび２００ｂであり、実オブジェクトは、建物１０および空１２であり、仮想オブジェクトは、右脚およびロボット１６の左腕である。着目すべきこととして、仮想画像データおよび捕捉された画像データ（ワープ後）は両方とも、同じ座標系において（すなわち、エンドユーザ５０の同一視点から）位置合わせされているので、ＣＰＵ１３２は、単に、実オブジェクトおよび仮想オブジェクトのピクセルの場所を比較し、実および仮想オブジェクトピクセルに共通の場所を識別することによって、重複領域を決定することができる。

【0047】

次に、ＣＰＵ１３２は、重複領域内のエンドユーザ５０によって知覚される対応する実オブジェクトの色特性を決定するために、重複領域内の捕捉された画像データ中の実オブジェクトの色特性を決定する（ステップ３１２）。一実施形態では、捕捉された画像データおよび仮想画像データは、複数のピクセルを備え、それらの各々は、少なくとも１つの値によって定義される。例えば、捕捉された画像データおよび仮想画像データは、図３に図示されるもの等のピクセルデータのフレームとして形成されることができる。例えば、各ピクセルは、赤色、緑色、および青色の各々のために４ビット数を備え得、強度のための４ビット数をさらに備え得る。この場合、ＣＰＵ１３２は、重複領域内のピクセルの各々の色および／または強度値を決定することによって、捕捉された画像データ内の対応する実オブジェクトの色特性を決定する。

【0048】

次に、ＣＰＵ１３２は、重複領域内のそれぞれの実オブジェクトの決定された色特性に基づいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラスト（例えば、知覚される色コントラストおよび／または知覚される色強度）を減少させる。特に、ＣＰＵ１３２は、重複領域内の実オブジェクトの決定された色特性に基づいて、干渉データを生成し（ステップ３１４）、ディスプレイシステム１０４に、干渉画像が、実オブジェクトからの直接光と組み合わさり、重複領域内の仮想オブジェクトのための背景を作成するように、干渉データを重複領域を覆う干渉画像としてエンドユーザ５０に表示するように命令する（ステップ３１６）。

【0049】

一実施形態では、重複領域内の背景は、重複領域内の実オブジェクトに対して減少したダイナミックカラーレンジを有する。例えば、背景は、灰色等の略均一色を重複領域内に有し得る。例えば、重複領域２００ａ内の実オブジェクトの色、この場合、建物１０の色が、建物１０が比較的に高ダイナミックカラーレンジを重複領域２００ａ内で有するように、ピクセル間で茶色がかった色から緑色がかった色に変動すると仮定する。ＣＰＵ１３２は、建物１０が重複領域２００ａ内で均一灰色を有するように、ピクセル毎に色を建物１０に加えることによって、重複領域２００ａ内の知覚されるダイナミックカラーレンジを減少させ得る。例えば、背景内の各ピクセルのために均一な灰色がかった色相を定義する色ベクトルを有することが所望され、重複領域２００ａ内の建物１０の第１のピクセルが、黄色がかった色相を定義する色ベクトルを有し、重複領域２００ａ内の建物１０の第２のピクセルが、緑色がかった色相を定義する色ベクトルを有する場合、ＣＰＵ１３２は、背景のための建物１０のピクセルの色ベクトルのそれぞれの値より全く大きい値を有する色ベクトルを有する灰色がかった色相を背景のために選択し、背景が選択された灰色がかった色相であるように、色を建物１０のピクセルに加える干渉データを生成し得る。

【0050】

例えば、建物１０の第１のピクセルが、［１６７、１００、６７］（すなわち、それぞれ、１６７、１００、６７と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有し、建物１０の第２のピクセルが、［３９、１２２、６２］（すなわち、それぞれ、３９、１２２、６２と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有し、背景のために選択された色ベクトルが、［１６８、１６８、１６８］（すなわち、赤色、緑色、および青色の各々のための４ビットバイナリ値、１２８）である場合、ＣＰＵ１３２は、［１、６８、１０１］の色ベクトルを有する第１の干渉ピクセルと、［１２９、４６、１０６］の色ベクトルを有する第２の干渉ピクセルとを生成し得、それらは、建物１０のそれぞれの第１および第２のピクセルに加えられると、［１６８、１６８、１６８］と等しいであろう。したがって、干渉画像が、重複領域２００ａおよび２００ｂを覆って表示されると、干渉画像の第１および第２のピクセルは、建物１０の対応する第１および第２のピクセルと組み合わせられ、仮想オブジェクト（すなわち、ロボット１６の右脚）の対応する第１および第２のピクセルのための灰色がかった背景色を作成するであろう。着目すべきこととして、２つのピクセルのみが、簡潔および例証目的のために、重複領域２００ａに関して図示および説明されるが、任意の特定の重複領域内のピクセルの数は、典型的には、２つをはるかに超え、したがって、生成される必要がある干渉ピクセルの数は、同様に、２つをはるかに超えるであろう。

【0051】

ＣＰＵ１３２は、強度も重複領域内の実オブジェクトに加え、重複領域内の仮想オブジェクトの強度を一致させ得る。例えば、建物１２の第１のピクセルが、強度値１２８を有し、ロボット１６の右脚の対応するピクセル値が、強度値１６８を有する場合、ＣＰＵ１３２は、強度値４０を伴う第１の干渉ピクセルを生成し得、それは、建物１２の第１のピクセルの強度値と組み合わせられると、背景ピクセル値１６８を作成する。

【0052】

最後に、ＣＰＵ１３２は、ディスプレイシステム１０４に、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、可視化された直接光とともに、仮想画像として仮想画像データをエンドユーザ５０に表示し、３次元拡張場面を作成するように命令する（ステップ３１８）。例えば、重複領域２００ａ内の建物１０の知覚される色が、均一な灰色である場合（干渉画像を使用して補償後）、ロボット１６の右脚は、おそらく、重複領域２００ａ内の建物１０を覆って表示されると、不透明となるであろう。着目すべきこととして、仮想画像は、干渉画像と同時に表示され得、その場合、異なる光ファイバ１１２が、それぞれ、仮想画像および干渉画像を表示するために使用され得るか、または仮想画像は、干渉画像が表示された直後表示され得、その場合、同じ光ファイバ１１２が、エンドユーザ５０が仮想画像および干渉画像を同時に知覚するように十分に一緒に近接して間隔を置かれる時間において、仮想画像と干渉画像とを連続して表示するために使用され得る。

【0053】

別の例として、図７を参照すると、１つの方法４００では、拡張現実システム１００は、代替として、重複領域内の仮想オブジェクトを修正することによって、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させ得る。

【0054】

特に、ステップ４０２−４１２に関して上記に説明されるものと同一様式において、拡張現実システム１００は、エンドユーザ５０が、周囲環境、例えば、図１に図示される実世界公園状設定４内の３次元場面からの直接光を可視化することを可能にし（ステップ４０２）、前向きカメラ１２８に、３次元場面４の画像データを捕捉するように指示し（ステップ４０４）、捕捉された画像データをユーザ５０の視点に対してワープさせ（ステップ４０６）、ＧＰＵ１３４に、仮想画像データをエンドユーザ５０の視点から生成するように命令し（ステップ４０８）、捕捉された画像データ内の実オブジェクト（３次元場面４内の実オブジェクトを取得するため）と仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定し（ステップ４１０）、重複領域内の捕捉された画像データ中の実オブジェクトの色特性を決定する（重複領域内の対応する実オブジェクトの色特性を決定するため）（ステップ４１２）。

【0055】

図６に図示される技法と同様に、ＣＰＵ１３２は、次に、重複領域内のそれぞれの実オブジェクトの決定された色特性に基づいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラスト（例えば、知覚される色コントラストおよび／または知覚される色強度）を減少させる。しかしながら、この場合、干渉データを生成する代わりに、ＣＰＵ１３２は、重複領域内の実オブジェクトの決定された色特性に基づいて、仮想画像データを修正する（ステップ４１４）。

【0056】

一実施形態では、ＣＰＵ１３２は、全ての色が重複領域内の知覚される実オブジェクトから除去されるように、仮想画像データを修正する。この場合、色は、オリジナル仮想画像データから減じられ得、減じられた色は、実オブジェクトを重複領域内で黒色にするために使用される。この目的を達成するために、重複領域内の実オブジェクトのピクセルの色ベクトルが、重複領域内の仮想オブジェクトの対応するピクセルの色ベクトルから減じられ、修正された仮想画像データが仮想オブジェクトのために使用されるためのピクセルの色ベクトルを取得し得る。言い換えると、修正された仮想オブジェクトのピクセルと実オブジェクトの対応するピクセルの組み合わせが、オリジナル仮想オブジェクトをもたらすであろう。

【0057】

例えば、重複領域２００内の建物１０の第１のピクセルが、［１６７、１００、６７］（すなわち、それぞれ、１６７、１００、６７と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有し、建物１０の第２のピクセルが、［３９、１２２、６２］（すなわち、それぞれ、３９、１２２、６２と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有し、ロボット１６の右脚の対応する第１のピクセルが、［１８５、１２３、８０］（すなわち、それぞれ、１８５、１２３、８０と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有し、ロボット１６の右脚の対応する第２のピクセルが、［６５、１４０、８０］（すなわち、それぞれ、６５、１４０、８０と等しい、赤色、緑色、および青色のための４ビットバイナリ値）の色ベクトルを有すると仮定すると、ＣＰＵ１３２は、ロボット１６の右脚の第１および第２のピクセルを［１８、２３、１３］および［２６、１８、１８］を有する色ベクトルに修正し得る。したがって、修正された仮想オブジェクトの第１および第２のピクセルの色ベクトルと実オブジェクトの対応する第１および第２のピクセルの色ベクトルの組み合わせは、オリジナル仮想オブジェクトの第１および第２のピクセルの色ベクトルをもたらす。すなわち、第１のピクセルに対して、［１８、２３、１３］＋［１６７、１００、６７］＝［１８５、１２３、８０］であり、第２のピクセルに対して、［２６、１８、１８］＋［３９、１２２、６２］＝［６５、１４０、８０］である。

【0058】

最後に、図５に図示される技法と同一様式において、ＣＰＵ１３２は、ディスプレイシステム１０４に、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、可視化された直接光とともに、３次元拡張場面を作成する、仮想画像として仮想画像データをエンドユーザ５０に表示するように命令する（ステップ４１６）。

【0059】

さらに別の例として、図８を参照すると、１つの方法５００では、拡張現実システム１００は、代替として、干渉画像を重複領域内の実オブジェクトを覆って表示することと、重複領域内の仮想オブジェクトを修正することの両方によって、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストを減少させ得る。

【0060】

特に、ステップ３０２−３１２に関して上記に説明されるものと同一様式において、拡張現実システム１００は、エンドユーザ５０が、周囲環境、例えば、図１に図示される実世界公園状設定４内の３次元場面からの直接光を可視化することを可能にし（ステップ５０２）、前向きカメラ１２８に、３次元場面４の画像データを捕捉するように指示し（ステップ５０４）、捕捉された画像データをユーザ５０の視点に対してワープさせ（ステップ５０６）、ＧＰＵ１３４に、仮想画像データをエンドユーザ５０の視点から生成するように命令し（ステップ５０８）、捕捉された画像データ内の実オブジェクト（３次元場面４内の実オブジェクトを取得するため）と仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定し（ステップ５１０）、重複領域内の捕捉された画像データ中の実オブジェクトの色特性を決定する（重複領域内の対応する実オブジェクトの色特性を決定するため）（ステップ５１２）。

【0061】

図６および７に図示される技法と同様に、ＣＰＵ１３２は、次に、重複領域内のそれぞれの実オブジェクトの決定された色特性に基づいて、重複領域内の実オブジェクトと仮想オブジェクトとの間で知覚されるコントラスト（例えば、知覚される色コントラストおよび／または知覚される色強度）を減少させる。しかしながら、この場合、ＣＰＵ１３２は、重複領域またはその一部の第１の組のための干渉データを生成し（ステップ５１２）、重複領域またはその一部の第２の異なる組のための仮想画像データを修正するであろう（ステップ５１４）。例えば、干渉画像を実オブジェクトを覆って表示するステップが、潜在的に、その実オブジェクトと仮想オブジェクトとの間のコントラストを減少させるであろう（すなわち、実オブジェクトに色を加えることが知覚されるコントラストを減少させるであろう）重複領域のそれらの部分に対して、ＣＰＵ１３２は、干渉データを生成し、干渉画像を実オブジェクトを覆って表示するステップが、潜在的に、その実オブジェクトと仮想オブジェクトとの間のコントラスト減少させないであろう（すなわち、色を実オブジェクトに加えることが、知覚されるコントラストを増加させるであろう）重複領域のそれらの部分に対して、ＣＰＵ１３２は、干渉データを生成する代わりに、仮想画像データを修正するであろう。

【0062】

例えば、建物１０の第１のピクセルが、［１６７、１００、６７］（すなわち、赤色、緑色、および青色のための４ビットバイナリ値は、それぞれ、１６７、１００、６７である）の色ベクトルを有し、建物１０の第２のピクセルが、［１８５、１２５、１３９］（すなわち、赤色、緑色、および青色のための４ビットバイナリ値は、それぞれ、１８５、１２５、１３９である）の色ベクトルを有し、ロボット１６の右脚の対応する第１のピクセルが、［１８５、１２３、８０］（すなわち、赤色、緑色、および青色のための４ビットバイナリ値は、それぞれ、１８５、１２３、８０である）の色ベクトルを有し、ロボット１６の右脚の対応する第２のピクセルが、［３９、１２２、６２］（すなわち、赤色、緑色、および青色のための４ビットバイナリ値は、それぞれ、３９、１２２、６２である）の色ベクトルを有し、背景のために選択された色ベクトルが、［１６８、１６８、１６８］（すなわち、赤色、緑色、および青色の各々のための４ビットバイナリ値は、１２８である）であると仮定する。

【0063】

ＣＰＵ１３２は、色が、建物１０の第１のピクセルに加えられ、選択された背景を取得し得ることを決定し得る。すなわち、建物１０の第１のピクセルのための色ベクトル内の値が全て、選択された背景色ベクトルの値を下回る。したがって、ＣＰＵ１３２は、［１、６８、１０１］の色ベクトルを有する第１の干渉ピクセルを生成し得、それは、建物１０の第１のピクセルに加えられると、［１６８、１６８、１６８］と等しいであろう。対照的に、ＣＰＵ１３２は、色が、建物１０の第２のピクセルに加えられ、選択された背景を取得し得ないことを決定し得る。すなわち、第２のピクセルのための色ベクトル内の値のうちの少なくとも１つが、選択された背景色ベクトルの対応する値を下回らない。したがって、干渉データを生成する代わりに、ＣＰＵ１３２は、ロボット１６の右脚の第２のピクセルを色ベクトル［２６、１８、１８］を有するように修正し得る。したがって、修正された仮想オブジェクトの第２のピクセルの色ベクトルと実オブジェクトの対応する第２のピクセルの色ベクトルの組み合わせは、オリジナル仮想オブジェクトの第２のピクセルの色ベクトルをもたらす。すなわち、第２のピクセルに対して、［２６、１８、１８］＋［３９、１２２、６２］＝［６５、１４０、８０］となる。

【0064】

最後に、図６に図示される技法と同一様式において、ＣＰＵ１３２は、ディスプレイシステム１０４に、干渉画像が、実オブジェクトからの直接光と組み合わさり、重複領域の第１の組またはその一部内の仮想オブジェクトのための背景を作成するように、干渉データを重複領域の第１の組またはその一部を覆って干渉画像としてエンドユーザ５０に表示するように命令し（ステップ５１８）、ディスプレイシステム１０４に、実オブジェクトと仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、可視化された直接光とともに、仮想画像として仮想画像データをエンドユーザ５０に表示し、３次元拡張場面を作成するように命令する（ステップ５２０）。着目すべきこととして、修正されていない仮想画像データが、重複領域の第１の組またはその一部（すなわち、干渉画像が表示される部分）を覆って表示され、修正された仮想画像データが、重複領域の第２の組またはその一部（すなわち、干渉画像が表示されない部分）を覆って表示されるであろう。

【0065】

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、本明細書に成され得ることが明白であろう。例えば、前述のプロセスフローは、特定の順序のプロセスアクションを参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるものとする。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】