特許 6989075 仮想化環境内にイメージを提示するための方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6989075

(24)【登録日】2021年12月6日

(45)【発行日】2022年1月5日

(54)【発明の名称】仮想化環境内にイメージを提示するための方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20211220BHJP

   G06F 3/01 20060101ALI20211220BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/01 510

【請求項の数】15

【全頁数】17

(21)【出願番号】特願2018-553398(P2018-553398)

(86)(22)【出願日】2017年4月12日

(65)【公表番号】特表2019-516180(P2019-516180A)

(43)【公表日】2019年6月13日

(86)【国際出願番号】US2017027189

(87)【国際公開番号】WO2017180730

(87)【国際公開日】20171019

【審査請求日】2020年3月19日

(31)【優先権主張番号】62/321,528

(32)【優先日】2016年4月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518356453

【氏名又は名称】アール−ストール インコーポレイテッド

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】コリトーレ， ジョヴァンニ

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特表２００６−５０３３７９（ＪＰ，Ａ）

【文献】 特開２００１−１４３０９９（ＪＰ，Ａ）

【文献】 特開２０１３−２５７７１６（ＪＰ，Ａ）

【文献】 特許第５７７７７８６（ＪＰ，Ｂ１）

【文献】 特開２０１６−４４９３（ＪＰ，Ａ）

【文献】 特表２０１７−５３５９０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／４８９

(57)【特許請求の範囲】

【請求項1】

装置によって実行される方法であって、
ユーザのための仮想化環境を生成するステップと、
現実世界における物体を検出するステップと、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングするステップと、
を含み、
検出された前記物体に対応する前記イメージをレンダリングする前記ステップが、前記ユーザと前記物体との間の決定された距離に基づいており、
レンダリングする前記ステップは、前記ユーザが前記物体から第１の距離にあるときに、前記物体の輪郭のみを生成することを含み、
レンダリングする前記ステップは、前記ユーザが前記第１の距離よりも前記物体により接近した第２の距離にあるときに、前記輪郭に基づく前記物体の完全にレンダリングされたイメージを生成することを含む、方法。

【請求項2】

前記仮想化環境を生成する前記ステップが、現実世界のイメージを用いることを含む、請求項１に記載の方法。

【請求項3】

前記現実世界における前記物体の現実世界のイメージを取り込むステップを更に含み、
検出された前記物体に対応する前記イメージをレンダリングする前記ステップが、取り込まれた前記現実世界のイメージを用いることを含む、請求項１に記載の方法。

【請求項4】

前記物体を検出する前記ステップが、前記ユーザと前記物体との間の距離を決定することを含む、請求項１に記載の方法。

【請求項5】

検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えるステップを更に含む、請求項１に記載の方法。

【請求項6】

装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、
を備えており、
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
ユーザのための仮想化環境を生成すること、
現実世界における物体を検出すること、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングすること、
を実行させるように構成され、
検出された前記物体に対応する前記イメージをレンダリングすることが、前記ユーザと前記物体との間の決定された距離に基づいており、
前記レンダリングすることは、前記ユーザが前記物体から第１の距離にあるときに、前記物体の輪郭のみを生成することを含み、
前記レンダリングすることは、前記ユーザが前記第１の距離よりも前記物体により接近した第２の距離にあるときに、前記輪郭に基づく前記物体の完全にレンダリングされたイメージを生成することを含む、装置。

【請求項7】

前記仮想化環境を生成することが、現実世界のイメージを用いることを含む、請求項６に記載の装置。

【請求項8】

前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記現実世界における前記物体の現実世界のイメージを取り込むことを実行させるように構成され、
検出された前記物体に対応する前記イメージをレンダリングすることが、取り込まれた前記現実世界のイメージを用いることを含む、
請求項６に記載の装置。

【請求項9】

前記物体を検出することが、前記ユーザと前記物体との間の距離を決定することを含む、請求項６に記載の装置。

【請求項10】

前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えることを実行させるように構成される、請求項６に記載の装置。

【請求項11】

非一時的コンピュータ可読媒体において具現化されたコンピュータプログラムであって、プロセッサによって実行されると、前記プロセッサに、
ユーザのための仮想化環境を生成すること、
現実世界における物体を検出すること、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングすること、
を実行させ、
検出された前記物体に対応する前記イメージをレンダリングすることが、前記ユーザと前記物体との間の決定された距離に基づいており、
前記レンダリングすることは、前記ユーザが前記物体から第１の距離にあるときに、前記物体の輪郭のみを生成することを含み、
前記レンダリングすることは、前記ユーザが前記第１の距離よりも前記物体により接近した第２の距離にあるときに、前記輪郭に基づく前記物体の完全にレンダリングされたイメージを生成することを含む、コンピュータプログラム。

【請求項12】

前記仮想化環境を生成することが、現実世界のイメージを用いることを含む、請求項１１に記載のコンピュータプログラム。

【請求項13】

前記コンピュータプログラムが、前記プロセッサによって実行されると、前記プロセッサに、前記現実世界における前記物体の現実世界のイメージを取り込むことを実行させ、
検出された前記物体に対応する前記イメージをレンダリングすることが、取り込まれた前記現実世界のイメージを用いることを含む、
請求項１１に記載のコンピュータプログラム。

【請求項14】

前記物体を検出することが、前記ユーザと前記物体との間の距離を決定することを含む、請求項１１に記載のコンピュータプログラム。

【請求項15】

前記コンピュータプログラムが、前記プロセッサによって実行されると、前記プロセッサに更に、検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えることを実行させる、請求項１１に記載のコンピュータプログラム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

[0001]本出願は、２０１６年４月１２日に出願された、米国仮特許出願第６２／３２１，５２８号の優先権を主張する。上記で言及した仮特許出願の内容全体が、参照により本明細書に援用される。
[背景]
[分野]

【0002】

[0002]本発明のいくつかの実施形態は、仮想化環境内にイメージを提示することに関することができる。

【関連技術の説明】

【0003】

[0003]バーチャルリアリティは、物理的環境を生成／シミュレートすることができる。バーチャルリアリティのユーザは、シミュレートされた仮想化環境内でインタラクションすることができる。仮想化環境のイメージは、コンピュータスクリーンを介して、又はヘッドセットを介して表示することができる。仮想化環境は、現実世界の物理的場所に似ている場合もあるし、架空の世界の場所に似ている場合もある。

【概要】

【0004】

[0004]第１の実施形態によれば、方法が、バーチャルリアリティデバイスによって、ユーザのための仮想化環境を生成するステップを含むことができる。方法は、現実世界における物体を検出するステップも含むことができる。方法は、仮想化環境において、検出された物体に対応するイメージをレンダリングするステップも含むことができる。

【0005】

[0005]第１の実施形態の方法において、仮想化環境を生成するステップは、現実世界のイメージを用いることを含む。

【0006】

[0006]第１の実施形態の方法において、方法は、現実世界における物体の現実世界のイメージを取り込むことも含むことができる。検出された物体に対応するイメージをレンダリングするステップは、取り込まれた現実世界のイメージを用いることを含む。

【0007】

[0007]第１の実施形態の方法において、物体を検出するステップは、ユーザと物体との間の距離を決定することを含む。

【0008】

[0008]第１の実施形態の方法において、検出された物体に対応するイメージをレンダリングするステップは、ユーザと物体との間の決定された距離に基づく。レンダリングされたイメージは、決定された距離が小さいほどより目立つ。

【0009】

[0009]第１の実施形態の方法において、この方法は、検出された物体がユーザから所定の距離以内にあるとの警告を与えることも含む。

【0010】

［00010］第２の実施形態によれば、装置が、少なくとも１つのプロセッサを備えることができる。装置は、コンピュータプログラムコードを含む少なくとも１つのメモリも備えることができる。少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、ユーザのための仮想化環境を生成することを実行させるように構成することができる。装置に、現実世界における物体を検出することを実行させることもできる。装置に、仮想化環境において、検出された物体に対応するイメージをレンダリングすることを実行させることもできる。
[0010]第２の実施形態の装置において、仮想化環境を生成することは、現実世界のイメージを用いることを含む。

【0011】

[0011]第２の実施形態の装置において、装置に更に、現実世界における物体の現実世界のイメージを取り込むことを実行させる。検出された物体に対応するイメージをレンダリングすることは、取り込まれた現実世界のイメージを用いることを含む。

【0012】

[0012]第２の実施形態の装置において、物体を検出することは、ユーザと物体との間の距離を決定することを含む。

【0013】

[0013]第２の実施形態の装置において、検出された物体に対応するイメージをレンダリングすることは、ユーザと物体との間の決定された距離に基づく。レンダリングされたイメージは、決定された距離が小さいほどより目立つ。

【0014】

[0014]第２の実施形態の装置において、装置に更に、検出された物体がユーザから所定の距離以内にあるとの警告を与えることを実行させる。

【0015】

[0015]第３の実施形態によれば、非一時的コンピュータ可読媒体においてコンピュータプログラム製品を具現化することができる。コンピュータプログラム製品は、第１の実施形態による方法を実行するようにプロセッサを制御するように構成される。

【0016】

[0016]本発明の適切な理解のために、添付の図面が参照されるべきである。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明のいくつかの実施形態による、仮想化環境内でのイメージの提示を示す。

【0018】

【図2】図２は、本発明のいくつかの実施形態による、現実世界の物体に対応するイメージを仮想化環境内に漸進的に導入する例を示す。

【0019】

【図3】図３は、本発明のいくつかの実施形態による、現実世界の物体に対応するイメージを漸進的に導入する別の例を示す。

【0020】

【図4】図４は、本発明のいくつかの実施形態による、仮想化環境内でイメージを提示するシステムを示す。

【0021】

【図5】図５は、本発明のいくつかの実施形態による方法のフローチャートを示す。

【0022】

【図6】図６は、本発明のいくつかの実施形態による装置を示す。

【0023】

【図7】図７は、本発明のいくつかの実施形態による別の装置を示す。

【詳細な説明】

【0024】

[0024]本発明のいくつかの実施形態は、仮想化環境内にイメージを提示することに関係することができる。いくつかの実施形態は、現実世界の物体に対応するイメージを仮想化環境のイメージとマージすることによってイメージを提示することができる。以下で更に詳細に説明されるように、現実世界の物体に対応するイメージは、コンピュータが生成したイメージであってもよく、物体の取り込まれたビデオ／イメージであってもよい。以下で更に詳細に説明されるように、仮想化環境に対応するイメージも、コンピュータが生成したイメージであってもよく、又は実際に取り込まれたビデオ／イメージであってもよい。

【0025】

[0025]いくつかの実施形態では、仮想化環境とインタラクションするために、仮想化環境のユーザは、ユーザのための仮想化環境をシミュレート／生成するハードウェアを利用してもよい。例えば、ユーザは、仮想化環境を生成するバーチャルリアリティヘッドセット又は眼鏡類を装着していてもよい。また、ユーザは、仮想化環境をシミュレート／生成するプロジェクションハードウェア（ｐｒｏｊｅｃｔｉｏｎ ｈａｒｄｗａｒｅ）を用いてもよい。

【0026】

[0026]（ヘッドセット等の）ハードウェアを用いることによって、ユーザは、自身が現在その中にいる現実世界の環境と異なる仮想化環境内に没入することができる。仮想化環境は、ユーザが現在いる現実世界の環境と異なる場合があるが、仮想化環境のイメージの複数の部分が、取り込まれた現実世界のイメージを用いる場合がある。例えば、シカゴにいるユーザが、例えばハワイのビーチである仮想化環境に没入しようと決める場合がある。ハードウェアは、ハワイのビーチの実在のフィルム映像／写真等の現実世界のビデオ／イメージを用いることによって、仮想化されたハワイのビーチを生成することができる。したがって、仮想化環境の１つ又は複数の部分が現実世界のビデオ／イメージを含んでもよい。仮想化環境の他の部分は、コンピュータが生成したイメージ（すなわち、実在のビデオフィルム映像又は実在の写真でないイメージ）を含んでもよい。例えば、仮想化されたハワイのビーチは、コンピュータが生成した鳥、又は他のコンピュータが生成した物体を含んでもよい。

【0027】

[0027]上記に鑑みて、いくつかの実施形態は、ユーザが、自身が望む任意の仮想化環境に没入することを可能にする。上記で説明されたように、環境は、実在のフィルム映像／イメージ、コンピュータが生成したイメージ、又は２つの任意の組み合わせを用いて生成することができる。したがって、ユーザは、ヘッドセットを用いて、ハワイの実在のビーチ、実在のロンドンのバー、想像上の場所、及び／又は任意の他の所望の場所に対応する仮想化環境を生成しようと決めることができる。

【0028】

[0028]いくつかの実施形態では、現実世界の物体に対応するイメージは、現実世界の中のユーザの近傍にある物体のイメージであってもよい。例えば、ユーザの手が現実世界における現実世界の物体に触れるとき、現実世界の物体に対応するイメージが仮想化環境内に現れてもよい。現実世界の物体に対応するイメージは、物体の現実世界のビデオフィルム映像／写真、コンピュータが生成した物体の表現、又は２つの組み合わせてあってもよい。

【0029】

[0029]例えば、ユーザが現実世界のキーボードとインタラクションする場合、いくつかの実施形態は、現実世界のキーボードに対応するイメージを生成することができる。したがって、ユーザが仮想化環境内で実際の現実世界のキーボードをタイピングするとき、ユーザは、生成されたキーボード上をタイピングしているものとしても示される。現実世界のキーボードの生成されたイメージは、キーボードの現実世界のビデオフィルム映像／写真、コンピュータが生成したキーボードの表現、又は２つの組み合わせを含むことができる。

【0030】

[0030]したがって、ユーザが仮想化環境内で生成された物体をタイピングしている間、ユーザは、現実世界において、実際の現実世界の物体の触感を体験することができる。詳細には、ユーザが仮想環境内で生成されたキーボードをタイピングしている間、ユーザは、現実世界において、実際の現実世界のキーボードを使用する触感を体験することができる。

【0031】

[0031]上記に鑑みて、いくつかの実施形態では、ユーザは、通常であれば必要となる他のコンピュータ構成要素を要することなく、単に現実世界のキーボードとインタラクションしてキーボードの触感を受けることによってコンピュータを用いることが可能であり得る。例えば、仮想化環境内でモニタを生成／レンダリングすることができるため、現実世界のモニタ（及び現実世界のモニタ上に表示される情報）は不要である場合がある。

【0032】

[0032]したがって、仮想化環境においてモニタを生成／レンダリングする過程において、ユーザは、自身が所望するフォームファクタが何であれ、そのフォームファクタに従って、種々のタイプのレンダリングされるモニタ／ディスプレイの中から選択することができる。例えば、ユーザは、２０インチモニタ、３０インチモニタ、４０インチモニタ等を用いるように選択することができる。これらの異なるディスプレイ／モニタは、仮想化環境においてヘッドセットによってレンダリングすることができる。

【0033】

[0033]キーボードは、ユーザが接触することができる現実世界の物体の１つの例として詳細に言及されたが、他の例示的な現実世界の物体には、例えば、コンピュータマウス、電子デバイス、ゲームコントローラ、文書、及び／又は任意の他の物理的小道具等の他の物体が含まれてもよい。

【0034】

[0034]例えば、いくつかの実施形態では、ユーザは、仮想化環境内に没入しながらビデオゲームをプレイしている場合がある。コンピュータゲームがファーストパーソンシュータコンピュータゲームである場合があると仮定する。そのようなゲームをプレイするとき、ユーザは、仮想化世界において銃を操作する間、触感を体験するために、現実世界における模造品の銃／コントローラを保持することができる。ユーザが仮想化環境において仮想の銃とインタラクションする際、ユーザは、現実世界における小道具／コントローラとインタラクションすることができる。したがって、ユーザがファーストパーソンシュータゲームの仮想化世界において仮想の／生成された銃を見てこの銃とインタラクションする際、ユーザは、現実世界における現実世界の小道具／コントローラに触れる際の触覚応答も体験する。

【0035】

[0035]別の実施形態では、ハードウェア／ヘッドセットは、現実世界の物体、障害物又は人物を検出するようにセンサを用いて構成されてもよい。物体、障害物又は人物が現実世界において検出されると、次に、いくつかの実施形態は、現実世界の物体、障害物又は人物に対応するイメージを生成することができ、次に、生成されたイメージが仮想化環境とマージされる。例えば、ヘッドセットのセンサは、現実世界において、人物がユーザに接近していること、又はユーザが人物に接近していることを検出することができる。別の例では、ヘッドセットのセンサは、ユーザが障害物に近づいていると判定することができる。

【0036】

[0036]障害物、物体又は人物がユーザの付近にあるとセンサが判定すると、ヘッドセットは、障害物、物体又は人物についてユーザに警告することができる。ユーザは通常、仮想環境内に完全に没入しており、このため、現実世界における近傍の障害物、物体又は人物を感知することができないため、この警告は、これらのユーザにとって有用であり得る。これらの有用な警告をユーザに与えることによって、いくつかの実施形態は、ユーザが障害物、物体又は人物にぶつかることを回避することを可能にすることができ、ユーザがこれらの障害物、物体又は人物によってより混乱しないようにすることを可能にすることができる。いくつかの実施形態では、ヘッドセットは、何者かがユーザに接近している場合、又はユーザが障害物／物体／人物にぶつかりそうである場合にユーザに警告を与えることができる。

【0037】

[0037]いくつかの実施形態では、障害物、物体又は人物がユーザの近傍にあると判定することに加えて、センサは、ユーザが現実世界において接触する場合がある異なる物体、障害物又は人物を詳細に識別することもできる。例えば、１つの実施形態では、光センサが物体の存在を検出すると、センサは、検出された物体の物理的特性／寸法を決定することができる。次に、ハードウェアのコントローラは、１組の物体の記憶された情報を参照し、検出された物体が、記憶された情報の物体のうちのいずれかと合致するか否かを判定することができる。記憶された情報は、本発明の実施形態によって認識可能な物体に対応することができる。例えば、いくつかの実施形態は、認識可能な物体に関する情報をデータベース内に記憶することができる。

【0038】

[0038]別の実施形態では、ハードウェアは、物体がハードウェアに通信を送信するとき、現実世界内の物体を検出／識別することができる。現実世界の物体は、ハードウェア／ヘッドセットと互換性のある通信方法を用いることができる。したがって、現実世界の物体は、ヘッドセットに物体があることを通知した後にヘッドセットによって検出することができ、物体はヘッドセットに対し、自身が何であるかを明らかにすることができる。例えば、物体は、ヘッドセットに、その物体のタイプ、その物体の場所、及びその物体の任意の他の特性を知らせることができる。いくつかの実施形態では、現実世界の物体は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信を介してヘッドセットと通信することができる。

【0039】

[0039]いくつかの実施形態では、センサ又は他のカメラは、現実世界の物体の現実世界のフィルム映像／画像を取り込むことができる。現実世界のフィルム映像／画像が取り込まれた後、いくつかの実施形態は、現実世界の物体に対応するイメージをレンダリングすることができる。レンダリングされたイメージは、取り込まれた、実際の現実世界のフィルム映像／画像を用いることができる。

【0040】

[0040]したがって、いくつかの実施形態が、ユーザの現実世界の環境における物体の光学認識又は取り込みを行うことができた後、この現実世界の物体に対応するイメージを仮想化環境に挿入することができる。

【0041】

[0041]図１は、本発明のいくつかの実施形態による、仮想化環境内のイメージの提示を示す。図１の例において、ユーザは仮想化環境１００内に没入している場合がある。ユーザが仮想環境１００内に没入している間、いくつかの実施形態は、現実世界の物体に対応するイメージを生成することができる。次に、この生成されたイメージを仮想化環境１００内にマージすることができる。例えば、ユーザは、紙（この紙は現実世界の環境内にある）を見ることを望む場合がある。ヘッドセットは、ライブビデオストリーム１２０をレンダリングすることができるか、又は仮想化環境１００内の１枚又は複数枚の紙の現実世界の画像１１０をレンダリングすることができる。したがって、ユーザは、仮想化環境１００内で文書（１１０、１２０）を見ることができ、文書はユーザの現実世界内に存在する。現実世界の環境における文書は、仮想化環境においてレンダリングすることができる例示的な物体として詳細に言及されているが、他の物体（現実世界におけるソフトドリンクの缶等）が、仮想化環境１００内で現実世界のイメージ１３０としてレンダリングされてもよい。

【0042】

[0042]上記に鑑みて、本発明のいくつかの実施形態は、仮想世界のイメージを現実世界のイメージと組み合わせることができる。現実世界のイメージは、現実世界の写真又はフィルム映像のいずれかを含むことができる。

【0043】

[0043]上記で説明したように、ユーザがインタラクションする現実世界の様々な物体を仮想化環境においてレンダリングすることができる。しかしながら、現実世界の物体に対応するイメージは仮想化環境内で生成されるので、現実世界の環境の背景はハードウェアによって無視される。例えば、上記で説明したように、現実世界の環境は、所望の仮想化環境（仮想のロンドンのバー、仮想のハワイのビーチ等）と置き換えることができる。したがって、いくつかの実施形態は、現実世界の環境のいくつかの物体をレンダリングする間、ユーザの現実世界の環境の背景を無視することができる。

【0044】

[0044]上記に鑑みて、いくつかの実施形態は、現実世界における物体の存在を検出する。次に、検出された物体を識別することができる。次に、いくつかの実施形態は、識別された物体を、現実世界の環境の背景から分離することができる。例えば、識別された物体のイメージを、現実世界の背景のイメージから分離することができる。次に、いくつかの実施形態は、現実世界の物体のイメージのみを仮想化環境に挿入することができる。したがって、仮想化環境内で所望の現実世界の物体が適切にレンダリングされている間、現実世界の環境の周囲の現実性はなくすことができる。

【0045】

[0045]いくつかの実施形態は、現実世界の物体、人物及び障害物の、仮想環境への漸進的導入を実施することもできる。特に、いくつかの実施形態は、現実世界における、ユーザと現実世界の物体との間の距離に基づいて、現実世界の物体のイメージを漸進的に導入することができる。現実世界の物体を仮想化環境に漸進的に導入することによって、導入をユーザにとってより煩わしくないものに見せることができる。

【0046】

[0046]現実世界の物体を仮想環境に導入することは、ユーザがバーチャルリアリティヘッドセットを用いているときに、ユーザが周囲の物体、障害物及び他の人物に気づきにくくなる場合があるため、ユーザにとって有用であり得る。換言すれば、ユーザは、バーチャルリアリティヘッドセットにつながると、自身の感覚能力の大半を失う場合がある。したがって、いくつかの実施形態は、ユーザに、誰かがユーザの付近に到来していることを感知する能力を与えることができる。更に、現実世界の物体／人物を仮想化環境に漸進的に導入することによって、導入は、仮想化環境のユーザをより混乱させないものとなり得る。

【0047】

[0047]現実世界の物体、人物及び／又は障害物のイメージを漸進的に導入するとき、いくつかの実施形態は、様々な距離閾値が満たされているか否かに基づいてイメージを導入することができる。いくつかの実施形態では、ハードウェアコントローラ又はコンピュータプロセッサは、記憶された／所定の距離閾値に基づいてイメージを導入することができる。例えば、様々な距離閾値があり、ｄ_１＜ｄ_２＜ｄ_３であると仮定する。３つの閾値（ｄ_１、ｄ_２及びｄ_３）が詳細に言及されているが、他の実施形態は、より多くの又はより少ない距離閾値を用いることができる。これらの閾値は、現実世界における、ユーザと、物体、人物及び／又は障害物との間の距離に対応することができる。したがって、物体、人物及び／又は障害物がユーザに接近し続け（又はユーザが物体、人物及び／又は障害物に接近する）、様々な距離閾値を超えるにつれ、物体、人物及び／又は障害物の生成されたイメージが、ユーザにとってますます目立ったものになる。

【0048】

[0048]例えば、最初に、人物／障害物が、ヘッドセットを用いているユーザから遠く離れていると仮定する。第１に、ヘッドセットは、人物又は他の障害物がユーザから距離ｄ_３以内に到達したと判定する場合、まずユーザに、人物／障害物がユーザから距離ｄ_３以内に入ったという物理的指示を与えることができる。例えば、ヘッドセットは、バズ音又はランブル音の感覚をユーザに与えることができる。この物理的な指示は、最も目立たない、すなわち最も煩わしくない警告と考えることができる。

【0049】

[0049]次に、人物／障害物がユーザに接近し続ける（又はユーザが人物／障害物に接近し続ける）場合、ヘッドセットは、仮想化環境内で接近する人物／障害物の輪郭をレンダリングすることができる。例えば、ヘッドセットのコンピュータプロセッサ又はコントローラは、人物／障害物がユーザから距離ｄ_２以内に到達した後、輪郭をレンダリングするように構成することができる。図２は、輪郭をレンダリングすることにより現実世界の物体のイメージを漸進的に導入する例を示す。図２の例において、ユーザは仮想化環境１００に没入している場合がある。障害物（椅子等）がユーザから所定の距離以内（距離ｄ_２以内等）に到達すると、ヘッドセットは、仮想環境１００内に椅子２１０の輪郭をレンダリングすることができる。

【0050】

[0050]図２の例は、輪郭をレンダリングすることにより椅子のイメージを漸進的に導入することを示しているが、他の実施形態は、種々の透過度のイメージを導入することにより、現実世界の物体のイメージを漸進的に導入することができる。例えば、遠く離れている現実世界の物体／人物／障害物は、非常に透過性が高く見え得るのに対し、ユーザにより近い現実世界の物体／人物／障害物は、仮想化環境内で半透明に見え得る。いくつかの実施形態は、明確な個別の閾値を用いない場合がある。代わりに、いくつかの実施形態は、イメージを、現実世界における対応する物体とユーザとの間の距離の関数として漸進的に導入（すなわち、イメージの透過性を漸進的に連続して変更）してもよい。

【0051】

[0051]上記に鑑みて、ユーザを混乱させることを回避するために、及び仮想化環境とのユーザのインタラクションを邪魔することを回避するために、イメージは、適切であると考えられる任意の漸進的方式でユーザに導入することができる。

【0052】

[0052]第３に、ユーザと人物／障害物との間の距離が低減し続ける場合、ヘッドセットは、仮想環境内に人物／障害物を完全にレンダリングするように構成することができる。例えば、いくつかの実施形態は、人物／障害物がユーザから距離ｄ_１以内に到達した場合、仮想化環境内に人物／障害物のイメージを完全にレンダリングすることができる。例えば、いくつかの実施形態は、衝突が迫っている場合、仮想化環境内に人物／障害物のイメージを完全にレンダリングすることができる。図３は、現実世界の物体のイメージを漸進的に導入する別の例を示す。図３の例では、障害物（椅子等）とユーザとの間の距離が小さくなり続ける場合があり、このため、ヘッドセットは、仮想化環境１００内に椅子３１０を完全にレンダリングすることができる。

【0053】

[0053]更に、本発明の様々な実施形態は、ユーザが距離ｄ_１、ｄ_２及び／又はｄ_３を決定するための様々なパラメータを設定することを可能にすることができる。いくつかの実施形態は、ユーザが、人物／障害物が仮想環境においてどのようにレンダリングされるかを構成することも可能にすることができる。パラメータは、ランブル音通知がいつどのように生じるかも反映することができる。

【0054】

[0054]上記に鑑みて、いくつかの実施形態では、ユーザがヘッドセットを用いるとき、まず、家具（すなわち、障害物）の鋭い角が輪郭として現れ、次に、仮想環境内で完全にレンダリングされた物体として現れることができる。このため、ユーザは、家具との衝突を回避することができ、ユーザは怪我を負うことを回避することができる。

【0055】

[0055]図４は、本発明のいくつかの実施形態による、仮想化環境内にイメージを提示するシステム４１０を示す。例示的なシステム４１０のユニットを、バーチャルリアリティヘッドセット内に統合することができる。代替的に、例示的なシステム４１０のいくつかのユニットは、バーチャルリアリティヘッドセットと別個とすることができる。本発明のいくつかの実施形態によれば、図４のシステム４１０は、仮想化環境を生成する仮想環境生成ユニット４２０と、センサユニット４３０と、画像レンダリングユニット４４０とを備えることができる。センサユニット４３０は、物体がユーザの近傍にあるか否かを判定することができる。上記で説明したように、センサユニット４３０は、例えば、物体の物理的寸法を決定し、物体を識別し、及び／又はユーザと物体との間の距離を決定することができる。センサユニット４３０は、物体の現実世界のイメージを取り込むこともできる。上記で説明されたように、画像レンダリングユニット４４０は、現実世界の物体に対応するイメージをレンダリングすることができる。

【0056】

[0056]図５は、本発明のいくつかの実施形態による方法のフローチャートを示す。図５に示す方法は、５１０において、バーチャルリアリティデバイスによって、ユーザのための仮想化環境を生成することを含む。方法は、５２０において、現実世界における物体を検出することも含むことができる。方法は、５３０において、仮想化環境における検出された物体に対応するイメージをレンダリングすることも含むことができる。

【0057】

[0057]図６は、本発明のいくつかの実施形態による装置１０を示す。図５における各ブロックは、ハードウェア、ソフトウェア、ファームウェア、１つ又は複数のプロセッサ及び／又は回路部等の種々の手段又はそれらの組み合わせによって実施することができることが理解されるべきである。実施形態において、装置１０は、例えば、仮想化環境を生成するデバイス（ヘッドセット又は何らかの他のバーチャルリアリティデバイス等）とすることができる。別の実施形態では、装置１０は、仮想化環境を生成するデバイスとは別個とすることができる、システムの機能を実施するデバイスとすることができる。装置１０は、図４に示すような仮想環境生成ユニット４２０、センサユニット４３０、及び／又は画像レンダリングユニット４４０のうちの任意のものとして動作するように構成することもできる。更に、装置１０は、図７に示すような、生成ユニット７１０、検出ユニット７２０及びレンダリングユニット７３０を含む、装置７００の構成要素のうちの任意のものとして動作するように構成することができる。１つの装置１０のみが図６に示されているが、２つ以上の装置１０がシステムとして様々な組み合わせで共に実施される場合もあり、独立して実施される場合もある。

【0058】

[0058]装置１０は、情報を処理し、命令又は動作を実行するためのプロセッサ２２を備える。プロセッサ２２は、任意のタイプの汎用プロセッサ又は専用プロセッサとすることができる。単一のプロセッサ２２が図６に示されているが、他の実施形態によれば、複数のプロセッサが利用されてもよい。実際に、プロセッサ２２は、例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（「ＤＳＰ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、及びマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ又は複数を含むことができる。

【0059】

[0059]装置１０は、プロセッサ２２によって実行することができる情報及び命令を記憶するための、プロセッサ２２に結合されたメモリ１４を更に備える。メモリ１４は、１つ又は複数のメモリとすることができ、ローカルアプリケーション環境に適した任意のタイプとすることができ、半導体ベースのメモリデバイス、磁気メモリデバイス及びシステム、光メモリデバイス及びシステム、固定メモリ、並びにリムーバブルメモリ等の任意の適切な揮発性又は不揮発性データストレージ技術を用いて実施することができる。例えば、メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、読出し専用メモリ（「ＲＯＭ」）、磁気ディスク若しくは光ディスク等の静的記憶装置、又は任意の他のタイプの非一時的機械若しくはコンピュータ可読媒体の任意の組み合わせで構成することができる。メモリ１４に記憶された命令は、プロセッサ２２によって実行されると、装置１０が、図５に示されるものを含む、本明細書に記載のタスクを行うことを可能にするプログラム命令又はコンピュータプログラムコードを含むことができる。

【0060】

[0060]装置１０は、装置１０に対し信号及び／又はデータを送受信するための１つ又は複数のアンテナ（図示せず）も含むことができる。装置１０は、情報を、アンテナ（複数可）によって送信するために搬送波波形に変調し、アンテナを介して受信した情報を、装置１０の他の要素によって更に処理するために復調する送受信機２８を更に含むことができる。他の実施形態では、送受信機２８は、信号又はデータを直接送受信することが可能であり得る。

【0061】

[0061]プロセッサ２２は、限定ではないが、アンテナ利得／位相パラメータのプレコーディング、通信メッセージを形成する個々のビットの符号化及び復号、情報のフォーマット設定、並びに、通信リソースの管理に関連するプロセスを含む装置１０の全体制御を含む、装置１０の動作に関連付けられた機能を実行することができる。

【0062】

[0062]実施形態において、メモリ１４は、プロセッサ２２によって実行されると機能を提供するソフトウェアモジュールを記憶する。モジュールは、装置１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５を含むことができる。メモリは、装置１０のための追加機能を提供するための、アプリケーション又はプログラム等の１つ又は複数の機能モジュール１８を記憶することもできる。装置１０の構成要素は、ハードウェアにおいて実施される場合もあるし、ハードウェア及びソフトウェアの任意の適切な組み合わせとして実施される場合もある。

【0063】

[0063]１つの実施形態において、装置１０は、ユーザに対し仮想化環境を生成するように構成することができる。装置１０は、現実世界における物体を検出するように構成することもできる。装置１０は、仮想化環境における検出された物体に対応するイメージをレンダリングするように構成することもできる。

【0064】

[0064]図７は、本発明のいくつかの実施形態による別の装置を示す。装置７００は、例えば、ヘッドセット又は何らかの他のバーチャルリアリティデバイスとすることができる。装置７００は、ユーザのための仮想化環境を生成する生成ユニット７１０を含むことができる。装置７００は、現実世界における物体を検出する検出ユニット７２０も含むことができる。装置７００は、仮想化環境において検出された物体に対応するイメージをレンダリングするレンダリングユニット７３０も含むことができる。

【0065】

[0065]本発明の説明された特徴、利点及び特性は、１つ又は複数の実施形態において任意の適切な方式で組み合わせることができる。当業者であれば、本発明は、特定の実施形態の特定の特徴又は利点のうちの１つ又は複数がない状態で実施することができることを認識するであろう。他の例では、いくつかの実施形態において、本発明の全ての実施形態に存在するわけではない追加の特徴及び利点を認識することができる。当業者であれば、上記で論考した発明を、開示されたものと異なる順序のステップを用いて、及び／又は異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本発明は、これらの好ましい実施形態に基づいて説明されたが、当業者には、本発明の趣旨及び範囲を維持しながら、いくつかの変更、変形及び代替的な構造が明らかであろう。
［発明の項目］
［項目１］
方法であって、
バーチャルリアリティデバイスによって、ユーザのための仮想化環境を生成するステップと、
現実世界における物体を検出するステップと、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングするステップと、
を含む、方法。
［項目２］
前記仮想化環境を生成する前記ステップが、現実世界のイメージを用いることを含む、項目１に記載の方法。
［項目３］
前記現実世界における前記物体の現実世界のイメージを取り込むステップを更に含み、
検出された前記物体に対応する前記イメージをレンダリングする前記ステップが、取り込まれた前記現実世界のイメージを用いることを含む、項目１に記載の方法。
［項目４］
前記物体を検出する前記ステップが、前記ユーザと前記物体との間の距離を決定することを含む、項目１に記載の方法。
［項目５］
検出された前記物体に対応する前記イメージをレンダリングする前記ステップが、前記ユーザと前記物体との間の決定された前記距離に基づいており、
前記レンダリングされたイメージが、決定された前記距離が小さいほどより目立つ、
項目１に記載の方法。
［項目６］
検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えるステップを更に含む、項目１に記載の方法。
［項目７］
装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、
を備えており、
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
ユーザのための仮想化環境を生成すること、
現実世界における物体を検出すること、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングすること、
を実行させるように構成される、装置。
［項目８］
前記仮想化環境を生成することが、現実世界のイメージを用いることを含む、項目７に記載の装置。
［項目９］
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記現実世界における前記物体の現実世界のイメージを取り込むことを実行させるように構成され、
検出された前記物体に対応する前記イメージをレンダリングすることが、取り込まれた前記現実世界のイメージを用いることを含む、
項目７に記載の装置。
［項目１０］
前記物体を検出することが、前記ユーザと前記物体との間の距離を決定することを含む、項目７に記載の装置。
［項目１１］
検出された前記物体に対応する前記イメージをレンダリングすることが、前記ユーザと前記物体との間の決定された前記距離に基づいており、
前記レンダリングされたイメージが、決定された前記距離が小さいほどより目立つ、項目７に記載の装置。
［項目１２］
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えることを実行させるように構成される、項目７に記載の装置。
［項目１３］
非一時的コンピュータ可読媒体において具現化されたコンピュータプログラムであって、プロセッサによって実行されると、前記プロセッサに、
ユーザのための仮想化環境を生成すること、
現実世界における物体を検出すること、
前記仮想化環境において、検出された前記物体に対応するイメージをレンダリングすること、
を実行させる、コンピュータプログラム。
［項目１４］
前記仮想化環境を生成することが、現実世界のイメージを用いることを含む、項目１３に記載のコンピュータプログラム。
［項目１５］
前記コンピュータプログラムが、前記プロセッサによって実行されると、前記プロセッサに、前記現実世界における前記物体の現実世界のイメージを取り込むことを実行させ、
検出された前記物体に対応する前記イメージをレンダリングすることが、取り込まれた前記現実世界のイメージを用いることを含む、
項目１３に記載のコンピュータプログラム。
［項目１６］
前記物体を検出することが、前記ユーザと前記物体との間の距離を決定することを含む、項目１３に記載のコンピュータプログラム。
［項目１７］
検出された前記物体に対応する前記イメージをレンダリングすることが、前記ユーザと前記物体との間の決定された前記距離に基づいており、
前記レンダリングされたイメージが、決定された前記距離が小さいほどより目立つ、項目１３に記載のコンピュータプログラム。
［項目１８］
前記コンピュータプログラムが、前記プロセッサによって実行されると、前記プロセッサに更に、検出された前記物体が前記ユーザから所定の距離以内にあるとの警告を与えることを実行させる、項目１３に記載のコンピュータプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】