特許 5809121 現実環境と仮想環境を自動的に融合するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5809121

(24)【登録日】2015年9月18日

(45)【発行日】2015年11月10日

(54)【発明の名称】現実環境と仮想環境を自動的に融合するためのシステムおよび方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20151021BHJP

【ＦＩ】

   G06T19/00 300A

【請求項の数】8

【外国語出願】

【全頁数】15

(21)【出願番号】特願2012-214166(P2012-214166)

(22)【出願日】2012年9月27日

(65)【公開番号】特開2013-149239(P2013-149239A)

(43)【公開日】2013年8月1日

【審査請求日】2012年11月14日

【審判番号】不服2014-6625(P2014-6625/J1)

【審判請求日】2014年4月10日

(31)【優先権主張番号】13/354,434

(32)【優先日】2012年1月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500310339

【氏名又は名称】アバイア インコーポレーテッド

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(72)【発明者】

【氏名】アンジュ エス．クリシュナクマー

(72)【発明者】

【氏名】シャリニ ヤジニク

【合議体】

【審判長】 清水 正一

【審判官】 渡辺 努

【審判官】 藤井 浩

(56)【参考文献】

【文献】 特開２００９−２７１７５０（ＪＰ，Ａ）

【文献】 特開２００９−１９５７０７（ＪＰ，Ａ）

【文献】 特開平７−３０６９５６（ＪＰ，Ａ）

【文献】 特開２００９−９３４７８（ＪＰ，Ａ）

【文献】 国際公開第２００８／１２６８３８（ＷＯ，Ａ１）

【文献】 片山祐也，外１名、“共有仮想空間における感覚情報伝達制御手法”、情報処理学会研究報告、その他、２００４．１１．２６発行、Ｖｏｌ．２００４，Ｎｏ．１２１、ｐ．９１−９６

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T19/00

(57)【特許請求の範囲】

【請求項1】

仮想環境を現実環境と調和させるためのシステムであって、
人物に結合されるように構成された送受信機と、
前記現実環境内での前記送受信機の位置を決定するように構成された位置決定モジュールと、
前記送受信機の前記位置に基づいて前記仮想環境をユーザに描出するように構成された仮想環境サーバと、
前記ユーザと前記人物との間の通信サービスを提供するように構成されたワームホール・サーバとを備え、
前記人物のステータスを前記ワームホール・サーバに格納し、
前記ユーザと前記人物との間で提供される前記通信サービスが前記ステータスに基づき、
前記ステータスは、「応対中」、「応対可能」及び「応対不可」のうちの少なくともいずれかを示し、
前記ワームホール・サーバに格納される前記人物の前記ステータスは、前記現実環境における前記人物のステータスを表し、
前記人物と他の人物との前記現実環境における通信を用いない直接的な対話の有無に基づいて、前記現実環境における前記人物の前記ステータスを推測する、システム。

【請求項2】

前記現実環境内の所定の場所に１つまたは複数のビーコン送信機をさらに備え、前記ビーコン送信機が信号を前記送受信機に送信するように構成された、請求項１に記載のシステム。

【請求項3】

前記現実環境内の所定の場所に１つまたは複数の受信機をさらに備え、前記受信機が前記送受信機からのビーコン信号を受信するように構成され、前記ビーコン信号が、前記ユーザと前記人物との間の通信サービスを提供するように構成されたワームホール・サーバに通信リンクを提供するようにさらに構成された、請求項１に記載のシステム。

【請求項4】

前記仮想環境が前記人物に対応するアバターおよび前記ユーザに対応するアバターを備え、前記人物に対応する前記アバターの前記仮想環境内での位置が、前記位置決定モジュールにより決定される前記位置によって決定され、前記ユーザに対応する前記アバターが前記人物に対応する前記アバターから所定の距離内にいると、前記ユーザと前記人物との間の通信チャネルが開かれる、請求項１に記載のシステム。

【請求項5】

前記仮想環境が、前記ユーザに対応する前記アバターが情報ポイントまで所定の距離内に置かれると、情報を前記ユーザに提供するように構成された前記情報ポイントをさらに備える、請求項４に記載のシステム。

【請求項6】

仮想環境を現実環境と調和させるための方法であって、
送受信機を人物に結合させることと、
位置決定モジュールを使用して、前記現実環境内での前記送受信機の位置を決定することと、
前記送受信機の前記位置を決定するように構成された仮想環境サーバを使用して、前記仮想環境をユーザに描出することと、
ワームホール・サーバを使用して、前記ユーザと前記人物との間の通信サービスを提供することと、
前記人物のステータスを前記ワームホール・サーバに格納することとを含み、
前記ユーザと前記人物との間で提供される前記通信サービスが前記ステータスに基づき、
前記ステータスは、「応対中」、「応対可能」及び「応対不可」のうちの少なくともいずれかを示し、
前記ワームホール・サーバに格納される前記人物の前記ステータスは、前記現実環境における前記人物のステータスを表し、
前記人物と他の人物との前記現実環境における通信を用いない直接的な対話の有無に基づいて、前記現実環境における前記人物の前記ステータスを推測する、方法。

【請求項7】

前記現実環境内の所定の場所にある１つまたは複数のビーコン送信機を使用して、信号を前記送受信機に送信する工程をさらに含み、前記現実環境内の所定の場所にある１つまたは複数の受信機を使用して、前記送受信機からのビーコン信号を受信する工程をさらに含む、請求項６に記載の方法。

【請求項8】

前記位置決定モジュールにより決定される前記位置を使用して、前記人物に対応するアバターのうちの少なくとも１つのアバターおよび前記ユーザに対応するアバターの、前記仮想環境内での位置を決定する工程と、前記ユーザに対応する前記アバターが前記人物に対応する前記アバターから所定の距離内にいると、前記ユーザと前記人物との間の通信チャネルを開く工程と、前記ユーザに対応する前記アバターが、前記仮想環境において情報ポイントまで所定の距離内にいるとそれに応答して情報を前記ユーザに提供する工程とをさらに含む、請求項６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明による実施形態は、現実環境と仮想環境の融合に関し、特に、現実環境での行動を仮想環境での描写と調和させることに関する。

【背景技術】

【0002】

バーチャル・リアリティ（ＶＲ）は、仮想世界または仮想環境とも呼ばれるが、コンピュータで模擬的に作られた環境に該当する語であり、現実世界および架空世界の各所で実際の存在をシミュレーションすることができる。最新のバーチャル・リアリティ環境は、主に視覚体験であり、コンピュータの画面上でまたは特別な立体表示を通じて表示されるが、一部のシミュレーションは、スピーカまたはヘッドフォンを通じた音響などの追加の知覚情報を含む。一部の高度な触感システムは、医療用途およびゲーム用途において、一般にフォース・フィードバックとして知られる触覚情報を含む。さらに、バーチャル・リアリティは、遠隔通信環境をその対象に含み、遠隔通信環境は、キーボードやマウスなどの標準的な入力デバイスの使用を通じて、あるいはワイヤードグローブ（ｗｉｒｅｄ ｇｌｏｖｅ）、Ｐｏｌｈｅｍｕｓ（商標）のシステムで使用されているような運動追跡技術、および全方向性のトレッドミルなどの多様なデバイスを通じて、テレプレゼンスおよびテレイグジスタンス、または仮想人工物（ＶＡ）の概念を用いて、ユーザの仮想の存在を提供する。模擬的に作られた環境は、例えばパイロットの訓練または戦闘訓練のシミュレーションにおいて、実物のような体験を作り出すために、現実世界に類似していてもよいし、ＶＲゲームにおいてなど、現実とかなり異なっていてもよい。実際には、忠実度の高いバーチャル・リアリティ体験を作り出すことは、現在、非常に難しく、それは主として処理能力、画像解像度、および通信帯域に関する技術的な制約のためである。

【0003】

Ａｖａｙａのｗｅｂ．ａｌｉｖｅ（商標）やＬｉｎｄｅｎ ＬａｂのＳｅｃｏｎｄ Ｌｉｆｅなどの仮想世界システムが、企業環境において使用されている。Ａｖａｙａのｗｅｂ．ａｌｉｖｅは、Ｗｅｂブラウザのプラグインであり、既存のネットワーク・アプリケーション、セキュリティ・アプリケーション、およびビジネス・アプリケーションとの統合により、通信、コラボレーション、および従業員または消費者の関与を強化する。このようにして、ｗｅｂ．ａｌｉｖｅは、運営上の間接費を最小化し、ユーザへのアクセスの容易性を高め、低コストのＷｅｂコラボレーションで対面型の対話（ｉｎｔｅｒａｃｔｉｏｎ）を提供する。

【0004】

しかし、従来の仮想世界システムを使用して他者と関係し、対話するためには、ユーザは仮想世界にログインし、セッションを開始する必要がある。いったんログインすると、ユーザは自身のアバターを手動で制御することにより、仮想世界を動き回る。既知のシステムは、ユーザのアバターが、仮想世界システムに格納された静的な所定の環境と対話している画像を提供するので、さらに限定的である。

【0005】

これは、一部の状況で不適切または望ましくない場合がある。例えば、本物の実際の見本市を表す仮想世界は、ブース・スタッフたちのアバターを有する必要がある。しかし、現実世界の実際のブースの担当業務に忙しいブース・スタッフが仮想世界にログインし、自身のアバターを手動で制御することは、不可能である。このような使用状況においては、ブース・スタッフの実際の位置またはステータスと、対応するアバターの実際の位置またはステータスとの間でずれが生じる可能性がある。またこれにより、スタッフが仮想世界のユーザとどのような形であれ通信できなくなって、仮想世界のユーザは、ブース・スタッフとの対話式のセッションを確立する手段がないままとなる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第７，２７２，３９４号

【非特許文献】

【0007】

【非特許文献1】ＩＥＥＥ８０２．１１無線プロトコル（ｗｉｒｅｌｅｓｓ ｐｒｏｔｏｃｏｌ）

【非特許文献2】ＩＥＥＥ８０２．１５．４

【非特許文献3】ＩＥＴＦ２５４３

【非特許文献4】ＩＥＴＦ３２６１

【非特許文献5】Ｈ．３２３

【非特許文献6】ＩＥＴＦ ＲＦＣ３５５０

【非特許文献7】ＩＥＴＦ ＲＦＣ３５５１

【非特許文献8】Ｋｒｉｓｈｎａｋｕｍａｒ他、「Ｏｎ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｓｉｇｎａｌ ｓｔｒｅｎｇｔｈ−ｂａｓｅｄ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ」、ＩＮＦＯＣＯＭ ２００５

【非特許文献9】Ｋｒｉｓｈｎａｎ他、「Ａ ｓｙｓｔｅｍ ｆｏｒ ＬＥＡＳＥ： ｌｏｃａｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｓｓｉｓｔｅｄ ｂｙ ｓｔａｔｉｏｎａｒｙ ｅｍｉｔｔｅｒｓ ｆｏｒ ｉｎｄｏｏｒ ＲＦ ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋｓ」、ＩＮＦＯＣＯＭ ２００４

【発明の概要】

【発明が解決しようとする課題】

【0008】

既知の技術には、上述の議論のとおり欠点がある。したがって、仮想世界システムの設定および制御における自律性の改善のための方法およびシステムが必要である。

【課題を解決するための手段】

【0009】

本発明による実施形態は、実質的にユーザによるセッションの設定なしに、仮想環境のユーザを表す際の自律性の改善を実現する。さらに、本発明による実施形態は、現実世界からユーザの動きを自動的に反映することにより、仮想世界のこれらのユーザを制御する。仮想環境のユーザと現実世界のユーザとの間の双方向通信が実現される。

【0010】

任意選択で、システムは、プロセッサに結合されたメモリをさらに備えることができ、このメモリは、命令がプロセッサによって実施されるとプロセッサが諸工程を実施するような命令を格納するように構成され、これらの工程は、送受信機を人物に結合させることと、位置決定モジュールを使用して、現実環境内での送受信機の位置を決定することと、送受信機の位置を決定するように構成された仮想環境サーバを使用して、仮想環境をユーザに描出することとを含む。

【0011】

本発明による実施形態は、仮想環境を現実環境と調和させるためのシステムを含み、このシステムは、人物に結合されるように構成された送受信機と、現実環境内での送受信機の位置を決定するように構成された位置決定モジュールと、送受信機の位置に基づいて仮想環境をユーザに描出するように構成された仮想環境サーバとを備える。

【0012】

本発明による実施形態は、仮想環境を現実環境と調和させるための方法を含み、この方法は、送受信機を人物に結合させることと、位置決定モジュールを使用して、現実環境内での送受信機の位置を決定することと、送受信機の位置を決定するように構成された仮想環境サーバを使用して、仮想環境をユーザに描出することとを含む。

【0013】

本発明の上記特徴を詳細に理解することができるように、上記に簡単に要約された本発明の実施形態のより具体的な説明を実施形態を参照して行うことが可能であり、その実施形態が添付図面に示される。しかし、添付図面は、本発明の範囲内に包含される典型的な実施形態を示すだけであり、したがって、本発明は他の同等に有効な実施形態を許容することが可能であるので、限定するものとみなすべきではないことに留意されたい。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態によるシステムの図である。

【図2】本発明の一実施形態による別のシステムの図である。

【図3】本発明の一実施形態による方法の図である。

【発明を実施するための形態】

【0015】

本明細書で使用される見出しは、単なる構成上の目的のためでしかなく、本明細書または特許請求の範囲に記載の範囲を限定するために使用されていると解釈すべきではない。本願を通じて使用されている「してもよい（することができる）」という語は、義務的な意味（すなわち「しなければならない」の意）ではなく、許容を表す意味（すなわち「可能性を有する」の意）で使用されている。同様に、用語「含む」、「含んでいる」、および「含む」の他の形態は、それを含むがそれに限定されるものではないことを意味する。理解を容易にするために、可能な場合には、各図面に共通の同様の要素を示すために、同様の参照番号が使用されている。各図面における任意選択の部分は、破線または点線を使用して示され得る。

【0016】

本発明による実施形態は、現実環境と仮想環境の融合に関し、特に、現実環境での行動を仮想環境での描写と調和させることに関する。現実環境の人物と仮想環境のユーザとの間の通信をリアルタイムに確立することができる。

【0017】

本明細書で使用する「モジュール」という語は、一般に、論理シーケンス、またはステップ、プロセス、もしくはコンポーネントの結合を意味する。例えば、ソフトウェア・モジュールは、コンピュータ・プログラム内に１組の関連するルーチンまたはサブルーチンを含んでもよい。あるいは、モジュールは、実質的に自己完結型のハードウェア・デバイスを含んでもよい。モジュールはまた、任意のソフトウェアまたはハードウェアの実装に関係なく、論理的な１組のプロセスを含んでもよい。

【0018】

バーチャル・リアリティ・システムは、仮想環境を提供し、そこでは人物が、アバターと呼ばれるコンピュータ上の画像によって表される。仮想環境と対照的に、非仮想環境は、「現実世界」または「現実空間」と呼ばれる。

【0019】

本発明による実施形態は、所定の複数組の被追跡人物の画像を現実世界の環境から仮想環境に事前に読み込むことにより、例えばＡｖａｙａのｗｅｂ．ａｌｉｖｅ（商標）など、商用の仮想環境を構築および改善する。被追跡人物は、本明細書では「スタッフ」と呼ばれることもある。被追跡人物を仮想環境に事前に読み込むには、コンテンツ管理機能を必要とし、環境制御に対する管理されたアクセスが、少なくとも個々のベンダーおよび／または展示会主催者に提供される。被追跡人物の初期の読み込みは、展示会主催者か、個々のベンダーのいずれかによって実施することができる。仮想参加者による使用の間、被追跡人物の在席または離席（例えば休憩中）および場所は、使用されている場所推定技術に基づいて決定される。場所推定技術については、以下にさらに詳述する。このような複数組の人物の例には、カンファレンスのブースにいる出展者、ショールームの販売員、コールセンタのエージェントなどが含まれる。

【0020】

本発明による実施形態は、ステータス（例えば「応対中」、「応対可能」、「応対不可」など）を示すために、ステータス表示を含むことができる。このステータス表示は、仮想世界に提示されるステータスが現実世界におけるスタッフのステータスを表すように、自動的に更新可能であってもよい。例えば、自動更新のステータスは、スタッフと展示会参加者との対話の有無からシステムによって推測されてもよい。

【0021】

本発明による実施形態は、人々のグループ間の対話を可能にすることができ、例えば、１人の人物がグループに対応する、もしくはグループに質問および回答を行う、またはあるグループが別のグループと対話する（例えば聴衆がいる公開討論会、下級販売員および上級販売員が合同で２人以上の顧客と話し合う）などがある。このような機能はまた、仮想環境の外部ユーザが、見本市において、まるでその通路を歩いているかのように、一度に複数の出展者と会ったり、対話したりすることを可能にする上でも有益であり得る。

【0022】

本発明による実施形態は、いくつもの方式の通信または対話をスタッフに提供することができる。例えば、第１の通信方式では、スタッフは、（例えばある仮想ユーザのグループと話をするときに）所定の周辺内にいる仮想ユーザと通信することができる。第２の通信方式では、仮想ユーザは、そのスタッフとの１対１の対話を開始することができ、複数の仮想ユーザがそれを共有することはできない。この第２の方式は、機密性の高い情報について議論する際に役立つはずである。

【0023】

本発明による実施形態は、出展者が、外部ユーザに、例えば、製品のデモ、ＰｏｗｅｒＰｏｉｎｔのプレゼンテーション資料、製品カタログ資料、もしくは展示ブースの写真などの映像および／または音声を伝達できる機能を提供することができる。現実世界の資料は、仮想世界の対応する資料と同期させることができる。例えば、スタッフがＰｏｗｅｒＰｏｉｎｔのプレゼンテーションを、展示ブースの自身のＰＣ上で実行した場合、ＰＣ上のエージェント・モジュールは、この情報を仮想世界に通知するとともに、資料への変更が現実世界で生じたときに、仮想ユーザに提示されている、対応するＰｏｗｅｒＰｏｉｎｔのプレゼンテーションに変更を同期させることもできる。

【0024】

本発明による実施形態は、少数の有効な人物（例えばスタッフ）、すなわち対応可能な関係者から成る動的に変化する小集団として、仮想世界のモデルを内部に作成することができ、有効な人物とは外部ユーザとの通信に対応可能なスタッフである。このモデルは、外部ユーザに提示された顧客体験（例えばエージェントの専門知識）が経時的に長く連続することを可能にすることができる。例えば、外部ユーザがアバターとの１回目の対話を終え、しかしその後、同じアバターとの２回目の対話に戻った場合、このモデルでは、外部ユーザはおそらく１回目の対話と２回目の対話とにまたがって議論を継続できる。

【0025】

あるいは、仮想世界の有効な人物を、利用可能な通信インタフェースに関連付けることができる。このモデルでは、現実世界では、仮想世界との利用可能な通信インタフェースよりも多くの実際のスタッフが存在し得る。例えば、所与の時間に、要員が５名いるが通信装置が３組のみ存在する場合があり、その結果、仮想環境は３つのアバターを表示するはずである。このモデルでは、現実世界の様々なスタッフが、必要に応じて通信装置を共有して、行き来することを可能にすることができる。

【0026】

本発明による実施形態は、外部ユーザとのチャットルーム機能を提供することができる。例えば、外部ユーザが第１のアバターに接触しようとし、質問をタイプ入力することがある。第１のアバターが取込み中の場合、質問は、チャットに対応可能な第２のアバターに転送され得る。

【0027】

図１は、本発明の一実施形態によるシステム１００およびその使用法を示す。システム１００は、ユーザ１０１のコンピュータ・デバイスの画面１０２に示される仮想インタフェース１４１を使用して、実空間１２１のイベントに仮想的に参加できるユーザ１０１を示す。実空間１２１は、見本市として描写されているが、本発明による実施形態は、シンポジウム、講演、小売店、ショッピングモール、またはその他の人の集団など、他のタイプの集まりで使用され得る。仮想インタフェース１４１は、ワームホール・サーバ（ｗｏｒｍｈｏｌｅ ｓｅｒｖｅｒ）１３１および／または仮想世界サーバ１３３によって生成され、それは、以下で説明され、また少なくとも図１内に描写されるように、広域ネットワーク１３２（例えばインターネットやイントラネット）を使用して、ユーザ１０１のコンピュータ・デバイスに相互接続される。

【0028】

他の実施形態では、実空間１２１は、２つ以上の場所を表すことができる。例えば、実空間１２１は、会議での複数のブース、またはショッピングモールでの複数の店舗、またはシンポジウムでの複数のプレゼンテーション・ルームを表していてもよく、それらのうちのいくつかは、必ずしも物理的に隣接していなくてもよい。

【0029】

ユーザ１０１のコンピュータ・デバイスは、プロセッサ、プロセッサに結合されたメモリ、内部通信経路および／もしくは外部通信経路をプロセッサに結合する受信機、送信機、および／もしくは送受信機、ならびに／または１つもしくは複数のユーザ入力／出力（Ｉ／Ｏ）デバイス（例えば、ディスプレイ画面、キーボード、マウスなど）を含むことができる。メモリは、プロセッサによって使用されるデータおよび／またはプログラム命令を格納している。メモリは、恒久性のある不揮発性メモリ（例えばＲＯＭ）、または揮発性メモリ（例えばＲＡＭ）、または書換え可能メモリ（例えばハード・ドライブやフラッシュ・メモリ）、またはその任意の組合せを含むことができる。プログラム命令は、プロセッサによって実行されるとき、ユーザ１０１のコンピュータ・デバイスによって実施されたプロセスを実行する。

【0030】

実空間１２１は、見本市での作業者やシンポジウムでの招待客など、イベントに配置される１人または複数の人物１２２によって埋められている。人物１２２が実空間１２１で動き回ると、その動きは追跡され、対応するアバター１４２がそれに応じて仮想インタフェース１４１で動く。ユーザ１０１は、仮想インタフェース１４１で別のアバター１４３によって表される。ユーザ１０１は、アバター１４３を操作してアバター１４２と対話させることにより、人物１２２と対話することができる。

【0031】

実空間１２１はまた、ユーザ１０１に役立つ情報をもっている可能性がある、キオスクなどの１つまたは複数の所定の場所１２５を含む。人物１２２は、１つまたは複数の所定の場所１２５の中または近くを移動することができる。ローカル通信ハブ１２４は、以下で説明されるように、実空間１２１との通信インタフェースを提供する。

【0032】

本発明による一実施形態では、所定の場所１２５は、ビーコン信号１２７を送信する比較的低電力の送信機を含むことができる。この目的のために使用される無線伝送技術には、ＩＥＥＥ８０２．１１無線プロトコル（すなわちＷｉＦｉ）、ＩＥＥＥ８０２．１５．４（すなわちＺｉｇＢｅｅ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが含まれ得る。Ｂｌｕｅｔｏｏｔｈは、（２４００〜２４８０ＭＨｚのＩＳＭバンドで短波長の無線伝送を使用して）固定デバイスおよびモバイル・デバイスからのデータを近距離にわたって交換し、高度なセキュリティを備えたパーソナル・エリア・ネットワーク（ＰＡＮ）を形成するためのベンダー独自のオープンな無線技術標準として、当技術分野で知られている。少なくとも人物１２２のうちの一部は、ビーコン信号１２７を受信する送受信機１２６を携帯している。送受信機１２６は、人物１２２との間の音声通信チャネルをサポートするために少なくともマイクロフォンおよびイヤホンへのインタフェースを備えている。送受信機１２６はまた、少なくとも人物１２２からの映像通信チャネルのためにカメラを備えることができる。

【0033】

送受信機１２６はさらに、通信インタフェース１２３を提供でき、これはローカル通信ハブ１２４と通信する。通信インタフェース１２３は、実空間１２１内の人物１２２の移動性を高めるために無線インタフェースとして描写されている。通信インタフェース１２３は、人物１２２との間の音声通信チャネルをサポートし、使用される場合は映像通信チャネルもサポートできる。しかし、例えば、映像通信をサポートするために広帯域が望ましい可能性がある場合、または人物１２２がシンポジウムでの公開討論会もしくはポスターセッションなどで比較的動かない場合、有線インタフェースなどの他のインタフェースも使用できる。

【0034】

実空間１２１内の人物１２２の場所は、ビーコン信号１２７および無線位置決定方法を使用して決定され得る。例えば、３つ以上の所定の場所１２５から未処理の信号を受信することで、三角測量によって人物１２２の場所を決定できる。あるいは、人物１２２の場所は、どのビーコン信号１２７が最大の強度、最良の品質などで受信されるかによって決定することができ、人物１２２の位置が、対応する所定の場所１２５に関連付けられる。場所計算（例えば三角測量計算や信号強度比較）は、送受信機１２６により、受信されたビーコン信号１２７に基づいて実行され得る。あるいは、送受信機１２６は、ビーコン信号１２７（またはそこから導き出された値）を、場所計算を実施するために、ワームホール・サーバ１３１などの上流側コンピュータ・デバイスに渡すことができる。

【0035】

実質的にそれぞれのビーコン信号１２７は、例えば、実質的に一意の識別子（例えば、伝送周波数、送信されたＩＤ番号、ＰＮスペクトラム拡散符号、時分割多重、周波数分割多重など）により、同一であるとみなせるほどに所定の場所１２５と関連付けられる。このような方法は、当業者によく知られている。

【0036】

ワームホール・サーバ１３１は、人物１２２を仮想インタフェース１４１に自動的に表し、ユーザ１０１などの仮想の見本市参加者と実空間１２１の人物１２２との間の通信を開始することにより、実空間１２１と仮想インタフェース１４１との間を橋渡しする。ワームホール・サーバ１３１は、人物１２２のステータスを追跡し、計算し、かつ／または維持し、そのステータスを仮想世界サーバ１３３に伝えることができる。ワームホール・サーバ１３１は、名前、職務権限、専門などの、人物１２２の特性を含むことができる。ワームホール・サーバ１３１は、人物１２２とユーザ１０１との間の音声通信および／または映像通信を提供するために、セッション開始プロトコル（「ＳＩＰ」、ＩＥＴＦ２５４３および／もしくはＩＥＴＦ３２６１）、Ｈ．３２３、ならびに／またはリアルタイム転送プロトコル（「ＲＴＰ」、ＩＥＴＦ ＲＦＣ３５５０および／もしくは３５５１）のサポートを含むことができる。

【0037】

ワームホール・サーバ１３１は、現実世界からの情報（例えば場所情報）を収集し、それを仮想空間サーバ１３３に伝える。ワームホール・サーバ１３１はまた、仮想空間サーバ１３３からの情報を受信し、その情報を現実世界の適当な行動（例えば電話をかける）へと読み換える。

【0038】

仮想空間サーバ１３３は、ワームホール・サーバ１３１からの情報（例えば場所情報）を解釈し、その情報を仮想世界の適当な行動（例えばアバターを動かす）に変換する働きをする。仮想空間サーバ１３３およびワームホール・サーバ１３１は通常、マスタ／スレーブの組合せで構成されるのではなく、相互に対話する対等な関係の構成物として構成され得る。

【0039】

ワームホール・サーバ１３１は、プロセッサ、プロセッサに結合されたメモリ、内部通信経路および／もしくは外部通信経路をプロセッサに結合する受信機、送信機、および／もしくは送受信機、ならびに／または１つもしくは複数のユーザ入力／出力（Ｉ／Ｏ）デバイス（例えば、ディスプレイ画面、キーボード、マウスなど）を含むことができる。メモリは、プロセッサによって使用されるデータおよび／またはプログラム命令を格納している。メモリは、恒久性のある不揮発性メモリ（例えばＲＯＭ）、または揮発性メモリ（例えばＲＡＭ）、または書換え可能メモリ（例えばハード・ドライブやフラッシュ・メモリ）、またはその任意の組合せを含むことができる。プログラム命令は、プロセッサによって実行されるとき、ワームホール・サーバ１３１によって実施されるプロセスを実行する。

【0040】

人物１２２のステータスは、実空間１２１での彼らの実際の位置を含むことができ、実際の位置は、本明細書で説明されている無線位置決定方法によって決定される。ステータスはまた、例えば、人物１２２が既にユーザ１０１または別のユーザとの通信に加わっているか、そうでない場合、対応できない可能性があるかなど、人物１２２が対応可能かどうか、または彼らの動作もしくは動作のレベルの表示を含むことができる。人物がユーザ１０１以外の別のユーザとの通信に加わっている場合、ステータスは、その他のユーザの画像を含むことができる。

【0041】

ユーザ１０１は、適切な許可（例えば、ユーザはこの機能にアクセスできる）および／または適切な属性（例えば、所定の会話は非公開でない）の設定に基づいて、実際のカンファレンスで可能なように会話を聞けることを含め、他のユーザの画像と対話することができる。例えば、Ａｖａｙａのｗｅｂ．ａｌｉｖｅなどの仮想世界システムは、仮想世界を通じて仮想ユーザが他の仮想ユーザと対話し、かつ／または仮想ユーザ間の、もしくは仮想ユーザとブース・スタッフとの間の任意の公開の会話を聞くための機能を提供することができる。

【0042】

ステータスは、人物１２２によって制御可能であり、それは、例えば、送受信機１２６のスイッチを設定したり、ワームホール・サーバ１３１によって認識される語句または信号（例えば、「オフ」、「オン」、「保留」、「転送」、「会議」など）を発したりすることなどによる。送受信機１２６が所定の時間動かない場合、または送受信機１２６が異常な角度に（例えば横向きに）向けられている場合などに、ステータスは推測も可能で、そこでは人物１２２が送受信機１２６から離れたことが示される可能性がある。

【0043】

仮想空間サーバ１３３は、人物１２２に関するステータス情報を、それがワームホール・サーバ１３１によって供給されたとき、ユーザ１０１のコンピュータ・デバイスの画面１０２上に示されるように、仮想インタフェース１４１上にアバター１４２の場所または描写が描出されるよう使用する。アバター１４２の描写は、対応可能かどうかの表示を含むことができる。例えば、人物１２２が対応できないと、対応するアバター１４２はおそらく異なる色で描出されるか、グレーで表示されるか、点滅するか、他の何らかのステータス表示が画面上に示されるかなどとなる。ユーザ１０１による制御コマンド（例えば、動き、発話依頼など）は、仮想空間サーバ１３３に通知され、次いで、ユーザ１０１からの制御コマンドに基づいた、アバター１４３の対応する動きと制御が実現される。仮想空間サーバ１３３は、ユーザ１０１が仮想世界と通信したり、可能ならば、コラボレーションを可能にするために、同じような他の外部ユーザと通信したりすることを可能にする他の機能を提供することができる。仮想空間サーバ１３３はまた、例えば、ログイン、ＩＤ管理、パーソナライズ、特権レベルなどのセキュリティ機能を提供することができる。仮想空間サーバ１３３はまた、現実世界の資料に加えられた変更を、仮想世界で提示される対応する資料に加えられる変更と同期させるために、ワームホール・サーバ１３１と対話することもできる。

【0044】

システム２００の動作に際しては、ユーザ１０１は、自身のアバター１４３をアバター１４２の近くに移動させ、次いでコマンドを発行することでアバター１４２に対応する人物１２２との通信を開始することができる。あるいは、ユーザ１０１がアバター１４３をアバター１４２に十分近づける行為が、ワームホール・サーバ１３１および／または仮想空間サーバ１３３によって、ユーザ１０１と人物１２２との間の通信を開始する合図（または推測コマンド）であると認識される場合がある。コマンド、推測コマンド、合図、またはこれらに類するもの、およびステータスに応じて人物１２２が対応可能であるかどうかを認識すると、通信セッションが、ユーザ１０１と人物１２２との間で、ワームホール・サーバ１３１によって確立され得る。当初、通信セッションは、ＳＩＰ、Ｈ．３２３などの既知のプロトコルを使用して設定される、チャット・セッションまたは音声チャネルのみを含むことができる。通信セッションは、ワームホール・サーバ１３１によってサポートされる通信サービスの範囲内で、保留する、または転送するなど、他の任意の電話のように扱うことができる。チャット・セッションは、人物１２２に利用しやすい、音声からテキストへの変換モジュールによるサポートが可能なので、人物１２２はキーボードを使用する必要がない。

【0045】

ユーザ１０１と人物１２２との通信の間、ライブの映像通信チャネルを含むことが望ましくなる場合がある。ユーザ１０１または人物１２２のいずれかが、使用可能なコマンドを通じて依頼を開始できる。コマンドは、映像チャネルを設定するために、ＳＩＰメッセージの交換を開始する。帯域などの十分なリソースが使用可能な場合、送受信機１２６とローカル通信ハブ１２４との間で特に、ＲＴＰセッションが確立できるようになる。十分なリソースが使用できない場合、依頼が否定され、ユーザ１０１および人物１２２はそう伝えられることになる。

【0046】

ユーザ１０１と人物１２２との通信の間、通常は人物１２２からユーザ１０１へ、視覚的な資料を参照することも望ましくなる場合がある。視覚的な資料には、ＰｏｗｅｒＰｏｉｎｔのプレゼンテーション、ＰＤＦ（例えば製品カタログや取扱説明書）、ビデオクリップなどが含まれ得る。仮想世界システムによって提供されるインタフェースを通じて、ユーザ１０１との間の音声および映像が提供される。例えば、仮想世界システムは、スライドを表示したり、仮想ユーザとデスクトップを共有したりする能力を備えた所定の「表面」を提供することができる。現実世界からの情報（例えば、ブース・スタッフのデスクトップ、スライドショーなど）が、この表面上の仮想世界システム環境内で使用可能になり得る。あるいは、現実世界の資料、または、例えばＰｏｗｅｒＰｏｉｎｔ資料を転送中といった資料のステータスに加えられた変更は、仮想世界と同期させることもできる。

【0047】

図２は、本発明の別の実施形態における、システム２００およびその使用法を示す。送信機２２６は、人物１２２によって携帯されているが、ビーコン信号２２７を送信し、この信号は１つまたは複数の所定の場所２２５ａ〜ｅによって受信される。所定の場所２２５ａ〜ｅの受信機は、受信した信号強度を測定する。人物１２２の位置は、所定の場所２２５ａ〜ｅのうちのどこが送信機２２６からの最強の信号を受信しているかを判定することによって近似的に特定することができる。より正確な位置決定は、例えば、三角測量技法や、それぞれ異なる所定の場所２２５ａ〜ｅにおける、送信機２２６からの相対的な受信信号強度を比較するなどの、他の方法によって実施され得る。例えば、図２に示した構成を使用して、場所２２５ｂおよび場所２２５ｃで受信された信号がほぼ同じであるが、場所２２５ａおよび場所２２５ｅで受信された信号が弱い場合、人物１２２は場所２２５ｂと場所２２５ｃとの中間点近くに位置しているはずである。この計算は、（実空間１２１内の物体による妨害であるか、人物１２２の身体による妨害であるかにかかわらず）ビーコン信号２２７の反射または遮断による干渉は無視できるものと想定している。本発明による実施形態は位置決定方法を用いて使用でき、それらの方法は少なくとも、Ｋｒｉｓｈｎａｋｕｍａｒ他による米国特許第７，２７２，３９４号、Ｋｒｉｓｈｎａｋｕｍａｒ他「Ｏｎ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｓｉｇｎａｌ ｓｔｒｅｎｇｔｈ−ｂａｓｅｄ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ」、ＩＮＦＯＣＯＭ ２００５、およびＫｒｉｓｈｎａｎ他「Ａ ｓｙｓｔｅｍ ｆｏｒ ＬＥＡＳＥ： ｌｏｃａｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｓｓｉｓｔｅｄ ｂｙ ｓｔａｔｉｏｎａｒｙ ｅｍｉｔｔｅｒｓ ｆｏｒ ｉｎｄｏｏｒ ＲＦ ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋｓ」、ＩＮＦＯＣＯＭ ２００４に記述されており、これらのすべては参照によってその全体が本明細書に組み込まれる。

【0048】

実質的にそれぞれの所定の場所２２５ａ〜ｅからの信号強度は、所定の場所２２５ａ〜ｅと通信ハブ２２４との間の通信経路（図示せず）を介し、次いでワームホール・サーバ１３１に通知され、そこで位置計算が実施される。

【0049】

各送受信機２２６は、実質的に一意の識別子（例えば、伝送周波数、送信されたＩＤ番号、ＰＮスペクトラム拡散符号、時分割多重、周波数分割多重）など、複数の送受信機２２６を使用してシステム２００の動作を促進する伝送特性を有するビーコン信号２２７を送信することができる。このような方法は、当業者によく知られている。

【0050】

送受信機２２６はさらに、送受信機２２６と通信ハブ２２４との間の双方向通信リンクをサポートする。本発明による一実施形態では、信号２２７は、ビーコンとしても双方向通信リンクをサポートする目的としても使用できる。別の実施形態では、ビーコン信号２２７とは異なる、ある別個の通信インタフェース２２８を、双方向通信リンクをサポートするために使用できる。通信インタフェース２２８は、人物１２２との間の音声通信チャネルをサポートし、使用される場合は映像通信チャネルもサポートできる。しかし、例えば、映像通信をサポートするためにより広い帯域幅が望ましい可能性がある場合、または人物１２２がシンポジウムでの公開討論会もしくはポスターセッションなどで比較的動かない場合、有線インタフェースなどの他のインタフェースも使用できる。

【0051】

ビーコンとしても双方向通信リンクをサポートする目的としても使用できる信号２２７を提供するように送受信機２２６を構成すると、送受信機２２６の小型化および送受信機２２６による電力消費の削減などの利点をもたらし得る。

【0052】

システム２００はさらに、ローカル通信ハブ２２４が、広域ネットワーク１３２経由の通信なしに、ワームホール・サーバ１３１と直接通信できることを示している。この通信インタフェースは、図１の実施形態においても使用可能となり得る。この構成では、通信ハブ２２４は、ワームホール・サーバ１３１と結合されるか、ワームホール・サーバ１３１の一部となってもよい。このような構成では、ワームホール・サーバは、実空間１２１と実質的に同じ場所に配置されることがある。

【0053】

図２はさらに、仮想空間１４１が、１つまたは複数の情報ポイント１４４を含むことができることを示している。ユーザ１０１が自身のアバター１４３を情報ポイント１４４に移動させる場合、ユーザ１０１には、情報ポイント１４４に関連する追加の情報が提供され、そこにはアバター１４３を、ユーザ１０１が必要とする情報を提供する体勢がより整っている、仮想空間１４１内の別の場所に、または全く別の仮想空間１４５に転送することが含まれ得る。あるいは、アバター１４３を情報ポイント１４４から所定の距離内に移動させると、アバター１４３がこの情報ポイントに関連付けられたアバター（図２に図示せず）に転送される可能性がある。

【0054】

人物１２２は、自身のアバター１４２にログインし、それを制御することを明示的に行う必要がないことに留意されたい。実空間１２１における人物１２２の場所は、場所特定技術（例えばＩＥＥＥ８０２．１１ ＷｉＦｉ、ＩＥＥＥ８０２．１５．４ ＺｉｇＢｅｅ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を使用して自動的に追跡され、仮想空間１４１に自動的に反映される。仮想空間１４１にログインした外部ユーザ１０１が人物１２２のアバター１４２に近づいて接触を開始すると、双方向通信が、現実世界においてユーザ１０１と人物１２２との間で自動的に開始される。

【0055】

特に説明されていない図２の他の部分は、図１の同様の番号を付けた要素と同様に動作する。

【0056】

図３は、本発明の一実施形態による方法３００を示す。方法３００は、図１のシステム１００および／または図２のシステム２００で使用できる。工程３０１で、送受信機は、見本市ブースのスタッフなどの現実世界の人物に結合される。送受信機は、送受信機（およびその結合先の人物）の位置を、現実世界の環境に関連して特定するために使用できる信号を送信および／または受信する。

【0057】

工程３０２で、現実環境内の送受信機の位置は、例えば、図１のシステム１００および／または図２のシステム２００に関連して説明されるそれぞれの方法を使用することによって決定される。位置情報は、仮想環境を生成するために、仮想世界サーバおよび／またはワームホール・サーバに通知される。

【0058】

工程３０３で、工程３０２からの位置情報を使用して、仮想環境がユーザに描出（すなわち表示）される。

【0059】

任意選択の工程３０４で、通信チャネルが現実環境と仮想環境との間に開かれる。例えば、現実環境の人物と仮想環境のユーザとの間に通信を確立することができる。または、この通信は、現実環境で仮想環境のユーザと共に使用できる音声／視覚によるプレゼンテーションであってもよい。人物およびユーザに対応するそれぞれのアバターが相互に近づく、またはユーザのアバターが所定の場所に近づく、またはユーザが通信開始の希望を示すと、通信チャネルを開くことができる。通信チャネル、および通信チャネルがどのように開かれるかについては、他の組合せおよびシナリオが可能である。

【0060】

当業者は、図１のシステム１００および／または図２のシステム２００を踏まえると、方法３００の任意選択の追加の諸工程が実施され得ることを認識するであろう。

【0061】

以上は本発明の実施形態を対象とするが、本発明の他の実施形態およびさらなる実施形態が、本発明の基本範囲から逸脱することなく考案され得る。本明細書で説明される様々な実施形態が、本明細書に含まれる範囲から逸脱することなく、説明される他の任意の実施形態と共に使用されてもよいことが理解される。さらに、以上の説明は、網羅的であること、または開示された厳密な形態に本発明を限定することを意図するものではない。修正形態および変形形態も、上記の教示を踏まえた上で可能であり、または本発明の実施から獲得し得るものである。

【0062】

本願明細書で使用されている要素、行為、または命令は、明示的に説明されない限り、本発明にとって重要または不可欠であるとみなされるべきではない。また、本明細書で使用される単数での表現は１つまたは複数の項目を含むことが意図されている。項目１つのみを意図する場合、「１つ」またはこれに類する表現が使用される。さらに、本明細書で使用される複数の項目および／または複数の項目カテゴリの列挙の後に続く「のうちのいずれか」という表現は、個々にあるいは他の項目および／または他の項目カテゴリと共に、項目および／または項目カテゴリ「のうちのいずれか」、「のうちの任意の組合せ」、「のうちの任意の複数」、および／または「のうちの複数の任意の組合せ」を含むことが意図される。

【0063】

さらに、特許請求の範囲は、その旨が明言されない限り、記載された順序または要素に限定されるものとして解釈されるべきではない。また、任意の請求項における「手段」という語の使用は、米国特許法第１１２条第６項を行使することを意図するが、「手段」という語を含まないいかなる請求項もその行使を意図しない。

【図1】

【図2】

【図3】