特許第5934368号(P5934368)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
<>
  • 特許5934368-可搬装置、仮想現実システムおよび方法 図000002
  • 特許5934368-可搬装置、仮想現実システムおよび方法 図000003
  • 特許5934368-可搬装置、仮想現実システムおよび方法 図000004
  • 特許5934368-可搬装置、仮想現実システムおよび方法 図000005
  • 特許5934368-可搬装置、仮想現実システムおよび方法 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5934368
(24)【登録日】2016年5月13日
(45)【発行日】2016年6月15日
(54)【発明の名称】可搬装置、仮想現実システムおよび方法
(51)【国際特許分類】
   G06F 3/0481 20130101AFI20160602BHJP
   G06F 3/01 20060101ALI20160602BHJP
   A63F 13/30 20140101ALI20160602BHJP
   A63F 13/35 20140101ALI20160602BHJP
   A63F 13/211 20140101ALI20160602BHJP
   A63F 13/65 20140101ALI20160602BHJP
   A63F 13/525 20140101ALI20160602BHJP
   A63F 13/216 20140101ALI20160602BHJP
   A63F 13/213 20140101ALI20160602BHJP
【FI】
   G06F3/0481 150
   G06F3/01 510
   A63F13/30
   A63F13/35
   A63F13/211
   A63F13/65
   A63F13/525
   A63F13/216
   A63F13/213
【請求項の数】18
【全頁数】18
(21)【出願番号】特願2014-533895(P2014-533895)
(86)(22)【出願日】2012年10月4日
(65)【公表番号】特表2015-502584(P2015-502584A)
(43)【公表日】2015年1月22日
(86)【国際出願番号】EP2012069624
(87)【国際公開番号】WO2013050473
(87)【国際公開日】20130411
【審査請求日】2014年6月4日
(31)【優先権主張番号】11183970.0
(32)【優先日】2011年10月5日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110000121
【氏名又は名称】アイアット国際特許業務法人
(72)【発明者】
【氏名】ムチラー,クリストファー
(72)【発明者】
【氏名】オット,シュテファン
(72)【発明者】
【氏名】ヴィット,ニコラス
【審査官】 原 秀人
(56)【参考文献】
【文献】 英国特許出願公開第02376397(GB,A)
【文献】 米国特許出願公開第2011/0216002(US,A1)
【文献】 特開2011−128220(JP,A)
【文献】 特開2002−048562(JP,A)
【文献】 特開2011−170682(JP,A)
【文献】 特開2006−285833(JP,A)
【文献】 特開2003−305276(JP,A)
【文献】 特開2011−059069(JP,A)
【文献】 特開2008−108246(JP,A)
【文献】 米国特許出願公開第2008/0111832(US,A1)
【文献】 特開2002−163670(JP,A)
【文献】 米国特許出願公開第2002/0057280(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0481
G06F 3/01
A63F 13/211
A63F 13/213
A63F 13/216
A63F 13/30
A63F 13/35
A63F 13/525
A63F 13/65
(57)【特許請求の範囲】
【請求項1】
現実世界におけるユーザの視線方向(111)を特定するように構成された視線方向センサ(101)と、
前記現実世界におけるユーザの位置(113)を特定するように構成された位置特定器(103)と、
前記現実世界におけるユーザの視線方向(111)およびユーザの位置(113)に基づいて、前記現実世界の3D座標系における視線方向(111)の変化が仮想世界の3D座標系における視線方向の変化をもたらす仮想世界を生成するように構成された処理部(105)と、
前記仮想世界を、前記現実世界の視界を遮りつつユーザに表示するように構成された表示装置(107)と
を備え、
前記処理部(105)は、前記仮想世界の3D座標系における位置に、前記仮想世界における仮想の物体(203)を生成するように構成され、
前記処理部(105)は、前記現実世界におけるユーザの位置(113)の精度の変化に応じて、前記仮想の物体(203)の詳細さのレベルまたはサイズを変化させるように構成され、
前記処理部(105)は、ユーザの位置(113)を特定するために現在使用されている位置特定アルゴリズムの精度に応じて、前記仮想の物体の詳細さのレベルまたはサイズを選択するように構成されている、
可搬装置(100)。
【請求項2】
請求項1に記載の可搬装置(100)において、前記処理部(105)は、前記現実世界におけるユーザの特定された位置(113)の精度が減少すると、前記仮想の物体(203)のサイズを増加させ、または前記仮想の物体(203)の詳細さのレベルを減少させるように構成されている、可搬装置(100)。
【請求項3】
請求項1または2に記載の可搬装置(100)において、前記処理部(105)は、前記現実世界におけるユーザの特定された位置(113)の精度が増加すると、前記仮想の物体(203)のサイズを減少させ、または前記仮想の物体(203)の詳細さのレベルを増加させるように構成されている、可搬装置(100)。
【請求項4】
請求項1からのいずれか1項に記載の可搬装置(100)において、前記処理部(105)は、前記現実世界の3D座標系における記ユーザの位置(113)の変化が、前記仮想世界の3D座標系におけるユーザの位置の変化をもたらすように、前記仮想世界を生成するようにさらに構成されている、可搬装置(100)。
【請求項5】
請求項1からのいずれか1項に記載の可搬装置(100)において、
前記現実世界における環境条件(123)を特定するよう構成された環境条件センサ(121)をさらに備え、
前記処理部(105)は、前記現実世界における環境条件(123)の変化が前記仮想世界における変化をもたらすように、前記環境条件センサにより特定された環境条件(123)に基づいて前記仮想世界を生成するようにさらに構成されている、
可搬装置(100)。
【請求項6】
請求項に記載の可搬装置(100)において、前記特定された環境条件(123)は温度もしくは湿度であり、または、前記環境条件センサ(121)は光センサである、可搬装置(100)。
【請求項7】
請求項またはに記載の可搬装置(100)において、
前記特定された環境条件(123)は、前記現実世界においてユーザに視認可能でなく、
前記処理部(105)は、前記仮想世界において、前記特定された環境条件(123)をグラフィックで可視化するように構成されている、
可搬装置(100)。
【請求項8】
請求項1からのいずれか1項に記載の可搬装置(100)において、前記処理部(105)は、前記現実世界における現実の物体(201)が位置する前記現実世界の3D座標系における位置に対応する前記仮想世界の3D座標系における位置に、前記仮想世界における仮想の物体(203)を生成するように構成されている、可搬装置(100)。
【請求項9】
請求項に記載の可搬装置(100)において、前記処理部(105)は、前記現実世界における現実の物体(201)に置き換わる前記仮想世界における仮想の物体(203)が、現実の物体(201)のように同様のユーザの挙動をもたらすように、前記現実世界における現実の物体(201)を前記仮想世界における仮想の物体(203)に置き換えるように構成されている、可搬装置(100)。
【請求項10】
請求項またはに記載の可搬装置(100)において、
前記処理部(105)は、前記現実世界における現実の物体(201)およびそれらの場所が記憶された物体データベースを備え、または前記処理部(105)は、前記現実世界における現実の物体(201)およびそれらの場所に関する物体情報を受信するように構成されており、
前記処理部(105)は、前記物体データベースまたは受信された前記物体情報に基づいて、前記仮想の物体(203)を生成するように構成されている、
可搬装置(100)。
【請求項11】
請求項1から10のいずれか1項に記載の可搬装置(100)において、前記位置特定器(103)は、地上位置特定アルゴリズムに基づいて前記現実世界におけるユーザの位置(113)を特定するように構成されたリアルタイム位置特定システム装置である、可搬装置(100)。
【請求項12】
請求項1から11のいずれか1項に記載の可搬装置(100)において、
外部通信装置によって位置特定可能である電子タグ(115)をさらに備え、
前記位置特定器(103)は、前記外部通信装置から受信される通信信号に基づいて前記現実世界におけるユーザの位置(113)を特定するように構成されている、
可搬装置(100)。
【請求項13】
請求項12に記載の可搬装置(100)において、前記電子タグ(115)の機能は、前記位置特定器(103)の機能から独立している、可搬装置(100)。
【請求項14】
請求項1から13のいずれか1項に記載の可搬装置(100)において、
前記可搬装置(100)はゲームコントローラであり、
前記処理部(105)は、ユーザが行動する前記現実世界は同じ状態のままであるものの、前記処理部(105)が前記仮想世界を生成する方法が、ユーザがプレイする異なるゲームに対して、またはユーザがプレイするゲームの異なるゲーム状況に対して異なるように、ユーザがプレイするゲームに従って前記仮想世界を生成するように構成されている、可搬装置(100)。
【請求項15】
請求項1から13のいずれか1項に記載の可搬装置(100)において、
前記処理部(105)は、物体データベースに基づいて、前記仮想世界を、ユーザが行動する前記現実世界の仮想の複製として生成するように構成されている、
可搬装置(100)。
【請求項16】
請求項1から15のいずれか1項に記載の可搬装置(100)と、前記可搬装置(100)の外部に配置された地上通信装置(401)とを備え、
前記可搬装置(100)の前記位置特定器(103)は、前記地上通信装置から受信される無線通信信号(403)に基づいて前記現実世界におけるユーザの位置(113)を特定するように構成されている、
仮想現実システム(400)。
【請求項17】
現実世界におけるユーザの視線方向を特定するステップ(501)と、
前記現実世界におけるユーザの位置を特定するステップ(503)と、
前記現実世界におけるユーザの前記視線方向およびユーザの前記位置に基づいて、前記現実世界の3D座標系における前記視線方向の変化が仮想世界の3D座標系における視線方向の変化をもたらす仮想世界を生成するステップ(505)と、
前記生成された仮想世界を、前記現実世界の視界を遮りつつユーザに表示するステップ(507)と、
前記仮想世界の前記3D座標系における位置に、前記仮想世界における仮想の物体を生成するステップと、
前記現実世界におけるユーザの前記特定された位置の精度の変化に応えて、前記仮想の物体の詳細さのレベルまたはサイズを変化させるステップと
を含み、
前記仮想の物体の詳細さのレベルまたはサイズは、ユーザの位置(113)を特定するために現在使用されている位置特定アルゴリズムの精度に応じて選択される
方法。
【請求項18】
コンピュータで稼働するときに、請求項17に記載の方法を行うためのプログラムコードを有するコンピュータプログラムを記憶した非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可搬装置に関する。本発明はさらに、仮想現実システムに関する。
【背景技術】
【0002】
これまで、仮想環境において現実のようにユーザが行動および移動することができるファーストパーソン・ゲームを実現することは、可能ではなかった。その理由は、主に2つの問題があるからである。第1に、物体の視線方向を充分に正確に特定することが可能でなかった。第2に、既知のシステムでは、物体の位置特定を数センチメートル単位で正確に行うことができなかった。さらに、システムと実際に情報交換を行うため、処理時間は最小限のものでなくてはならない。第3に、現在の手法は、例えば、航空用または自動車用として知られているトレッドミルまたはシミュレータからのいわゆる二次元サイバーウォーク・プラットフォームのような、大なり小なり制限されたハードウェア設備に適用される。
【0003】
サイバーウォーク・プラットフォームは、床に対するグランド・コントロールや頭部に対する大型の電子装置を導入しなければならず、非常に柔軟性の低い。さらに、他のユーザと互いに影響し合うことが、そのような装置が寄与しているあらゆる人に対して必要となる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、完全に仮想的な環境または仮想の世界にいる印象をユーザに伝えることができるコンセプトを作り出すことである。
【課題を解決するための手段】
【0005】
この課題は請求項1に記載の可搬装置および請求項18に記載の方法によって解決される。
【0006】
本発明により、現実世界における可搬装置のユーザの視線方向を特定するように構成された視線方向センサを備える可搬装置が創出される。さらに、可搬装置は、現実世界におけるユーザの位置を特定するように構成された位置特定器を備える。さらに、可搬装置は、現実世界におけるユーザの視線方向およびユーザの位置に基づいて、現実世界の3D座標系における視線方向の変化が仮想世界の3D座標系における視線方向の変化をもたらす仮想世界を生成するように構成された処理部を備える。さらに、可搬装置は、生成された仮想世界を、現実世界の視界を遮りつつユーザに表示するように構成された表示装置を備える。
【0007】
異なるセンサ情報(現実世界におけるユーザの位置および視線方向のような)が組み合わされて仮想世界を作り出すときに、さらに、現実世界の視界が遮られつつ仮想世界がユーザに表示されるときに、可搬装置が、完全に仮想的な世界にいる印象をユーザに伝えることができるというのが、本発明の考えである。したがって、現実世界におけるユーザの移動は、可搬装置によって検出されことができ、仮想世界におけるユーザの移動に移植される(または移される)ことができる。ユーザの現実世界の視界を遮ることによって、可搬装置は、ユーザが完全に仮想的な世界にいるという印象を伝えることができる。
【0008】
したがって、可搬装置は、温度、天候および時間に依存しない仮想現実または仮想世界を模擬することができ、その中でユーザは自由に移動でき、その仮想現実または仮想世界とユーザが相互に作用することができる。さらに、可搬装置は、複数のそのような可搬装置を備える仮想現実システムの1つの事象での2人以上のユーザの統合を可能とする。一例として、各ユーザが独自の可搬装置を持ち、それが他の可搬装置と直接または外部通信装置によって通信することができる。
【0009】
可搬装置は、ユーザによって手で携帯され得るハンドヘルド装置であってもよい。可搬装置の表示装置は、例えば、ユーザが1つの装置だけを手に持ち、それが表示装置も備えるように、処理部、位置特定器および視線方向センサと1つの筐体で一緒にされていてもよい。さらに、表示装置は、視線方向センサ、位置特定器および処理部とは異なる筐体にあってもよい。例えば、処理部は無線通信インターフェイスまたは有線通信インターフェイスによって表示装置に接続されていてもよい。一例として、可搬装置は、表示装置を備える眼鏡を構成してもよい。
【0010】
さらに、完全な可搬装置として、例えば、ユーザが可搬装置を手に持つ必要がなくそれを頭部に装着できるように、眼鏡に一体化されていてもよい。
【0011】
前述したように、表示装置は、生成された仮想世界を、現実世界の視界を遮ることによってユーザに表示するように構成されている。いくつかの実施形態によると、表示装置は、表示装置によって現実世界の視界を遮ってもよく、これは表示装置が現実世界ではなく仮想世界のみを見せることを意味する。これは、仮想要素が現実世界の視界に仮想的に配置される増強型の現実システムとは大きく異なる。
【0012】
言い換えると、ユーザは、表示装置を見つめていないときだけ、現実世界を見ることができる。
【0013】
さらに、例えば表示装置が眼鏡に備えられている構成において、表示装置および眼鏡が、ユーザが表示装置を直接見つめていないときであっても、眼鏡を装着しているユーザの現実世界の視界が遮られるように構築されていてもよい。
【0014】
現実の正確なセンサデータ(例えば、視線方向センサおよび位置特定器からの)に基づいて仮想的に作られた完全な環境を与えるシステムまたは可搬装置を提供することが、本発明の利点である。これによって、ユーザは、現実の環境において物理的に行動する一方で、仮想環境を見てそれと相互に作用することができる。ユーザは、この仮想環境において、現実にいるかのように行動および移動することができる。したがって、ユーザは、スクリーン上でアバターを制御することなく自身で行動および移動することによって、ゲーム(ユーザが自宅の自身のワークステーションで最近プレイしたもの)を一人でプレイすることができる。
【0015】
本発明の実施の形態を以下に詳細に説明する。
【図面の簡単な説明】
【0016】
図1】本発明の実施形態に係る可搬装置のブロック図である。
図2図1に示す可搬装置のアプリケーションの一例の説明図である。
図3】本発明の実施形態に係る仮想現実システムのブロック図である。
図4】本発明のさらなる実施形態に係る仮想現実システムのブロック図である。
図5】本発明の実施形態に係る方法のフローチャートである。
【発明を実施するための形態】
【0017】
添付図を用いて本発明の実施形態を詳細に説明するにあたり、同じ要素または同じ機能を有する要素には同じ参照符号が与えられ、同じ参照符号が与えられた要素についての反復する説明は省略されることを指摘しておく。したがって、同じ参照符号を有する要素に対して与えられる説明は、相互に交換可能である。
【0018】
図1は、本発明の実施形態に係る可搬装置100のブロック図を示す。可搬装置100は、視線方向センサ101と、位置特定器103と、処理部105と、表示装置107とを備える。視線方向センサ101は、現実世界における可搬装置100のユーザの視線方向111を特定するように構成されている。
【0019】
位置特定器103は、現実世界におけるユーザの位置113を特定するように構成されている。処理部105は、現実世界におけるユーザの特定された視線方向111およびユーザの特定された位置113に基づいて、現実世界の3D座標系における視線方向111の変化が仮想世界の3D座標系における視線方向の変化をもたらす仮想世界を生成するように構成されている。
【0020】
さらに、表示装置は、現実世界の視界を遮りつつ(例えば、表示装置107によって)、生成された仮想世界をユーザに表示するように構成されている。
【0021】
本出願の導入部で述べたように、可搬装置100は、ユーザが現実の環境または世界において物理的に行動しているが、仮想環境または世界を見ている、または仮想環境または世界と相互に作用するように、現実の正確なセンサデータ(例えば、視線方向センサ101および位置特定器103からの)に基づいて、仮想的に作られた完全な環境または世界を与えることができる。ユーザは、この仮想環境または世界において、現実にいるかのように行動または移動することができる。したがって、ユーザは、スクリーン上のコントローラであるアバターなしに、自身で行動および移動することによって、ゲーム(彼が自宅のこのワークステーションで最近プレイしたもの)を一人でプレイすることができる。
【0022】
視線方向は、微細電子機械システム(MEMS)によって、この場合では主にジャイロスコープによって、充分に正確に導出できることが見出された。そのようなジャイロスコープは、配向の角度変化を特定するのに使用できる。動作が遅い磁力計(その性質上遅い)および慣性センサである視線方向センサ101と組み合わされたセンサ情報(ジャイロスコープからの)により、視線方向センサ101は、速い移動または方向変化であっても、視線方向111を非常に正確に導出することができる。
【0023】
言い換えると、視線方向センサ101は、1つのタイプのセンサまたは複数の異なるタイプのセンサを備えてもよく、それに基づいて視線方向センサは、視線方向111を特定する。一例として、視線方向センサ101は、現実世界におけるユーザの移動を導出するためのジャイロスコープセンサ、加速度計センサおよび/または磁力計センサを備えてもよく、ジャイロスコープセンサのデータ、加速度計センサのデータおよび/または磁力計センサのデータに基づいて視線方向111を導出するように構成されていてもよい。これによって、現実世界におけるユーザの視線方向111の非常に正確な特定が可能となる。上述したように、処理部105は、現実世界の3D座標系における視線方向の変化が仮想世界の3D座標系における視線方向の変化をもたらすように、仮想世界を生成するように構成されている。したがって、視線方向センサ111は、三次元的な様式でのユーザの視線方向を特定し、この視線方向がその後処理部105によって三次元仮想世界に移植され得ることがわかる。言い換えると、視線方向センサ111は、水平方向におけるユーザの回転を特定できるだけでなく、鉛直方向における視線方向111の変化を特定するようにも構成されている。したがって、処理部105は、例えば、現実世界における水平方向での視線方向111の変化が、仮想世界における水平方向の視線方向の変化(例えば、同調変化)をもたらし、現実世界における鉛直方向での視線方向111の変化が、仮想世界における鉛直方向での視線方向の変化(例えば、同調変化)をもたらすように、水平方向および鉛直方向における視線方向111の変化を、生成された仮想世界に移植するように構成されている。または言い換えると、いくつかの実施形態によると、仮想世界のユーザの視線方向の変化は、現実世界におけるユーザの視線方向111に対して整列されてもよく、または少なくとも比例してもよい。
【0024】
したがって、ユーザは、三次元的な様式での自身の視線方向を変化させ、その結果仮想世界における三次元的な様式での視線方向の変化をもたらすことによって、現実世界でのように仮想世界と相互に作用することができる。
【0025】
さらに、処理部105は、現実世界の3D座標系におけるユーザの位置の変化が仮想世界の3D座標系におけるユーザの位置の変化をもたらすように、仮想世界を生成するように構成されることができる。言い換えると、現実世界におけるユーザの位置113が変化する(例えば、位置特定器103によって特定される)と、処理部105は、仮想世界におけるユーザの位置の変化を模擬することができる。
【0026】
いくつかの実施形態によると、仮想世界におけるユーザの位置の変化は、現実世界におけるユーザの位置113の変化に対して一致してもよく、または少なくとも比例してもよい。
【0027】
言い換えると、処理部105は、視線方向センサ101からのセンサデータを位置特定器103からの位置データと組み合わせて、可搬装置100(これはハンドヘルド装置であり得る)の、それゆえユーザの、位置113およびその地点での視線方向111を正確に導出するように構成されている。
【0028】
本発明のいくつかの実施形態によると、位置特定器103は、特にGPSシステムと比べた場合に、ユーザの位置113の検出を高精度で可能とするリアルタイム位置確認システム(RTLS)センサであってもよい。さらに、そのようなRTLSシステムの使用によって、GPSがカバーしていない領域での(例えば、宅内またはGPS衛星への交信がない他の領域での)可搬装置100の使用が可能となる。
【0029】
いくつかの実施形態によると、位置特定システム(例えば、特定された位置113に対する)に対する測定誤差は、数センチメートル許容できる。
【0030】
例えば、図4による仮想現実システムとの関連で記載されているようないくつかの実施形態によると、移動領域(これは、そのような仮想現実システムが送信機で位置特定を行うことができる領域である)は、可搬装置100の実際の位置113が仮想環境または仮想世界において重ねられ得るように探査できる。可搬装置100(または視線方向センサ101および位置特定器103のようなモーションセンサのみ)を頭部に直接装着することによって、その人は、仮想現実または仮想世界において、現実世界にいるかのように手を回し、あたりを見回すことができる。前述したように、位置特定器103は、リアルタイム位置特定システムに基づくものでもよい。一例として、位置特定器103は、可搬装置100についての移動領域を探査し、可搬装置100の位置113を位置特定器103に送信する外部(例えば、地上)通信装置と通信するように、構成されていてもよい。可搬装置100の位置113を特定するために、可搬装置100は、その位置113が外部通信装置によって特定される電子(位置特定可能)タグ115(またはトランスポンダ)を備えてもよい。位置特定可能な電子タグ115(理想的には同様に頭部に取り付けられる)によって、その人またはユーザが移動することができ、可搬装置100は、仮想世界または環境における正しい位置から、画像を表示装置107上に描写(レンダリング)することができる。
【0031】
まとめると、可搬装置100は、外部通信装置によって位置特定される電子タグ115を備えることができ、位置特定器103は、外部通信装置から受信される通信信号に基づいて、現実世界におけるユーザの位置113を特定するように構成されている。一例として、外部通信装置は、到来時間差(TDoA)、到来時間(ToA)、到来方向(DoA)またはRRS(RRS:Received Signal Strength)の測定を行うことができ、これらの測定値の1つ以上に基づいて、可搬装置100の位置113を特定することができ、位置113を、通信信号として位置特定器103に送信することができる。
【0032】
したがって、本発明のいくつかの実施形態では、位置特定器103は、WLANインターフェイス(WLAN:Wireless Local Area Network)などの通信インターフェイスまたは装置として実装されることができる。
【0033】
さらなる実施形態によると、位置特定器は、例えば、LTE(Long Term Evolution)、UMTS(Unified Mobile Telecommunication Standard)、またはGSM(Global System for Mobile Communication)インターフェイスのような移動体通信インターフェイスであってもよい。
【0034】
本発明のいくつかの実施形態によると、電子タグ115の機能は、位置特定器103の機能から独立していてもよい。一例として、電子タグ115は、受動RFIDタグのような、独自の電圧源を有さないいわゆる受動タグであってもよい。言い換えると、電子タグ115は、可搬装置100の他の部材から電子的に分離されていてもよく、さらには、可搬装置100の他の部材とは異なる筐体に配置されていてもよい。
【0035】
さらなる実施形態によると、電子タグ115は、独自の電圧源を有する、または可搬装置100の残りの部材と電圧源を共有する能動タグであってもよい。この場合であっても、電子タグ115の機能は、位置特定器103の機能とは独立していてもよい。例えば、電子タグ115および位置特定器103は、ともに外部通信装置と通信できるのみであるため、それらは互いに通信できなくてもよい。本発明の非常に簡素な実施形態では、電子タグ115は、有効な起動信号を外部通信装置から受信してシリアル番号を送る、いわゆる読み取り専用トランスポンダであってもよい。外部通信装置は、シリアル番号を受信することができ、前述したような位置特定測定を行って電子タグ115の、それゆえユーザの位置113を特定することができ、この位置113を、可搬装置100の位置特定器103に送信することができる。
【0036】
一例として、電子タグ115以外の可搬装置100の全部材(視線方向センサ101、位置特定器103、表示装置107および処理部105など)は、携帯電話(例えば、いわゆるスマートフォン)の一部となり得る一方で、電子タグ115は、携帯電話に(外部に)取り付けられる。言い換えると、電子タグ115(または「位置送信機」)は、可搬装置100の残りから分離されている。これは、より簡素でより安価な実装の利点である。そのような携帯電話において、位置特定器103は、位置情報および他のデータを受信するために、携帯電話のWLANインターフェイスまたはUMTSインターフェイスを用いて実装されていてもよい。ユーザの位置113を特定するためにWLANおよびRTLSシステムを用いる場合、2.4GHz標準はRTLSシステムと衝突するので、実施形態によっては、5GHzのWLANに制限される。さらに、位置情報を受信するためにUMTSを使用すると、200msまでの大きな遅延がもたらされることがある。
【0037】
さらなる実施形態によると、表示装置107は、例えばケーブルを用いて処理部105に接続される外部表示装置であってもよい。言い換えると、表示装置107は、必ずしも携帯電話の通常の表示装置である必要はなく、例えば、眼鏡を構成する外部表示装置であってもよい。
【0038】
さらに、表示装置107は、可搬装置100が2つの画像を描写しそれらを眼鏡に表示することができるように、処理部105に接続可能である3D仮想現実用眼鏡を構成してもよい。
【0039】
さらなる実施形態によると、可搬装置100は、スピーカ117またはスピーカ用のコネクタ117を備えてもよい。処理部105は、例えば、現実世界または仮想世界におけるユーザの視線方向および/または位置に応じて、オーディオ信号119をスピーカ117またはスピーカ用のコネクタ117に供給するように構成されていてもよい。表示装置107との関連で、現実世界におけるユーザの視線方向111および位置113に応じて、視覚覚効果が非常に現実的に行われる。一例として、ヘッドフォンが可搬装置100におけるコネクタ117に接続されてもよい。したがって、可搬装置100またはハンドヘルドは音声効果を生成し、それを現実にいるかのように耳に送信することができる。例えば、滝の音が、(仮想の)滝に向けられた耳が他方の耳よりも大きい振幅の音を受信するように調整されて、ハンドヘルド上に生成される(またはメモリから再生されることができる)。
【0040】
まとめると、処理部105は、現実世界におけるユーザの視線方向111および/または位置113に基づいて、スピーカ117またはコネクタ117に接続されたスピーカで、音を生成するように構成されることができる。
【0041】
さらなる実施形態によると、可搬装置100は、現実世界における環境条件123を特定するように構成された環境条件センサ121を備えてもよい。処理部105は、現実世界における環境条件123の変化が、生成された仮想世界における変化をもたらすように、環境条件123に基づいて仮想世界を生成するようにさらに構成されることができる。一例として、環境条件センサ121は、光および/または温度センサであってもよい。可搬装置100のそのような光および/または温度センサを用いることによって、仮想現実または仮想世界が、まず、現在の日時および太陽の照射を有する現実を描写するように図られる。したがって、例えば、現実世界における現在の温度が非常に暑い場合、仮想現実を、この条件に従って描写することができる。
【0042】
さらなる実施形態によると、特定された環境条件123として、湿度、気圧、温度、光の条件(明るさまたは暗さなど)、加速度、磁界(磁界の強さ)、相対配向(例えば、ジャイロスコープによって特定される)、風力、臭気、音または360°の距離測定を用いることができる。
【0043】
言い換えると、環境条件センサ121として、湿度センサ、気圧センサ、温度センサ、光センサ、加速度センサ、磁界センサ、相対配向センサ(例えば、ジャイロスコープ)、風力センサ、臭気センサ、音センサ(1つ以上のマイクロフォンなど)または360°距離センサを用いることができる。
【0044】
いくつかの実施形態によると、特定された環境条件123は、現実世界における温度または湿度のように、現実世界におけるユーザに視認可能でなくてもよい。処理部105は、生成される仮想世界において、特定された環境条件123をグラフィックで可視化するように構成されていてもよい。一例として、現実世界における温度が非常に高く、湿度が非常に低い場合、処理部105は、ユーザが仮想的に移動する砂漠を模擬することによって、この環境条件123をグラフィックで可視化することができる。他の例として、高温および高湿度の場合には、処理部105は、ユーザが仮想的に移動する熱帯雨林を模擬することによって、この特定された環境条件123をグラフィックで可視化することができる。
【0045】
さらなる実施形態によると、処理部105は、現実世界における物体が位置する現実世界の3D座標系における位置に対応する仮想世界の3D座標系における位置に、仮想世界における仮想の物体を生成するように構成されることができる。この機能を、可搬装置100の簡略なアプリケーション例を用いて、以下に説明する。
【0046】
可搬装置100は、例えば、ゲームアプリケーションにおいて使用されるが、安全が重要なアプリケーションにおいても使用される。
【0047】
一例として、火災緊急時の場合において、消防士は、燃えている建物内で進むために、可搬装置100を装備することができる。可搬装置100(例えば、処理部105)は、消防士がその表示装置107を介して仮想世界を見ながら建物内で現実世界において移動することができるように、燃えている建物の完全な仮想複製を作成するように構成される。これの利点は、たとえ建物内での火災のため可視性が異常に悪い場合であっても、消防士は、可搬装置100の支援を受けて、建物内で依然として進むことができる。現実世界における物体、例えば、ドアまたは階段が、仮想世界において処理部105によって模擬される。言い換えると、処理部105は、仮想の建物の3D座標系において、仮想世界における仮想の物体、例えば、仮想の階段または仮想のドアを、現実世界(現実の建物)の3D座標系におけるもの(それらの現実の位置)に対応する仮想世界の3D座標系における位置に生成する。
【0048】
言い換えると、処理部105は、物体のデータベースに基づいて、ユーザが行動する現実世界の仮想的な複製として仮想世界を生成するように構成されることができる。
【0049】
一例として、現実の物体および現実世界の3D座標系におけるそれらの位置は、可搬装置100または上記の外部通信装置、例えば、中央サーバに配置できる物体データベースに記憶されていてもよい。処理部105は、物体データベースに基づいて仮想の物体を生成するように構成されることができる。さらに、前述したように処理部105は、特定された環境条件123を、生成された仮想世界において可視化するように構成されることができる。この例では、処理部105は、消防士が、暑い領域、例えば閉じたドアの裏を、この閉じたドアの裏に高温源が位置することを知るように、例えば赤いドアを模擬するなどして、異なる色で模擬することができる。
【0050】
このアプリケーションでは、典型的には、現実世界における現実の物体は、処理部105によって仮想世界における仮想の物体に置き換えられ、それは、現実世界における現実の物体と同様または同一である。
【0051】
さらなる実施形態によると、例えば、ゲームのアプリケーションでは、処理部105は、現実世界における現実の物体に置き換わる仮想世界における仮想の物体が、現実世界における現実の物体のように同様のユーザの挙動をもたらすように、現実世界における現実の物体を仮想世界における仮想の物体に置き換えるように構成されることができる。そのような例を図2に示す。
【0052】
図2に示す例は、ゲームのアプリケーションである。この例では、ユーザは、現実世界の3D座標系において移動している。現実世界の3D座標系は、x成分、y成分およびz成分を有する三次元ベクトルによって記述され、これらは全て互いに直交する。したがって、現実世界におけるユーザの位置および視線方向は、三次元xyzベクトルによって記述される。仮想世界の3D座標系は、x’成分、y’成分およびz’成分を有する三次元ベクトルによって記述され、これらは全て互いに直交する。したがって、仮想世界におけるユーザの位置および視線方向は、三次元x’y’z’ベクトルによって記述される。
【0053】
上述したように、仮想世界におけるユーザの視線方向および/または位置の変化は、現実世界におけるユーザの視線方向および/または位置の変化に一致させられる。
【0054】
図2に示す例では、木々が示されており、それは現実の物体201を表す。これらの現実の物体201は、可搬装置100の処理部105によって、現実の物体201のように同様のユーザの挙動をもたらす1つ以上の仮想の物体203に置き換えられる。図2に示す例では、処理部105は、現実の木々201を仮想の壁203に置き換える。この仮想の壁203は、現実の木々201のように同様のユーザの挙動をもたらし、例えば、ユーザは木に衝突することを避けるであろうし、壁に衝突することも避けるであろう。現実の物体201は(図2の例では、木々201)は、処理部105が物体データベースに基づいて仮想の物体(例えば、壁203)を生成することができるように、現実世界における場所と一緒に物体データベースに記憶される。さらに、処理部105は、ユーザが行動する現実世界は同じ状態のままであるものの、処理部105が仮想世界を生成する方法が、ユーザがプレイする別々のゲームに対して異なるように、またはユーザがプレイするゲームの別々のゲーム状況に対して異なるように、ユーザがプレイするゲームに従って仮想世界を生成するように構成されてもよい。一例として、他のゲーム状況または他のゲームにおいて、現実の木々201は、他の仮想の物体、例えば、現実の木々201のように同様のユーザの挙動をもたらす淵、フェンスまたは急な岩に置き換えられる。
【0055】
したがって、処理部105は、現実世界は同じ状態のままであるが、ゲームまたはゲーム状況に応じて、仮想世界の生成を適合させることができる。したがって、ユーザは、2つの異なるゲームまたは2つの異なるゲーム状況中に、現実世界の同じ領域において移動および行動することができるが、処理部105が完全に異なる仮想世界を生成することに起因して、完全に異なる仮想体験を有することができる。
【0056】
さらなる実施形態によると、処理部105は、現実世界におけるユーザの特定された位置113および/または視線方向111の精度の変化に応えて、仮想の物体の詳細さのレベルまたはサイズを変化させるように構成されることができる。一例として、処理部105は、ユーザの位置113を特定するために現在使用されている位置特定アルゴリズムに応じて、仮想の物体の詳細さのレベルまたはサイズを選択することができる。一例として、リアルタイム位置情報シテスムRTLSは、典型的には全地球測位網GPSよりもはるかに高精度であるので、ユーザの位置113がGPS位置確認システムまたはアルゴリズムに基づいて特定される場合、仮想の物体の詳細さのレベルは、ユーザの位置113を特定するためにRTLSシステムまたはアルゴリズムが使用される場合よりも低く選択される。一例として、提示された消防士の例では、1m未満の精度で充分であるが、デジタル双方向ゲームでは、10cm未満のより高い精度が必要である。まとめると、仮想現実または仮想世界は、位置特定アルゴリズムまたはシステムの精度に依存する(すなわち、位置特定システムの精度が低いほど、仮想世界における要素の精度は低くなる)。
【0057】
一例として、処理部105は、現実世界におけるユーザの特定された位置113の精度が減少すると、仮想の物体203のサイズを増加させ、または仮想の物体203の詳細さのレベルを減少させるように構成される。さらなる例として、処理部105は、現実世界におけるユーザの特定された位置113の精度が増加すると、仮想の物体203のサイズを減少させ、または仮想の物体203の詳細さのレベルを増加させるように構成される。したがって、一方では可能な限り現実的に仮想世界が生成され、他方ではその位置の不正確な特定のためユーザが偶発的に物体に衝突することがないことが保証される、ということを達成できる。
【0058】
本発明の実施形態のさらなる観点は、リアルタイムの観点である。すなわち、人間を苛立たせないように、視線方向の変化が充分に速く特定されなければならない。これは、一方ではハードウェアまたはセンサが充分に正確で且つ速くなければならず、他方では仮想世界の描写が充分に速く起こらなければならないことを意味する。いくつかの実施形態によると、40msの最大遅延(これは1秒あたり25画像における1画像分の遅延に相当する)が許容される。他の実施形態では、許容遅延は20msである。位置データの遅延は、視線方向データの遅延ほどは仮想的印象に影響を与えないので、測位データはより遅延されてもよい。
【0059】
さらに、前述したように、可搬装置100は、例えば、GPS信号に基づいて、あるいは、可搬装置100の位置を例えば電子タグ115に基づいて特定する外部の(例えば地上の)通信装置の補助により、自身で現実世界におけるその位置、それゆえユーザの位置113、を特定するように構成される。外部の通信装置の補助により位置を特定する場合、可搬装置100は、基盤設備によって(例えば外部通信装置のアンテナによって)位置特定され、特定された位置113は、無線通信によって可搬装置100に送信される。
【0060】
さらなる実施形態によると、現実性を向上するために、仮想世界の事象を現実世界に帰還させるフォースフィードバック装置を使用して、物理現象情報を伝達することができる。そのような物理現象には、例えば人工知能によって制御された雨、地震、またはコンピュータプレイヤとの物理的な相互作用がある。
【0061】
言い換えると、処理部105はさらに、適切なフォースフィードバック装置(例えば、ユーザに取り付けられる)に供給されるフォースフィードバックデータを生成するように構成されることができる。
【0062】
本発明のいくつかの実施形態によると、視線方向センサ101は、ジャイロスコープセンサ部、加速度計センサ部および/または磁力計センサ部などの種々のセンサ部を備えることができる。視線方向センサ101は、これらの種々のセンサ部からのセンサデータに基づいて、現実世界におけるユーザの視線方向111を特定することができる。
【0063】
図3は、可搬装置100の処理部105によって受信および生成される種々のデータ信号および通信信号を模式的に示す。図3からわかるように、可搬装置100は、例えば可搬装置100が仮想環境上の詳細を無線通信により受信する外部通信ユニットで、サーバ301と通信するように構成されることができる。
【0064】
さらに、モバイル装置100は、現実世界において行動する異なるプレイヤまたはユーザの同期の情報を受信することができる。したがって、可搬装置100は、仮想世界における仮想の物体を生成するだけでなく、現実世界において可搬装置100のユーザと一緒に行動する他のユーザを表示するようにも構成される。したがって、可搬装置100は、局所化可能な領域にいる他の人々との交流を、単に各ユーザが可搬装置100を有することによって可能にする。
【0065】
さらに、図3から、可搬装置100は、その位置データ113を、RTLS位置特定装置303から受信できることがわかる。RTLS位置特定装置303は、例えば外部通信装置に一体化される。図3に示す例において、位置特定器103は、それを通して可搬装置100が位置データをRTLS位置特定装置303から受信する通信インターフェイスであってもよい。
【0066】
図4は、本発明のさらなる実施形態に係る仮想現実システム400のブロック図を示す。仮想現実システム400は、本発明の実施形態による可搬装置を備える。図4に示す例では、仮想現実システム400は、図1に示す可搬装置100を備える。さらに、仮想現実システム400は、可搬装置100の外部に配置された地上通信装置401を備える。例えば、地上通信装置401が第1の筐体に配置されていてもよく、可搬装置100が、第1の筐体とは異なる第2の筐体に配置されていてもよい。可搬装置100は、典型的にはユーザによって携帯されるが、地上通信装置401は、典型的にはそこから移動されない(地上通信装置の使用時に)所定の位置に配置される。可搬装置100の位置特定器103は、地上通信装置401から受信される無線通信信号403に基づいて、現実世界におけるユーザの位置113を特定するように構成されている。
【0067】
地上という用語は、可搬装置100のユーザの位置113を特定するのに、GPS衛星のような衛星が関与しないことを意味する。一例として、地上通信装置401は、RTLSアルゴリズムによって可搬装置100の位置を特定するように構成される。
【0068】
さらに、地上通信装置401は、専用の移動領域を探査して複数のユーザが持つ複数の可搬装置100の位置を特定し、複数の可搬装置100の位置を複数の可搬装置100に送信するように構成される。したがって、いくつかの実施形態では、仮想現実システム400は、複数の可搬装置100を備えることができる。
【0069】
まとめると、本発明の実施形態は、ユーザが無線装置または可搬装置100を持ち、(現実世界で)位置特定可能な領域にいる他の人々と相互に作用する仮想現実手法を提供する。他の仮想現実のアプリケーションの多くは、このような相互作用的、現実的かつ簡便なフレームワークを提供しない。さらに、このような良好な正確さで人々の位置を特定することは、多くの人々には利用可能ではなかったので、他の手法は、このような特徴について配慮さえもしなかった。
【0070】
可能な使用形態は、広範囲にわたる。例えば、現実的なゲームアプリケーションを提供することができる。そのようなゲームは、どのようなファーストパーソン・ゲームでもよい。また、スーパーマーケットおよび店舗がそれらの仮想環境を提供することができ、人々は、あたかも実際にそのマーケットにいるかのように歩くことができるようになる。他のアプリケーションは、コンサートまたはテレビ番組の(生)放送であり、ユーザは、テレビの前に座っていなくても、あたかもその場所にいるかのように実際に感じることができるようになる。多種多様な他のアプリケーションが可能である。要するに、人が、その人自身として、他の人々およびアイテムと相互に作用することができるような、いかなるアプリケーションも可能である。
【0071】
したがって、本発明の実施形態は、リアルタイム位置特定システム(RTLS)およびモーションセンサと協働して、センサ融合およびハンドヘルド装置上でのリアルタイム描写によって双方向リアルゲームをプレイするためのシステムを提供する。そのようなシステムは、完全に仮想的な環境にいるという感覚をユーザに伝えることができる。リアルタイム位置特定システム、複数のセンサデータおよびレンダリングハードウェアを用いることによって、温度、天気および時間に依存しない仮想現実をユーザに対してシミュレートすることが可能であり、その中でユーザは、自由に移動でき、相互に作用できる。さらに、実施形態によっては、システムの1つの事象での2人以上のユーザの実装を可能とする。
【0072】
本発明の実施形態は、ユーザが、キーボード上のキーを押すことなく、またはコンピュータのマウスで指すことなく、仮想世界または仮想環境の中を自身の足で歩くことを可能とする。
【0073】
図5は、本発明の実施形態に係る方法500のフローチャートを示す。
【0074】
方法500は、現実世界におけるユーザの視線方向を特定するステップ501を含む。
【0075】
さらに、方法500は、現実世界におけるユーザの位置を特定するステップ503を含む。
【0076】
さらに、方法500は、現実世界におけるユーザの視線方向およびユーザの位置に基づいて、現実世界の3D座標系における視線方向の変化を仮想世界の3D座標系における視線方向の変化をもたらす仮想世界を生成するステップ505を含む。
【0077】
さらに、方法500は、生成された仮想世界を、現実世界の視界を遮りつつユーザに対して表示するステップ507を含む。
【0078】
方法500は、本発明の実施形態に係る可搬装置によって、例えば、図1に示す可搬装置100によって、実行される。
【0079】
方法500は、装置に関して本明細書に説明した特徴および機能のいずれかによって補完されてもよく、その装置のハードウェア構成部品を用いて実装できる。
【0080】
いくつかの観点を装置との関連で説明したが、これらの観点は、対応する方法の説明も表し、ここで、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップとの関連で説明した態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路のようなハードウェア装置によって(またはそれを用いて)実行されることができる。いくつかの実施形態において、最も重要な方法ステップのいずれか1つ以上が、そのような装置によって実行されてもよい。
【0081】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装されることができる。その実装は、それぞれの方法が行われるようにプログラマブルコンピュータシステムと協働する(または協働することができる)電子的に可読な制御信号が記憶されたデジタル記憶媒体、例えば、フレキシブルディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM(登録商標)またはフラッシュメモリを用いて行われることができる。したがって、デジタル記憶媒体は、コンピュータ読み取り可能である。
【0082】
本発明に係るいくつかの実施形態は、本明細書に記載された方法の1つが行われるようにプログラマブルコンピュータシステムと協働することができる電子的に可読な制御信号を有するデータキャリアを備える。
【0083】
一般に、本発明の実施形態は、プログラムコードでコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータで稼働するときに方法の1つを行うために動作する。プログラムコードは、例えば、機械読み取り可能なキャリアに記憶されることができる。
【0084】
他の実施形態は、本明細書に記載された方法の1つを行うための、機械読み取り可能キャリアに記憶されたコンピュータプログラムである。
【0085】
言い換えると、本発明の方法の実施形態は、それゆえ、コンピュータプログラムがコンピュータで稼働するときに、本明細書に記載された方法の1つを行うためのプログラムコードを有するコンピュータプログラムである。
【0086】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の1つを行うためのコンピュータプログラムが記録された状態で備えるデータキャリア(またはデジタル記憶媒体またはコンピュータ読み取り可能な媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および/または非一時的である。
【0087】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の1つを行うためのコンピュータプログラムを表すデータストリームまたは信号列である。データストリームまたは信号列は、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成されることができる。
【0088】
さらなる実施形態は、本明細書に記載された方法の1つを行うように構成または適合された処理手段、例えば、コンピュータまたはプログラマブルロジック装置を備える。
【0089】
さらなる実施形態は、本明細書に記載された方法の1つを行うためのコンピュータプログラムがインストールされたコンピュータを備える。
【0090】
本発明によるさらなる実施形態は、本明細書に記載された方法の1つを行うためのコンピュータプログラムを受信機に転送する(例えば、電子的にまたは光学的に)ように構成された装置またはシステムを備える。受信機は、例えば、コンピュータ、モバイル装置、またはメモリ装置などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
【0091】
いくつかの実施形態では、本明細書に記載された方法の機能の一部または全部を行うのにプログラマブルロジック装置(例えば、フィールドプログラマブルゲートアレイ)が使用される。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法の1つを行うために、マイクロプロセッサと協働することができる。一般に、方法は任意のハードウェア装置によって行われることが好ましい。
【0092】
上述した実施形態は、本発明の原理の単なる説明にすぎない。本明細書に記載された構成および詳細の変更例および変形例は、当業者には明らかとなることが理解される。したがって、本発明は、本明細書の実施形態の詳述および説明としてここに提示された具体的詳細によってではなく、以下の特許請求の範囲によってのみ限定されるものである。

図1
図2
図3
図4
図5