特表2018-500674(P2018-500674A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソニー・インタラクティブエンタテインメントの特許一覧
特表2018-500674ユーザーの指の位置を決定するための信号生成システム及び検出器システムならびに方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2018-500674(P2018-500674A)
(43)【公表日】2018年1月11日
(54)【発明の名称】ユーザーの指の位置を決定するための信号生成システム及び検出器システムならびに方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20171208BHJP
   G06F 3/0484 20130101ALI20171208BHJP
   A63F 13/25 20140101ALI20171208BHJP
   A63F 13/52 20140101ALI20171208BHJP
   A63F 13/212 20140101ALI20171208BHJP
   A63F 13/42 20140101ALI20171208BHJP
   A63F 13/55 20140101ALI20171208BHJP
   A63F 13/812 20140101ALI20171208BHJP
   A63F 13/285 20140101ALI20171208BHJP
【FI】
   G06F3/01 514
   G06F3/0484
   A63F13/25
   A63F13/52
   A63F13/212
   A63F13/42
   A63F13/55
   A63F13/812 D
   A63F13/285
【審査請求】有
【予備審査請求】未請求
【全頁数】82
(21)【出願番号】特願2017-531573(P2017-531573)
(86)(22)【出願日】2015年12月17日
(85)【翻訳文提出日】2017年6月12日
(86)【国際出願番号】US2015066369
(87)【国際公開番号】WO2016109232
(87)【国際公開日】20160707
(31)【優先権主張番号】14/587,761
(32)【優先日】2014年12月31日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
【住所又は居所】東京都港区港南1丁目7番1号
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】マリンソン、ドミニク
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA04
5E555BA20
5E555BB20
5E555BC08
5E555BE16
5E555BE17
5E555CA23
5E555CA42
5E555CB10
5E555CB47
5E555DA08
5E555DB32
5E555DB53
5E555DB57
5E555DC13
5E555DC85
5E555FA00
(57)【要約】
【解決手段】ユーザーの指の位置を決定するための方法が説明される。方法は、複数の発光体に電力を提供するためにヘッドマウントディスプレイ(HMD)から電力信号を送信することを含む。発光体は電力信号を受信すると、シーケンスで光を発する。方法は、発光体の複数の位置を決定するために発光体によって発せられる光を使用することを含む。位置はHMDを使用し、ゲームをプレイするために使用される。
【選択図】図1
【特許請求の範囲】
【請求項1】
ゲームコンソールとインタフェースされるヘッドマウントディスプレイ(HMD)を介して仮想環境とインタフェースするための手及び指の位置を追跡する方法であって、
HMDから、前記HMDを着用するユーザーの手の複数の指と関連付けられる複数のウェアラブルデバイスに電力信号を送信することと、
前記複数のウェアラブルデバイスに識別子(ID)を順次送信することであって、各IDが前記複数のウェアラブルデバイスの1つを識別し、前記複数のウェアラブルデバイスのそれぞれが対応する光源を活性化させ、これにより前記複数のウェアラブルデバイスのそれぞれがタイムスロットの間アクティブとなり、各ウェアラブルデバイスが前記HMDによって前記順次送信されるIDに基づいてそれぞれのタイムスロットでアクティブであることを繰り返す、前記識別子(ID)を前記順次送信することと、
送信されたIDごとに、
(i)前記HMDに取り付けられた少なくとも2つの光学センサの空間位置を決定することと、
(ii)前記検出された空間位置について前記HMDに置かれた前記少なくとも2つのセンサを使用し、前記複数のウェアラブルデバイスの1つから発せられた光を検出することであって、発せられた光の前記検出することが前記順次送信されるIDと同期する、前記検出することと、
(iii)前記指の1つの現在位置と関連付けられる前記複数のウェアラブルデバイスの1つの現在位置を決定するために、前記HMDから前記ゲームコンソールに、前記検出された発せられた光及び前記決定された空間位置のデータを送信することと、
(iv)前記ウェアラブルデバイスの移動する位置を経時的に識別するために、前記順次送信されるIDのそれぞれに対して、操作(i)から(iii)を繰り返すことと、
を含む、前記方法。
【請求項2】
前記仮想環境で前記ユーザーの前記手のグラフィック表現を表示することと、
前記ウェアラブルデバイスの前記識別された移動と実質的に同期して前記ユーザーの手の前記グラフィック表現の指の移動を示すことと、
をさらに含む、請求項1に記載の方法。
【請求項3】
前記識別子を順次送信することが、前記ウェアラブルデバイスの第2のウェアラブルデバイスの前記識別子の第2の識別子を送信することが後に続く、前記ウェアラブルデバイスの第1のウェアラブルデバイスの前記識別子の第1の識別子を送信することを含む、請求項1に記載の方法。
【請求項4】
発せられる光を検出することが、前記順次送信されるIDに同期され、前記ウェアラブルデバイスによってシーケンスで発せられる光を検出することを含む、請求項1に記載の方法。
【請求項5】
ループでIDの前記順次送信すること、及び前記ループで発せられる光の前記検出することを繰り返すこと、をさらに含む、請求項1に記載の方法。
【請求項6】
前記ウェアラブルデバイスが1つの手袋の中にまたは複数の手袋の中に実装される、請求項1に記載の方法。
【請求項7】
複数の発光体を有する複数のウェアラブルデバイスに電力を提供するためにヘッドマウントディスプレイ(HMD)から電力信号を送信することであって、前記発光体が、前記電力信号の中で受け取られる電力に基づいて順序付けされたシーケンスで光を発し、前記順序付けされたシーケンスが、前記発光体が前記発光の複数のシーケンスを繰り返し、各発光体が前記光の一部分の発光の周波数を有するシーケンスである、前記電力信号を前記送信することと、
前記発光体によって発せられる前記光を検出して電気信号を生成することと、
前記ウェアラブルデバイスの複数の位置を決定するために、分析用にゲームコンソールに前記電気信号に関するデータを提供することであって、前記ウェアラブルデバイスの前記位置が、前記HMDの中に表示される対話環境の中でユーザーの手の指の表現の1つまたは複数の位置を決定するために使用される、前記データを前記提供することと、
を含む、方法。
【請求項8】
前記対話環境で前記ユーザーの前記手のグラフィック表現を表示することと、
前記ウェアラブルデバイスの識別された移動と実質的に同期して前記ユーザーの手の前記グラフィック表現の中の指の移動を示すことと、をさらに含み、
前記識別された移動が前記ウェアラブルデバイスの前記1つまたは複数の位置を含む、請求項7に記載の方法。
【請求項9】
各発光体が、前記電気信号を受信すると、一度に前記光の一部分の発光を開始し、前記光の部分の発光をある周波数で繰り返すようにプログラムされる、請求項7に記載の方法。
【請求項10】
前記HMDから前記ウェアラブルデバイスに同期信号を送信することをさらに含み、
前記同期信号が、前記ウェアラブルデバイスのそれぞれの識別を含み、
前記識別が、前記電力信号を受信した後に各発光体が前記光の一部分を発する時間、または各発光体が前記光の部分を発する時間及び周波数を決定するために使用される、請求項7に記載の方法。
【請求項11】
前記発光体のそれぞれが、前記発光体の残りが前記光の残りの部分を発しない時間に前記光の一部分を発するように構成される、請求項7に記載の方法。
【請求項12】
前記ウェアラブルデバイスの複数の位置を決定するための前記分析が、
前記電気信号に関する前記データに基づいて、光学センサの結像面の第1の位置を決定することであって、前記光学センサが前記HMDに取り付けられる、前記第1の位置を前記決定することと、
前記電気信号に関する前記データに基づいて、別の光学センサの結像面の第2の位置を決定することであって、前記他の光学センサが前記HMDに取り付けられる、前記第2の位置を前記決定することと、
前記第1の位置及び前記第2の位置に基づいて前記ウェアラブルデバイスの1つの前記位置の1つを計算することと、
を含む、請求項7に記載の方法。
【請求項13】
前記ゲームの前記プレイ中に前記ウェアラブルデバイスの前記1つの前記位置の前記1つを表す画像をレンダリングすることをさらに含む、請求項12に記載の方法。
【請求項14】
前記手が前記ユーザーの第1の手であり、前記方法が、
前記発光体の第2のセットから前記発光体の第1のセットの位置に基づいて前記発光体からの発光の速度を変更することであって、前記発光体の前記第1のセットが前記ユーザーの前記第1の手に着用するためであり、前記発光体の前記第2のセットが前記ユーザーの第2の手に着用するためである、前記速度を前記変更することをさらに含む、請求項7に記載の方法。
【請求項15】
前記発光体が、前記電気信号のサンプルが前記HMDの光学センサによって生成される速度に同期して前記光を発する、請求項7に記載の方法。
【請求項16】
前記ゲームコンソールが前記位置をゲームコマンドと関連付け、前記ゲームコマンドを実行し、前記ゲームコマンドがゲーム環境データを生成するために実行され、
前記ゲームコンソールから前記ゲーム環境データを受信することと、
前記HMDの表示画面上に前記対話環境を表示するために前記ゲーム環境データをレンダリングすることと、
請求項7に記載の方法。
【請求項17】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)であって、前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含む、前記HMDと、
前記HMDに結合されるゲームコンソールであって、前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含む、前記ゲームコンソールと、
を備え、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含む、
前記システム。
【請求項18】
前記信号検出器が、前記電気信号を生成するために前記光を検出するための1つまたは複数の光学センサを含み、
前記位置決定モジュールが、前記電気信号に基づいて、前記光学センサデバイスの1つでの前記ウェアラブルデバイスの前記1つから発せられる前記光の一部分の入射の点の場所を決定するために前記信号検出器に結合され、
前記位置決定モジュールが、前記場所、及び前記光学センサデバイスの別の1つでの前記ウェアラブルデバイスの前記1つから発せられる前記光の一部分の入射の点の別の場所に基づいて、前記ウェアラバウルデバイスの前記1つの前記位置の1つを決定する、ように構成される、
請求項17に記載のシステム。
【請求項19】
前記位置決定モジュールが、画像取込装置から前記1つまたは複数の位置を受け取るように構成される、請求項17に記載のシステム。
【請求項20】
前記位置決定モジュールが、前記ウェアラブルデバイスの前記1つの移動の速度、または前記ウェアラブルデバイスが着用される前記身体部分の1つの移動の軌跡、または前記ウェアラブルデバイスの残りのウェアラブルデバイスの位置、またはその組合せに基づいて、前記ウェアラブルデバイスの前記1つの前記位置の1つを決定するように構成される、請求項17に記載のシステム。
【請求項21】
前記発光体デバイスのそれぞれが、前記ユーザーに触覚フィードバックを提供するための触覚フィードバックシステムを含む、請求項17のシステム。
【請求項22】
前記HMDが、
前記表示画面が埋め込まれるフレームと、
1つまたは複数の追加の信号検出器と、をさらに含み、
前記信号検出器及び前記1つまたは複数の追加の検出器が、前記フレームの端縁に位置する、請求項17に記載のシステム。
【請求項23】
前記システムが、
複数の光源を備え、
前記光源が、前記ユーザーの胴に取り付けられる複数のセンサデバイスによって検出される光を生成して、前記センサデバイスの基準枠と前記HMDの基準枠との間の相対位置をさらに提供し、前記HMDの前記基準枠が前記1つまたは複数の発光体デバイスから発せられる前記光の遮断の前に決定され、前記センサデバイスが前記1つまたは複数の発光体から発せられる前記光を検出して、電気信号を生成するためであり、
前記位置決定モジュールが、前記センサデバイスによって生成される前記電気信号、及び前記センサデバイスの前記基準枠と前記HMDの前記基準枠との間の相対位置から前記1つまたは複数のウェアラブルデバイスの前記1つまたは複数の位置を決定するように構成される、
請求項17に記載のシステム。
【請求項24】
同期信号を生成するための同期装置と、
前記1つまたは複数の発光体デバイスに前記同期信号を送信するために前記同期装置に結合される送信機と、
をさらに備え、
前記1つまたは複数の発光体デバイスが、前記同期信号に基づいて、前記シーケンスで光を発する、
請求項17に記載のシステム。
【請求項25】
発光体システムであって、
ゲームプレイ中にユーザーのそれぞれの1つまたは複数の身体の部分に着用されるための1つまたは複数のウェアラブルデバイスを備え、
各ウェアラブルデバイスが、
ヘッドマウントディスプレイ(HMD)から電力信号及び同期信号を受信して、復調信号を生成するための受信機であって、前記同期信号が前記ウェアラブルデバイスの識別子を含む、前記受信機と、
前記復調信号から生成される電荷を蓄積するために前記受信機に接続される蓄積装置と、
前記電荷に基づいて生成される電力信号を受信すると、光を生成するために前記蓄積装置に結合される光源であって、前記光源が前記同期信号の前記識別子に基づいて前記光を発するように制御される、前記光源と、
を含む、前記発光体システム。
【請求項26】
前記光源が発光ダイオードを含む、請求項25に記載の発光体システム。
【請求項27】
各ウェアラブルデバイスが複数の光源を含み、前記複数の光源が前記ウェアラブルデバイスの外周部で互いから等距離に位置する、請求項25に記載の発光体システム。
【請求項28】
各ウェアラブルデバイスが指輪形状、または多角形形状、または楕円形状である、請求項25に記載の発光体システム。
【請求項29】
前記1つまたは複数のウェアラブルデバイスが、ユーザーの指の遠位部または中間部分または近位部を取り囲むために着用されるように構成される、請求項25に記載の発光体システム。
【請求項30】
前記1つまたは複数のウェアラブルデバイスが、指の先端及び前記指の遠心端の一部分を包囲するために着用されるように構成される、請求項25に記載の発光体システム。
【請求項31】
前記光源が手の手袋の指部分に取り付けられる、請求項25に記載の発光体システム。
【請求項32】
各ウェアラブルデバイスが、
前記電荷蓄積装置に蓄積される電荷の量を測定するために前記電荷蓄積装置に結合される電荷センサと、
電荷の前記量が所定のレベルよりも大きいかどうかを判断するために前記電荷センサに結合されるコンパレータと、
前記コンパレータに結合される遅延コントローラであって、前記遅延コントローラが前記コンパレータから信号を受信すると、遅延信号を提供するように予めプログラムされ、前記コンパレータが電荷の前記量が前記予め決定されたレベルより大きいと判断するときに、前記信号が受信される、前記遅延コントローラと、
前記遅延コントローラに、及び前記光源と前記電荷蓄積装置との間で結合されるスイッチであって、前記遅延コントローラから前記遅延信号を受信すると、閉じるように構成される、前記スイッチと、
を含む、請求項25に記載の発光体システム。
【請求項33】
各ウェアラブルデバイスが、
前記遅延コントローラから信号を受信するために前記遅延コントローラに結合される周波数コントローラであって、前記遅延コントローラが前記スイッチに前記遅延信号を送信するときに、前記信号が前記遅延コントローラから受信される、前記周波数コントローラと、
を含み、
前記周波数コントローラが、ある周波数で前記スイッチの開閉を制御するために前記スイッチに結合され、前記周波数コントローラが、前記遅延信号を受信すると、前記スイッチの開閉を制御するために前記スイッチに信号を送信する、
請求項32に記載の発光体システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はユーザーの指の位置を決定するための信号生成システム及び検出器システムならびに方法に関する。
【背景技術】
【0002】
ゲームプレイのためにさまざまな装置が開発されてきた。例えば、多様なゲーム企業が、ユーザーに他では味わえないゲーム経験を提供するためにゲームコンソールを作成してきた。具体例を示すと、ユーザーはウォーゲーム、カンフーゲーム、ダンシングゲーム等をプレイできる。
【0003】
いくつかのゲーム企業は、ユーザーの頭の上を越え、ユーザーにゲームの表示を提供するディスプレイ装置を開発してきた。ユーザーは、ゲームをプレイするために係るディスプレイ装置の使用中に自分があたかもゲームの中にいるかのように感じる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、いくつかのゲーム機は精度を欠き、高価である。
【課題を解決するための手段】
【0005】
本開示の実施形態は、ユーザーの指の位置を決定するための信号生成システム及び検出器システム、ならびに方法を提供する。
【0006】
本開示の他の態様は、本開示に説明される実施形態の原理を例として示す添付の図面と併せて解釈される以下の発明を実施するための形態から明らかになるだろう。
【0007】
いくつかの実施形態では、本開示は指の上に、例えば指輪、パッチ、ブレスレット等の、小型赤外線(IR)発光ダイオード(LED)を有するデバイスを着用することに関する。IR LEDから発せられる光は、IR LEDが実装されるウェアラブルデバイスの位置を決定するためにIRセンサを使用し、検出される。
【0008】
本開示のいくつかの実施形態は、照明と同じ期間に亘ってIR光を収集する同期されたセンサと併せて各ウェアラブルデバイスからIR光の非常に短く、非常に明るいパルスを使用することに関する。本用途の場合、例えばウェアラブルデバイス等のIR LEDを照明するためにウェアラブルデバイスで使用される電力は小さく、無線電力システムを実用的にする。ウェアラブルデバイスに無線で電力信号を送信するために送信回路の部分として皮膚を使用することが可能な場合がある。
【0009】
多様な実施形態では、共鳴誘導結合が特に短距離から中距離の電力伝達用に設計される。例えば、いくつかのシステムは、例えば蓄電板、ワイヤ等の電力貯蔵装置へのWi−Fi信号の誘導結合によって既存のWi−Fi信号から直接的に電力を採取できる。
【0010】
電力は無線で送られるので、いくつかの実施形態では同期信号も送信される。電力信号及び同期信号はすべてのウェアラブルデバイスに一斉送信される。各ウェアラブルデバイスは、すべての他の指輪(LED)に関するその照明タイムスロットを決定する識別子(ID)を有する。例えば、IRセンサは1000ヘルツ(Hz)の周波数で光をサンプリングする。10本の指に着用された10のウェアラブルデバイスの10のLEDの場合、10のLEDは1000分の1秒フレームごとに順々に照明され、次いで各LEDはこの時分割サンプリングのために100Hzで効果的にサンプリングされる。センサの視点からすれば、LEDは、ノッチIRフィルターがセンサ側のIR照明の周波数に適合するために使用されるときに圧倒的に最も明るい物体である。各サンプル間隔でセンサの視野錐台に単一の輝点があるので、ウェアラブルデバイスの検出は容易になる。さらに、多様な実施形態では、この輝点は他のサンプル間隔では可視ではなく、点を識別する信頼度を増す。
【0011】
センサの例は、例えば電荷結合素子(CCD)カメラ、相補型金属酸化物半導体素子(CMOS)カメラ等のカメラを含む、またはそれは位置検出デバイス(PSD)であることがある。PSDは、例えば光の重心等の点を返す。
【0012】
さらに、多様な実施形態では、同期中、位置が決定されるウェアラブルデバイスは識別コードで識別される。識別コードはウェアラブルデバイス、したがってユーザーの指と関連付けられる。例えば、ユーザーは、ユーザーの特定の指にウェアラブルデバイスを着用するように命令される。命令はヘッドマウントディスプレイ(HMD)の画面に表示され、ゲームコンソールのゲームプロセッサによって生成される。多様な実施形態では、命令は、HMD、ゲームコンソール、及びウェアラブルデバイスを具備する取扱説明書でユーザーに提供される。
【0013】
多様な実施形態では、単一のセンサはその場所からLEDまでの2次元(2D)光線を決定するために使用されるが、基準枠に対してその光線に沿ったLEDの位置を決定するためには使用できない。この場合、複数のセンサが3次元(3D)空間でウェアラブルデバイスの位置を三角測量するために使用される。例えば、2台のセンサがHMDのベースラインを使用し、HMD自体に取り付けられる。これは、基準枠をHMDに結び付けることを可能にするだろう。
【0014】
しかしながら、いくつかの実施形態では、指及び/または手が移動するので、HMDに取り付けられた2つのセンサはユーザーの指及び/または手による妨害のためウェアラブルデバイスのいくつかからの見通し線を有さない。これらの実施形態では、追加のセンサがユーザーの前で使用され、ユーザーの胴を指し返す。これらの追加のセンサのために、それらの基準枠が決定される。追加のセンサ基準枠を得るために、2つ以上の時分割パルス化IR LEDがHMDに置かれる。追加センサのそれぞれが2つのHMD IR LEDをその視野錐台に有する限り、HMDレイアウトは追加センサの基準枠とHMDの基準枠との間で相対位置をさらに決定するために決定される。
【0015】
いくつかの実施形態では、複数のセンサを用いると、遮断される、またはセンサの1つもしくは複数の視界が遮られるウェアラブルデバイス上にLEDがある場合がある。ウェアラブルデバイスから発せられる光がセンサの内の2つによって検出される場合、次いでウェアラブルデバイスの信頼できる相対位置が決定される。2つ以上のセンサがウェアラブルデバイスのLEDからの光を検出する場合、次いでLEDの位置はより厳密に決定される。多様な実施形態で、単一センサだけがLEDからの光を検出する場合、次いでユーザーの指及び/または単一センサから遮られていない他のLEDの制約の世界認識が問題のLEDの光線に沿った距離を推定するために使用される。
【0016】
多様な実施形態では、LEDがすべてのセンサから遮られる場合、次いで、例えば画像取込みデータ、LEDの最近の位置データ等のデータがLEDの位置を決定するために使用される。
【0017】
いくつかの実施形態では、本明細書に説明されるシステム及び方法はウェアラブルLED「パッチ」に適用可能である。例えば、LEDはユーザーの手に着用される手袋に取り付けられる。別の例として、パッチはVelcro(商標)または取付けの他の方法を使用することによってユーザーの衣服に取り付けられる。別の例として、パッチが手首及び腕に着用されるとき、ユーザーの手首及び腕の位置が決定される。例えば、ウェアラブルデバイスはリストバンドまたはアームバンドを含む。
【0018】
いくつかの実施形態では、較正動作が実行される。例えばユーザーは自分の指の遠心端でウェアラブルデバイスを着用するように命令される。この例では、ユーザーからユーザー及び/またはあるインタフェースセッションから別のインタフェースセッションへなんらかの変動がある場合、較正はユーザーの指の位置を決定する上での信頼性を助長する。別の例として、LEDが例えば手首、前腕等のユーザーの身体の他の部分に取り付けられるとき、較正は異なるユーザーの他の身体の部分の間の相対位置の決定を容易にする。
【0019】
多様な実施形態では、較正動作は必要とされない。例えば、手袋に取り付けられたLEDの場合、較正は実行されない。手袋は複数のユーザーの手にフィットする。
【0020】
いくつかの実施形態では、ゲームコンソールとインタフェースされるHMDインタフェースを介して仮想環境とインタフェースするために手の位置及び指の位置を追跡するための方法が説明される。方法は、HMDから、HMDを着用するユーザーの手の複数の指と関連付けられた複数のウェアラブルデバイスに電力信号を送信し、複数のウェアラブルデバイスに識別子(ID)を順次送信することを含む。各IDは複数のウェアラブルデバイスの1つを識別する。複数のウェアラブルデバイスのそれぞれは対応する光源を活性化させ、これにより複数のウェアラブルデバイスのそれぞれはタイムスロットの間アクティブとなり、各ウェアラブルデバイスはHMDによって順次送信されたIDに基づいて、それぞれのタイムスロットでアクティブであることを繰り返す。さらに、送信されたIDごとに、方法はHMDに取り付けられた少なくとも2つの光学センサの空間位置を決定し、検出された空間位置についてHMD上に置かれる少なくとも2つのセンサを使用し、複数のウェアラブルデバイスの1つから発せられる光を検出することを含む。発せられる光の検出は順次送信されるIDに同期される。また、送信されるIDごとに、方法は、指の内の1つの現在位置と関連付けられる、複数のウェアラブルデバイスの内の1つの現在位置を決定するために、検出された発せられた光及び決定された空間位置のためのデータをHMDからゲームコンソールに送信することを含む。空間位置を決定する動作、発せられた光を検出する動作、及び検出された発せられた光のためのデータをHMDからゲームコンソールに送信する動作は、ウェアラブルデバイスの経時的に移動する位置を識別するために順次送信されるIDのそれぞれについて繰り返される。
【0021】
いくつかの実施形態では、HMDを介して仮想環境とインタフェースするために手及び指の位置を追跡するための方法が説明される。方法は、HMDを着用するユーザーの手の複数の指と関連付けられた複数のウェアラブルデバイスに、HMDから電力信号を送信することを含む。方法は、複数のウェアラブルデバイスにIDを順次送信することをさらに含む。各IDは複数のウェアラブルデバイスの1つを識別する。また、複数のウェアラブルデバイスのそれぞれは対応する光源を活性化させられ、これにより複数のウェアラブルデバイスのそれぞれはタイムスロットの間アクティブであり、各ウェアラブルデバイスは、HMDによって順次送信されるIDに基づいて、それぞれのタイムスロットでアクティブであることを繰り返す。また、方法は、HMDに置かれた少なくとも2つのセンサを使用し、複数のウェアラブルデバイスの1つから発せられた光を検出することも含む。発せられた光の検出の動作は、順次送信されるIDに同期される。方法は、ウェアラブルデバイスのそれぞれの位置を決定するために発せられた光に関するデータを提供することを含む。ウェアラブルデバイスのそれぞれの位置は、HMDの少なくとも2つのセンサの間の基準枠に対して決定され、これにより各ウェアラブルデバイスの位置は指の1つの位置に関連付けられる。方法は、仮想環境でユーザーの手を表示することを含む。ユーザーの手は、決定された位置に基づいて表示される指を含む。
【0022】
いくつかの実施形態では、ウェアラブルデバイスの位置を決定するための方法が説明される。方法は、複数の発光体を有する複数のウェアラブルデバイスに電力を提供するためにHMDから電力信号を送信することを含む。発光体は、電力信号の中で受け取られる電力に基づいて順序付けされたシーケンスで光を発する。発光体が発光の複数のシーケンスを繰り返し、各発光体が光の一部分の発光の周波数を有するシーケンスである順序付けられたシーケンス。方法は、電気信号を生成するために発光体によって発せられる光を検出し、ウェアラブルデバイスの複数の位置を決定するために電気信号に関するデータを分析のために提供することを含む。ウェアラブルデバイスの位置は、HMDの中に表示される対話環境の中でのユーザーの手の指の表現の1つまたは複数の位置を決定するために使用される。
【0023】
多様な実施形態では、対話環境で画像を表示するためのシステムが説明される。システムはユーザーの頭部に着用されるHMDを含む。HMDは、電力信号を生成するための電源、及び1つまたは複数の発光体デバイスに向かって電力信号を送信するための電源に結合される送信機を含む。1つまたは複数の発光体デバイスは、対応する1つまたは複数のウェアラブルデバイスに統合される。1つまたは複数のウェアラブルデバイスはユーザーの1つまたは複数の身体の部分に着用されるように構成される。1つまたは複数の発光体デバイスは、電力信号に基づいたシーケンスで光を発する。HMDは、複数の電気信号を生成するために光の少なくとも一部分を感知するための信号検出器をさらに含む。システムはHMDに結合されるゲームコンソールをさらに含む。ゲームコンソールは、電気信号からのウェアラブルデバイスの1つの、1つまたは複数の位置の決定のための信号検出器と関連付けられた位置決定モジュールを含む。また、HMDは、ゲームコンソールから画像データを受信する通信装置も含む。画像データは、1つまたは複数の位置に基づいて生成される。HMDは、画像データに基づいての1つまたは複数の画像を表示するための表示画面を含む。
【0024】
いくつかの実施形態では、同期信号に基づいて光を発するために制御される発光体システムが説明される。発光体システムは、ゲームプレイ中にユーザーのそれぞれ1つまたは複数の身体の部分に着用されるための1つまたは複数のウェアラブルデバイスを含む。各ウェアラブルデバイスは、復調信号を生成するためにHMDから電力信号及び同期信号を受信するための受信機を含む。同期信号はウェアラブルデバイスの識別子を含む。さらに、各ウェアラブルデバイスは復調信号から生じる電荷を蓄積するための受信機に接続される蓄積装置、及び電荷に基づいて生成される電流信号を受信すると、光を生じさせるために蓄積装置に結合される光源を含む。光源は、同期信号の識別子に基づいて光を発するために制御される。
【0025】
本明細書に説明されるシステム及び方法のいくつかの優位点は、ゲームプレイ中にユーザーの指の正確な位置を提供することを含む。例えば、ユーザーの指に着用されるいくつかの光源によって発せられる光、及びHMDに結合される光学センサによる光の検出に基づいて、指の位置は決定される。位置は、HMDの表示画面でゲームをプレイするために使用される。ユーザーの指との光源の結合は指の位置の精度の上昇を容易にする。
【0026】
本明細書に説明されるシステム及び方法の他の優位点は、例えば、ゲームプレイ中のユーザーの、例えば肘、手首等の身体の部分の正確な位置を提供することを含む。光源は身体の部分に結合され、光源から発せられる光は身体の部分の位置を決定するために使用される。光源の身体の部分への結合は、ゲームプレイ中の身体の部分の位置の精度を高めることを容易にする。身体の部分の位置は、HMDで表示されるゲームをプレイするために使用される。
【0027】
いくつかの実施形態では、精度は、光源が光を順次に発するときに高まる。光源が光を順次に発するとき、光学センサはユーザーの指または身体の部分の各光源を明確に検出できる。
【0028】
本明細書に説明されるシステム及び方法の追加の優位点は、HMDを使用し、ゲームをプレイする費用を削減することを含む。例えば、指のまたは身体の部分の画像を取り込むために使用されるデジタルカメラは、光源及び光学センサよりも高価である。光源を使用すると、多くの場合、デジタルカメラを使用する必要はなく、HMDを使用し、ゲームをプレイするコストは削減される。
【図面の簡単な説明】
【0029】
本開示の多様な実施形態は、添付図面と併せて解釈される以下の説明を参照することにより最もよく理解される。
【0030】
図1】本開示の一実施形態に従って、ゲームをプレイするためのユーザーの指でのウェアラブルデバイスの使用を示すためのシステムの図である。
【0031】
図2A】本開示の一実施形態に従って、左手の指の遠心端にウェアラブルデバイスが着用されることを示すためのユーザーの左手の図である。
【0032】
図2B】本開示の一実施形態に従って、ユーザーの左手の指の内の遠心端に着用されるウェアラブルデバイスの中に統合される光源を示すためのユーザーの左手の図である。
【0033】
図2C】本開示の一実施形態に従って、ユーザーの対応する指の遠心端と中間部分との間の指関節でのウェアラブルデバイスの位置決めを示すためのユーザーの左手の図である。
【0034】
図2D】本開示の一実施形態に従って、ユーザーの対応する指の中間部分でのウェアラブルデバイスの位置決めを示すためのユーザーの左手の図である。
【0035】
図2E】本発明の一実施形態に従って、ユーザーの左手の対応する指の中間部分及び指の近位部を繋ぐ指関節上のウェアラブルデバイスの場所を示すためのユーザーの左手の図である。
【0036】
図2F】本発明の一実施形態に従って、ユーザーの指の近位部でのウェアラブルデバイスの場所を示すためのユーザーの左手の図である。
【0037】
図3A】本開示の一実施形態に従って、ユーザーの左手の指の遠心端の部分に着用されるウェアラブルデバイスの使用を示すためのユーザーの左手の図である。
【0038】
図3B】本開示の一実施形態に従って、指抜き内での光源の統合を示すためのユーザーの左手の図である。
【0039】
図4A】本開示の一実施形態に従って、ウェアラブルデバイスとしてのパッチの使用を説明するためのユーザーの左手の図である。
【0040】
図4B】本開示の一実施形態に従って、ユーザーの指に着用されるパッチの図である。
【0041】
図5】本開示の一実施形態に従って、光源が手袋の指部分に統合されることを示すためのユーザーの左手の図である。
【0042】
図6A】本開示の一実施形態に従って、光源を有する指輪の図である。
【0043】
図6B】本開示の一実施形態に従って、信号送信器から受信される電力信号によって帯電する指輪の実施形態の図である。
【0044】
図6C】本開示の一実施形態に従って、信号送信器から受信される電力信号によって帯電する複数の光源を含む別の指輪の実施形態の図である。
【0045】
図7A】本開示の一実施形態に従って、異なる数の光源を有する指輪を示すために使用される図である。
【0046】
図7B】本開示の一実施形態に従って、光源から発光の順序付けを示すための複数の指輪の図である。
【0047】
図7C】本開示の一実施形態に従って、異なる形状の指輪を示すための図である。
【0048】
図8A-1】本開示の一実施形態に従って、HMDの下の光学センサの場所を示すためのヘッドマウントディスプレイ(HMD)の図である。
【0049】
図8A-2】本開示の一実施形態に従って、HMDの前面及び端縁の多様な位置での光学センサの場所を照明するための図8A−1のHMDの図である。
【0050】
図8B】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0051】
図8C】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0052】
図8C】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0053】
図8D】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0054】
図8E】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0055】
図8F】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0056】
図8G】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0057】
図8H】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0058】
図8I】本開示の一実施形態に従って、光学センサがHMD上に位置する場所を示すために使用される図である。
【0059】
図9A】本開示の一実施形態に従って、ウェアラブルデバイスへの電力信号の送信、及びウェアラブルデバイスのそれぞれからの光信号の受信を示すための信号発生器及び検出器(SGD)の図である。
【0060】
図9B】本開示の一実施形態に従って、望ましくない周波数を除外するための周波数フィルターを含む別のSGDの図である。
【0061】
図10A-1】本開示の一実施形態に従って、ウェアラブルデバイスの構成要素を示すためのウェアラブルデバイスのブロック図である。
【0062】
図10A-2】本開示の一実施形態に従って、ウェアラブルデバイスでの電荷センサの使用を示すためのウェアラブルデバイスのブロック図である。
【0063】
図10B】本開示の一実施形態に従って、光源をオン及びオフにすることを示すためのグラフである。
【0064】
図10C】本開示の一実施形態に従って、光源による光の順次発光を示すためのタイミング図である。
【0065】
図11A-1】本開示の一実施形態に従って、電力信号及び同期信号の生成を示す信号発生器の図である。
【0066】
図11A-2】本開示の一実施形態に従って、光源による発光と光学センサによる光の収集を同期させるための同期信号の生成を示す信号発生器の図である。
【0067】
図11B】本開示の一実施形態に従って、光を生成するためにウェアラブルデバイスの識別コード(ID)の使用を示すための発光体デバイスの図である。
【0068】
図11C】本開示の一実施形態に従って、時間遅延を有するウェアラバウルデバイスのIDの使用を示すための別の発光体デバイスの実施形態の図である。
【0069】
図11D】本開示の一実施形態に従って、時間遅延及び周波数を有するウェアラブルデバイスのIDの使用を示すための別の発光体デバイスの実施形態の図である。
【0070】
図12】本開示の一実施形態に従って、ウェアラブルデバイスの中の発光体によって発せられる光の入射位置に基づいてウェアラブルデバイスの位置を決定するための信号検出器の図である。
【0071】
図13】本開示の一実施形態に従って、HMD上の光学センサの基準枠から光源の位置を決定するための光線交差計算を使用するためのシステムの図である。
【0072】
図14A】本開示の一実施形態に従って、HMD上の光学センサからのウェアラブルデバイスの遮断を示すために使用される図である。
【0073】
図14B】本開示の一実施形態に従って、HMDの基準枠に対して基準枠を提供するためのトルソ装置を示す図である。
【0074】
図14C】本開示の一実施形態に従って、HMDの基準枠に対する遮断されたウェアラブルデバイスの位置の決定を示すために使用される図である。
【0075】
図15A】本開示の一実施形態に従って、ゲームの状態に基づいてユーザーに触覚フィードバックを提供するために使用される触覚フィードバックシステムの図である。
【0076】
図15B】本開示の一実施形態に従って、ゲームコンソールによる触覚フィードバックシステムの制御を示すために使用されるシステムの図である。
【0077】
図16】本開示の一実施形態に従って、ウェアラブルデバイスがユーザーの他の身体の部分に着用されることを示すシステムの図である。
【0078】
図17A】本開示の一実施態様に従って、ゲームコマンドを決定するためのウェアラブルデバイスの位置の使用を示すためのシステムの図である。
【0079】
図17B】本開示の一実施形態に従って、ウェアラブルデバイスの位置と、HMDに表示されるゲームに表示される仮想指の画像との間の調整を示すためのHMDの表示画面に表示されるゲームの図である。
【0080】
図17C】本開示の一実施形態に従って、テニスゲームがHMDの表示画面に表示されている間にユーザーによってプレイされているテニスゲームの図である。
【0081】
図17D】本開示の一実施形態に従って、HMDに表示されるゲームで仮想銃を保持するために実行されるジェスチャーの図である。
【0082】
図17E】本開示の一実施形態に従って、HMDに表示されるゲームで仮想の花を保持するためにユーザーによって実行される2本指のジェスチャーの図である。
【0083】
図17F】本開示の一実施形態に従って、HMDの表示画面に表示されるゲームで武器を保持するためにユーザーによって実行される保持アクションを示す図である。
【0084】
図17G】本開示の一実施形態に従って、HMDに表示されるゲームでの仮想電話の使用を示すための電話取り上げアクションの図である。
【0085】
図17H】本開示の一実施形態に従って、ユーザーの身体の部分のまたはユーザーが位置する部屋の画像またはビデオを取り込むように画像取込装置に命令するためのユーザーの両手を使用して実行される画像取込みジェスチャーの図である。
【0086】
図17I】本開示の一実施形態に従って、ユーザーによって実行される休止ジェスチャー、及び休止ジェスチャーの効果を示すために使用される図である。
【0087】
図18A】本開示の一実施形態に従って、ユーザーによって着用されるウェアラブルデバイスの位置に基づいた、光源による発光のサンプリング速度の変化または周波数の変化を示すためのユーザーの手の多様な位置の図である。
【0088】
図18B】本開示の一実施形態に従って、ユーザーの左手及び右手の位置の変化に基づいた、発光体の発光の周波数の変化を示すためのSGDの図である。
【0089】
図19】本開示の一実施形態に従って、ユーザーの指に着用される光源による発光の異なるシーケンスを示すための図である。
【0090】
図20】本開示の一実施形態に従って、ウェアラブルデバイスの位置を決定するための画像取込装置の使用を示すためのシステムの図である。
【0091】
図21A】本開示の一実施形態に従って、光学センサによる光のサンプリングと光源による発光との間の同期を示すための図である。
【0092】
図21B】本開示の一実施形態に従って、光源による発光の周波数と、画像取込装置によって画像を取り込むシャッター速度との間の同期を示すための図である。
【0093】
図21C】本開示の一実施形態に従って、光源による発光の周波数と、HMDの表示画面上のHMDのグラフィカルプロセシングユニット(GPU)による画像の表示のフレームレートとの間の同期を示すための図である。
【0094】
図22】本開示の一実施形態に従って、ハンドヘルドコントローラ(HHC)及びHMDとインタフェースするために互換性のあるゲームコンソールのブロック図である。
【0095】
図23】本開示の一実施形態に従って、HMDの多様な構成要素を示すブロック図である。
【0096】
図24】本開示の一実施形態に従って、ゲームデータを通信するために使用される情報サービスプロバイダ(INSP)アーキテクチャの実施形態を示す図である。
【発明を実施するための形態】
【0097】
ユーザーの指の位置を決定するための信号生成システム及び検出器システムならびに方法が説明される。本開示の多様な実施形態はこれらの特定の詳細のいくらかまたはすべてなしに実践されることに留意されたい。他の例では、周知のプロセス操作は、本開示の多様な実施形態を不必要に分かりにくくしないために詳細に説明されていない。
【0098】
一実施形態では、システムはコンピュータ、コントローラ、及びディスプレイを含む。多様な実施形態では、コンピュータは汎用コンピュータ、特殊目的コンピュータ、または例えばコンピュータソフトウェアプログラム、コンピュータソフトウェアアプリケーション等の、ディスプレイ装置で対話型コンテンツを表示するためにレンダリングされる対話型データを生成するための対話型プログラムを実行する他の係る装置である。いくつかの実施形態では、コンピュータの代わりに、ゲームコンソールが使用される。ゲームコンソールの例はSony Computer Entertainment Inc.または他の製造メーカによって製造されるゲームコンソールを含む。ディスプレイ装置の例はテレビ、モニタ、プロジェクタディスプレイ、ヘッドマウントディスプレイ(HMD)、またはコンピュータからのビデオ出力を受信し、レンダリングすることができる他の係るディスプレイ及び表示システムを含む。ユーザーは、1つまたは複数の光源を移動させることによって対話型プログラムに入力を提供する。光源は、ユーザーが光源を移動させることによって対話型プログラムとインタフェースし、対話型プログラムに入力を提供することを可能にするモーションコントローラの機能を果たす。いくつかの実施形態では、これが有線接続よりも光源の移動のより大きい自由度を与えるので、光源はディスプレイ装置と無線で通信する。
【0099】
いくつかの実施形態では、複数のウェアラブルデバイスは対話環境とのユーザーの対話を強化するために提供される。ウェアラブルデバイスの例は、指輪、パッチ、ブレスレット、リストバンド、アームバンド、ゴムバンド、プラスチックバンド、金属バンド等を含む。さらに、対話環境の例は仮想現実環境、ゲーム環境、及び拡張現実環境を含む。
【0100】
ウェアラブルデバイスはユーザーによって着用され、ユーザーの頭部を越えて着用されてユーザーの目を覆うヘッドマウントディスプレイ(HMD)と併せて使用される。ユーザーは自分の指を移動させ、指の位置は、HMDの1つまたは複数の表示画面に表示される対話環境での指または別の仮想オブジェクトの対応する位置を生成するために決定される。例えば、ユーザーが自分の指を上方へ移動させるとき、指または仮想オブジェクトの表現も対話環境で上方に移動する。別の例として、ユーザーが自分の指を現実世界での距離分移動させるとき、仮想指または別の仮想オブジェクトは対話環境で対応する量移動する。ユーザーの指の位置の係る決定は、ユーザーに対話環境での熱中する、魅力的な経験を与える。ユーザーは、自分があたかも対話環境にいて、実際に対話環境と対話をしているように感じる。経験はユーザーの心の中に、対話環境が、例えば現実世界に存在する等、本物であるという印象を作り出す。
【0101】
指の位置の決定を容易にするために、HMDは2つ以上の数の光学センサを取り付けられる。光学センサは、ウェアラブルデバイスの中に統合される光源によって発せられる光を感知する。感知された光は、光学センサの基準枠から光源の位置を決定するために使用される。
【0102】
多様な実施形態では、システムはユーザーのまたはユーザーが位置する部屋の画像を取り込む1つまたは複数のカメラを含む。光源の空間位置及び移動は、次いで1つまたは複数のカメラによって取り込まれる画像の分析によって決定される。
【0103】
図1は、2次元ゲーム、3次元ゲーム、シングルプレーヤゲーム、マルチプレーヤゲーム等のゲームをプレイするためのウェアラブルデバイスWD1、WD2、WD3、WD4、WD5、WD6、WD7、WD8、WD9、及びWD10の使用を示すためのシステム100の実施形態の図である。各ウェアラブルデバイスWD1〜WD10の例は指輪を含む。本明細書に使用されるように、指輪は例えば正方形の形状、円形の形状、楕円形の形状等の任意の形状となる。いくつかの実施形態では、本明細書に説明される各ウェアラブルデバイスは、プラスチックまたは金属から作られている。プラスチックは、多様な実施形態では可撓性または非可撓性である。各ウェアラブルデバイスは、いくつかの実施形態では、透明、半透明、または不透明である。例えば、ウェアラブルデバイスWD1〜WD10は、透明な可撓性のプラスチック材料から作られる。
【0104】
各ウェアラブルデバイスはユーザー101の指に着用される。例えば、ウェアラブルデバイスWD1はユーザー101の左手H1の小指に着用され、ウェアラブルデバイスWD2は左手の薬指に着用され、ウェアラブルデバイスWD3は左手の中指に着用され、ウェアラブルデバイスWD4は左手の人差し指に着用され、ウェアラブルデバイスWD5は左手の親指に着用される。別の例として、ウェアラブルデバイスWD6は、ユーザー101の右手H2の親指に着用され、ウェアラブルデバイスWD7は右手の人差し指に着用され、ウェアラブルデバイスWD8は右手の中指に着用され、ウェアラブルデバイスWD9は右手の薬指に着用され、ウェアラブルデバイスWD10は右手の小指に着用される。
【0105】
各ウェアラブルデバイスは、例えば発光体、発光ダイオード(LED)等の、光を生成し、発する光源を含む。例えば、LEDは電気エネルギーを与えられるときに光を発するpn−接合ダイオードである。LEDは可視光または赤外光を発する。光源の他の例はハロゲン光源、発光電気化学セル(LEC)、エレクトロルミネセントワイヤ等を含む。
【0106】
ユーザー101は、自分の頭にヘッドマウントディスプレイ(HMD)102を着用している。HMD102はユーザー102の目を覆い、ユーザー101にゲームの画像を表示するために、例えばLED表示画面、液晶ディスプレイ(LCD)画面、プラズマディスプレイ画面等の表示画面を含む。いくつかの実施形態では、HMD102は複数の表示画面を含む。多様な実施形態では、HMD102は、シースルー機能だけではなく画像を投射する機能も有する光学ヘッドマウントディスプレイ(OHMD)である。
【0107】
いくつかの実施形態では、HMD102は、例えば仮想画像等のコンピュータ生成画像(CGI)を表示する。多様な実施形態では、HMD102はユーザー102の前に現実世界の現実世界画像を表示し、現実世界画像はCGIに重ね合わされる。重ね合わせに基づいて生成される複合画像は拡張現実画像である。
【0108】
HMD102の底面は、取り付けられた光学センサ104及び106である。例として、光学センサは光を電気信号に変更する。光学センサの例は、位置検出デバイス(PSD)を含む。PSDはPSDの表面上の1つまたは複数の寸法で光点の位置を測定する。光学センサ104及び106はHMD102の底面に、例えば磁石を介して接続される等、取り付けられる。いくつかの実施形態では、光学センサ104及び106はHMD102の本体の中に統合され、光に露光される一部分を有する。
【0109】
システム100は、ゲームコンソール108、及び例えばテレビ、コンピュータ画面等の任意選択のディスプレイ装置をさらに含む。ゲームコンソール108は、ユーザー101によるゲームのプレイを容易にするために、例えばゲームコンピュータプログラム等のゲームコードを実行するゲームプロセッサ110を含む。いくつかの実施形態では、ゲームコードは、例えば入力等、ユーザー101によって実行されるアクションの表示を受信することに応えて実行される。ユーザー101によって実行されるアクションの例は、ゲームオブジェクトの選択、ユーザー101の指の移動、ユーザー101の手の移動、ユーザー101の目の移動等を含む。本明細書に使用されるように、ゲームオブジェクトはゲームのプレイ中にHMD102の表示画面に表示される。ゲームオブジェクトの例は、ゲームのバックグラウンド環境、ゲームのアバター、ゲーム中のポイントの数、ゲーム中のユーザー101のための賞品等を含む。
【0110】
多様な実施形態では、ゲームコードはゲームのある状態からゲームの別の状態に到達するためのゲームルーチンとして実行される。これらの実施形態では、ユーザー101によって実行されるアクションはゲームコードの実行のためのトリガとして機能しない。
【0111】
ゲームコードは、例えばゲームオブジェクトの位置、ゲームオブジェクトの色、ゲームオブジェクトのテクスチャ、ゲームオブジェクトの陰影、ゲームのプレイ中にユーザー101によって勝ち取られるまたは失われるポイントの数、ゲームオブジェクトの形状等のゲームデータを生成するためにゲームコンソール108のゲームプロセッサ110によって実行される。HMD102の中央演算処理装置(CPU)112は、ゲームコンソール108の通信装置114及びHMD102の通信装置116を介してゲームプロセッサ110からゲームデータを受信する。CPU112はHMD102の1つまたは複数の表示画面118にゲームを表示するためにゲームデータをレンダリングする。
【0112】
本明細書に使用されるように、プロセッサは特定用途向け集積回路(ASIC)、またはプログラマブル論理回路(PLD)、またはマイクロプロセッサ、またはマイクロコントローラ、またはCPU等である。また、通信装置は、本明細書で使用されるように、例えば1つまたは複数の物理的な導電体等の有線媒体を介して別の装置と通信する有線通信装置を含む、または別の装置と無線で通信する無線通信装置を含む。有線通信装置は、2つの装置間でデータを転送するために、例えばイーサネット(登録商標)、電気電子技術者協会(IEEE)1394、シリアル、パラレル、無線周波数、ユニバーサルシリアルバス(USB)等を適用する。無線通信の例は無線周波数(RF)通信、変調、復調、無線データ通信、Wi−Fi通信、ブルートゥース(登録商標)通信、音響エネルギーを使用する通信、光エネルギーを使用する通信、及び磁気エネルギーを使用する通信を含む。
【0113】
ゲームのプレイ中、ユーザー101は自分の指を移動させる。ユーザー101の指の移動により、ウェアラブルデバイスWD1からWD10は移動する。ウェアラブルデバイスWD1からWD10は順次光を発する。例えば、ウェアラブルデバイスWD1からWD10は、順方向シーケンスで光を発する。説明すると、ウェアラブルデバイスWD10が10番目に光を発するまで、ウェアラブルデバイスWD1は1番目に光を発し、ウェアラブルデバイスWD2は2番目に光を発する等である。別の例として、ウェアラブルデバイスWD1からWD10は逆のシーケンスで光を発する。説明すると、ウェアラブルデバイスWD1が10番目に光を発するまで、ウェアラブルデバイスWD10は1番目に光を発し、ウェアラブルデバイスWD9は2番目に光を発する等である。さらに別の例として、ウェアラブルデバイスWD1からWD10は無作為な順序で光を発する。説明すると、ウェアラブルデバイスWD5が第1に光を発し、ウェアラブルデバイスWD3が2番目に光を発し、ウェアラブルデバイスWD2が3番目に光を発する等である。
【0114】
いくつかの実施形態では、ウェアラブルデバイスWD1からWD10による光の連続発光は、ユーザー101のそれぞれの個別の指の位置の決定を可能にする。例えば、ウェアラブルデバイスがユーザー101の特定の手の特定の指に着用されることがウェアラブルデバイスに示される。ウェアラブルデバイスから発せられる光は、ウェアラブルデバイスが着用される指の位置を決定するために感知される。
【0115】
光学センサ104及び106は、電気信号を生成するためにウェアラブルデバイスWD1からWD10により順次発せられる光を検出する。電気信号は、HMD102のアナログ−デジタル変換器(A−D変換器)によってアナログ形式からデジタル形式に変換されて、ウェアラブルデバイスWD1からWD10の位置の決定を容易にするためにHMD102のHMDプロセッサ(不図示)によって処理されるデジタルデータを生成する。
【0116】
いくつかの実施形態では、HMDプロセッサがウェアラブルデバイスWD1からWD10の位置を決定する代わりに、A−D変換器によって生成されるデジタルデータは、ゲームコンソール108のゲームプロセッサ110による処理のためにゲームコンソール108の通信装置114にHMD102の通信装置116によって通信されて、ウェアラブルデバイスWD1からWD10の位置を決定する。
【0117】
ウェアラブルデバイスWD1からWD10の位置は、ゲームをプレイするために使用される。例えば、ゲームコンソール108のゲームプロセッサ110は、例えばユーザー101の仮想指等のゲームオブジェクトの位置、例えば、ウェアラブルデバイスWD1からWD10の位置に基づいて1つまたは複数の表示画面118に表示されるゲームのゲームオブジェクト等の仮想位置を変更する。別の例として、ゲームプロセッサ110は、ウェアラブルデバイスWD1からWD10の1つの移動の方向として、例えば上方向、下方向、斜め方向等の同じ方向でゲームオブジェクトを移動させる。さらに別の例として、ゲームプロセッサ110は、ウェアラブルデバイスWD1からWD10の内の1つの変位の距離と同じ距離分、ゲームオブジェクトを変位させる。
【0118】
いくつかの実施形態では、ユーザー101は任意の数のウェアラブルデバイスを着用する。例えば、ユーザー101はウェアラブルデバイスWD1、ウェアラブルデバイスWD3、及びウェアラブルデバイスWD5を着用し、ウェアラブルデバイスWD2を着用せず、ウェアラブルデバイスWD4を着用しない。別の例として、ユーザー101は自分の1本の指に複数のウェアラブルデバイスを着用する。さらに別の例として、ユーザー101は、指1本おきにウェアラブルデバイスを着用する。
【0119】
いくつかの実施形態では、ゲームデータ及び/またはゲームコードはゲームコンソール120のゲームメモリデバイス120に記憶されることに留意されたい。ゲームデータ及び/またはゲームコードは、ゲームプロセッサ108によってゲームメモリデバイス120からアクセスされる。多様な実施形態では、ゲームデータはHMD102のHMDメモリデバイス122に記憶される。ゲームデータは、1つまたは複数の表示画面118でのゲームの表示のためにHMDメモリデバイス122からCPU112によってアクセスされる。
【0120】
本明細書に使用されるように、メモリデバイスは、例えばランダムアクセスメモリ(RAM)または読み出し専用メモリ(ROM)またはその組合せ等の非一過性のコンピュータ可読媒体を含む。メモリデバイスの例は、フラッシュメモリ、ストレージディスクの冗長なアレイ、ハードディスク、磁気メモリ、コンパクトディスク等を含む。
【0121】
各ウェアラブルデバイスWD1からWD10がユーザー101の任意の指に着用されることに留意されたい。例えば、ウェアラブルデバイスWD5は、ユーザー101の左手H1の人差し指に、またはユーザー101の右手H2の親指に着用される。別の例として、ウェアラブルデバイスWD8は、ユーザー101の左手H1の親指に着用される。
【0122】
ウェアラブルデバイスの他の例は、腕時計、ブレスレット、リストバンド、ゴムバンド、金属バンド、リストバンド、ネックレス、チェーン等を含む。
【0123】
図2Aは、ウェアラブルデバイスWD1からWD5が、左手の指の、例えば遠位指節骨等の遠心端に着用されることを示すためのユーザー101(図1)の左手の実施形態の図である。例えば、ウェアラブルデバイスWD4はユーザー101の左手の人差し指の遠心端202に着用される。ユーザー101の親指を除く各指は、近位部、中間部分、及び遠心端を含む3つの部分を有する。例えば基節骨等の近位部は、例えば指骨間関節等の指の関節によって、例えば中節骨等の中間部分に繋げられ、中間部分は例えば指骨間関節等の別の指の関節を介して遠心端に繋げられる。ユーザー101の親指は2つの部分、つまり近位部及び遠心端を有する。いくつかの実施形態では、ウェアラブルデバイスは、ユーザー101の指の遠心端の少なくとも一部分を取り囲むために着用される。ウェアラブルデバイスWD5の中に統合される光源LE5は、ユーザー101の左手の親指で可視である。
【0124】
図2Bは、ユーザー101の指の遠心端に着用されるウェアラブルデバイスWD1からWD5の中に統合される、例えばLE1から5等の光源を示すためのユーザー101(図1)の左手の実施形態の図である。ウェアラブルデバイスWD1からWD5は、ユーザー101の左手の背面に位置する光源LE1からLE5を容易にするためにユーザー110によって着用される。背面での位置設定は、光源LE1からLE5によって発せられる光への光学センサ104及び106(図1)によるアクセスを容易にする。同様に、以下にさらに説明される複数の光源LE6からLE10は、ウェアラブルデバイスWD6からWD10に統合され、光源LE6からLE10によって発せられる光への光学センサ104及び106によるアクセスを容易にするためにユーザー101の右手に位置決めされる。
【0125】
図2Cは、ユーザー101の対応する指の遠心端と中間部分との間の指の関節にウェアラブルデバイスWD1からWD5を位置決めすることを示すためのユーザー101(図1)の左手の実施形態の図である。例えば、ウェアラブルデバイスWD1は、ユーザー101の左手の小指の遠心端を繋ぐ指骨間関節に着用される。
【0126】
図2Dは、ユーザー101の対応する指の中間部分でのウェアラブルデバイスWD1からWD5の位置決めを示すためのユーザー101(図1)の左手の実施形態の図である。例えば、ウェアラブルデバイスWD4はユーザー101の左手の人差し指の中間部分204を取り囲むように着用され、ウェアラブルデバイスWD3はユーザー101の左手の中指の中間部分を取り囲むように着用される。
【0127】
図2Eは、ユーザー101の左手の対応する指の中間部分及び指の近位部を繋ぐ指の関節上のウェアラブルデバイスWD1からWD5の場所を示すためのユーザー101(図1)の左手の実施形態の図である。ウェアラブルデバイスWD5は、親指の遠心端と親指の近位部との間の指の関節に位置決めされるユーザー101の左手の親指に着用される。
【0128】
図2Fは、ユーザー101の指の近位部でのウェアラブルデバイスWD1からWD5の場所を示すためのユーザー101(図1)の左手の実施形態の図である。例えば、ウェアラブルデバイスWD4は、ユーザー101の左手の人差し指の近位部に当接し、フィットするように着用される。
【0129】
図3Aは、指の爪を覆うためにユーザー101の左手の指の遠心端の部分に着用されるウェアラブルデバイスW1、W2、W3、W4、及びW5の使用を示すためのユーザー101(図1)の左手H1の実施形態の図である。例えば、ウェアラブルデバイスW4は、人差し指の先端302を覆うためにユーザー101の左手の人差し指の遠心端202の少なくとも一部分に着用される。別の例として、ウェアラブルデバイスW4は、遠心端202の少なくとも一部分に着用されて一部分上の蓋として機能する。
【0130】
ユーザー101の右手の指の部分も、例えばウェアラブルデバイスW1からW5と同様に、類似したウェアラブルデバイスで覆われることに留意されたい。
【0131】
図3Bは、対応するウェアラブルデバイスW1からW5での光源LE1からLE5の統合を示すためのユーザー101の左手の実施形態の図である。例えば、光源LE1は、ウェアラブルデバイスW1の一部となるように統合される。ウェアラブルデバイスW1からW5は、ユーザー101の左手の背面で可視となるために光源LE1からLE5を助長するために着用される。光源LE1からLE5が可視であることは、光学センサ104及び106(図1)による光源LE1からLE5によって発せられる光へのアクセスを可能にする。同様に、ウェアラブルデバイスW1からW5に類似するウェアラブルデバイスはユーザー101の右手に着用されて、右手の背面で可視となるように、類似するウェアラブルデバイスの中に統合される対応する光源を助長する。
【0132】
図4Aは、ウェアラブルデバイスとしてのパッチP1、P2、P3、P4、及びP5の使用を示すためのユーザー101(図1)の左手の実施形態の図である。パッチP1からP5は、例えばVelcro(商標)素材、布地、木綿、ポリエステル、ナイロン等の布製である。いくつかの実施形態では、パッチP1からP5は可撓プラスチック製である。パッチP1からP5は、ユーザー101の左手の指の遠心端に着用される。いくつかの実施形態では、パッチP1からP5は、例えばユーザー101の左手の指の中間部分、近位部、指関節等の任意の他の部分に着用される。同様に、パッチはユーザー101の右手の指に着用される。
【0133】
光源LE1からLE5は、対応するパッチP1からP5と統合される。パッチP1からP5がユーザー101の指に着用されるとき、光源LE1からLE5はユーザー101の左手の背面で可視となるように位置決めされる。可視性は、光学センサ104及び106(図1)による、LE1からLE5によって生じる光へのアクセスを可能にする。
【0134】
いくつかの実施形態では、パッチは、ユーザー101の衣類の部分に、例えば糊付けされ、Velcro(商標)を使用し、取り付けられ、ピンで固締され、クリップで留められる等、取り付けられて、パッチが取り付けられる場所の位置を決定する。多様な実施形態では、パッチは、例えば腕時計、サングラス、度付き眼鏡等のウェアラブルデバイスに取り付けられる。
【0135】
図4Bは、ユーザー101(図1)の指に着用されるパッチ402の実施形態の図である。パッチ402は、パッチP1からP5の、またはユーザー101の右手に着用される任意のパッチのいずれかの例である。パッチ402は、光学センサ104及び106(図1)によるアクセスのためにパッチ402の上面404で光を発する光源403を有する。光源403は、光源LE1からLE10の内のいずれかの例である。さらに、パッチ402は、上面404の向かい側である底面406(図4Bでは見えない)上にVelcro(商標)を有する。ユーザー101は、底面406を取り囲み、底面406と指を当接するために自分の指にパッチ402を着用し、光学センサ104及び106に対する光源403の可視性を助長するためにパッチ402を位置決めする。
【0136】
いくつかの実施形態では、パッチ402の代わりに、クリップ、バンド、伸縮性のある布地、プラスチック材料、ゴムバンド、金属バンド等が、統合された光源を有するウェアラブルデバイスとして使用される。
【0137】
図5は、LE1から5が手袋502の指部分504A、504B、504C、504D、及び504Fに統合されることを示すためのユーザー101(図1)の左手の実施形態の図である。例えば、光源LE1は指部分504Aと統合され、光源LE2は指部分504Bと統合され、光源LE3は指部分504Cと統合され、光源LE4は指部分504Dと統合され、光源LE5は指部分504Eと統合される。いくつかの実施形態では、手袋502は布地またはプラスチック製である。手袋502はユーザー101の左手に着用される。光源LE1からLE5は手袋502の背面に位置する。背面での位置は、光源LE1からLE5と光学センサ104及び106(図1)との間の見通し線を助長する。類似する手袋がユーザー101の右手に着用され、手袋が光源LE6からLE10をそれと統合させることに留意されたい。
【0138】
いくつかの実施形態では、任意の数の光源が手袋502の指部分に位置する。例えば、複数の光源が指部分504Aと統合される。多様な実施形態では、光源LE1からLE5は、指部分504A、504B、504C、504D、及び504Fの、例えばジグザグパターン、直線、曲線パターン等のパターンに位置する。いくつかの実施形態では、光源は交互の指部分に位置する。例えば、光源LE1は指部分504Aと統合され、指部分504Bは光源を欠き、光源LE3は指部分504Cと統合され、指部分504Dは光源を欠き、光源LE5は指部分504Eと統合される。
【0139】
図6Aは、光源403を有し、ユーザー101(図1)の指に着用される指輪602の実施形態の図である。光源403は指輪602と統合される。指輪602はウェアラブルデバイスWD1からWD10のいずれかの例であり、光源403は光源LE1からLE10のいずれかの例である。
【0140】
図6Bは、信号送信機608から受信される電力信号によって帯電する指輪606の実施形態の図である。指輪606は、ウェアラブルデバイスWD1からWD10(図1)のいずれかの例である。信号送信機608は電源610に接続される。
【0141】
電源610の例は無線周波数(RF)電源、電池、電池パック、及びプログラム可能電源を含む。いくつかの実施形態では、RF電源は、例えば数百ボルト未満等の低圧電源を含む。さらに、多様な実施形態では、プログラム可能電源はアナログインタフェースまたはデジタルインタフェースを介して制御されるためにプログラム可能である。例えば、電力の量及びプログラム可能電源によって発電される電力の周波数はリモートプロセッサによって制御される。信号送信機608の例は、電力信号611を生成するために電源610によって生成される信号で搬送波波形を変調する変調器を含む。
【0142】
電力信号611は、指輪606の中に統合される信号受信機612に送信される。例えば、信号送信機608と信号受信機612の間の距離は、電力信号610の信号受信機612への送信を容易にするために1から2メートルの間の範囲となる。信号受信機612は、例えばワイヤ等の導体を介して、指輪606の例えば中空等の空間の内部に位置するコンデンサ616に供給される電力信号614を生成するために電力信号610を復調する。コンデンサ616は電力信号614で充電され、コンデンサ616が充電された後、コンデンサ616は光源618Aに電力を提供する。光源618Aは、光源LE1からLE10のいずれかの例である。光源618Aは、コンデンサ616から電力を受け取ると、光を発する。
【0143】
いくつかの実施形態では、コンデンサ616の代わりに、コンデンサのグループが指輪606の内部の空間の内側に置かれる。例えば、グループは、電力信号614によって並列でコンデンサを充電することを可能にするために互いに並列で結合されるコンデンサを含む。
【0144】
図6Cは、複数の光源618A及び618Bを含む別の指輪630の実施形態の図である。指輪630はウェアラブルデバイスWD1からWD10のいずれかの例である。光源618Bは、光源LE1からLE10のいずれかの例である。コンデンサ616によって貯蔵される電力の一部分はコンデンサ616によって光源618Aに提供され、残りの部分は導体632を介して光源618Bに提供される。電力の残りの部分を受け取ると、光源618Bは光を発する。
【0145】
いくつかの実施形態では、信号受信機612は、2つの分割された信号を生成するために信号受信機612によって生成される復調された信号を分割するスプリッタを含む。2つの分割された信号の1つはコンデンサ616に提供される。2つの分割された信号の別の1つはスプリッタを介して、スプリッタに接続される別のコンデンサ(不図示)に提供される。また、他のコンデンサは光源618Bに接続される。他のコンデンサは他の分割された信号によって充電され、充電された電力を光源618Bに提供する。光源618Bは、他のコンデンサから電力を受け取ると、光を発する。スプリッタの例は、他のコンデンサに信号受信機612を接続する導体を含む。実施形態は導体632を除外する。
【0146】
いくつかの実施形態では、ユーザー101の皮膚は電力信号を送信するために使用される。多様な実施形態では、電源610によって生成される電力信号はWi−Fi信号から抽出される。
【0147】
図7Aは、異なる数の光源を有する指輪606、702、704、706、及び708の実施形態を示すために使用される図である。例えば、指輪606は光源618Aを有する。指輪702は光源618A及び618Iを有する。指輪704は光源618A、618E、618I、及び618Mを有する。指輪706は光源618A、618C、618E、618G、618I、618K、618M、及び618Oを有する。指輪708は光源618A、618B、618C、618D、618E、618F、618G、618H、618I、618J、618K、618L、618M、618N、618O、及び618Pを有する。各指輪606、702、704、706、及び708は、ウェアラブルデバイスWD1からWD10のいずれかの例である。光源618A、618B、618C、618D、618E、618F、618G、618H、618I、618J、618K、618L、618M、618N、618O、及び618Pのいずれかは光源LE1からLE10のいずれかの例である。
【0148】
指輪の光源は指輪の外周部に位置することに留意されたい。例えば、光源618A及び618Iは、指輪606の直径の両端部に位置する。光源618A及び618Iが両端部に位置するとき、光学センサ104及び106(図1)は、一度に光源618A及び618Iによって発せられる光に同時にアクセスできない。これは、光学センサが光源618Aの位置及び光源618Iの位置を決定できるようにする。
【0149】
多様な実施形態では、指輪の光源は、例えば連続して、輪番で、無作為に等、順次光を発する。例えば、光源618Aが光を発し、次いで光源618Eが光を発し、その後光源618Iが光を発し、次いで光源618Mが指輪704で光を発し、輪番で連続して光を発する。別の例として、光源618Aが光を発し、次いで光源618Gが光を発し、次いで光源618Mが光を発し、次いで光源618Eが光を発する等である。この例では、光源618A、618G、618M、及び618Eは無作為に順次光を発する。
【0150】
いくつかの実施形態では、指輪の光源は互いから等距離にある。例えば、指輪708の光源618Aと618Bとの間の周辺距離は、光源618Bと618Cとの間の周辺距離と同じである。
【0151】
多様な実施形態では、指輪の光源は互いから等距離ではない。例えば、指輪708の光源618Aと618Bとの間の周辺距離は、光源618Bと618Cとの間の周辺距離を上回るまたは未満である。
【0152】
図7Bは、光源618A、618E、618I、618M、618Q、618R、618S、及び618Tからの発光の順序付けを示すための複数の指輪704及び710の実施形態の図である。指輪710は、ウェアラブルデバイスWD1からWD10のいずれかの例である。さらに、光源618Q、618R、618S、及び618Tのいずれかは、光源LE1からLE10のいずれかの例である。光源618Q、618R、618S、及び618Tは指輪710の外周部に位置し、互いから等距離である。いくつかの実施形態では、光源618Q、618R、618S、及び618Tは互いから等距離ではない。指輪704及び710の両方とも同じ数の光源を有する。
【0153】
いくつかの実施形態では、指輪704はユーザー101(図1)の1本の指に着用され、指輪710はユーザー101の別の指に着用される。例として、指輪704はユーザー101の左手に着用され、指輪710はユーザー101の右手に着用される。別の例として、指輪704はユーザー101の手の1本の指に着用され、指輪710はユーザー101の手の別の指に着用される。
【0154】
指輪704及び710の光源は順次且つ交互に光を発する。例えば、光源618A、618E、618I、618M、618Q、618R、618S、及び618Tによる発光の交互のシーケンスがある。さらに説明すると、光源618Aが1番目に光を発し、光源618Qが2番目に光を発し、光源618Mが3番目に光を発し、4番目に光を発する光源618Tが後に続き、光源618Iが5番目に光を発し、6番目に光を発する光源618Sが後に続き、次いで7番目に光を発する光源618Eが後に続き、次いで光源618Rが8番目に光を発する。
【0155】
図7Cは異なる形状の指輪を示すための図である。例えば、指輪712は正方形の形状であり、別の指輪714は楕円形の形状であり、指輪716は矩形の形状であり、指輪718は三角形の形状であり、別の指輪720は5角形の形状である。いくつかの実施形態では、指輪は多角形の形状である。多様な実施形態では、指輪は曲線形状及び直線形状の組合せである。いくつかの実施形態では、指輪は曲線形状である。各指輪712、714、716、及び720はウェアラブルデバイスWD1からWD10のいずれかの例である。
【0156】
図8A図8Iは、いくつかの光学センサがHMD800に置かれる、異なる場所L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18、L19、L20、及びL21を示すための図である。例えば、光学センサ104(図1)は、HMD800上の位置L1からL21のいずれかに置かれる。図8A−1に示されるように、HMD800はHMD102(図1)の例である。いくつかの実施形態では、HMD800はSony Computer Entertainment America LLCによる研究開発の成果である。HMD800は、ユーザー101(図1)の頭部でHMD800を支えるヘッドサポート802を含む。HMD800は、HMD800の電源を投入するまたは電源を切断することを可能にするオン/オフスイッチ804を含む。
【0157】
HMD800は、目を1つまたは複数の表示画面808で覆うためにユーザー101の目の前に置かれるフレーム806を含む。フレーム806は1つまたは複数の表示画面808を埋め込み、保護する。ゲームは、ユーザー101に娯楽、ゲームプレイの経験を与えるために1つまたは複数の表示画面808に表示される。フレーム806は、HMD800の残りの本体812が位置する側面に反対のフレーム806の側面に向く前面810を有する。残りの本体814は、ユーザー101の頭部の裏面を支えるバックサポート810を含む。また、残りの本体814は、ユーザー101の頭部の側面及び後部の回りにフィットするフレーム816も含む。光学センサ104及び106は、HMD800のフレーム806の底面でHMD800に取り付けられる。光学センサ104は、図8A−2に示される場所L19に対して位置し、光学センサ106は、やはり図8A−2に示される場所L20に位置する。
【0158】
図8A−2は、光学センサがHMD800のフレーム806の外部に取り付けられる、例えばL1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18、及びL21等の多様な他の場所を示すためのHMD800の実施形態の図である。
【0159】
いくつかの実施形態では、例えば光源、反射テープ、反射材料等の1つまたは複数のマーカーは、場所L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18、L19、L20、及びL21の内の1つまたは複数に置かれて、画像取込装置がマーカーの画像を取り込んでHMD800の位置及び/または向きを決定できるようにする。
【0160】
本明細書に使用されるように、画像取込装置はデジタルカメラ、またはステレオカメラ、または深度感知画像取込装置、または深度カメラ、または赤外線カメラ等である。
【0161】
HMD800の前面810の実施形態の前面図を提供する図8Bを参照すると、いくつかの光学センサOS2、OS14、OS19、及びOS20は場所L2、L14、L19、及びL20に位置する。光学センサOS2は前面810の左端LEに位置し、光学センサOS14は前面810の右端REに位置する。光学センサOS19及びOS20は、前面810の底縁BEに位置する。
【0162】
いくつかの実施形態では、底縁BEは、例えば80度から100度等に及ぶ実質的に垂直である、または左端及び右端のそれぞれに垂直である。多様な実施形態では、前面810の上端TEは左縁及び右縁のそれぞれに対し実質的に垂直または垂直であり、底縁BEに平行または実質的に平行である。
【0163】
図8Cは、HMD800(図8A)の前面810の実施形態の前面図である。複数の光学センサOS5、OS8、及びOS11は前面810の場所L5、L8、及びL11に位置する。いくつかの実施形態では、光学センサOS5、OS8、及びOS11が互いから等しい距離に位置することに留意されたい。多様な実施形態では、光学センサOS5、OS8、及びOS11は互いから等しくない距離に位置する。例えば、光学センサOS5とOS8の間の距離は、光学センサOS8とOS11の間の距離を上回るまたは未満である。
【0164】
図8DはHMD800(図8A)の前面810の実施形態の前面図である。図8Dに示されるように、光学センサOS5及びOS11は対応する位置L5及びL11で前面810に位置する。
【0165】
図8Eは、HMD800(図8A)の前面810の実施形態の図である。複数の光学センサOS4、OS6、OS10、及びOS12は前面810の角に位置する。例えば、光学センサOS4は前面810の場所L4の左上角に位置し、光学センサOS10は前面810の場所L10の右上角に位置し、光学センサOS12は前面810の場所L12の右下角に位置し、光学センサOS6は前面810の場所L6の左下角に位置する。
【0166】
光学センサOS4とOS10の間の距離は光学センサOS6とOS12の間の距離と同じまたは異なる。さらに、光学センサOS4とOS6の間の距離は光学センサOS10とOS12の間の距離と同じまたは異なる。
【0167】
図8Fは、前面810の底縁BEの光学センサOS19、OS20、及びOS21の場所を示すための前面810の実施形態の図である。例えば、光学センサOS19は場所L19に位置し、光学センサOS20は場所L20に位置し、光学センサOS21は場所L21に位置する。
【0168】
多様な実施形態では、光学センサOS19、OS21、及びOS20は、互いから等距離にある。いくつかの実施形態では、光学センサOS19とOS21の間の距離は光学センサOS20とOS21の間の距離とは異なる。
【0169】
図8Gは、前面810の対応する左端及び右端の光学センサOS2及びOS14の場所を示すための前面810の実施形態の図である。さらに、図8Gでは、光学センサOS8は前面810の位置L8に位置する。
【0170】
いくつかの実施形態では、光学センサOS2、OS8、及びOS14は互いから等距離に位置する。多様な実施形態では、光学センサOS2とOS8の間の距離は光学センサOS8とOS14の間の距離と異なる。
【0171】
図8Hは、光学センサOS2及びOS14が前面810のそれぞれの左端と右端に位置する前面810の実施形態の図である。
【0172】
いくつかの実施形態では、光学センサOS2及びOS14は前面810の対応する左端及び右端の中心に位置する。多様な実施形態では、光学センサOS2及びOS14は、それぞれの左端及び右端に位置するが、それぞれの左端及び右端の中心から少し離れている。
【0173】
図8Iは、それぞれの場所L6、L7、及びL12に位置する光学センサOS6、OS7、及びOS12を示すための前面図810の実施形態の図である。場所L6、L7、及びL12が前面810上で三角形のパターンを形成することに留意されたい。
【0174】
多様な実施形態では、光学センサOS6とOS7の間の距離は、光学センサOS7とOS12の間の距離と同じである。いくつかの実施形態では、光学センサOS6とOS7の間の距離は光学センサOS7とOS12の間の距離とは異なる。
【0175】
図9Aは、ウェアラブルデバイスWD1からWD10への電力信号の送信、及びウェアラブルデバイスWD1からWD10のそれぞれからの光信号の受信を示すための信号発生器及び検出器(SGD)901の実施形態の図である。SGD901は、信号送信機608及び電源610を含む。SGD901は、ともに任意選択であるフィルター902及びサンプラー904をさらに含む。さらに、SGD901はA−D変換器906、ならびに例えば光学センサ104及び106(図1)等の複数のセンサデバイス914を含む。
【0176】
すべてのウェアラブルデバイスWD1からWD10に送信される電力信号611を受信すると、ウェアラブルデバイスWD1からWD10は順次に光を発する。例えば、LE10が期間t10の間に光を発するまで、LE1は期間t1の間に光を発し、LE2は期間t2の間に光を発し、LE3は期間t3の間に光を発する等である。いくつかの実施形態では、期間及びタイムスロットは本明細書で交互に用いられることに留意されたい。LE1から10による発光が繰り返す。例えば、LE1は、LE10がシーケンスの最後で光を発した後に光を発する。フィルター902は、可視スペクトルまたは赤外線スペクトルに該当する光の一部分で濾過する。例えば、LE1(図1)が可視光を発するとき、フィルター902は可視光で濾過して、例えば周囲からの赤外光、LE1からの赤外光等の任意の赤外光を除去する。
【0177】
光学センサデバイス914は、電気信号を生成するためにウェアラブルデバイスWD1からWD10によって順次発せられる光を検出する。電気信号は、A−D変換器906によってアナログ形式からデジタル形式に変換され、A−D変換器906からサンプラー904に提供されるデジタルデータを生成する。多様な実施形態では、A−D変換器906は光学センサデバイス914の部分である。サンプラー904はデータの複数のサンプルを生成するためにデジタルデータをサンプリングする。
【0178】
いくつかの実施形態では、SGD901がHMD102(図1)の中に位置することに留意されたい。
【0179】
多様な実施形態では、SGD901はA−D変換器906及びサンプラー904を除外する。これらの実施形態では、光学センサデバイス914によって生成される電気信号は、ゲームコンソール108(図1)の通信装置114(図1)にHMD102の通信装置116(図1)によって送信される。光学センサデバイス914はHMD102の通信装置116に結合される。さらに、これらの実施形態では、ゲームコンソール108はA−D変換器906及びゲームコンソール108では任意選択であるサンプラー904を含む。ゲームコンソール108のA−D変換器906は、光学センサデバイス914によって生成される電気信号を受信するために通信装置114に接続される。
【0180】
いくつかの実施形態では、A−D変換器906及びサンプラー904は、HMD102の中の代わりにゲームコンソール108の中に位置する。例えば、電気信号は、通信装置114及び116を介して光学センサデバイス914からゲームコンソール108の中のA−D変換器906に通信される。
【0181】
図9Bは、望ましくなく周波数を除外するための周波数フィルター922を含む別のSGD920の実施形態の図である。SGD920は、光学センサデバイス914、時間−周波数ドメイン変換器924、周波数フィルター922、周波数−時間ドメイン変換器926、A−D変換器906、及びサンプラー904を含む。サンプラー904は任意選択でSGD920に含まれることに留意されたい。
【0182】
光学センサデバイス914は、電気信号を生成するためにウェアラブルデバイスWD1からWD10によって順次発せられる光を感知する。時間−周波数ドメイン変換器924は電気信号を時間ドメインから周波数ドメインに変換して周波数ドメイン信号を生成する。周波数フィルター922は可視周波数または赤外線周波数を除外してフィルター処理した信号を生成する。例えば、LE1からLE10が可視光を発するとき、周波数フィルター922は赤外線周波数を除外し、LE1から1が赤外光を発するとき、周波数フィルター922は可視周波数を除外する。
【0183】
周波数−時間ドメイン変換器926はフィルター処理された信号を受信し、周波数ドメインから時間ドメインにフィルター処理された信号を変換して戻す。A−D変換器906は、周波数−時間ドメイン変換器926から受信される時間ドメイン信号をアナログ形式からデジタル形式に変換し、デジタル信号を生成する。サンプラー904は、A−D変換器906から受信されるデジタル信号をサンプリングし、サンプリングされた信号を生成する。
【0184】
いくつかの実施形態では、SGD920はHMD102(図1)に位置する。
【0185】
多様な実施形態では、時間−周波数ドメイン変換器924、周波数フィルター922、周波数−時間ドメイン変換器926、A−D変換器906、及びサンプラー904は、HMD102の中の代わりにゲームコンソール108の中に位置する。例えば、電気信号は、通信装置114及び116を介してゲームコンソール108の中の時間−周波数ドメイン変換器924に通信される。
【0186】
図10A−1は、ウェアラブルデバイス1000の構成要素を示すためのウェアラブルデバイス1000の実施形態のブロック図である。ウェアラブルデバイス1000は、ウェアラブルデバイスWD1からWD10(図1)のいずれかの例である。ウェアラブルデバイス1000は、LE1から10(図1)のいずれかの例である光源1006を含む。ウェアラブルデバイス1000は信号受信機1002、電荷蓄積装置104、及びスイッチ1008を含む。電荷蓄積装置1004の例は、例えばコンデンサ616(図6C)等の1つまたは複数のコンデンサを含む。電荷蓄積装置1004の別の例は電池を含む。スイッチ1008の例はトランジスタまたはトランジスタのグループを含む。
【0187】
信号受信機1002は信号送信機608(図9A)から電力信号611を受信し、電力信号611を復調して、信号受信機1002によって電荷蓄積装置1004に提供される充電信号を生成する。電荷蓄積装置1004は電荷蓄積信号の電荷を蓄積し、スイッチ1008が閉じられるときにスイッチ1008を介して蓄積された電荷を光源1006に提供する。光源1006は、電荷蓄積信号の電荷を受け取ると光を発するように予めプログラムされる。光源1006は、スイッチ1008が閉じられているときに電荷蓄積信号の電荷を受け取り、スイッチ1008が開いているときには電荷蓄積信号を受信しない。
【0188】
スイッチ1008は、遅延コントローラ101によって送信される信号、及び周波数コントローラ1012によって送信される信号に基づいて開く、または閉じる。いくつかの実施形態では、本明細書に使用されるようなコントローラは、プロセッサ、ASIC、PLD、またはその組合せを含む。遅延コントローラ1010はスイッチ1008を閉じるための時間遅延で予めプログラムされる。例えば、遅延コントローラ1010は、遅延コントローラ1010の中に予めプログラムされる時間遅延の後に閉じるためにスイッチ1008を制御する。光源1006は、電荷蓄積装置1004に蓄積される電荷が電荷蓄積装置1004から受け取られるときに時間遅延後に光を発する。いくつかの実施形態では、時間遅延は、電荷蓄積装置1004を所定のレベルを超えて充電できるようにするために予めプログラムされる。
【0189】
閉じるためにスイッチ1008を制御した後、遅延コントローラ1010は周波数コントローラ1012に信号を送信する。周波数コントローラ1012から信号を受信すると、周波数コントローラ1012は、スイッチ1008がそれにより開閉する周波数を制御する信号を生成する。光源1006は、電荷蓄積装置1004の電荷の量がレベルを下回るまでそれにより、スイッチ1008が閉じる周波数で光を発する。
【0190】
いくつかの実施形態では、手袋の中に統合される1つまたは複数の光源が、例えば電池、コンデンサ、複数のコンデンサ等の電源によって電力を提供される。例えば、手袋のそれぞれの指部分は1つのコンデンサまたは電力信号611によって充電される複数のコンデンサを含む。電池の例は再充電可能電池及び再充電不可電池を含む。電池が手袋の光源に電力を提供するために使用される場合、電力信号611は必要とされず、スイッチ1008は光源1006に対する光の提供を可能にする、または可能にしないために電池に接続される。いくつかの実施形態では、バックアップ電池は電荷蓄積装置1004に接続されて、電荷蓄積装置1002が所定のレベルを超えて電力信号611で充電されない場合に、電荷蓄積装置1004を充電する。
【0191】
図10A−2は、光源1006による発光をトリガするための電荷センサ1013の使用を示すためのウェアラブルデバイス1020の実施形態の図である。ウェアラブルデバイス1020はウェアラブルデバイスWD1からWD10(図1)のいずれかの例である。電荷センサ1013は電荷蓄積装置1004に、及びコンパレータ1017に接続される。多様な実施形態では、コンパレータ1017はコントローラ、またはASIC、またはPLD、またはその組合せとして実装される。
【0192】
電荷センサ1013は電荷蓄積装置1004に蓄積される静電荷の量を測定し、ウェアラブルデバイス1020のコンパレータ1017に測定された電荷を提供する。コンパレータ1017は、測定された電荷が所定の量を超えるかどうかを判断し、遅延コントローラ1010を活性化するために遅延コントローラ1010に信号を送信する。遅延コントローラ1010が活性化されるとき、遅延コントローラ1010はウェアラブルデバイス1020のための予めプログラムされた遅延の量を待機し、スイッチ1008を閉じるために遅延の後にスイッチ1008に信号を送信する。さらに、スイッチ1008を閉じるために信号を送信すると、遅延コントローラ1010はまた、所定の周波数または予めプログラムされた周波数でスイッチ1008を開閉するために、周波数コントローラ1012に信号を送信する。
【0193】
遅延コントローラ1010の中に前ってプログラムされる遅延の量は、ウェアラブルデバイスWD1からWD10のそれぞれに対して異なることに留意されたい。例えば、WD1の遅延コントローラ1010の中に予めプログラムされる遅延の量は、WD2の遅延コントローラ1010に予めプログラムされる遅延の量未満であり、WD2の遅延コントローラ1010の中に予めプログラムされる遅延の量は、WD3の遅延コントローラ1010の中に予めプログラムされる遅延の量未満である、等である。
【0194】
さらに、いくつかの実施形態では、スイッチ1008がそれによってオン及びオフにされ、周波数コントローラ1012の中に予めプログラムされる周波数が、ウェアラブルデバイスWD1からWD10のすべてに対して同じであることに留意されたい。
【0195】
図10Bは、電荷蓄積装置1004(図10A−1、図10A−2)の充電及び放電を示すためのグラフ1022の実施形態である。グラフ1022は、充電の量対時間tを描く。電力信号611(図10A−2)の受信により、電荷蓄積装置1004に蓄積される電荷の量は増加する。電荷蓄積装置1004内の電荷が所定量に達するとき、スイッチ1008(図10A−1、図10A−2)は閉じられ、光源1006(図10A−1、図10A−2)が光を発する。電荷蓄積装置1004の電荷の量は、所定の量に到達した後、例えば所定の範囲内で等、一定または実質的に一定に保持される。電力信号611がもはや送信されていないとき、電荷蓄積装置1004の電荷は消散し、最終的に光源1006は、スイッチ1008が閉じられてもオンにならない、またはオフのままである。
【0196】
図10Cは、光源LE1からLE10による順次発光を示すためのタイミング図である。電力信号611(図10A−1)を受信すると、光源LE1は光を発する。光源LE1は期間t1の間光を発した後に発光を停止する。次いで、期間t1の後、電力信号611を受信すると、光源LE2は期間t2の間光を発する。期間t2の後、光源LE2は光を発するのを止め、光源LE3は期間t3の間、発光を開始する。期間t3の後、光源LE3は発光を停止し、光源LE4は期間t4の間光を発する。これが期間t5、t6、t7、t8、t9、及びt10の間続行する。期間t10の間、光源LE10は光を発する。光源LE10が期間t10の間に光を発した後、光源LE1は期間t11の間発光を繰り返す。残りの光源LE2からL10による発光の別のサイクルは、期間t11の後に繰り返す。例えば、発光は期間t12、t13、t14、t15、t16、t17、t18、t19、t20、t21、t22、及びt23の間繰り返す。
【0197】
図11A−1は、電力信号611及び同期信号1102の生成を示すための信号発生器1100の実施形態の図である。いくつかの実施形態では、信号発生器1100は、HMD102(図1)に位置する。信号発生器1100は、信号送信機608、電源610、別の信号送信機1104及び同期装置1107、メモリデバイス1108、ならびにクロックソース1109を含む。多様な実施形態では、同期装置1107はコントローラ、またはASIC、またはPLD、またはその組合せとして実装される。
【0198】
メモリデバイス1108は、ウェアラブルデバイスWD1からWD10の、例えば、数字、英数字、文字等の識別コード(ID)を記憶する。例えば、ID1はウェアラブルデバイスWD1に割り当てられ、別のID2はウェアラブルデバイスWD2に割り当てられ、さらに別のID3はウェアラブルデバイスWD3に割り当てられ、さらに別のID4はウェアラブルデバイスWD4に割り当てられ、ID5はウェアラブルデバイスWD5に割り当てられ、別のID6はウェアラブルデバイスWD6に割り当てられ、さらに別のID7はウェアラブルデバイスWD7に割り当てられ、さらに別のID8はウェアラブルデバイスWD8に割り当てられ、別のID9はウェアラブルデバイスWD9に割り当てられ、別のID10はウェアラブルデバイスWD10に割り当てられる。いくつかの実施形態では、識別子及び識別コードは本明細書で交互に用いられる。
【0199】
電力信号611は生成され、上述されるようにウェアラブルデバイスWD1からWD10のすべてに、例えば放送される等、送信される。電力信号611の送信中、同期装置1107は、メモリデバイス1108からウェアラブルデバイスWD1からWD10の1つのID1等のIDを取り出し、IDを埋め込む信号を生成する。IDを埋め込む信号は、例えばクロック発振器、位相ロックループを有するクロック発振器等のクロックソース1109によって生成されるクロック信号と同期するクロックサイクルの間に生成される。IDを埋め込む信号は、信号送信機1104に同期装置1107によって提供される。信号送信機1104の例は、同期装置1107によって生成され、同期装置1107から受信される信号で搬送波波形を変調する変調器を含む。搬送波波形は、同期信号1102を生成するために信号送信機1104によって変調される。ウェアラブルデバイスWD1からWD10の1つのIDを有する同期信号1102は、ウェアラブルデバイスWD1からWD10のすべてに信号送信機1104によって送信される。
【0200】
ウェアラブルデバイスWD1からWD10の1つのIDがその間に生成されるクロックサイクルの後に連続的に続くクロックサイクル等の次のクロックサイクルの間、例えばWD2等のウェアラブルデバイスの別の1つの、例えばID2等のIDを含む別の信号がクロック信号と同期して生成され、次いでウェアラブルデバイスWD1からWD10に信号送信機1104によって送信される。このようにして、同期信号の生成及び送信は、例えばWD3からWD10等の残りのすべてのウェアラブルデバイスのためにクロック信号と同期して実行され、次いですべてのウェアラブルデバイスWD1からWD10のための同期信号の生成及び送信はクロック信号と同期して繰り返される。
【0201】
いくつかの実施形態では、同期装置1107によって生成される信号と電源610によって生成される信号の両方とも、送信機608または送信機1104のどちらかによって送信される。これらの実施形態では、電源610及び同期装置1107は、送信機608または送信機1104のどちらかに接続される。
【0202】
いくつかの実施形態では、ウェアラブルデバイスWD1からWD10の1つのIDを埋め込むことに加えて、時間遅延も同期信号に埋め込まれる。これらの実施形態では、メモリデバイス1108は、ウェアラブルデバイスWD1からWD10のIDの間のマッピング、及びその後でウェアラブルデバイスWD1からWD10が電力信号611を受信すると光を発する時間遅延を含む。例えば、メモリデバイス1108は、ID1と時間遅延td1との間のリンクを含む。時間遅延td1は、ウェアラブルデバイスWD1が電力信号611を受信した後のウェアラブルデバイスWD1のLE1による発光の時間遅延である。同期装置1107は、同期信号の中に、ID1から10、ID1から10と光源LE1からLE10による発光の、光源LE1からLE10等による発光の、例えばtd1、td2、td3、td4、tf5、tf6、tf7、td8、td9、td10等の時間遅延との間のマッピングを埋め込む。例えば、同期装置1107は、ID1、及びクロックソース1109によって生成されるクロック信号の第1のクロックサイクルの間の時間遅延td1を埋め込み、ID2及びクロック信号の第2のクロックサイクルの間の時間遅延td2を埋め込む。第2のクロックサイクルは第1のクロックサイクルに連続する。
【0203】
多様な実施形態では、ウェアラブルデバイスWD1からWD10の内の1つのIDを埋め込むことに加えて、時間遅延及び周波数も同期信号の中に埋め込まれる。これらの実施形態では、メモリデバイス1108は、ウェアラブルデバイスWD1からWD10のIDと、ウェアラブルデバイスWD1からWD10が電力信号611を受信すると光を発した後の時間遅延と、発光の周波数との間のマッピングを含む。例えば、メモリデバイス1108は、ID1、時間遅延td1、及び周波数f1の間のリンクを含む。同期装置1107は、ID1から10、ID1から10と、光源LE1からLE10による発光の、例えばtd1、td2、td3、td4、tf5、tf6、tf7、td8、td9、td10等の時間遅延との間のマッピング、及びID1から10と、光源LE1からLE10による発光の、例えばf1、f2、f3、f4、f5、f6、f7、f8、f9、f10等の周波数との間のマッピングを同期信号に埋め込む。例えば、同期装置1107はクロックソース1109によって生成されるクロック信号の第1のクロックサイクルの間に、ID1、時間遅延td1、及び周波数f1を埋め込み、クロック信号の第2のクロックサイクルの間に、ID2、時間遅延td2、及び周波数f2を埋め込む。
【0204】
図11A−2は、光源LE1からLE10による発光と、光学センサデバイス914による光の収集との同期を示すための信号発生器1101の実施形態の図である。信号発生器1101は、同期装置1107が光学センサデバイス914に接続されることを除き、信号発生器1100(図11A−1)と同じである。例えばID1等の第1のIDを含む同期信号の生成時、同期装置1107は光学センサデバイス914に活性化信号を送信して、光を収集するために光学センサデバイス914を有効化する、オンにする等、活性化する。光学センサデバイス914が活性化されるとき、光学センサデバイスは第1のIDを有する光源によって発せられる光を収集する。同期装置1107は、活性化信号が送信された後の所定の期間後に光学センサデバイス914を、例えば無効にする、オフにする等、非活性化するために非活性化信号を送信する。同様に、例えばID2等の第2のIDを含む同期信号を生成すると、同期装置914は光学センサデバイス914に別の活性化信号を送信して、第2のIDを有する公園から光を収集するために光学センサデバイス914を活性化する。このようにして、光学センサデバイス914は、光源LE1からLE10によって発光に同期される。
【0205】
いくつかの実施形態では、光学センサデバイス914は、クロックソース1109によって生成されるクロック信号と同期してオン及びオフになる。クロックソース1109は、光学センサデバイス914に接続される。例えば、クロック信号のクロックサイクルのデューティサイクルの間、同期装置914は第1のIDを有する同期信号を送信し、光学センサデバイス914は、第1のIDを有する光源から光を収集するためにオンデューティーサイクルによって活性化される。クロック信号のクロックサイクルのオフデューティーサイクルの間、光学センサデバイス914はオフデューティーサイクルによって非活性化され、光源から光を収集できない。
【0206】
図11Bは、光を生成するためにウェアラブルデバイスWD1からWD10(図1)の1つの識別コード(ID)の使用を示すための発光体デバイス1110の実施形態の図である。発光体デバイス1110は、ウェアラブルデバイスWD1からWD10のいずれかの中で実装される。発光体デバイス1110は、信号受信機1002、電荷蓄積装置1004、スイッチ1008、別の信号受信機1112、及びIDコンパレータ1114を含む。いくつかの実施形態では、IDコンパレータ1114はコントローラ、またはPLD、またはASIC、またはその組合せとして実装される。
【0207】
信号受信機1102は、ウェアラブルデバイスWD1からWD10の1つのIDを有する同期信号1102を受信する。信号受信機1102は、IDコンパレータ1114に対してウェアラブルデバイスWD1からWD10の1つのIDを有する信号を生成するために同期信号1102を復調する。IDコンパレータ1114は、信号受信機1112から受信される信号の中で受信されるIDを、IDコンパレータ1114のメモリデバイスに記憶されるIDと比較して、IDが一致するかどうかを判断する。IDコンパレータ1114は、IDが一致すると判断すると、スイッチ1008を閉じるためにスイッチ1008に信号を送信する。スイッチ1008が開いているとき、電荷蓄積装置1004からの電荷は、スイッチ1008を介して光源1106に送信される。電荷を受け取ると、光源1106が光を発する。
【0208】
多様な実施形態では、信号受信機1112によって実行されるとして、本明細書に説明される動作は信号受信機1002によって実行される。これらの実施形態では、信号受信機1002は、電荷蓄積装置1004及びIDコンパレータ1114の両方に接続される。
【0209】
図11Cは、ウェアラブルデバイスWD1からWD10(図1)のIDの使用、及びIDと時間遅延td1からtd10との間の関連付けを示すための別の発光体デバイス1130の実施形態の図である。発光体デバイス1130はウェアラバウルデバイスWD1からWD10のいずれかの中に実装される。発光体デバイス1130は信号受信機1002、電荷蓄積素子1004、スイッチ1008、信号受信機1112、IDコンパレータ1114、及び時間遅延抽出器(TDE)1133を含む。いくつかの実施形態では、TDE113はコントローラ、またはPLD、またはASIC、またはその組合せとして実装される。
【0210】
ウェアラブルデバイスWD1からWD10のIDと時間遅延td1からtd10との間の関連付けを含む同期信号は、発光体デバイス1130の信号受信機1112によって受信される。信号受信機1112は同期信号を復調して、ウェアラブルデバイスWD1からWD10のIDと時間遅延td1からtd10との間の関連付けを有する信号を生成する。IDコンパレータ1114は、信号受信機1112からの信号の中で受信されたID1から10、及びIDコンパレータ1114のメモリデバイスに記憶されるIDとの比較を実行して、一致があるかどうかを判断する。IDコンパレータ1114は、一致があると判断すると、一致したID、及び一致したIDと時間遅延td1からtd10の1つとの間の関連付けをTDE1133に送信する。
【0211】
TDE1133は、一致したIDと時間遅延td1からtd10の1つとの間の関連付けから時間遅延を、例えば識別する等、抽出し、スイッチ1008に時間遅延を適用する。例えば、TDE1133は、一致したIDに対応する時間遅延の後に、スイッチを閉じるためにスイッチ1108に信号を送信する。スイッチ1008が閉じられるとき、電荷蓄積装置1004に蓄積される電荷は、光源1006による発光のためにスイッチ1008を介して電荷蓄積装置1004から光源1006に供給される。
【0212】
図11Dは、ウェアラバウルデバイスWD1からWD10(図1)のIDの使用、IDと時間遅延td1からtd10との間の関連付け、及びIDと周波数f1からf10との間の関連付けを示すための別の発光体デバイス1135の実施形態の図である。発光体デバイス1135は、ウェアラブルデバイスWD1からWD10のいずれかの中で実装される。発光体デバイス1135は、信号受信機1002、電荷蓄積装置1004、スイッチ1008、信号受信機1112、IDコンパレータ1114、ならびに周波数及び時間遅延抽出器(FTD)1132を含む。いくつかの実施形態では、FTD1132は、コントローラ、またはPLD、またはASIC、またはその組合せとして実装される。
【0213】
ウェアラブルデバイスWD1からWD10のIDと時間遅延td1からtd10と周波数f1からf10との間の関連付けを含む同期信号は、発光体デバイス1135の信号受信機1112によって受信される。信号受信機1112は同期信号を復調して、ウェアラブルデバイスWD1からWD10のIDと、時間遅延td1からtd10と、周波数f1からf10との間の関連付けを有する信号を生成する。IDコンパレータ1114は、信号受信機1112からの信号の中で受信されるID1から10と、IDコンパレータ1114のメモリデバイスに記憶されるIDとの比較を実行して一致があるかどうかを判断する。IDコンパレータ1114は、一致があると判断すると、一致したID、一致したIDと時間遅延td1からtd10の1つとの間の関連付け、及び一致したIDと周波数f1からf10の内の1つとの間の関連付けを、FTD1132に送信する。
【0214】
FTD1132は、一致したIDと、時間遅延td1からtd10の内の1つと、周波数f1からf10の内の1つとの間の関連付けから時間遅延及び周波数を、例えば識別する等、抽出し、スイッチ1008に周波数及び時間遅延を適用する。例えば、FTD1132は、一致したIDに対応する時間遅延の後にスイッチを閉じるためにスイッチ1108に信号を送信し、一致したIDに対応する周波数でスイッチの開閉を繰り返すために信号を送信する。スイッチ1008が閉じられるとき、電荷蓄積装置1004に蓄積される電荷は、光源1006による発光のためにスイッチ1008を介して電荷蓄積装置1004から光源1006に供給される。
【0215】
図12は、ウェアラブルデバイスWD1からWD10の中の発光体によって発せられる光に基づいて、ウェアラブルデバイスWD1からWD10の位置を決定するために信号検出器1200及びゲームコンソール108を含むシステム1201の実施形態の図である。信号検出器1200は、慣性センサ1209、光学センサデバイス104及び106、A−D変換器906、サンプラー904、ならびに通信装置116を含む。さらに、ゲームコンソール108はメモリデバイス1202、位置決定モジュール1204、画像取込装置1211、及びメモリデバイス1208を含む。信号検出器1200は、HMD102(図1)の中に実装される。いくつかの実施形態では、信号検出器1200は、ゲームコンソール108(図1)の中に実装される。上記に示されるように、サンプラー904は任意選択の装置である。
【0216】
いくつかの実施形態では、位置決定モジュール1204は、PLD、またはASIC、またはコントローラ、またはその組合せとして実装される。
【0217】
サンプラー904によって生成されるサンプルは、通信装置116及び114を介してサンプラー904によって位置決定モジュール1204に提供される。さらに、HMD102の位置及び向きは通信装置116及び114を介して位置決定モジュール1204に提供される。HMD102の位置及び向きはHMD102の基準枠FR1の位置及び向きと同じであることに留意されたい。基準枠FR1は、以下にさらに説明される。
【0218】
いくつかの実施形態では、例えば画像取込装置1211等の画像取込装置は、HMD102の画像を取り込み、画像は現実世界のHMD102の位置及び向きを位置決定モジュール1204に提供する。画像取込装置が、例えばテレビ等のゲームコンソール108の外部に位置するとき、画像は画像取込装置の通信装置及びゲームコンソール108の通信装置114を介して位置決定モジュール1204に転送される。
【0219】
多様な実施形態では、HMD102の位置及び向きは、例えば1つまたは複数のジャイロスコープ、または磁力計、または加速度計、またはその組合せ等の慣性センサ1209を使用し、及び画像取込装置から得られたデータから測定される。
【0220】
サンプルは、光学センサ104(図1)の結像面での光の入射の、例えば(x、y)位置等の位置を決定するために使用される。光学センサ104の結像面を表すデータは図12で104'として示される。入射する光は、光源LE1からLE10の内の1つによって生成される。例えば、サンプルは、光学センサ104の電極によって生成される電流信号からサンプリングされるデータを含む。位置決定モジュール1204は、電流信号から生成されるサンプリングされたデータに基づいて光学センサ104の結像面のx位置及びy位置を計算して、結像面の光源から発せられる光の入射の(x、y)位置を決定する。さらに、同様に、位置決定モジュール1204は、電流信号から生成されるサンプリングされたデータに基づいて光学センサ106の結像面のx位置及びy位置を計算して、光学センサ106の結像面の光源から発せられる光の入射の(x、y)位置を決定する。光学センサ106の結像面を表すデータは、106'として図12に示される。光学センサ104及び106の(x、y)位置は、位置決定モジュール1204によって基準枠FR1に対して決定される。
【0221】
さらに、位置決定モジュール1204は、光学センサ104及び106の間の、ならびに光学センサ104及び106を通過する基準枠FR1に対する、例えば光源LE1からLE10等のいずれか等の光源の位置を決定するために光線交差計算(ray intersection calculation)を適用する。光源の位置は光源によって発せられ、光学センサ104及び106によって検出される光から決定される。例えば、光線公差計算は2つ以上の光線から発生し、各光線は、例えばLE1等の光源によって発せられる光線である。光学センサ104等、光学センサ106等の光学センサは、例えば光の入射の(x、y)位置、光学センサの結像面の光源から発せられる光の明るい点等の点を検出することができ、基準枠FR1が光学センサ104と106との間にあることを示す情報は位置決定モジュール1204の中に事前に記憶される。光学センサは、光学センサと光源との間に見通し線があるときに光の点を検出できることに留意されたい。いくつかの実施形態では、基準枠FR1がHMD102(図1)の基準枠であることにもさらに留意されたい。光学センサの結像面上の点の(x、y)位置及び光学センサの光学特性を適用することによって、位置決定モジュール1204は、明るい点が、光源によって発せられる光から作成される光線に沿ったどこかで生じたと判断する。2つの光学センサ104及び106、ならびに例えば光学センサ104及び106の結像面のx軸を通過する線、2つの光学センサ104と106との間の基準枠FR1等のx軸線等の基準枠FR1のベースライン、ならびに光源から光を検出する光学センサ104及び106により、現実世界で交差する2つの光線があり、交差の点は基準枠FR1からの光源の位置である。いくつかの実施形態では、基準枠FR1はHMD102のベースラインである。光線公差計算演算は、例えば、コンピュータコード、ソフトウェアプログラム等の論理としてメモリデバイス1202に記憶される。
【0222】
多様な実施形態では、2つの光線は交差しないことがある。これらの実施形態では、光源の位置は、光線の最も近い2つの点の間の中点として、最接近点を求めるアルゴリズムを使用し、位置決定モジュール1204によって決定される。例えば、位置決定モジュール1204は、光学センサ106によって検出される光線上の点に最も近い光学センサ104によって検出される光線上の点を決定する。位置決定モジュール1204は2つの点の中点を計算し、中点が、光学センサ104及び106によって感知される2つの光線を発する光源の位置であると判断する。
【0223】
いくつかの実施形態では、位置決定モジュール1204は、ウェアラブルデバイスの識別コードからウェアラブルデバイスWD1からWD10の1つを識別することに留意されたい。例えば、位置決定モジュール1204は、ウェアラブルデバイスの識別コードを有する同期信号が信号送信機1104(図11A−1)によって送信されるウェアラブルデバイスWD1からWD10の1つの識別コードを入手するために、通信装置114及び116を介して、同期装置1107(図11A−1)に接続され、同期装置1107と通信する。ウェアラブルデバイスの識別コードに基づき、位置決定モジュール1204は、光がウェアラブルデバイスの光源から反射されると判断する。
【0224】
光源LE1が光学センサ104から遮断されるいくつかの実施形態では、基準枠FR1から遮断された光源の位置は、基準枠FR1から遮断された光源の以前に決定された位置及び遮断された光源の移動の予測に基づいて、位置決定モジュール1204によって決定されることに留意されたい。以前に決定された位置は、光源LE1が遮断されない時間の間に決定される。いくつかの実施形態では、以前に決定された位置は、基準枠FR1から遮断された光源の位置の決定の計算サイクルに、例えば先行する等、直前の位置決定モジュール1204の計算サイクルの間に決定される。遮断された光源の位置を決定する例として、位置決定モジュール1204は、遮断された光源の位置の決定の前に決定される基準枠FR1からの2つの位置、及び2つの位置の内の第1の位置から2つの位置の内の第2の位置への遮断された光源の移動から過ぎた時間の量に基づいて、遮断された光源の移動を推定する。さらに説明すると、速度は第2の位置と第1の位置と時間の量の差異として計算される。時間の量は、位置決定モジュール1204に結合されるクロックソース(不図示)によって提供される時間に基づいて位置決定モジュール1204によって計算される。遮断された光源の位置の決定の別の例として、位置は、遮断された光源が着用されるユーザー101の指の移動に関する情報から決定される。さらに説明すると、位置決定モジュール1204は、メモリデバイス1202に記憶される指及び/または関節の複数の軌跡からユーザー101の指及び/または腕の関節の移動の軌跡にアクセスし、軌跡に基づいて遮断された光源の位置を決定する。この図では、軌跡は、基準枠FR1に対して事前に計算される。さらに、この図では、身体の部分の軌跡は、身体の部分がユーザー101(図1)について達成できる複数の位置を含む。さらに、この図では、身体の部分の軌跡は、身体の部分がユーザー101について達成することが制約される位置を除外する。遮断された光源の位置の決定のさらに別の例として、軌跡と速度の両方とも基準枠FR1から遮断された光源の位置を決定するために使用される。
【0225】
光源LE1が光学センサ104から遮断される多様な実施形態では、HMD102の基準枠FR1から遮断された光源の位置は、画像取込装置を使用し、取り込まれる画像データに基づいて位置決定モジュール1204によって決定される。画像取込装置を使用し、取り込まれる画像データは、位置決定モジュール1204によるアクセスのためにメモリデバイス1208に履歴情報として記憶される。
【0226】
図13は、光学センサ104及び106の基準枠FR1から光源LE1の位置を決定するために使用される光線交差計算を示すためのシステム1300の実施形態の図である。光線r1は、ウェアラブルデバイスWD1の光源LE1から光学センサ106に伸長する。さらに、光線r2は光源LE1から光学センサ104に伸長する。光線交差計算は、2つの光線の交差の点を決定するために位置決定モジュール1204(図12)によって2つの光線r1及びr2に適用され、点は基準枠FR1に対する光源LE1の位置である。いくつかの実施形態では、基準枠FR1に対する光源LE1の位置は、例えば基準枠FR1上の、例えば基準座標点(0、0、0)等の点からの垂直距離等のある距離をおいている。多様な実施形態では、基準枠FR1に対する光源LE1の位置は、基準枠FR1上の点から、xyz座標系によって定められるように、x方向、y方向、及びz方向である距離をおいている。
【0227】
2つの光線r1及びr2が互いに交差しないいくつかの実施形態では、光線交差計算は、光線ごとに1つ、互いに最も近い2つの点を決定することによって適用される。光線交差計算は、2つの光線が発せられる元のウェアラブルデバイスWD1の位置として2つの点の間の中点を決定することをさらに含む。
【0228】
2つの光学センサ104及び106の代わりに、任意の数の光学センサはHMD102(図1)の底縁で使用されることに留意されたい。光源の位置の精度は、光源から光を検出するために使用される光学センサの数が増加するにつれ高まる。
【0229】
いくつかの実施形態では、例えば光源LE1が光学センサ104から遮断されていないが、光学センサ106から遮断されているとき、光源LE1が光学センサ106から遮断されないが、光学センサ104から遮断されるとき、光源LE1が両方の光学センサ104及び106から遮断されるとき等の光線交差計算を使用できないとき、位置決定モジュール1204は、例えばLE2からLE10等の光源の残りの1つまたは複数の位置から、LE1等の光源LE1からLE10の1つの位置を決定する。例えば、位置決定モジュール1204は、光源LE1の位置を決定するための所定の距離まで、光源LE2及びLE3の位置を通過する線を補外する。さらに、これらの実施形態では、位置決定モジュール1204は、ユーザー101(図1)の2つの隣接する指の間の所定の距離で予めプログラムされる。2つの隣接する指の例はユーザー101の左手の人差し指と左手の中指を含む。2つの隣接する指の別の例は、ユーザー101の右手の中指及び右手の薬指を含む。さらに、これらの実施形態では、例えば遮断されていない等の残りの光源は、残りの光源から光を検出する光学センサ104及び106によって生成される電気信号から決定される。
【0230】
いくつかの実施形態では、残りの光源の位置は、遮断された光源の位置を決定するために、遮断された光源の移動の速度及び/または遮断された光源が着用される身体の部分の軌跡と併せて使用される。
【0231】
多様な実施形態では、位置決定モジュール1204は、較正中にウェアラブルデバイスWD1からWD10の位置を決定する。いくつかの実施形態では、較正はゲームをプレイする前に、または仮想現実環境もしくは拡張現実環境をナビゲーションする前に行われる。較正中、ゲームプロセッサ110(図1)は通信装置114及び116(図1)を介してHMD102(図1)のCPU112にコマンドを送信して、1つまたは複数の表示画面118(図1)に例えば仮想オブジェクトの画像等の1つまたは複数の画像を表示する。1つまたは複数の画像が表示されるとき、ゲームプロセッサ110はCPU112にコマンドを送信して、例えば仮想オブジェクトが円の中に落ちる、仮想タンクがミサイルで攻撃される等のように1つまたは複数の画像が表示されるように、ウェアラブルデバイスWD1からWD10が着用される自分の指を移動するユーザー101に対する命令を表示する。ユーザー101が現実世界の範囲内で自分の指を移動させるにつれ、ウェアラブルデバイスWD1からWD10の位置は位置決定モジュール1204によって決定される。位置に基づき、ゲームプロセッサは1つまたは複数の表示画面118上に表示される1つまたは複数の画像の位置を変更し、CPU112にコマンドを送信して変更された位置に従って1つまたは複数の画像を移動させる。現実世界での指の移動と1つまたは複数の画像の移動との間のマッピングは、ゲームコンソール108のゲームメモリ装置120(図1)に記憶される。マッピングは較正中に決定される。仮想現実環境または拡張現実環境との対話中、ゲームプロセッサ110または位置決定モジュール1204は、対話中に受信されるウェアラブルデバイスWD1からWD10の多様な位置、及び1つまたは複数の画像の同量の移動のために較正中に受信されるウェアラブルデバイスWD1からWD10の位置を通過する移動の間に誤差があるかどうかを判断する。ゲームプロセッサ110または位置決定モジュール1204は、例えば対話中に1つまたは複数の画像の位置を変更する等、誤差がないか補正する。
【0232】
いくつかの実施形態では、較正は実行されない。例えば、手袋502(図5)が使用されるとき、較正は実行されない。
【0233】
図14A図14B、及び図14Cは、ウェアラブルデバイスWD1からWD10の1つまたは複数が光学センサ104及び106から遮断されるときに基準枠FR1に対して基準枠FR2を提供するためのトルソ装置1402の実施形態を示すために使用される。図14Aは、ウェアラブルデバイスWD9及びWD10の遮断を示すために使用される。ウェアラブルデバイスWD9の見通し線LE9と光学センサ104との間に見通し線はない。さらに、ウェアラブルデバイスWD10と光学センサ104の光源LE10との間に見通し線はない。ウェアラブルデバイスWD9及びWD10は、LE9及び10が右手の背面に向くよりもむしろユーザー101の右手の掌に向いて光学センサ104からの遮断を生じさせるように、ユーザー101の対応する指の上で回転されてよい。同様に、ウェアラブルデバイスWD3と光学センサ106との間、及びウェアラブルデバイスWD5と光学センサ106との間に遮断がある。
【0234】
図14Bは、HMD102の基準枠FR1に対して基準枠FR2を提供するためのトルソ装置1402の実施形態を示す。トルソ装置1402はユーザー101の胴に取り付けられる。例えば、トルソ装置1402は、ユーザー101によって着用されるベルトに統合される。ベルトの例は布地からまたは革から作られるベルトを含む。いくつかの実施形態では、トルソ装置1402は、例えば磁石を介して、糊を介して、Velcro(商標)を介して等、ベルトに取り付けられる。多様な実施形態では、トルソ装置1402は、ユーザー101の、例えばズボン等の衣服にクリップを介して取り付けられる。トルソ装置1402は、2つの光学センサ1408及び1410を含む。
【0235】
さらに、HMD102は2つの光源1404及び1406を含むように修正される。例として、光源1404及び1406は、例えば磁石、糊、Velcro(商標)等を介してHMD102に取り付けられて、HMD102を修正する。修正されたHMD102は、本明細書ではHMD1412と呼ばれる。各光源1404及び1406の例は、光源LE1からLE10(図1)のそれぞれの例として上記に提供される光源と同じである。
【0236】
光源1404及び1406は、光学センサ1408及び1410によって検出される光を発する。いくつかの実施形態では、光源1404及び1406は順次に光を発する。多様な実施形態では、光源1404及び1406は同時に光を発する。
【0237】
光学センサ1408及び1410は、電気信号を生成するために光源1404及び1406によって発せられる光を検出する。電気信号は、光学センサ1408及び1410から各光源1404及び1406の位置を決定するために使用される。例えば、電気信号はゲームコンソール108(図1)の通信装置114にトルソ装置1402の通信装置1414によって通信される。通信装置1414は電気信号を受信し、ゲームコンソール108のA−D変換器(不図示)に電気信号を提供し、A−D変換器は電気信号をデジタルデータに変換する。光学センサ1408及び1410からの各光源1404及び1406の位置は、基準枠FR1と基準枠FR2との間の相対的な位置及び向きを提供するために使用される。
【0238】
位置決定モジュール1204は、光学センサ1408及び1410の位置を通過する、例えばX軸線等の線が基準枠FR2であると判断するように予めプログラムされる。例えば、光学センサ1408及び1410の結像面を通過するベースラインは基準枠FR2であると判断される。さらに、基準枠FR1は、光源1404及び1406の位置を通過する。例えば、基準枠FR1は、位置決定モジュール1204によって光源1408及び1410の位置を通過する線となるように予め決定される。光学センサ104及び106の基準枠FR1が光源1404及び1406の基準枠と同じとなるように、光源1404及び1406がHMD102に対して位置することに留意されたい。例えば、光源1404及び1406は、光学センサ104と106を通って及び光学センサ104と106の間を通過する同じ線上の、例えばHMD102の下、HMD102の上等、HMD102に対して位置する。
【0239】
例えばゲームコンソール108の画像取込装置、テレビの上に置かれた画像取込装置、HMD102の画像取込装置等の画像取込装置は、基準枠FR2の位置及び向きを取り込み、位置決定モジュール1204に基準枠FR2の位置及び向きを提供する。例えば、HMD102の画像取込装置は、光学センサ1402及び1408の位置及び向きの画像を取り込み、位置決定モジュール1204に通信装置114及び116を介して位置及び向きを提供する。
【0240】
いくつかの実施形態では、トルソ装置1402は、光学センサ1402及び1408の向きを測定するための慣性センサを含む。トルソ装置1402の慣性センサは、通信装置1414及びゲームコンソール108の通信装置114を介して光学センサ1402及び1408の向きを位置決定モジュール1204に提供する。
【0241】
多様な実施形態では、慣性センサ及び画像取込装置の両方または1つは、光学センサ1402及び1408の位置及び向きを決定するために使用される。
【0242】
位置決定モジュール1204は、基準枠FR2の位置及び向きを決定すると、基準枠FR1とFR2との間の相対的な位置及び向きを決定する。例えば、位置決定モジュール1204は基準枠FR1とFR2の間の距離、及び2つの基準枠FR1とFR2との間に形成される角度を決定する。
【0243】
図14Cは、基準枠FR2に対する遮断されたウェアラブルデバイスWD10の位置の決定を示すために使用される。ウェアラブルデバイスWD10は、トルソ装置1402の光学センサ1408及び1410に対して光を発する。光学センサ1408及び1410は、ゲームコンソール108のA−D変換器によってデジタルデータに変換するために、光を感知して、ゲームコンソール108の通信装置114に通信装置1414によって送信される電気信号を生成する。デジタルデータはゲームコンソール108の位置決定モジュール1204に提供される。
【0244】
光学センサ104と106との間の基準枠FR1からウェアラブルデバイスWD1の光源LE1の位置を決定することの上述された方法に類似する方法で、位置決定モジュール1204(図12)は、光学センサ1408と1410との間の基準枠FR2から遮断されたウェアラブルデバイスWD10の光源LE10の位置を決定する。さらに、基準枠FR1とFR2との間の相対的な位置及び向き、ならびに基準フレームFR2に対する光源LE10の位置に基づいて、位置決定モジュール1204は、基準枠FR1に対するウェアラブルデバイスWD10の遮断された光源LE10の位置を決定する。
【0245】
図15Aは、ゲームの状態に基づいてユーザー101(図1)に触覚フィードバックを提供するために使用される触覚フィードバックシステム1502の実施形態の図である。さらに、触覚フィードバックシステム1502は、光源LE1からLE10(図1)のいずれかの例である光学センサ1504を含む。触覚フィードバックシステム1502の例は指ぬきを含む。いくつかの実施形態では、触覚フィードバックシステム1502は、布地、プラスチック、または金属製である。
【0246】
触覚フィードバックシステム1502は、ユーザー101の指の先端を覆う閉鎖端部1506を有する。ユーザー101の指は、閉鎖端部1506の反対の方向に位置する開放端部1508を通して触覚フィードバックシステム1502の中に挿入される。
【0247】
例えば仮想ユーザーがユーザー101を表す別の仮想ユーザーを攻撃している等、ゲームプロセッサ110(図1)によって実行されるゲームコードのゲーム状態に変更があるとき、ユーザー101の仮想手はゲーム内の仮想の壁または別の仮想オブジェクト等に触り、触覚フィードバックシステム1502は、ユーザー101の指に、例えば振動等の力をかけることによってユーザー101に接触感覚を提供する。
【0248】
図15Bは、ゲームコンソール1512による触覚フィードバックシステム1502の制御を示すために使用されるシステム1510の実施形態の図である。ゲームコンソール1512はゲームコンソール108(図1)の例である。ゲームコンソール1512は、ゲームプロセッサ110、ゲームメモリ120、ゲーム状態検出器1514、及び信号送信機1516を含む。ゲーム状態検出器1514の例は、PLD、またはASIC、またはプロセッサ、またはその組合せを含む。いくつかの実施形態では、ゲーム状態検出器1514は、ゲームプロセッサ110の中で実装される。信号送信機1516の例は変調器を含む。
【0249】
触覚フィードバックシステム1502は触覚フィードバック装置1518、デバイスドライバ1520、信号受信機1522、及び電源1524を含む。電源1524の例は電池を含み、デバイスドライバ1520の例は1つまたは複数のトランジスタを含む。信号受信機1522の例は復調器を含み、触覚フィードバック装置1518の例は、例えば振動モータ等の触覚アクチュエータを含む。電源1520は、信号受信機1522及びデバイスドライバ1520に電力を提供する。
【0250】
ゲーム状態検出器1514は、触覚フィードバックが触覚フィードバックシステム1502に提供されるかどうかを判断するためにゲームプロセッサ110によって実行されるゲームコードの状態を検出する。例えば、ゲーム状態検出器1514は、ユーザー101によって提供される入力を示す信号がゲームプロセッサ110によって受信されること、またはゲームコードの一部分がゲームプロセッサ110によって実行されていることを検出する。この例では、該部分は、触覚フィードバックがユーザー101に提供されることを示す。さらに、この例では、入力が位置決定モジュール1204からゲームプロセッサ110によって受信されることを示す信号。ユーザー101がHMD102の1つまたは複数の表示画面118(図1)に表示されるゲームと対話するために自分の指を移動させるとき、位置決定モジュール1204は、ゲームプロセッサ110に提供するためにウェアラブルデバイスWD1からWD10の位置を決定する。指の移動はユーザー101から受信される入力の例である。ユーザー101が、HMD102の1つまたは複数の表示画面118に表示される、例えば仮想壁、カーソル、仮想動物、仮想建物、仮想ユーザー、仮想手、仮想指、仮想腕、仮想環境等の仮想オブジェクトに接触するためにゲームのプレイ中に自分の指を移動させることに留意されたい。
【0251】
いくつかの実施形態では、ユーザー101によって提供される入力はゲームの状態を変更する。例えば、入力を示す信号がゲームプロセッサ110によって受信されるとき、ゲームプロセッサ110はゲームコードの次の部分を実行する。次の部分は、触覚フィードバックが触覚フィードバックシステム1502に提供されることを示す。ゲームの状態の例はゲームの仮想オブジェクトの位置、ゲームの仮想環境の色、仮想環境のテクスチャ、ゲームでユーザー101のアカウントに割り当てられる点の数、ゲームでユーザー101のアカウントに提供される仮想ギフトの数等を含む。
【0252】
ゲーム状態またはユーザー101からの入力が、触覚フィードバックが触覚フィードバックシステム1502に提供されることを示すと判断すると、ゲーム状態検出器1514は信号送信機1516にフィードバック信号を送信する。信号送信機1516はフィードバック信号を変調することによって信号を生成し、触覚フィードバックシステム1502の信号受信機1522に変調された信号を送信する。
【0253】
信号受信機1522は変調された信号を受信し、変調信号を復調してフィードバック信号を生成し、デバイスドライバ1520にフィードバック信号を提供する。フィードバック信号を受信すると、デバイスドライバ1520は触覚フィードバックシステム1518を駆動するために電流信号を生成する。触覚フィードバック装置1518が駆動されるとき、触覚フィードバック装置1518はゲームの状態に関してユーザー101にフィードバックを提供するために振動する。
【0254】
多様な実施形態では、触覚フィードバックシステム1502は手袋502(図5)の中に実装される。例えば、触覚フィードバックシステム1502は、送信された信号を受信するために手袋502の各指部分の中に実装される。
【0255】
図16は、ウェアラブルデバイスがユーザー101の他の身体の部分に着用されることを示すシステム1600の実施形態の図である。例えば、ウェアラブルデバイス1602Aは、ユーザー101の右手の手首に着用され、別のウェアラブルデバイス1602Bはユーザー101の左手の手首に着用される。別の例として、ウェアラブルデバイス1604Aはユーザー101の右肘の回りに着用され、ウェアラブルデバイス1604Bはユーザー101の左肘の回りに着用される。
【0256】
各ウェアラブルデバイス1602A、1602B、1604A、及び1604Bは布地、またはプラスチック、または金属製である。各ウェアラブルデバイス1602A、1602B、1604A、及び1604Bはウェアラブルデバイスの中に統合された光源を有する。例えば、ウェアラブルデバイス1602Aは光源1610Aを有し、ウェアラブルデバイス1602Bは光源1610Bを有し、ウェアラブルデバイス1604Aは光源1612Aを有し、ウェアラブルデバイス1604Bは光源1612Bを有する。
【0257】
いくつかの実施形態では、ウェアラブルデバイス1602Aはユーザー101の右前腕の任意の部分に着用され、ウェアラブルデバイス1602Bはユーザー101の左前腕の任意の部分に着用される。多様な実施形態では、ウェアラブルデバイス1604Aはユーザー101の右上腕の任意の部分に着用され、ウェアラブルデバイス1604Bはユーザー101の左上腕の任意の部分に着用される。
【0258】
ウェアラブルデバイス1602Aはユーザー101の右手首の位置を提供し、ウェアラブルデバイス1602Bはユーザー101の左手首の位置を提供する。同様に、ウェアラブルデバイス1604Aはユーザー101の右肘の位置を提供し、ウェアラブルデバイス1604Bはユーザー101の左肘の位置を提供する。
【0259】
ウェアラブルデバイス1602A、1602B、1604A、及び1604Bの光源は、ウェアラブルデバイスWD1からWD10の発光と同期して光を発する。例えば、光源1610Aは光を1番目に発し、光源1610Bは光を2番目に発し、光源1612Aは3番目に光を発し、光源1612Bは4番目に光を発し、次いで光源LE1からLE10は順次に光を発し、その例は上記に提供される。別の例として、光源LE1からLE10は順次に光を発し、次いで光源1610Aが光を発し、光源1610Bが続き、光源1612Aがさらに続き、光源1612Bがさらに続く。さらに別の例として、光源1610Bが1番目に光を発し、光源1610Aが2番目に光を発し、光源1612Aが3番目に光を発し、光源1612Bが4番目に光を発し、次いで光源LE1からLE10が順次に光を発する。
【0260】
ユーザー101の肘及び手首の移動はゲームプレイ中に入力の機能を果たして、光源1610A、1610B、1612A、及び1612Bの位置の変化を生じさせる。光源1610A、1610B、1612A、及び1612Bの位置は、光源LE1からLE10(図1)の位置を決定することの上述された方法と同様な方法で、信号検出器1200(図12)によって決定される。光源1610A、1610B、1612A、及び1612Bの位置は、ゲームの状態を変更するためにゲームプレイ中に通信装置116及び114(図1)を介してゲームプロセッサ110(図1)に通信される。
【0261】
いくつかの実施形態では、ユーザー101はウェアラブルデバイス1602A、1602B、1604A、及び1604Bの1つまたは複数を着用し、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bの内の1つまたは複数による発光は、ウェアラブルデバイスWD1からWD10による発光と同期する。
【0262】
多様な実施形態では、ユーザー101は、ウェアラブルデバイスWD1からWD10を着用せず、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bの1つまたは複数を着用する。これらの実施形態では、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bは、互いと、例えば順々に等、同期して一度に1つ、光を発する。例えば、光源1610Aは1番目に光を発し、光源1610Bは2番目に光を発し、光源1612Aは3番目に光を発し、光源1612Bは4番目に光を発する。別の例として、光源1610Bは1番目に光を発し、光源1610Aは2番目に光を発し、光源1612Bは3番目に光を発し、光源1612Aは4番目に光を発する。
【0263】
多様な実施形態では、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bのそれぞれは、ゲームプレイ中にユーザー101に触覚フィードバックを提供するために触覚フィードバックシステム1502(図15A)と同様の内蔵触覚フィードバックシステムを有する。
【0264】
いくつかの実施形態では、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bのそれぞれは、ウェアラブルデバイスの向きを取り込む慣性センサを有する。さらに、取り込まれた向きはウェアラバウルデバイスの中に位置する通信装置、及びゲームコンソールの通信装置114を介して位置決定モジュール1204に通信される。
【0265】
図17Aは、例えばゲームコマンド、仮想環境をナビゲートするためのコマンド、拡張現実環境をナビゲートするためのコマンド等のインタフェースコマンドを決定するための、例えばウェアラブルデバイスWD1からWD10(図1)等のウェアラブルデバイスの位置の使用を示すためのシステム1700の実施形態の図である。システム1700は、信号検出器及びディスプレイ(SDD)1702、ならびにゲームコンソール108を含む。SDD1702は通信装置116、HMD CPU112、及び1つまたは複数の表示画面118を含む。SDD1702は、デジタルシグナルプロセッサ(DSP)1704、デコーダ1706、デジタル−アナログ変換器(DAC)1707、増幅器1708、及びスピーカ1709をさらに含む。
【0266】
多様な実施形態では、SDD1702はHMD102(図1)の中で実装される。いくつかの実施形態では、SDD1702は任意の数のスピーカを含む。
【0267】
コマンドは環境データを生成するために使用される。位置決定モジュール1204は、例えばウェアラブルデバイスWD1からWD10等のウェアラブルデバイスの、例えば位置P11、P21、P31、P41、P51、P61、P71、P81、P91、P101、P12、P22、P32、P42、P52、P62、P72、P82、P92、P102等を決定し、ゲームプロセッサ110に位置を提供する。例えば、位置P11及びP12はウェアラブルデバイスWD1のであり、位置P21及びP22はウェアラブルデバイスWD2のであり、位置P31及びP32はウェアラブルデバイスWD3のであり、位置P41及びP42はウェアラブルデバイスWD4のであり、位置P51及びP52はウェアラブルデバイスWD5のであり、位置P61及びP62はウェアラブルデバイスWD6のであり、位置P71及びP72はウェアラブルデバイスWD7のであり、位置P81及びP82はウェアラブルデバイスWD8のであり、位置P91及びP92はウェアラブルデバイスWD9のであり、位置P101及びP102はウェアラブルデバイスWD10のである等、である。
【0268】
いくつかの実施形態では、位置決定モジュール1204が、ゲームプロセッサ110にウェアラウルデバイスの位置及びウェアラブルデバイスの識別コードを提供することに留意されたい。
【0269】
ゲームプロセッサ110は、ゲームメモリ120の中でウェアラブルデバイスの位置に対応するインタフェースコマンドを識別する。例えば、ゲームプロセッサ110は、位置P11、P21、P31、P41、P51、P61、P71、P81、P91、及びP101と、コマンドC1との間で記憶されるマッピングに基づいて、ウェアラブルデバイスWD1からWD10が対応する位置P11、P21、P31、P41、P51、P61、P71、P81、P91、及びP101にあるときにコマンドC1が実行されると判断する。別の例として、ゲームプロセッサ110は、位置P12、P22、P32、P42、P52、P62、P72、P82、P92、及びP102と、コマンドC2との間で記憶されるマッピングに基づいて、ウェアラブルデバイスWD1からWD10が、対応する位置P12、P22、P32、P42、P52、P62、P72、P82、P92、及びP102にあるときにコマンドC2が実行されると判断する。
【0270】
いくつかの実施形態では、コマンドは任意の数のウェアラブルデバイスの任意の数の位置と関連付けられる。例えば、コマンドC1はウェアラブルデバイスWD1からWD10の内の任意の3つの3つの位置とマッピングされる。別の例として、コマンドC2はウェアラブルデバイスWD1からWD10の内の任意の6つの6つの位置にマッピングされる。
【0271】
ゲームプロセッサ110は、環境データを生成するためにウェアラブルデバイスの位置に基づいて決定されるコマンドを実行する。例えば、コマンドC1は環境データE1を生成するために実行され、コマンドC2は環境データE2を生成するために実行される。いくつかの実施形態では、環境データは、ゲームシーンでの仮想オブジェクトの位置、ゲームシーンでのゲームバックグラウンドの色、仮想オブジェクトの色、ゲームバックグラウンドのテクスチャ、仮想現実シーンでの仮想オブジェクトのサイズ、位置、色、サイズ、及び/またはテクスチャ、仮想現実シーンでのバックグラウンドの色、仮想現実シーンでのバックグラウンドのテクスチャ、拡張現実シーンでの仮想オブジェクトのサイズ、位置、色、サイズ、及び/またはテクスチャ等を識別するデータを含む。
【0272】
多様な実施形態では、ゲームプロセッサ110は、例えば音素、句、英数字、文、音符等のゲーム音声データを生成するためにウェアラブルデバイスの位置に基づいて決定されるゲームコマンドを実行する。例えば、ゲームコマンドGC1は、ゲーム音声データGA1を生成するために実行され、ゲームコマンドはゲーム音声データGA2を生成するために実行される。
【0273】
ゲームプロセッサ110によって生成されるゲーム環境データは、通信装置114及び116を介してCPU112に送信される。CPU112は、1つまたは複数の表示画面118に例えばゲームシーン、ゲーム等のゲーム環境を表示するためにゲーム環境データをレンダリングする。ユーザー101は、ゲームをプレイするために1つまたは複数の表示画面118でゲームを見る。
【0274】
さらに、いくつかの実施形態では、ウェアラブルデバイスの位置に基づいてゲームプロセッサ110によって生成されるゲーム音声データは、通信装置114及び116を介してDSP1704に送信される。DSP1704は、音声データから、例えばノイズを均一にする、またはフィルターにかける、またはノイズをキャンセルする、またはエコーをキャンセルする等の処理をして、処理された音声データを生成し、デコーダ1706に処理された音声データを提供する。デコーダ1706は処理された音声データを、例えば解釈する、変換する、解凍する等、復号して、復号された音声データを生成する。復号された音声データは、DAC1707によってデジタルフォーマットからアナログフォーマットに変換されて、アナログ音声電気信号を生成する。アナログ音声電気信号は増幅器1708によって増幅されて、増幅された電気信号を生成する。増幅された電気信号は増幅器1708によってスピーカ1709に提供されて、ゲームのサウンドを出力する。
【0275】
いくつかの実施形態では、位置決定モジュール1204が、ゲームコンソール108の代わりにHMD102の中に位置することに留意されたい。
【0276】
図17Bは、ウェアラブルデバイスWD1からWD10の位置と、ゲーム1702に表示される仮想指の画像との間の調整を示すための1つまたは複数の表示画面118(図1)に表示されるゲーム1702の実施形態の図である。いくつかの実施形態では、各仮想指は仮想オブジェクトの例である。ゲーム1702は、仮想キーボード及び仮想指のゲーム画像1712を含む。
【0277】
ユーザー101が、右手の残りの指に比較して自分の右手の親指及び右手の薬指を下げることによって押すアクションを実行するとき、同様の押すアクションがゲーム1702の中で実行される。類似する押すアクションでは、仮想右手の残りの指と比較してユーザー101の仮想右手の仮想親指が下げられ、仮想右手の仮想薬指が下げられる。さらに、ゲーム画像1712は、仮想親指によって押されるとして仮想キーボードのキー、及び仮想薬指に押されるとして仮想キーボードの別のキーを示す。さらに、弾かれているキーボードのサウンドが、HMD102(図1)の中で実装される、例えばスピーカ1709(図17A)等の音声スピーカによって生成される。
【0278】
図17Cは、テニスゲーム1720が1つまたは複数の表示画面118(図1)で表示されている間にユーザー101によってプレイされているテニスゲームの実施形態の図である。テニスゲーム1720は、HMD102の1つまたは複数の表示画面118でレンダリングされるテニス画像1722を含む。ユーザー101は、自分の右手が自分の左肩の上を越えていく前腕アクションを実行する。ユーザー101が前腕アクションを実行するとき、ウェアラブルデバイス1602A、1602B、1604A、及び1604Bの位置は位置決定モジュール1204(図12)によって決定される。HMD102のCPU112(図1)は、仮想ユーザー1724が仮想前腕アクションを実行することによって仮想テニスボール1726を打つテニス画像1722を生成する。仮想前腕アクションでは、仮想ユーザー1724の仮想右手は仮想ユーザー1724の仮想肩の上を越えていく。
【0279】
図17Dから図17Iは、ウェアラブルデバイスWD1からWD10を着用中にユーザー101によって実行される多様なジェスチャーを示す。図17Dは、仮想銃1740がHMD102(図1)の1つまたは複数の表示画面118(図1)に表示されるゲームで保持される、銃を保持するためのアクションのジェスチャーである。銃を保持するアクションでは、ユーザー101は左手H1の人差し指及び左手の親指を伸ばし、左手H1の中指、薬指、及び小指を丸める。銃を保持するアクションが実行されるとき、HMD102のCPU112(図1)は、ゲームで表示される仮想手1730によって保持されている銃1740の画像を表示する。いくつかの実施形態では、銃1740は、銃を保持するアクションがユーザー101によって実行されるときに仮想手1730の中に表示される。
【0280】
図17Eは、ユーザー101によって実行される2つの指のアクションの実施形態の図である。2つの指のアクションでは、左手H1の人差し指及び中指が持ち上げられ、一方左手の薬指、小指、及び親指は丸められている。2つの指のアクションの実行中、HMD102のCPU112(図1)は仮想手1730の中の仮想花を表示する。
【0281】
図17Fは、HMD102(図1)の1つまたは複数の表示画面118(図1)に表示されるゲームで、例えば仮想剣、仮想ナイフ、仮想棒、仮想鎖、仮想鞭等の仮想武器を保持するためにユーザー101によって実行される保持アクションを示す実施形態の図である。武器を保持するアクションが実行されるとき、HMD102のCPU112(図1)は仮想手1730の中で振りかざされる仮想剣を表示する。
【0282】
図17Gは、仮想電話1732の使用を示すための電話を取るアクションの実施形態の図である。ユーザー101(図1)が自分の左手の自分の親指及び小指を伸ばし、左手の人差し指、中指、及び薬指を丸めるとき、CPU112(図1)は、1つまたは複数の表示画面118(図1)に表示されるゲームで仮想手1730によって保持されているとして仮想電話1732を表示する。
【0283】
図17Hは、画像取込装置に、例えばユーザー101の指、手、手首、前腕、掌等の身体の部分の、またはユーザー101が位置する部屋の画像またはビデオを取り込むように命令するためにユーザー101(図1)の両手を使用し、実行される画像を取り込むジェスチャーの実施形態の図である。例えば、HMD102は、HMD102の画像プロセッサ(不図示)に接続される画像取込装置を含む。いくつかの実施形態では、HMD102の画像プロセッサは、HMD102の通信装置116(図1)に、及びHMDメモリ122(図1)に結合される。多様な実施形態では、HMD102の画像プロセッサはHMDメモリ122の代わりにまたはHMDメモリ122に加えて別のメモリデバイスに接続される。画像を取り込むジェスチャーがHMD102の画像取込装置によって受信されると判断すると、HMD102の画像プロセッサは、画像取込装置にユーザー101の身体の部分の、またはユーザー101が位置する部屋の画像またはビデオの取込みを開始するまたは再開するように命令する。HMD102の画像取込装置が裏面に向いているとき、画像取込装置は部屋の画像を取り込み、画像取込装置が表面に向いているとき、画像取込装置はユーザー101の身体の部分の画像を取り込むことに留意されたい。画像を取り込むジェスチャーは、ユーザー101が自分の左手の自分の指のすべて、及び自分の右手の自分の指のすべてを伸ばし、右手の人差し指で左手の親指に触れ、右手の親指で左手の人差し指に触れて画像を取り込むジェスチャーを形成するときに実行される。
【0284】
いくつかの実施形態では、画像を取り込むジェスチャーは、LE1から10による発光をトリガするために実行される。例えば、SGD901(図9A)は、電源610(図9A)と信号送信機(図9A)との間で接続されるスイッチ(不図示)を含む。スイッチの例は上記に提供される。スイッチはHMD102の画像プロセッサ(不図示)に接続され、画像プロセッサはHMD102(図1)の画像取込装置にさらに接続される。画像プロセッサは、HMD102の画像取込装置によって取り込まれる画像から、画像を取り込むジェスチャーがユーザー101によって実行されると判断し、スイッチを閉じるためにスイッチに信号を送信する。スイッチが閉じられると、電源610によって生成される電力信号は信号送信機608にスイッチを介して転送される。信号送信機608はLE1から10に電力信号611(図9A)を送信してLE1から10が光を発することを可能にする。
【0285】
図17Iは、例えばタイムアウト等の休止、ユーザー101によって実行されるジェスチャー、及び休止ジェスチャーの効果を示すための実施形態の図である。HMD102の画像プロセッサは、休止ジェスチャーが受信されると判断すると、画像取込装置に部屋のまたはユーザー101の身体の部分の画像の取込みを休止するように命令する。
【0286】
SGD901(図9A)が、電源610(図9A)と信号送信機608(図9A)との間で接続されるスイッチ(不図示)を含む実施形態では、HMD102の画像プロセッサは、休止ジェスチャーが実行されると判断する。HMD102の画像プロセッサは、休止ジェスチャーがユーザー101によって実行されると判断すると、スイッチを開くためにスイッチに信号を送信する。スイッチが開いているとき、電源610によって生成される電力信号はスイッチを介して信号送信機608に転送されず、信号送信機608は電力信号611を送信しない(図9A)。信号送信機608が電力信号611を送信しないとき、LE1から10は光を発するのを停止する、または休止する。
【0287】
図18Aは、ユーザー101によって着用されるウェアラブルデバイスWD1からWD10の位置に基づいた光源LE1からLE10(図1)による発光の、例えば速度等、サンプリング速度の変化または周波数の変化を示すためのユーザー101の手の多様な部分の実施形態の図である。モード1では、以下にさらに説明される手位置決定モジュール(HPDM)によって、ユーザー101の左手に着用されるウェアラブルデバイスWD1からWD5の1つまたは複数が、ユーザー101の右手に着用されるウェアラブルデバイスWD6のWD10の1つまたは複数から所定の位置の範囲内にあることが判断される。ウェアラブルデバイスWD1からWD5がウェアラブルデバイスWD6からWD10から所定の位置の範囲内にあると判断すると、HPDMは通信装置114及び116を介してサンプラー904(図9)にA−D変換器906(図9)によって出力されるデジタルデータをサンプリングするサンプリングレートを減速するように命令する。HPDMは通信装置114及び116を介してサンプラー904に接続される。
【0288】
モード2で、HPDMは、ウェラブルデバイスWD1からWD5の1つまたは複数が、ウェアラブルデバイスWD6からWD10の1つまたは複数から所定の位置の範囲内にないと判断する。WD1からWD5が、ウェアラブルデバイスWD6からWD10から所定の位置の範囲内にないと判断することに応えて、HPDMは、通信装置114及び116を介してサンプラー904に、A−D変換器906によって出力されるデジタルデータをサンプリングする速度を加速するように命令する。モード1は、モード2の後にユーザー101によって繰り返され、サンプラー904のサンプリングレートは上述したように加速する。
【0289】
図18Bは、発光体の発光の周波数の変化を示すためのSGD1810の実施形態の図である。SGD1810は、信号発生器1100(図11A―1)の例である。SGD1810は、周波数コントローラ1812、メモリデバイス1108、及び同期装置1107を含む。例えば信号送信機1104(図11A−1)、電源610(図11A−1)、SGD1810の信号送信機608(図11A−1)、及び信号発生器1100のクロックソース1109等、信号発生器1100の残りの部分は図18Bに示されない。
【0290】
本明細書に説明されるように、モジュールは、非一過性コンピュータ可読記憶媒体に記憶されるコンピュータソフトウェアとして、またはASICとして、またはPLDとして、またはプロセッサとして実装されることに留意されたい。非一過性コンピュータ可読記憶媒体の例はメモリデバイスを含み、例は上記に提供される。
【0291】
位置決定モジュール1204は、ウェアラブルデバイスWD1からWD10(図1)の位置をHPDM1810に提供する。HPDM1810は、ウェアラブルデバイスWD1からWD10の位置に基づいて、ウェアラブルデバイスWD1からWD5の1つまたは複数の位置が、ウェアラブルデバイスWD6からWD10の対応する1つまたは複数の1つまたは複数の位置から所定の位置の範囲内にあるかどうかを判断する。ウェアラブルデバイスWD1からWD5の1つまたは複数の位置が、例えば上記のモード1の場合において等のように、ウェアラブルデバイスWD6からWD10の対応する1つから複数の1つまたは複数の位置から所定の位置の範囲内にあると判断すると、HPDM1810は光源LE1からLE10による発光の周波数を削減するために、通信装置114及び116を介して周波数コントローラ1812に信号を送信する。光源LE1からLE10による発光の周波数を削減するために信号を受信すると、周波数コントローラ1812は周波数を削減する。例えば、光源LE10による発光の周波数がf101からf102に削減されるまで、光源LE1の発光の周波数はf11からf12へ削減され、光源LE2による発光の周波数はf21からf22に減少する等である。同期装置1107は、例えばf12、f22、f102等の減少した周波数を有する同期信号を生成する。
【0292】
他方、例えば、上記のモード2の場合でのように、ウェアラブルデバイスWD1からWD5の1つまたは複数の位置がウェアラブルデバイスWD6からWD10の1つまたは複数の位置から所定の位置の範囲内にないと判断することに応えて、HPDM1810は通信装置114及び116を介して周波数コントローラ1812に信号を送信して、光源LE1からLE10による発光の周波数を増加させる。光源LE1からLE10による発光の周波数を増加させるために信号を受信すると、周波数コントローラ1812は周波数を増加させる。例えば、光源LE10による発光の周波数がf102からf101に増加するまで、光源LE1の発光の周波数はf12からf11に増加し、光源LE2による発光の周波数はf22からf21に増加する等である。同期装置1107は、例えばf11、f21、f101等の増加した周波数を有する同期信号を生成する。
【0293】
いくつかの実施形態では、HPDM1811はHMD102の中に位置する。
【0294】
多様な実施形態では、周波数コントローラ1812、同期装置1107、及びメモリデバイス1108は、HMD102内の代わりにゲームコンソール108の中に位置する。
【0295】
図19は、LE1から10(図1)による発光の異なるシーケンスを示すための図である。例えば、第1のシーケンスで、LE1から10は順方向順序で光を発する。説明すると、LE10が10番目に光を発するまで、LE1は1番目に光を発し、LE2は2番目に光を発する等である。別の例として、第2のシーケンスで、LE1から10は逆順序で光を発する。さらに説明すると、LE1が10番目に光を発するまで、LE10は1番目に光を発し、LE9は2番目に光を発する等である。さらに別の例として、第3のシーケンスで、LE1から5は逆方向順序で光を発し、LE6からLE10は順方向順序で光を発する。例えば、LE5は1番目に光を発し、LE4は2番目に光を発し、LE3は3番目に光を発し、LE2は4番目に光を発し、LE1は5番目に光を発し、LE6は6番目に光を発し、LE7は7番目に光を発し、LE8は8番目に光を発し、LE9は9番目に光を発し、LE10は10番目に光を発する。別の例として、LE1から10は、図19でシーケンス4及びシーケンス5として示されるランダムシーケンスで光を発する。
【0296】
図20は、ウェアラブルデバイスWD1からWD10の位置を決定するための画像取込装置2002の使用を示すためのシステム2000の実施形態の図である。画像取込装置2002はテレビ2004の上部に位置し、ウェアラブルデバイスWD1からWD10の画像データを取り込むための視野を有する。いくつかの実施形態では、画像取込装置2002はHMD102(図1)の中に位置する。画像取込装置2002によって取り込まれた画像データは、画像取込装置2002からゲームコンソール108の位置決定モジュール1204に送信される。例えば、光源が光学センサ104(図1)から遮断されるが、光学センサ106(図1)からは遮断されないとき、画像データが使用される。別の例として、光源が光学センサ106から遮断されるが、光学センサ104から遮断されないとき、画像データが使用される。別の例として、光源が両方の光学センサ104及び106から遮断されるとき、画像データが使用される。位置決定モジュール1204は、ゲームコンソール108の通信装置114(図1)に、及びゲームプロセッサ110(図1)に接続される。画像取込装置2002は、ともに上述される有線接続または無線接続を通してゲームコンソール108に接続される。位置決定モジュール1204は、画像データを受信すると、画像データをパースして光源LE1からLE10の位置を決定する。例えば、位置決定モジュール1204は、画像データの一部分の中の強度が画像データの残りの部分の強度よりも大きいのか、及び/または残りの部分とは異なる色なのかを判断する。位置決定モジュール1204は、このように判断すると、画像データの中の光源の位置を決定し、画像世界基準座標系と現実世界基準座標系との間のマップを使用して該位置を、例えば部屋等、現実世界での位置に変換する。画像世界基準座標系と現実世界基準座標系との間のマップの例は、メモリデバイス(不図示)に、またはゲームコンソール108のゲームメモリデバイス120(図1)に記憶される、画像世界基準座標系と現実世界基準座標系との間のスケーリングである。ウェアラブルデバイスWD1からWD10の位置は、HMD102に表示されるゲームの状態を変更するために、位置決定モジュール1204によってゲームプロセッサ110に提供される。
【0297】
いくつかの実施形態では、ゲームコンソール108の位置決定モジュール1204によって実行されるとして、本明細書に説明される操作は、ゲームコンソール108のゲームプロセッサ108(図1)によって実行される。
【0298】
多様な実施形態では、画像取込装置2002によって取り込まれる画像データは、上述される履歴情報としての記憶のために、画像取込装置2002の通信媒体を介してHMD102の通信装置116(図1)に提供される。
【0299】
図21Aは、光学センサによる光のサンプリングと光源による発光との間の同期を示すための図である。光学センサによる光の検出は、光源LE1からLE10による発光と同期する。例えば、光学センサ104(図1)が1000ヘルツ(Hz)の速度で光をサンプリングし、1/1000秒の周波数で光を発する10の光源LE1からLE10があるとき、光学センサ104は100Hzの周波数で各LE1からLE10から光を感知する。別の例として、光源LE1が光を発するとき、光学センサ104、光学センサ106等の光学センサは、1つまたは複数の電気信号を含むサンプルS1を生成するために、サンプリング時間ウィンドウの間に光を検出するように活性化される。この例では、光源LE2が光を発するとき、光学センサは、1つまたは複数の光学センサを含む別のサンプルS2を生成するためにサンプリング時間ウィンドウの間に光を検出するために再び活性化される。同様に、サンプルS3、S4、S5、S6、S7、S8、S9、及びS10は、LE3から10が光を発するときに生成される。
【0300】
例を続けると、LE1から10による発光の一巡の後、LE1は再び第2巡の間に再び光を発する。この第2巡で、光学センサはサンプリング時間ウィンドウの間にLE1から発せられる光を感知するために活性化されて、1つまたは複数の電気信号を含むサンプルS11を生成する。さらに、第2巡の間、光学センサはサンプリング時間ウィンドウ中にLE2から発せられる光を感知するために再び活性化されて、1つまたは複数の電気信号を含むサンプルS12を生成する。同様に、第2巡中、サンプルS13、S14、S15、S16、S17、S18、S19、及びS20が生成される。
【0301】
さらに、例を続行すると、LE1から10による発光の第2巡の後、第3順が実行される。第3巡の間、光学センサはサンプリング時間ウィンドウの間にLE1から発せられる光を感知するために活性化されて、1つまたは複数の電気信号を含むサンプルS21を生成する。また、第3巡の間、光学センサはサンプリング時間ウィンドウの間にLE2から発せられる光を感知するために再び活性化されて、1つまたは複数の電気信号を含むサンプルS22を生成する。同様に、第3巡の間、サンプルS23、S24、S25、S26、S27、S28、S29、及びS30が生成される。
【0302】
図21Bは、光源LE1からLE10による発光の周波数と画像取込装置2002のシャッター速度との間の同期を示すための図である。
【0303】
いくつかの実施形態では、シャッター速度は、本明細書に説明される、1つまたは複数のウェアラブルデバイスの画像を取り込むために画像取込装置のレンズが開いている時間の長さである。画像取込装置に到達する光の量はシャッター速度に比例する。シャッター速度の例は1/1000秒、1/500秒、1/250秒、1/125秒、1/60秒、1/30秒等を含む。
【0304】
画像IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10、IM11、IM12、IM13、IM14、IM15、IM16、IM17、IM18、IM19、IM20、IM21、IM22、IM23、IM24、IM25、IM26、IM27、IM28、IM29、及びIM30が画像取込装置によって取り込まれる速度等の画像取込速度は、LE1から10による発光に同期する。例えば、LE1による発光の周波数f11または周波数f12(図18B)等の周波数は、画像IM1、IM11、及びIM21を取り込む周波数と同じである。別の例として、例えばLE2による発光の周波数f21、周波数f22(図18B)等の周波数は、画像IM2、IM12、及びIM22を取り込む周波数と同じである。さらに別の例として、LE1及び2による発光の周波数は、画像IM1及びIM2を取り込む周波数と同じである。別の例として、LE3及び4による発光の周波数は画像IM13及びIM14を取り込む周波数と同じである。
【0305】
画像IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10、IM11、IM12、IM13、IM14、IM15、IM16、IM17、IM18、IM19、IM20、IM21、IM22、IM23、IM24、IM25、IM26、IM27、IM28、IM29、及びIM30が図21Bに示されるシーケンスで取り込まれることに留意されたい。例えば、画像IM30が30番目に取り込まれるまで、最初に画像IM1が取り込まれ、次いで画像IM2が取り込まれ、画像IM3は3番目に取り込まれる等である。
【0306】
多様な実施形態では、画像IM1は、光源LE1が光を発した後に取り込まれる。光源LE1の位置は光源LE1によって発せられる光に基づいて決定される。画像IM1が取り込まれた後、光源LE1は再び光を発し、画像IM11が発せられた光に基づいて取り込まれる。画像IM11での光源LE1の位置は、画像IM1が取り込まれた後、光源LE1によって発せられる光に基づいて決定される。画像IM11が取り込まれた後、光源LE1は再び光を発し、画像IM21が取り込まれる。画像IM21での光源LE1の位置は、画像IM11が取り込まれた後、光源LE1によって発せられる光であるに基づいて決定される。
【0307】
多様な実施形態では、CPU112は、メモリデバイス1108にシャッター速度を記憶するためにメモリデバイス1108(図11A−1)に接続される。これらの実施形態では、メモリデバイス1108に結合されるシャッター速度一致コントローラ(SSMC)(不図示)がシャッター速度にアクセスし、光源LE1からLE10の1つまたは複数による発光の周波数が、シャッター速度以上であると判断する。SSMCは信号発生器1100(図11A−1)の中に、または信号発生器1101(図11A−2)に位置し、メモリデバイス1108に発光の周波数を記憶する。
【0308】
いくつかの実施形態では、CPU112は、メモリデバイス1108から光源LE1からLE10の1つまたは複数による発光の周波数にアクセスして、本明細書に説明される、画像取込装置によって画像を取り込むためのシャッター速度を決定する。
【0309】
図21Cは、1つまたは複数の表示画面118(図1)に、光源LE1からLE10による発光の周波数と、HMD102(図1)のCPU112(図1)による画像の表示のフレームレートとの間の同期を示すための図である。
【0310】
いくつかの実施形態では、毎秒フレームとして計算されるフレームレートは、1つまたは複数の表示画面118でのフレームと呼ばれる画像の表示の周波数である。多様な実施形態では、フレームは、HMD102の1つまたは複数の表示画面118にCPU112によってレンダリングされる画像である。これらの実施形態では、フレームは1つまたは複数の表示画面118上での各ピクセルの明度、及びピクセルの透明値を含む。
【0311】
例えば、フレームF1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12、F13、F14、F15、F16、F17、F18、F19、F20、F21、F22、F23、F24、F25、F26、F27、F28、F29、及びF30が1つまたな複数の表示画面118等に表示される速度等のフレームレートは、LE1から10による発光に同期される。例えば、LE1による発光の、例えば周波数f11または周波数f12(図18B)等の周波数は、フレームF1、F11、及びF21の生成の周波数と同じである。別の例として、LE2による発光の、例えば周波数f21、周波数f22(図18B)等の周波数は、フレームF2、F12、及びF22の生成の周波数と同じである。さらに別の例としては、LE1及び2による発光の周波数は、フレームF1及びF2の生成の周波数と同じである。別の例として、LE3及び4による発光の周波数は、フレームF13及びF14の生成のシーケンスと同じである。
【0312】
多様な実施形態では、フレームF1は、光源LE1が光を発し、フレームF1が光源LE1の位置に基づいて生成された後に表示される。光源LE1の位置は光源LE1によって発せられる光に基づいて決定される。フレームF1が表示された後、光源LE1は再び光を発し、フレームF11が発せられた光に基づいて表示される。フレームF11での光源LE1の位置は、フレームF1が表示された後、光源LE1によって発せられる光に基づいて決定される。フレームF11が表示された後、光源LE1は再び光を発し、フレームF21が表示される。フレームF21での光源LE1の位置は、フレームF11が表示された後光源LE1によって発せられる光であるに基づいて決定される。
【0313】
多様な実施形態では、CPU112は、メモリデバイス1108にフレームレートを記憶するためにメモリデバイス1108(図11A−1)に接続される。これらの実施形態では、メモリデバイス1108に結合されるフレームレート一致コントローラ(FRMC)(不図示)はフレームレートにアクセスし、光源LE1からLE10の1つまたは複数による発光の周波数がフレームレートに等しいと判断する。FRMCは、信号発生器1100(図11A−1)の中または信号発生器1101(図11A−2)に位置し、メモリデバイス1108に発光の周波数を記憶する。
【0314】
いくつかの実施形態では、CPU112は、メモリデバイス1108から光源LE1からLE10の1つまたは複数による発光の周波数にアクセスして、1つまたは複数の表示画面118での画像の表示のためにフレームレートを決定する。
【0315】
図22は、ハンドヘルドコントローラ(HHC)と、HMD102(図1)の例であるHMD2205とインタフェースするために互換性があるゲームコンソール2200の実施形態のブロック図である。ゲームコンソール2200はゲームコンソール108(図1)の例である。いくつかの実施形態では、ゲームコンソール2200は、HMD2205に表示されるゲームを実行するために使用される。ゲームコンソール2200は、HHC及びHMD2205をゲームとインタフェースするために互換性がある。ゲームコンソール2200はゲームコンソール2200に接続可能な多様な周辺装置を具備する。ゲームコンソール2200は、セルプロセッサ2228、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット2226、専用のビデオランダムアクセスメモリ(VRAM)ユニット2232を有するReality Synthesizerグラフィックスプロセッサユニット2230、及び入出力(I/O)ブリッジ2234を有する。また、ゲームコンソール2200は、ディスク2240aから読み取るためのBlu Ray(登録商標)ディスク読出し専用メモリ(BD−ROM)光ディスク読取り装置2240、及びI/Oブリッジ2234を通してアクセス可能なリムーバブルスロットインハードディスクドライブ(HDD)2236も有する。任意選択で、ゲームコンソール2200は、コンパクトフラッシュ(登録商標)メモリカードを読み取るためのメモリカード読取り装置2238、I/Oブリッジ2234を通して同様にアクセス可能であるメモリStick(登録商標)メモリカード等も含む。また、I/Oブリッジ2234は、ユニバーサルシリアルバス(USB)2.0ポート2224、ギガビットイーサネットポート2222、IEEE802.11 b/g無線ネットワーク(Wi−Fi)ポート2220、及びブルートゥース接続を支援できるBluetooth(登録商標)無線リンクポート2218に接続する。
【0316】
動作中、I/Oブリッジ2234は、1つまたは複数のゲームコントローラ2202及び2203から、ならびにHMD2205からのデータを含む、すべての無線データ、USBデータ、及びイーサネットデータを扱う。例えば、ユーザー101(図1)が、ゲームメモリデバイス120(図1)に記憶されるゲームプログラムの一部分の実行によって生成されるゲームをプレイしているとき、I/Oブリッジ2234は、ブルートゥースリンクを介してゲームコントローラ2202もしくは2203から、またはHMD2205から入力データを受信し、相応してゲームの現在の状態を更新するセルプロセッサ2228に入力データを導く。各ゲームコントローラ2202及び2203は、HHCの例である。
【0317】
また、無線ポート、USBポート、及びイーサネットポートは、ゲームコントローラ2202及び2203、ならびに例えばリモコン装置2204等のHMD2205、キーボード2206、マウス2208、例えばSony Playstation Portable(登録商標)エンターテインメントデバイス等のポータブルエンターテインメントデバイス2210、例えばEyeToy(登録商標)ビデオカメラ2212等のビデオカメラ、マイクヘッドセット2214、及びマイク2215に加えて、他の周辺装置に接続性を提供する。いくつかの実施形態では、係る周辺装置は、例えばポータブルエンターテインメントデバイス2210がWi−Fiのアドホック接続を介して通信する等、無線でゲームコンソール2200に接続される。一方、マイクヘッドセット2214はブルートゥースリンクを介して通信する。
【0318】
これらのインタフェースの提供は、ゲームコンソール2200も、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ボイスオーバーインターネットプロトコル(IP)電話、携帯電話、プリンタ、及びスキャナ等の他の周辺装置と潜在的に互換性があることを意味する。
【0319】
さらに、レガシーメモリカード読取り装置2216はUSBポート2224を介してゲームコンソール2200に接続され、ゲームコンソール2200によって使用される種類のメモリカード2248の読取りを可能にする。ゲームコントローラ2202及び2203ならびにHMD2205は、ブルートゥースリンク2218を介してゲームコンソール2200と無線で通信する、またはUSBポート2224に接続されるよう作動され、それによってゲームコントローラ2202及び2203ならびにHMD2205の電池を充電するための電力も提供する。いくつかの実施形態では、ゲームコントローラ2202及び2203ならびにHMD2205のそれぞれも、メモリ、プロセッサ、メモリカード読取り装置、例えばフラッシュメモリ等の恒久的なメモリ、例えば照明された球状部、LEDもしくは赤外光等の発光体、超音波通信用マイク及びスピーカ、音響チャンバ、デジタルカメラ、内蔵クロック、例えばゲームコンソール2200に向く球状部等の認識可能な形状、ならびに例えばブルートゥース、Wi−Fi等のプロトコルを使用する無線通信を含んでもよい。
【0320】
ゲームコントローラ2202は、ユーザー101の両手で使用されるように設計されたコントローラであり、ゲームコントローラ2203は付属品を有する片手コントローラである。HMD2205は、ユーザー101の頭部の上で及び/または目の前でフィットするように設計される。1つまたは複数のアナログジョイスティック及び従来の制御ボタンに加えて、各ゲームコントローラ2202及び2203は3次元位置決定の影響を受けやすい。同様に、HMD2205は3次元位置決定の影響を受けやすい。結果的に、いくつかの実施形態では、ユーザー101によるジェスチャー及びゲームコントローラ2202及び2203ならびにHMD2205の移動は、従来のボタンまたはジョイスティックのコマンドに加えてまたは代わりにゲームに対する入力として変換される。任意選択で、例えばPlaystation(商標)Portableデバイス等の他の無線で有効にされた周辺装置は、コントローラとして使用される。Playstation(商標)Portableデバイスの場合、例えば制御命令またはライブの数等の追加のゲームまたは制御情報がデバイスの表示画面に提供される。いくつかの実施形態では、例えばダンスマット(不図示)、ライトガン(不図示)、ステアリングホイール及びペダル(不図示)、特注のコントローラ等の他の代替制御装置または補足制御装置が使用される。特注コントローラの例は、高速応答クイズゲーム(やはり不図示)用の単一またはいくつかの大きいボタンを含む。
【0321】
また、リモコン装置2204は、ブルートゥースリンク2218を介してゲームコンソール2200と無線で通信するよう作動する。リモコン装置2204は、Blu Ray(商標)ディスクBD−ROM読取り装置2240の操作のために、及びディスクコンテンツのナビゲーションのために適した制御装置を含む。
【0322】
Blu Ray(商標)ディスクBD−ROM読取り装置2240は、従来の事前に記録されたCD及び記録可能なCD、ならびにいわゆるスーパーオーディオCDに加えて、ゲームコンソール2200と互換性のあるCD−ROMを読み取るよう作動する。また、Blu Ray(商標)ディスクBD−ROM読取り装置2240は、従来の事前に記録されたDVD及び記録可能なDVDに加えて、ゲームコンソール2200と互換性のあるデジタルビデオディスクROM(DVD−ROM)を読み取るよう作動する。Blu Ray(商標)ディスクBD−ROM読取り装置2240は、従来の事前に記録されたBlu−Rayディスク及び記録可能なBlu−Rayディスクだけではなく、ゲームコンソール2000と互換性のあるBD−ROMも読み取るようさらに作動する。
【0323】
ゲームコンソール2200は、Reality Synthesizerグラフィックスユニット2230を介して、音声コネクタ2250及びビデオコネクタ2252を通して、生成または復号された音声及びビデオを、表示画面2244及び1つまたは複数のラウドスピーカ2246を有する、例えばモニタまたはテレビ受像機等のディスプレイ及び音声出力装置2242に供給するよう作動する。音声コネクタ2250は、多様な実施形態では、従来のアナログ出力及びデジタル出力を含む。一方ビデオコネクタ2252は、コンポーネントビデオ、S−ビデオ、複合ビデオ、及び1つまたは複数の高精細度マルチメディアインタフェース(HDMI(登録商標))出力をさまざまに含む。結果的に、ビデオ出力は位相反転線(PAL)または全国テレビジョン方式委員会(NTSC)等のフォーマットで、または2220p、1080iまたは1080p高精細であってよい。例えば生成、復号等の音声処理は、セルプロセッサ2208によって実行される。ゲームコンソール2200のオペレーティングシステムは、Dolby(登録商標)5.1サラウンドサウンド、Dolby(登録商標)シアターサラウンド(DTS)、及びBlu−Ray(登録商標)ディスクからの7.1サラウンドサウンドの復号をサポートする。
【0324】
いくつかの実施形態では、例えばビデオカメラ2212等のビデオカメラは、圧縮されたビデオデータが、ゲームコンソール2200による復号のために画像内ベースのモーションピクチャエキスパートグループ(MPEG)規格等の適切なフォーマットで送信されるように、単一の電荷結合素子(CCD)、LEDインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及び符号化装置を含む。ビデオカメラ2212のLEDインジケータは、例えば不利な照明状態等を意味するために、ゲームコンソール2200からの適切な制御データに応えて照明するように配置される。ビデオカメラ2212のいくつかの実施形態は、USBポート、ブルートゥースポート、またはWi−Fi通信ポートを介してゲームコンソール2200にさまざまに接続する。ビデオカメラの多様な実施形態は、1つまたは複数の関連付けられたマイクを含み、音声データを送信できる。ビデオカメラのいくつかの実施形態では、CCDは高精細度ビデオ取込みに適した解像度を有する。使用中、ビデオカメラによって取り込まれる画像は、ゲームの中に組み込まれる、またはゲーム制御入力として解釈される。別の実施形態では、ビデオカメラは赤外光を検出するために適した赤外線カメラである。
【0325】
多様な実施形態では、データ通信の成功が、ゲームコンソール2200の通信ポートの内の1つを介して、例えばビデオカメラまたはリモコン装置等の周辺装置と起こるために、デバイスドライバ等のソフトウェアの適切な部分が提供される。
【0326】
いくつかの実施形態では、ゲームコンソール2200、HHC,及びHMD2205を含む上述のシステムデバイスが、HHC及びHMD2205がゲームの対話セッションのビデオを表示し、取り込むことを可能にする。システムデバイスは、ゲームの対話セッションを開始し、対話セッションは、ユーザー101とゲームとの間の双方向性を定義する。システムデバイスは、ユーザー101によって操作されるHHC及び/またはHMD2205の初期の位置及び向きをさらに決定する。ゲームコンソール2200は、ユーザー101とゲームとの間の双方向性に基づいてゲームの現在の状態を決定する。システムデバイスは、ユーザー101のゲームとの対話セッションの間にHHC及びまたはHMD2205の位置及び向きを追跡する。システムデバイスは、ゲームの現在の状態及びHHC及び/またはHMD2205の追跡された位置及び向きに基づいて対話セッションの観客ビデオストリームを生成する。いくつかの実施形態では、HHCは、HHCの表示画面で観客ビデオストリームをレンダリングする。多様な実施形態では、HMD2205は、HMD2205の表示画面で観客ビデオストリームをレンダリングする。
【0327】
図23に関して、HMD2302の構成要素を示す図が示される。HMD2302はHMD102(図1)の例である。HMD2302はプログラム命令を実行するためのプロセッサ2300を含む。メモリデバイス2302は、記憶のために提供される。メモリデバイス2302の例は揮発性メモリ、不揮発性メモリ、またはその組合せを含む。ユーザー101(図1)が見るビジュアルインタフェースを提供するディスプレイ装置2304が含まれる。電池2306はHMD2302用の電源として提供される。動作検知モジュール2308は、例えば磁力計2310、加速度計2312、及びジャイロスコープ2314等の多様な種類の動作感知ハードウェアのいずれかを含む。
【0328】
加速度計は、加速及び重力によって誘導される反力を測定するための装置である。一軸モデル及び多軸モデルが、異なる方向での加速の大きさ及び方向を検出するために利用できる。加速度計は、傾き、振動、及び衝撃を検知するために使用される。一実施形態では、3つの加速度計2312は、重力の方向を提供するために使用される。重力の方向は、例えばワールドスペースピッチ及びワールドスペースロール等の2つの角度の絶対基準を与える。
【0329】
磁力計はHMD2302の近傍の磁場の強度及び方向を測定する。いくつかの実施形態では、3つの磁力計2310がHMD2302の中で使用され、ワールドスペースヨー角の絶対基準を保証する。多様な実施形態では、磁力計は、±80マイクロテスラである地磁場に及ぶように設計される。磁力計は金属により影響を及ぼされ、実際のヨーと単調になるヨー測定値を提供する。いくつかの実施形態では、磁場は現実世界の金属のために歪み、このことがヨー測定値の歪みを引き起こす。多様な実施形態では、この歪みは例えばジャイロスコープ2314、カメラ2316等の他のセンサからの情報を使用し、較正される。一実施形態では、加速度計2312は、HMD2302の傾き及び方位角を得るために磁力計2310とともに使用される。
【0330】
ジャイロスコープは、角運動量の原理に基づいて向きを測定するまたは維持するための装置である。一実施形態では、ジャイロスコープ2314の代わりに、3つのジャイロスコープが慣性感知に基づいてそれぞれの軸(x、y、及びz)を横切る移動についての情報を提供する。ジャイロスコープは高速回転を検出するのに役立つ。ただし、いくつかの実施形態では、ジャイロスコープは、絶対基準が存在しないと経時的にドリフトする。これが周期的なジャイロスコープのリセットをトリガし、このことは物体、加速度計、磁力計等の視覚的な追跡に基づく位置/向きの決定等の他の利用可能な情報を使用し、行うことができる。
【0331】
カメラ2316は現実世界の環境の画像及び画像ストリームを取り込むために提供される。多様な実施形態では、ユーザー101がHMD2302等のディスプレイを見ているときに、例えばユーザー101から離れて向けられる等、後ろ向きであるカメラ、及びユーザー101がHMD2302のディスプレイを見ているときに、例えばユーザー101に向かって向けられる等、前向きであるカメラ、を含む複数のカメラがHMD2302に含まれる。さらに、いくつかの実施形態では、現実世界環境での物体の深度情報を感知するために深度カメラ2318がHMD2302に含まれる。
【0332】
HMD2302は、音声出力を提供するためのスピーカ2320を含む。また、いくつかの実施形態では、周囲環境での音、ユーザー101によってなされる話等を含む現実世界からの音声を取り込むために、マイク2322が含まれる。HMD2302はユーザー101に触覚フィードバックを提供するための触覚フィードバックモジュール2324を含む。一実施形態では、触覚フィードバックモジュール2324はユーザー101に触覚フィードバックを提供するためにHMD2302の移動及び/または振動を引き起こすことができる。
【0333】
LED2326は、HMD2302のステータスの視覚インジケータとして提供される。例えば、LEDは電池残量、電源投入等を示すことがある。カード読取り装置2328は、HMD2302がメモリカードに情報を読み込み、メモリカードから情報を書き出すことを可能にするために提供される。USBインタフェース2330は、周辺装置の接続、または他の携帯装置、コンピュータ等の他の装置への接続を可能にするためのインタフェースの一例として含まれる。HMD2302の多様な実施形態では、多様な種類のインタフェースのいずれかはHMD2302のより大きい接続性を可能にするために含まれてよい。
【0334】
Wi−Fiモジュール2332は、無線ネットワーキング技術によるインターネットへの接続を可能にするために含まれる。また、HMD2302は他の装置への無線接続を可能にするためのブルートゥースモジュール2334を含む。また、いくつかの実施形態では、通信リンク2336は他の装置への接続のために含まれる。一実施形態では、通信リンク2336は無線通信のための赤外線伝送を活用する。他の実施形態では、通信リンク2336は、他の装置との通信のために、多様な無線伝送プロトコルまたは有線伝送プロトコルのいずれかを活用する。
【0335】
入力ボタン/センサ2338は、ユーザー101(図1)に入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等の多様な種類の入力インタフェースの内のいずれかが含まれる。多様な実施形態では、超音波通信モジュール2340が、超音波技術により他の装置との通信を容易にするためにHMD2302に含まれる。
【0336】
バイオセンサ2342は、ユーザーからの生理学的データの検出を可能にするために含まれる。一実施形態では、バイオセンサ2342はユーザーの皮膚を通してユーザーの生体電気信号を検出するための1つまたは複数のドライ電極を含む。
【0337】
HMD2302の上述の構成要素は、HMD2302に含まれてよい単に例示的な構成要素として説明されている。多様な実施形態では、HMD2302は多様な上述の構成要素の内のいくつかを含むこともあれば、含まないこともある。
【0338】
図24は、情報サービスプロバイダ(INSP)アーキテクチャの実施形態を示す。INSP2402は、地理的に分散され、例えばローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、またはその組合せ等のコンピュータネットワーク2406を介して接続されているユーザー2404−1、2404−2、2404−3、及び2404−4に多数の情報サービスを配信する。WANの例はインターネットを含み、LANの例はイントラネットを含む。ユーザー2404−1、2404−2、2404−3、及び2404−4のいずれかはユーザー101(図1)の例である。ユーザー2404−1はクライアント2220−1を操作し、ユーザー2404−2は別のクライアント2420−2を操作し、ユーザー2404−3はさらに別のクライアント2420−3を操作し、ユーザー2404−4は別のクライアント2420−4を操作する。
【0339】
いくつかの実施形態では、各クライアント2420−1、2420−2、2420−3、及び2420−4は、中央演算処理装置(CPU)、ディスプレイ、及び入出力(I/O)インタフェースを含む。各クライアント2420−1、2420−2、2420−3、及び2420−4は、パーソナルコンピュータ(PC)、携帯電話、ネットブック、タブレット、ゲーム機、パーソナルデジタルアシスタント(PDA)、ディスプレイ装置を有するゲームコンソール108、HMD102(図1)、デスクトップコンピュータ、ラップトップコンピュータ、スマートテレビ等を含む。いくつかの実施形態では、INSP2402はクライアントデバイスのタイプを認識し、利用される通信方法を調整する。
【0340】
いくつかの実施形態では、INSPは株価更新等の1つのタイプのサービス、または放送媒体、ニュース、スポーツ、ゲーム等のさまざまなサービスを配信する。さらに、各INSPによって提供されるサービスは動的である。つまり、サービスは任意の時点で追加できる、または取り除くことができる。したがって、特定の個人に特定のタイプのサービスを提供するINSPは経時的に変化することがある。例えば、クライアント2420−1はクライアント2420−1に近接するINSPによってサービスを提供される。一方、クライアント2420−1はユーザー2204−1の地元にあり、クライアント2420−1は、ユーザー2404−1が異なる都市に移動するときに異なるINSPによってサービスを提供される。地元のINSPは、新しいINSPに要求される情報及びデータを転送し、これにより情報は新しい都市までクライアント2420−1に「ついていき」、データをクライアント2420−1により近くに、及びよりアクセスしやすくする。多様な実施形態では、マスタ−サーバ関係が、クライアント2420−1の情報を管理するマスタINSPと、マスタINSPからの制御下のクライアント2420−1と直接的にインタフェースをとるサーバINSPとの間で確立される。いくつかの実施形態では、クライアント2420−1が世界中を移動して、クライアント2420−1にサービスを提供するためによりよい位置のINSPをこれらのサービスを提供するクライアントにするのに伴い、データはあるISPから別のISPに転送される。
【0341】
INSP2402は、コンピュータネットワーク2406上でカスタマにコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ(ASP)2208を含む。また、ASPモデルを使用し、提供されるソフトウェアはオンデマンドソフトウェアまたはソフトウェア・アズ・ア・サービス(SaaS)とも呼ばれる。例えばカスタマ関係管理等のコンピュータベースのサービスにアクセスを提供する簡略な形式は、例えばハイパーテキスト転送プロトコル(HTTP)等の標準的なプログラムを使用することによる。アプリケーションソフトウェアはベンダのサーバに常駐し、ベンダ及び/または例えばシンクライアント等の他のリモートインタフェースによって提供される特殊目的クライアントソフトウェアによって、ハイパーテキストマークアップ言語(HTML)等を使用するウェブブラウザを通して各クライアント2420−1、2420−2、2420−3、及び2420−4によってアクセスされる。
【0342】
広い地理的地域上で配信されるサービスは、多くの場合クラウドコンピューティングを使用する。クラウドコンピューティングは、動的にスケーラブル且つ多くの場合仮想化されたリソースがコンピュータネットワーク2406上でサービスとして提供されるコンピューティングの種類である。ユーザー2204−1、2204−2、2204−3、及び2204−4は、該ユーザーをサポートする「クラウド」での技術インフラの専門家である必要はない。いくつかの実施形態では、クラウドコンピューティングは、インフラストラクチャ・アズ・ア・サービス(IaaS)、プラットフォーム・アズ・ア・サービス(PaaS)、及びソフトウェア・アズ・ア・サービス(SaaS)等の異なるサービスで分割される。クラウドコンピューティングサービスは多くの場合、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供する。一方、ソフトウェア及びデータはサーバに記憶される。用語クラウドは、コンピュータネットワーク2406がコンピュータネットワーク図でどのように示されるのかに基づいた、例えばサーバ、ストレージ、及び論理等を使用する、コンピュータネットワーク2406のメタファとして使用され、それが隠す複雑なインフラの抽象的概念である。
【0343】
さらに、INSP2402は、シングルビデオゲーム及びマルチプレーヤビデオゲームをプレイするためにクライアント2420−1、2420−2、2420−3、及び2420−4によって使用される、本明細書ではゲーム処理プロバイダとも呼ばれるゲーム処理サーバ(GPS)2410を含む。コンピュータネットワーク2406上でプレイされる大部分のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、クライアント2420−1、2420−2、2420−3、及び2420からデータを収集し、他のユーザーによって操作される他のクライアントにデータを分散する専用のサーバアプリケーションを使用する。これはピアツーピア構成よりもより効率的且つ効果的であるが、サーバアプリケーションをホストするためには別個のサーバが使用される。いくつかの実施形態では、GPS2410は、集中化されたGPS2410にさらに頼ることなく情報を交換するクライアント2420−1、2420−2、2420−3、及び2420の間で通信を確立する。
【0344】
専用のGPSは、クライアントと無関係に実行するサーバである。係るサーバはデータセンタに位置する専用のハードウェアで通常実行され、より多くの帯域幅及び専用の処理能力を提供する。専用のサーバは大部分のPCベースのマルチプレーヤゲーム用にゲームサーバをホストする方法である。多人数同時参加型オンラインゲームは、ゲームタイトルを所有するソフトウェア企業によって通常ホストされる専用サーバ上で実行し、該サーバがコンテンツを制御し、更新できるようにする。
【0345】
本明細書では放送処理プロバイダとも呼ばれることがある放送処理サーバ(BPS)2412は、視聴者に音声信号またはビデオ信号を分散する。非常に狭い範囲の視聴者に放送することはナローキャスティングと呼ばれることがある。放送分散の最終区間は、信号がどのようにしてクライアント2420−1、2420−2、2420−3、及び2420に到達するのかである。信号は、いくつかの実施形態では、ラジオ局またはテレビ局の場合と同様にアンテナ及び受信機に放送で、またはケーブルテレビもしくはケーブルラジオもしくは局を介して「無線ケーブル」を通して分散される。また、多様な実施形態では、コンピュータネットワーク2206は、特に信号及び帯域幅を共用できるようにするマルチキャスティングを用いて、クライアント2420−1、2420−2、2420−3、及び2420にラジオ信号またはテレビ信号のどちらかをもたらす。歴史的に、いくつかの実施形態では、放送は、例えば国家放送、地域放送等の地理的地域別に区切られる。しかしながら、高速インターネットの拡散により、コンテンツが世界中のほぼあらゆる国に到達できるので、放送は地理学によって定義されない。
【0346】
ストレージサービスプロバイダ(SSP)2414は、コンピュータ記憶空間及び関係する管理サービスを提供する。また、SSP2414は、周期的なバックアップ及びアーカイビングも提供する。サービスとしてストレージを提供することによって、クライアント2420−1、2420−2、2420−3、及び2420−4は、ストレージがサービスとして使用されないときに比較してより多くのストレージを使用する。別の主要な優位点は、SSP2414がバックアップサービスを含み、クライアント2420−1、2420−2、2420−3、及び2420−4が、それらのハードドライブが故障してもデータを失わない点である。さらに、いくつかの実施形態では、複数のSSPは、クライアント2420−1、2420−2、2420−3、及び2420−4から受信されるデータの完全なコピーまたは部分的なコピーを有し、クライアント2420−1、2420−2、2420−3、及び2420−4が、クライアント2420−1、2420−2、2420−3、及び2420−4がどこに位置しているのか、またはクライアントのタイプなのかに関係なく効率的にデータにアクセスできるようにする。例えば、ユーザー2404−1は、ユーザー2404−1が移動中である間に携帯電話を介してだけではなく、ホームコンピュータを介しても個人ファイルにアクセスする。
【0347】
通信プロバイダ2416は、クライアント2420−1、2420−2、2420−3、及び2420−4に接続性を提供する。通信プロバイダ2416の一種類はコンピュータネットワーク2406にアクセスを提供するインターネットサービスプロバイダ(ISP)である。ISPは、ダイヤルアップ、デジタル加入者回線(DSL)、ケーブルモデム、ファイバ、無線、または専用高速相互接続等のインターネットプロトコルデータグラムを配信するために適切なデータ伝送技術を使用し、クライアント2420−1、2420−2、2420−3、及び2420−4に接続する。また、いくつかの実施形態では、通信プロバイダ2416はe−メール、インスタントメッセージング、及びショートメッセージサービス(SMS)のテキストメッセージの送受信等のメッセージングサービスも提供する。別のタイプの通信プロバイダは、コンピュータネットワーク2406に直接バックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ(NSP)である。ネットワークサービスプロバイダの例は、高速インターネットアクセス等を提供する電気通信企業、データキャリア、無線通信プロバイダ、インターネットサービスプロバイダ、ケーブルテレビ事業者を含む。
【0348】
データ交換2418は、INSP2402の内部で複数のモジュールを相互接続し、コンピュータネットワーク2406を介してクライアント2420−1、2420−2、2420−3、及び2420−4にこれらのモジュールを接続する。多様な実施形態では、データ交換2418は、INSP2402のすべてのモジュールが近接している小さい領域をカバーする、または異なるモジュールが地理的に分散するとき大きい地理的地域をカバーする。例えば、データ交換2402は、データセンタのキャビネットの中の高速ギガビットイーサネット、または大陸間仮想LANを含む。
【0349】
多様な実施形態では、本明細書に説明されるいくつかの実施形態が本明細書に説明される残りの実施形態の1つまたは複数と結合されることに留意されたい。
【0350】
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含む多様なコンピュータシステム構成で実践される。また、本開示のいくつかの実施形態は、タスクが有線ベースのネットワークまたは無線ネットワークを通してリンクされる遠隔処理装置によって実行される分散コンピューティング環境で実践されることもある。
【0351】
上記の実施形態を念頭に、本開示のいくつかの実施形態が、コンピュータシステムに記憶されるデータを含む多様なコンピュータ実装操作を利用することを理解する必要がある。これらの操作は、物理的な量の物理的な操作を含む操作である。本開示の多様な実施形態の一部を形成する本明細書に説明される操作のいずれかは、有用な機械操作である。また、本開示のいくつかの実施形態はこれらの操作を実行するためのデバイスまたは装置にも関する。装置は特に要求される目的のために構築される、または装置はコンピュータに記憶されるコンピュータプログラムによって選択的に活性化されるもしくは構成される汎用コンピュータである。いくつかの実施形態では、多様な汎用機械は、本明細書の教示に従って作成されるコンピュータプログラムとともに使用される、または要求される操作を実行するためにより特殊化された装置を構築することがより便利である。
【0352】
本開示の多様な実施形態は、非一過性のコンピュータ可読媒体でコンピュータ可読コードとして実施される。非一過性のコンピュータ可読媒体は、コンピュータシステムによってその後読み取られるデータを記憶できる任意のデータストレージデバイスである。非一過性のコンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ(NAS)、読出し専用メモリ(ROM)、ランダムアクセスメモリ、コンパクトディスク−ROM(CD−ROM)、データの書き込みができるコンパクトディスク(CD−R)、書き換え可能CD(RW)、磁気テープ、及び他の光学データストレージデバイス及び非光学データストレージデバイスを含む。いくつかの実施形態では、非一過性のコンピュータ可読媒体は、コンピュータ可読コードが分散式で記憶され、実行されるようにネットワーク結合コンピュータシステム上で分散されるコンピュータ可読有形的表現媒体を含む。
【0353】
方法操作は特定の順序で説明されているが、いくつかの実施形態では、他の準備動作が操作間で実行される、または操作がわずかに異なるときに発生するように操作が調整される、またはオーバレイ操作の処理が所望されるように実行される限り、処理と関連付けられた多様な間隔で処理操作の発生を可能にするシステムで分散されることが理解されるべきである。
【0354】
多様な実施形態は理解を明確にするため本開示で多少詳しく説明されてきたが、特定の変更及び修正が添付の特許請求の範囲の範囲内で実践されることは明らかである。したがって、本実施形態は、制限的ではなく例示的と見なされるべきであり、本開示に説明される多様な実施形態は本明細書に示される詳細に制限されるべきではなく、添付の特許請求の範囲の範囲及び均等物の中で修正される。
図1
図2A
図2B
図2C
図2D
図2E
図2F
図3A
図3B
図4A
図4B
図5
図6A
図6B
図6C
図7A
図7B
図7C
図8A-1】
図8A-2】
図8B
図8C
図8D
図8E
図8F
図8G
図8H
図8I
図9A
図9B
図10A-1】
図10A-2】
図10B
図10C
図11A-1】
図11A-2】
図11B
図11C
図11D
図12
図13
図14A
図14B
図14C
図15A
図15B
図16
図17A
図17B
図17C
図17D
図17E
図17F
図17G
図17H
図17I
図18A
図18B
図19
図20
図21A
図21B
図21C
図22
図23
図24
【手続補正書】
【提出日】2017年6月12日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ゲームコンソールとインタフェースされるヘッドマウントディスプレイ(HMD)を介して仮想環境とインタフェースするための手指の位置を追跡する方法であって、
HMDから、前記HMDを着用するユーザーの手の複数の指と関連付けられる複数のウェアラブルデバイスに電力信号を送信することと、
前記複数のウェアラブルデバイスに識別子(ID)を順次送信することであって、各IDが前記複数のウェアラブルデバイスの1つを識別し、前記複数のウェアラブルデバイスのそれぞれが対応する光源を活性化させ、これにより前記複数のウェアラブルデバイスのそれぞれがタイムスロットの間アクティブとなり、各ウェアラブルデバイスが前記HMDによって前記順次送信されるIDに基づいてそれぞれのタイムスロットでアクティブであることを繰り返す、前記識別子(ID)を前記順次送信することと、
送信されたIDごとに、
(i)前記HMDの空間位置を決定することと、
(ii)前記決定された空間位置について前記HMDに置かれた前記少なくとも2つのセンサを使用し、前記複数のウェアラブルデバイスの1つから発せられた光を検出することであって、発せられた光の前記検出することが前記順次送信されるIDと同期する、前記検出することと、
(iii)前記指の1つの現在位置と関連付けられる前記複数のウェアラブルデバイスの1つの現在位置を決定するために、前記HMDから前記ゲームコンソールに、前記検出された発せられた光及び前記決定された空間位置のデータを送信することと、
(iv)前記ウェアラブルデバイスの移動する位置を経時的に識別するために、前記順次送信されるIDのそれぞれに対して、操作(i)から(iii)を繰り返すことと、
を含む、前記方法。
【請求項2】
前記仮想環境で前記ユーザーの前記手のグラフィック表現を表示することと、
前記ウェアラブルデバイスの前記識別された移動と実質的に同期して前記ユーザーの手の前記グラフィック表現の指の移動を示すことと、
をさらに含む、請求項1に記載の方法。
【請求項3】
前記識別子を順次送信することが、前記ウェアラブルデバイスの第2のウェアラブルデバイスの前記識別子の第2の識別子を送信することが後に続く、前記ウェアラブルデバイスの第1のウェアラブルデバイスの前記識別子の第1の識別子を送信することを含む、請求項1に記載の方法。
【請求項4】
発せられる光を検出することが、前記順次送信されるIDに同期され、前記ウェアラブルデバイスによってシーケンスで発せられる光を検出することを含む、請求項1に記載の方法。
【請求項5】
ループでIDの前記順次送信すること、及び前記ループで発せられる光の前記検出することを繰り返すこと、をさらに含む、請求項1に記載の方法。
【請求項6】
前記ウェアラブルデバイスが1つの手袋の中にまたは複数の手袋の中に実装される、請求項1に記載の方法。
【請求項7】
複数の発光体を有する複数のウェアラブルデバイスに電力を提供するためにヘッドマウントディスプレイ(HMD)から電力信号を送信することであって、前記発光体が、前記電力信号を介して受け取られる電力を用いて順序付けされたシーケンスで光を発し、前記順序付けされたシーケンスが、前記発光体が前記発光の複数のシーケンスを繰り返し、各発光体が前記光の一部分の発光の周波数を有するシーケンスである、前記電力信号を前記送信することと、
前記発光体によって発せられる前記光を検出して電気信号を生成することと、
前記ウェアラブルデバイスの複数の位置を決定するために、分析用にゲームコンソールに前記電気信号に関するデータを提供することであって、前記ウェアラブルデバイスの前記位置が、前記HMDの中に表示される対話環境の中でユーザーの手の指の表現の1つまたは複数の位置を決定するために使用される、前記データを前記提供することと、
を含む、方法。
【請求項8】
前記対話環境で前記ユーザーの前記手のグラフィック表現を表示することと、
前記ウェアラブルデバイスの識別された移動と実質的に同期して前記ユーザーの手の前記グラフィック表現の中の指の移動を示すことと、をさらに含み、
前記識別された移動が前記ウェアラブルデバイスの前記1つまたは複数の位置を含む、請求項7に記載の方法。
【請求項9】
各発光体が、前記電気信号を受信すると、一度に前記光の一部分の発光を開始し、前記光の部分の発光をある周波数で繰り返すようにプログラムされる、請求項7に記載の方法。
【請求項10】
前記HMDから前記ウェアラブルデバイスに同期信号を送信することをさらに含み、
前記同期信号が、前記ウェアラブルデバイスのそれぞれの識別を含み、
前記識別が、前記電力信号を受信した後に各発光体が前記光の一部分を発する時間、または各発光体が前記光の部分を発する時間及び周波数を決定するために使用される、請求項7に記載の方法。
【請求項11】
前記発光体のそれぞれが、前記発光体の残りが前記光の残りの部分を発しない時間に前記光の一部分を発するように構成される、請求項7に記載の方法。
【請求項12】
前記ウェアラブルデバイスの複数の位置を決定するための前記分析が、
前記電気信号に関する前記データに基づいて、光学センサの結像面の第1の位置を決定することであって、前記光学センサが前記HMDに取り付けられる、前記第1の位置を前記決定することと、
前記電気信号に関する前記データに基づいて、別の光学センサの結像面の第2の位置を決定することであって、前記他の光学センサが前記HMDに取り付けられる、前記第2の位置を前記決定することと、
前記第1の位置及び前記第2の位置に基づいて前記ウェアラブルデバイスの1つの前記位置の1つを計算することと、
を含む、請求項7に記載の方法。
【請求項13】
前記ゲームの前記プレイ中に前記ウェアラブルデバイスの前記1つの前記位置の前記1つを表す画像をレンダリングすることをさらに含む、請求項12に記載の方法。
【請求項14】
前記手が前記ユーザーの第1の手であり、前記方法が、
記発光体の第1のセットの位置及び前記発光体の第2のセットの位置に基づいて前記発光体からの発光の速度を変更することであって、前記発光体の前記第1のセットが前記ユーザーの前記第1の手に着用するためであり、前記発光体の前記第2のセットが前記ユーザーの第2の手に着用するためである、前記速度を前記変更することをさらに含む、請求項7に記載の方法。
【請求項15】
前記発光体が、前記電気信号のサンプルが前記HMDの光学センサによって生成される速度に同期して前記光を発する、請求項7に記載の方法。
【請求項16】
前記ゲームコンソールが前記位置をゲームコマンドと関連付け、前記ゲームコマンドを実行し、前記ゲームコマンドがゲーム環境データを生成するために実行され、
前記ゲームコンソールから前記ゲーム環境データを受信することと、
前記HMDの表示画面上に前記対話環境を表示するために前記ゲーム環境データをレンダリングすることと、
請求項7に記載の方法。
【請求項17】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含
前記信号検出器が、前記電気信号を生成するために前記光を検出するための1つまたは複数の光学センサデバイスを含み、
前記位置決定モジュールが、前記電気信号に基づいて、前記光学センサデバイスの1つでの前記ウェアラブルデバイスの前記1つから発せられる前記光の一部分の入射の点の場所を決定するために前記信号検出器に結合され、
前記位置決定モジュールが、前記場所、及び前記光学センサデバイスの別の1つでの前記ウェアラブルデバイスの前記1つから発せられる前記光の一部分の入射の点の別の場所に基づいて、前記ウェアラブルデバイスの前記1つの前記位置の1つを決定する、ように構成される、
前記システム。
【請求項18】
前記位置決定モジュールが、画像取込装置から前記1つまたは複数の位置を受け取るように構成される、請求項17に記載のシステム。
【請求項19】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含み、
前記位置決定モジュールが、前記ウェアラブルデバイスの前記1つの移動の速度、または前記ウェアラブルデバイスが着用される前記身体の部分の1つの移動の軌跡、または前記ウェアラブルデバイスの残りのウェアラブルデバイスの位置、またはその組合せに基づいて、前記ウェアラブルデバイスの前記1つの前記位置の1つを決定するように構成される、
前記システム。
【請求項20】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含み、
前記発光体デバイスのそれぞれが、前記ユーザーに触覚フィードバックを提供するための触覚フィードバックシステムを含む、
前記システム。
【請求項21】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
前記表示画面が埋め込まれるフレームと、
1つまたは複数の追加の信号検出器と、
をさらに含み、
前記信号検出器及び前記1つまたは複数の追加の検出器が、前記フレームの端縁に位置する、
前記システム。
【請求項22】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含み、
前記システムが、
複数の光源を備え、
前記光源が、前記ユーザーの胴に取り付けられる複数のセンサデバイスによって検出される光を生成して、前記センサデバイスの基準枠と前記HMDの基準枠との間の相対位置をさらに提供し、前記HMDの前記基準枠が前記1つまたは複数の発光体デバイスから発せられる前記光の遮断の前に決定され、前記センサデバイスが前記1つまたは複数の発光体から発せられる前記光を検出して、電気信号を生成するためであり、
前記位置決定モジュールが、前記センサデバイスによって生成される前記電気信号、及び前記センサデバイスの前記基準枠と前記HMDの前記基準枠との間の相対位置から前記1つまたは複数のウェアラブルデバイスの前記1つまたは複数の位置を決定するように構成される、
前記システム。
【請求項23】
システムであって、
ユーザーの頭部に着用されるように構成されるヘッドマウントディスプレイ(HMD)と、
前記HMDに結合されるゲームコンソールと、
を備え、
前記HMDが、
電力信号を生成するための電源と、
1つまたは複数の発光体デバイスに向かって前記電力信号を送信するために前記電源に結合される送信機であって、前記1つまたは複数の発光体デバイスが対応する1つまたは複数のウェアラブルデバイスに統合され、前記1つまたは複数のウェアラブルデバイスがユーザーの1つまたは複数の身体の部分に着用されるように構成され、前記1つまたは複数の発光体デバイスが前記電力信号に基づいてシーケンスで光を発する、前記送信機と、
前記光の少なくとも一部分を感知して複数の電気信号を生成するための信号検出器と、
を含み、
前記ゲームコンソールが、前記電気信号から前記ウェアラブルデバイスの1つの、1つまたは複数の位置の決定のために前記信号検出器と関連付けられた位置決定モジュールを含み、
前記HMDが、
前記ゲームコンソールから画像データを受信するための通信装置であって、前記画像データが前記1つまたは複数の位置に基づいて生成される、前記通信装置と、
前記画像データに基づいて1つまたは複数の画像を表示するための表示画面と、
をさらに含み、
同期信号を生成するための同期装置と、
前記1つまたは複数の発光体デバイスに前記同期信号を送信するために前記同期装置に結合される送信機と、
をさらに備え、
前記1つまたは複数の発光体デバイスが、前記同期信号に基づいて、前記シーケンスで光を発する、
前記システム。
【請求項24】
発光体システムであって、
ゲームプレイ中にユーザーのそれぞれの1つまたは複数の身体の部分に着用されるための1つまたは複数のウェアラブルデバイスを備え、
各ウェアラブルデバイスが、
ヘッドマウントディスプレイ(HMD)から電力信号及び同期信号を受信して、復調信号を生成するための受信機であって、前記同期信号が前記ウェアラブルデバイスの識別子を含む、前記受信機と、
前記復調信号から生成される電荷を蓄積するために前記受信機に接続される蓄積装置と、
前記電荷に基づいて生成される電力信号を受信すると、光を生成するために前記蓄積装置に結合される光源であって、前記光源が前記同期信号の前記識別子に基づいて前記光を発するように制御される、前記光源と、
を含む、前記発光体システム。
【請求項25】
前記光源が発光ダイオードを含む、請求項24に記載の発光体システム。
【請求項26】
各ウェアラブルデバイスが複数の光源を含み、前記複数の光源が前記ウェアラブルデバイスの外周部で互いから等距離に位置する、請求項24に記載の発光体システム。
【請求項27】
各ウェアラブルデバイスが指輪形状、または多角形形状、または楕円形状である、請求項24に記載の発光体システム。
【請求項28】
前記1つまたは複数のウェアラブルデバイスが、ユーザーの指の遠位部または中間部分または近位部を取り囲むために着用されるように構成される、請求項24に記載の発光体システム。
【請求項29】
前記1つまたは複数のウェアラブルデバイスが、指の先端及び前記指の遠心端の一部分を包囲するために着用されるように構成される、請求項24に記載の発光体システム。
【請求項30】
前記光源が手の手袋の指部分に取り付けられる、請求項24に記載の発光体システム。
【請求項31】
各ウェアラブルデバイスが、
記蓄積装置に蓄積される電荷の量を測定するために前記蓄積装置に結合される電荷センサと、
電荷の前記量が所定のレベルよりも大きいかどうかを判断するために前記電荷センサに結合されるコンパレータと、
前記コンパレータに結合される遅延コントローラであって、前記遅延コントローラが前記コンパレータから信号を受信すると、遅延信号を提供するように予めプログラムされ、前記コンパレータが電荷の前記量が前記予め決定されたレベルより大きいと判断するときに、前記信号が受信される、前記遅延コントローラと、
前記遅延コントローラに、及び前記光源と前記蓄積装置との間で結合されるスイッチであって、前記遅延コントローラから前記遅延信号を受信すると、閉じるように構成される、前記スイッチと、
を含む、請求項24に記載の発光体システム。
【請求項32】
各ウェアラブルデバイスが、
前記遅延コントローラから信号を受信するために前記遅延コントローラに結合される周波数コントローラであって、前記遅延コントローラが前記スイッチに前記遅延信号を送信するときに、前記信号が前記遅延コントローラから受信される、前記周波数コントローラと、
を含み、
前記周波数コントローラが、ある周波数で前記スイッチの開閉を制御するために前記スイッチに結合され、前記周波数コントローラが、前記遅延信号を受信すると、前記スイッチの開閉を制御するために前記スイッチに信号を送信する、
請求項31に記載の発光体システム。
【国際調査報告】