(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2018-512204(P2018-512204A)
(43)【公表日】2018年5月17日
(54)【発明の名称】拡張現実パルスオキシメトリ
(51)【国際特許分類】
A61B 5/1455 20060101AFI20180417BHJP
【FI】
A61B5/14 322
【審査請求】未請求
【予備審査請求】有
【全頁数】20
(21)【出願番号】特願2017-548443(P2017-548443)
(86)(22)【出願日】2016年3月16日
(85)【翻訳文提出日】2017年10月12日
(86)【国際出願番号】US2016022724
(87)【国際公開番号】WO2016149428
(87)【国際公開日】20160922
(31)【優先権主張番号】62/133,870
(32)【優先日】2015年3月16日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】サメック, ニコル エリザベス
(72)【発明者】
【氏名】ケーラー, エイドリアン
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038KK01
4C038KL05
4C038KL07
4C038KX01
4C038VA04
4C038VB04
4C038VC02
(57)【要約】
一実施形態は、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材と、頭部搭載型部材に結合され、少なくとも2つの異なる波長を伴う光をユーザの少なくとも一方の眼に向かって放出するように構成されている1つまたは複数の電磁放射エミッタと、頭部搭載型部材に結合され、眼の少なくとも1つの血管に衝突した後に反射された光を受け取るように構成されている1つまたは複数の電磁放射検出器と、1つまたは複数の電磁放射エミッタおよび検出器に作用可能に結合され、1つまたは複数の電磁放射エミッタに、光のパルスを放出させながら、また、1つまたは複数の電磁放射検出器に、放出された光のパルスに関連する光の吸収レベルを検出させ、血管内の酸素飽和度レベルに比例する出力を生成するように構成されているコントローラとを備えるシステムを対象とする。
【特許請求の範囲】
【請求項1】
ユーザの酸素飽和度を決定するためのシステムであって、
a.前記ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材と、
b.前記頭部搭載型部材に結合されている1つまたは複数の電磁放射エミッタであって、可視スペクトルから赤外スペクトル内の少なくとも2つの異なる波長を伴う光を前記ユーザの眼のうちの少なくとも一方の方向に放出するように構成されている1つまたは複数の電磁放射エミッタと、
c.前記頭部搭載型部材に結合されている1つまたは複数の電磁放射検出器であって、前記ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るように構成されている1つまたは複数の電磁放射検出器と、
d.前記1つまたは複数の電磁放射エミッタおよび1つまたは複数の電磁放射検出器に作用可能に結合されたコントローラであって、前記コントローラは、前記1つまたは複数の電磁放射エミッタに、光のパルスを放出させながら、また、前記1つまたは複数の電磁放射検出器に、前記放出された光のパルスに関連する光の吸収レベルを検出させ、前記血管内の酸素飽和度レベルに比例する出力を生成するように構成されている、コントローラと
を備えるシステム。
【請求項2】
前記頭部搭載型部材は、眼鏡フレームを備える、請求項1に記載のシステム。
【請求項3】
前記眼鏡フレームは、両眼用眼鏡フレームである、請求項2に記載のシステム。
【請求項4】
前記1つまたは複数の放射エミッタは、発光ダイオードを備える、請求項1に記載のシステム。
【請求項5】
前記1つまたは複数の放射エミッタは、2つの所定の波長において電磁放射を放出するように構成されている複数の発光ダイオードを備える、請求項4に記載のシステム。
【請求項6】
前記複数の発光ダイオードは、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とにおいて、電磁放射を放出するように構成されている、請求項5に記載のシステム。
【請求項7】
前記1つまたは複数の放射エミッタは、前記2つの所定の波長において逐次的に電磁放射を放出するように構成されている、請求項5に記載のシステム。
【請求項8】
前記1つまたは複数の放射エミッタは、前記2つの所定の波長において同時に電磁放射を放出するように構成される、請求項5に記載のシステム。
【請求項9】
前記1つまたは複数の電磁放射検出器は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択されるデバイスを備える、請求項1に記載のシステム。
【請求項10】
前記1つまたは複数の電磁放射検出器は、前記ユーザの眼の網膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ、配向されている、請求項1に記載のシステム。
【請求項11】
前記1つまたは複数の電磁放射検出器は、前記ユーザの眼の強膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ、配向されている、請求項1に記載のシステム。
【請求項12】
前記コントローラはさらに、前記1つまたは複数の電磁放射検出器が前記第1の波長および第2の波長を別個に検出するように、前記複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されている、請求項6に記載のシステム。
【請求項13】
前記コントローラは、前記複数の発光ダイオードに、約30回/秒の周期的パルス状パターンにおいて、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されている、請求項12に記載のシステム。
【請求項14】
前記コントローラは、第1の波長光測定値と第2の波長光測定値との比率を計算するように構成され、本比率は、ランベルト・ベールの法則に少なくとも部分的に基づいて、ルックアップテーブルを介して、酸素飽和度読取値に変換される、請求項12に記載のシステム。
【請求項15】
前記コントローラは、頭部搭載型パルスオキシメータとして機能するように前記1つまたは複数の電磁放射エミッタおよび1つまたは複数の電磁放射検出器を動作させるように構成されている、請求項14に記載のシステム。
【請求項16】
前記コントローラは、光学要素に作用可能に結合され、前記光学要素は、前記頭部搭載型部材に結合され、前記ユーザによって視認可能であり、前記ユーザの血管内の酸素飽和度レベルに比例する前記コントローラの出力が、前記光学要素を通して前記ユーザによって視認され得る、請求項15に記載のシステム。
【請求項17】
前記1つまたは複数の電磁放射検出器は、複数のピクセルを備えるデジタル画像センサを備え、前記コントローラは、前記ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るピクセルのサブセットを自動的に検出し、そのようなピクセルのサブセットを使用して、前記血管内の酸素飽和度レベルに比例する出力を生成するように構成されている、請求項9に記載のシステム。
【請求項18】
前記コントローラは、前記ピクセルと関連付けられた信号間の反射された光の輝度差に少なくとも部分的に基づいて、前記ピクセルのサブセットを自動的に検出するように構成されている、請求項17に記載のシステム。
【請求項19】
前記コントローラは、前記ピクセルと関連付けられた信号間の反射された光の吸収差に少なくとも部分的に基づいて、前記ピクセルのサブセットを自動的に検出するように構成されている、請求項17に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願データ)
本願は、米国特許法§119のもと、2015年3月16日に出願された米国仮特許出願第62/133,870号の利益を主張する。これにより、上記出願は、その全体が、参照によって本願に援用される。
【0002】
(発明の分野)
本開示は、装着可能構成要素を使用した拡張現実のためのシステムおよび方法に関し、より具体的には、拡張現実システムの状況においてユーザの血液中の酸素飽和度を決定するための構成に関する。
【背景技術】
【0003】
(背景)
現代のコンピューティング技術およびディスプレイ技術は、デジタル的に再現された画像またはその一部が現実であるように見える、または現実であるように知覚され得る様式において、ユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実(すなわち、「VR」)シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実(すなわち、「AR」)シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。
【0004】
例えば、
図1を参照すると、拡張現実場面(4)が、描写されており、AR技術のユーザには、背景における人々、木々、建物、および、有形プラットフォーム(1120)を特徴とする、実世界の公園のような設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、彼が実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)を「見ている」と知覚し得るが、これらの要素(2、1110)は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想画像要素または実世界画像要素の中で、仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するVRまたはAR技術の生成は、困難である。例えば、頭部装着型ARディスプレイ(またはヘルメット搭載型ディスプレイもしくはスマートグラス)は、典型的には、ユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。好適なARシステムのある側面は、例えば、Magic Leap, Inc.(Fort Lauderdale, Florida)によって開発されたもの等の拡張および仮想現実システムに関する、「System and method for augmented and virtual reality」と題された米国特許出願第14/205,126号(以下のさらなる開示とともに、参照によって全体が本明細書に援用される)、米国特許出願第14/641,376号、米国特許出願第14/555,585号、米国特許出願第14/212,961号、米国特許出願第14/690,401号、米国特許出願第13/663,466号、米国特許出願第13/684,489号、および米国出願第62/298,993号に開示されており、それぞれ、参照によって全体が本明細書に援用される。
【0005】
そのようなARおよびVRシステムは、典型的には、コントローラまたはマイクロコントローラ等の処理能力と、また、種々の構成要素の機能に給電するための電力供給源とを備え、ARおよびVRシステム等の装着可能コンピューティングシステム内の構成要素の少なくともいくつかが、それらを動作させるユーザの身体に近接しているという事実から、これらのシステム構成要素のうちのいくつかを利用して、ユーザに関連する特定の生理学的監視タスクを行う機会がある。先に
図4A〜4Cを参照すると、パルスオキシメトリの特定の側面が、示される。
図4Aを参照すると、従来のパルスオキシメータデバイス(802)が、ユーザの指(804)、耳たぶ、または他の類似組織構造に一時的に結合され、異なる波長における光をそのような組織構造を通してパルス発信しながら、組織構造の他方側において伝送(したがって、吸収)を検出し、推定される血中酸素飽和度レベルに比例する出力、または推定される血中酸素飽和度レベルとして読める出力を提供するように構成される。そのようなデバイスは、多くの場合、例えば、高所登山者によって、またはヘルスケアシナリオにおいて使用される。
図4Bは、酸素化ヘモグロビンの吸収スペクトル(806)対脱酸素化ヘモグロビンの吸収スペクトル(808)のチャート(810)を図示し、そのようなプロット(806、808)に示されるように、約660nm等の電磁スペクトルの赤色光波長範囲内では、酸素化ヘモグロビン対脱酸素化ヘモグロビンに関する吸収に顕著な差異が存在する一方、赤外波長範囲内の約940nmでは、反転された差異が存在する。そのような波長におけるパルス状放射およびパルスオキシメータを用いた検出は、特定のユーザに関する酸素飽和度の決定においてそのような既知の吸収差を利用することが公知である。パルスオキシメータ(802)は、典型的には、指(804)または耳たぶ等の組織構造を少なくとも部分的に包囲するように構成されるが、
図4Cに描写されるもの(812)等の特定のデスクトップ式システムが、網膜脈管等の眼の脈管内の吸収差を観察するために提案されている。そのような構成(812)は、フローオキシメトリシステムと称され、示されるように、カメラ(816)と、ズームレンズ(822)と、第1の発光ダイオード(LED)(818)および第2の発光ダイオード(LED)(820)と、1つまたは複数のビームスプリッタ(814)とを含む構成要素を備え得る。その日の動きおよびその活動の実施に伴って、その自身の血中酸素飽和度の便利な表示を見ることが可能であることは、高所ハイカーまたは特定の心血管もしくは呼吸問題を伴う人等の特定のユーザにとって有用となるが、大部分の構成は、組織構造の幾分不便な包囲を伴う、または装着可能であるように設計されていない、もしくは装着可能であることにあまり好適ではない。本明細書では、ARまたはVRシステムの形態で装着可能なコンピューティングの便宜性をパルスオキシメトリの酸素飽和度監視技術と組み合わせる解決策が、提示される。
【発明の概要】
【課題を解決するための手段】
【0006】
(発明の概要)
一実施形態は、ユーザの酸素飽和度を決定するためのシステムを対象とし、システムは、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材と、頭部搭載型部材に結合され、可視スペクトルから赤外スペクトル内の(または別の実施形態では、非可視スペクトルから赤外スペクトル内の)少なくとも2つの異なる波長を伴う光をユーザの眼のうちの少なくとも一方の方向に放出するように構成される1つまたは複数の電磁放射エミッタと、頭部搭載型部材に結合され、ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るように構成される1つまたは複数の電磁放射検出器と、1つまたは複数の電磁放射エミッタおよび1つまたは複数の電磁放射検出器に作用可能に結合され、1つまたは複数の電磁放射エミッタに、光のパルスを放出させながら、また、1つまたは複数の電磁放射検出器に、放出された光のパルスに関連する光の吸収レベルを検出させ、血管内の酸素飽和度レベルに比例する出力を生成するように構成されるコントローラとを備える。頭部搭載型部材は、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼用眼鏡フレームであってもよい。1つまたは複数の放射エミッタは、発光ダイオードを備えてもよい。1つまたは複数の放射エミッタは、2つの所定の波長において電磁放射を放出するように構成される複数の発光ダイオードを備えてもよい。複数の発光ダイオードは、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とにおいて、電磁放射を放出するように構成されてもよい。1つまたは複数の放射エミッタは、2つの所定の波長において逐次的に電磁放射を放出するように構成されてもよい。1つまたは複数の放射エミッタは、2つの所定の波長において同時に電磁放射を放出するように構成されてもよい。1つまたは複数の電磁放射検出器は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択されるデバイスを備えてもよい。1つまたは複数の電磁放射検出器は、ユーザの眼の網膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ、配向されてもよい。1つまたは複数の電磁放射検出器は、ユーザの眼の強膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ、配向されてもよい。コントローラはさらに、1つまたは複数の電磁放射検出器が第1の波長および第2の波長を別個に検出するように、複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラは、複数の発光ダイオードに、約30回/秒の周期的パルス状パターンにおいて、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラは、第1の波長光測定値と第2の波長光測定値との比率を計算するように構成されてもよく、本比率は、ランベルト・ベールの法則に少なくとも部分的に基づいて、ルックアップテーブルを介して、酸素飽和度読取値に変換される。コントローラは、頭部搭載型パルスオキシメータとして機能するように1つまたは複数の電磁放射エミッタおよび1つまたは複数の電磁放射検出器を動作させるように構成されてもよい。コントローラは、光学要素に作用可能に結合されてもよく、光学要素は、頭部搭載型部材に結合され、ユーザによって視認可能であり、ユーザの血管内の酸素飽和度レベルに比例するコントローラの出力が光学要素を通してユーザによって視認され得る。1つまたは複数の電磁放射検出器は、複数のピクセルを備えるデジタル画像センサを備えてもよく、コントローラは、ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るピクセルのサブセットを自動的に検出し、そのようなピクセルのサブセットを使用して、血管内の酸素飽和度レベルに比例する出力を生成するように構成される。コントローラは、ピクセルと関連付けられた信号間の反射された光の輝度差に少なくとも部分的に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。コントローラは、ピクセルと関連付けられた信号間の反射された光の吸収差に少なくとも部分的に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。
【図面の簡単な説明】
【0007】
【
図1】
図1は、ユーザへの拡張現実システム提示の特定の側面を図示する。
【0008】
【
図2A】
図2A−2Dは、装着可能コンピューティング用途のための種々の拡張現実システムの特定の側面を図示し、ローカル処理およびデータ構成要素および遠隔処理およびデータ構成要素に作用可能に結合される頭部搭載型構成要素を特徴とする。
【
図2B】
図2A−2Dは、装着可能コンピューティング用途のための種々の拡張現実システムの特定の側面を図示し、ローカル処理およびデータ構成要素および遠隔処理およびデータ構成要素に作用可能に結合される頭部搭載型構成要素を特徴とする。
【
図2C】
図2A−2Dは、装着可能コンピューティング用途のための種々の拡張現実システムの特定の側面を図示し、ローカル処理およびデータ構成要素および遠隔処理およびデータ構成要素に作用可能に結合される頭部搭載型構成要素を特徴とする。
【
図2D】
図2A−2Dは、装着可能コンピューティング用途のための種々の拡張現実システムの特定の側面を図示し、ローカル処理およびデータ構成要素および遠隔処理およびデータ構成要素に作用可能に結合される頭部搭載型構成要素を特徴とする。
【0009】
【
図3】
図3は、装着可能拡張または仮想現実システムと特定の遠隔処理および/またはデータストレージリソースとの間のコネクティビティパラダイムの特定の側面を図示する。
【0010】
【
図4A】
図4A−4Cは、従来のパルスオキシメトリ構成の種々の側面を図示する。
【
図4B】
図4A−4Cは、従来のパルスオキシメトリ構成の種々の側面を図示する。
【
図4C】
図4A−4Cは、従来のパルスオキシメトリ構成の種々の側面を図示する。
【0011】
【
図5】
図5は、統合されたパルスオキシメトリモジュールを特徴とする装着可能AR/VRシステムの種々の側面を図示する。
【0012】
【
図6】
図6は、統合されたパルスオキシメトリモジュールを特徴とする装着可能AR/VRシステムを使用するための技法の種々の側面を図示する。
【発明を実施するための形態】
【0013】
(詳細な説明)
図2A−2Dを参照すると、いくつかの概括的構成要素オプションが、図示される。
図2A−2Dの議論に従う、詳細な説明の部分では、種々のシステム、サブシステム、および構成要素が、ヒトVRおよび/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
【0014】
図2Aに示されるように、ユーザの眼の正面に位置付けられるディスプレイシステム(62)に結合されるフレーム(64)構造を特徴とする、頭部搭載型構成要素(58)を装着しているARシステムユーザ(60)が、描写される。スピーカ(66)が、描写される構成においてフレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、立体/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール(70)に作用可能に結合(68)され、ローカル処理およびデータモジュール(70)は、フレーム(64)に固定して取り付けられる
図2Bの実施形態に示されるように、ヘルメットまたは帽子(80)に固定して取り付けられる、ヘッドホン内に埋め込まれる、
図2Cの実施形態に示されるようにバックパック式構成においてユーザ(60)の胴体(82)に取り外し可能に取り付けられる、または、
図2Dの実施形態に示されるようにベルト結合式構成においてユーザ(60)の臀部(84)に取り外し可能に取り付けられる等、種々の構成において搭載されてもよい。
【0015】
ローカル処理およびデータモジュール(70)は、電力効率の良いプロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、(a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロ等、フレーム(64)に作用可能に結合され得るセンサから捕捉されるデータ、および/または(b)処理または読み出し後のディスプレイ(62)への起こり得る受け渡しのために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して、取得かつ/もしくは処理される、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール(70)は、有線または無線通信リンク等を介して、遠隔処理モジュール(72)および遠隔データリポジトリ(74)に作用可能に結合(76、78)されてもよく、これにより、これらの遠隔モジュール(72、74)が、相互に作用可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能となる。
【0016】
一実施形態では、遠隔処理モジュール(72)は、データおよび/または画像情報を分析および処理するように構成される、1つまたは複数の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ(74)は、比較的に大規模なデジタルデータストレージ設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、ローカル処理およびデータモジュール内に記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールから完全に自立した使用を可能にする。
【0017】
ここで
図3を参照すると、概略図は、例えば、クラウドコンピューティングアセット(46)と、ユーザの頭部(120)に結合される頭部搭載型構成要素(58)およびユーザのベルト(308)に結合されるローカル処理およびデータモジュール(70)(したがって、構成要素(70)は、
図3に示されるように「ベルトパック」(70)とも称され得る)内に存在し得るローカル処理アセットとの間の協調を図示する。一実施形態では、1つまたは複数のサーバシステム(110)等のクラウド(46)アセットは、有線または無線ネットワーキング等(無線は、モバイル式のために好ましく、有線は、所望され得る、特定の高帯域幅または高データ量転送のために好ましい)を介して、前述のようにユーザの頭部(120)およびベルト(308)に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方(40、42)に直接作用可能に結合(115)される。ユーザにローカルのこれらのコンピューティングアセットは同様に、
図8を参照して以下に議論される有線結合(68)等、有線および/または無線コネクティビティ構成(44)を介して、相互に作用可能に結合されてもよい。一実施形態では、ユーザの頭部(120)に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド(46)との間の主要転送は、ベルト(308)に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム(120)は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域(「UWB」)コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム(308)にデータテザリングされる。
【0018】
効率的なローカル処理と遠隔処理との協調および
図2Aに示されるユーザインターフェースもしくはユーザディスプレイシステム(62)またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際のまたは仮想の場所に関する1つの世界の側面は、ユーザに転送または「パス」され、効率的な方式で更新され得る。言い換えると、世界のマップが、ユーザのARシステム上に部分的に存在し、かつクラウドリソース内に部分的に存在し得る記憶場所において、継続的に更新され得る。マップ(「パス可能世界モデル」とも称される)は、ラスタ画像、3−Dおよび2−Dポイント、パラメータ情報、および実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのARユーザが、その実環境についての情報を継続的に捕捉するにつれて(例えば、カメラ、センサ、IMU等を通して)、マップは、ますます正確かつ完全となる。
【0019】
クラウドコンピューティングリソース上に存在し、かつクラウドコンピューティングリソースから配布され得る1つの世界モデルが存在する前述のような構成を用いることで、そのような世界は、リアルタイムビデオデータまたは同等物を分配しようとするために好ましい比較的に低帯域幅形式において、1人または複数人のユーザに「パス可能」となり得る。像の近くに立っている人の拡張体験(すなわち、
図1に示されるようなもの)は、クラウドベースの世界モデルによって情報提供されてもよく、クラウドベースの世界モデルのサブセットは、彼らおよびそのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータのような単純なものであり得る遠隔ディスプレイデバイスに向かって着座している人が、情報の同一セクションをクラウドから効率的にダウンロードし、情報の同一セクションを彼のディスプレイ上にレンダリングさせることができる。実際、公園内で像の近くに実際に存在するある人物は、遠隔に位置する友人をその公園内で散歩に連れ出し、友人は、仮想および拡張現実を通して加わってもよい。システムは、通りの場所、木々の場所、像の場所を把握する必要があるが、クラウド上のその情報を用いることで、加わる友人は、シナリオのクラウド側面からダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実として散歩を開始することができる。
【0020】
3−Dポイントが、環境から捕捉されてもよく、それらの画像またはポイントを捕捉するカメラの姿勢(すなわち、世界に対するベクトルおよび/または原位置情報)が、これらのポイントまたは画像が決定されてもよく、これにより、これらのポイントまたは画像は、本姿勢情報と「タグ付けされる」、または関連付けられ得る。次いで、第2のカメラによって捕捉されたポイントが、第2のカメラの姿勢を決定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成する、および実世界の仮想コピーを生成するために利用されてもよい(その時点で周囲に位置合わせされている2つのカメラが存在するため)。
【0021】
したがって、ベースレベルにおいて、一実施形態では、人装着型システムは、3−Dポイントおよびそのポイントを生成した2−D画像の両方を捕捉するために利用されることができ、これらのポイントおよび画像は、クラウドストレージおよび処理リソースに送信されてもよい。それらはまた、埋め込まれた姿勢情報とともにローカルでキャッシュされてもよく(すなわち、タグ付けされた画像をキャッシュする)、したがって、クラウドは、3−Dポイントとともに、タグ付けされた2−D画像(すなわち、3−D姿勢とタグ付けされた)の準備完了状態にあり得る(すなわち、利用可能なキャッシュ内で)。ユーザが動的なものを観察している場合、ユーザは、また、運動に関する付加的情報をクラウドに送信してもよい(例えば、別の人の顔を見ている場合、ユーザは、周囲世界がその他の点では基本的に静的であるが、顔のテクスチャマップを取り出し、それを最適化された周波数でプッシュ配信することができる)。前述のように、オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、Magic Leap, Inc.(Fort Lauderdale, Florida)によって開発されたもの等の拡張および仮想現実システムに関連する「System and method for augmented and virtual reality」と題された米国特許出願第14/205,126号(以下の付加的開示とともに、参照によってその全体が本願明細書に援用される)、米国特許出願第14/641,376号、米国特許出願第14/555,585号、米国特許出願第14/212,961号、米国特許出願第14/690,401号、米国特許出願第13/663,466号、米国特許出願第13/684,489号、および米国特許出願第62/298,993号に見出され得、それぞれ、参照すによってその全体が本明細書に組み込まれる。
【0022】
GPSおよび他の位置特定情報が、そのような処理への入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定が、適切な仮想コンテンツをユーザに表示する際に重要である。
【0023】
図5を参照すると、例証目的のために、種々の統合された構成要素を特徴とする装着可能コンピューティング構成の頭部搭載可能構成要素(58)の上部直交図が、図示される。本構成は、前述の参照によって援用される開示に説明されるように、2つのディスプレイ要素(62−両眼用−眼毎に1つ)と、それぞれ関連付けられた視野(18、20、22)を有する、ユーザの周囲の世界を観察および検出するための3つの前方配向型カメラ(124)と、視野(26)を伴う、同様に前方配向型の比較的に高分解能の写真カメラ(156)と、1つまたは複数の慣性測定ユニット(102)と、関連付けられた視野(24)を伴う深度センサ(154)とを特徴とする。少なくとも1つのエミッタおよび少なくとも1つの検出器が、ユーザの眼(12、13)に向かって面し、頭部搭載型構成要素(58)フレームに結合される。例証的実施形態は、冗長構成を示し、右眼(13)用の1つの検出器デバイス(830;関連付けられた視野または捕捉野は、30である)および1つのエミッタデバイス(834;関連付けられた照射野は、826である)と、左眼(12)用の1つの検出器デバイス(828;関連付けられた視野または捕捉野は、28である)および1つのエミッタデバイス(832;関連付けられた照射野は、824である)とを伴う。これらの構成要素は、バッテリ等の電力供給源(846)に作用可能に結合(848)されるコントローラ(844)にワイヤ導線等によって作用可能に結合(836、838、840、842)されて示される。好ましくは、各エミッタ(832、834)は、LED等によって、約660nmおよび約940nm等の2つの波長において電磁放射を制御可能に放出するように構成され、好ましくは、照射野(824、826)は、眼の強膜の脈管または眼の網膜の脈管等の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンを含む標的組織を照射するように配向され、エミッタは、制御されたパルス状放出周期を用いて、同時に、または逐次的に、両波長を放出するように構成されてもよい。1つまたは複数の検出器(828、830)は、フォトダイオード、光検出器、またはデジタルカメラセンサを備えてもよく、好ましくは、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンを含む標的組織に衝突した放射を受け取るように位置付けられ、かつ配向され、これにより、吸収が、検出され、酸素飽和度が計算/推定され得る。1つまたは複数の電磁放射検出器(828、830)は、複数のピクセルを備えるデジタル画像センサを備えてもよく、コントローラ(844)は、ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るピクセルのサブセットを自動的に検出し、そのようなピクセルのサブセットを使用して、血管内の酸素飽和度レベルに比例する出力を生成するように構成される。コントローラ(844)は、ピクセルと関連付けられた信号間の反射された光の輝度差に少なくとも部分的に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。コントローラ(844)は、ピクセルと関連付けられた信号間の反射された光の吸収差に少なくとも部分的に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。
【0024】
したがって、ARまたはVRのためのもの等の装着可能コンピューティングシステムを装着するユーザの酸素飽和度を決定するためのシステムが、提示され、システムは、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材(58)と、頭部搭載型部材(58)に結合され、可視スペクトルから赤外スペクトル内の少なくとも2つの異なる波長を伴う光をユーザの眼(12、13)のうちの少なくとも一方の方向に放出するように構成される1つまたは複数の電磁放射エミッタ(832、834)と、頭部搭載型部材に結合され、ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るように構成される1つまたは複数の電磁放射検出器(828、830)と、1つまたは複数の電磁放射エミッタ(832、834)および1つまたは複数の電磁放射検出器(828、830)に作用可能に結合され、1つまたは複数の電磁放射エミッタに、光のパルスを放出させながら、また、1つまたは複数の電磁放射検出器に、放出された光のパルスに関連する光の吸収レベルを検出させ、血管内の酸素飽和度レベルに比例する出力を生成するように構成されるコントローラ(844)とを備える。頭部搭載型部材(58)は、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼用眼鏡フレームであってもよく、代替実施形態は、片眼用であってもよい。1つまたは複数の放射エミッタ(832、834)は、発光ダイオードを備えてもよい。1つまたは複数の放射エミッタ(832、834)は、2つの所定の波長において電磁放射を放出するように構成される複数の発光ダイオードを備えてもよい。複数の発光ダイオードは、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とにおいて、電磁放射を放出するように構成されてもよい。1つまたは複数の放射エミッタ(832、834)は、2つの所定の波長において逐次的に電磁放射を放出するように構成されてもよい。1つまたは複数の放射エミッタ(832、834)は、2つの所定の波長において同時に電磁放射を放出するように構成されてもよい。1つまたは複数の電磁放射検出器(828、830)は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択されるデバイスを備えてもよい。1つまたは複数の電磁放射検出器(828、830)は、ユーザの眼(12、13)の網膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ配向されてもよい。1つまたは複数の電磁放射検出器(828、830)は、ユーザの眼の強膜の少なくとも1つの血管に衝突後に反射された光を受け取るように位置付けられ、かつ配向されてもよい。コントローラ(844)はさらに、1つまたは複数の電磁放射検出器が第1の波長および第2の波長を別個に検出するように、複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ(844)は、約30回/秒の周期的パルス状パターンにおいて、複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ(844)は、第1の波長光測定値と第2の波長光測定値との比率を計算するように構成されてもよく、本比率は、ランベルト・ベールの法則に少なくとも部分的に基づいて、ルックアップテーブルを介して、酸素飽和度読取値に変換される。コントローラ(844)は、頭部搭載型パルスオキシメータとして機能するように、1つまたは複数の電磁放射エミッタ(832、834)および1つまたは複数の電磁放射検出器(828、830)を動作させるように構成されてもよい。コントローラ(844)は、光学要素(62)に作用可能に結合されてもよく、光学要素(62)は、頭部搭載型部材(58)に結合され、ユーザによって視認可能であり、これにより、ユーザの血管内の酸素飽和度レベルに比例するコントローラ(844)の出力がユーザによって光学要素(62)を通して視認され得る。
【0025】
図6は、統合されたパルスオキシメトリモジュールを特徴とする装着可能AR/VRシステムを使用するための技法または方法の種々の側面を図示する。
図6を参照すると、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材またはフレームが、提供されてもよく(850)、構成要素構成は、頭部搭載型部材に作用可能に結合されてもよく、構成要素構成は、頭部搭載型部材に結合され、可視スペクトルから赤外スペクトル(または別の実施形態では、非可視から赤外)内の少なくとも2つの異なる波長を伴う光をユーザの眼のうちの少なくとも一方の方向に放出するように構成される1つまたは複数の電磁放射エミッタと、頭部搭載型部材に結合され、ユーザの眼の少なくとも1つの血管に衝突後に反射された光を受け取るように構成される1つまたは複数の電磁放射検出器と、1つまたは複数の電磁放射エミッタおよび1つまたは複数の電磁放射検出器に作用可能に結合され、1つまたは複数の電磁放射エミッタに、光のパルスを放出させながら、また、1つまたは複数の電磁放射検出器に、放出された光のパルスに関連する光の吸収レベルを検出させ、血管内の酸素飽和度レベルに比例する出力を生成するように構成されるコントローラとを有する(852)。コントローラは、1つまたは複数の電磁放射検出器が第1の波長および第2の波長を別個に検出するように、1つまたは複数の放射エミッタに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターン(約30回/秒等)を用いて、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長等の2つの所定の波長において電磁放射を放出させるように動作させられてもよい(854)。コントローラは、第1の波長光測定値と第2の波長光測定値との比率を計算するように動作させられてもよく、本比率は、ランベルト・ベールの法則に少なくとも部分的に基づいて、ルックアップテーブルを介して、酸素飽和度読取値に変換される(856)。
【0026】
一実施形態では、全体的眼ベースのパルスオキシメトリ活動の大部分は、コントローラ(844)によって動作させられるソフトウェアを用いて行われ、脈管(すなわち、強膜、網膜、または他の眼/血管組織構造内)を位置特定する初期タスクが、デジタル画像処理(例えば、種々のフィルタを使用する、色、グレースケール、および/または強度閾値分析等によって;また、パターンおよび/または形状認識を使用して実施されてもよい;ソフトウェアおよびコントローラは、標的脈管の中心の強度および周囲組織の強度を使用して、コントラスト/光学密度を決定するように構成されてもよい)を使用して実施され、標的脈管または他の識別された構造を用いて、放出/検出および検出されたデータの処理(画像処理を含んでもよい)が、コントラストを決定するために利用されてもよく、次いで、コントローラ(844)は、前述のように、密度比(コントラスト)を計算し、酸素飽和度を密度比から計算するために利用されてもよい。2つまたはそれより多くの放出される波長のそれぞれにおける脈管光学密度(「O.D.」)は、式OD
vessel=−log
10(I
v/I
r)を使用して計算されてもよく、OD
vesselは、脈管の光学密度であり、I
vは、脈管強度であり、I
rは、周囲網膜組織強度である。酸素飽和度(「SO
2」とも称される)は、SO
2=ODR=OD
firstwavelength/OD
secondwavelengthのように、2つの波長における脈管光学密度の線形比(OD比または「ODR」)として計算されてもよい。
【0027】
一実施形態では、約570nm(脱酸素化ヘモグロビンに敏感)および約600nm(酸素化ヘモグロビンに敏感)の波長が、SO
2=ODR=OD
600nm/OD
570nmのように、網膜脈管オキシメトリにおいて利用されてもよく、そのような式は、較正係数によって比率を調節することを考慮しない。
【0028】
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例を参照する。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、特定の状況、材料、組成物、プロセス、プロセスの行為(単数または複数)またはステップ(単数または複数)を、本発明の目的(単数または複数)、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る個別の構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる特許請求の範囲の範囲内であることを目的としている。
【0029】
本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要デバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにエンドユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
【0030】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
【0031】
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、(本明細書に記載されるか、いくらか簡潔にするために含まれないかにかかわらず)均等物が代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定値または介在値が、本発明内に包含されることが理解される。
【0032】
また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つまたは複数の特徴と組み合わせて、記載および請求され得ることが想定される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる特許請求の範囲で使用される場合、「1つの(a、an)」、「該(said)」、および「前記(the)」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる特許請求の範囲で、対象項目の「少なくとも1つ」を可能にする。さらに、そのような特許請求の範囲は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
【0033】
そのような排他的用語を使用することなく、本開示と関連付けられる特許請求の範囲での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術用語および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
【0034】
本発明の範疇は、提供される実施例および/または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる特許請求の範囲の言語の範囲のみによって限定されるものとする。
【手続補正書】
【提出日】2017年1月16日
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【国際調査報告】