(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143907
(43)【公開日】2023-10-06
(54)【発明の名称】拡張現実の分光法
(51)【国際特許分類】
G01N 21/27 20060101AFI20230928BHJP
A61B 5/1455 20060101ALI20230928BHJP
A61B 5/107 20060101ALI20230928BHJP
A61B 5/00 20060101ALI20230928BHJP
G01J 3/42 20060101ALI20230928BHJP
【ＦＩ】
G01N21/27 A
A61B5/1455
A61B5/107 300
A61B5/00 D
A61B5/00 N
G01J3/42 Z
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023112168
(22)【出願日】2023-07-07
(62)【分割の表示】P 2022150938の分割
【原出願日】2017-09-22
(31)【優先権主張番号】62/398,454
(32)【優先日】2016-09-22
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ニコル エリザベス サメック
(72)【発明者】
【氏名】ナスターシャ ユー． ロバイナ
(72)【発明者】
【氏名】エイドリアン ケーラー
(72)【発明者】
【氏名】マーク ベーレンロッド
(72)【発明者】
【氏名】エリック ベーレンロッド
(72)【発明者】
【氏名】クリストファー エム． ハリセス
(72)【発明者】
【氏名】タミー シェリー パワーズ
(57)【要約】
【課題】拡張現実の分光法の提供。
【解決手段】いくつかの実施形態では、システムは、ユーザの頭部に取り外し可能に結合可能な頭部搭載型フレームと、頭部搭載型フレームに結合され、少なくとも２つの異なる波長を伴う光を光源の照射視野内の標的オブジェクトに向かって放出するように構成される、１つ以上の光源と、頭部搭載型部材に結合され、標的オブジェクトに遭遇した後に反射された光を受光するように構成される、１つ以上の電磁放射検出器と、１つ以上の光源および検出器に動作可能に結合され、光源によって放出される光の性質に関連して検出器によって測定された光の性質によって判定されるように、標的オブジェクトの識別または性質を示す出力を判定および表示するように構成される、コントローラとを備える。
【選択図】図５
【解決手段】いくつかの実施形態では、システムは、ユーザの頭部に取り外し可能に結合可能な頭部搭載型フレームと、頭部搭載型フレームに結合され、少なくとも２つの異なる波長を伴う光を光源の照射視野内の標的オブジェクトに向かって放出するように構成される、１つ以上の光源と、頭部搭載型部材に結合され、標的オブジェクトに遭遇した後に反射された光を受光するように構成される、１つ以上の電磁放射検出器と、１つ以上の光源および検出器に動作可能に結合され、光源によって放出される光の性質に関連して検出器によって測定された光の性質によって判定されるように、標的オブジェクトの識別または性質を示す出力を判定および表示するように構成される、コントローラとを備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
本願明細書に記載された発明。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権主張）
本出願は、２０１６年９月２２日に出願された米国仮出願第６２／３９８，４５４号の優先権の利益を主張する。上記文献は、参照することによって本明細書に組み込まれる。
本出願は、２０１６年９月２２日に出願された米国仮出願第６２／３９８，４５４号の優先権の利益を主張する。上記文献は、参照することによって本明細書に組み込まれる。
【0002】
（参照による援用）
本発明は、参照することによって、以下の米国特許出願：米国特許出願第１５／０７２，３４１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１４／５５５，８５８号、米国出願第１４／５５５，５８５号、米国特許出願第１３／６６３，４６６号、米国特許出願第１３／６８４，４８９号、米国特許出願第１４／２０５，１２６号、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／２１２，９６１号、米国仮特許出願第６２／２９８，９９３号（米国特許出願第１５／４２５，８３７号に対応する）、および米国特許出願第１５／４２５，８３７号の各々の全体を組み込む。
本発明は、参照することによって、以下の米国特許出願：米国特許出願第１５／０７２，３４１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１４／５５５，８５８号、米国出願第１４／５５５，５８５号、米国特許出願第１３／６６３，４６６号、米国特許出願第１３／６８４，４８９号、米国特許出願第１４／２０５，１２６号、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／２１２，９６１号、米国仮特許出願第６２／２９８，９９３号（米国特許出願第１５／４２５，８３７号に対応する）、および米国特許出願第１５／４２５，８３７号の各々の全体を組み込む。
【0003】
（背景）
（発明の分野）
本開示は、ウェアラブル構成部分を使用した拡張現実のためのシステムおよび方法に関し、より具体的には、反射光の性質によって材料を識別するための拡張現実システムの構成に関する。
（発明の分野）
本開示は、ウェアラブル構成部分を使用した拡張現実のためのシステムおよび方法に関し、より具体的には、反射光の性質によって材料を識別するための拡張現実システムの構成に関する。
【背景技術】
【0004】
（関連技術の説明）
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、依然として、ユーザが実世界を実質的に知覚および視認することを可能にしながら、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、依然として、ユーザが実世界を実質的に知覚および視認することを可能にしながら、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【0005】
例えば、図１を参照すると、拡張現実場面（４）が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム（１１２０）を特徴とする、実世界公園状設定（６）が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、これらの仮想要素（２、１１１０）が実世界内に存在しないにもかかわらず、実世界プラットフォーム（１１２０）上に立っているロボット像（１１１０）と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ（２）とを「見ている」と知覚する。結論から述べると、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術の生産は、困難である。例えば、頭部装着型ＡＲディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）は、典型的には、ユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。好適なＡＲシステムのある側面は、例えば、Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．（Ｆｏｒｔ Ｌａｕｄｅｒｄａｌｅ，Ｆｌｏｒｉｄａ）によって開発されたもの等の拡張および仮想現実システムに関する、以下の付加的開示とともに、参照することによってその全体として本明細書に組み込まれる、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許出願第１４／２０５，１２６号、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／５５５，５８５号、米国特許出願第１４／２１２，９６１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１３／６６３，４６６号、米国特許出願第１３／６８４，４８９号、および米国出願第６２／２９８，９９３号に開示されており、それぞれ、参照することによって全体として本明細書に組み込まれる。
【0006】
本明細書に開示されるシステムおよび方法は、ＡＲおよびＶＲ技術に関連する種々の課題および開発に対処する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
（要約）
複合現実システムは、分光を実施するように構成される。複合現実（代替として、「ＭＲ」として省略される）は、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、ＡＲコンテンツは、実世界オブジェクトによってオクルードされ、および／または実世界内の他の（仮想または実）オブジェクトと相互作用するように知覚され得る。本開示全体を通して、ＡＲ、ＶＲ、またはＭＲの言及は、本発明に関する限定ではなく、本技法は、任意のコンテキストに適用されてもよい。
複合現実システムは、分光を実施するように構成される。複合現実（代替として、「ＭＲ」として省略される）は、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、ＡＲコンテンツは、実世界オブジェクトによってオクルードされ、および／または実世界内の他の（仮想または実）オブジェクトと相互作用するように知覚され得る。本開示全体を通して、ＡＲ、ＶＲ、またはＭＲの言及は、本発明に関する限定ではなく、本技法は、任意のコンテキストに適用されてもよい。
【課題を解決するための手段】
【0008】
いくつかの実施形態は、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材から放出され、続いて、それによって受光され／それに反射され／そこで検出された光波長の関数として、物質（組織、組織内の細胞、または細胞／組織内の性質等）を識別するためのウェアラブルシステムを対象とする。本開示は、主に、種々の実施形態による分析のための対象として、組織または組織の性質を参照するが、本技術および技法ならびにコンポーネントは、そのように限定されない。いくつかの実施形態は、頭部搭載型部材に結合され、１つ以上の波長内の光をユーザ選択方向に放出する、電磁放射エミッタ等の１つ以上の光源を利用する。そのような実施形態は、連続的および受動的測定さえ可能にする。例えば、頭部搭載型システムを装着しているユーザは、所与のアクティビティを行い得るが、内向きに面したセンサは、アクティビティに干渉せずに、眼の性質を検出し得る。
【0009】
例えば、ユーザは、ユーザの眼を内向きに見て、眼の血管内の血液濃度等の眼の組織の性質を識別または測定するように構成される、システムを装着し得る。内向きシステムの他の実施例では、単に、組織の性質だけではなく、眼内流体等の流体が、分析されてもよい。他の実施例では、システムは、外界に向かって外向きに見て、ユーザの四肢またはユーザから離れた周囲環境内のオブジェクト等、眼以外の組織または材料の性質を識別または測定する、センサを備え得る。
【0010】
外向きに見るシステムでは、頭部搭載型部材に結合される眼追跡カメラは、ユーザが見ている指向性注視を判定することができ、プロセッサまたはコントローラは、頭部搭載型部材に結合される実世界捕捉システム（カメラまたは深度センサ等）から捕捉された画像を通して、その注視と実世界標的オブジェクトの観察を相関させてもよい。頭部搭載型システムに結合される光源は、例えば、電磁放射エミッタから、赤外線光等の光をユーザから離れるように放出し、いくつかの実施形態では、光を放出し、照射パターンを眼追跡カメラによって判定された注視方向と実質的に同一方向に作成し、それによって、標的オブジェクト上に放出する。
【0011】
いくつかの実施形態では、実世界捕捉システムは、オブジェクトを捕捉する。例えば、垂直キャビティ面発光レーザ等の深度センサは、オブジェクトに衝突する飛行時間信号を収集することを通して、オブジェクトのアウトラインを判定してもよい。オブジェクトは、いったんそのような実世界捕捉システムによってその輪郭において識別されると、ハイライトされ、ラベル化のために利用可能となり得る。いくつかの実施形態では、所与の視野のカメラシステムは、ハイライトおよびラベル化のために利用可能なエリアを定義する。例えば、ユーザの注視と相関するカメラは、光源が実質的にその中で光を放出するであろう、５度視野、１０度視野、または好ましくは最大３０度中心視覚視野までの好適なインクリメントを包含してもよい。
【0012】
いくつかの実施形態では、そのようなシステムはさらに、頭部搭載型部材に結合され、光源から放出され、標的オブジェクトから反射された、反射光を受光するように構成される、１つ以上の電磁放射検出器または光検出器と、１つ以上の電磁放射エミッタおよび１つ以上の電磁放射検出器に動作可能に結合され、１つ以上の電磁放射エミッタに、光のパルスを放出させる一方、また、１つ以上の電磁放射検出器に、特定のパルス放射の任意の受光された反射光の関数として、放出された光のパルスに関連する吸光のレベルを検出させるように構成される、コントローラとを備える。
【0013】
いくつかの実施形態では、本システムはさらに、標的オブジェクトから検出器によって受光された反射光の波長を、特定の材料、組織タイプ、または下層組織の性質に合致させるためのプロセッサを備える。いくつかの実施形態では、放出された光および検出された光に対する偏光変化または散乱効果等の他の光特性も、判定されるが、本説明の目的のために、波長特性が、例示的光特性として使用される。例えば、いくつかの実施形態では、内向き電磁放射エミッタが、赤外線スペクトル内の光をユーザの網膜に放出し、反射された光を受光し、反射された光の波長を合致させ、組織のタイプまたは組織内の酸素飽和等の物理的性質を判定する。いくつかの実施形態では、本システムは、外向きに面した光源を備え、赤外線光を標的オブジェクト（ユーザまたは第三者の四肢等）に放出し、反射された光を受光し、反射された光波長を合致させ、観察される材料を判定する。例えば、そのような外向きに面したシステムは、健康な細胞間の癌性細胞の存在を検出してもよい。癌性または他の異常細胞は、健康な細胞と異なるように光反射および吸収するため、ある波長における光の反射は、異常の存在および量を示すことができる。
【0014】
いくつかの実施形態では、コントローラは、捕捉された標的オブジェクトを実世界捕捉システムから受信し、識別された性質を示すラベルを標的オブジェクトに適用する。いくつかの実施形態では、ラベルは、頭部搭載型部材のディスプレイ内のテキストラベルまたはプロンプトである。いくつかの実施形態では、ラベルは、ユーザへのオーディオプロンプトである。いくつかの実施形態では、ラベルは、ユーザによる容易な比較分析のために、標的オブジェクトの近傍に重畳される、医学書において参照されるような類似組織の仮想画像である。
【0015】
いくつかの実施形態では、頭部搭載型部材は、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼眼鏡フレームであってもよい。１つ以上の放射エミッタは、発光ダイオード等の光源を備えてもよい。１つ以上の放射エミッタは、２つ以上の異なる波長において電磁放射を放出するように構成される、複数の光源を備えてもよい。複数の光源は、約６６０ナノメートルの第１の波長と、約９４０ナノメートルの第２の波長とにおいて電磁放射を放出するように構成されてもよい。１つ以上の放射エミッタは、連続して２つの異なる波長において電磁放射を放出するように構成されてもよい。１つ以上の放射エミッタは、同時に２つの異なる波長において電磁放射を放出するように構成されてもよい。１つ以上の電磁放射検出器は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択される、デバイスを備えてもよい。１つ以上の電磁放射検出器は、標的オブジェクトに遭遇した後に反射された光を受光するように位置付けられ、配向されてもよい。１つ以上の電磁放射検出器は、観察される組織または材料に遭遇した後に反射された光を受光するように位置付けられ、配向されてもよい。すなわち、１つ以上の電磁放射検出器は、ユーザの眼に向かって内向きに面しているか、またはユーザの環境に向かって外向きに面しているかどうかにかかわらず、１つ以上の電磁放射エミッタと実質的に同一方向に配向される。
【0016】
コントローラはさらに、１つ以上の電磁放射検出器が第１および第２の波長を別個に検出するように、複数の光源に、第１の波長をオンにし、次いで、第２の波長をオンにし、次いで、両波長をオフにする、巡回パターンを放出させるように構成されてもよい。コントローラは、複数の発光ダイオードに、約３０回／秒の巡回パルスパターンにおいて、第１の波長をオンにし、次いで、第２の波長をオンにし、次いで、両波長をオフにする、巡回パターンを放出させるように構成されてもよい。
【0017】
いくつかの実施形態では、コントローラは、第１の波長光測定と第２の波長光測定の比率を計算するように構成されてもよい。いくつかの実施形態では、本比率はさらに、少なくとも部分的に、ランベルト・ベールの法則に基づいて、ルックアップテーブルを介して、酸素飽和読取値に変換されてもよい。いくつかの実施形態では、比率は、頭部搭載型部材上の吸収データベースモジュール内に記憶される、またはローカルまたは遠隔処理モジュール上で頭部搭載型部材に結合される等の外部ルックアップテーブル内の材料識別子に変換される。例えば、特定の組織の吸収率または波長反射に関する吸収データベースモジュールは、保健医療プロバイダによってアクセス可能であり、遠隔処理モジュールを通してアクセスされる、「クラウド」記憶システム内に記憶されてもよい。いくつかの実施形態では、吸収データベースモジュールは、ある食品に関する吸収性質（波長率または波長反射等）を記憶し、頭部搭載型部材のローカル処理モジュール上に恒久的に記憶されてもよい。
【0018】
このように、コントローラは、１つ以上の電磁放射エミッタおよび１つ以上の電磁放射検出器を動作させ、広範な使用の頭部搭載型分光器として機能させるように構成されてもよい。コントローラは、特定の組織の性質またはそれ以外の材料を示す波長性質を示す、コントローラの出力が、光学要素を通してユーザによって視認され得るように、頭部搭載型部材に結合され、ユーザによって視認可能である、光学要素に動作可能に結合されてもよい。１つ以上の電磁放射検出器は、複数のピクセルを備える、デジタル画像センサを備えてもよく、コントローラは、例えば、組織または組織内の細胞に遭遇した後に反射された光を受光する、ピクセルのサブセットを自動的に検出するように構成される。いくつかの実施形態では、そのようなピクセルのサブセットは、デジタル画像センサの視野内の標的オブジェクトを表す出力を生産するために使用される。例えば、出力は、組織の吸収レベルを示す、ディスプレイラベルであってもよい。いくつかの実施形態では、比較値が、出力として表示される。例えば、出力は、第１の分析時間からの血中酸素のパーセンテージ飽和と、第２の分析時間における酸素のパーセンテージ飽和とであってもよく、変化率が、２つの時間の間に記載される。これらの実施形態では、糖尿病性網膜症等の病気が、測定された性質の経時的変化を認識することによって検出されてもよい。
【0019】
いくつかの実施形態では、コントローラは、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された光輝度差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。コントローラは、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された吸光差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。そのような実施形態では、そのようなサブセットは、隔離されたピクセルであり、付加的照射またはマッピン等のグさらなる分析のためにフラグされてもよい、または仮想画像は、そのようなピクセル上にオーバーレイされ、他の性質を表示する隔離されたピクセルとの視覚的コントラストを提供し、システムによって識別されるサブピクセルの異なる性質のユーザへの通知としての役割を果たしてもよい。
【0020】
いくつかの実施形態では、システムデータ収集は、光パルスをパルス化および記録するために時間多重化されるだけではなく、１日に複数回、受動的に収集される。いくつかの実施形態では、ＧＰＳまたは他の類似マッピングシステムが、システムに結合され、ユーザの場所または時刻と収集されたある生理学的データを相関させる。例えば、ユーザは、１日を通して、ある場所またはアクティビティに対して生理学的応答を追跡してもよい。
【0021】
本発明のこれらおよび多くの他の特徴ならびに利点が、以下の図および説明がさらに考慮されるとき、理解されるであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ウェアラブル分光システムであって、
ユーザの頭部に取り外し可能に結合可能な頭部搭載型ディスプレイシステムと、
前記ユーザの注視を検出するように構成された少なくとも１つの眼追跡カメラと、
前記頭部搭載型ディスプレイシステムに結合され、前記検出された注視と実質的に同一方向に照射される視野内に少なくとも２つの異なる波長を伴う光を放出するように構成されている、１つ以上の光源と、
頭部搭載型部材に結合され、前記照射される視野内の標的オブジェクトから反射された光を受光するように構成されている、１つ以上の電磁放射検出器と、
前記１つ以上の光源および前記１つ以上の電磁放射検出器に動作可能に結合されたコントローラであって、前記コントローラは、前記１つ以上の光源に、光のパルスを放出させながら、また、前記１つ以上の電磁放射検出器に、前記放出された光のパルスおよび前記標的オブジェクトから反射された光に関連する吸光のレベルを検出させるように構成されている、コントローラと、
少なくとも１つの材料の吸光性質の吸収データベースと、
出力を前記ユーザに表示するためのグラフィックプロセッサユニットと
を備える、システム。
（項目２）
前記１つ以上の光源は、複数の発光ダイオードを備える、項目１に記載のシステム。
（項目３）
前記１つ以上の光源は、２つ以上の所定の波長において電磁放射を放出するように構成されている、項目１に記載のシステム。
（項目４）
前記１つ以上の光源は、約６６０ナノメートルの第１の波長と、約９４０ナノメートルの第２の波長とにおいて、電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目５）
前記１つ以上の光源は、前記２つの所定の波長において連続して電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目６）
前記１つ以上の光源は、前記２つの所定の波長において同時に電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目７）
前記コントローラはさらに、前記１つ以上の電磁放射検出器が第１および第２の波長を別個に検出するように、前記１つ以上の光源に、前記第１の波長をオンにし、次いで、前記第２の波長をオンにし、次いで、第１および第２の波長の両方をオフにする、巡回パターンを放出させるように構成されている、項目１に記載のシステム。
（項目８）
前記コントローラは、第１の波長光測定と第２の波長光測定の比率を計算するように構成され、前記システムは、前記吸収データベースに基づいて、前記比率を組織の性質に変換するように構成される、項目１に記載のシステム。
（項目９）
前記コントローラは、前記頭部搭載型部材に結合され、前記ユーザによって視認可能である、光学要素に動作可能に結合され、前記システムは、前記組織の性質に基づいて、出力を提供するように構成され、前記出力は、前記光学要素を通して、前記ユーザによって視認可能である、項目８に記載のシステム。
（項目１０）
前記１つ以上の電磁放射検出器は、フォトダイオード、光検出器から成る群から選択される、デバイスを備える、項目１に記載のシステム。
（項目１１）
前記１つ以上の電磁放射検出器は、デジタル画像センサを備える、項目１に記載のシステム。
（項目１２）
前記デジタル画像センサは、複数のピクセルを備え、前記コントローラは、所定の組織の性質に遭遇した後に反射された前記光を受光する、ピクセルのサブセットを自動的に検出し、前記所定の組織の性質を示す前記ピクセルのサブセットの場所を表示する出力を生産するように構成されている、項目１１に記載のシステム。
（項目１３）
前記頭部搭載型部材はさらに、慣性測定ユニット測位システムを備える、項目１に記載のシステム。
（項目１４）
前記慣性測定システムは、前記ユーザの頭部の姿勢配向を判定する、項目１３に記載のシステム。
（項目１５）
前記照射される視野は、少なくとも、前記姿勢配向と同程度の広さである、項目１４に記載のシステム。
（項目１６）
前記頭部搭載型ディスプレイシステムは、選択的に可変レベルの波面発散を伴う光を出力するように構成されている、導波管スタックを備える、項目１に記載のシステム。
（項目１７）
前記導波管スタックは、屈折力を有する導波管を備える、項目１６に記載のシステム。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ウェアラブル分光システムであって、
ユーザの頭部に取り外し可能に結合可能な頭部搭載型ディスプレイシステムと、
前記ユーザの注視を検出するように構成された少なくとも１つの眼追跡カメラと、
前記頭部搭載型ディスプレイシステムに結合され、前記検出された注視と実質的に同一方向に照射される視野内に少なくとも２つの異なる波長を伴う光を放出するように構成されている、１つ以上の光源と、
頭部搭載型部材に結合され、前記照射される視野内の標的オブジェクトから反射された光を受光するように構成されている、１つ以上の電磁放射検出器と、
前記１つ以上の光源および前記１つ以上の電磁放射検出器に動作可能に結合されたコントローラであって、前記コントローラは、前記１つ以上の光源に、光のパルスを放出させながら、また、前記１つ以上の電磁放射検出器に、前記放出された光のパルスおよび前記標的オブジェクトから反射された光に関連する吸光のレベルを検出させるように構成されている、コントローラと、
少なくとも１つの材料の吸光性質の吸収データベースと、
出力を前記ユーザに表示するためのグラフィックプロセッサユニットと
を備える、システム。
（項目２）
前記１つ以上の光源は、複数の発光ダイオードを備える、項目１に記載のシステム。
（項目３）
前記１つ以上の光源は、２つ以上の所定の波長において電磁放射を放出するように構成されている、項目１に記載のシステム。
（項目４）
前記１つ以上の光源は、約６６０ナノメートルの第１の波長と、約９４０ナノメートルの第２の波長とにおいて、電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目５）
前記１つ以上の光源は、前記２つの所定の波長において連続して電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目６）
前記１つ以上の光源は、前記２つの所定の波長において同時に電磁放射を放出するように構成されている、項目３に記載のシステム。
（項目７）
前記コントローラはさらに、前記１つ以上の電磁放射検出器が第１および第２の波長を別個に検出するように、前記１つ以上の光源に、前記第１の波長をオンにし、次いで、前記第２の波長をオンにし、次いで、第１および第２の波長の両方をオフにする、巡回パターンを放出させるように構成されている、項目１に記載のシステム。
（項目８）
前記コントローラは、第１の波長光測定と第２の波長光測定の比率を計算するように構成され、前記システムは、前記吸収データベースに基づいて、前記比率を組織の性質に変換するように構成される、項目１に記載のシステム。
（項目９）
前記コントローラは、前記頭部搭載型部材に結合され、前記ユーザによって視認可能である、光学要素に動作可能に結合され、前記システムは、前記組織の性質に基づいて、出力を提供するように構成され、前記出力は、前記光学要素を通して、前記ユーザによって視認可能である、項目８に記載のシステム。
（項目１０）
前記１つ以上の電磁放射検出器は、フォトダイオード、光検出器から成る群から選択される、デバイスを備える、項目１に記載のシステム。
（項目１１）
前記１つ以上の電磁放射検出器は、デジタル画像センサを備える、項目１に記載のシステム。
（項目１２）
前記デジタル画像センサは、複数のピクセルを備え、前記コントローラは、所定の組織の性質に遭遇した後に反射された前記光を受光する、ピクセルのサブセットを自動的に検出し、前記所定の組織の性質を示す前記ピクセルのサブセットの場所を表示する出力を生産するように構成されている、項目１１に記載のシステム。
（項目１３）
前記頭部搭載型部材はさらに、慣性測定ユニット測位システムを備える、項目１に記載のシステム。
（項目１４）
前記慣性測定システムは、前記ユーザの頭部の姿勢配向を判定する、項目１３に記載のシステム。
（項目１５）
前記照射される視野は、少なくとも、前記姿勢配向と同程度の広さである、項目１４に記載のシステム。
（項目１６）
前記頭部搭載型ディスプレイシステムは、選択的に可変レベルの波面発散を伴う光を出力するように構成されている、導波管スタックを備える、項目１に記載のシステム。
（項目１７）
前記導波管スタックは、屈折力を有する導波管を備える、項目１６に記載のシステム。
【図面の簡単な説明】
【0022】
【図2A】図２Ａ－２Ｄは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。
【図2B】図２Ａ－２Ｄは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。
【図2C】図２Ａ－２Ｄは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。
【発明を実施するための形態】
【0023】
（詳細な説明）
いくつかのＡＲおよびＶＲシステムは、コントローラまたはマイクロコントローラ等の処理能力と、また、種々の構成の機能に給電するための電源とを備え、ＡＲおよびＶＲシステム等のウェアラブルコンピューティングシステム内のコンポーネントの少なくともいくつかが、それらを動作させるユーザの身体に近接しているという事実から、これらのシステムコンポーネントのうちのいくつかを利用して、ユーザに関連するある生理学的監視タスクを行う機会がある。例えば、生理学的監視が、吸光を測定することによって行われてもよい。
いくつかのＡＲおよびＶＲシステムは、コントローラまたはマイクロコントローラ等の処理能力と、また、種々の構成の機能に給電するための電源とを備え、ＡＲおよびＶＲシステム等のウェアラブルコンピューティングシステム内のコンポーネントの少なくともいくつかが、それらを動作させるユーザの身体に近接しているという事実から、これらのシステムコンポーネントのうちのいくつかを利用して、ユーザに関連するある生理学的監視タスクを行う機会がある。例えば、生理学的監視が、吸光を測定することによって行われてもよい。
【0024】
従来の吸光測定技法（例えば、図４Ａまたはグルコース検出におけるように人物の指に取付可能なパルスオキシメトリメータ）では、光は、制御および固定方向に放出され、制御および固定受信機において受光される。光は、周囲組織構造を通して、異なる波長においてパルス化される一方、また、組織構造の別の側で検出される（したがって、吸収および散乱等の光の性質を測定する）。そのようなシステムでは、検出された光の測定と比較して放出される光の測定は、推定される組織または組織の性質（例えば、パルスオキシメトリメータに関して推定される血中酸素飽和レベル）に比例する、またはそのように読み取られる、出力、もしくは単に、それ以外の材料または組織タイプを提供することができる。着目光と他の光の比を描写する、較正曲線はまた、図４Ｄに示されるように、そこに入射する光の関数として、下層組織の性質を予測することが可能である。
【0025】
ラマン分光は、照射される分子によって解放される光子の非弾性散乱を測定する、別の技法である。具体的分子は、照射されると、波長の具体的偏移を提示し、それによって、サンプル内の分子を測定および定量化するために使用され得る、一意の散乱効果を提示するであろう。
【0026】
図４Ｂは、酸素化（８０６）対脱酸素化（８０８）であるヘモグロビンの吸収スペクトルのチャートを図示し、そのようなプロット（８０６、８０８）に示されるように、約６６０ｎｍ等の電磁スペクトルの赤色光波長範囲内では、酸素化対脱酸素化ヘモグロビンに関する吸収に顕著な差異が存在する一方、赤外線波長範囲内の約９４０ｎｍでは、反転された差異が存在する。そのような波長におけるパルス状放射およびパルスオキシメータを用いた検出は、特定のユーザに関する酸素飽和の判定においてそのような既知の吸収差を利用することが公知である。
【0027】
パルスオキシメータ（８０２）は、典型的には、指（８０４）または耳たぶ等の組織構造を少なくとも部分的に封入するように構成されるが、図４Ｃに描写されるもの（８１２）等のあるデスクトップ式システムが、網膜脈管等の眼の脈管内の吸収差を観察するために提案されているが、同様に、他の組織の性質を検出するように構成されてもよい。
【0028】
そのような構成（８１２）は、フローオキシメータまたは分光器システムと称され得、示されるように、カメラ（８１６）と、ズームレンズ（８２２）と、第１（８１８）および第２の（８２０）発光ダイオード（ＬＥＤ）と、１つ以上のビームスプリッタ（８１４）とを含む、コンポーネントを備えてもよい。高所ハイカー、運動選手、またはある心血管もしくは呼吸問題を伴う人等のあるユーザにとって、その日の動きおよびそのアクティビティの実施に伴って、その血中酸素飽和の情報を読み出すことが可能であることは、または介護者にとって、下層異常に関して組織をリアルタイムで分析することは、有益となるであろうが、大部分の構成は、組織構造の幾分不便な封入を伴う、可搬性またはウェアラブルではない、他の組織状態または材料を示す他の吸収性質を考慮しない、もしくはそのセンサの指向性の一部としてユーザが見ている注視を相関させない（言い換えると、分光による識別および分析のための標的オブジェクトの選択性が、欠けている）。
【0029】
有利には、いくつかの実施形態では、ＡＲまたはＶＲシステムの形態におけるウェアラブルコンピューティングの便宜性と、ユーザの視野内の付加的組織識別および性質をリアルタイムで判定するための結像手段を組み合わせる、ソリューションが、本明細書に提示される。
【0030】
図２Ａ－２Ｄを参照すると、いくつかの一般的構成部分オプションが、図示される。図２Ａ－２Ｄの議論に従う、発明を実施するための形態の部分では、種々のシステム、サブシステム、およびコンポーネントが、外部情報源にアクセスし、それを作成する、ヒトＶＲおよび／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
【0031】
図２Ａに示されるように、ＡＲシステムユーザ（６０）は、ユーザの眼の正面に位置付けられるディスプレイシステム（６２）に結合されるフレーム（６４）構造を特徴とする、頭部搭載型コンポーネント（５８）を装着するように描写される。スピーカ（６６）が、描写される構成においてフレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ（６２）は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール（７０）に動作可能に結合（６８）され、これは、フレーム（６４）に固定して取り付けられる、図２Ｂの実施形態に示されるように、ヘルメットまたは帽子（８０）に固定して取り付けられる、ヘッドホンに内蔵される、図２Ｃの実施形態に示されるように、リュック式構成においてユーザ（６０）の胴体（８２）に除去可能に取り付けられる、または図２Ｄの実施形態に示されるように、ベルト結合式構成においてユーザ（６０）の臀部（８４）に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
【0032】
ローカル処理およびデータモジュール（７０）は、プロセッサまたはコントローラ（例えば、電力効率の良いプロセッサまたはコントローラ）ならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、（ａ）電磁エミッタおよび検出器、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、フレーム（６４）に動作可能に結合され得る、センサから捕捉される、および／または（ｂ）可能性として、処理または読出後、ディスプレイ（６２）への通過のために、遠隔処理モジュール（７２）および／または遠隔データリポジトリ（７４）を使用して、入手および／または処理される、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール（７０）は、有線または無線通信リンク等を介して、遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能であるように、これらの遠隔処理モジュール（７２）および遠隔データリポジトリ（７４）に動作可能に結合（７６、７８）されてもよい。
【0033】
一実施形態では、遠隔処理モジュール（７２）は、データ、放出または受光された光の性質、および／または画像情報を分析および処理するように構成される、１つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ（７４）は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュールにおいて実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
【0034】
ここで図３を参照すると、概略図は、例えば、ユーザの頭部（１２０）に結合される頭部搭載型コンポーネント（５８）およびユーザのベルト（３０８）に結合されるローカル処理およびデータモジュール（７０）内に常駐し得る、クラウドコンピューティングアセット（４６）とローカル処理アセットとの間の協調を図示する。したがって、コンポーネント（７０）はまた、図３に示されるように、「ベルトパック」（７０）とも称され得る。一実施形態では、１つ以上のクラウドサーバシステム（１１０）等のクラウド（４６）アセットは、有線または無線ネットワーキング等を介して、（無線は、概して、モバイル式のために好ましく、有線は、概して、所望され得る、ある高帯域幅または高データ量転送のために好ましい）、直接、前述のように、ユーザの頭部（１２０）およびベルト（３０８）に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方（４０、４２）に動作可能に結合（１１５）される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図８を参照して以下に議論される有線結合（６８）等、有線および／または無線コネクティビティ構成（４４）を介して、相互に動作可能に結合されてもよい。
【0035】
一実施形態では、ユーザの頭部（１２０）に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド（４６）との間の一次転送は、ベルト（３０８）に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム（１２０）は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域（「ＵＷＢ」）コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム（３０８）にデータテザリングされる。
【0036】
効率的ローカルおよび遠隔処理協調ならびに図２Ａに示されるユーザインターフェースもしくはユーザディスプレイシステム（６２）またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する１つの世界の側面は、ユーザに転送または「パス」され、効率的方式で更新され得る。言い換えると、世界のマップが、例えば、ユーザのＡＲシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、持続的に更新され得る。マップ（「パス可能世界モデル」とも称される）は、ラスタ画像、３－Ｄおよび２－Ｄ点、パラメータ情報、ならびに実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのＡＲユーザが、その実環境についての情報を持続的に捕捉するにつれて（例えば、カメラ、センサ、ＩＭＵ等を通して）、マップは、ますます正確かつ完全となる。
【0037】
クラウドコンピューティングリソース上に常駐し、そこから配信され得る、１つの世界モデルが存在する、前述のような構成を用いることで、そのような世界は、リアルタイムビデオデータまたは同等物を回送しようと試みるために好ましい比較的に低帯域幅形態において、１人以上のユーザに「パス可能」となり得る。いくつかの実施形態では、像の近くに立っている人（すなわち、図１に示されるように）の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよびそのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータのような単純なものであり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、像の近くの公園内に実際に存在するある人物は、遠隔に位置する友人をその公園内での散歩に連れ出し、友人は、仮想および拡張現実を通して加わってもよい。システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、加わる友人は、シナリオのクラウド側面からダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実として散歩を開始することができる。
【0038】
３－Ｄ点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原位置情報）が、これらの点または画像が、本姿勢情報と「タグ付けされる」、または関連付けられ得るように、判定されてもよい。次いで、第２のカメラによって捕捉された点が、第２のカメラの姿勢を判定するために利用されてもよい。言い換えると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成する、および実世界の仮想コピーを作成するために利用されてもよい（その時点で、周囲に位置合わせされる２つのカメラが存在するため）。
【0039】
したがって、基礎レベルでは、いくつかの実施形態では、人装着型システムは、３－Ｄ点およびその点を生成した２－Ｄ画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルでキャッシュされてもよく（すなわち、タグ付けされた画像をキャッシュする）、したがって、クラウドは、３－Ｄ点とともに、タグ付けされた２－Ｄ画像（すなわち、３－Ｄ姿勢とタグ付けされた）の準備完了状態にあり得る（すなわち、利用可能なキャッシュ内で）。ユーザが動的なもの（例えば、移動するオブジェクトまたは特徴を伴う場面）を観察している場合、また、運動に関する付加的情報をクラウドに送信してもよい（例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる）。前述のように、オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．（Ｆｏｒｔ Ｌａｕｄｅｒｄａｌｅ，Ｆｌｏｒｉｄａ）によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示とともに、参照することによってその全体として組み込まれる、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許出願第１４／２０５，１２６号、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／５５５，５８５号、米国特許出願第１４／２１２，９６１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１３／６６３，４６６号、米国特許出願第１３／６８４，４８９号、および米国特許出願第６２／２９８，９９３号に見出され得、それぞれ、参照することによってその全体として本明細書に組み込まれる。
【0040】
いくつかの実施形態では、そのようなパス可能世界情報の使用は、分光によるオブジェクトの識別およびラベル化が、次いで、ユーザ間でパスされることを可能にし得る。例えば、臨床設定では、本開示の特徴を実装するデバイスを動作させる第１の介護者は、患者上の癌性組織をマップおよび検出し、メタタグのような仮想ラベルを組織に割り当て、適用し得る。そのようなデバイスを装着している第２の介護者も同様に、次いで、独立して、光を放出する、光を受光する、吸収特徴を組織に合致させる、組織をラベル化することのうちの１つ以上に関わる必要なく、同一癌性組織細胞クラスタに目を向けることで、そのような細胞を識別する仮想ラベルの通知を受信し得る。
【0041】
ＧＰＳおよび他の位置特定情報が、そのような処理への入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定は、適切な仮想コンテンツをユーザに、またはパス可能仮想もしくは拡張コンテンツをパス可能世界内のユーザ間に表示することを促進することができることを理解されたい。
【0042】
図５を参照すると、ウェアラブルコンピューティング構成の頭部搭載可能コンポーネント（５８）の上部直交図が、図示され、例示的分光システムのために、種々の統合されたコンポーネントを特徴とする。本構成は、２つのディスプレイ要素（６２－両眼用－眼毎に１つ）と、各カメラ（１２４）が関連付けられた視野（１８、２２）を有する、ユーザの周囲の世界を観察および検出するための２つの前方配向型カメラ（１２４）と、視野（２０）を伴う、少なくとも１つの分光アレイ（１２６、図６により詳細に説明される）と、また、参照することによって前述で組み込まれる開示に説明されるように、視野（２６）を伴う、前方配向型の比較的に高分解能の写真カメラ（１５６）と、１つ以上の慣性測定ユニット（１０２）と、関連付けられた視野（２４）を伴う、深度センサ（１５４）とを特徴とする。ユーザの眼（１２、１３）に向かって面し、頭部搭載型コンポーネント（５８）フレームに結合されるのは、眼追跡カメラ（８２８、８３０）と、内向きエミッタおよび受信機（８３２、８３４）とである。当業者は、内向きエミッタおよび受信機（８３２、８３４）が、分光アレイ（１２６）がその視野（２０）内の外向きオブジェクトのために行う場合とほぼ同一方法において、照射パターン（８２４、８２６）において眼に向かって指向される光を放出および受光することを理解するであろう。これらのコンポーネントまたは全て未満のコンポーネントを包含する組み合わせは、ワイヤ導線等によって、バッテリ等の電源（８４６）に動作可能に結合（８４８）される、コントローラ（８４４）に動作可能に結合される。
【0043】
いくつかの実施形態では、ディスプレイ要素（６２）は、１つ以上の導波管（例えば、導波管スタック）を含み、これは、光学的に透過性であり、世界からの光を受光することによって、ユーザに世界が「見える」ことを可能にする。導波管はまた、ディスプレイ情報を含有する光を受光し、光をユーザの眼（１２、１３）に伝搬および出射し、それによって、画像をユーザに表示する。好ましくは、導波管から伝搬する光は、異なる深度平面に対応する特定の定義されたレベルの波面発散を提供する（例えば、オブジェクトの画像をユーザから特定の距離に形成する光は、本物である場合、そのオブジェクトからユーザに到達するであろう、光の波面発散に対応または実質的に合致する、波面発散を有する）。例えば、導波管は、屈折力を有してもよく、選択的に可変レベルの波面発散を伴う光を出力するように構成されてもよい。本波面発散は、眼（１２、１３）が遠近調節するためのキューを提供することを理解されたい。加えて、ディスプレイ要素（６２）は、両眼分散を利用し、さらに、深度キュー、例えば、眼（１２、１３）の両眼離反運動のためのキューを提供する。有利には、遠近調節のためのキューおよび両眼離反運動のためのキューは、例えば、それらの両方がユーザから同一距離におけるオブジェクトに対応するように整合し得る。本遠近調節－両眼離反運動整合は、頭部搭載型部材（５８）を利用するシステムの長期装着能力を促進する。
【0044】
図５を継続して参照すると、好ましくは、各エミッタ（１２６、８３２、８３４）は、ＬＥＤ等によって、約６６０ｎｍおよび約９４０ｎｍ等、２つ以上の波長において制御可能に電磁放射を放出するように構成され、好ましくは、照射野（８２４、８２６）は、標的オブジェクトまたは表面を照射するように配向される。いくつかの実施形態では、標的オブジェクトは、眼（１２、１３）等の内向きであり、照射パターン（８２４、８２６）は、固定される、または眼追跡カメラデータ点に応答して、眼の標的特有エリアに対して広幅化／狭幅化されてもよい。いくつかの実施形態では、標的オブジェクトは、外向きであり（例えば、ユーザから離れる）、分光器アレイ（１２６）の視野（２０）内の照射パターンは、眼追跡カメラ（８２８、８３０）から判定された眼（１２、１３）の注視に準拠する。
【0045】
いくつかの実施形態では、注視は、眼の中心窩から水晶体を通して延在する等、ユーザの眼から延在するベクトルと理解され得、エミッタ（８３２、８３４）は、赤外線光をユーザの眼上に出力してもよく、眼からの反射（例えば、角膜反射）が、監視されてもよい。眼の瞳孔中心（例えば、ディスプレイシステムは、例えば、赤外線結像を通して、瞳孔の重心を判定してもよい）と眼からの反射との間のベクトルは、眼の注視を判定するために使用されてもよい。いくつかの実施形態では、眼の位置を推定するとき、眼は、強膜および眼球を有するため、幾何学形状は、相互の上に層化された２つの円形として表されることができる。眼をポインティングするベクトルは、本情報に基づいて、判定または計算されてもよい。また、眼の断面が、円形であり、強膜が、特定の角度を通して揺動するため、眼の回転中心も、推定されてもよい。これは、単に、光線トレースではなく、既知の伝送される信号に対する受信された信号の自己相関のため、ベクトル距離をもたらし得る。出力は、プルキンエ画像１４００として見られ得、これは、順に、眼の移動を追跡するために使用され得る。
【0046】
当業者は、ＩＭＵ（１０２）のうちの１つ以上によって判定された頭部姿勢情報等によって、視野（２０）内の照射パターンを判定するための他の方法も理解するであろう。
【0047】
いくつかの実施形態では、エミッタは、同時に、または連続して、制御されたパルス状放出周期を用いて、波長を放出するように構成されてもよい。１つ以上の検出器（１２６、８２８、８３０）は、フォトダイオード、光検出器、および／またはデジタルカメラセンサを備えてもよく、好ましくは、標的組織またはそれ以外の材料もしくはオブジェクトに遭遇した放射を受光するように位置付けられ、配向される。１つ以上の電磁放射検出器（１２６、８２８、８３０）は、複数のピクセルを備えるデジタル画像センサを備えてもよく、コントローラ（８４４）は、標的オブジェクトに遭遇した後、反射された光を受光するピクセルのサブセットを自動的に検出し、そのようなピクセルのサブセットを使用し、出力を生産するように構成される。
【0048】
いくつかの実施形態では、出力は、材料および材料性質の吸収データベースからの合致する受光された光対標的に放出された光の関数である。例えば、いくつかの実施形態では、吸収データベースは、図７Ａおよび７Ｂに描写されるような複数の吸収チャートを備える。チャートを備えるデータベースは、チャート内の情報の電子表現または変換を含んでもよく、本明細書における用語「チャート」の使用は、そのような表現または変換を含むことを理解されたい。図７Ａおよび７Ｂは、単に、実施例として使用されるが、光を特定の光源から放出し、特定の波長の光および／または光の性質を受光し、観察される標的が、特定の組織である、または組織内の特定の性質を有する確率を判定する、所与のシステムから検出され得る、種々の組織の性質を実証する。飽和曲線または較正曲線のいずれか等の他のチャートも、ユーザによって選択的にアクセスされてもよい。例えば、ユーザは、特定の光源または波長パターンに関する吸収データベースを選定し、次いで、分光システムが要求される性質に合致する材料を識別するまで、調べ得る。そのような実施形態は、「クローズド検索」と称され得る、すなわち、任意の標的を調べ、次いで、検出された光の性質に合致するデータベースを検索する、「オープン検索」とは対照的に、具体的性質を調べるものである。
【0049】
コントローラ（８４４）は、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された光の性質差に基づいて、視野（１２４、または１２６、または８２４、８２６、図５）内のピクセルのサブセットを自動的に検出するように構成されてもよい。例えば、コントローラ（８４４）は、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された光の吸収差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。理論によって限定されるわけではないが、オブジェクトに衝突する光は、Ｒ＋Ｔ＋Ｓ＝１（Ｒ＝オブジェクトからの反射、Ｔ＝オブジェクト中への透過／吸収、およびＳ＝オブジェクトからの散乱）となるように、オブジェクトに衝打することに応じて、反射、透過（吸収）、または散乱するであろう。特定のピクセルのサブセットが、周囲サブピクセルに対してより高い割合の光を反射させる場合、コントローラは、これらのサブピクセルを隔離する、またはこれらの異なる性質に関するピクセル場所をメモリシステム内に記載もしくは登録してもよい。いくつかの実施形態では、ピクセル場所は、頭部搭載型ディスプレイシステムの付加的ユーザがマップにアクセスし、ピクセルのサブセットが、付加的ユーザにパスされ、第２のユーザのディスプレイ上でアクセスおよび／または表示されるように、稠密または疎密マッピング点としてパス可能世界マッピングシステム内に記憶される。
【0050】
図６を参照すると、分光アレイ（１２６）は、光（６１３）を標的オブジェクト（６２０）に向かって放出する、光源（６１２）を備えてもよい。いくつかの実施形態では、光源（６１２）は、発光ダイオード等の電磁エミッタである。いくつかの実施形態では、放出される光（６１３）の方向は、ユーザ（６０）の注視配向またはユーザ（６０）の頭部姿勢配向と実質的に同一である。いくつかの実施形態では、光検出器（６１４）は、標的オブジェクトから反射された光（６１５）を捕捉する。いくつかの実施形態では、図５に描写されるコントローラ（８４４）であり得る、プロセッサ（６１０）は、放出された光（６１３）と反射された光（６１５）との間の吸収性質を判定し、性質を吸収データベース（６３０）からの性質に合致させる。いくつかの実施形態では、吸収データベース（６３０）は、例えば、図２Ａに描写されるモジュール（７０）等のローカル処理モジュール上に記憶される。いくつかの実施形態では、吸収データベース（６３０）は、図２Ａに描写されるもの等の遠隔処理モジュール（７２）上に記憶される。
【0051】
オブジェクト（６２０）は、図６では、便宜上、リンゴとして描写されるが、食品性質は、その個別の吸光性質を有し、本発明の実施形態は、その光の性質によって、食品を識別するために使用され得るが、より高度な使用もまた、想定される。いくつかの実施形態では、外向きに面した分光アレイ（１２６）は、組織源（６２４）、例えば、例証的目的のために描写されるように、腕を識別する。放出された光（６１３）は、組織源（６２４）に衝突し得、反射された光（６１５）は、規則的細胞（６２５）間の不規則的細胞（６２６）の存在を示し得る。光源（６１２）が、組織源（６２４）を照射するにつれて、不規則的細胞（６２６）は、規則的細胞（６２５）と異なる光の性質を光検出器（６１４）に返すであろう。不規則的細胞（６２６）は、癌性、瘢痕組織の一部、または、単に、例えば、組織源（６２４）内の血管または骨が位置し得る場所を示す、周囲細胞との差異を示すまたは有する、組織間の健康な細胞でさえあり得る。いくつかの実施形態では、規則的細胞は、分析対象サンプル内の細胞の大部分を構成し、不規則的細胞は、サンプルの細胞の小部分を構成し、不規則的細胞は、規則的細胞と異なる検出可能性質を呈する。いくつかの実施形態では、ピクセルレベルで画像を捕捉する、実世界カメラは、そのような不規則的細胞（６２６）をマーキングしてもよい。前述のように、１つのそのようなマーキングは、テキスト画像を不規則的細胞（６２６）に近接して適用する、ラベル化システムであってもよく、別のそのようなラベル化システムは、ディスプレイ要素６２（図５）を通して見られるような不規則的細胞（６２６）上の色のオーバーレイであってもよい。
【0052】
したがって、再び図５を参照すると、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材（５８）と、頭部搭載型部材（５８）に結合され、内向き方向または外向き方向に少なくとも２つの異なる波長を伴う光を放出するように構成される、１つ以上の電磁放射エミッタ（１２６、８３２、８３４）と、頭部搭載型部材に結合され、標的オブジェクトに遭遇した後、反射された光を受光するように構成される、１つ以上の電磁放射検出器（１２６、８２８、８３０）と、１つ以上の電磁放射エミッタ（１２６、８３２、８３４）および１つ以上の電磁放射検出器（１２６、８２８、８３０）に動作可能に結合され、１つ以上の電磁放射エミッタに、光のパルスを放出させる一方、また、１つ以上の電磁放射検出器に、放出された光のパルスに関連する吸光のレベルを検出させ、表示可能出力を生産させるように構成される、コントローラ（８４４）とを備える、ＡＲまたはＶＲのためのもの等のウェアラブルコンピューティングシステムを通して、組織の性質またはそれ以外の材料を判定するためのシステムが、提示される。
【0053】
頭部搭載型部材（５８）は、ユーザの頭部上に嵌合するように構成されるフレーム、例えば、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼用眼鏡フレームであってもよく、代替実施形態は、片眼用であってもよい。１つ以上のエミッタ（１２６、８３２、８３４）は、複数の波長において光を放出する、光源、例えば、少なくとも１つの発光ダイオードまたは他の電磁放射エミッタを備えてもよい。複数の光源は、好ましくは、２つの波長の光、例えば、約６６０ナノメートルの第１の波長と、約９４０ナノメートルの第２の波長とを放出するように構成されてもよい。
【0054】
いくつかの実施形態では、１つ以上のエミッタ（１２６、８３２、８３４）は、連続して、個別の波長における光を放出するように構成されてもよい。いくつかの実施形態では、１つ以上のエミッタ（１２６、８３２、８３４）は、同時に、個別の波長における光を放出するように構成されてもよい。１つ以上の電磁放射検出器（１２６、８２８、８３０）は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択される、デバイスを備えてもよい。コントローラ（８４４）はさらに、１つ以上の電磁放射検出器が第１および第２の波長を別個に検出するように、複数の発光ダイオードに、第１の波長オン、次いで、第２の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ（８４４）は、約３０回／秒の周期的パルス状パターンにおいて、複数の発光ダイオードに、第１の波長オン、次いで、第２の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ（８４４）は、第１の波長光測定と第２の波長光測定との比率を計算するように構成されてもよく、本比率は、少なくとも部分的に、ランベルト・ベールの法則に基づいて、ルックアップテーブルを介して、酸素飽和読取値に変換される。
【0055】
コントローラ（８４４）は、１つ以上のエミッタ（１２６、８３２、８３４）および１つ以上の電磁放射検出器（１２６、８２８、８３０）を動作させ、頭部搭載型分光器として機能させるように構成されてもよい。コントローラ（８４４）は、特定の材料性質または組織の性質を示す、コントローラ（８４４）の出力が、光学要素（６２）を通してユーザによって視認され得るように、頭部搭載型部材（５８）に結合され、ユーザによって視認可能である、光学要素（６２）に動作可能に結合されてもよい。
【0056】
図７Ａは、吸収データベース（６３０、図６）によって参照され得る、例示的光の性質吸収チャートである。描写されるように、ＩＲ、ＮＩＲ等の種々の光源タイプまたは可視スペクトル内の発光ダイオードは、ある組織および組織内の性質を検出するために最適であり得る。いくつかの実施形態では、較正曲線における吸収率または散乱は、放出された光対反射された光から算出され、図７Ａに描写されるような所与の吸収データベース（６３０）に適用され、下層組織および／またはその中の性質を判定する、または異常を判定する。
【0057】
図７Ｂは、波長の潜在的「重複」を描写する。描写されるように、「酸素化血液」は、ある波長において「脱酸素化血液」と重複し、分光のプロセスが提供し得る結果を弱め得る。本潜在的重複を回避するために、いくつかの実施形態では、第２の異なる波長における光が、放出され、測定および比較するための第２の光源を提供する。
【0058】
図８は、組織または組織内の性質を識別するための分光コンポーネントを特徴とする、ウェアラブルＡＲ／ＶＲシステムを使用するための方法（８５０）を図示する。方法（８５０）は、システムが光源を標的オブジェクトに配向すること（８５１）から開始する。いくつかの実施形態では、配向は、ユーザの眼に向かって内向きに指向される光源を有し、固定される、または網膜走査等、眼を走査してもよい。いくつかの実施形態では、配向は、ユーザの眼注視または頭部姿勢を判定し、そのような注視または姿勢視野内の標的オブジェクトに向かって、または特徴目印または標的オブジェクトに向かって、光源を実質的に同一方向に配向することによって行われる。
【0059】
いくつかの実施形態では、（８５２）において、光源は、標的オブジェクトまたは表面に向かって、ある照射パターンにおいて光を放出する。いくつかの実施形態では、光は、タイマによってタイミングが図られたインターバルにおいてパルス化される。いくつかの実施形態では、光源は、少なくとも１つの波長の光を放出し、（８５４）において、光検出器等の放射検出器が、反射された光を受光する。いくつかの実施形態では、検出器はまた、タイマに動作可能に結合され、受光された光が、最初に、ある時間においてパルス化されたかどうかを示し、標的オブジェクト上での反射に応じて、光の性質の変化を判定する。いくつかの実施形態では、（８５２）は、（８５３）におけるマッピングと同時に開始するが、本シーケンスは、必ずしも、そうではなくてもよい。
【0060】
いくつかの実施形態では、実世界捕捉システムは、（８５３）において、標的オブジェクトをマッピングし始めてもよい。いくつかの実施形態では、そのようなマッピングは、標的オブジェクトのパス可能世界データを受信することを含んでもよい。いくつかの実施形態では、マッピングは、標的オブジェクトの輪郭の深度センサ分析を含んでもよい。いくつかの実施形態では、マッピングは、視野内のアイテムのメッシュモデルを構築することと、潜在的ラベル化のために、それらを参照することとを含んでもよい。いくつかの実施形態では、標的オブジェクトは、深度センサによって捕捉され得る、視野内の具体的オブジェクトではなく、むしろ、視野自体内の深度平面である。
【0061】
いくつかの実施形態では、（８５５）において、コントローラは、ランベルト・ベールの法則または光学密度関係（下記に説明される）もしくは較正曲線の散乱パターンに基づいて等、受光された光と比較して、放出された光を分析する。いくつかの実施形態では、（８５６）において、比較される光の性質は、システム上にローカルで記憶されるか、またはシステムを通して遠隔でアクセスされるかのいずれかである、吸収データベース内で参照され、標的オブジェクトの組織または組織の性質を識別する。いくつかの実施形態では、吸収データベースは、図４Ｂに描写されるもの等の飽和光チャートを備えてもよい、または特定の光波長の較正曲線を備えてもよい。
【0062】
いくつかの実施形態では、（８５４）において、放射検出器は、（８５２）において放出された光の波長と異なる波長の光を受光せず、コントローラは、分光分析を行うことができない。そのような場合は、図７Ｂにおけるように、酸素化および脱酸素化血液に関してある範囲内の波長の重複に伴って生じるであろう。いくつかの実施形態では、（８５４ａ）において、波長差が、放出された光と受光された光との間に検出されず、サブステップ（８５４ｂ）が、（８５２）において放出されたものと別の異なる波長において光を放出することによって開始する。新しい放出された光および受光された光の情報は、次いで、（８５５）において、コントローラに送達される。
【0063】
いくつかの実施形態では、実世界カメラは、加えて、標的オブジェクト（８５３）をマッピング後、潜在的に、（８５２－８５６）のそれぞれと同時に、（８５７）において、不規則性を示す視野内のサブピクセルを識別してもよい。例えば、いくつかの実施形態では、ピクセル間の色コントラストが、（８５３）において、実世界捕捉の間に検出され、（８５７）において、これらのピクセルは、さらに改変され、そのようなコントラストを潜在的に不健康な細胞としてハイライトする。いくつかの実施形態では、実世界捕捉（８５３）は、ピクセルクラスタ間の不規則的線を検出し、（８５７）において、不規則的線によって境界されるピクセルは、ユーザディスプレイ上でマーキングされる（仮想色オーバーレイ等によって）。
【0064】
いくつかの実施形態では、方法（８５０）は、（８５８）において、システムが組織または組織の材料性質をユーザに表示することで終了する。いくつかの実施形態では、ディスプレイは、標的オブジェクトに近接して仮想的に表示されるテキストラベル、吸収データベース（６３０）から判定されるような標的オブジェクトを説明するオーディオラベル、または標的オブジェクトに近接して並置される、吸収データベース（６３０）によって識別される類似組織またはオブジェクトの仮想画像を備えてもよい。
【0065】
いくつかの実施形態では、有意な量の分光アクティビティは、所望の標的（例えば、血管、筋肉組織、骨組織、または他の組織、および所望の深度において）を位置特定する初期タスクが、デジタル画像処理を使用して（（種々のフィルタを使用して、色、グレースケール、および／または強度閾値分析等によって）行われるように、コントローラ（８４４）によって動作されるソフトウェアを用いて実装される。そのような標的化は、パターン、形状認識、またはテクスチャ認識を使用して行われてもよい。癌性細胞または別様に不規則的細胞は、一般に、不規則的境界を有する。カメラシステムは、不規則的非線形パターンおよび目を引く点を伴う、カメラ視野（図５のカメラ１２４および視野１８、２２等）内の一連のピクセルを識別し、潜在的に不健康な細胞との境界等を識別してもよい。代替として、ソフトウェアおよびコントローラは、標的オブジェクトの中心の強度および周囲オブジェクト／組織の強度を使用して、標的オブジェクトとのコントラスト／光学密度を判定し、異常を判定するように構成されてもよい。そのような測定は、単に、本開示と一致する分光走査のための着目エリアを識別するために使用されてもよく、必ずしも、組織自体を識別する手段ではない。さらに、図６における不規則細胞（６２６）を参照して前述のように、拡張現実システムは、ラベルまたは色パターンを潜在的に不健康な細胞の境界内にオーバーレイし、周囲の健康な細胞に対してそれらをフラグ／それらをハイライトしてもよい。
【0066】
いくつかの実施形態では、コントローラ（８４４）は、密度比（コントラスト）を計算し、酸素飽和を血管内の種々のパルスオキシメトリ性質の密度比から計算するために利用されてもよい。２つ以上の放出される波長のそれぞれにおける脈管光学密度（「Ｏ．Ｄ．」）は、以下の式を使用して計算されてもよい。
ＯＤ脈管＝－ｌｏｇ１０（Ｉｖ／Ｉｔ）
ＯＤ脈管＝－ｌｏｇ１０（Ｉｖ／Ｉｔ）
【0067】
式中、ＯＤ脈管は、脈管の光学密度であり、Ｉｖは、脈管強度であり、Ｉｔは、周囲組織強度である。
【0068】
血管内の酸素飽和（「ＳＯ２」とも称される）は、以下のように、２つの波長における脈管光学密度の線形比（ＯＤ比または「ＯＤＲ」）として計算されてもよい。
ＳＯ２＝ＯＤＲ＝ＯＤ第１の波長／ＯＤ第２の波長
ＳＯ２＝ＯＤＲ＝ＯＤ第１の波長／ＯＤ第２の波長
【0069】
一実施形態では、約５７０ｎｍ（脱酸素化ヘモグロビンに敏感）および約６００ｎｍ（酸素化ヘモグロビンに敏感）の波長が、Ｓ０２＝ＯＤＲ＝ＯＤ６００ｎｍ／０Ｄ５７０ｎｍのように、網膜脈管オキシメトリにおいて利用されてもよく、そのような式は、較正係数によって比率を調節することを考慮しない。
【0070】
前述の式は、単に、材料性質を計算するための参照の実施例にすぎない。当業者は、多くの他の組織の性質および関係をコントローラが判定し得ることを理解するであろう。
コントローラ（８４４）を利用して、計算を実施し、および／または判定を行うことは、コントローラ（８４４）内のプロセッサ上でローカルで計算を実施することを伴い得ることを理解されたい。いくつかの他の実施形態では、コントローラ（８４４）を用いて、計算を実施し、および／または判定を行うことは、コントローラを利用して、外部コンピューティングリソース、例えば、サーバ（１１０）等のクラウド（４６）内のリソースとインターフェースをとることを伴ってもよい。
コントローラ（８４４）を利用して、計算を実施し、および／または判定を行うことは、コントローラ（８４４）内のプロセッサ上でローカルで計算を実施することを伴い得ることを理解されたい。いくつかの他の実施形態では、コントローラ（８４４）を用いて、計算を実施し、および／または判定を行うことは、コントローラを利用して、外部コンピューティングリソース、例えば、サーバ（１１０）等のクラウド（４６）内のリソースとインターフェースをとることを伴ってもよい。
【0071】
（コンピュータビジョン）
上記に議論されるように、分光システムは、ユーザを囲繞する環境内のオブジェクトまたはオブジェクトの特徴（例えば、性質）を検出するように構成されてもよい。いくつかの実施形態では、環境内に存在するオブジェクトまたはオブジェクトの性質は、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、分光システムの前向きに面したカメラは、オブジェクトを結像するように構成されてもよく、本システムは、画像分析を画像上で実施し、オブジェクト上の特徴の存在を判定するように構成されてもよい。本システムは、外向きに面した結像システムによって入手された画像、吸収判定、および／または反射ならびに／もしくは散乱された光の測定を分析し、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を行ってもよい。１つ以上のコンピュータビジョンアルゴリズムが、必要に応じて選択され、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキー点（ＢＲＩＳＫ）、高速網膜キー点（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
上記に議論されるように、分光システムは、ユーザを囲繞する環境内のオブジェクトまたはオブジェクトの特徴（例えば、性質）を検出するように構成されてもよい。いくつかの実施形態では、環境内に存在するオブジェクトまたはオブジェクトの性質は、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、分光システムの前向きに面したカメラは、オブジェクトを結像するように構成されてもよく、本システムは、画像分析を画像上で実施し、オブジェクト上の特徴の存在を判定するように構成されてもよい。本システムは、外向きに面した結像システムによって入手された画像、吸収判定、および／または反射ならびに／もしくは散乱された光の測定を分析し、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を行ってもよい。１つ以上のコンピュータビジョンアルゴリズムが、必要に応じて選択され、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキー点（ＢＲＩＳＫ）、高速網膜キー点（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【0072】
本明細書に議論されるように、オブジェクトまたはオブジェクトの特徴（性質を含む）は、１つ以上の基準（例えば、１つ以上の波長における吸収、光反射、および／または光散乱）に基づいて検出されてもよい。分光システムが、コンピュータビジョンアルゴリズムを使用して、または１つ以上のセンサアセンブリ（分光システムの一部である場合とそうではない場合がある）から受信されたデータを使用して、周囲環境内の基準の有無を検出するとき、分光システムは、次いで、オブジェクトまたは特徴の存在を信号伝達してもよい。
【0073】
これらのコンピュータビジョン技法のうちの１つ以上はまた、他の環境センサ（例えば、マイクロホン、ＧＰＳセンサ等）から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および判定してもよい。
【0074】
（機械学習）
種々の機械学習アルゴリズムが、オブジェクトまたはオブジェクトの特徴の存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、分光システムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、１つ以上の波長において取得された吸収率、光反射率、および／または光散乱値のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、分光システムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
種々の機械学習アルゴリズムが、オブジェクトまたはオブジェクトの特徴の存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、分光システムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、１つ以上の波長において取得された吸収率、光反射率、および／または光散乱値のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、分光システムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0075】
オブジェクトまたはオブジェクトの特徴を検出するための基準は、１つ以上の閾値条件を含んでもよい。センサ（例えば、カメラまたは光検出器）によって入手されたデータの分析が、閾値条件に合格することを示す場合、分光システムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および／または定質的測定を伴ってもよい。例えば、閾値条件は、オブジェクトおよび／または特徴が存在する尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。分光システムは、センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、分光システムは、オブジェクトまたはオブジェクト特徴の存在の検出を信号伝達してもよい。いくつかの他の実施形態では、分光システムは、スコアが閾値より低い場合、オブジェクトまたは特徴の不在を信号伝達してもよい。
【0076】
本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。いくつかの実施形態では、コードモジュールは、コントローラ（８４４）（図５）および／またはクラウド（４６）（例えば、サーバ（１１０））内のハードウェアによって実行されてもよい。
【0077】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0078】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（７０、図２Ｃ）、遠隔処理モジュール（７２、図２Ｄ）、および遠隔データリポジトリ（７４、図２Ｄ）のうちの１つ以上の一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0079】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステム、もしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
【0080】
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例を参照する。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、組成物、プロセス、プロセスの行為またはステップを、本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることを目的としている。
【0081】
本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
【0082】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
【0083】
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、（本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず）均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
【0084】
また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上の特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
【0085】
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
【0086】
本発明の範疇は、提供される実施例および／または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の範囲のみによって限定されるものとする
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7A】
【図7B】
【図8】
