(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
ユーザ健康分析のための拡張現実システムおよび方法。ユーザ健康分析のための方法は、初期予測モデルのためのデータを収集するステップと、1つ以上のデータ基準に基づいて、付加的データを収集し続けるステップとを含んでもよい。本方法はさらに、付加的データに基づいて、初期予測モデルを更新し、改訂された予測モデルを生成するステップ、または付加的データに基づいて、介入を生じさせるステップを含んでもよい。データは、ユーザ特有のデータを収集するように構成される、1つ以上のセンサと、仮想コンテンツをユーザに提示するように構成される、ディスプレイデバイスとを含む、ディスプレイシステムによって、収集されてもよい。ディスプレイデバイスは、可変波面発散を伴う光を出力するように構成されてもよい。
前記ディスプレイデバイスは、約0.25ジオプタ未満の遠近調節−輻輳・開散運動不整合を伴う画像を出力するように構成される、請求項1に記載のディスプレイシステム。
前記データを適用することは、前記データに関する基準または基準のセットが前記予測モデルの結果を判定する前に満たされたことを判定することを含む、請求項1に記載のディスプレイシステム。
前記ディスプレイデバイスは、少なくとも1ヶ月の期間にわたって、付加的データを前記1つ以上のセンサから収集し続けるように構成される、請求項1に記載のディスプレイシステム。
前記ディスプレイデバイスは、前記期間にわたって1日約3時間以上の持続時間の間、付加的データを前記1つ以上のセンサから収集し続けるように構成される、請求項3に記載のディスプレイシステム。
前記初期予測モデルを更新することは、前記データ内の測定された変数、収集されるべきデータ点の数、前記付加的データを収集するための期間、または1つ以上の測定された変数の加重のうちの少なくとも1つを修正することを含む、請求項1に記載のディスプレイシステム。
前記1つ以上のセンサは、少なくとも、前記ユーザ特有のデータを収集するための第1のセンサと、外部データを収集するための第2のセンサとを備える、請求項8に記載のディスプレイシステム。
約0.25ジオプタ未満の遠近調節−輻輳・開散運動不整合を伴う仮想コンテンツを前記ディスプレイデバイス上に表示することをさらに含む、請求項12に記載の方法。
付加的データを収集し続けることは、前記期間にわたって1日約3時間以上の持続時間の間、付加的データを前記1つ以上のセンサから収集することを含む、請求項15に記載の方法。
前記初期予測モデルを更新することは、前記データ内の測定された変数、収集されるべきデータ点の数、前記付加的データを収集するための期間、または1つ以上の測定された変数の加重のうちの少なくとも1つを修正することを含む、請求項12に記載の方法。
前記1つ以上のセンサは、少なくとも、前記ユーザ特有のデータを収集するための第1のセンサと、外部データを収集するための第2のセンサとを備える、請求項19に記載の方法。
前記ディスプレイデバイスは、約0.25ジオプタ未満の遠近調節−輻輳・開散運動不整合を伴う画像を出力するように構成される、請求項21に記載のディスプレイシステム。
前記ディスプレイデバイスは、少なくとも1ヶ月の期間にわたって、付加的データを前記1つ以上のセンサから収集し続けるように構成される、請求項21に記載のディスプレイシステム。
前記ディスプレイデバイスは、前記期間にわたって1日約3時間以上の持続時間の間、付加的データを前記1つ以上のセンサから収集し続けるように構成される、請求項23に記載のディスプレイシステム。
約0.25ジオプタ未満の遠近調節−輻輳・開散運動不整合を伴う仮想コンテンツを前記ディスプレイデバイス上に表示することをさらに含む、請求項26に記載の方法。
付加的データを収集し続けることは、前記期間にわたって1日約3時間以上の持続時間の間、付加的データを前記1つ以上のセンサから収集することを含む、請求項28に記載の方法。
【発明の概要】
【課題を解決するための手段】
【0007】
いくつかの実施形態では、ディスプレイシステムは、仮想コンテンツをユーザに提示するように構成される、ディスプレイデバイスと、ディスプレイデバイスに取り付けられる、1つ以上のセンサおよびユーザ特有のデータを収集するように構成される、1つ以上のプロセッサと、1つ以上のコンピュータ記憶媒体とを備える。ディスプレイデバイスは、可変波面発散を伴う光を出力するように構成される。1つ以上のコンピュータ記憶媒体は、システムによって実行されると、システムに、データを1つ以上のセンサから収集するステップと、データを初期予測モデルに適用するステップと、付加的データを1つ以上のセンサから収集し続けるステップと、付加的データに基づいて、初期予測モデルを更新し、改訂された予測モデルを生成するステップとを含む、動作を実施させる、命令を記憶する。
【0008】
いくつかの他の実施形態では、ユーザ健康分析を行う方法は、データを可変波面発散を伴う光を出力するように構成される拡張現実ディスプレイデバイスの1つ以上のセンサから収集するステップと、データを初期予測モデルに適用するステップと、付加的データを1つ以上のセンサから収集し続けるステップと、付加的データに基づいて、初期予測モデルを更新し、改訂された予測モデルを生成するステップとを含む。
【0009】
さらに他の実施形態では、ディスプレイシステムは、仮想コンテンツをユーザに提示するように構成される、ディスプレイデバイスと、ディスプレイデバイスに取り付けられ、ユーザ特有のデータを収集するように構成される、1つ以上のセンサと、1つ以上のプロセッサと、1つ以上のコンピュータ記憶媒体とを備える。ディスプレイデバイスは、可変波面発散を伴う光を出力するように構成される。1つ以上のコンピュータ記憶媒体は、システムによって実行されると、システムに、データを1つ以上のセンサから収集するステップと、データを初期予測モデルに適用するステップと、付加的データを1つ以上のセンサから収集し続けるステップと、付加的データに基づいて、介入を生じさせるステップとを含む、動作を実施させる命令を記憶する。
【0010】
いくつかの他の実施形態では、ユーザ健康分析を行う方法は、データを可変波面発散を伴う光を出力するように構成される拡張現実ディスプレイデバイスの1つ以上のセンサから収集するステップと、データを初期予測モデルに適用するステップと、付加的データを1つ以上のセンサから収集し続けるステップと、付加的データに基づいて、介入を生じさせるステップとを含む。
【0011】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管はさらに、光を周囲環境からユーザに伝送するように構成される。本システムはまた、ユーザがディスプレイを装着している間、3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、1つ以上のセンサを備える。
【0012】
いくつかの他の実施形態では、ディスプレイシステムは、光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管はさらに、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサ、および/またはユーザがディスプレイを装着している間、3時間を上回って、ユーザのユーザ特有のデータを持続的に収集するように構成される、1つ以上のユーザセンサを備える。ディスプレイシステムは、環境データとユーザ特有のデータを相関させるように構成される。
【0013】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管は、光によって形成される画像コンテンツのための深度平面に応じて、可変量の発散を伴う光を投影するように構成される。ディスプレイシステムはさらに、3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、1つ以上のセンサを備える。ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成される。
【0014】
いくつかの他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサと、ユーザのユーザ特有のデータを収集するように構成される、1つ以上のセンサとを備える。ディスプレイシステムは、治療をユーザに投与するように構成され、さらに、環境またはユーザ特有のデータに基づいて、治療を投与または修正するように構成される。
【0015】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイシステムは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサと、3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、1つ以上のユーザ装着型センサとを備える。加えて、ディスプレイシステムは、ユーザ装着型および/または環境データの一方または両方を他のディスプレイシステムと共有するように構成される。
【0016】
いくつかの他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイシステムは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムは、不整合な遠近調節(accommodation)−輻輳・開散運動(vergence)の関係を伴う視覚的コンテンツをユーザに提供するように構成される。
【0017】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイシステムは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、周囲環境から反射された音を検出するように構成される、マイクロホンまたは圧力センサ等の環境センサを備える。加えて、ディスプレイシステムは、周囲環境内のオブジェクトのサイズおよび距離の一方または両方を判定するための環境センサを使用して、エコーロケーションを行うように構成される。いくつかの実施形態では、ディスプレイシステムはさらに、結像デバイス等の周囲環境内の光を検出するための環境センサを備えてもよい。
【0018】
いくつかの実施形態では、ディスプレイシステムは、光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管はさらに、光を周囲環境からユーザに伝送するように構成される。システムはまた、ユーザがディスプレイを装着している間、ユーザのユーザ特有のデータの複数のセットを収集するように構成される、センサを備える。ディスプレイシステムは、分析毎に収集されたユーザ特有のデータの明確に異なるセットを使用して、複数のユーザ分析を行うように構成される。
【0019】
いくつかの他の実施形態では、ディスプレイシステムは、光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管はさらに、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサ、および/または1つ以上のユーザは、ユーザがディスプレイを装着している間、ユーザのユーザ特有のデータの複数のセットを収集するように構成される、センサを備える。ディスプレイシステムは、環境データとユーザ特有のデータを相関させるように構成される。
【0020】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の導波管を備える。1つ以上の導波管は、光によって形成される画像コンテンツのための深度平面に応じて、可変量の発散を伴う光を投影するように構成される。ディスプレイシステムはさらに、ユーザのユーザ特有のデータの複数のセットを収集するように構成される、1つ以上のセンサを備える。ディスプレイシステムは、分析毎に収集されたユーザ特有のデータの明確に異なるセットを使用して、複数のユーザ分析を行うように構成される。
【0021】
いくつかの他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサおよび/またはユーザのユーザ特有のデータを収集するように構成される、1つ以上のセンサを備える。ディスプレイシステムは、治療をユーザに投与するように構成され、さらに、環境とユーザ特有のデータとの間の相関に基づいて、治療を投与または修正するように構成される。
【0022】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイを備える。ディスプレイシステムは、光をユーザに投影するように構成される、1つ以上の管導波を備える。1つ以上の導波管は、光を周囲環境からユーザに伝送するように構成される。ディスプレイシステムはさらに、環境データを検出するように構成される、1つ以上の環境センサと、ユーザのユーザ特有のデータを収集するように構成される、1つ以上のユーザ装着型センサとを備える。加えて、ディスプレイシステムは、ユーザ特有および環境データの一方または両方を他のディスプレイシステムと共有するように構成される。
【0023】
付加的例示的実施形態が、以下に提供される。
1.ディスプレイシステムであって、
光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波であって、光を周囲環境からユーザに伝送するようにさらに構成される、1つ以上の導波管と、
ユーザがディスプレイを装着している間、3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、少なくとも1つのセンサと、
を備える、ディスプレイを備える、ディスプレイシステム。
2.ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成される、実施形態1に記載のディスプレイシステム。
3.分析は、診断的健康分析である、実施形態2に記載のディスプレイシステム。
4.分析は、介入のための推奨と関連付けられる、実施形態2に記載のディスプレイシステム。
5.ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成される、実施形態1に記載のディスプレイシステム。
6.センサは、5時間以上にわたって、ユーザ特有のデータを収集するように構成される、実施形態1に記載のディスプレイシステム。
7.センサは、複数日にわたって1日複数回、ユーザ特有のデータを収集するように構成される、実施形態1に記載のディスプレイシステム。
8.ディスプレイシステムは、分析の間、ユーザ特有の外れデータ点を除外するように構成される、実施形態1に記載のディスプレイシステム。
9.センサは、ユーザを結像するように構成される、結像デバイスである、実施形態1に記載のディスプレイシステム。
10.結像デバイスは、ユーザの眼および眼を囲繞する特徴のうちの1つ以上のものを結像するように構成される、実施形態9に記載のディスプレイシステム。
11.ディスプレイシステムは、
拡張現実コンテンツをユーザに送達し、
送達された拡張現実コンテンツに応答して、ユーザ特有のデータを収集する、
ことによって、
健康分析を行うように構成される、実施形態1に記載のディスプレイシステム。
12.拡張現実コンテンツは、頭部搭載型ディスプレイ上に表示される拡張現実画像コンテンツである、実施形態11に記載のディスプレイシステム。
13.拡張現実コンテンツは、音を含む、実施形態11に記載のディスプレイシステム。
14.収集されたユーザ特有のデータを分析し、ユーザ特有のデータ間の相関を判定し、拡張現実画像コンテンツを表示することをさらに含む、実施形態11に記載のディスプレイシステム。
15.センサおよびディスプレイは、共通フレームに接続され、フレームに接続される1つ以上の付加的センサをさらに備え、1つ以上の付加的センサは、3時間以上にわたって、付加的ユーザのユーザ特有のデータを持続的に収集するように構成され、ディスプレイシステムは、ユーザ特有のデータと付加的ユーザ特有のデータを相関させるように構成される、実施形態1に記載のディスプレイシステム。
16.センサは、眼追跡デバイス、電気診断デバイス、血圧センサ、血糖値計、温度センサ、加速度計、心拍数モニタ、カメラ、およびマイクロホンから成る群から選択される、実施形態1に記載のディスプレイシステム。
17.ローカルプロセッサおよびデータモジュールをさらに備え、センサは、無線でローカルプロセッサおよびデータモジュールと通信するように構成される、実施形態1に記載のディスプレイシステム。
18.ディスプレイは、複数の導波管を備える、導波管スタックを備える、実施形態1に記載のディスプレイシステム。
19.ディスプレイシステムは、複数のセンサを備える、実施形態1に記載のディスプレイシステム。
20.ディスプレイシステムは、健康分析をユーザ上で行うように構成され、健康分析は、
ユーザの神経系の機能を評価し、
ユーザの精神ステータスを判定し、
精神または神経的障害の生理学的または挙動的発現を検出し、
気分を検出し、
ユーザの感覚機能を評価する、
ことのうちの1つ以上のものを含む、実施形態1に記載のディスプレイシステム。
21.ディスプレイシステムであって、
光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波管であって、光を周囲環境からユーザに伝送するようにさらに構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
ユーザがディスプレイを装着している間、3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、ユーザセンサと、
を備える、ディスプレイを備え、ディスプレイシステムは、環境データとユーザ特有のデータを相関させるように構成される、ディスプレイシステム。
22.ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成され、環境データとユーザ特有のデータを相関させることは、分析の結果とユーザ特有のデータを相関させることを含む、実施形態21に記載のディスプレイシステム。
23.ユーザ特有のデータは、ユーザの挙動を特徴付ける挙動情報を含む、実施形態21に記載のディスプレイシステム。
24.挙動情報は、ユーザの動きおよびユーザの顔の表情のうちの1つ以上のものを含む、実施形態21に記載のディスプレイシステム。
25.ディスプレイシステムは、データを分析し、周囲環境に関する情報を含む、拡張現実画像コンテンツを表示するように構成される、実施形態21に記載のディスプレイシステム。
26.頭部搭載型ディスプレイは、拡張現実コンテンツをユーザに提示するように構成され、環境データは、拡張現実コンテンツに関する情報を含む、実施形態21に記載のディスプレイシステム。
27.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波管であって、光によって形成される画像コンテンツのための深度平面に応じて、可変量の発散を伴う光を投影するように構成される、1つ以上の導波管と、
3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成される、ディスプレイシステム。
28.センサおよびディスプレイは、共通フレームに接続され、フレームに接続される1つ以上の付加的センサをさらに備え、1つ以上の付加的センサは、3時間以上にわたって、付加的ユーザのユーザ特有のデータを持続的に収集するように構成され、分析は、ユーザ特有のデータと付加的ユーザ特有のデータを相関させることを含む、実施形態27に記載のディスプレイシステム。
29.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
ユーザのユーザ特有のデータを収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、治療をユーザに投与するように構成され、さらに、環境またはユーザ特有のデータに基づいて、治療を投与または修正するように構成される、ディスプレイシステム。
30.治療は、1つ以上の精神、挙動、および/または神経的障害を治療するように構成される、視覚的コンテンツを含む、実施形態29に記載のディスプレイシステム。
31.ディスプレイシステムは、装着者によって被られる医療徴候または症状の検出に応答して、治療をユーザに投与するように構成される、実施形態29に記載のディスプレイシステム。
32.ディスプレイシステムは、所定の閾値レベルを超える、またはそれを下回ったままである、ユーザ特有のデータに基づいて、治療を修正するように構成される、実施形態29に記載のディスプレイシステム。
33.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、ユーザ装着型センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、ユーザ特有および環境データの一方または両方を他のディスプレイシステムと共有するように構成される、ディスプレイシステム。
34.環境データおよびユーザ特有のデータを異なるユーザによって装着されるディスプレイシステム間で伝送および受信するように構成される、無線通信回路をさらに備える、実施形態33に記載のディスプレイシステム。
35.ディスプレイシステムは、異常環境またはユーザ特有のデータが検出されると、環境またはユーザ特有のデータを伝送するように構成される、実施形態33に記載のディスプレイシステム。
36.ディスプレイシステムは、環境データおよびユーザ特有のデータを異なるユーザによって装着されるディスプレイシステム間で伝送するように構成される、実施形態33に記載のディスプレイシステム。
37.ディスプレイシステムはさらに、少なくとも1つの他のシステムから送信される環境またはユーザ特有のデータを受信し、受信された環境またはユーザ特有のデータと、環境センサを用いて検出された環境データまたはユーザ装着型センサを用いて検出されたユーザ特有のデータを比較するように構成される、実施形態33に記載のディスプレイシステム。
38.少なくとも1つの他のシステムは、別のディスプレイシステムを備える、実施形態37に記載のディスプレイシステム。
39.環境データおよび他のディスプレイシステムから伝送されるユーザ特有のデータを受信するように構成される、処理回路を備え、
処理回路はさらに、場所データおよび受信された環境データまたは受信されたユーザ特有のデータのうちの少なくとも1つに基づいて、物理的近接度内にある複数のディスプレイデバイス装着者内の類似生理学的、挙動、または環境異常の発生を検出するように構成される、実施形態33に記載のディスプレイシステム。
40.異なるユーザのうちの少なくとも1人は、臨床医であって、臨床医によって装着されるディスプレイシステムは、異なるユーザの診断、監視、または治療のために、拡張現実コンテンツを臨床医に表示するように構成される、実施形態33に記載のディスプレイシステム。
41.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管を備える、
ディスプレイを備え、ディスプレイシステムは、
不整合遠近調節−輻輳・開散運動関係を伴う視覚的コンテンツをユーザに提供するように構成される、ディスプレイシステム。
42.環境データを検出するように構成される、環境センサと、
3時間以上にわたって、ユーザのユーザ特有のデータを持続的に収集するように構成される、ユーザ装着型センサと、
をさらに備える、実施形態41に記載のディスプレイシステム。
43.ディスプレイシステムはさらに、1つ以上の生理学的または挙動的応答を含む、ユーザデータを収集するように構成される、実施形態41に記載のディスプレイシステム。
44.生理学的または挙動的応答は、脳内の電気活動を含む、実施形態43に記載のディスプレイシステム。
45.生理学的または挙動的応答は、1つ以上の自律的応答を備える、実施形態42に記載のディスプレイシステム。
46.1つ以上の自律的応答は、血圧、呼吸数、および散瞳/縮瞳のうちの1つ以上のものを含む、実施形態44に記載のディスプレイシステム。
47.ディスプレイシステムは、視聴覚不整合、前庭動眼不整合、および固有受容視覚不整合から成る群から選択される、1つ以上の選択された不整合を伴うコンテンツをユーザに提供するように構成される、実施形態40に記載のディスプレイシステム。
48.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
周囲環境から反射された音を検出するように構成される、環境センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、周囲環境内のオブジェクトのサイズおよび距離の一方または両方を判定するための環境センサを使用して、エコーロケーションを行うように構成される、ディスプレイシステム。
49.音を周囲環境の中に投影するように構成される、音エミッタをさらに備え、ディスプレイシステムは、音の初期生成および初期生成と環境センサによる反射の検出との間の経過時間に基づいて、エコーロケーションを行うように構成される、実施形態48に記載のディスプレイシステム。
50.ディスプレイシステムは、ユーザによって生成された音の検出と環境センサによる音の反射の検出との間の経過時間に基づいて、エコーロケーションを行うように構成される、実施形態48に記載のディスプレイシステム。
51.ディスプレイシステムであって、
光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波管であって、光を周囲環境からユーザに伝送するようにさらに構成される、1つ以上の導波管と、
ユーザがディスプレイを装着している間、ユーザのユーザ特有のデータの複数のセットを収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、分析毎に収集されたユーザ特有のデータの明確に異なるセットを使用して、複数のユーザ分析を行うように構成される、ディスプレイシステム。
52.ユーザ分析は、診断的健康分析を含む、実施形態51に記載のディスプレイシステム。
53.ユーザ分析は、治療的分析を含む、実施形態51に記載のディスプレイシステム。
54.ディスプレイシステムは、分析の間、ユーザ特有の外れデータ点を除外するように構成される、実施形態51に記載のディスプレイシステム。
55.センサは、ユーザを結像するように構成される、結像デバイスである、実施形態51に記載のディスプレイシステム。
56.結像デバイスは、ユーザの眼および眼を囲繞する特徴のうちの1つ以上のものを結像するように構成される、実施形態55に記載のディスプレイシステム。
57.ディスプレイシステムは、
ユーザの周囲の世界内の刺激を検出し、
検出された刺激に応答して、ユーザ特有のデータを収集する、
ことによって、健康分析を行うように構成される、実施形態51に記載のディスプレイシステム。
58.刺激を検出することは、ユーザがオブジェクトに触れていることを判定することを含む、実施形態57に記載のディスプレイシステム。
59.刺激を検出することは、ユーザに可聴の音を検出することを含む、実施形態57に記載のディスプレイシステム。
60.収集されたユーザ特有のデータを分析し、ユーザ特有のデータと検出された刺激との間の相関を判定することをさらに含む、実施形態57に記載のディスプレイシステム。
61.センサおよびディスプレイは、共通フレームに接続され、フレームに接続される1つ以上の付加的センサをさらに備え、センサおよび1つ以上の付加的センサは、ユーザ特有のデータのセットの異なるものを収集するように構成される、実施形態51に記載のディスプレイシステム。
62.ディスプレイシステムは、各データセット内の統計的に有意な量のデータを収集するように構成される、実施形態60に記載のディスプレイシステム。
63.センサは、眼追跡デバイス、電気診断デバイス、血圧センサ、血糖値計、温度センサ、加速度計、心拍数モニタ、カメラ、およびマイクロホンから成る群から選択される、実施形態51に記載のディスプレイシステム。
64.ローカルプロセッサおよびデータモジュールをさらに備え、センサは、無線でローカルプロセッサおよびデータモジュールと通信するように構成される、実施形態51に記載のディスプレイシステム。
65.ディスプレイは、複数の導波管を備える、導波管スタックを備える、実施形態51に記載のディスプレイシステム。
66.ディスプレイシステムは、複数のセンサを備える、実施形態51に記載のディスプレイシステム。
67.ディスプレイシステムは、健康分析をユーザ上で行うように構成され、健康分析は、
ユーザの1つ以上の脳神経の機能を評価し、
ユーザの精神ステータスを判定し、
挙動障害を検出し、
気分を検出し、
強迫性障害を検出し、
ユーザの感覚機能を評価する、
ことのうちの1つ以上のものを含む、実施形態51に記載のディスプレイシステム。
68.ディスプレイシステムであって、
光をユーザに投影し、拡張現実画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波管であって、さらに、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
ユーザがディスプレイを装着している間、ユーザがユーザのユーザ特有のデータの複数のセットを収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、環境データとユーザ特有のデータを相関させるように構成される、ディスプレイシステム。
69.環境データは、1つ以上の拡張現実画像コンテンツに関するデータと、1つ以上の外部データベースからのデータとを含む、実施形態68に記載のディスプレイシステム。
70.ディスプレイシステムは、ユーザ特有のデータに基づいて、ユーザの分析を行うように構成され、環境データとユーザ特有のデータを相関させることは、分析の結果とユーザ特有のデータを相関させることを含む、実施形態68に記載のディスプレイシステム。
71.ユーザ特有のデータは、ユーザの挙動を特徴付ける挙動情報を含む、実施形態68に記載のディスプレイシステム。
72.挙動情報は、ユーザの動きおよびユーザの顔の表情のうちの1つ以上のものを含む、実施形態68に記載のディスプレイシステム。
73.ディスプレイシステムは、データを分析し、周囲環境に関する情報を含む、拡張現実画像コンテンツを表示するように構成される、実施形態68に記載のディスプレイシステム。
74.ディスプレイシステムは、環境データに基づいて、周囲環境内の複数の刺激を検出するように構成される、実施形態68に記載のディスプレイシステム。
75.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の導波管であって、光によって形成される画像コンテンツのための深度平面に応じて、可変量の発散を伴う光を投影するように構成される、1つ以上の導波管と、
ユーザのユーザ特有のデータの複数のセットを収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、分析毎に収集されたユーザ特有のデータの明確に異なるセットを使用して、複数のユーザ分析を行うように構成される、ディスプレイシステム。
76.センサおよびディスプレイは、共通フレームに接続され、フレームに接続される1つ以上の付加的センサをさらに備え、センサおよび1つ以上の付加的センサは、ユーザ特有のデータのセットの異なるものを収集するように構成される、実施形態75に記載のディスプレイシステム。
77.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
ユーザのユーザ特有のデータを収集するように構成される、センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、治療をユーザに投与するように構成され、さらに、環境データとユーザ特有のデータとの間の相関に基づいて、治療を投与または修正するように構成される、ディスプレイシステム。
78.治療は、癲癇、強迫性挙動、不安障害、および鬱病のうちの1つ以上のものを治療するように構成される、視覚的コンテンツを含む、実施形態77に記載のディスプレイシステム。
79.ディスプレイシステムは、装着者によって被られる医療徴候または症状の検出に応答して、治療をユーザに投与するように構成される、実施形態77に記載のディスプレイシステム。
80.ディスプレイシステムは、所定の閾値レベルを超える、またはそれを下回ったままである、ユーザ特有のデータに基づいて、治療を修正するように構成される、実施形態79に記載のディスプレイシステム。
81.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
環境データを検出するように構成される、環境センサと、
ユーザのユーザ特有のデータを収集するように構成される、ユーザ装着型センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、ユーザ特有および環境データの一方または両方を他のディスプレイシステムと共有するように構成される、ディスプレイシステム。
82.環境データおよびユーザ特有のデータを異なるユーザによって装着されるディスプレイシステム間で伝送および受信するように構成される、無線通信回路をさらに備える、実施形態81に記載のディスプレイシステム。
83.ディスプレイシステムは、異常環境またはユーザ特有のデータが検出されると、環境またはユーザ特有のデータを伝送するように構成される、実施形態81に記載のディスプレイシステム。
84.ディスプレイシステムは、環境データおよびユーザ特有のデータを異なるユーザによって装着されるディスプレイシステム間で伝送するように構成される、実施形態81に記載のディスプレイシステム。
85.ディスプレイシステムはさらに、少なくとも1つの他のディスプレイシステムから送信される環境またはユーザ特有のデータを受信し、受信された環境またはユーザ特有のデータと、環境センサを用いて検出された環境データまたはユーザ装着型センサを用いて検出されたユーザ特有のデータを比較するように構成される、実施形態81に記載のディスプレイシステム。
86.環境データおよび他のディスプレイシステムから伝送されるユーザ特有のデータを受信するように構成される、処理回路を備え、
処理回路はさらに、場所データおよび受信された環境データまたは受信されたユーザ特有のデータのうちの少なくとも1つに基づいて、物理的近接度内にある複数のディスプレイデバイス装着者内の類似生理学的、挙動、または環境異常の発生を検出するように構成される、実施形態81に記載のディスプレイシステム。
87.異なるユーザのうちの少なくとも1人は、臨床医であって、臨床医によって装着されるディスプレイシステムは、異なるユーザの診断、監視、または治療のために、拡張現実コンテンツを臨床医に表示するように構成される、実施形態81に記載のディスプレイシステム。
88.ディスプレイシステムであって、
光をユーザに投影し、画像コンテンツを複数の深度平面上に表示するように構成される、頭部搭載型ディスプレイであって、
光をユーザに投影するように構成される、1つ以上の管導波であって、光を周囲環境からユーザに伝送するように構成される、1つ以上の導波管と、
周囲環境から反射された音を検出するように構成される、環境センサと、
を備える、ディスプレイを備え、ディスプレイシステムは、周囲環境内のオブジェクトのサイズおよび距離の一方または両方を判定するための環境センサを使用して、エコーロケーションを行うように構成される、ディスプレイシステム。
89.音を周囲環境の中に投影するように構成される、音エミッタをさらに備え、ディスプレイシステムは、音の初期生成および初期生成と環境センサによる反射の検出との間の経過時間に基づいて、エコーロケーションを行うように構成される、実施形態88に記載のディスプレイシステム。
90.ディスプレイシステムは、ユーザによって生成された音の検出と環境センサによる音の反射の検出との間の経過時間に基づいて、エコーロケーションを行うように構成される、実施形態88に記載のディスプレイシステム。
91.ディスプレイシステムは、エコーロケーションに基づいて、周囲環境の1つ以上の刺激を判定するように構成される、実施形態88に記載のディスプレイシステム。
92.ユーザ特有のデータをユーザから収集するように構成される、1つ以上のユーザ装着型センサをさらに備え、ディスプレイシステムはさらに、収集されたユーザ特有のデータと周囲環境の刺激との間の相関を判定するように構成される、実施形態91に記載のディスプレイシステム。
【発明を実施するための形態】
【0044】
本明細書に開示されるように、拡張現実(AR)および複合現実(MR)システムは、依然として、視認者がそれらの周囲の世界を見ることを可能にしながら、仮想コンテンツを視認者またはユーザに表示し得る。好ましくは、本コンテンツは、例えば、また、光を周囲環境からそれらの眼に伝送し、その周囲環境のビューを可能にしながら、画像情報を視認者の眼に投影する、アイウェアの一部としての頭部搭載型ディスプレイ上に表示される。本明細書で使用されるように、「頭部搭載型」ディスプレイは、視認者の頭部上に搭載され得る、ディスプレイであることを理解されたい。
【0045】
本明細書に議論されるように、多くのVR、AR、およびMRディスプレイデバイスは、画像情報を表示するとき、遠近調節−輻輳・開散運動不整合および/または前庭動眼不整合に悩まされる。そのような不整合は、ユーザ不快感を生じさせ得、デバイスの長期装着を実行不可能にし得る。有利には、本明細書の実施形態によるディスプレイデバイスは、とりわけ、ユーザにおける遠近調節と輻輳・開散運動との間および/または前庭入力と眼球入力との間の正しい整合を提供することによって、デバイスの長期装着を可能にする。いくつかの実施形態では、本明細書に開示されるディスプレイシステムは、約0.1ジオプタまたはそれ未満を含む、約0.5ジオプタまたはそれ未満、約0.33ジオプタまたはそれ未満、または約0.25ジオプタまたはそれ未満の遠近調節−輻輳・開散運動不整合を伴う画像を視認者に提示する。その結果、デバイスのユーザは、持続時間の約25%を超えて、約20%を超えて、約15%を超えて、約10%を超えて、または約5%を超えて、デバイスを除去せずに、約3時間以上、約4時間以上、約5時間以上、約6時間以上の持続時間、または1日中、実質的に持続的にデバイスを装着および使用可能となり得る。
【0046】
本明細書に開示されるディスプレイシステムの装着能力およびその装着能力の長期性質は、近接近するディスプレイシステム(感覚コンポーネントを含む)と結合され、視認者に、有利には、保健医療利点を提供する機会を提供する。例えば、ディスプレイシステムは、そうでなければ容易に取得され得ない、データのセットを集めることを可能にし得る。加えて、ユーザ状態および状況の査定および予測の正確度は、データ収集の持続時間に起因して、他の利点の中でもとりわけ、種々のデータ、データ収集の種々の場所、および複数のタイプのデータを同時に収集する能力(それによって、例えば、データの全てに適用されるタイムスタンプおよび/または場所スタンプを使用して、異なるデータが相互参照されることを可能にする)増加させ得、ユーザデータまたは外部データ、例えば、環境データを使用して実施される任意の健康分析の正確度を増加させ得、そうでなければ容易に明白とならない、かつ健康状態または治療と種々の測定された変数との間の関係を明らかにし得る。外部データは、ユーザの外部の性質または状態を説明し得ることを理解されたい。
【0047】
いくつかの実施形態では、ディスプレイシステムの一部を形成する、ユーザセンサは、長時間にわたって、その持続時間の実質的に全ての間、ディスプレイシステムが、視認者上に搭載されたまま、データを収集するように構成されてもよい。好ましくは、持続時間は、約3時間以上、約4時間以上、約5時間以上、約6時間以上、または約1日中またはそれを上回り、全て、規定された持続時間の約25%を超えて、約20%を超えて、約15%を超えて、約10%を超えて、または約5%を超えて、デバイスを除去しない。ユーザセンサに加え、環境センサも、ディスプレイシステムの一部を形成し、ユーザの周囲環境に関するデータを収集するように構成されてもよい。種々の実施形態では、ユーザセンサは、システムが装着される持続時間から独立して、ユーザデータと環境データとの間の統計的に有意なまたは別様に有用な相関を確立する基準を含む、所定の基準または基準のセットが満たされるまで、データを収集するように構成されてもよい。例えば、いくつかの分析は、1時間未満、3時間未満、または断続的に短または長持続時間にわたって、システムを装着することに基づいて遂行されてもよい。
【0048】
いくつかの実施形態では、仮想またはARコンテンツ(例えば、画像、触知フィードバック、および/または音)が、ユーザに提供されてもよく、ユーザセンサは、本仮想コンテンツに応答して、ユーザデータを収集してもよい。そのような実施形態では、仮想コンテンツは、AR画像コンテンツが、例えば、実オブジェクトまたは実音である場合、環境センサによって収集されるであろうデータに対応する、関連付けられた「環境データ」または仮想データを有してもよい。
【0049】
種々の実施形態では、ユーザデータまたはユーザ特有のデータは、例えば、ディスプレイシステムのセンサから収集される。ユーザ特有のデータは、生理学的データ(例えば、心拍数、血圧、脳波等)および/または挙動データ(例えば、身体位置、四肢移動、顔の表情、眼移動等)を含んでもよい。いくつかの実施形態では、ユーザ特有のデータは、複数の生理学的および/または挙動データから導出されるパラメータを含む。そのようなパラメータは、導出パラメータと称され得、これは、感情状態の実施例である。いくつかの実施形態では、ユーザ特有のデータは、干渉的または非干渉的客観的測定機器(例えば、ユーザ装着型心拍数センサ等)、または主観的測定機器(例えば、Ecological Momentary Assessmentまたは同等物等のデジタル自己報告および/または他の報告ツール)から集められる。
【0050】
種々の実施形態では、外部データは、例えば、ディスプレイシステムのセンサを使用した直接測定によって、および/またはデータを外部データベース等の外部ソースから取得することによって収集される。外部データは、仮想データを含む、環境データ(例えば、周囲光、近接オブジェクト等)、および公共/一般的データ(例えば、天候情報、花粉数等)を含んでもよい。
【0051】
いくつかの実施形態では、介入は、ユーザに投与されてもよい。介入は、種々の医療および/または心理学的治療等の治療を含んでもよい。介入および/または治療は、ユーザ特有のデータおよび外部データのうちの任意の1つ以上のものに基づいて、かつ1つ以上のデータタイプの相関または他の分析に基づいて、投与または修正されてもよい。
【0052】
いくつかの実施形態では、相関分析は、2つ以上の異なるタイプのデータ間の関係を判定するために行われてもよい。例えば、ユーザ特有および環境データは、2つのタイプのデータ間の関係を判定するために相関される。有利には、相関は、多くの異なるコンテキスト(例えば、異なる場所、時間等)においてデータを取得する能力に起因して、より強固にされる、またはより性格に判定され得る。ユーザ特有データと環境データとの間の相関は、種々の目的、例えば、データタイプおよび/またはデータソース間の有意義な統計的相関および/または因果関係を査定し、個人および/または母集団に関する分析および/または予測回帰建物のために、種々のソース(例えば、環境データおよびユーザ特有のデータ)から取得されるデータセット上で実施される種々の統計的分析を含んでもよい。相関のコンテキストにおいて実施される種々の分析は、リアルタイムで、ほぼリアルタイムで、および/または異なるソース、異なるユーザからの、および/または個々のユーザおよび/またはユーザの母集団内の経時的データの履歴パターンに基づいて、行われてもよい。
【0053】
本明細書に開示される試験の多くは、種々の刺激に対するユーザの応答に関して収集されるユーザデータを利用することを理解されたい。ユーザデータは、例えば、本明細書に説明されるように、ユーザの画像、ユーザに指向されるセンサからの測定等の形態をとってもよい。また、ユーザは、1日中動き回るにつれて、特定の試験のために適切な外部刺激と接触し得ることを理解されたい。外部刺激は、周囲環境からの環境刺激および/またはディスプレイシステムによってユーザに提供される刺激(例えば、特定の健康分析を実施する以外の目的のためにユーザに提供される画像および/または音の形態)の形態をとってもよい。有利には、ディスプレイシステムは、具体的に能動的にユーザを特定の刺激に曝さずに、種々の分析を非干渉的に実施するために、ユーザに関するデータを受動的に収集するように構成されてもよい。例えば、ディスプレイシステムは、外部データ(例えば、日付、温度、周囲雑音、照明状態、鏡からの距離等)および/またはディスプレイシステムによってユーザに提供される出力を集めるように構成されてもよく、これは、ユーザデータと同期されるまたは別様に関連付けられる。環境データおよびディスプレイシステムによってユーザに提供される出力は、外部データと称され得る。
【0054】
いくつかの実施形態では、外部およびユーザデータは、持続的ベースで記憶され、次いで、続いて分析されてもよい。例えば、外向きに面したカメラからの画像情報およびディスプレイシステムのマイクロホンからの音入力は、ユーザに取り付けられる、またはそこに指向される種々のセンサ(例えば、内向きに面したカメラ、電極等)からのユーザデータとともに、継続的に収集されてもよい。ディスプレイシステムは、その情報が収集されるにつれて、収集された外部およびユーザデータの分析を実施し、収集されたデータが、本明細書に開示される分析、例えば、本明細書に開示されるユーザ健康分析のうちの1つ以上のものに関連するかどうかを判定するように構成されてもよい。
【0055】
いくつかの実施形態では、データ分析のタイミングおよび頻度は、限定ではないが、任意の特定の時間点において収集されたデータの必要なタイプおよび量を含む、分析のための事前に定義された決定ルールによって判定される。特定の分析のために必要なデータのタイプおよび量が存在すると判定される場合、ディスプレイシステムは、次いで、関連付けられた分析を実施するように構成されてもよい。いくつかの他の実施形態では、適切なデータが存在するかどうかの分析および/または判定は、後の時間に(例えば、ディスプレイシステムがユーザによって使用され得ない夜間または他の時間等の事前に設定されたインターバルにおいて、および/または1つ以上の分析を実施するためのユーザからの特定の入力に応答して)行われてもよい。好ましくは、外部およびユーザデータの収集は、ユーザがディスプレイシステムを装着している間、連続的である一方、適切なデータが存在するかどうかの分析および/または判定は、例えば、事前に設定されたスケジュールおよび/またはユーザまたは他の当事者による入力に従って、断続的または突発的に実施される。収集されたデータ、例えば、外部データおよびユーザデータは、複数の分析のための使用され得る、複数データのセットを表し、1つのデータのセットは、分析のうちの1つのために適切であって、別のデータのセットは、他の分析のために適切であろう。さらに、未加工外部およびユーザデータの可用性は、従来の分析では容易に利用されないデータの組み合わせを使用し得る、分析の後の開発を促進する。いくつかの実施形態では、外部およびユーザデータの同時入手は、所与の時間点において、複数の分析が実施され、ユーザの状態を判定することを可能にする。有利には、同一時間点から導出されるデータを評価することによって実施される、これらの分析は、各個々の分析によって提供される結論を検証すことに役立ち得る。
【0056】
有利には、これらの分析は、持続的に経時的に実施されてもよく、例えば、特定の分析は、数時間、数日、数週間、数ヶ月、またはさらに数年の期間にわたって、複数回実施されてもよい。その結果、大データセットが、特定の分析に関する結論を下す前に、取得および分析されてもよい。そのような大データセットは、単一時間点のみでのデータ取得の単一分析と比較して、分析から導かれる結論における信頼性およびレベル信頼度を改良し得る。
【0057】
加えて、長期傾向もまた、収集された外部およびユーザデータの履歴分析によって取得されてもよい。その結果、現時点でのユーザ健康状態およびこれらのユーザ状態に関する傾向の両方が、判定され得、これは、特定のユーザにより具体的に合わせられた将来的傾向を判定するためのデータを提供し得る。例えば、ある状態は、症状の特定の閾値に到達するまで明白となり得ず、状態に関連する以前のデータセットが、通常、臨床医によって取得され内であろうため、かつそれらのデータセットの関連性が、前もって理解されていないため、従来、状態が見出される前に、ユーザの状態を分析することが困難でありあり得ることが可能性として考えられる。外部およびユーザデータの受動収集および記憶は、有利には、ディスプレイシステムに、より早い時間点においてユーザの分析を行うための時間に戻る能力を提供する。その結果、状態の進行度のより正確な理解が、判定され得る。加えて、一般的母集団に関するノルムから外挿するのではなく、ユーザに関する状態の変化率が、判定され、それによって、状態の進行度をより正確に投影させるための情報を提供し得る。
【0058】
いくつかの実施形態では、任意の構成において収集される全てのデータは、リアルタイムまたはほぼリアルタイムで、または事前に規定された時間遅延を伴って、1つ以上の介入をユーザに提供するために利用されてもよい。認可されたアクセスおよび制御権を伴う、ユーザまたは別のエンティティが、いくつかの実施形態では、任意の介入のコンテンツおよびタイミングを判定してもよい。介入決定は、自動化または手動方式において、システム内で、または遠隔デバイスを介して、呼び出されてもよい。データは、分析されてもよく、1つ以上のアルゴリズムが、医療処置または心理学療法等の新しい介入または介入のセットをトリガし、および/またはユーザの継続中の介入または一連の介入を修正するために使用されてもよい。いくつかの実施形態では、介入は、ディスプレイシステムによって、および/または視覚的ディスプレイの有無を問わない他の技術的デバイスによって、ユーザに送達されてもよい(例えば、視覚的および/または聴覚的コンテンツ、および/または触知フィードバックの形態で)。データは、医療診断等の関連ユーザ状態および状況の査定または診断をサポートまたは実施するために使用され得る、事前に規定されたパラメータのセット(例えば、健康パラメータ)の1つ以上の組み合わせを査定するために使用されてもよい。
【0059】
いくつかの実施形態では、ユーザおよび/または環境データ(例えば、実および/または仮想コンテンツを含む)およびユーザおよび/または環境データ間の関係は、記憶される、および/または、例えば、局所近傍内の類似デバイスの他のユーザおよび/またはその他と共有されてもよい。有利には、そのような共有は、他のユーザからのデータセットが利用可能であろうため、ユーザおよび/または環境データを用いて成される任意の相関の正確度の増加を補助し得る。いくつかの他の実施形態では、ユーザおよび/または環境データおよび/または本データから導出される情報は、第三者と共有され、例えば、特定の場所における人々との共通反応を生じさせる刺激に関する通知を提供してもよい。いくつかの実施形態では、データは、データ入力を受信可能なディスプレイ機能性の有無を問わない他の技術的デバイス、例えば、スマートフォンまたは同等物と共有されてもよい。
【0060】
ここで、図を参照するが、同様の参照番号は、全体を通して同様の部分を指す。
【0061】
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼210、220毎に1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
【0062】
図2を継続して参照すると、画像190、200は、z−軸上で距離230だけ眼210、220から離間される。z−軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを凝視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
【0063】
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。
図3A−3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。
図3A−3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率が増加すると、オブジェクトと眼210の間の距離が減少する。単眼210のみが、例証を明確にするために、
図3A−3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
【0064】
図3A−3Cを継続して参照すると、視認者の眼が凝視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、レンズを保持する提靭帯に印加される力を変調し、したがって、凝視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、凝視されているオブジェクトの集束された画像を眼の(例えば、中心窩)網膜/中心窩上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、凝視されているオブジェクトの集束された画像を眼の(例えば、中心窩)網膜/中心窩上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
【0065】
ここで
図4Aを参照すると、ヒト視覚系の遠近調節−輻輳・開散運動応答の表現が、図示される。オブジェクトを凝視するための眼の移動は、眼にオブジェクトからの光を受信させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の(例えば、中心窩)網膜/中心窩上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。
図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。
図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを凝視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz−軸上の異なる深度における新しいオブジェクトを凝視する場合、変化し得る。
【0066】
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。前述のように、2つの眼の相互に対する輻輳・開散運動移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを凝視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下では、眼の水晶体の形状を変化させ、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節−輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、水晶体形状における整合する変化をトリガするであろう。
【0067】
ここで
図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを凝視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を凝視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
【0068】
望ましくないことに、従来の「3−D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。前述のように、多くの立体視または「3−D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節−輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0069】
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節−輻輳・開散運動整合を提供してもよい。
【0070】
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度平面240が、図示される。所与の深度平面240に関して、輻輳・開散運動キューが、眼210、220毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度平面240に関して、各眼210、220に提供される画像を形成する光は、その深度平面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
【0071】
図示される実施形態では、点221を含有する、深度平面240のz−軸に沿った距離は、1mである。本明細書で使用されるように、z−軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって1mの深度に位置する深度平面240は、眼が光学無限遠に向かって指向された状態でそれらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z−軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度平面は、ディスプレイの正面の980mmの距離にあり得る。
【0072】
ここで
図4Cおよび4Dを参照すると、整合遠近調節−輻輳・開散運動距離および不整合遠近調節−輻輳・開散運動距離の実施例が、それぞれ、図示される。
図4Cに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度平面240上の点15上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度平面240における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面240上の点15にあるように知覚し得る。
【0073】
眼210、220の遠近調節および輻輳・開散運動状態はそれぞれ、z−軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられた距離は、遠近調節距離A
dと称され得る。同様に、特定の輻輳・開散運動状態における眼と関連付けられた特定の輻輳・開散運動距離V
dまたは相互に対する位置が、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言える。これは、視認者に最も快適なシナリオであると見なされる。
【0074】
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、
図4Dに図示されるように、眼210、220に表示される画像は、深度平面240に対応する波面発散を伴って表示され得、眼210、220は、その深度平面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度平面240上に位置しない点15上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、遠近調節距離は、いくつかの実施形態では、眼210、220の射出瞳から深度平面240の距離に対応する一方、輻輳・開散運動距離は、眼210、220の射出瞳から点15までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節−輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、V
d−A
d)に対応し、ジオプタを使用して特性評価され得ることを理解されたい。
【0075】
いくつかの実施形態では、眼210、220の射出瞳以外の参照点も、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、遠近調節−輻輳・開散運動不整合を判定するための距離を判定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度平面、網膜から深度平面、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度平面等まで測定され得る。
【0076】
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約0.25ジオプタ、最大約0.33ジオプタ、および最大約0.5ジオプタの遠近調節−輻輳・開散運動不整合を生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム(例えば、ディスプレイシステム250、
図6)は、約0.5ジオプタまたはそれ未満の遠近調節−輻輳・開散運動不整合を有する、画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節−輻輳・開散運動不整合は、約0.33ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節−輻輳・開散運動不整合は、約0.1ジオプタまたはそれ未満を含む、約0.25ジオプタまたはそれ未満である。
【0077】
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受信し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度平面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
【0078】
いくつかの実施形態では、単一導波管が、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度平面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。
【0079】
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
【0080】
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能な離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム250は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度平面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
【0081】
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つ以上のレンズであってもよい。導波管270、280、290、300、310および/または複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼210に向かって指向される。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
【0082】
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、それぞれ対応する導波管270、280、290、300、310の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
【0083】
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、光プロジェクタシステム520によって提供され、これは、光モジュール530を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール530からの光は、ビームスプリッタ550を介して、光変調器540、例えば、空間光変調器によって指向および修正されてもよい。光変調器540は、導波管270、280、290、300、310の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、液晶ディスプレイ(LCD)を含み、シリコン上液晶(LCOS)ディスプレイを含む。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられたものの中に出力するように構成される、共通投影システム内のなる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器540であってもよく、画像は、深度平面上の画像であってもよい。
【0084】
いくつかの実施形態では、ディスプレイシステム250は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つ以上の導波管270、280、290、300、310の中に、最終的には、視認者の眼210に投影するように構成される、1つ以上の走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス360、370、380、390、400は、光を1つまたは複数の導波管270、280、290、300、310の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス360、370、380、390、400は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管270、280、290、300、310のうちの関連付けられた1つの中に投入するように構成される。1つ以上の光ファイバは、光を光モジュール530から1つ以上の導波管270、280、290、300、310に透過するように構成されてもよいことを理解されたい。1つ以上の介在光学構造が、走査ファイバまたは複数のファイバと、1つ以上の導波管270、280、290、300、310との間に提供され、例えば、走査ファイバから出射する光を1つ以上の導波管270、280、290、300、310の中に再指向してもよいことを理解されたい。
【0085】
コントローラ560は、画像投入デバイス360、370、380、390、400、光源530、および光モジュール540の動作を含む、スタックされた導波管アセンブリ260のうちの1つ以上のものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(
図2)の一部であってもよい。
【0086】
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素光はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明の容易性および図面の明確性のために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよい、および/または導波管270、280、290、300、310の体積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、材料のモノリシック部品であってもよく、外部結合光学要素570、580、590、600、610は、材料のその部品の表面上および/またはその内部に形成されてもよい。
【0087】
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1の350および第2の340レンズの両方を通して通過させる。第1の350および第2の340レンズの組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0088】
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0089】
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つ以上のものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットが、深度平面毎に1つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
【0090】
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、体積または表面特徴であってもよく、これは、具体的角度で光を出力するように構成されてもよい。例えば、光抽出光学要素570、580、590、600、610は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空隙を形成するための構造)であってもよい。
【0091】
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンまたは「回折光学要素」(また、本明細書では、「DOE」とも称される)を形成する、回折特徴である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点を用いて眼210に向かって偏向される一方、残りがTIRを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一パターンの出射放出となる。
【0092】
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
【0093】
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレーム80(
図9D)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、眼毎に利用され、各眼を別個に監視してもよい。
【0094】
ここで
図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(
図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点では、光の一部は、導波管から出射ビーム650として出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられた深度平面に応じて、ある角度(例えば、発散出射ビーム形成)において眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
【0095】
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つ以上の原色のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。
図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度平面240a−240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられた3つ以上の原色画像を有してもよい。異なる深度平面は、文字G、R、およびBに続くジオプタに関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
【0096】
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度平面毎に提供されてもよく、3つの原色画像が、深度平面毎に提供される。各深度平面と関連付けられた導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度平面毎に提供され得るように、同一導波管によって出力されてもよい。
【0097】
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられた他の色も、赤色、緑色、または青色のうちの1つ以上のものに加えて使用されてもよい、またはそれらに取って代わってもよい。
【0098】
本開示全体を通した所与の光の色の言及は、視認者によってその所与の色であるように知覚される、光の波長の範囲内の1つ以上の波長の光を包含するものと理解されるであろう。例えば、赤色光は、約620〜780nmの範囲内の1つ以上の波長の光を含んでもよく、緑色光は、約492〜577nmの範囲内の1つ以上の波長の光を含んでもよく、青色光は、約435〜493nmの範囲内の1つ以上の波長の光を含んでもよい。
【0099】
いくつかの実施形態では、光源530(
図6)は、視認者の視覚的知覚範囲外の1つ以上の波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/またはユーザ刺激用途のために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
【0100】
ここで
図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。
図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(
図6)に対応してもよく、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つ以上のものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
【0101】
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられた内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つ以上のものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つ以上の内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つ以上の光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
【0102】
図示されるように、内部結合光学要素700、710、720は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、
図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受信するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受信しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
【0103】
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられた導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
【0104】
導波管670、680、690は、例えば、材料のガス、液体および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率を0.05またはそれを上回って、または0.10またはそれを下回る。有利には、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
【0105】
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つ以上の導波管間で異なってもよい、および/または層760a、760bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
【0106】
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つ以上の画像投入デバイス360、370、380、390、400(
図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
【0107】
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられた内部結合光学要素に透過させながら、1つ以上の特定の光の波長を選択的に偏向させる。
【0108】
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を選択的に偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
【0109】
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光を対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
【0110】
ここで
図9Bを参照すると、
図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。前述のように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
【0111】
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、
図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(
図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEへの衝突に応じて、再び、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、EPEへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合された光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、
図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
【0112】
故に、
図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受信する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に入射し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750、次いで、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受信する。
【0113】
図9Cは、
図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、各導波管の関連付けられた光分散要素730、740、750および関連付けられた外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
【0114】
図9Dは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、
図6のシステム250であって、
図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、
図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
【0115】
図9Dを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、接眼レンズと見なされ得る。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステムはまた、1つ以上のマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
【0116】
図9Dを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80を固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子を固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成、ベルト結合式構成において)等、種々の構成で搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、両方とも、データの治療、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール140は、1つ以上の中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉された、および/またはb)可能性として処理または読出後にディスプレイ70への通過のための遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して取得および/または処理されたデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
【0117】
図9Dを継続して参照すると、いくつかの実施形態では、遠隔治療モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよく、例えば、1つ以上の中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。いくつかの実施形態では、遠隔データリポジトリ160は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール140および/または遠隔治療モジュール150に生成するための情報を提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つ以上のプロセッサ、1つ以上のコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。
【0118】
ここで
図9Eを参照すると、本明細書に説明されるディスプレイシステムは、データの収集および分析のために使用されてもよい。
図9Eは、種々の実施形態による、データの収集および分析のための例示的方法900を図示する。方法900は、ブロック910から開始し、予測モデルが生成される。予測モデルは、収集されるデータに基づいて結果を判定するための1つ以上の基準を含んでもよい。例えば、予測モデルは、ディスプレイシステムによって検出される、および/またはディスプレイシステムによって取得されるデータに基づいて判定され得る、1つ以上の基準または変数に基づいて、ユーザが、症状、状態、障害、または同等物を有するかどうかを判定するための1つ以上の方法を含んでもよい。予測モデルは、例えば、生理学的、神経的、および/または挙動データと症状または状態または同等物等の結果との間の相関を提供する公開された研究である、科学および/または医療文献等のソースに基づいて、生成されてもよい。概して、予測モデルは、分析されるべき規定された変数および変数の分析のための加重係数を含んでもよい。一実施例では、予測モデルは、鬱病の状態を検出するために生成されてもよい。鬱病に関連する既存の研究は、鬱病が、ある数、例えば、9つの識別された症状を有し、鬱病の診断が、特定の持続時間、例えば、少なくとも2週間にわたって、9つの症状のうちの別の特定の数、例えば、5つの存在に基づき得ることを示し得る。したがって、鬱病に関する予測モデルは、ユーザが、2以上の連続週にわたって、9つの識別された症状のうちの5つ以上のものを呈する(その一部または全部は、直接または間接的に、ディスプレイシステムの1つ以上のセンサによって検出可能であり得る)場合、ユーザが鬱病を有することの判定を提供し得る。予測モデルが生成された後、方法900は、ブロック920に進む。予測モデルの生成は、予測モデルをディスプレイシステムの中に提供またはプログラミングすることを含んでもよいことを理解されたい。例えば、予測モデルは、データ収集が開始する前に、ディスプレイシステムに事前にプログラムまたは別様に提供されてもよい。
【0119】
ブロック920では、データ基準が、予測モデルの評価のために、データの収集を制御および/または誘導するために判定される。例えば、データ基準は、予測モデルに基づいて信頼性のある結果をもたらすために十分なデータの量(例えば、データ点の数、データ収集の総時間等)を含んでもよい。一実施例では、分析のために収集されるべきデータの量は、最大10%タイプ1(偽陽性)誤差および最大10%タイプ2(偽陰性)誤差を伴うチャンスレベル(例えば、50%)より高い信頼性を伴って結果をもたらすために十分なデータ点の数であってもよい。いくつかの他の実施形態では、より大きい以上の小さい許容誤差が、特定の予測モデル内での結果の判定のための要件に基づいて許容可能であってもよい。データ基準はさらに、予測モデル内の特定の変数のための個々の量を規定し得る。概して、データ基準は、データが少なくとも1つのデータタイプに関して少なくとも1つの期間にわたって少なくとも1人のユーザに対して収集されるであろうことを規定し得る。いくつかの実施形態では、データ基準はさらに、付加的ユーザ(例えば、より大きいサンプルサイズを取得するため)、付加的データタイプ(例えば、複数のディスプレイシステムのセンサ等の異なるデータソースに基づいて)、および/以上の長い期間(例えば、より長い期間にわたる1人以上のユーザに関するデータ)を含んでもよい。データ基準のそのような拡張は、測定されるべきデータのタイプ、例えば、特定の生理学的または挙動現象に関するデータに基づいて、および/または生成されるべき結果のタイプ(例えば、状態の診断等)に基づいて、判定されてもよい。データ基準が判定された後、方法900は、ブロック930に進む。
【0120】
ブロック930では、データ収集が、データ基準に基づいて生じる。例えば、ディスプレイシステムは、データ基準に従ってデータを収集するように構成されてもよい。種々の実施形態では、少なくとも規定された数のデータ点が、収集されてもよい。いくつかの実施形態では、データ点は、データ基準を満たす少なくとも規定された期間にわたって、規則的または不規則的インターバルにおいて収集されることができる。いくつかの実施形態では、データ点は、ユーザがディスプレイデバイスを装着しているとき、持続的に収集される。加えて、いくつかの実施形態では、ある数または持続時間のデータが、少なくとも規定された数のユーザに関して収集されてもよい。十分なデータが、データ基準に基づいて収集された後、方法900は、ブロック940に進む。
【0121】
ブロック940では、収集されたデータが、予測モデルに基づいて分析される。概して、収集されたデータの分析は、予測モデル内で規定された分類、回帰モデル、または他の分析方法に基づいて、結果(例えば、クラスラベル、値、閾値、または同等物)を生成する。いくつかの実施形態では、収集されたデータの分析は、任意の既知の統計的分析方法(例えば、決定係数、カイ二乗、または他の統計的試験または分析方法)を含んでもよい。予測モデルに基づいて、ラベルが、分析の出力に適用されてもよい。例えば、ラベルは、症状または状態の1つ以上のカテゴリ化、特定の症状または状態が存在することの判定、または同等物を含んでもよい。収集されたデータが、分析された後、方法900は、データ分析の結果に基づいて、ブロック950および/またはブロック960に進み得る。
【0122】
ブロック950では、介入が、分析に基づいて行われる。例えば、データ分析の結果が、治療的または他の介入が実装されるべき、症状または状態の判定である場合、そのような介入が、分析に基づいて生じ得る。
【0123】
ブロック960では、予測モデルが、分析に基づいて更新される。例えば、分析の結果は、予測モデルのデータ基準および/または側面がモデルの正確度を向上させるために改訂されるべきであることを示し得る。いくつかの実施形態では、モデルの更新は、分析されるべき変数の変化、変数の相対的加重、収集されるべきデータの量、または同等物を含んでもよい。種々の実施形態では、ブロック950および960のいずれかまたは両方が、ブロック940の特定の分析の結果に基づいて実装されてもよい。ブロック950またはブロック960のいずれか後、方法900は、ブロック910に戻ってもよく、方法900は、さらなるユーザ健康分析および予測モデルの分析結果および更新の精緻化のために任意の回数繰り返されてもよい。
【0124】
実施例として、方法900は、鬱病の診断および/または治療の修正のために実装されてもよい。例えば、ブロック910の初期予測モデルは、鬱病の9つの識別された症状を含んでもよく、2以上の連続週にわたる9つの症状のうちの5つ以上のものの存在は、鬱病の診断を示す。初期予測モデルはさらに、ロジスティック回帰分析または他の統計的分析等の使用されるべき分析のタイプを含んでもよい。加えて、予測モデルは、入力データタイプ(例えば、眼追跡データまたは同等物)に基づいて、1つ以上の母集団亜群(例えば、パーキンソン病または他の群)を含んでもよい。ブロック920では、方法900は、分析を実施するために収集されるべきデータの量およびタイプを判定してもよい。例えば、データ基準は、1分、1時間、1日、1週間等あたりの規定されたデータ点の数を含んでもよく、さらに、データ点が、事前にプログラムされる予測モデルに基づいて、例えば、2週間以上の期間にわたって収集されるべきであることを含んでもよい。データ基準は、加えて、例えば、ディスプレイシステムの規定されたセンサに基づいて、収集されるべきデータ点の特定のタイプを含んでもよい。
【0125】
データは、次いで、ブロック930において、データ基準に従って収集されてもよい。例えば、ディスプレイシステムは、データ収集の量および/または期間がデータ基準を満たすまで、データの収集を開始してもよい。データが収集された後、データは、ブロック940において、予測モデルに基づいて、分析されてもよい。例えば、ディスプレイシステムは、本明細書に説明されるように、1つ以上の統計的分析を実施し、収集されたデータが、規定された信頼区間に対して、ユーザが2以上の週間の期間にわたって規定された鬱病症状のうちの5つ以上のものを有することを示すかどうかを判定してもよい。統計的分析の出力は、次いで、ユーザが鬱病を有するまたは鬱病を有していないと判定されたかどうかを示すようにラベル化されてもよい。治療的実装に関して、方法900は、ブロック950に進んでもよく、介入が、ラベル化された分析出力に基づいて開始される。例えば、介入は、医師を呼び出す、ディスプレイシステムを介してリアルタイム介入を実装する、鬱病の1つ以上の症状を緩和させる、ユーザに通知する、ログを作成すること、または同等物を含んでもよい。介入を開始後、方法900は、ブロック910に戻り、鬱病の症状の継続中の監視を継続してもよい。
【0126】
別の実施例では、方法900は、予測モデルにおけるインジケータの知識および/または予測方法の拡張(例えば、ディスプレイデバイスのアルゴリズムを改良する、データを集約する、および信頼性、正確度、および/または有効性を向上させるために予測モデルを更新する等)を改良するために実装されてもよい。1つ以上の初期予測モデルが、生成されてもよく、データ基準が、上記のブロック910および920の説明に準拠して生成されてもよい。データは、上記のブロック930および940に準拠して収集および分析され、分析出力を判定してもよい。データが分析された後、方法900は、ブロック960に進んでもよく、予測モデルは、ブロック940における分析の出力に基づいて、分析および/または改訂される。例えば、初期予測モデルが、評価され(例えば、統計的検出力分析または同等物に基づいて)、選択された変数が予測モデル内に含まれるべき正しい変数であるかどうか、任意の変数がモデルに追加および/またはそこから除去されるべきかどうか、各変数に与えられる加重が正しいかどうか等を判定してもよい。初期予測モデルへの改訂が識別された後、方法は、ブロック910に戻ってもよく、モデルは、改訂され、方法は、改訂されたモデルに準拠したさらなる分析のためにブロック920に進んでもよい。ブロック910−960の任意または組み合わせまたは全てが、ローカル処理モジュール(ユーザによって装着可能な少なくともメモリおよびハードウェアプロセッサを含んでもよい)内でローカルで実施されてもよく、および/または1つ以上のハードウェアプロセッサを含む遠隔処理モジュール(50、
図9D)内で実施されてもよいことを理解されたい。加えて、ブロック910−960の任意または組み合わせまたは全てを実施するための命令を備える、コンピュータプログラミングは、データモジュール内でローカルでおよび/または遠隔データリポジトリ(50、
図9D)内に記憶されてもよい。
【0127】
いくつかの実施形態では、システム60は、ユーザ監視、データ収集、診断、または療法等のために、遠近調節および輻輳・開散運動を操作してもよい。一実施例では、システム60は、適切な遠近調節および輻輳・開散運動を伴う視覚的コンテンツをユーザ90に表示してもよく、電気活動等の神経的応答(例えば、EEGによって測定される)、および/または血圧、呼吸数、散瞳/縮瞳、または他の徴候等の生理学的応答を含む、データを収集してもよい。加えて、または代替として、システム60は、より多いまたはより少ない遠近調節−輻輳・開散運動不整合を確立するように、ユーザ90に送達される視覚的コンテンツを操作してもよく、類似データを収集してもよい。いくつかの側面では、ユーザ90から収集される神経的および/または生理学的データ等のユーザ特有のデータは、故に、システム60およびディスプレイ70が適切な遠近調節および輻輳・開散運動を提供するかどうか、または長期装着快適性等のために、調節が視認者快適性を改良するために行われるべきかどうかを判定するために使用されてもよい。
【0128】
ここで、ユーザセンサ24、28、2030、32、および環境センサ34を備える、拡張現実ディスプレイシステムの種々のコンポーネントの実施例の概略図を示す、
図10を参照する。いくつかの実施形態では、拡張現実ディスプレイシステムは、複合現実ディスプレイシステムであってもよい。示されるように、ユーザセンサ24、28、2030、32は、ユーザの状態に関するデータを検出するように構成されてもよく、環境センサ34は、ユーザの外部のパラメータに関するデータを収集するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに送達される仮想コンテンツに関連する、および/またはそれを特徴付けるデータ(例えば、仮想コンテンツの時間、場所、色構成、音量等)を記憶するように構成されてもよい。
【0129】
ユーザセンサが、最初に、議論されるであろう。図示されるように、拡張現実ディスプレイシステム2010は、種々のユーザセンサを含んでもよい。拡張現実ディスプレイシステム2010は、
図9Dのシステム60に対応してもよく、視認者結像システム22を含んでもよい。システム22は、ユーザ(例えば、ユーザの眼2001、2002および/または周囲組織)に指向され、それを監視するように構成される、光源26(例えば、赤外線光源)とペアリングされる、カメラ24(例えば、赤外線、UV、他の非可視光、および/または可視光カメラ)を含んでもよい。これらのカメラ24および光源26は、ローカル処理モジュール70に動作可能に結合されてもよい。そのようなカメラ24は、個別の眼の瞳孔(瞳孔サイズを含む)、虹彩、または他の構造、および/または眼瞼または眉毛等の眼を囲繞する組織の配向、形状、および対称性のうちの1つ以上のものを監視するように構成されてもよい。
【0130】
いくつかの実施形態では、瞳孔、虹彩、および/または眼または眼球を囲繞する組織の結像が、種々の自律系機能を監視するために使用されてもよく、これは、神経応答を判定するために使用されてもよい。例えば、瞳孔の律動的拡張および収縮は、心臓の収縮および弛緩と相関され得る。故に、瞳孔の律動的拡張および収縮は、ユーザの心拍数の異常を監視および/または検出するために使用されてもよい。瞳孔の律動的拡張および収縮の期間(例えば、瞳孔の2つの連続拡張間の時間インターバル)および/または振幅(例えば、拡張と収縮との間の間隔)は、心拍数等の種々の自律的機能に相関され得る。システムのいくつかの実施形態は、ユーザの血圧および/または血管系の異常を監視および/または検出するように構成されてもよい。例えば、システムは、眼の背後の血圧によって生じる拍動の結果としてユーザの眼の光学軸と平行方向に沿って生じる、微細な角膜変位を感知および/または測定するように構成されてもよい。システムは、測定された微細な角膜変位値と正常血圧または血管機能を示す微細な角膜変位の1つ以上の値を比較するように構成されてもよい。ユーザの血圧および/またはユーザの血管機能の異常は、測定された微細な角膜変位値が正常血圧または血管機能を示す微細な角膜変位の1つ以上の値から逸脱する場合、検出され得る。
【0131】
いくつかの実施形態では、眼の虹彩および/または網膜の結像が、ユーザのセキュアな識別のために使用されてもよい。本明細書に議論されるように、眼に関連するもの等のユーザ特有のデータが、ユーザの挙動または感情状態を推測するために使用されてもよいことを理解されたい。例えば、拡開された眼は、衝撃を推測するために使用されてもよい、またはひそめられた眉は、困惑を推測するために使用され得る。さらに、ユーザの挙動または感情状態はさらに、収集された環境および仮想コンテンツデータを用いて三角測量され、挙動または感情状態、ユーザ特有のデータ、および環境または仮想コンテンツデータ間の関係を判定してもよい。例えば、システムは、それらが、顕著な顔挙動、表情、または微表情であるかどうかにかかわらず、例えば、ひそめられた眉等の顔筋および組織移動のあるパターンを認識するように構成されてもよく、これは、それ自体で、または可能性として、他の検出された生理学的および/または環境データと併せて、システムが新しい主題が教室内で教示されていることを検出する場合、環境内のユーザによる困惑を推測するためにシステムによって認識されてもよい。本推測は、有利には、生徒が教師または教示されている概念を理解していないことを示すことによって、授業を改良するための指導的補助として適用され得る。同様に、システムは、特に、環境センサが発砲等の高音雑音を検出する場合、拡開された眼がユーザにおける衝撃を示すものとして認識するように構成されてもよい。
【0132】
図10を継続して参照すると、カメラ24はさらに、中心窩または眼底の特徴等の網膜特徴の場所に基づく診断目的および/または配向追跡等のために、個別の眼の網膜を結像するように構成されてもよい。虹彩および網膜結像または走査は、例えば、ユーザデータと特定のユーザを正しく関連付けるために、および/またはプライベート情報を適切なユーザに提示するために、ユーザのセキュアな識別のために実施されてもよい。いくつかの実施形態では、カメラ24に加え、またはその代替として、1つ以上のカメラ28が、ユーザのステータスの種々の他の側面を検出および/または監視するように構成されてもよい。例えば、1つ以上のカメラ28は、内向きに面し、ユーザの眼以外の特徴の形状、位置、および/または移動、例えば、1つ以上の顔特徴(例えば、顔の表情、随意的移動、不随意的チック)、または疲労または病気の徴候としての皮膚蒼白等の他の特徴を監視するように構成されてもよい。別の実施例では、1つ以上のカメラ28は、下向きに面し、ユーザの腕、手、脚、足、および/または胴体の位置および/または移動を監視するように構成されてもよい。下向きに面したカメラおよび/または慣性測定ユニットは、身体姿勢またはボディランゲージを検出可能であってもよい、ユーザが、座っている、立っている、横になっている、または別の位置にあるかどうかを検出可能であってもよい、および/または速度、歩行異常、または他の情報を検出するように、ユーザが歩行または走行中、ユーザの歩行を監視可能であってもよい。さらなる実施例では、ディスプレイシステムは、下向きに面したカメラによって捕捉されたユーザの皮膚の画像を分析し、画像の画像分析を実施し、皮膚の視覚的観察から明白な種々の状態を判定するように構成されてもよい。例えば、画像は、増幅され(例えば、拡大および/または特定の色の強度が、増加されてもよい)、血流の可視化を可能にしてもよい。そのような可視化は、ユーザに拡張現実コンテンツとして提供されてもよい、または第三者または他のエンティティに提供されてもよい。別の実施例として、下向きに面したカメラは、例えば、皮膚の光学反射率に関する判定を行うことによって、皮膚の乾燥または湿潤を監視してもよく、より高い反射率は、増加された湿潤と相関される。いくつかの側面では、本明細書に説明される下向き、内向き、および/または外向きに面したカメラは、ユーザによって、および/またはシステム22によって電子的に調節可能であってもよい。例えば、外向きに面したカメラは、前方に向き、ユーザの視線を追跡するように構成されてもよく、また、回転させ、例えば、ユーザの視線に直交する画像を捕捉するように構成されてもよい。
【0133】
いくつかの実施形態では、本明細書に開示されるように、ディスプレイシステム2010は、ファイバスキャナ(例えば、画像投入デバイス200、202、204、206、208)を通して、光ビームをユーザの網膜を横断して可変に投影させ、画像を形成する、空間光変調器を含んでもよい。いくつかの実施形態では、ファイバスキャナは、カメラ28または28と併せて、またはその代わりに使用され、例えば、ユーザの眼を追跡または結像してもよい。例えば、光を出力するように構成される走査ファイバの代替として、またはそれに加え、健康システムは、別個の受光デバイスを有し、ユーザの眼から反射された光を受信し、その反射された光と関連付けられたデータを収集してもよい。いくつかの実施形態では、受光デバイスは、光を収集するように構成される、ファイバスキャナであってもよい。いくつかの構成は、画像を形成するために光を投影するように構成される、第1のファイバスキャナと、光を収集するように構成される、第2のファイバスキャナとを含んでもよい。さらに他の実施形態では、同一ファイバスキャナが、画像を形成するための光を提供することと、結像目的のために光を収集することの両方のために使用されてもよい。例えば、ファイバスキャナは、時間的に多重化された方式において、光を出力し、光を収集してもよく、光の出力および収集は、異なる時間に生じる。ファイバスキャナのファイバは、空間光変調器(光を出力するため)および光センサ(結像のための光を収集するため)に接続されてもよく、介在ビームスプリッタを、それぞれ、ファイバと空間光変調器と光センサとの間の光学パス内に伴う。
【0134】
図10を継続して参照すると、カメラ24、28および光源26は、フレーム64上に搭載されてもよく、これはまた、導波管スタック2005、2006を保持してもよい。いくつかの実施形態では、ディスプレイシステム2010のセンサおよび/または他の電子デバイス(例えば、カメラ24、28および光源26)は、通信リンク76、78を通して、ローカル処理およびデータモジュール2070と通信するように構成されてもよい。
【0135】
いくつかの実施形態では、ユーザに関するデータの提供に加え、カメラ24および28の一方または両方が、ユーザに提供される仮想コンテンツを制御するための手段として、片眼または両眼を追跡するために利用されてもよい。例えば、眼追跡システム22は、仮想メニュー上のアイテムを選択し、および/または他の入力をディスプレイシステム2010に提供するために利用されてもよい
【0136】
いくつかの実施形態では、ディスプレイシステム2010は、ユーザの生理学的および/または挙動側面を監視するように構成される、他のセンサおよび/または刺激装置2030を含んでもよい。例えば、そのようなセンサおよび/または刺激装置2030は、以下に記載のセンサのうちの1つ以上のものおよび/または加熱する、冷却する、振動を誘発する等のための変換器またはアクチュエータ等の刺激装置を含んでもよい。そのようなセンサ2030の実施例は、共焦点顕微鏡センサ、電気眼振記録(ENG)センサ、電気眼球図記録(EOG)センサ、網膜電図(ERG)センサ、レーザドップラー血流計(LDF)センサ、光音響結像および圧力読取センサ、2光子励起顕微鏡センサ、および/または超音波センサ等の眼科試験のために構成される、センサを含む。センサ2030の他の実施例は、心電図(ECG)センサ、脳波(EEG)センサ、筋電位(EMG)センサ、電気生理学試験(EP)センサ、事象関連電位(ERP)センサ、近赤外脳機能計測(fNIR)センサ、低解像度脳電磁波トモグラフィ(LORETA)センサ、および/または光コヒーレンストモグラフィ(OCT)センサ等の他の電気診断技術のために構成されるセンサを含む。センサ2030のさらに他の実施例は、血糖値計、血圧計、皮膚電位センサ、光電式容積脈波記録機器、コンピュータ支援聴診のための感知機器、および/または体温センサ等の付加的生理学的センサを含む。いくつかの実施形態では、ディスプレイシステム2010は、1つ以上の加速度計、ジャイロスコープ、ジェスチャセンサ、歩行センサ、平衡センサ、および/またはIMUセンサ等の運動センサ32を含んでもよい。センサ2030はまた、CO
2監視センサ、呼吸数センサ、呼気終末CO
2センサ、および/または呼気検知器を含んでもよい。センサ2030は、音と、検出された音の強度およびタイプ、複数の信号の存在、信号場所、音声、音声の語調、音声パターン、咀嚼、咳、呼吸、パルス、心臓音等を含む、それらの音の種々の性質とを検出するように構成される、1つ以上の内向きに指向される(ユーザに指向される)マイクロホンを含んでもよい。いくつかの側面では、センサ2030は、例えば、異なる食品の咀嚼を分析するために口に指向される、または心臓音を分析するために心臓に指向される、エコーロケーションを実施するように構成される、1つ以上のセンサを含んでもよい。
【0137】
センサ2030は、フレーム64に接続されるように図式的に図示される。本接続は、フレーム64への物理的取付の形態をとってもよく、ユーザの耳にわたって延在する、フレーム64のつるの端部を含む、フレーム64上の任意の場所であってもよいことを理解されたい。例えば、センサ2030は、フレーム64とユーザとの間の接触点における、フレーム64のつるの端部に搭載されてもよい。いくつかの他の実施形態では、センサ2030は、フレーム64から延在し、ユーザ60に接触してもよい。さらに他の実施形態では、センサ2030は、フレーム64に物理的に取り付けられなくてもよい。むしろ、センサ2030は、周辺センサ120a(
図9D)の形態をとってもよく、これは、フレーム64から離間されてもよい。周辺センサの実施例は、超音波プローブであって、これはまた、触知フィードバックを提供するために使用されてもよい。
【0138】
いくつかの実施形態では、ディスプレイシステム2010はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、1つ以上の環境センサ34を含んでもよい。例えば、環境センサ34は、1つ以上のカメラ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、熱結像センサ、タイミングデバイス(例えば、クロックまたはカレンダ)、またはその任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、複数の(例えば、2つの)マイクロホンが、離間して提供され、音信号場所判定を促進してもよい。例えば、音の放出および反射された音の後続検出は、エコーロケーション等の場所判定のために利用されてもよい。例えば、オブジェクトのサイズおよび/または場所は、飛行時間(音の放出と後続反射またはエコーの受信との間の時間経過)およびその放出された音の反射を受信する外部マイクロホンから判定された指向性情報と組み合わせられる、ユーザの場所から放出される音(例えば、ユーザが手を叩くことによって、および/またはディスプレイシステム2010上のスピーカからの音の放出によって)の検出に基づいて、判定されてもよい。オブジェクトとユーザとの間の距離は、経過時間の増加に伴って増加する一方、オブジェクトのサイズは、エコーの大きさまたは音量に伴って増加することを理解されたい。
【0139】
いくつかの実施形態では、ディスプレイシステム2010はさらに、GPS場所データ、天候データ、日付および時間、または他の利用可能な環境データ等の他の環境入力を受信するように構成されてもよく、これは、インターネット、衛星通信、または他の好適な有線または無線データ通信方法から受信されてもよい。処理モジュール2070は、花粉数、母集団統計、空気汚染、環境毒素、スマートサーモスタットからの情報、生活様式統計、または他のユーザ、建物、または保健医療プロバイダとの近接度等のユーザの場所を特徴付けるさらなる情報にアクセスするように構成されてもよい。いくつかの実施形態では、場所を特徴付ける情報は、クラウドベースまたは他の遠隔データベースを使用してアクセスされてもよい。処理モジュール2070は、そのようなデータを取得し、および/または環境センサの任意の1つまたは組み合わせからのデータをさらに分析するように構成されてもよい。例えば、処理モジュール2070は、外向きに面したカメラからの情報を使用して、ユーザが摂取する食品、薬物、栄養素、および毒素を識別および分析するように構成されてもよい。同様に、マイクロホンは、ユーザによる咀嚼を示す音を捕捉してもよく、プロセッサは、ユーザが食品を咀嚼していることを判定するように構成されてもよい。食事は、生理学的状態における種々の変化または療法計画の一部と関連付けられ得、したがって、食品摂取のタイミングは、種々の健康状態を診断および/または治療するとき、考慮すべき有用な変数であり得ることを理解されたい。本明細書でより詳細に説明されるであろうように、種々の環境センサからのデータおよび/またはユーザに送達される視覚的および/または聴覚的コンテンツを特徴付ける情報等の他の入力および本データに基づくさらなる分析は、上記に説明される生理学的センサからのデータと組み合わせられ、健康分析を行い、および/または療法を修正してもよい。データはまた、環境とユーザ特有のデータの関係に基づいて、ユーザの挙動および/または感情状態を判定するために使用されてもよい。
【0140】
ディスプレイシステム2010は、長時間にわたって、上記に説明されるセンサおよび/または入力のいずれかを通して取得されるデータを収集および記憶するように構成されてもよい。デバイスにおいて受信されたデータは、ローカル処理モジュール2070において、および/または遠隔で(例えば、遠隔処理モジュール72または遠隔データリポジトリ74において)処理および/または記憶されてもよい。いくつかの実施形態では、日付および時間、GPS場所、または他の大域的データ等の付加的データが、直接、ローカル処理モジュール2070において受信されてもよい。画像、他の視覚的コンテンツ、または聴覚的コンテンツ等のシステムによってユーザに送達されるコンテンツに関するデータは、同様に、ローカル処理モジュール2070において受信されてもよい。いくつかの実施形態では、個々のデータ点が、分析されてもよい。
【0141】
本明細書に開示されるように、ユーザおよび/または環境センサを組み込む、ディスプレイシステム2010は、有利には、健康状態(例えば、物理、挙動、または神経的)の検出および任意の健康評価の正確度を改良する、および/または療法を修正または調節することを含む、健康利点をユーザに提供し得るように、持続時間にわたって、および/またはデータを相互参照する能力とともに、種々のデータの収集を可能にし得る。加えて、長時間にわたるデータ収集は、デバイスのコスト、サイズ、および/または重量を低減させるように、より低い分解能または鋭敏さを伴う、センサ、結像、および/または他のデータ収集技術の使用を可能にし得、収集されたデータは、より低い分解能または鋭敏さの誤差、アーチファクト、雑音、または他の結果をフィルタリングするように分析される。いくつかの実施形態では、データは、数時間、数日、数週間、数ヶ月、または数年等の長時間にわたって、収集および分析されてもよく、ディスプレイシステム2010は、持続時間の25%を超えて、20%を超えて、15%を超えて、10%を超えて、または5%を超えて、デバイスを除去せずに、1日あたり、3時間以上、4時間以上、5時間以上、6時間以上の持続時間にわたって、または1日中、ユーザによって装着される。データ収集は、実質的に連続的である、例えば、期間全体にわたって規則的インターバルで生じてもよい。データ収集の持続時間にわたって、ディスプレイシステムのユーザは、一度に、3時間以上、4時間以上、5時間以上、6時間以上、または1日中以上の持続時間にわたって、システムを実質的に持続的に装着してもよい。これらの持続時間にわたって、ユーザは、好ましくは、関連持続時間の25%を超えて、20%を超えて、15%を超えて、10%を超えて、または5%を超えて、デバイスを取り外すことなく、システムを快適に装着可能である。
【0142】
いくつかの実施形態では、一連のデータ点は、前述の持続時間のうちの1つの過程にわたって、1つ以上のディスプレイシステム2010のセンサから収集される。例えば、ユーザセンサ24、28、2030、32および/または環境センサ34のうちの1つ以上のものは、ユーザがセンサを含有するディスプレイシステムを装着する間、データを実質的に持続的に収集するように構成されてもよい。システムは、加えて、ディスプレイシステムによってユーザに送達される視覚的および/または聴覚的コンテンツに関するデータを実質的に持続的に収集してもよい。好ましくは、データ収集は、関連持続時間の25%を超えて、20%を超えて、15%を超えて、10%を超えて、または5%を超えて、ユーザがデバイスを取り外すことなく、一度に、3時間以上、4時間以上、5時間以上、6時間以上、または1日中以上の持続時間にわたって、実施される。
【0143】
いくつかの実施形態では、2つ以上のセンサおよび/またはデータ入力ソースからのデータは、ディスプレイシステム2010の監視、診断、治療、および/または健康分析能力を改良するように相関されてもよい。いくつかのさらなる実施形態では、ユーザセンサ24、28、2030、32からのデータは、環境センサ34からのデータと相関され、ディスプレイシステム2010が、ユーザと実および/または拡張環境との間の相互作用の効果を監視することを可能にしてもよい。本相関は、挙動分析、診断または監視目的、および/または健康分析のために分析されてもよい。例えば、心拍数、血圧、または他のユーザ特有のデータ等のセンサデータは、環境センサからのデータと相関されてもよい。そのような環境データは、1日、複数日、以上の長い期間の過程にわたって、そのような生理学的パラメータのサイクルまたは傾向を追跡するように、時間および/または日付を含んでもよい。別の実施例として、外向きに面したおよび/または内向きに面したカメラは、食品アイテム等のオブジェクトを識別し、そのようなアイテムが消費されると、それを検出可能であってもよい。ディスプレイシステム2010は、並行して、装着者によって摂取された食品アイテムおよび血圧センサまたは血糖値モニタ等のユーザ特有のデータのための生理学的データソースを監視してもよい。システムは、食事と生理学的パラメータのうちの1つ以上のものの変動との間の相関を観察するために、食品のアイテムが消費された後、ある期間にわたって、血圧または血糖値データを分析してもよい。相関および分析は、システムからの応答をトリガし、例えば、ユーザにアラートする、別のユーザにアラートする、診断的試験を起動する、または他の対応アクションを行ってもよい。
【0144】
いくつかの実施形態では、上記に説明されるように組み合わせられたデータ点は、数分、数時間、数日、数ヶ月、以上の長い期間の過程にわたって、繰り返し観察され、多数のデータ点が分析されることを可能に、したがって、実際には、観察される環境要因と相関および/または因果的にリンクされる、ユーザ特有のデータと、観察される環境要因と単に偶発的に一致する、および/または未関連である、観察されるユーザ特有のデータとを識別するディスプレイシステム2010の能力を増加させてもよい。経時的データ収集はまた、以前のデータとの比較によって変化を識別する、または挙動傾向を識別する等のために、履歴分析を可能にし得る。
【0145】
ディスプレイシステム2010のいくつかの実施形態はさらに、複数のユーザおよびデバイス間のデータの共有を可能にし得る。上記に説明されるような長時間にわたる単一ユーザの監視と同様に、複数のユーザ間のデータの共有は、有意により大きいデータセットを提供し、診断および/または因果関係のより正確な判定を可能にし得る。データ共有を通して向上されたデータ分析のいくつかの例示的状況が、ここで説明されるであろう。
【0146】
いくつかの実施形態では、ユーザ特有のデータは、単一部屋、建物、車両、または画定された屋外空間、エリアコード、都市、州等を伴う、同一物理近傍内に位置するユーザ間で共有されてもよい。ユーザはそれぞれ、ディスプレイシステム2010を装着していてもよく、これは、場所センサ(例えば、GPS)に基づいて、および/または単に他のユーザとの利用可能な通信チャネルの存在を検出することによって、ユーザの共通場所を検出してもよい。ディスプレイシステム2010は、次いで、生理学的ユーザデータ(挙動データを含む)を収集し、および/またはその場所に関して前もって収集されたデータにアクセスしてもよい。データは、次いで、共有されてもよく、ディスプレイシステム2010は、収集されたユーザデータの比較を行うように構成されてもよい。例えば、共有データは、ローカルエリア内の複数のユーザが、疾患を有する、疾患の症状を同時に示し始めた、および/または症状を示す前に類似持続時間にわたって特定の場所に存在したことを示し得る。ユーザの母集団にわたるユーザデータ内の類似パターンは、次いで、例えば、流行性結膜炎を生じさせる伝染病、花粉、または他の状態等、因果要因がローカル環境内に存在することの判定を可能にし得る。さらに、データの共有は、ローカルエリア内の全てのユーザが、ローカルエリア内のユーザおよび/またはシステムのサブセットによってのみ検出可能な環境要因を認知することを可能にし得る。環境データの本共有は、有利には、ユーザによって収集される環境データのみが利用可能である場合に可能であり得るものより完全な環境の説明を提供する。本より完全な説明は、それによって、より正確な分析を促進し得る。例えば、犬が、ユーザの背後の部屋の中に歩いて行き得、犬は、ユーザのシステムの任意のカメラの視野外に居る場合、ユーザのシステムによって検出不可能となり得る。しかしながら、部屋内の別のユーザが、犬に対面し、第2のユーザのシステムが、犬を検出し、第1のユーザのシステムに、犬の存在をアラートすることを可能にし得る。そのような情報は、相関を引き出すためのより完全な環境データベースを形成し得る。例えば、犬の存在の知識は、環境変数(犬の存在)と犬アレルギー保持者によるアレルギーの発症の相関を促進し得る。別の実施例では、単一ユーザの異常が、他のユーザからの共有データに基づいて判定され得る。例えば、サーマルカメラが、近傍ユーザが熱を有するかどうかを判定するために使用されてもよい。システムが、具合の悪いユーザが熱を有する別のユーザと相互作用したことを判定する場合、システムは、病気の原因を判定し得る。さらに別の実施例では、共有データは、ユーザ間の履歴相互作用を分析するために使用されてもよい。例えば、多くの場合、あるユーザが、類似近傍内で相互作用した、またはそこに居た時間および頻度に関する情報が、例えば、ユーザに別のユーザと知り合った方法を思い出させるために、ユーザにストーカーが居るかどうかを判定するために、または履歴相互作用データの任意の他の分析のために使用されてもよい。
【0147】
いくつかの実施形態では、収集されたユーザデータは、特に、ユーザデータがそのユーザに関する基準から外れている状況において、通知の目的のために、他者と共有されてもよい。例えば、同一公共空間内の複数のデバイスユーザが、異常EEGまたは血圧読取値を記録し始める、マイクロホンにおいて高音を記録する、外向きに面したカメラにおいて高強度の点滅を視認する、または全員の瞳孔が同一または類似時間において急速に拡張した場合、警察および/または緊急医療対応者等の当局は、アラートされてもよい(例えば、その場所に到着するため、および/またはその場所のカメラフィードを視認するため)。母集団間のそのような反応は、緊急応答を要求する、緊急状況を示し得る。さらに別の実施例では、ローカル運転エリア内の複数のデバイス装着運転手が、高血圧またはEEG活動の増加等の異常読取値を呈し始めることが検出され得る。次いで、交通渋滞が存在することが判定され得、そのエリアに接近する他のユーザは、アラートされ得る。複数のユーザ間のデータの共有およびユーザ間の類似するユーザ特有のデータの検出は、類似環境刺激が存在する(例えば、緊急状況または交通渋滞)ことを確認し得ることを理解されたい。また、所与のエリア内の若干異なる場所における異なるユーザ間の類似タイプのデータへのアクセスは、刺激の具体的場所を正確に示すことに役立ち得ることを理解されたい。例えば、発砲等の高音雑音の場所が、ユーザによって装着されるディスプレイデバイス上のマイクロホン34によって検出された雑音の相対的レベルを比較することによって判定され得る。別の実施例では、そのようなイベントの場所は、象限方位線(LOB)計算に基づいて判定されてもよい。例えば、何人かの分散ユーザがそれぞれ、その頭部を音または視覚的刺激源に向けて見ている場合、その地理的位置、方位角、および高度が、計算され得、そこから、象限方位線が、場所を三角測量するために使用され得る。加えて、システムのユーザセンサは、環境刺激に最近傍のユーザが、依然として、衝撃または他の結果として生じる影響を被っている、事件から逃げている、および/または事件に関連する他の感情を被っているかどうかを判定するために使用されてもよい。
【0148】
データはまた、ユーザ全員が同時に存在しなかった場合でも、レストランまたは公共イベント会場等の画定された場所を訪問しているユーザ間で共有されてもよい。例えば、何人かのユーザが、レストランを異なる時間に訪問した後、病気になり、類似生理学的症状を呈する場合、病気の症状を示すその類似するユーザ特有のデータが、組み合わせられ、レストランが病気の原因であったことを判定し得る。そのような判定は、低血液酸素または他の生理学的症状の単一検出が環境要因以外の要因に起因し得るため、複数のユーザ間のデータの相関がなければ、達成することがはるかに困難または不可能であり得る。別の実施例では、複数のユーザ間のデータ共有は、健康問題を有するユーザへの医療応答を促進し得る。ローカルの個々のユーザが、健康問題を有し得、したがって、本質医療処置に必須のユーザの突然の健康問題の性質および/または他の状態材料を通信不能であり得る。近傍の別のユーザが、その状況について通知され、第1のユーザの場所に行くように指示され得る。共有データが、第2のユーザのディスプレイシステムを通して第2のユーザに提供され得、第2のユーザは、次いで、現場に居る緊急対応者に提供し得る(例えば、薬に対するアレルギー、エピネフリン注射の必要性、血糖値、血圧等)。緊急対応者の不在下では、二次ユーザのディスプレイシステムは、二次ユーザに、補助を与えるためのアクションに関して指示してもよい。例えば、二次ユーザは、911に電話するように命令されてもよく、および/またはディスプレイシステムによってCPRを実施する方法を命令されてもよい。
【0149】
いくつかの実施形態では、システム600、2010(
図12、10)は、システム600、2010の一次ユーザおよび/または装着者以外の人物の健康ステータスを判定するように構成されてもよい。種々の実施形態では、一次ユーザ以外の人物は、類似システム600、2010のユーザであってもよい、またはそうではなくてもよい。他の人物もまた、類似システム600、2010のユーザである場合、他のユーザによって装着されるシステム600、2010から収集されるデータが、例えば、これらの他のシステムが、有利には、異なるユーザのビューを提供し得るため、一次ユーザのシステム600、2010によって収集されるデータと相関され、他のユーザの健康ステータスの追跡および/または分析を改良し得る。ディスプレイシステムはさらに、ヒトの解剖学、生理学、時間−場所相関、または個人的共有情報の観察および/または知識に基づいて、別の人物の健康ステータスを判定するように構成されてもよい。診断的および治療的機能が、ユーザのディスプレイシステムによって、拡張現実および/または仮想現実コンテンツ、誘導画像および/またはオーディオ、眼追跡、時間、顔認識センサおよびアルゴリズム、ボディランゲージ検出、および/または1つ以上のマイクロホンを使用して、および/またはそれに基づいて、投与されてもよい。
【0150】
いくつかの実施形態は、臨床医等の二次ユーザによって装着され、患者の評価を向上させるように構成される、ディスプレイシステム2010を含んでもよい。一実施例では、臨床医は、歩いている患者を観察し、患者の歩行を評価してもよい。臨床医によって装着されるディスプレイシステム2010は、患者の監視から取得されるデータに基づいて、臨床医の患者のビューを付加的コンテンツで拡張させてもよい。例えば、コンテンツは、脚部の分離、内股/ガニ股歩行、左右揺れ、または他の歩行変数等の患者の歩行の側面を描写する複数の深度平面における3Dコンテンツであってもよい。いくつかの側面では、ディスプレイシステムは、例えば、頭部姿勢センサ、加速度計、慣性測定ユニット、または同等物によって測定された頭部の上下または正弦波移動および/または浮き沈み等の頭部運動を含み得る、歩行変数を示すように構成されてもよい。いくつかの実施形態では、これらの変数は、付加的拡張現実仮想コンテンツとして、患者の歩行のビューとともに図式的に提示されてもよい。有利には、複数の深度平面に関する情報を表示するディスプレイシステムの能力は、ユーザの単純側面ビュー(ユーザの歩行を含む)から利用可能となるであろうものより多くの情報が臨床医に提供されることを可能にする。いくつかの実施形態では、臨床医によって装着されるディスプレイシステム2010は、患者のビューのみを提供する。同様に、別の実施例では、ユーザの頭部姿勢についてのより多くの情報は、臨床医によって装着されるディスプレイシステム2010によって、複数の深度平面を横断してその情報を表示する能力に対して提供されてもよい。いくつかの実施形態では、患者の頭部姿勢の検出は、命令が患者によって理解されたかどうかを臨床医に示すために使用されてもよい。さらに別の実施例では、ディスプレイシステム2010は、臨床医に、脳卒中患者の運動回復度の評価を示してもよい。本評価は、ベクトル計算を行い、患者が実施可能な移動量を判定することを含んでもよい。例えば、臨床医によって装着されるディスプレイシステム2010は、臨床医のディスプレイシステム2010の1つ以上のカメラまたは他のセンサから、患者によって装着される別のディスプレイシステム2010の1つ以上のセンサから、または複数のソースからのデータの組み合わせから、データをを取得し、患者の運動範囲を判定してもよい。加えて、臨床医のディスプレイシステム2010に表示される任意のコンテンツは、加えて、または代替として、患者によって装着されるディスプレイシステム2010に表示されてもよい。
【0151】
いくつかの実施形態では、ディスプレイシステム2010は、フィードバックおよび/または介入修正をユーザに提供するように構成されてもよい。本明細書で使用されるように、バイオフィードバックは、ユーザセンサ(例えば、カメラ24および28、内部センサ2030、運動センサ32)および/または環境センサ34からのデータに基づいて、ディスプレイシステム2010のユーザに送達される任意のタイプのコンテンツおよび/または刺激の修正を含んでもよい。バイオフィードバックは、任意のカメラまたはセンサにおいて受信された特定の未加工データによって、またはそのようなデータのさらなる分析の結果(例えば、生理学的パラメータにおける異常傾向、外向きに面したカメラからの画像に基づいて検出されたオブジェクト、ユーザ特有のデータに基づく医療診断、不安障害定、加速、反復的、または別様に普通ではないアクション、または環境要因に相関され得るユーザセンサによって判定された挙動)によってトリガされてもよい。バイオフィードバックは、リアルタイムまたはほぼリアルタイムで、提供されてもよい、または以前に記録および分析されたデータに基づいて、後に提供されてもよい。いくつかのバイオフィードバックは、ユーザがバイオフィードバックを認知し得るように送達されてもよい(例えば、視覚的にまたは音通信によって提供される命令、ユーザの生理学的データ、例えば、心拍数または血圧を示す画像)、またはユーザの認知を伴わずに送達されてもよい(例えば、画像の明るさを調節する、または治療計画を改変する)。バイオフィードバックのいくつかの実施例が、ここで説明されるであろう。
【0152】
バイオフィードバックの一実施例では、ユーザは、物理的療法の目的のために、ディスプレイシステム2010を装着してもよい。ディスプレイシステム2010は、毎週、毎日、または1日あたり複数回、または別の好適な頻度で、物理的療法ルーチンを通してユーザを誘導してもよい。いくつかの実施形態では、物理的療法ルーチンのための命令は、拡張現実システム内に表示される命令を通して、または可聴命令を通して提供されてもよい。例えば、ディスプレイシステム2010は、物理的療法オブジェクトを示し、ユーザに、オブジェクトを取り上げる、または移動させる等のアクション、または他の物理的療法関連タスク完了するように命令するように構成される、拡張現実システムであってもよい。ユーザの命令されたタスクの完了成功または不能および任意の関連付けられた生理学的徴候は、本明細書に説明されるように、ユーザセンサおよび/またはカメラによって検出され、ユーザの物理的療法進行度を追跡するために分析されてもよい。強度または他の健康基準の検出された改良に応答して、ディスプレイシステム2010は、強度、長さ、困難度を増加または減少させる、または別様に物理的療法ルーチンを改変し、ユーザの変化する必要性を満たすことによって、バイオフィードバックを提供してもよい。例えば、ユーザの生理学的測定(例えば、心拍数および/または血圧)が、所望のレベルを下回る場合、ディスプレイシステム2010は、物理的療法ルーチンの強度を増加させるように構成されてもよい。逆に言えば、ユーザの心拍数が、所定の閾値を超える場合、ディスプレイ2010は、物理的療法ルーチンの強度を減少させるように構成されてもよい。いくつかの実施形態では、ディスプレイシステム2010は、ユーザの物理的療法タスクの完了不能を検出すると(例えば、下向きに面したカメラ28を使用し、ユーザが特定の姿勢をとる、または特定の歩行で移動することが不可能であることを判定することによって)、ユーザの健康が改良するまで、異なる(例えば、より容易な)タスクで代用してもよい。ユーザの進行度に関するデータは、治療または療法計画と併せて記憶および追跡されてもよい。
【0153】
バイオフィードバックの別の実施例では、ディスプレイシステム2010は、再発する徴候または慢性的病気の症状を検出し、対応治療または命令を提供し、徴候または症状を管理するように構成されてもよい。例えば、ユーザは、断続する不随意的振戦を生じさせ得る、パーキンソン病と診断され得る。ユーザのディスプレイシステム2010は、下向きに面したカメラ28から取得される画像の分析等によって、ユーザが振戦を被っているときを検出するように構成されてもよい。振戦が検出されると、ディスプレイシステム2010は、その入力をEEGまたは不安障害定な追従視等の他の感覚データを三角測量するように構成されてもよく、さらに、光の点滅、経頭蓋直接電流刺激(tDCS)を介した電気刺激、経頭蓋磁気刺激(TMS)を介した磁気刺激、または検出された振戦を少なくとも一時的に停止または低減させることを試みるための他の刺激を提供するように構成されてもよい。
【0154】
同様に、ユーザは、癲癇または種々の他の状態のいずれかに起因して、発作を受けやすくあり得る。いくつかの実施形態では、ディスプレイシステム2010は、明るい光の点滅または格子模様パターン等の診断的機能をユーザに実施し、深度平面を通してコンテンツおよび/または運動を操作し、または3D音を操作し、発作を刺激し、誘起刺激を判定してもよい。ディスプレイシステム2010は、次いで、将来、誘起刺激の発生を認識し得、治療的コンテンツを提供し、発作を防止、緩和、または回避し得る(例えば、発作を防止し得る、白色雑音、白色光、または他のコンテンツ)。本コンテンツは、適切な遠近調節および輻輳・開散運動整合を提供しながら、1つ以上の深度平面上に提供され、長期ユーザ視認快適性を可能にし得ることを理解されたい。
【0155】
いくつかの実施形態では、コンテンツは、瞑想および/または誘導される画像および/または音療法を促進してもよく、ユーザを概して落ち着かせるために利用され、必ずしも、発作を防止しなくてもよい。例えば、ディスプレイシステム2010は、高音雑音または明るい光が、外傷後ストレス障害(PTSD)を患う患者に望ましくない反応を誘起することを判定し得る。本反応は、眼の拡張、発汗、絶叫、または他のPTSD徴候または症状を含み得る。ディスプレイシステム2010は、判定された誘起刺激に応答して、脱感作療法を提供してもよく、長時間にわたって、患者の症状および誘起刺激に対する応答を監視し、療法の過程にわたる患者の進行度を判定してもよい。
【0156】
ここで
図11を参照すると、健康分析のために、ユーザデータと外部環境データを相関させる例示的方法が、ここで説明されるであろう。
図11に図示される方法1110は、本明細書のいずれかに説明されるウェアラブルディスプレイシステムのいずれかを使用して実施されてもよい。例えば、
図10に描写されるディスプレイシステム2010が、方法1110を実施するように構成されてもよい。
【0157】
方法1110は、ブロック1120から開始し得、イベント、時間、またはオブジェクト(仮想または実オブジェクトのいずれか)等の外部刺激(ユーザの外部から)が、検出される。いくつかの実施形態では、環境(例えば、場所、温度、速度等)が、コンテキスト学習のための外部刺激のより高速のおよび/またはより正確な処理のために、外部刺激を予期する準備ができているように、ブロック1120の前に監視されてもよい。外部刺激は、上記の
図10を参照して説明される環境センサまたはデータ入力のいずれかによって検出されてもよい。例えば、外向きに面したカメラから取得される画像の画像分析が、ユーザがチーズバーガー等の高塩分および/または飽和脂肪酸の食事をしていることを検出し得る。本明細書に説明されるように、環境センサにおいて受信されたデータの分析は、ローカル処理モジュールまたは遠隔で生じてもよい。外部刺激が検出および識別されると、方法1110は、ブロック1130に進んでもよい。
【0158】
ブロック130では、ユーザ特有のデータが、検出された外部刺激に続いて監視される。いくつかの実施形態では、ユーザは、コンテキスト学習のためのユーザの特有のデータのより高速のおよび/またはより正確な処理のために、ユーザ特有のデータおよび/または変化を予期する準備ができているように、ブロック130の前に監視されてもよい。いくつかの実施形態では、方法は、ブロック1130から開始してもよい。すなわち、収集されたユーザ特有のデータが、外部刺激の必要なく、方法1110の開始をトリガし得る。ユーザ特有のデータは、上記の
図10を参照して説明される種々の内向きに面したカメラまたは他のユーザセンサのいずれかから取得されてもよい。ユーザが不健康な食事を消費したことが判定される、例示的プロセスでは、システムは、心拍数、血圧、皮膚蒼白、または他のパラメータ等のユーザの生理学的パラメータを監視してもよい。いくつかの実施形態では、システムは、検出された外部刺激に続いて、数分、数時間、またはさらに数日にわたって、そのようなパラメータを追跡してもよい。例えば、システムは、食事に関連する生理学的パラメータの変化を検出する確率を増加させるように、食事に続いて、数時間にわたって、ユーザの血圧を持続的に追跡し得る。方法1110は、次いで、ブロック1140に進んでもよい。
【0159】
ブロック1140では、システムは、監視されている1つ以上の生理学的パラメータの変化を検出し得る。例えば、上記に説明される不健康な食事シナリオでは、システムは、不健康な食事のユーザの消費に続いて、数分または数時間以内に血圧の上昇を検出し得る。システムはまた、心拍数の増加等の付加的生理学的変化を検出し得る。生理学的パラメータの変化が検出される場合、システムは、その変化を観察される外部刺激と関連付けて記録してもよい。例えば、システムは、チーズバーガーの消費と関連付けられた血圧の上昇を記録してもよい。
【0160】
本明細書に説明される関連付けに関する単一データ点またはさらにいくつかのデータ点は、あるタイプの外部刺激と検出された生理学的変化との間の相関を確立するために十分ではない場合があることを理解されたい。しかしながら、システムは、類似外部刺激と、数日、数週間、数ヶ月、またはさらに数年等の長時間にわたって収集される観察されたユーザ特有のデータを相関させ続けてもよい。いくつかの実施形態では、システムは、各データ点を記憶し、以前のデータ点を呼び出し、パターン、傾向、または同等物を識別するように構成されてもよい。加えて、プロセスは、予測的であってもよい。例えば、システムは、例えば、十分なデータが統計的有意性を達成するために収集される前にでも、傾向を示唆するデータに基づいて、可能性として考えられる傾向を仮説として識別してもよい。システムは、次いで、将来的データ点を使用して、仮説を確認または反証してもよい。データ内の深刻な異常は、例えば、心臓発作または脳卒中の場合、直接アラートを生じさせてもよい。したがって、ディスプレイシステム2010は、類似外部刺激が検出される度に、方法1110を経るように構成されてもよい。例えば、方法1110は、システム2010がユーザが食事を消費していることを検出する度に、上記に説明されるように、ブロック1120、1130、および1140を繰り返してもよい。長時間にわたって、ユーザは、統計的分析のための有用なデータセットを提供するために十分な回数の健康および/または不健康な食事(例えば、高塩分および/または飽和脂肪酸の食事)をとり得る。いったん十分なデータ点が記録されると、方法1110は、ブロック1150に進んでもよい。
【0161】
ブロック1150では、方法1110は、類似または同じ外部刺激と関連付けられた1つ以上の生理学的パラメータの繰り返される変化を識別し得る。例えば、ユーザは、数週間または数ヶ月の過程にわたって、複数回の不健康な食事をとり得る。上記に説明される分析の完了後、ユーザが大部分または全てのそのような不健康な食事の消費に続いて、血圧上昇を呈することが観察され得る。いくつかの実施形態では、方法は、ユーザの血圧が食事に続いて上昇するかどうかのインジケーションとともに、不健康な食事消費の各再発を記録してもよい。データは、血糖値、ECG、心拍数、または他のデータ等の他の感覚データと三角測量されてもよい。そのようなデータは、後の分析のために、データベースにローカルまたは遠隔で(例えば、ローカルデータ処理モジュール2070、遠隔処理モジュール72、および/または遠隔データリポジトリ74内に)記録されてもよい。信頼性のある統計的分析を可能にするための十分に大データセットが記録されると、方法1110は、次いで、ブロック1160に進んでもよい。
【0162】
ブロック1160では、相関データセットが、分析され、観察される外部刺激と観察される生理学的変化との間の相関を判定する。種々の公知の推測統計的分析方法のいずれかが、外部刺激および生理学的変化が相関および/または因果的に関連するかどうかを判定するために適用されてもよいことを理解されたい。いくつかの実施形態では、挙動または感情応答もまた、生理学的変化およびユーザセンサから判定されてもよく、次いで、挙動または感情応答が外部刺激および環境要因に相関および/または因果的に関連または非関連であるかどうか判定されてもよい。種々の統計的分析では、外れデータ点は、除外されてもよい。例えば、ユーザの血圧が、全ての不健康な食事に続いて、または不健康な食事の大部分に続いて上昇することが観察された場合、不健康な食事が血圧上昇と相関されることが判定され得る。ある場合には、統計的分析が、外部刺激が観察される生理学的変化の原因ではないことを示し得る。種々の実施形態では、両結果が、ユーザの医療診断、監視、および/または治療の目的のための有用な情報を提供し得る。例えば、ブロック1170では、相関分析の結果は、健康状態に関する診断を行うための精査および/またはさらなる分析および/または望ましくない健康状態に対処するための治療的プロトコルの開発のために、医療従事者に転送されてもよい。他の実施例では、ユーザは、通知されてもよく、自動化された試験が、実施されてもよく、別のユーザが、アラートされてもよく、および/または他のアクションが、判定された相関に基づいて行われてもよい。いくつかの他の実施形態では、ディスプレイシステム2010は、診断を行う、またはディスプレイシステム2010によって見出される特定のデータによって示される潜在的健康状態のリストを提供するように構成されてもよい
【0163】
いくつかの実施形態では、方法は、バイオフィードバックをユーザに提供することによって継続してもよい。例えば、システムは、ブロック1120またはブロック1130に戻り、例えば、
図10を参照して説明されるバイオフィードバック方法に従って、種々の仮想外部刺激のいずれかを提供してもよい。
【0164】
いくつかの実施形態では、ブロック1120、1130、1140の順序は、改変されてもよい。例えば、ブロック1130は、ブロック1120の前にまたはそれと同時に行われてもよい。また、いくつかの実施形態では、ブロック1140および1150のうちの1つ以上のものは、省略されてもよい。例えば、ディスプレイシステム2010は、ユーザ特有のデータおよび環境データ毎に、単一測定を使用して、ユーザ特有のデータと環境データとの間の相関を判定するように構成されてもよい。いくつかの実施形態では、ブロック1120は、省略されてもよく、方法1110は、ブロック1120から開始してもよい。すなわち、収集されたユーザ特有のデータが、検出された外部刺激の必要なく、方法1110の開始をトリガし得る。
【0165】
いくつかの実施形態では、外部刺激は、単に、環境データの測定であってもよい。いくつかの他の実施形態では、外部刺激は、ディスプレイシステム2010によってユーザに投影される、画像コンテンツであってもよい。例えば、外部刺激は、特定の応答をユーザに生じさせるために投影される、画像であってもよい(例えば、仮想クモが、クモ恐怖症を有するユーザの恐怖を引き起こすために投影されてもよい)。ユーザセンサは、次いで、予期される不随意的生理学的応答(例えば、恐怖を示す散瞳または発汗)または挙動的応答とも見なされ得る随意的応答(例えば、恐怖を示す絶叫または悲鳴)が生じるかどうかを検出し、および/または予期される応答からの逸脱の範囲を判定してもよい。
【0166】
図11を継続して参照すると、本明細書に説明されるように、ディスプレイシステム2010は、ユーザの遠近調節および輻輳・開散運動の個々の操作を可能にし、これは、ユーザの生理学的/神経的変化を生じさせるために使用されてもよい。本明細書に議論されるように、ブロック1120では、ディスプレイシステム2010は、適切な生理学的に正しい遠近調節/輻輳・開散運動整合を有する、画像をユーザに表示するように構成されてもよい。いくつかの他の実施形態では、ディスプレイシステム2010は、ブロック1120において、不整合遠近調節および輻輳・開散運動整合を提供するように構成されてもよい。例えば、ディスプレイシステム2010は、特定の画像コンテンツのための深度平面を切り替え、それによって、画像コンテンツを適切な遠近調節/輻輳・開散運動整合を提供するであろう深度平面と異なる深度平面上に表示するように構成されてもよい。したがって、システムは、より多いまたはより少ない遠近調節−輻輳・開散運動不整合を確立するように、ユーザに提供される視覚的コンテンツを操作してもよい。いくつかの実施形態では、遠近調節−輻輳・開散運動不整合は、約0.25ジオプタ以上、約0.33ジオプタ以上、または約0.5ジオプタまたはそれを上回ってもよい。適切または不適切な遠近調節/輻輳・開散運動整合が、ブロック1130においてディスプレイシステムによって提供されるかどうかにかかわらず、ディスプレイシステム2010は、電気活動(例えば、EEGによって測定される)等の神経的応答、および/または血圧、呼吸数、散瞳/縮瞳等の生理学的応答を含む、種々のタイプのユーザデータを収集するように構成されてもよい。その結果、ユーザの種々の神経的および/または生理学的パラメータの変化が、不適切な遠近調節および輻輳・開散運動整合を有する拡張現実コンテンツの提示に起因して、ブロック1140において観察され得る。
【0167】
ディスプレイシステム2010は、種々の方法のいずれかを使用して、適切(整合)または不適切な(不整合)遠近調節/輻輳・開散運動整合を達成してもよい。遠近調節/輻輳・開散運動整合は、例えば、各眼に表示される画像を形成するための光の波面発散と、装着者の眼のそれぞれに表示される画像内の仮想オブジェクトの場所とに依存し得る。いくつかの実施形態では、ディスプレイシステム2010は、1つ以上のデータベース、ルックアップテーブル、または同等物に基づいて、波面発散と画像場所の組み合わせを選択してもよい。例えば、ローカルまたは遠隔データベースは、種々の深度平面毎に、特定の定義された量の波面発散と、適切な遠近調節/輻輳・開散運動整合に対応する1つ以上の画像表示場所および/または任意の数のあまり適切ではない遠近調節/輻輳・開散運動整合に対応する1つ以上の画像表示場所とを示す、情報を含んでもよい。いくつかの実施形態では、ディスプレイシステム2010は、1つ以上の所定の数学的関係を適用し、ディスプレイによって提供される画像内の仮想コンテンツのための1つ以上の適切な場所を判定し、例えば、より多いまたはより少ない適切な遠近調節/輻輳・開散運動整合を提供するように構成されてもよい。種々の実施形態では、ディスプレイシステム2010は、仮想コンテンツのための所定の所望の深度平面に基づいて、データベースおよび/または数学的関係を使用して、画像内の仮想コンテンツの場所および/または出力される光の波面発散を判定するように構成されてもよい。
【0168】
同様に、ディスプレイシステム2010は、ユーザの前庭系の個々の操作を可能にし得る。例えば、ブロック1120では、ディスプレイシステム2010は、実世界水平に準拠する水平等の適切な前庭キューを有する、画像をユーザに表示するように構成されてもよい。ディスプレイシステム2010はさらに、ブロック1120において、傾斜または垂直偏移水平または他の非一貫視覚的コンテンツ等の不適切な前庭キューを提供するように構成されてもよい。適切または不適切な前庭キューがブロック1130においてディスプレイシステム2010によって提供されるかどうかにかかわらず、ディスプレイシステム2010は、電気活動等の神経的応答および/または血圧、呼吸数、散瞳/縮瞳等の生理学的応答を含む、種々のタイプのユーザデータを収集するように構成されてもよい。その結果、ユーザの種々の神経的および/または生理学的パラメータの変化が、不適切な前庭キューを有する拡張現実コンテンツの提示に起因して、ブロック1140において観察され得る。種々の実施形態では、前庭キューの操作は、浮動性目眩、回転性目眩、または前庭動眼系に影響を及ぼす他の状態に関連する診断的および/または治療的用途のために使用されてもよい。いくつかの実施形態では、固有受容キューおよび/または視聴覚キュー(例えば、時間的にまたは空間的に操作される視聴覚キュー)の操作も同様に、使用されてもよい。
【0169】
いくつかの実施形態では、ディスプレイシステム2010は、適切な遠近調節および輻輳・開散運動をユーザに提供しながら、拡張現実コンテンツが複数の深度平面を横断して表示される、オーディオストロボ機能性を提供するように構成されてもよい。いくつかの実施形態では、拡張現実コンテンツは、ユーザが全体野効果を被ることを促進するように選択される。本明細書に議論されるように、適切な遠近調節および輻輳・開散運動整合を提供する能力は、ディスプレイシステム2010の長期装着を可能にする。
【0170】
ここで、本明細書に開示されるディスプレイシステムを使用した診断および/または治療のために構成される健康システム600を図式的に図示する、
図12を参照する。好ましくは、健康システムは、診断および/または治療および長期かつリアルタイムな監視が可能である。概して、遠隔健康システム600は、データ収集部分610と、データ分析部分630とを含む。システム600は、包含的ユーザおよび環境要因データベースを構築するため、履歴分析のため、挙動傾向のため、健康目的のため、診断、治療、および/または治療目的のため、および/または他の目的のために使用されてもよい。
【0171】
システム600は、ユーザ602によって装着されるように構成される、拡張現実(AR)デバイス608を含んでもよい。好ましくは、ARデバイス608は、ディスプレイデバイス2010(
図10)であって、アルゴリズムを含む、種々のコンピュータプログラムが、ローカル処理およびデータモジュール140、遠隔処理モジュール150、および遠隔データリポジトリ160(
図9D)のうちの1つ以上のもの内に記憶されてもよい。ARデバイス608のアルゴリズムおよび技術612は、コンテンツ614をユーザ602に送達するように構成されてもよい。コンテンツ614は、本明細書のいずれかに説明されるように、例えば、
図11を参照して説明されるように、外部刺激として、視覚的に、聴覚的に、または別様に送達されてもよい。ARデバイス608のアルゴリズムおよび技術612はさらに、環境センサ616および/またはARデバイス608の身体センサおよびアルゴリズム618からデータを受信してもよい。環境センサ616は、例えば、
図11を参照して説明されるように、環境データをユーザ602の周囲の環境604から検出し、外部刺激を示してもよい。環境センサ616および/または身体センサおよびアルゴリズム618は、それぞれ、環境センサ34およびユーザセンサ24、28、2030、32(
図10)に対応してもよい。身体センサおよびアルゴリズム618は、
図11を参照して説明されるように、ユーザ特有のデータを監視するため等、ユーザ602によって呈された生理学的応答620および/または挙動的応答622の入力を受信してもよい。生理学的応答620および挙動的応答622は、随意的または不随意的であってもよいことを理解されたい。アルゴリズムおよび技術612はさらに、診断的材料および/または治療606の入力を受信してもよい。例えば、診断的材料および治療606は、所定の診断的試験、所定または事前に規定された医療処置計画またはプロシージャ、または診断的および/または治療目的のためにARデバイス608のアルゴリズムおよび技術612に提供される任意の他の命令またはデータ等の情報を含んでもよい。
【0172】
いくつかの実施形態では、環境センサ616および身体センサおよびアルゴリズム618からのデータは、
図11におけるブロック160を参照して説明されるように、診断または治療の目的のために分析されてもよい。分析は、ARデバイス608においてローカルで生じてもよい、またはセンサ616および618からのデータは、分析のために、サーバまたは他の処理回路(例えば、
図9Dの遠隔処理モジュール140または遠隔データリポジトリ160)等の遠隔デバイスに伝送されてもよい。伝送は、例えば、有線または無線通信システムによって遂行されてもよい。環境センサ616および身体センサおよびアルゴリズム618は、データをデータベース632に伝送してもよく、そこで、データは、分析および/または記憶されてもよい。データベース632は、医療記録634のデータベースからのユーザ602に関する付加的データにアクセスしてもよい。医療記録634は、例えば、ユーザの保健医療プロバイダまたはいずれかのコンピューティングネットワーク内に記憶されてもよい。医療記録634およびデータベース632は、いくつかの実施形態では、遠隔データリポジトリ160(
図9D)の一部であってもよい。
【0173】
種々の実施形態では、データベース632に受信および/または記憶されるデータは、デバイス608においてローカルで分析されてもよい、または、例えば、クラウド636または他のデータ共有または伝送媒体を通した外部処理回路への伝送に続いて、遠隔で分析されてもよい。伝送されるデータは、診断、治療、または評価のために、ローカル医師638、遠隔医師641(例えば、研究医師または専門家)等によって分析されてもよい、および/または人工知能642または他のコンピュータ化された診断または治療評価モジュールによる画像または材料分析等を通して自動的に分析されてもよい。クラウド636もまた、遠隔データリポジトリ160(
図9D)の一部であってもよいことを理解されたい。
【0174】
データベース632からのデータの分析に続いて、診断および/または治療進行度決定644が、生成され、ユーザ602に送達されてもよい。例えば、診断または治療進行度決定644は、ユーザ602が識別された疾患または他の医療状態を有するという判定、ユーザ602が特定の疾患または他の医療状態を有していないという判定、医療処置プロセスが開始されるべきであるという判定、以前の治療606に対するユーザ602の応答に基づく医療処置プロセスが修正されるべきであるという判定、医療処置プロセスが終了されるべきであるという判定、またはデータベース632内のデータに基づく任意の他の結論分析を含んでもよい。いくつかの実施形態では、これらの種々の判定は、それぞれ、ブロック160および170(
図11)に関して本明細書に議論されるように、収集されたデータを相関させること、および/または相関に基づいてアクションを行うことに関し得る。いくつかの実施形態では、診断および/または治療進行度決定644は、新しいまたは修正された治療の実装等の診断および/または治療進行度判定644に対する適切な応答を有効にするように、ユーザ602の任意の1人または組み合わせ(例えば、ディスプレイシステム2010によって表示される通知を介して)およびユーザ602の医師または他の保健医療プロバイダに送達されてもよい。
【0175】
図6、9D、11、および12を参照すると、本明細書に開示されるシステムおよび方法の診断、監視、および治療用途のさらなる実施例が、ここで説明されるであろう。本明細書に開示されるように、ディスプレイシステムは、種々のセンサを含んでもよく、これは、有利には、種々の刺激に対するユーザの応答を検出するために適用されてもよい。例えば、挙動追跡が、
図6、9D、10、および12に関連して説明されるシステム等のウェアラブルディスプレイシステム内に実装されてもよい。
図9Dを参照すると、拡張または仮想現実ディスプレイシステム20内の挙動の検出および/または追跡は、ディスプレイ70および/またはスピーカ100においてユーザ90に提示される誘導される画像および/またはオーディオに対する応答、または外向きに面した環境センサ34(
図10)によって検出された実世界刺激に対する応答の検出を含んでもよい。
図10を参照すると、システム2010は、眼位置、移動、視線、または瞳孔サイズを検出する等のために、眼追跡のための内向きに面したカメラ24を通してユーザを監視してもよい。内向きに面したカメラ24はさらに、眼瞼位置、顔筋収縮、睇視、または他の顔位置または移動等の他の顔インジケータを監視するように構成されてもよい。下向きに面したカメラ28はさらに、ユーザ60の身体移動と、可能性として、カメラの下方の顔の表情とを監視するために使用されてもよい。システム2010はさらに、1つ以上のマイクロホン67を使用して、発話等のユーザからの可聴応答を監視してもよい。これらおよび他のセンサは、以下の種々の診断、監視、および治療用途を行うために実装されてもよい。本明細書に説明されるセンサのいずれかから取得されるデータはさらに、データが異なる以前の時間に収集された記憶データと比較される履歴分析を通して、経時的に比較または別様に分析されてもよい。本明細書に説明されるように、内向き、下向き、および/または外向きに面したカメラは、ユーザ60および/またはシステム2010によって調節可能であってもよい。
【0176】
神経的分析
神経的分析は、周辺神経系および脳神経の分析を含んでもよい。概して、神経的分析は、ユーザの挙動および/または神経的応答を分析するために使用されてもよい。体性神経系は、随意的身体移動を制御し、体性神経系に関連する分析は、挙動的応答の判定を促進し得る。自律神経系は、不随意的応答を制御し、自律神経系に関連する分析は、挙動的応答の判定を促進し得る。脳神経(CN)は、末梢神経系(PNS)の一部であって、直接、脳から起始する。12の異なるCNが存在し、それぞれ、異なる機能を果たすが、全て、身体、主に、頸部および頭部の領域と脳との間の情報を中継する。1つ以上の脳神経の欠損または傷害は、以下に説明されるように、種々の刺激に対する異常応答として検出され得る。
【0177】
いくつかの実施形態では、収集されたユーザデータは、脳神経の機能を評価し、ユーザの脳神経のうちの1つ以上のものと関連付けられた状態を検出するために利用されてもよい。一実施例では、健康システム600(
図12)またはディスプレイシステム2010(
図10)は、三叉神経または第5脳神経(CNV)の機能を評価するように構成されてもよい。第5脳神経に沿ったインパルスの伝送は、典型的には、噛砕(咀嚼)および顔皮膚内の感覚等の顔機能性および顔に関連する他の運動および感覚機能に関わり得る。噛砕または他の顔運動機能の検出は、マイクロホン、例えば、ユーザの口および/または顎を結像する、1つ以上の下向きに面したカメラ、および/または他のセンサ、例えば、慣性測定ユニット、加速度計、または同等物によって遂行されてもよい。
【0178】
三叉神経の診断的試験は、瞬目応答、眼瞼刺激、眼瞼査定、および眼の物理刺激の評価を含んでもよい。例えば、角膜反射試験が、各眼の角膜に優しく触れさせ、瞬目等の生理学的応答620(
図12)を誘発することによって実施されてもよい。ユーザ602の両眼の角膜反射間の任意の非対称性が、次いで、ディスプレイシステム2010の内向きに面したカメラ24(
図10)を使用して観察され得、三叉神経と顔面神経(第7脳神経またはCN VII)との間の脳幹内の病変を示し得る。三叉神経機能の監視は、眼乾燥を判定する等のために、瞬目率を経時的に検出することを含んでもよい。
【0179】
短時間または長時間にわたる三叉神経と関連付けられた生理学的応答620の診断的試験および/または監視に基づいて、システム600は、ユーザが検出された応答と関連付けられた1つ以上の神経的状態を有することを判定し得る。判定は、ローカルまたは遠隔で実施されてもよく、いくつかの側面では、医療情報のデータベースまたは他のリポジトリを参照すると、それにクエリする、または別様にそれと相互作用することを含んでもよい。例えば、前述のように、システム600(
図12)またはシステム2010(
図10)は、ユーザの眼の角膜反射間の非対称性をCN VとCN VIIとの間の脳幹内の病変を示すものとして解釈するように構成されてもよい。別の実施例として、システム600(
図12)またはシステム2010(
図10)は、無傷の一次感覚の存在下における消失が右頭頂葉内の病変を示し得ることを判定するように構成されてもよい。いくつかの実施形態では、消失は、システム600、2010(
図12、10)が、別の刺激と組み合わせた同一刺激に対する応答の欠如と結合される、刺激に対するユーザ応答を単独で観察することに基づいて、存在すると判定され得る。別の実施例では、ある期間にわたる低瞬目率によって示される凝視発作は、癲癇等の神経系障害および/またはレビー小体型認知症または進行性核上性麻痺等の記憶障害を示し得る。ユーザが回転オブジェクトまたは光等の刺激を凝視していることの観察は、自閉症スペクトラム障害等の発達障害を示し得る。反復的眼瞬目は、癲癇等の神経系障害および/またはジストニアまたはトゥレット障害等の運動障害を示し得る。繰り返される眼瞼単攣縮は、ストレス関連状態等の挙動障害を示し得る。眼瞼痙攣または不随意的眼瞼閉鎖は、ジストニア等の運動障害を示し得る。検出された咀嚼困難は、筋萎縮性側索硬化症等の運動障害および/または前頭側頭型認知症等の記憶障害を示し得る。前述の分析のいずれかに関して、眼および眼瞼に関するデータは、ディスプレイシステム2010の内向きに面したカメラ24(
図10)を使用して取得されてもよく、周囲環境に関するデータは、外向きに面した環境センサ34(
図10)を使用して取得されてもよいことを理解されたい。
【0180】
別の実施例では、システム600、2010(
図12、10)は、舌咽神経または第9脳神経(CN IX)の機能を評価するように構成されてもよい。舌咽神経に沿ったインパルスの伝送は、典型的には、経口感覚、味、および唾液生成等の感覚および運動機能に関わる。舌咽神経の診断的試験は、嚥下機能を含む評価、拡張現実および/または仮想現実コンテンツの表示、誘導されるオーディオおよび/または画像の提供、頭部姿勢検出、眼の結像、および/または眼の物理刺激を伴ってもよい。例えば、システムは、嚥下および嚥下と関連付けられた疼痛のインジケーションとして散瞳の同時発生を検出し得る。嚥下と関連付けられた疼痛に関連する補助的治療機能性は、ユーザが、嚥下を容易にするように、食品の割合および/または一口サイズを拡張させることを支援することを含み得る(例えば、ディスプレイシステムは、ユーザがより小さい割合および/またはサイズを選ぶように、食品および/またはサイズを現実より大きく現れさせるように構成されてもよい)。発話もさらに、発話が不可聴であるときを検出する等のために監視されてもよい。ユーザが可聴であるように発話不能である場合、システム600、2010(
図12、10)は、ユーザが、眼視線アクティブ化キーボード等の相互作用コンテンツを用いて単語を選択し、選択された単語を可聴に出力することを可能にすること等によって、補助的治療機能性を提供してもよい。いくつかの実施形態では、システムは、補助代替コミュニケーション(AAC)デバイスとして機能し、失語または失書を患う者のための発話または記述を補完または置換してもよい。例えば、システムは、ALSおよび/または麻痺を有するユーザのための発話を補完または置換するように構成されてもよい。有利には、システムは、ユーザが複数の方法において入力を提供することを可能にし、それによって、ユーザの症状が変化する、または疾患が進行するにつれて、システムが発話を補完または置換するように機能することを可能にする、複数の相互作用要素を含む。例えば、ALSを患うユーザに関して、ALSが進行し、筋肉運動が悪化するにつれて、ディスプレイシステムとの異なる相互作用が、システムが思考をアクションおよび単語に変換することを可能にする入力を提供するために利用されてもよい。ユーザの運動性が低下するにつれて、ユーザは、ジェスチャの使用から、システムへの入力の提供(例えば、仮想メニューアイテムの選択、仮想キーボードのタイプ等)、その音声の使用、トーテムの使用、頭部姿勢の使用、システムに入力を提供するための眼移動の使用に遷移してもよい。入力は、例えば、キーボード上の文字の選定、車椅子の移動の指示等を含む、種々の目的のために利用されてもよいことを理解されたい。
【0181】
システム600、2010(
図12、10)はさらに、鏡内のユーザの反射にオーバーレイされた拡張口移動を用いて、発話療法をユーザに提供してもよい。いくつかの側面では、味が、舌の後方3分の1に甘味料等の刺激を提供することによって評価されてもよい。咽頭における触知感覚が、吸引関連問題についての物理刺激および/または傷害に基づいて評価されてもよい。
【0182】
短時間または長時間にわたる舌咽神経と関連付けられた生理学的応答620の診断的試験および/または監視に基づいて、システム600、2010(
図12、10)は、検出された応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、システム600、2010(
図12、10)は、正常絞扼反射と相関される、検出された嚥下障害または嚥下困難が、舌咽神経の運動部分内の病変を示し得ることを判定するように構成されてもよい。別の実施例では、構音障害または発話困難と相関される、検出された嚥下障害は、舌咽および/または迷走神経の核への傷害を示すと判定され得る。嚥下障害の検出された徴候は、急性散在性脳脊髄炎、癲癇、および/またはギラン・バレー症候群等の神経系障害、脳性麻痺、ハンチントン病、運動ニューロン疾患、筋萎縮性側索硬化症、進行性延髄麻痺、偽性延髄麻痺、I型脊髄性筋萎縮症、および/またはケネディ病等の運動障害、前頭側頭型認知症および/または進行性核上性麻痺等の記憶障害、および/または脳卒中等の傷害によって生じると判定され得る。構音障害の検出された徴候は、多発性硬化症および/またはシルダー病等の神経系障害、および/または運動失調症、脳性麻痺、ハンチントン病、運動ニューロン疾患、筋萎縮性側索硬化症、原発性側索硬化症、進行性延髄麻痺、偽性延髄麻痺、および/またはケネディ病等の運動障害を示すと判定され得る。
【0183】
さらに別の実施例では、システム600、2010(
図12、10)は、迷走神経または第10脳神経(CN X)の機能を評価するように構成されてもよい。迷走神経に沿ったインパルスの伝送は、典型的には、心臓および消化管の副交感神経制御等の機能に関わる。加えて、迷走神経は、概して、心臓、肺、および消化管を制御し、また、物理および感情効果を制御し得る。迷走神経の診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導されるオーディオおよび/または画像の提供、眼位置および/または移動追跡の検出、および/または臨床医装着ディスプレイデバイスの利用を伴ってもよい。例えば、システムは、発話が不可聴であるときを検出する等のために、発話を監視してもよい。ユーザが可聴であるように発話不能である場合、システム600、2010(
図12、10)は、ユーザが、眼視線アクティブ化キーボード等の相互作用コンテンツを用いて単語を選択し、選択された単語を可聴に出力することを可能にすること等によって、補助的治療機能性を提供してもよい。前述のように、システムは、補助代替コミュニケーション(AAC)デバイスとして機能し、失語または失書を患う者のための発話または記述を補完または置換するように構成されてもよい。別の診断的実施例では、システムは、口蓋評価を使用して、患者の口蓋挙上および/または絞扼反射の対称性を検出してもよい。発音も同様に、ユーザに単語または他の音を繰り返すように求め、構音障害または他の異常発話状態を検出すること等によって、監視されてもよい。
【0184】
短時間または長時間にわたる迷走神経と関連付けられた生理学的応答620の診断的試験および/または監視に基づいて、システム600、2010(
図12、10)は、検出された応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、システム600、2010(
図12、10)は、かすれ声、嚥下障害、飲取と関連付けられた咽せ、および/または絞扼反射の不在が、迷走神経の喉頭部の病変を示し得ることを判定するように構成されてもよい。別の実施例では、口蓋および/または喉頭麻痺、異常食道運動、胃酸分泌、胆汁排出、異常心拍数、および/または他の自律機能不全は、他の迷走神経病変の存在を示し得る。脆弱口蓋運動および/または絞扼反射低減の検出された徴候は、進行性延髄麻痺等の運動障害を示すと判定され得る。絞扼反射増加の検出された徴候は、偽性延髄麻痺等の運動障害であると判定されることを示し得る。閉じ込め症候群の徴候は、迷走神経および神経索の核への傷害を示し得る。損なわれた音声の検出された徴候は、痙攣性発声障害、咽頭ジストニア、運動ニューロン疾患、および/または偽性延髄麻痺等の運動障害を示すと判定され得る。音声性チック障害は、トゥレット障害等の運動障害を示すと判定され得る。検出された息切れは、運動ニューロン疾患、筋萎縮性側索硬化症、IまたはII型脊髄性筋萎縮症、および/または関節拘縮を伴う先天性脊髄性筋萎縮症等の運動障害、および/または拒食症または他の摂食障害等の挙動障害を示すと判定され得る。不明瞭な発話の検出された徴候は、口顎ジストニア、筋萎縮性側索硬化症、および/または原発性側索硬化症等の運動障害、進行性核上性麻痺等の記憶障害、酩酊(例えば、中毒またはアルコール中毒)等の挙動障害、および/または脳卒中、脳動脈瘤、および/または外傷性脳傷害等の傷害を示し得る。こもった発話の検出された徴候は、パーキンソン病等の運動障害を示すと判定され得る。自律神経系機能不全(例えば、起立時の血圧降下、浮動性目眩、転倒、尿失禁、脈拍、発汗、排便管理問題)の検出された徴候は、レビー小体型認知症等の記憶障害を示すと判定され得る。
【0185】
精神ステータスおよび障害
システム600、2010(
図12、10)によって収集されるユーザデータは、精神ステータス試験を実施するために使用されてもよい。いくつかの側面では、精神ステータス試験は、システム600、2010(
図12、10)がユーザの認知機能と挙動機能を区別することを可能にし得る。いくつかの実施形態では、システム600、2010(
図12、10)は、妄想および/または幻覚を検出するように構成されてもよい。妄想および/または幻覚を検出するための診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導されるオーディオおよび/または画像の提供、および発話または別様にマイクロホンにおいて検出された可聴応答等のユーザ応答および/または眼追跡に基づいて検出された応答の検出等の本明細書に説明される種々の機能を含んでもよい。例えば、システム600、2010(
図12、10)では、ARデバイス608は、精神科診断質問をユーザに提示し、質問に対するユーザの応答を検出し、それらの応答と環境センサ34(
図10)によって検出された周囲環境についてのデータを比較することに基づいて、妄想的思考プロセス、聴覚的幻覚、または視覚的幻覚の存在を検出するように構成されてもよい。いくつかの実施形態では、デバイス608は、質問または同等物等の診断的刺激を提示せずに、刺激に対するユーザの応答を検出することによって、本明細書に開示されるような受動監視を実装するように構成されてもよい。デバイス608は、環境を監視し、ユーザが着目刺激に遭遇することを待機し、そのような刺激が検出される度に、ユーザの応答を検出してもよい。例えば、拡張現実またはオーディオコンテンツを通して質問または命令をユーザに提示するのではなく、デバイス608は、質問または命令に類似する応答を生成することが予期されるであろう、世界内の状態(例えば、オブジェクト、雑音、徴候、社会的相互作用等)を検出してもよい。デバイス608は、観察される環境からのデータとユーザの身体から取得されるデータの相関におけるパターンの存在を検出するように構成されてもよい。傾向を識別するためのデータのそのような相関は、
図11のブロック120−160を参照して説明される方法110等の種々の方法によって達成されてもよい。
【0186】
検出された挙動的応答622(
図12)に基づいて、システム600、2010(
図12、10)は、検出された応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、ユーザが幻覚に悩まされていることの判定は、ユーザがパーキンソン病等の運動障害、クロイツフェルト・ヤコブ病疾患、レビー小体型認知症、および/または後頭皮質萎縮症等の記憶障害、および/または統合失調症等の発達障害を有することを示すと解釈され得る。ユーザが妄想に悩まされていることの判定は、ユーザがパーキンソン病等の運動障害、レビー小体型認知症等の記憶障害、および/または統合失調症等の発達障害を有することを示すと解釈され得る。
【0187】
有利には、システム600、2010(
図12、10)が、ユーザが統合失調症に悩まされていることを判定する、または本情報を提供される場合、システム600、2010(
図12、10)は、ユーザに、統合失調症の影響を治療または緩和するための治療的用途を提供するように構成されてもよい。そのような治療は、ディスプレイシステムが、拡張現実コンテンツとしてアバタをユーザに提示し、幻覚音声、人々等から知覚される脅威または危険を低減させ得る、アバタ療法を含んでもよい。一部の統合失調症ユーザは、特定の音声および/または人物の幻覚を有し得ることを理解されたい。いくつかの実施形態では、システム600、2010は、ユーザがユーザによって知覚された幻覚の外観および/または音声を有する拡張現実コンテンツの形態におけるアバタを選択することを可能にするように構成されてもよい。システム600、2010はまた、アバタをユーザに表示し、ユーザがアバタと相互作用することを可能にするように構成されてもよい。アバタのアクションおよび/または単語は、臨床医またはプログラムによって制御されてもよく、幻覚と関連付けられた恐怖または心配を低減させ、ユーザが幻覚音声または人物に対抗することを促すように考案されてもよい。理論によって限定されるわけではないが、アバタへの繰り返される暴露は、ユーザが幻覚音声または人物に対抗する際にその自信を増加させることを可能にし得ると考えられる。いくつかの実施形態では、システム600、2010は、例えば、マイクロホンを利用して、ユーザの発話を記録し、また、アバタの形態でシステムによって提供される視覚的および聴覚的コンテンツを記録することによって、相互作用を記録するように構成されてもよい。これらの記録は、続いて、ユーザ、臨床医等に再生されてもよい。
【0188】
別の実施例では、システム600、2010(
図12、10)は、鬱病、不安障害、および/または躁病等の気分および/または挙動関連状態を評価するように構成されてもよい。大鬱病を検出するための診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導される画像および/またはオーディオの提供、眼追跡の実施、ユーザの反射内の結像、およびマイクロホンを利用した可聴応答の検出を伴ってもよい。例えば、システム600、2010(
図12、10)は、ユーザの音声の調子、顔の表情、および/または身体姿勢のうちの1つに基づいて、ユーザの気分を判定するように構成されてもよい。鬱病は、ユーザの長期監視に基づいて検出され、ユーザが、眼視線の欠如、個人衛生不良、および/または低アクティビティレベルを呈するかどうかを検出してもよい。いくつかの実施形態では、システム600、2010(
図12、10)が、ユーザが大鬱病に悩まされていることを判定する、または本情報を提供される場合、システム600、2010(
図12、10)は、ユーザに、大鬱病を治療するための治療的用途を提供するように構成されてもよい。そのような治療は、ARデバイス608がユーザの関心を刺激する誘導されるコンテンツを表示する、またはユーザにとって楽しいことであることが既知の記憶と関連付けられた画像またはオーディオをユーザに提示することを含んでもよい。システム600、2010(
図12、10)はまた、ユーザが他者と関わり、ユーザの気分を改良し得るように、前向き/楽しい感情を呈する他者を識別および/またはハイライトしてもよい。システム600、2010は、ユーザを楽しくさせることが既知またはその可能性が高い他のオブジェクトを描写する仮想コンテンツを識別または提供してもよい。いくつかの側面では、大鬱病は、憂鬱な気分、摂食または睡眠パターンの変化、気力の喪失、自発力の欠如、低自尊心、集中力の低下、以前に楽しかったアクティビティの享受の欠如、および/または自己破壊的思考または挙動の印の検出によって示され得る。これらの印のうちのいくつかは、直接、システム600、2010(
図12、10)によって検出されてもよく、いくつかは、ユーザおよび/またはユーザと相互作用する臨床医等の第三者によって、システム600、2010(
図12、10)に報告されてもよいことを理解されたい。これらは全て、ブロック622の検出された挙動的応答の一部であってもよい。
【0189】
検出された挙動的応答622に基づいて、システム600、2010(
図12、10)は、検出された応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、鬱病の検出された徴候は、パーキンソン病等の運動障害、クロイツフェルト・ヤコブ病疾患、レビー小体型認知症、前頭側頭型認知症、および/または血管性認知症等の記憶障害、外傷後ストレス障害等の挙動障害、双極性障害またはダウン症等の発達障害、および/または脳腫瘍および/または外傷性脳傷害等の傷害を示すと判定され得る。無関心の検出された徴候は、クロイツフェルト・ヤコブ病疾患および/または前頭側頭型認知症等の記憶障害、非言語学習障害等の学習障害、鬱病等の挙動障害、双極性障害、ダウン症、および/または統合失調症等の発達障害、および/または水頭症等の傷害を示すと判定され得る。検出された疲労の徴候は、多発性硬化症、視神経脊髄炎、および/または横断性脊髄炎等の神経系障害、運動ニューロン疾患、筋萎縮性側索硬化症、および/またはケネディ病等の運動障害、鬱病またはストレス等の挙動障害、および/または脳腫瘍および/または外傷性脳傷害等の傷害を示すと判定され得る。
【0190】
不安障害を検出するための診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導される画像および/またはオーディオの提供、眼追跡の実施、および/または反射を介したユーザの結像を含んでもよい。例えば、心配性思考を伴うユーザの先入観が、眼視線の欠如、身体震戦、心拍数上昇、散瞳、および/または回避挙動に基づいて、システム600、2010(
図12、10)によって検出されてもよい。これらの挙動および任意の相関トリガ(例えば、不安障害を生じさせる可能性が高い状況、人々、またはオブジェクト)が、経時的に追跡され得、これらの挙動のパターンが、ユーザの一部に関する心配性思考を示すと判定され得ることを理解されたい。いくつかの実施形態では、不安障害に関連する治療的用途は、ARデバイス608が、不安障害またはパニックを減少させ、ユーザによって被られる疑惑または嫌悪を低減させるように、リラックスさせることが既知の拡張現実コンテンツをユーザに提供することを含んでもよい。いくつかの側面では、治療的コンテンツは、白色雑音、ぼかし、または視覚的入力の一部の色排除、または別様にユーザの感覚入力および刺激を低下させるようにコンテンツを拡張させることを含んでもよい。
【0191】
ユーザの検出された挙動的応答622に基づいて、システム600、2010(
図12、10)は、検出された応答、例えば、不安障害応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、全般性不安障害は、パーキンソン病等の運動障害、クロイツフェルト・ヤコブ病疾患等の記憶障害、ダウン症等の発達障害、外傷性脳傷害等の傷害、および/または摂食障害、拒食症、神経性大食症、強迫性障害、および/または外傷後ストレス障害等の挙動障害を示すと判定され得る。偏執症の検出された徴候は、クロイツフェルト・ヤコブ病疾患等の記憶障害、および/または強迫性障害等の挙動障害を示すと判定され得る。執着および/または強迫性挙動の検出された徴候は、クロイツフェルト・ヤコブ病疾患および/または前頭側頭型認知症等の記憶障害、および/または摂食障害、拒食症、神経性大食症、および/または強迫性障害等の挙動障害を示すと判定され得る。検出された反復的挙動パターンは、前頭側頭型認知症等の記憶障害、強迫性障害等の挙動障害、および/または自閉症スペクトラム障害等の発達障害を示し得る。
【0192】
いくつかの実施形態では、躁病と関連付けられた障害を検出するための診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導される画像および/またはオーディオの提供、眼追跡の実施、および/またはユーザの反射の利用を含んでもよい。例えば、躁病は、ユーザが異常に活発および/または認知的に無秩序であることのインジケーションに基づいて検出され得る。いくつかの実施形態では、躁病障害に関連する治療的用途は、躁病挙動の期間の間、ユーザを落ち着かせるように、ディスプレイシステムを利用し、リラックスすることが既知の拡張現実コンテンツをユーザに提供することを含んでもよい。
【0193】
躁病応答等の検出された挙動的応答に基づいて、システム600、2010(
図12、10)は、検出された躁病応答と関連付けられた1つ以上の神経的状態を判定してもよい。例えば、極端な反応の検出された徴候は、システム600、2010によって、境界型人格障害等の人格障害を示すと解釈され得る。情動不安定(例えば、不適切な不随意的笑いおよび/または泣き)の検出された徴候は、進行性延髄麻痺または偽性延髄麻痺等の運動障害、進行性核上性麻痺等の記憶障害、および/または外傷性脳傷害等の傷害を示すと解釈され得る。精神病の検出された徴候は、クロイツフェルト・ヤコブ病疾患等の記憶障害および/または統合失調症等の発達障害を示し得る。気分変動の検出された徴候は、クロイツフェルト・ヤコブ病疾患等の記憶障害、偏頭痛等の傷害、および/または注意欠陥多動性障害または双極性障害等の発達障害を示し得る。検出された衝動的挙動は、進行性核上性麻痺等の記憶障害、境界型人格障害等の挙動障害、外傷性脳傷害等の傷害、および/または注意欠陥多動性障害、双極性障害、および/または胎児性アルコールスペクトラム障害等の発達障害を示し得る。検出された多動性は、注意欠陥多動性障害等の発達障害を示し得る。
【0194】
いくつかの実施形態では、システム600、2010(
図12、10)は、ユーザの社会的相互作用に基づいて、診断的試験を実施するように構成されてもよい。ユーザの社会的相互作用と関連付けられた診断的および治療的機能は、拡張現実および/または仮想現実コンテンツ、誘導される画像および/またはオーディオ、眼追跡、時間、顔認識センサおよびアルゴリズム、ボディランゲージ検出、および/または1つ以上のマイクロホンを利用してもよい。いくつかの側面では、他のユーザ(例えば、一次ユーザの近傍のおよび/またはそれと相互作用するユーザ)によって装着されるシステム600、2010から収集されるデータは、ユーザの社会的相互作用の追跡および/または分析を改良するために相関されてもよい(例えば、一次ユーザの陳述またはアクションに応答して恐怖、驚き、怒り、または困惑を示す二次ユーザにおけるユーザ特有のデータ)。ディスプレイシステムはさらに、ヒト解剖学、生理学、時間−場所相関、または個人的共有情報の観察および/または知識に基づいて、他のシステムのユーザにおける精神状態を判定するように構成されてもよい。
【0195】
一実施例では、検出された他者とのアイコンタクトの欠如は、システムによって、進行性核上性麻痺等の記憶障害、行為障害または社会不安障害等の挙動障害、および/または自閉症スペクトラム障害または双極性障害等の発達障害を示すと解釈され得る。アイコンタクトの欠如と関連付けられた状態のための治療的コンテンツは、(
図10のシステム2010を介して)視覚療法アクティビティを表示し、視覚的覚醒を刺激し、アイコンタクトを改良することを含んでもよい(例えば、アイコンタクト持続時間の増加に基づくゲーム)。別の実施例では、過剰な直接凝視が、検出され、怒り障害、不安障害、および/または恐怖症等の挙動障害を示すと解釈され得る。瞬間的周辺視もまた、システムによって検出され得、自閉症スペクトラム障害等の発達障害を示すと解釈され得る。
【0196】
さらなる実施例では、システム600、2010(
図12、10)は、ボディランゲージ、顔の表情等の非言語キューの解釈、個人空間または他の非言語インジケーションの理解の困難の徴候を検出してもよい。そのような困難は、非言語学習障害等の学習障害、および/または自閉症スペクトラム障害等の発達障害を示し得る。相互作用社会技術の欠如と関連付けられた状態のための治療的コンテンツは、ディスプレイシステムを利用して、社会的状況にける応答および感情状態を識別し、会話中の重要な点を識別し、注意散漫を排除し、および/または社会的容認可能アクションを示す(例えば、複数の深度平面にわたって表示される拡張現実コンテンツを使用して、容認可能個人空間を示す)、コンテンツを表示することを含んでもよい。社会的相互作用に関する困難に加え、システム600、2010(
図12、10)はまた、社会的相互作用またはコミュニケーションの欠如を検出するように構成されてもよく、これは、不安障害、鬱病、外傷後ストレス障害、または社会不安障害等の挙動障害、および/または自閉症スペクトラム障害または胎児性アルコールスペクトラム障害等の発達障害を示し得る。システム600、2010(
図12、10)は、回避症状を検出するように構成されてもよく、これは、不安障害、外傷後ストレス障害、または社会不安障害等の挙動障害を示し得る。いくつかの実施形態では、システム600、2010(
図12、10)はさらに、過覚醒の徴候を検出するように構成されてもよく、これは、外傷後ストレス障害等の挙動障害を示すと解釈され得る。過覚醒と関連付けられた状態のための治療的コンテンツは、誘起状況または人々を識別し、暴露療法を提供し、ユーザの恐怖を徐々に減少させることを含んでもよい。
【0197】
いくつかの実施形態では、システム600、2010(
図12、10)は、強迫性障害を検出し、可能性として、治療するように構成されてもよい。システム600、2010(
図12、10)は、ユーザが、オブジェクトを清掃する、および/または触れる等の反復的アクションを実施する、ある挙動に対する嫌悪または執着を有する、および/または共通物質および/またはオブジェクトの回避または執着を呈することを検出するように構成されてもよい。そのような挙動は、システム600、2010(
図12、10)によって、強迫性障害を示すと判定され得る。
【0198】
短期記憶における検出された執着傾向(例えば、反復的アクション)は、病理学的強迫観念を示すと判定され得る。例えば、ユーザが、1分、2分、5分、または類似期間等の短時間以内に、および/またはそうすることの明白な理由なく(例えば、通常そのような挙動と関連付けられる特定の刺激を観察せずに)、特定の挙動(例えば、特定の表面またはオブジェクトに触れる、同一ライトのスイッチをオンまたはオフにする、皮膚むしり、抜毛、鏡で外観をチェックする等)を繰り返すことが見出される場合、強迫性障害が、示され得る。強迫性障害はまた、システム600、2010(
図12、10)が、ユーザがユーザによって装着されるディスプレイシステム2010(
図10)のビュー内のオブジェクトに没頭することに長時間を費やすことが観察される場合(例えば、アイテムを並べ替える、整理する、収集する、および/または蓄える)にも示され得る。他の側面では、チェック挙動および/またはユーザの身体または外観に集中する執着等の執着傾向は、身体醜形障害を示すと判定され得る。体毛の抜毛または皮膚むしりから前向き感情を得て、ストレスを緩和させること等の執着傾向は、抜毛症(抜毛障害および皮膚むしり)または自傷性皮膚症(皮膚むしり症)等の身体集中反復的挙動を示すと判定され得る。
【0199】
これらの強迫性挙動のうちのいくつかは、長時間(例えば、数日、数週間、数ヶ月、または数年)にわたって観察され得、第三者またはユーザにさえ容易に明白ではない場合があることを理解されたい。いくつかの実施形態では、システム600、2010(
図12、10)は、ユーザ挙動をカタログ化し、類似挙動の繰り返しを伴うパターンおよびそれらの挙動が実施されるコンテキストを含む、挙動のパターンを判定するように構成されてもよい。有利には、ディスプレイシステム2010の適切な輻輳・開散運動−遠近調節整合によって提供される長期装着快適性は、ユーザのディスプレイデバイスを定期的かつ一度に長時間にわたって装着する能力に起因して、これらのパターン判定を促進する。
【0200】
いくつかの実施形態では、ユーザの強迫性並替、整理、および/または収集傾向は、すでにグループ化または順序付けられた方式におけるいくつかの仮想オブジェクト(例えば、キャビネット内の食品の缶および付加的缶の仮想買物カゴ)等の情報を提示することによって、試験されてもよい。情報は、例えば、
図2に描写されるように、ディスプレイ62によって、ユーザに提示されてもよい。仮想オブジェクトを継続的に並べ替える、移動させる、または操作する等のユーザの応答が、ジェスチャ認識または他のユーザ相互作用機構に基づいて検出されてもよい。ユーザの強迫性挙動は、刺激との相互作用の頻度、キャビネットから買物カゴへの缶の出し入れ、オブジェクト設置の正確度、および/または色、サイズ、またはラベルの整理、または同等物に基づいて評価されてもよい。
【0201】
いくつかの実施形態では、知覚または実際の汚染物質へのユーザの嫌悪は、ユーザに、ユーザの環境内に位置すると知覚される、または実際に位置する、異なる化学物質、アレルゲン、微生物、または同等物と反応するように求めることによって、試験されてもよい。そのような試験は、少なくとも部分的に、
図2、6、10、および12に描写されるディスプレイのコンポーネントによって実施されてもよく、処理モジュール140および/または遠隔処理モジュール150(
図9D)内の回路およびプログラミングを利用してもよい。試験では、ユーザは、拡大、パターン認識アルゴリズム、マルチスペクトル分析、またはユーザに提示されであろう分析を実施するための専門家助言を使用して、清掃用化学物質瓶の周囲の輪郭、タンパク質をハイライトするために表面上に投影された紫外線光、および/またはバクテリア、ウイルス、およびアレルゲンのような潜在的汚染物質の処理された分析等、仮想写真刺激または強調された実世界オブジェクトを提示されてもよい。システム600、2010(
図12、10)は、次いで、検出された挙動的応答(例えば、たじろぎ、後退、渋面、または嘔吐)および/または生理学的応答(例えば、発汗、心拍数増加)を通して、刺激に対するユーザの反応を検出してもよい。ユーザの強迫性挙動は、そうでなければ通常のオブジェクトおよび状態に対するユーザの応答に基づいて評価されてもよい。
【0202】
いくつかの実施形態では、システム600、2010(
図12、10)は、治療的コンテンツを提供し、執着および/または強迫性挙動を減少させるように構成されてもよい。例えば、ディスプレイシステム2010(
図10)は、表面の強調された提示または分析を提示し、実際に清潔または不潔であるかどうかを示してもよい。別の実施例では、実世界オブジェクトは、ディスプレイシステムによって修正され、それらをより清潔にユーザに現れさせ、不安障害を低減させてもよい。挙動補助はまた、識別された反復的アクティビティの定量化および/または識別を含んでもよい。いくつかの側面では、アクティビティまたはオブジェクトは、再生のためにハイライトまたは記録されてもよく、「スコア」が、計算され、ユーザに提示されてもよい。ユーザは、識別された反復的挙動を回避することによって、スコアを低く保つように動機付けされ得る。
【0203】
感覚機能
ディスプレイシステム2010(
図10)によって収集されたデータ等の収集されたユーザデータは、ユーザの感覚機能の試験を実施するために使用されてもよい。いくつかの側面では、感覚機能試験は、システム600、2010(
図12、10)が、ユーザの微妙なタッチ、疼痛、温度、または同等物の機能レベルを査定することを可能にし得る。いくつかの実施形態では、システム600、2010(
図12、10)は、ユーザの一次感覚を試験する、および/またはユーザの一次感覚を示す徴候を受動的に監視するように構成されてもよい。一次感覚の診断的試験は、拡張現実および/または仮想現実コンテンツの表示、誘導される画像の提供、および/または臨床医装着ディスプレイデバイスの利用を含んでもよい。いくつかの実施形態では、熱、電流、振動、オーディオ刺激、視覚的刺激、または同等物等の種々の感覚刺激が、提示されてもよく、ユーザの検出された応答が、測定され、予期される応答と比較されてもよい。いくつかの実装では、臨床医装着デバイスは、臨床医が、比較のために拡張された正常応答とともに、ユーザの応答を視認することを可能にし得る。感覚試験は、身体の両側において、各四肢上の近位から遠位に実施され、感覚応答の非対称性が検出されることを可能にしてもよい。受動監視が、刺激を能動的に提供するのではなく、ユーザの周囲の世界内で検出された刺激に対するユーザの応答を検出することによって実装されてもよい。受動監視の一実施例では、システム600、2010(
図12、10)は、ユーザの熱を感知する能力を受動的に監視するように構成されてもよい。システムは、ユーザの視野内のオブジェクトの温度を監視するサーマルカメラとして機能し得る、外向きに面したカメラを含んでもよい。システム600、2010(
図12、10)は、サーマルカメラおよび1つ以上の身体カメラからの入力を使用して、ユーザがコンロ等の高温オブジェクトに触れているときを判定し、ユーザの反応(例えば、疼痛に起因する散瞳、絶叫、オブジェクトに触れている身体部分の迅速後退、または同等物)または高温オブジェクトに触れたことに対する反応の欠如を観察してもよい。反応の欠如は、不適切な感覚機能を示し得ることを理解されたい。
【0204】
一次感覚と関連付けられた診断的試験は、瞬間接触および/またはピン刺激痛覚試験を含んでもよい。無感覚および/または刺痛の徴候が、検出され得、急性散在性脳脊髄炎、ギラン・バレー症候群、多発性硬化症、または横断性脊髄炎等の神経系障害、および/または偏頭痛等の傷害を示すと解釈され得る。接触に対する過敏性(例えば、跳躍または絶叫等の反応)の徴候は、横断性脊髄炎または多発性硬化症等の神経系障害、および/または水頭症等の傷害を示すと解釈され得る。診断的試験はさらに、低温金属片を皮膚に適用すること等による、温度試験を含んでもよい。振動感知は、システム600、2010の一部である音叉または振動構造等の振動構造を患者の四肢上に設置し、患者に振動が停止したときを報告するように命令することによって試験されてもよい。いくつかの側面では、システム600、2010の振動構造は、ディスプレイデバイス60のフレーム80(
図9D)の一部に搭載されてもよい。一次感覚のさらなる診断的試験は、関節位置覚試験および2点弁別試験を含んでもよい。
【0205】
いくつかの実施形態では、システム600、2010(
図12、10)はさらに、消失を含む、患者の皮質感覚を評価し、特異的神経、神経根、および/または脊髄、脳幹、視床、または皮質の領域の病変を特定することに役立てるように構成されてもよい。診断的技法は、筆跡感覚試験(患者が患者の皮膚上にトレースされている文字または数を識別する能力)、立体認知試験(患者が触知感覚に基づいてオブジェクトを識別する能力)、および/または触知消失(患者が二重同時触知刺激を識別する能力)を含んでもよい。一次感覚試験からのデータは、次いで、皮質感覚試験からの結果と相関されてもよい。検出された体性感覚欠陥は、末梢神経、神経根、脊髄または脳幹の後柱または前外側感覚系、視床、または感覚皮質における病変を示すと解釈され得る。皮質感覚における欠陥に随伴する無傷の一次感覚は、対側感覚皮質における病変を示し得る一方、一次感覚における欠陥は、深刻な皮質病変を示すと解釈され得る。無傷一次感覚に随伴する消失は、右頭頂葉の病変、右前頭葉病変、皮質下病変、または左脳半球の病変を示し得る。
【0206】
検出された挙動的応答622に基づいて、システム600、2010(
図12、10)は、検出された応答と関連付けられた1つ以上の神経的状態を判定し得る。例えば、感覚喪失の徴候は、視神経脊髄炎等の神経系障害、ケネディ病等の運動障害、および/または脳腫瘍等の傷害を示し得る。感覚刺激の過敏性の検出された徴候は、感覚治療障害等の認知障害、外傷後ストレス障害等の挙動障害、自閉症スペクトラム障害等の発達障害、および/または偏頭痛等の傷害を示すと解釈され得る。感覚刺激の低過敏性の検出された徴候は、感覚処理障害等の認知障害および/または自閉症スペクトラム障害等の発達障害を示すと解釈され得る。
【0207】
本明細書に開示される分析の全てに関して、ディスプレイシステムは、分析の結果に関する予備結論を行うように構成されてもよいことを理解されたい。本予備結論は、1つ以上の可能性として考えられる状態が存在することの判定を含んでもよく、ユーザが1つ以上の可能性として考えられる状態を有する確率を提供してもよい。予備結論および/または任意の関連確率は、拡張現実コンテンツとして、可聴告知として、および/または仮想画像および/またはビデオとして、ユーザに提供されてもよい。これらの結論またはコンテンツのいずれかは、患者の履歴ファイルへの更新として記録されてもよいことを理解されたい。ディスプレイシステムはまた、ユーザによるフォローアップのための提案を提供し、および/または情報を臨床医に転送することによって、フォローアップを自動的に開始するように構成されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、任意の判定を行わず、単に、結論のさらなる分析および判定のために、情報を画像、オーディオファイル、ビデオファイル、または同等物の形態で、臨床医および/または別のコンピュータシステムに伝送するように構成されてもよい。さらに他の実施形態では、ディスプレイシステムは、予備結論を行うことと、さらなる分析のために、ユーザの画像を臨床医および/または他のコンピュータシステムに伝送することの両方を行うように構成されてもよい。
【0208】
周囲環境内の反射およびオブジェクトを検出するためのコンピュータビジョン
前述のように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して、遂行されてもよい。
【0209】
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの正面に面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を判定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および/または眼認識を実施し、ユーザの視野内の顔および/またはヒト眼の存在および場所を判定するように構成されてもよい。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola−Jonesアルゴリズム、Eigenfacesアプローチ、Lucas−Kanadeアルゴリズム、Horn−Schunkアルゴリズム、Mean−shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトル機械、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
【0210】
これらのコンピュータビジョン技法のうちの1つ以上のものはまた、他の環境センサ(例えば、マイクロホン等)から入手されたデータとともに使用され、センサによって検出されたオブジェクトの種々の性質を検出および判定してもよい。
【0211】
本明細書に議論されるように、周囲環境内のオブジェクトが、1つ以上の基準に基づいて、検出されてもよい。コンピュータビジョンアルゴリズムを使用して、または1つ以上のセンサアセンブリ(ディスプレイシステムの一部であってもよい、またはそうではなくてもよい)から受信されたデータを使用して、ディスプレイシステムが、周囲環境内の基準の存在または不在を検出すると、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
【0212】
加えて、または代替として、ディスプレイシステムは、ユーザの挙動(またはユーザのグループの挙動)に基づいて、環境内の反射および/またはオブジェクトの存在を識別するように学習してもよい。例えば、ディスプレイシステムは、ユーザまたはユーザのグループのあるアクションまたは挙動と周囲環境内に存在するあるオブジェクトを関連付けることによって、環境内のオブジェクトの存在を識別するように学習し、本関連付けを使用して、オブジェクトが存在するかどうかを予測してもよい。
【0213】
機械学習
種々の機械学習アルゴリズムが、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k−平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Generalization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されてもよい。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0214】
オブジェクトを検出するための基準は、1つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に合格したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定を伴ってもよい。例えば、閾値条件は、反射および/またはオブジェクトが環境内に存在することの尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および/またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および/または周囲環境とのユーザの相互作用に基づいて判定されてもよい。
【0215】
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストに特殊であってもよい。例えば、診断的コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答の検出に特殊であってもよい。別の実施例として、ディスプレイシステムは、顔認識アルゴリズムおよび/またはイベントトレースアルゴリズムを実行し、本明細書に議論されるように、刺激に対するユーザの反応を感知してもよい。
【0216】
本明細書に説明される、および/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0217】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理動および遠近調節の組み合わせに起因して、オブジェタスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0218】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(70)、遠隔治療モジュール(72)、および遠隔データリポジトリ(74)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0219】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
【0220】
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
【0221】
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
【0222】
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0223】
とりわけ、「〜できる(can)」、「〜し得る(could)」、「〜し得る(might)」、「〜し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【0224】
故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。