IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レズメド ピーティーワイ リミテッドの特許一覧

特表2022-535032拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法
<>
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図1
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図2A
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図2B
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図3
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図4
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図5A
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図5B
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図5C
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図6
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図7
  • 特表-拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-04
(54)【発明の名称】拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法
(51)【国際特許分類】
   G16H 20/00 20180101AFI20220728BHJP
   A61B 10/00 20060101ALI20220728BHJP
【FI】
G16H20/00
A61B10/00 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021571484
(86)(22)【出願日】2020-05-28
(85)【翻訳文提出日】2022-01-26
(86)【国際出願番号】 IB2020055081
(87)【国際公開番号】W WO2020240470
(87)【国際公開日】2020-12-03
(31)【優先権主張番号】62/855,457
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521504913
【氏名又は名称】レズメド ピーティーワイ リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】ペレラ、ボディヤバドゥゲ、ディミスリ ジョセフ
(72)【発明者】
【氏名】マシューズ、リサ
(72)【発明者】
【氏名】ドンケル、クレア
(72)【発明者】
【氏名】ダソス、ピーター
(72)【発明者】
【氏名】スピンク、コーリー、アンソニー
(72)【発明者】
【氏名】ソーンダーズ、フランシス、エリック
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA15
(57)【要約】
本開示によれば、例示的なデバイスが、ハウジングと、ARレンズと、プロジェクタと、メモリと、制御システムと、を提供する。制御システムおよびメモリは、ユーザが混乱している時期を判断する。制御システムはその後、ARレンズに向けられた見当識回復グラフィックを、プロジェクタを介して投射することを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、ユーザが生活を進めていく中で、リアルタイムの情報およびリマインダを提供する。この例示的なデバイスにより、ユーザが、見当識回復グラフィックの支援を受けて、これまでよりも高い自立性および健常な生活スタイルを維持できるようになる。
【選択図】図2A
【特許請求の範囲】
【請求項1】
ユーザが失見当識を克服するのを支援する方法であって、
ユーザ混乱指数を決定することと、
前記決定されたユーザ混乱指数が予め定めた閾値を満たしたことを受けて、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射をプロジェクタに放射させて、前記電磁放射が少なくとも部分的にARレンズで反射して前記ユーザの眼球に向けられるようにすることと、
を含む、方法。
【請求項2】
前記ARレンズが、前記ユーザの頭部に装着されるように構成されたフレームに連結される、請求項1に記載の方法。
【請求項3】
カメラを介して、前記ユーザの視野に概ね対応する1枚以上の画像として再現可能な画像データを生成することをさらに含む、請求項2に記載の方法。
【請求項4】
前記生成された画像データに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定することをさらに含む、請求項3に記載の方法。
【請求項5】
前記カメラの視野が前記補正レンズの光軸と略整合する、請求項3または請求項4に記載の方法。
【請求項6】
前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項4または請求項5に記載の方法。
【請求項7】
前記ユーザの前記頭部の前記移動成分が、前記ユーザが自身の頭を振っていること、周囲を見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項4~6のいずれか一項に記載の方法。
【請求項8】
前記ユーザの前記頭部の前記移動成分を前記推定することが、前記1枚以上の画像のうち2枚の画像に含まれる物体を特定することと、予め定めた時間間隔で生成された前記2枚の画像の間の前記物体の移動量を計算することと、を含む、請求項4~7のいずれか一項に記載の方法。
【請求項9】
前記拡張現実の見当識回復グラフィックがテキストベースの情報を含む、請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記テキストベースの情報が、前記ユーザの現在の任務を示す、請求項9に記載の方法。
【請求項11】
前記テキストベースの情報が、前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示す、請求項9または請求項10に記載の方法。
【請求項12】
前記拡張現実の見当識回復グラフィックが、拡張現実方向を含む、請求項1~11のいずれか一項に記載の方法。
【請求項13】
前記拡張現実の見当識回復グラフィックが、現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせを含む、請求項1~12のいずれか一項に記載の方法。
【請求項14】
前記拡張現実の見当識回復グラフィックが、現在のイベント情報を含む、請求項1~13のいずれか一項に記載の方法。
【請求項15】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧した新聞の一部分の描画を含む、請求項1~14のいずれか一項に記載の方法。
【請求項16】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報を含む、請求項1~15のいずれか一項に記載の方法。
【請求項17】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したウェブサイトの一部分の描画を含む、請求項1~16のいずれか一項に記載の方法。
【請求項18】
前記拡張現実の見当識回復グラフィックが、前記ユーザの視野内の人物の名前を特定する、請求項1~17のいずれか一項に記載の方法。
【請求項19】
前記拡張現実の見当識回復グラフィックが、前記ユーザと関連付けられた識別情報であって、前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む識別情報を含む、請求項1~18のいずれか一項に記載の方法。
【請求項20】
見当識回復音声メッセージとして前記ユーザに聞こえる音を、前記フレームに連結されたスピーカを介して発することをさらに含む、請求項2~19のいずれか一項に記載の方法。
【請求項21】
前記フレームに連結された心拍センサを介して心拍データを生成することをさらに含む、請求項2~20のいずれか一項に記載の方法。
【請求項22】
前記ユーザ混乱指数を前記決定することが、前記生成された心拍データに少なくとも部分的に基づく、請求項21に記載の方法。
【請求項23】
前記フレームに連結された皮膚伝導度センサを介して皮膚伝導度データを生成することをさらに含む、請求項2~22のいずれか一項に記載の方法。
【請求項24】
前記ユーザ混乱指数を前記決定することが、前記生成された皮膚伝導度データに少なくとも部分的に基づく、請求項23に記載の方法。
【請求項25】
システムであって、
1つ以上のプロセッサを含む制御システムと、
機械可読命令が記憶されたメモリと、を含み、
前記制御システムは、前記メモリへ連結され、請求項1~24のいずれか一項に記載の方法は、前記メモリ中の機械により実行可能な命令が前記制御システムの前記1つ以上のプロセッサのうち少なくとも1つによって実行されたときに実行される、
システム。
【請求項26】
ユーザが失見当識を克服するのを支援するシステムであって、
請求項1~24のいずれか一項に記載の方法を実施するように構成された制御システムを含む、システム。
【請求項27】
命令を含むコンピュータプログラム製品であって、
前記命令がコンピュータによって実行されると、請求項1~24のいずれか一項に記載の方法を前記コンピュータに実行させる、
コンピュータプログラム製品。
【請求項28】
前記コンピュータプログラム製品は、非一時的なコンピュータ可読媒体である、請求項27のコンピュータプログラム製品。
【請求項29】
ユーザが失見当識を克服するのを支援するシステムであって、
ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
前記ハウジングに取り付けられたARレンズと、
前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ARレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
機械可読命令を記憶するメモリと、
前記機械可読命令を実行するように構成された1つ以上のプロセッサを含む制御システムと、を備え、
前記機械可読命令は、
ユーザ混乱指数を決定し、
前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
システム。
【請求項30】
前記ハウジングに連結され、画像データを生成するように構成されているカメラをさらに備える、請求項29に記載のシステム。
【請求項31】
前記制御システムが、前記生成された画像データに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定するようにさらに構成され、前記ユーザ混乱指数の前記決定が、前記推定された移動成分に少なくとも部分的に基づく、請求項30に記載のシステム。
【請求項32】
前記ハウジングに連結され、前記ユーザの前記頭部の動きを示すモーションデータを生成するように構成されているモーションセンサをさらに備える、請求項29~31のいずれか一項に記載のシステム。
【請求項33】
前記ユーザ混乱指数の決定が、前記生成されたモーションデータに少なくとも部分的に基づく、請求項32に記載のシステム。
【請求項34】
前記ユーザ混乱指数を前記決定することが、前記生成されたモーションデータに少なくとも部分的に基づいて前記ユーザの前記頭部の移動成分を推定することを含む、請求項32に記載のシステム。
【請求項35】
前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項34に記載のシステム。
【請求項36】
前記ユーザの前記頭部の前記移動成分が、前記ユーザが頭を振っていること、周りを見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項34に記載のシステム。
【請求項37】
前記ユーザ混乱指数を前記決定することが、前記生成されたモーションデータに少なくとも部分的に基づいて前記ユーザの歩行移動を推定することを含む、請求項32~36のいずれか一項に記載のシステム。
【請求項38】
前記モーションセンサが、ジャイロスコープまたは加速度計である、請求項32~37のいずれか一項に記載のシステム。
【請求項39】
前記ハウジングが、工具を使用することなく前記フレームから取り外し可能である、請求項29~38のいずれか一項に記載のシステム。
【請求項40】
前記ハウジングが前記フレームに恒久的に連結されている、請求項29~38のいずれか一項に記載のシステム。
【請求項41】
前記制御システムが、前記フレームに沿った前記ハウジングの位置に基づいて前記プロジェクタを較正するようにさらに構成されている、請求項29~40のいずれか一項に記載のシステム。
【請求項42】
前記拡張現実の見当識回復グラフィックが、(i)前記ユーザの現在の任務を示すテキストベースの情報、(ii)前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示すテキストベースの情報、(iii)拡張現実方向、(iv)現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせ、(v)現在のイベント情報、(vi)前記ユーザが以前に閲覧した新聞の一部分の描画、(vii)前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報、(viii)前記ユーザが以前に閲覧したウェブサイトの一部分の描画、(ix)前記ユーザの視野内にいる人物の名前を特定する情報、(x)前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む、前記ユーザと関連付けられた識別情報、(xi)または(i)~(x)の任意の組み合わせ、を含む、請求項29~41のいずれか一項に記載のシステム。
【請求項43】
前記ハウジングに連結され、画像データを生成するように構成されたカメラと、
前記ハウジングに接続され、モーションデータを生成するように構成されたモーションセンサと、
をさらに備え、
前記制御システムが、前記生成された画像データに少なくとも部分的に基づいて、かつ前記生成されたモーションデータに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定するようにさらに構成されている、請求項29に記載のシステム。
【請求項44】
前記ユーザ混乱指数の決定が、前記推定された移動成分に少なくとも部分的に基づく、請求項43に記載のシステム。
【請求項45】
前記ハウジングに連結され、心拍データを生成するように構成されている心拍センサをさらに備える、請求項29~44のいずれか一項に記載のシステム。
【請求項46】
前記ユーザ混乱指数の前記決定が、前記生成された心拍データに少なくとも部分的に基づく、請求項45に記載のシステム。
【請求項47】
前記心拍データが、前記ユーザの心拍数、吸気と排気との間での前記ユーザの心拍数の変動、またはその両方を示す、請求項45または請求項46に記載のシステム。
【請求項48】
前記ハウジングに連結され、皮膚伝導度データを生成するように構成された皮膚伝導度センサをさらに備える、請求項29~47のいずれか一項に記載のシステム。
【請求項49】
前記ユーザ混乱指数の前記決定が、生成された皮膚伝導度データに少なくとも部分的に基づく、請求項48に記載のシステム。
【請求項50】
前記ハウジングに接続され、画像データを生成するように構成されたカメラと、
前記ハウジングに接続され、モーションデータを生成するように構成されたモーションセンサと、
前記ハウジングに連結され、心拍データを生成するように構成された心拍センサと、
前記ハウジングに接続され、皮膚伝導度データを生成するように構成された皮膚伝導度センサと、
をさらに備え、
前記ユーザ混乱指数の前記決定が、(i)前記生成された画像データ、(ii)前記生成されたモーションデータ、(iii)前記生成された心拍データ、(iv)前記生成された皮膚伝導度データ、または(v)(i)~(iv)の任意の組み合わせに少なくとも部分的に基づく、請求項29に記載のシステム。
【請求項51】
ユーザが失見当識を克服するのを支援するシステムであって、
内部で補正レンズを支持し、ユーザの頭部に装着されるように構成され、前記ユーザの前記頭部に装着されたときに、前記補正レンズを前記ユーザの眼球に隣接して位置付けるようになっているフレームに連結されるように構成されたハウジングと、
前記ハウジングに連結され、前記ユーザの視野に概ね対応する1枚以上の画像として再現可能な画像データを生成するように構成されたカメラと、
前記ハウジングが前記フレームに連結されたときに、前記補正レンズの外側表面に隣接して位置付けられるように前記ハウジングに連結されたARレンズと、
前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ARレンズに少なくとも部分的に反射し、前記補正レンズを通じて前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
機械可読命令を記憶するメモリと、
前記機械可読命令を実行するように構成された1つ以上のプロセッサを含む制御システムと、を備え、
前記機械可読命令は、
前記生成された画像データに少なくとも部分的に基づいて前記ユーザの前記頭部の移動成分を推定し、
前記推定された移動成分に少なくとも部分的に基づいてユーザ混乱指数を決定し、
前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
システム。
【請求項52】
前記ハウジングが、工具を使用することなく前記フレームから取り外し可能である、請求項51に記載のシステム。
【請求項53】
前記ハウジングが前記フレームに恒久的に連結されている、請求項51に記載のシステム。
【請求項54】
前記カメラの視野が前記補正レンズの光軸と略整合する、請求項51~53のいずれか一項に記載のシステム。
【請求項55】
前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項51~54のいずれか一項に記載のシステム。
【請求項56】
前記ユーザの前記頭部の前記移動成分が、前記ユーザが頭を振っていること、周囲を見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項51~55のいずれか一項に記載のシステム。
【請求項57】
前記ユーザの前記頭部の前記移動成分を前記推定することが、前記1枚以上の画像のうち2枚の画像に含まれる物体を特定することと、予め定めた時間間隔で生成された前記2枚の画像の間の前記物体の移動量を計算することと、を含む、請求項51~56のいずれか一項に記載のシステム。
【請求項58】
前記ハウジングに連結された深度センサをさらに備え、前記深度センサが、前記ユーザの前記視野において、前記ハウジングから物体までの距離を測定するように構成されている、請求項51~57のいずれか一項に記載のシステム。
【請求項59】
前記拡張現実の見当識回復グラフィックがテキストベースの情報を含む、請求項51~58のいずれか一項に記載のシステム。
【請求項60】
前記テキストベースの情報が、前記ユーザの現在の任務を示す、請求項59に記載のシステム。
【請求項61】
前記テキストベースの情報が、前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示す、請求項59に記載のシステム。
【請求項62】
前記拡張現実の見当識回復グラフィックが拡張現実方向を含む、請求項51~61のいずれか一項に記載のシステム。
【請求項63】
前記拡張現実の見当識回復グラフィックが、現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせを含む、請求項51~62のいずれか一項に記載のシステム。
【請求項64】
前記拡張現実の見当識回復グラフィックが現在のイベント情報を含む、請求項51~63のいずれか一項に記載のシステム。
【請求項65】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧した新聞の一部分の描画を含む、請求項51~64のいずれか一項に記載のシステム。
【請求項66】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報を含む、請求項51~65のいずれか一項に記載のシステム。
【請求項67】
前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したウェブサイトの一部分の描画を含む、請求項51~66のいずれか一項に記載のシステム。
【請求項68】
前記拡張現実の見当識回復グラフィックが、前記ユーザの視野内の人物の名前を特定する、請求項51~67のいずれか一項に記載のシステム。
【請求項69】
前記拡張現実の見当識回復グラフィックが、前記ユーザと関連付けられた識別情報であって、前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む識別情報を含む、請求項51~68のいずれか一項に記載のシステム。
【請求項70】
前記ハウジングに連結されたスピーカをさらに備え、前記スピーカが、見当識回復音声メッセージとして前記ユーザに聞こえる音を発するように構成されている、請求項51~69のいずれか一項に記載のシステム。
【請求項71】
前記決定されたユーザ混乱指数が前記予め定めた閾値を満たしたときに、前記制御システムが前記機械可読命令を実行して、前記見当識回復音声メッセージが前記ユーザに聞こえるように前記スピーカに前記音を発出させるようにさらに構成されている、請求項70に記載のシステム。
【請求項72】
前記見当識回復音声メッセージが拡張現実見当識回復グラフィックに対応する、請求項70または71に記載のシステム。
【請求項73】
前記見当識回復音声メッセージが、拡張現実見当識回復グラフィックに含まれるテキストベースの情報の読み上げを含む、請求項70~72のいずれか一項に記載のシステム。
【請求項74】
前記制御システムが、前記フレームに沿った前記ハウジングの位置に基づいて前記プロジェクタを較正するようにさらに構成されている、請求項51~73のいずれか一項に記載のシステム。
【請求項75】
ARレンズがプリズムである、請求項51~74のいずれか一項に記載のシステム。
【請求項76】
前記補正レンズが、度数ゼロのプラノレンズである、請求項51~74のいずれか一項に記載のシステム。
【請求項77】
ユーザが失見当識を克服するのを支援するシステムであって、
ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
前記ハウジングに連結され、前記ユーザの視野に概ね対応する1枚以上の画像として再現可能な画像データを生成するように構成されたカメラと、
前記ハウジングに接続され、1つ以上の音声クリップとして再現可能な音声データを生成するように構成されたマイクロフォンと、
前記ハウジングに連結されたARレンズと、
前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ARレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
前記ハウジングに連結され、前記ユーザに聞こえる音を見当識回復音声クリップとして発出するように構成されたスピーカと、
機械可読命令を記憶するメモリと、
前記機械可読命令を実行するように構成された1つ以上のプロセッサを含む制御システムと、を備え、
前記機械可読命令は、
前記拡張現実の見当識回復グラフィックと前記見当識回復音声クリップと含む見当識回復スキームを生成し、
ユーザ混乱指数を決定し、
前記決定されたユーザ混乱指数が予め定めた閾値を満たしたときに前記見当識回復スキームを前記ユーザに提示する、
システム。
【請求項78】
前記拡張現実の見当識回復グラフィックが、前記ユーザの前記視野に概ね対応する前記1枚以上の画像に基づく、請求項77に記載のシステム。
【請求項79】
前記見当識回復音声クリップが前記1つ以上の音声クリップに基づく、請求項77または請求項78に記載のシステム。
【請求項80】
前記見当識回復スキームが、前記ユーザによって行われる活動を表す、請求項77~79のいずれか一項に記載のシステム。
【請求項81】
前記活動が前記ユーザによって行われてから24時間以内に前記見当識回復スキームが前記ユーザに提示される、請求項80に記載のシステム。
【請求項82】
前記活動が、新聞を読むこと、食べ物を食べること、雑用を行うこと、会話をすること、歩くこと、ウェブサイトを閲覧すること、電子メールを作成すること、手紙を書くこと、ペットに餌を与えること、またはそれらの任意の組み合わせを含む、請求項80または請求項81に記載のシステム。
【請求項83】
前記ユーザに対する前記見当識回復スキームの前記提示が、(i)前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように、前記プロジェクタに前記電磁放射を発出させることと、(ii)前記スピーカに前記見当識回復音声クリップを再生させることと、を含む、請求項77~82のいずれか一項に記載のシステム。
【請求項84】
前記カメラがビデオカメラであり、前記画像データが1つ以上の映像クリップとして再現可能である、請求項77~83のいずれか一項に記載のシステム。
【請求項85】
ユーザが失見当識を克服するのを支援するシステムであって、
ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
前記ハウジングに接続され、画像データを生成するように構成されたカメラと、
前記ハウジングに連結されたARレンズと、
前記ハウジングに連結され、前記ARレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように電磁放射を発出するように構成されているプロジェクタと、
機械可読命令を記憶するメモリと、
前記機械可読命令を実行するように構成された1つ以上のプロセッサを含む制御システムと、を備え、
前記機械可読命令は、
ユーザ混乱指数を決定し、
前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、対話型の拡張現実ゲームが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
システム。
【請求項86】
前記制御システムが、(i)前記対話型の拡張現実ゲームと関連付けられた前記ユーザからの入力を検出し、(ii)前記入力の前記検出を受けて、前記ユーザに視認される前記対話型の拡張現実ゲームの1つ以上の態様を修正する、ために前記機械可読命令を実行するようにさらに構成されている、請求項85に記載のシステム。
【請求項87】
前記ユーザ混乱指数が前記予め定めた閾値を満たしているという判定が、前記ユーザが失見当識に現在陥っていることを示す、請求項85または86に記載のシステム。
【請求項88】
前記ユーザ混乱指数が予め定めた閾値を満たしているという判定が、前記ユーザが予め定めた時間内に失見当識に陥る可能性が高いことを示す、請求項85または86に記載のシステム。
【請求項89】
前記予め定めた時間が約5分である、請求項88に記載のシステム。


【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
本出願は、2019年5月31日に出願された米国仮出願第62/855,457号の恩恵と優先権を主張する。その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、認知機能の低下に関するものであり、より具体的には、拡張現実を用いて認知機能の低下の影響を最小化するためのシステムおよび方法に関するものである。
【背景技術】
【0003】
人口の高齢化は、その速度を増しており、認知症など、認知機能が低下した状態で生活している人の数が増えている。高齢者介護施設は、人口増に十分に対応できていない。そのため、高齢患者の家族が、高齢化に伴う責任および費用の多くを負担している。加えて、世界全体で、医療全般が病院から家庭へと移行しており、それによって家族の負担が増す。
【0004】
認知機能低下の各種段階を経験している人には、愛する人を思い出すことや、その人と連絡を取ることができない、日常生活(服薬や家事など)を遂行できない、新しい場所に行けないなど、数々の問題が生じる。中でもアルツハイマー病に関しては、推定5,000万人が認知症を患っているにもかかわらず、有効な診断法や治療法がなく、医療費が世界全体で約1兆米ドルと推定されている。この費用は、高齢患者の増加によって増えていくことが予想される。従来の製品では高齢の認知症患者をサポートできないため、認知症患者は常に見守る必要がある。一部の状況では、認知症や認知機能の低下を患う高齢患者を家族が十分に見守れないために、患者を必要以上に早く高齢者施設で生活させている。これにより、家計および医療制度が圧迫される。
【0005】
従来の製品には、高齢患者の介護者が負う幅広い介護責任を効果的に支援するものがない。加齢の影響に対する従来の治療および管理の選択肢は、薬剤による方策が主体である。しかし、これまでの薬物研究では、(1)顔の認識、(2)混乱/不見当識、(3)現在の作業課題の忘却など、認知機能の低下に伴う主症状に対する効果的で信頼できる方策を開発できていない。従来の製品では、採算を取りながら巧妙で一体的に十分な支援を提供することができない。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、ARレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。ハウジングには、ARレンズおよびプロジェクタが連結されている。プロジェクタは、ARレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された1つ以上のプロセッサを含む。これらのステップは、ユーザ混乱指数を決定することを含む。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、拡張現実の見当識回復グラフィックがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。
【0007】
本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、ARレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、補正レンズを支持するフレームに連結されるように構成されている。頭部に装着されると、フレームは補正レンズを眼球に隣接させて位置付ける。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する1枚以上の画像として再現可能である。ARレンズはハウジングに連結されており、ハウジングがフレームに連結されると、ARレンズは補正レンズの外面に隣接する。プロジェクタは、補正レンズを通じてARレンズに少なくとも部分的に反射し、ユーザの眼球に向けられる電磁放射を発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された1つ以上のプロセッサを含む。これらのステップは、生成された画像データに少なくとも部分的に基づいて、ユーザの頭部の移動成分を推定することを含む。これらのステップはその後、推定された移動成分に少なくとも部分的に基づいてユーザ混乱指数を生成することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、拡張現実の見当識回復グラフィックがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。
【0008】
本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、マイクロフォンと、ARレンズと、プロジェクタと、スピーカと、メモリと、制御システムと、を備える。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する1枚以上の画像として再現可能である。マイクロフォンはハウジングに連結されており、音声クリップとして再現可能である音声データを生成する。ハウジングには、ARレンズおよびプロジェクタが連結されている。プロジェクタは、ARレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。スピーカはハウジングに連結されており、ユーザに聞こえる音を見当識回復音声クリップとして発する。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された1つ以上のプロセッサを含む。これらのステップは、拡張現実の見当識回復グラフィックと見当識回復音声クリップとを含む見当識回復スキームを生成することを提供する。これらのステップはその後、ユーザ混乱指数を決定することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに見当識回復スキームをユーザに提示することを提供する。
【0009】
本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、ARレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する1枚以上の画像として再現可能である。ハウジングには、ARレンズおよびプロジェクタが連結されている。プロジェクタは、ARレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された1つ以上のプロセッサを含む。これらのステップでは、ユーザ混乱指数を決定することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、対話型の拡張現実ゲームがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。
【0010】
本開示の上述および追加の態様および実装形態は、様々な実施形態および/または実装形態についての詳細な説明を、図面を参照しながら鑑みることにより、当業者にとって明らかになるであろう。それらの図面の簡単な説明を次に示す。
本開示の上記および他の利点は、以下の詳細な説明を読み、図面を参照すれば明らかとなるであろう。
【図面の簡単な説明】
【0011】
図1】本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なシステムの図である。
図2A】本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なデバイスの斜視図である。
図2B図2Aのデバイスの分解図である。
図3】本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能な一体的なデバイスの部分斜視図である。
図4】本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なシステムを表した図である。
図5A】本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。
図5B】本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。
図5C】本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。
図6】本開示のいくつかの実装形態に係る、見当識回復グラフィックを表示するプロセスのフローチャートである。
図7】本開示のいくつかの実装形態に係る、ユーザの動きに基づいて見当識回復グラフィックを表示するプロセスのフローチャートである。
図8】本開示のいくつかの実装形態に係る、見当識回復スキームを生成および表示するプロセスのフローチャートである。
【発明を実施するための形態】
【0012】
本開示は、混乱期間中にユーザの見当識を回復させるためのシステムおよび方法を提供することにより、高齢患者および/または認知機能が低下した人を介護するという課題に対処する。本開示によれば、例示的なデバイスが、ハウジングと、ARレンズと、プロジェクタと、メモリと、制御システムと、を提供する。制御システムおよびメモリは、ユーザが混乱している時期を判断する。制御システムはその後、ARレンズに向けられた見当識回復グラフィックを、プロジェクタを介して投射することを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、ユーザが生活を進めていく中で、リアルタイムの情報およびリマインダを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、人が視界に入ってきたときに、その人の名前およびそのユーザとの関係などの情報を含める。他の実施例においては、この見当識回復グラフィックが、ユーザの中で特定の感情を促すことを意図した情報(例えば、ユーザを落ち着かせるための鎮静画像や馴染みの顔など)を含める。
【0013】
そのため、本開示は、ユーザが、1つ以上の見当識回復グラフィックおよび/またはスキームの支援を受けて、これまでよりも高い自立性および健常な生活スタイルを維持できるようにする。本開示の例示的なデバイスは、本明細書でさらに述べられている他の機能のうち、不安および混乱を検出することと、ユーザのルーチンを学習することと、保護システムに継続的にアクセスすることと、アラートを提供することと、ユーザが支援を必要としていることを外部の人々に通知することと、ユーザの動きを追跡することと、をさらに提供する。
【0014】
図1を参照すると、ユーザが失見当識を克服するのを支援可能なシステム100は、フレーム102、AR(拡張現実)レンズ104、プロジェクタ106、補正レンズ108、カメラ110、全地球測位システム(GPS)センサ112、スピーカ114、マイクロフォン116、少なくとも1つの他のセンサ118、伝導度センサ120、モーションセンサ122、心拍センサ124、メモリ126、制御システム128、ハウジング130、またはそれらの任意の組み合わせを含む。
【0015】
フレーム102は、システム100をユーザに固定するために設計された構造要素である。いくつかの実装形態においては、フレーム102が、1つ以上の物体をユーザに固定するのに使用できるアイピースフレーム(例えば、眼鏡フレーム)、腕時計のストラップ/バンド、ヘッドギア/ストラップなど、または任意の他の要素である。いくつかの実装形態においては、フレーム102がハウジング130に連結されている。ハウジング130は、(例えば、図2Bに関してさらに述べられているとおり、)接続要素によってフレーム102に機械的に連結している。いくつかの実装形態においては、ARレンズ104、プロジェクタ106、補正レンズ108、カメラ110、全地球測位システム(GPS)センサ112、スピーカ114、マイクロフォン116、少なくとも1つの他のセンサ118、伝導度センサ120、モーションセンサ122、心拍センサ124、メモリ126、および制御システム128が、ハウジング130上および/またはハウジング130内に配置されるか、他の方法でハウジング130に連結されている。いくつかの他の実装形態においては、これらの要素の任意の組み合わせが、フレーム102上および/またはフレーム102内に配置されるか、他の方法でフレーム102に直接的および/または間接的に連結されている。システム100のいくつかの実装形態においては、少なくとも1つの他のセンサ118、伝導度センサ120、モーションセンサ122、および心拍センサ124のうちのいずれかが2つ以上存在し得る。いくつかの実装形態においては、ハウジング130が、フレーム102に容易に取り外し可能に連結されている。他の実施例においては、ハウジング130がフレーム102に容易に取り外し可能に連結されていない(例えば、恒久的に連結されている)ため、例えば、ハウジング130を取り外すのに、フレーム102および/またはハウジング130を破壊する必要がある。
【0016】
ARレンズ104は、プリズムであるか、プリズムを含む。いくつかの実装形態においては、ARレンズ104が、プロジェクタ106からの電磁放射を補正レンズ108に向けるように位置付けられている。いくつかの実装形態においては、ARレンズ104が、電磁放射を補正レンズ108によってユーザから遠ざけるように伝送し、他の実施例においては、ARレンズ104が、電磁放射を補正レンズ108から離れてユーザの方に(例えば、ユーザの眼球の方に)向かうように伝送させる。
【0017】
補正レンズ108はフレーム102に連結されており、ユーザの目/眼球の前に位置付けられるように構成されている。いくつかの実装形態においては、補正レンズ108が、ユーザに視覚的支援を提供し、他の実施例においては、補正レンズ108が、度数ゼロのプラノレンズである。
【0018】
制御システム128は、プロジェクタ106、カメラ110、GPSセンサ112、スピーカ114、マイクロフォン116、少なくとも1つの他のセンサ118、伝導度センサ120、モーションセンサ122、心拍センサ124、メモリまたはメモリデバイス126、またはそれらの任意の組み合わせと通信可能に連結することができる。制御システム128は、これらの様々な要素に、それらの様々な特性に応じてデータを収集するように命令するように構成されている。制御システム128は、(例えば、図3および図4に関してさらに述べられているとおり、)収集されたデータをメモリ126に記憶すること、および/または収集されたデータを外部コンピューティングデバイスに送信すること、をさらに提供することができる。いくつかの実装形態においては、少なくとも1つの他のセンサ118が、システム100の位置を特定する(それによって、システム100と関連付けられたユーザの位置を特定する)ように構成されたGPSセンサである。他の実施例においては、少なくとも1つのセンサ118が、ハウジング130から、ユーザの視野内にある物体までの距離を測定するように構成された深度センサである。
【0019】
制御システム128は、1つ以上のプロセッサ129を含む。制御システム128は概して、システム100の様々な構成要素を制御(例えば、作動)し、かつ/またはシステム100の構成要素によって取得および/または生成されたデータを分析するのに使用される。プロセッサ128は、汎用または特殊用途のプロセッサまたはマイクロプロセッサであり得る。図1には1個のプロセッサ129が示されているが、制御システム128は、単一のハウジング内に存在し得るか、互いに離れて位置し得る任意の適切な数のプロセッサ(例えば、1個のプロセッサ、2個のプロセッサ、5個のプロセッサ、10個のプロセッサなど)を含み得る。制御システム128は、例えば、ハウジング130またはフレーム102に連結すること、および/またはその中に位置付けることができる。制御システム128は、(1つのかかるハウジング内に)集中させるか、(物理的に別個である2つ以上のかかるハウジング内に)分散させることができる。制御システム128を格納する2つ以上のハウジングを含むかかる実装形態においては、かかるハウジングが、互いに近接して、かつ/または遠隔に位置することができる。
【0020】
メモリ126は、制御システム128のプロセッサ129によって実行可能な機械可読命令を記憶する。メモリ126は、例えば、ランダムまたはシリアルアクセスメモリデバイス、ハードドライブ、ソリッドステートドライブ、フラッシュメモリデバイスなど、任意の適切なコンピュータ可読ストレージデバイスまたはメディアであり得る。図1には1つのメモリ126が示されているが、システム100は、任意の適切な数のメモリデバイス(例えば、1個のメモリデバイス、2個のメモリデバイス、5個のメモリデバイス、10個のメモリデバイスなど)を含み得る。メモリ126は、フレーム102またはハウジング130に連結すること、および/またはその中に位置付けることができる。制御システム128と同様に、メモリ126は、(1つのかかるハウジング内に)集中させるか、(物理的に異なる2つ以上のかかるハウジング内に)分散させることができる。
【0021】
いくつかの実装形態においては、メモリ126(図1)が、ユーザと関連付けられたユーザプロファイルを記憶する。ユーザプロファイルは、例えば、ユーザと関連付けられた人口統計情報、ユーザと関連付けられたバイオメトリック情報、ユーザと関連付けられた医療情報、自己申告によるユーザフィードバック、ユーザと関連付けられた睡眠パラメータ(例えば、1つ以上の以前の睡眠セッションから記録された睡眠関連パラメータ)、またはそれらの任意の組み合わせを含み得る。人口統計情報は、例えば、ユーザの年齢、ユーザの性別、ユーザの人種、家族の不眠症歴、ユーザの雇用状況、ユーザの教育状況、ユーザの社会経済的状況、またはそれらの任意の組み合わせを示す情報を含み得る。医療情報は、例えば、ユーザと関連付けられた1つ以上の病状、ユーザによる薬の使用状況、またはその両方を示すものを含み得る。医療情報データは、反復睡眠潜時検査(MSLT)の検査結果またはスコアおよび/もしくはピッツバーグ睡眠質問票(PSQI)のスコアまたは値をさらに含み得る。自己申告によるユーザフィードバックは、自己申告による主観的な睡眠スコア(劣悪、普通、良好など)、自己申告によるユーザの主観的なストレスレベル、自己申告によるユーザの主観的な疲労レベル、自己申告によるユーザの主観的な健康状態、ユーザが経験した最近のライフイベント、またはそれらの任意の組み合わせを示す情報を含み得る。
【0022】
プロジェクタ106は、制御システム128からの指示に応じて電磁放射を発出するように構成されている。プロジェクタ106は、テキスト、画像、ゲーム、またはその他の視覚的表示であり得るグラフィックとしてユーザに提示する電磁放射を発出するように構成されている。いくつかの実装形態においては、プロジェクタ106が、ユーザの網膜に向かって直接電磁放射を送る。いくつかの実装形態においては、プロジェクタ106が、可視光を発出するように構成された低強度のレーザであり、かつ/またはそのレーザを含む。
【0023】
カメラ110は、例えば1つ以上の映像クリップを含む1つ以上の画像および/または映像データを記録するように構成されている。いくつかの実装形態においては、カメラ110が、補正レンズ108の光軸と略整合するようにフレーム102上に位置付けられている。マイクロフォン116は、音声データを記録するように構成されている。制御システム128は、カメラ110および/またはマイクロフォン116の記録を開始および停止することを提供する。スピーカ114は、制御システム128からの命令を受けて音声データを発出するように構成されている。いくつかの実装形態においては、スピーカ114およびマイクロフォン116が、ユーザに聴覚的なインターフェースを提供するために連動する。かかる聴覚インターフェースは、マイクロフォン116を介してユーザから音声を受信し、制御システム128でその音声データを処理し、その音声データに基づいて聴覚応答を決定し、スピーカ114を介して聴覚応答を提供することができる。
【0024】
システム100は、システム100のユーザと関連付けられたデータを収集するように構成された複数のセンサをさらに含む。図1には特定のセンサが示されているが、任意のバイオメトリックセンサ(例えば、他のセンサ(複数可)118)をシステム100に含めることができる。特に、システム100は、ユーザの電気皮膚活動を測定するように構成された伝導度センサ120を含み得る。
【0025】
システム100は、システム100の動きを測定するように構成されたモーションセンサ122をさらに含み得る。システム100がユーザの頭部に装着されると、モーションセンサ122が、ユーザの頭部の移動に関連するモーションデータを生成する。例えば、制御システム128は、モーションセンサ122からのデータに基づいて、ユーザが転倒した時期を判断する。いくつかの実装形態においては、モーションセンサ122が加速度計またはジャイロスコープである。
【0026】
システム100は、ユーザの心拍数を測定し、心拍データを生成するように構成された心拍センサ124を付加的に含み得る。いくつかの実装形態においては、この心拍データが、(1)ユーザの心拍数、(2)吸気と排気との間でのユーザの心拍数の変動、または(3)吸気中の心拍数および心拍数の変動の両方を示す。
【0027】
そのため、センサ(例えば、他のセンサ(複数可)118、伝導度センサ120、モーションセンサ122、および心拍センサ124)は、患者の生体情報(心拍数、呼吸、身体移動など)、所在地、および/またはストレスレベルの指標を提供する目的で分析可能なデータを提供する。いくつかの実装形態においては、センサ118、120、122、および124によって収集されたデータにより、ユーザの混乱および/またはパニックが検出および/または監視される。そのため、システム100は、ユーザをリアルタイムで監視することができ、いくつかの実装形態においては、混乱エピソードを予測する。
【0028】
いくつかの実装形態においては、システム100が、腕時計、眼鏡、スマートフォンであるか、かつ/またはそれらを含み、かつ/もしくはユーザの衣類(例えば、ヘッドバンド、帽子、シャツ、パンツ、ショートパンツなど、またはそれらの任意の組み合わせ)に組み込まれている。そのため、システム100は、ユーザデータを収集し、収集したデータに基づいてプロジェクタ106に命令を出すことができる。プロジェクタに命令を出すさらなるシステム例および方法について、本明細書でさらに述べる。
【0029】
図2Aおよび図2Bを遍く参照すると、ユーザが失見当識を克服するのを支援可能なデバイス200が、ハウジング202と、フレーム204と、ARレンズ206と、プロジェクタ208と、一対の補正レンズ210と、カメラ212と、を含んでいる。いくつかの実装形態においては、デバイス200の要素が、システム100の要素に対応し、図1を用いて上述したとおりに提供されている。例えば、ハウジング202は、図1のハウジング130と同一または同様であり、フレーム204は、図1のフレーム102と同一または同様であり、ARレンズ206は、図1のARレンズ104と同一または同様であり、プロジェクタ208は、図1のプロジェクタ106と同一または同様であり、補正レンズ210は、図1の補正レンズ108と同一または同様であり、カメラ212は、図1のカメラ110と同一または同様である。
【0030】
プロジェクタ208は、ハウジング202の内側部分に位置付けられている低強度のレーザである。プロジェクタ208は、ARレンズ206から反射した光を、例えば1つ以上の見当識回復グラフィックとして、デバイス200のユーザに視認される形で投射することができる。いくつかの実装形態においては、ARレンズ206が、補正レンズ210を介してデバイス200のユーザの目に光を投射する。他の実装形態においては、ARレンズ206が、ユーザから遠ざかるように光を投射し、ユーザは、その投射光を補正レンズ210越しに見る。
【0031】
補正レンズ210は、デバイス200のユーザを視覚的に支援することができる。いくつかの実装形態においては、この補正レンズが、度数ゼロのプラノレンズである。いくつかの他の実装形態においては、補正レンズ210が、度数がゼロでない処方補正レンズである。
【0032】
図2Bを参照すると、デバイス200はコネクタ要素214を含む。コネクタ要素214としては、ハウジング202およびフレーム204を取り外し可能に連結するように構成された任意の機械的コネクタを挙げることができる。図2Bに示すとおり、コネクタ要素214は、ハウジング202をフレーム204に取り外し可能に保持するために、内部にフレーム204の一部分を受容するように構成された可撓性のクリップ要素である。他の実装形態においては、コネクタ要素214として、面ファスナ、スナップ、オスおよびメスのコネクタ、磁石、接着要素、または任意の他の機械的コネクタ、もしくはそれらの任意の組み合わせを挙げることができる。コネクタ要素214により、外部工具を使用することなく、ハウジング202をフレーム204と取り外し可能に連結することができる。いくつかの実装形態においては、コネクタ要素214が、異なるサイズおよび/またはスタイルのフレーム204を内部に受容するように調整可能である。ハウジング202(およびそれに連結された要素)は、ユーザの一対のメガネと一体化し、特別に製造された一対のARメガネを必要とはしないものと理解される。
【0033】
いくつかの実装形態においては、プロジェクタ208が、補正レンズ210からのハウジング202の位置および/またはフレーム204に沿ったハウジング202の位置に基づいて電磁放射を較正するように構成されている。例えば、プロジェクタ208は電磁放射を投射し、カメラ212は、電磁放射がシステムのユーザに視認された時期を検出する。プロジェクタ208およびカメラ212は、プロジェクタ208が電磁放射を保護してからカメラ212が電磁放射を検出するまでの時間に基づいて、ハウジング202の位置を判断する外部および/または内部のコンピューティングデバイスに通信可能に連結することができる。いくつかの実装形態においては、デバイス200が、深度センサと補正レンズ210との間の距離を測定するように構成された深度センサをさらに含む。深度センサは、補正レンズ210に面するようにハウジング202の前縁沿いに位置付けることができる。
【0034】
図3を参照すると、一体的なデバイス300は、マイクロフォン302と、プロジェクタ304と、スピーカ306と、心拍センサ308と、接続要素310と、GPSセンサ312と、加速度計314と、皮膚伝導度センサ316と、カメラ318と、フレーム320と、補正レンズ322と、を含んでいる。いくつかの実装形態においては、デバイス300の要素が、システム100の要素に対応し、図1を用いて上述したとおりに提供されている。例えば、マイクロフォン302は、図1のマイクロフォン116と同一または同様であり、プロジェクタ304は、図1のプロジェクタ106と同一または同様であり、スピーカ306は、図1のスピーカ114と同一または同様であり、心拍センサ308は、図1の心拍センサ124と同一または同様であり、GPSセンサ302は、図1のGPSセンサ116と同一または同様であり、 加速度計314は、図1のモーションセンサ122と同一または同様であり、カメラ314は、図1のカメラ110と同一または同様であり、フレーム320は、図1のフレーム102と同一または同様であり、補正レンズ322は、図1の補正レンズ108と同一または同様である。
【0035】
一体的なデバイス300の要素は、フレーム320に恒久的に一体化されている。そのため、デバイス300は使いやすい一体型デバイスであり、ユーザが、デバイス300を操作する前に、別個のデバイス(例えば、デバイス200)を別個のフレーム(例えば、フレーム204)に接続する必要がない。
【0036】
接続要素310は、任意の無線接続通信モジュールである。いくつかの実装形態においては、接続要素310が、Wi-Fi、Bluetooth(登録商標)、無線周波数、または任意の他の無線接続を介して通信する。いくつかの実装形態においては、接続要素310が有線通信用のポートである。いくつかの実装形態においては、接続要素310が、マイクロフォン302、プロジェクタ304、スピーカ306、心拍センサ308、GPSセンサ312、加速度計314、皮膚伝導度センサ316、またはそれらの任意の組み合わせに直接連結されている。接続要素310は、一体的なデバイス300の要素によって収集されたデータを、外部コンピューティングデバイス(非図示)に直接的および/または間接的に送信することができる。いくつかの実装形態においては、接続要素310がさらに、外部コンピューティングデバイス(非図示)から一体的なデバイス300の要素に命令を送信する。
【0037】
一体的なデバイス300は、メモリと制御システムとを含み、これらは、図1を用いて上述したメモリ126および制御システム128と同一または同様である。一体的なデバイス300のメモリおよび制御システムは、マイクロフォン302、心拍センサ308、GPSセンサ312、加速度計314、皮膚伝導度センサ316、およびカメラ318から収集したデータを、接続要素310を介して外部コンピューティングデバイスに送信することができる。いくつかの実装形態においては、接続要素310が、外部コンピューティングデバイスからの命令を、マイクロフォン302、心拍センサ308、GPSセンサ312、加速度計314、皮膚伝導度センサ316、カメラ318、またはそれらの任意の組み合わせに送信することができる。
【0038】
図4を参照すると、ユーザが失見当識を克服するのを支援可能なシステム400が、見当識回復デバイス401とセンサ408とを含む。見当識回復デバイス401は、図1のシステム100、図2A図2Bのデバイス200、図3のデバイス300、またはそれらの任意の組み合わせと同一または同様である。見当識回復デバイス401は、ユーザ402の頭部に装着して、ユーザの視野404にグラフィック406を投影することができる。
【0039】
そのため、見当識回復デバイス401は、何らかのタイプのグラフィック406で以てユーザ402の視野404に影響を及ぼす。いくつかの実装形態においては、グラフィック406が、画像、テキスト、人物の写真、旅程、ToDoリスト、リマインダ、アラートである。いくつかの実装形態においては、AFグラフィック406が、見当識回復デバイス401によって収集されたデータに応答して提供される。例えば、見当識回復デバイス401が、ユーザ402が混乱していると判断した場合には、ユーザ402の見当識を回復させるためにARグラフィック406が提供される。見当識回復デバイス401が、ユーザ402が不安を感じていると判断した場合には、ユーザ402を落ち着かせるためにARグラフィック406が提供される。ARグラフィック406の例については、図5A図5Cを参照してさらに後述する。
【0040】
加えて、システム400は、見当識回復デバイス401にとって外部であるセンサ408を含む。いくつかの実装形態においては、センサ408が、見当識回復デバイス401に通信可能に連結されている。センサ408は、心拍データ、モーションデータ、皮膚電気活動、または任意の他のバイオメトリックデータのいずれかを含む生体データをユーザ402から収集する。図4では、センサ408がユーザの腕に示されているが、センサ408はユーザ402のどこに配置しても良い。いくつかの実装形態においては、センサ408が、スマートフォン、スマートウォッチ、ウェアラブルコンピューティングデバイス、フィットネスバンド、ユーザ402のバイオメトリックデータを収集するように構成された任意の他のウェアラブルアイテム、およびそれらの任意の組み合わせである。見当識回復デバイス401は、センサ408によって提供されたデータに基づいてグラフィック406を決定することができる。
【0041】
図5Aを参照すると、ユーザの視野500A内にある例示的な見当識回復グラフィック(例えば、図4のグラフィック406)が示されている。ユーザの視野500Aには、仮想的に表された経路502、(仮想的に表された周囲領域に対する)実際の周囲領域504、および仮想的に生成された複数の矢印506が映っている。仮想的に表された経路502は、視野500A内の歩行可能領域に重ねられている。いくつかの実装形態においては、仮想的に表された経路502が、走行可能領域に重ねられている。仮想的に表された経路502には、ユーザを特定の方向に導くように意図された複数の矢印506がさらに映っている。いくつかの実装形態においては、矢印506および経路502が、外部コンピューティングシステム(または、例えば、図1の制御システム128)によって事前に決められた経路にユーザを導く。例えば、この所定経路は、ユーザの自宅を通る屋内ナビゲーションや、選択した場所への屋外ナビゲーションを含み得る。
【0042】
図5Bを参照すると、ユーザの視野500Bにおける例示的な見当識回復グラフィック(例えば、図4のグラフィック406)が示されている。ユーザの視野500Bには、実在の人物510および仮想的に生成された識別タグ512が映っている。仮想的に生成された識別タグ512は、実在の人物510に重ねられている。例えば、見当識回復システムまたはデバイス(例えば、図4のデバイス401)は、ユーザが知っている実在の人物510がユーザの視野500Bに入ったときに認識するように構成することができる。この見当識回復システムまたはデバイスは、実在の人物510に、仮想的に生成された識別タグ512をラベル付けするように構成することができる。いくつかの実装形態においては、仮想的に生成された識別タグ512が、その人物の顔510の周りのボックスまたは円、もしくは実在の人物510の顔の方を指している矢印である。いくつかの実装形態においては、仮想的に生成された識別タグ512が、名前、年齢、職業、ユーザとの関係、その他の関連特性、およびそれらの任意の組み合わせなど、実在の人物510に関する情報を含む。
【0043】
図5Cを参照すると、人の視野500Cにおける例示的な見当識回復グラフィック(例えば、図4のグラフィック406)が示されている。ユーザの視野500Cには、仮想的に生成された日付及び時刻520、仮想的に生成されたテキストグラフィック522、および仮想的に生成された鎮静画像524が映っている。いくつかの実装形態においては、仮想的に生成された複数のグラフィック(例えば、日付及び時刻520、テキストグラフィック522、および鎮静画像524)が、視野内で実際の周囲領域に重ねられている。仮想的に生成されたテキストグラフィック522は、作業課題、現在の作業課題の詳細、リマインダ、買い物リスト、カレンダーイベント、および服薬アラートのいずれかを含む。仮想的に生成された鎮静画像524は、例えば、ユーザが知っている人物の写真、ユーザによって事前に決められた選択画像、のいずれかを含む。
【0044】
考えられるARグラフィックの特定の態様が図5A図5Cに示されているが、本開示は、例示的なARグラフィックが任意の数の付加的な特徴を有し得るものと企図している。例えば、ARグラフィックは、テキストベースの情報、視覚的画像、映像クリップ、またはメディアクリップのいずれかであり得る。加えて、図5A図5Cは、ARグラフィックが、ユーザの視野内の画像、またはユーザの視野に概ね対応する画像に基づき得ることを示している。
【0045】
いくつかの実装形態においては、ARグラフィックが、(i)ユーザの現在の任務を示すテキストベースの情報、(ii)ユーザが特定の時刻に特定の薬を服用するためのリマインダを示すテキストベースの情報、(iii)拡張現実方向、(iv)現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせ、(vi)ユーザが以前に閲覧した新聞の一部分の描画、(vii)ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報、(viii)ユーザが以前に閲覧したウェブサイトの一部分の描画、(ix)ユーザの視界内にいる人物の名前を特定する情報、(x)ユーザの名前、ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む、ユーザと関連付けられた識別情報、(xi)または(i)~(x)の任意の組み合わせ、を含む。
【0046】
図6を参照すると、本開示のいくつかの実装形態に係る、見当識回復グラフィックを表示するための方法600が示されている。方法600は、図1のシステム100、図2A図2Bのデバイス200、および/または図3の一体的なデバイス300を使用して実行することができる。
【0047】
方法600は、感知ユニットから入力データを受信すること602から始まる。例えば、この感知ユニットは、システム100の要素のうちの1つ(例えば、カメラ110、全地球測位システム(GPS)センサ112、スピーカ114、マイクロフォン116、センサ118、伝導度センサ120、モーションセンサ122、および/または心拍センサ124)である。いくつかの実装形態においては、この感知ユニットが、図4のセンサ408である。入力データは、当該技術分野で公知のとおり、ユーザの任意のバイオメトリックデータである。いくつかの実装形態においては、この入力データが、(例えば、図1のカメラ110およびマイクロフォン116によってそれぞれ収集された)音声または視覚データをさらに含む。
【0048】
次に、方法600は、受信した入力データに基づいてユーザ混乱指数を決定すること604を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア(例えば、10点満点、100点満点、または任意の他の範囲のスコア)である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、(1)ユーザが混乱している、または(2)ユーザが混乱していない、のどちらかを示す2値である。いくつかの実装形態においては、方法600が、ユーザが何について混乱しているか(例えば、ユーザが歩いきながら混乱しているか、ユーザが別の人に話しかけながら混乱しているか、ユーザが電話を受けた後に混乱しているか)を判定することをさらに提供する。
【0049】
いくつかの実装形態においては、このユーザ混乱指数が、(i)カメラから受信した画像データ、(ii)モーションセンサから受信したモーションデータ、(iii)心拍センサから受信した心拍データ、(iv)伝導度センサから受信した皮膚伝導度データ、または(v)(i)~(iv)の任意の組み合わせに基づく。
【0050】
次に、方法600は、ユーザ混乱指数が閾値よりも大きいかどうかを判定すること606を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。
【0051】
次に、方法600は、ユーザ混乱指数に基づいてグラフィックを選択すること608を提供する。いくつかの実装形態においては、このグラフィックが、ユーザの混乱の深刻度に基づく。いくつかの実装形態においては、608が、ユーザの混乱および感知ユニットからの(すなわち、上述のとおり602で収集された)入力データの両方に基づいてグラフィックを選択することをさらに提供する。いくつかの実装形態においては、このグラフィックが、入力データを分析し、ユーザの混乱指数を下げると予想されるグラフィックまたはグラフィックタイプを決定する機械学習アルゴリズムに基づいて選択される。例えば、ユーザが歩きながら混乱している場合には、この選択されたグラフィックが、(例えば、図5Aに示すような)地図または経路である。いくつかの実装形態においては、この選択されたグラフィックが、(例えば、図5Cに示すような)一連のグラフィックである。いくつかの実装形態においては、このユーザが人に話しかけながら混乱している場合、この選択されたグラフィックが、(例えば、図5Bに示すような)識別タグである。
【0052】
次に、方法600は、デバイスでこのグラフィックを表示すること610を提供する。いくつかの実装形態においては、このグラフィックが、プロジェクタからARレンズおよび/または補正レンズに投射される。610のいくつかの実装形態においては、このグラフィックが、図4を用いて述べたようなデバイス401と、例えば携帯電話など別個の外部デバイスと、の両方に表示される。いくつかの実装形態においては、このグラフィックが、この別個の外部デバイスのメモリに記憶されている。このグラフィックは、図5A図5Cを用いて上述したとおり、任意のグラフィックであり得る。
【0053】
いくつかの実装形態においては、610が、デバイス上のスピーカ(例えば、図1のスピーカ114)で見当識回復音声メッセージをさらに提供する。いくつかの実装形態においては、この見当識回復音声メッセージが、デバイスに表示されたグラフィックと連動し、ユーザ混乱指数が閾値を超えたことを受けて表示される。この見当識回復音声メッセージは、表示されたグラフィックに対応することができ、いくつかの実装形態においては、この見当識回復音声メッセージが、表示されたグラフィックに含まれるテキストベースの情報を読み上げる。
【0054】
そのため、方法600は、ユーザのパニックおよび混乱を検出および予測する。いくつかの実装形態においては、方法600がさらに、ユーザの混乱指数を世話人または家族に通知する。いくつかの実装形態においては、方法600が、例えば、自閉症、PTSD、脳卒中、および脳損傷に関連するユーザの認知障害の状態を検出および予測する。
【0055】
図7は、一実施形態に係る、ユーザの移動に基づいて見当識回復グラフィックを表示する方法700のフローチャートである。いくつかの実装形態においては、方法700が、図1のシステム100、図2A図2Bのデバイス200、図3のデバイス300、およびそれらの任意の組み合わせで実行される。
【0056】
方法700は、画像データを受信すること702を提供する。いくつかの実装形態においては、この画像データが、カメラ(例えば、図1のカメラ110、図2A図2Bのカメラ212、または図3のカメラ318)によって受信される。いくつかの実装形態においては、ハウジングから、このユーザの視野内にある物体までの距離を測定するように構成された深度センサにより、データがさらに提供される。いくつかの実装形態においては、音声データおよび/またはモーションデータも(例えば、図1のマイクロフォン116およびモーションセンサ122からそれぞれ)受信される。
【0057】
次に、方法700は、受信した画像データに基づいてユーザの移動成分を推定すること704を提供する。いくつかの実装形態においては、受信した画像データを処理して、この受信画像が動きの粗いフレーム(jerky frame)または適切な視野を成しているかどうかを判定することにより、この移動成分が決定される。いくつかの実装形態においては、704がさらに、受信した音声データおよび/またはモーションデータに基づいて移動成分を推定する。いくつかの実装形態においては、704が、ユーザの頭部の角速度を推定することと、ユーザの頭部の移動頻度を決定することと、頭部の角加速度を決定することと、それらの任意の組み合わせと、を含む。
【0058】
いくつかの実装形態においては、704が、推定された移動成分に基づいて、ユーザが頭を振っているのか、周りを見回しているのか、前後を見ているのか、またはそれらの任意の組み合わせであるかを判断することを提供する。
【0059】
いくつかの実装形態においては、704が、カメラによって撮影された画像のうちの少なくとも2枚に含まれる物体を識別することによってユーザの頭部の移動成分を推定することを提供する。704はさらに、ある期間にわたる少なくとも2枚の画像間の物体の移動を計算することを提供する。いくつかの実装形態においては、この期間が事前に決められている。
【0060】
次に、方法700は、ステップ704の推定移動成分に基づいてユーザ混乱指数を決定すること706を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア(例えば、10点満点、100点満点、または任意の他の範囲のスコア)である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、(1)ユーザが混乱している、または(2)ユーザが混乱していない、のどちらかを示す2値である。いくつかの実装形態においては、このユーザ混乱指数が、例えばユーザが転倒したかどうかなど、ユーザの状態を判断する。
【0061】
方法700は、ユーザ混乱指数が閾値よりも大きいかどうかを判定すること708を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。例えば、706でユーザが転倒したと判断された場合には、708が、ユーザ混乱指数が閾値よりも大きいと判定する。
【0062】
次に、方法700は、プロジェクタを介してARグラフィックを発出すること710を提供する。例えば、このARグラフィックは、図1のシステム100、図2A図2Bのデバイス200、図3のデバイス300、またはそれらの任意の組み合わせを介して表示される。このARグラフィックは、図5A図5Cを用いて上述したとおり、任意のグラフィックであり得る。
【0063】
図8は、一実施形態に係る、見当識回復スキームを生成および表示するための方法800のフローチャートである。いくつかの実装形態においては、方法800が、図1のシステム100、図2A図2Bのデバイス200、および図3のデバイス300で実行される。
【0064】
方法800は、ユーザの向きに対応するセンサデータを受信すること802から始まる。いくつかの実装形態においては、このセンサデータが、システム100の要素のうちの1つ(例えば、カメラ110、全地球測位システム(GPS)センサ112、スピーカ114、マイクロフォン116、センサ118、伝導度センサ120、モーションセンサ122、および/または心拍センサ124)からのものである。いくつかの実装形態においては、このセンサデータが、図4のセンサ408からのものである。このセンサデータは、当該技術分野で公知のとおり、ユーザの任意のバイオメトリックデータ、またはユーザの任意の物理的配向データ(例えば、位置、ユーザが正座しているか、歩いているか、または倒れたか)を含む。
【0065】
次に、方法800は、受信したセンサデータに基づいてユーザ混乱指数を決定すること804を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア(例えば、10点満点、100点満点、または任意の他の範囲のスコア)である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、(1)ユーザが混乱しており、かつ/または失見当識に陥っている、もしくは(2)ユーザが混乱しておらず、かつ/または失見当識に陥っていない、のどちらかを示す2値である。いくつかの実装形態においては、方法600が、ユーザが何について混乱しているか(例えば、ユーザが歩きながら混乱しているか、ユーザが別の人に話しかけながら混乱しているか、ユーザが電話を受けた後に混乱しているか)を判定することをさらに提供する。
【0066】
いくつかの実装形態においては、804が、ユーザが所定の時間内に失見当識に陥る可能性が高いと判断することを提供する。この所定の時間は、例えば、5秒、10秒、15秒、20秒、30秒、1分、5分、10分である。
【0067】
次に、方法800は、受信したセンサデータに基づいて見当識回復スキームを生成すること804を提供する。いくつかの実装形態においては、この見当識回復スキームが、ユーザの脳を刺激するための脳運動、ユーザが完了すべき作業課題、ToDoリスト、またはユーザが完了すべき任意の他の活動である。
【0068】
方法800は、ユーザ混乱指数が閾値を超えた時期を判断すること806を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。いくつかの実装形態においては、806および808を任意の順序で実行することができる。
【0069】
次に、方法800は、この見当識回復スキームをディスプレイに表示すること810を提供する。例えば、この見当識回復スキームは、図1のシステム100、図2A図2Bのデバイス200、図3のデバイス300、またはそれらの任意の組み合わせを介して表示される。このARグラフィックは、図5A図5Cを用いて上述したとおり、任意のグラフィックであり得る。
【0070】
いくつかの実装形態においては、この見当識回復スキームが、ユーザによって行われる活動を表す。例えば、この見当識回復スキームをユーザ810に表示してから24時間以内にユーザによって実行された活動である。いくつかの実装形態においては、この活動が、新聞を読むこと、食べ物を食べること、雑用を行うこと、会話をすること、歩くこと、ウェブサイトを閲覧すること、電子メールを作成すること、手紙を書くこと、ペットに餌を与えること、またはそれらの任意の組み合わせを含む。
【0071】
いくつかの実装形態においては、方法600の610を用いてさらに上述したとおり、プロジェクタが、ユーザに視認可能なARグラフィックを発出し、スピーカが見当識回復の音声クリップを再生する。
【0072】
いくつかの実装形態においては、この見当識回復スキームが、対話型のARゲームである。例えば、方法800を実行する制御システムが、このARゲームに反応するユーザからの入力を検出することを提供する。この制御システムはさらに、ユーザに視認される対話型の拡張現実ゲームの1つ以上の態様を修正するように構成されている。
【0073】
いくつかの実装形態においては、方法800が、見当識回復スキームを提供してユーザの脳を働かせ、ユーザの関与を維持することにより、ユーザのアルツハイマーの進行を遅らせる。いくつかの実装形態においては、方法800が、ユーザに作業課題を提供し、そのユーザがそれらの作業課題を完了したかどうかをチェックすることにより、認知症の進行と診断を追跡する。いくつかの実装形態においては、方法800が、ユーザが知っている人物の写真を生成し、そのユーザがその写真内の人物を識別できるかどうかを判定することにより、認知症の進行および診断を追跡する。他の実施例においては、方法800が、1つの特定の見当識回復スキームをユーザに繰り返し提供し、そのユーザが作業課題を完了する能力が低下しているかどうかを判定する。
【0074】
以下の請求項1~89のうちいずれかの1つ以上からの1つ以上の要素または態様またはステップあるいはその一部(単数または複数)をその他の請求項1~89のいずれかの1つ以上あるいはその組み合わせからの1つ以上の要素または態様またはステップあるいはその一部(単数または複数)と組み合わせることにより、本開示の1つ以上のさらなる実行および/または請求項を形成することができ得る。
【0075】
本開示について1つ以上の特定の実施形態および実行を参照して説明してきたが、当業者であれば、本開示の意図および範囲から逸脱すること無く多数の変更が可能であり得ることを認識する。これらの実施形態および実装形態、ならびにそれらの明らかな変形例のそれぞれが、以下の特許請求の範囲に記載されている本開示の精神および範囲内に収まるものと考察される。

図1
図2A
図2B
図3
図4
図5A
図5B
図5C
図6
図7
図8
【国際調査報告】