(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-12
(54)【発明の名称】視覚の欠陥判定と強化
(51)【国際特許分類】
A61B 3/024 20060101AFI20220502BHJP
A61B 3/113 20060101ALI20220502BHJP
A61B 3/11 20060101ALI20220502BHJP
G06T 7/00 20170101ALI20220502BHJP
【FI】
A61B3/024
A61B3/113
A61B3/11
G06T7/00 612
G06T7/00 660A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021555033
(86)(22)【出願日】2020-03-26
(85)【翻訳文提出日】2021-11-08
(86)【国際出願番号】 US2020024988
(87)【国際公開番号】W WO2020198491
(87)【国際公開日】2020-10-01
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-06-18
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-10-16
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-11-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】510250892
【氏名又は名称】ユニバーシティー オブ マイアミ
【氏名又は名称原語表記】UNIVERSITY OF MIAMI
(74)【代理人】
【識別番号】100126572
【氏名又は名称】村越 智史
(72)【発明者】
【氏名】アブー ショウシャ, モハメッド
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA18
4C316AA28
4C316FA02
4C316FA04
4C316FA19
4C316FA20
4C316FB06
4C316FB07
4C316FB11
5L096BA06
5L096BA13
5L096FA06
5L096FA59
5L096FA60
5L096FA67
5L096FA69
5L096HA02
(57)【要約】
いくつかの実施形態では、動的な、目の特徴に基づく固視点を介して、視覚欠陥情報が生成されてもよい。いくつかの実施形態では、視覚検査提示のための固視点に基づいて、ユーザインタフェース上の第1の位置に第1の刺激が表示されてもよい。視覚テスト提示のための固視点は、ユーザに関連する目の特性情報に基づいて、視覚検査提示の間に調整されてもよい。一例として、目の特性情報は、視覚検査提示の間に発生したユーザの目の特性を示してもよい。視覚検査提示のための調整された固視点に基づいて、ユーザインタフェース上の第2のインタフェース位置に、第2の刺激が、視覚検査提示中に表示されてもよい。第1の刺激に関連するフィードバックおよび第2の刺激に関連するフィードバックを示すフィードバック情報に基づいて、ユーザに関連付けられた視覚欠陥情報が生成されてもよい。
【特許請求の範囲】
【請求項1】
動的固視点を用いて視覚欠陥情報の生成を容易にするためのシステムであって、
コンピュータプログラム命令を使用してプログラミングされている一又は複数のプロセッサを有するコンピュータシステムを備え、前記コンピュータプログラム命令が実行されると、前記コンピュータシステムは、
視覚検査提示中に、ユーザのウェアラブルデバイスのユーザインタフェース上の第1のインタフェース位置に第1の刺激を表示させる工程であって、当該第1のインタフェース位置は、前記ユーザインタフェース上の一又は複数の他のインタフェース位置と少なくとも同じ距離だけ、前記視覚検査提示のための固視点から離隔し、前記第1のインタフェース位置は、検査セットの第1の視野位置に対応し、前記一又は複数の他のインタフェース位置は、前記検査セットの一又は複数の他の視野位置に対応する、工程と、
前記視覚検査提示中に、前記ユーザに関連する目の特性情報に基づいて、前記視覚検査提示のための固視点を調整する工程であって、前記目の特性情報は、前記第1の刺激が前記第1のインタフェース位置に表示された後の前記視覚検査提示中に発生した、前記ユーザの一又は複数の目に関する一又は複数の特性を示す、工程と、
前記視覚検査提示中に、前記固視点の調整に引き続いて、前記ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させる、工程と、
前記視覚検査提示中に、前記第1の刺激に関するフィードバックと前記第2の刺激に関するフィードバックとを示すフィードバック情報を取得する工程であって、前記第1または第2の刺激に関する前記フィードバックは、当該第1または第2の刺激に対する前記ユーザの反応または前記ユーザの反応の欠如を示す、工程と、
前記フィードバック情報に基づいて、前記ユーザに関連付けられる視覚欠陥情報を生成する工程と、
を実行する、システム。
【請求項2】
前記コンピュータシステムが、
調整された前記固視点をロックする工程であって、調整された前記固視点がロックされている間、前記固視点の再調整は回避される、工程と、
調整された前記固視点がロックされている間、調整された前記固視点に基づいて、前記ユーザインタフェース上に一又は複数の刺激を表示させる工程と、
前記第2の刺激を表示する前に、調整された前記固視点のロックを解除する工程と、
を実行する、請求項1に記載のシステム。
【請求項3】
前記ウェアラブルデバイスのユーザインタフェースは、第1の度数に対応する所与の寸法を有するビューを表示するように構成され、
前記視覚欠陥情報は、(i)前記視覚欠陥情報が、前記ユーザの視野の視野位置に存在する少なくとも2つの欠陥を示し、(ii)前記視野位置が、前記ユーザの視野の前記所与の寸法について、前記第1の度数を超えて離隔するように生成される、
請求項1に記載のシステム。
【請求項4】
前記ウェアラブルデバイスのユーザインタフェースは、第1の度数に対応する所与の寸法を有するビューを表示するように構成され、
前記フィードバック情報はさらに、前記視覚検査提示中に前記ウェアラブルデバイスのユーザインタフェース上に表示される第3の刺激に関するフィードバックを示し、
前記コンピュータシステムは、
前記フィードバック情報に基づいて、前記ユーザの視野の視野位置に視覚欠陥が存在するかを決定する工程であって、前記視野位置のうちの少なくとも2つは、前記視野の前記所与の寸法について、前記第1の度数を超えて互いに離隔する、工程と、
前記視野位置に視覚欠陥が存在するかの決定に基づいて、前記視覚欠陥情報を生成する工程と、
を実行する、請求項1に記載のシステム。
【請求項5】
前記第1のインタフェース位置が、所与の寸法について、前記検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、前記固視点から離隔していることに基づいて、前記第1のインタフェース位置が前記第1の刺激のために選択される、請求項1に記載のシステム。
【請求項6】
前記第2のインタフェース位置が、前記検査セットの第2の視野位置に対応し、
前記第2のインタフェース位置が、所与の寸法について、前記検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、調整された前記固視点から離隔していることに基づいて、前記第2のインタフェース位置が前記第2の刺激のために選択される、請求項1に記載のシステム。
【請求項7】
前記目の特性情報は、前記視覚検査提示中に発生した前記ユーザの一又は複数の視線方向、瞳孔サイズの変化、瞼の動き、または頭部の動きを示す、請求項1に記載のシステム。
【請求項8】
コンピュータプログラム命令を実行する一又は複数のプロセッサを備えるコンピュータシステムによって実装される方法であって、前記コンピュータプログラム命令が実行されると前記方法が実行され、前記方法は、
視覚検査提示中に、ユーザのウェアラブルデバイスのユーザインタフェース上の第1のインタフェース位置に第1の刺激を表示させる工程と、
前記視覚検査提示中に、前記ユーザに関連する目の特性情報に基づいて、前記視覚検査提示のための固視点を調整する工程であって、前記固視点は前記第1のインタフェース位置に調整され、前記目の特性情報は、前記第1の刺激が前記第1のインタフェース位置に表示された後の前記視覚検査提示中に発生した、前記ユーザの一又は複数の目に関する一又は複数の特性を示す、工程と、
前記視覚検査提示中に、前記第1のインタフェース位置にある前記固視点に基づいて、一又は複数の刺激を前記ユーザインタフェース上に表示させる工程と、
前記視覚検査提示中に、(i)前記固視点が前記第1のインタフェース位置にある間、かつ(ii)前記ユーザインタフェース上での前記一又は複数の刺激の表示に引き続いて、前記ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させる工程と、
前記視覚検査提示中に、前記第1の刺激に関するフィードバック、前記一又は複数の刺激に関するフィードバック、および前記第2の刺激に関するフィードバックを示すフィードバック情報を取得する工程と、
前記フィードバック情報に基づいて、前記ユーザに関連付けられる視覚欠陥情報を生成する工程と、
を備える、方法。
【請求項9】
前記固視点を前記第1のインタフェース位置にロックする工程であって、前記固視点がロックされている間、前記固視点の再調整は回避される、工程と、
前記固視点がロックされている間、前記第1のインタフェース位置にある前記固視点に基づいて、前記ユーザインタフェース上に前記一又は複数の刺激を表示させる工程と、
前記第2の刺激を表示する前に、前記固視点のロックを解除する工程と、
をさらに備える、請求項8に記載の方法。
【請求項10】
前記一又は複数の刺激を表示させる工程は、
前記固視点が前記第1のインタフェース位置にある間、複数の刺激を、前記第1のインタフェース位置とは異なるインタフェース位置に表示させた後に、当該複数の刺激を、前記ユーザインタフェース上で強調解除させるか、または前記ユーザインタフェースから削除させる工程を含み、
前記複数の刺激のうちの少なくとも1つの刺激は、前記複数の刺激のうちの少なくとも1つの他の刺激が前記ユーザインタフェース上に表示されたことに引き続いて、前記ユーザインタフェース上に表示される、
請求項8に記載の方法。
【請求項11】
前記複数の刺激のうちの少なくとも1つの刺激が前記ユーザインタフェース上に表示されたことに引き続いて、前記第1の刺激を、前記ユーザインタフェース上で強調解除させるか、または前記ユーザインタフェースから削除させた後に、当該第1の刺激を、前記ユーザインタフェース上の前記第1のインタフェース位置で強調表示させるか、または再表示させる工程をさらに備える、請求項10に記載の方法。
【請求項12】
前記第1のインタフェース位置が、所与の寸法について、検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、前記固視点から離隔していることに基づいて、前記第1のインタフェース位置が前記第1の刺激のために選択される、請求項8に記載の方法。
【請求項13】
前記第2のインタフェース位置が、前記検査セットの第2の視野位置に対応し、
前記第2のインタフェース位置が、所与の寸法について、前記検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、調整された前記固視点から離隔していることに基づいて、前記第2のインタフェース位置が前記第2の刺激のために選択される、請求項12に記載の方法。
【請求項14】
前記目の特性情報は、前記視覚検査提示中に発生した前記ユーザの一又は複数の視線方向、瞳孔サイズの変化、瞼の動き、または頭部の動きを示す、請求項8に記載の方法。
【請求項15】
命令を備える一又は複数の非一時的なコンピュータ可読記憶媒体であって、前記命令が一つまたは複数のプロセッサによって実行されると、
視覚検査提示中に、ユーザのウェアラブルデバイスのユーザインタフェース上の第1のインタフェース位置に第1の刺激を表示させる工程と、
前記視覚検査提示中に、前記ユーザに関連する目の特性情報に基づいて、前記視覚検査提示のための固視点を調整する工程であって、前記固視点は前記第1のインタフェース位置に調整され、前記目の特性情報は、前記第1の刺激が前記第1のインタフェース位置に表示された後の前記視覚検査提示中に発生した、前記ユーザの一又は複数の目に関する一又は複数の特性を示す、工程と、
前記視覚検査提示中に、前記第1のインタフェース位置にある前記固視点に基づいて、一又は複数の刺激を前記ユーザインタフェース上に表示させる工程と、
前記視覚検査提示中に、(i)前記固視点が前記第1のインタフェース位置にある間、かつ(ii)前記ユーザインタフェース上での前記一又は複数の刺激の表示に引き続いて、前記ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させる工程と、
前記第1の刺激に関するフィードバック、前記一又は複数の刺激に関するフィードバック、および前記第2の刺激に関するフィードバックを示すフィードバック情報に基づいて、前記ユーザに関連付けられた視覚欠陥情報を生成する工程と、
を含む処理が実行される、一又は複数の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年11月18日に出願された「Vision Defect Determination Via a Dynamic Eye-Characteristic-Based Fixation Point」と題する米国特許出願第16/687,512号の優先権を主張するものである。この米国特許出願第16/687,512号は、2019年10月16日に出願された「Vision Defect Determination」と題する米国特許出願第16/654,590号の一部継続出願である。この米国特許出願第16/654,590号は、2019年9月3日に出願された「Double and Binocular Vision Determination and Correction」と題された米国仮出願第62/895,402号の利益を主張するとともに、2019年6月18日に出願された「Vision Defect Determination via a Dynamic Eye-Characteristic-Based Fixation Point」と題された米国特許出願第16/444,604号の一部継続出願である。この米国特許出願第16/444,604号は、2019年5月31日に出願された「Vision Defect Determination and Enhancement」と題された米国特許出願第16/428,932号の一部継続出願である。この米国特許出願第16/428,932号は、2019年3月28日に出願された、「Vision Defect Determination and Enhancement Using a Prediction Model」と題された米国特許出願第16/367,633号の継続出願である。この米国特許出願第16/367,633号は、2018年9月27日に出願された「Digital Therapeutic Corrective Spectacles」と題された米国特許出願第16/144,995号の一部継続出願である。この米国特許出願第16/144,995号は、2017年9月27日に出願された「Digital Therapeutic Corrective Spectacles」と題された米国仮出願第62/563,770号の利益を主張するものである。これらの出願の各々は、その全体が参照により本明細書に組み込まれる。また、本出願は、少なくとも本出願の提出から12ヶ月以内に提出された他の前述の各出願の優先権を主張するものである。
【0002】
本出願は、i)2019年10月24日に出願された「Vision Defect Determination and Enhancement Using a Prediction Model」という名称の米国特許出願第16/662,113号、ii)2019年8月12日に出願された「Vision-Based Alerting Based on Physical Contact Prediction」という名称の米国特許出願第16/538,057号、iii)2019年9月4日に出願された「Field of View Enhancement Via Dynamic Display Portions」という名称の米国特許出願第16/560,212号、およびiv)2019年5月31日に出願された「Visual Enhancement for Dynamic Vision Defects」という名称の米国特許出願第16/428,899号にも関連している。iii)の米国特許出願第16/560,212号は、2019年5月31日に出願された「Field of View Enhancement Via Dynamic Display Portions for a Modified Video Stream」と題する米国特許出願第16/428,380号の継続出願である。この米国特許出願第16/428,380号は、は、2019年3月28日に出願された「Field of View Enhancement via Dynamic Display Portions」という名称の米国特許出願第16/367,751号の継続出願である。iv)の米国特許出願第16/428,899号は、2019年3月28日に出願された「Visual Enhancement for Dynamic Vision Defects」と題された米国特許出願第16/367,687号の継続出願である。これらの出願の各々は、参照によりその全体が本明細書に組み込まれる。また、本出願は、少なくとも本出願の提出から12ヶ月以内に提出された前述の各出願の優先権を主張するものである。
【0003】
本発明は、ユーザの視覚に関連した視覚欠陥の判定や修正を容易にすることに関するものである。
【背景技術】
【0004】
視覚障害者を支援するための「スマートグラス」などのウェアラブル技術は存在するが、一般的なウェアラブル技術は、従来のメガネやコンタクトレンズが持つ多くの問題には十分に対応していない。例えば、一般的なウェアラブル技術では、高次の視覚収差(従来のメガネやコンタクトレンズでは補正できない屈折異常など)や、眼の調節状態や視線の方向に関連して変化する動的収差を持つ人が直面する問題に対応できない。上記のような問題およびその他の問題が存在する。
【発明の概要】
【0005】
本発明の態様は、ユーザの視覚に関連した視覚欠陥の判定や修正を容易にするための方法、装置、および/またはシステムに関する。一例として、そのような修正は、ユーザの視野または視覚の強化(例えば、ユーザの視野または視覚の補正、ユーザの視野または視覚の増強など)を提供すること、ユーザの収差の補正を提供すること、またはウェアラブルデバイスを介してそのような強化または補正を提供することを含むことができる。
【0006】
いくつかの実施形態では、視覚検査提示のための固視点に基づいて、ユーザインタフェース上の第1の位置に第1の刺激が表示されてもよい。視覚テスト提示のための固視点は、ユーザに関連する目の特性情報に基づいて、視覚検査提示の間に調整されてもよい。一例として、目の特性情報は、視覚検査提示の間に発生したユーザの目の特性を示してもよい。視覚検査提示のための調整された固視点に基づいて、ユーザインタフェース上の第2のインタフェース位置に、第2の刺激が、視覚検査提示中に表示されてもよい。第1の刺激に関連するフィードバックおよび第2の刺激に関連するフィードバックを示すフィードバック情報に基づいて、ユーザに関連付けられた視覚欠陥情報が生成されてもよい。
【0007】
上記以外の本発明のさまざまな態様、特徴および利点は、本発明の詳細な説明および添付の図面を参照することによって明らかになるであろう。また、上記の概要および以下の詳細な説明は共に例示に過ぎず、本発明の範囲を限定するものではないと理解されたい。本明細書および特許請求の範囲で用いる場合、単数形の「a」、「an」、および「the」は複数を示唆するものである。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。さらに、本明細書および特許請求の範囲で用いる場合、「または」という用語は「および/または」を意味する。ただし、文脈によって別に解すべきことが明白な場合はこの限りではない。
【図面の簡単な説明】
【0008】
【
図1A】1つまたは複数の実施形態に従って、ユーザの視覚に関連する修正を容易にするためのシステムを示す。
【0009】
【
図1B】1つまたは複数の実施形態に従って、ユーザの視覚に関連する修正を容易にするための機械学習モデルを実装するシステムを示す。
【0010】
【
図1C】1つまたは複数の実施形態に従った、例示的な眼鏡装置を示す。
【
図1D】1つまたは複数の実施形態に従った、例示的な眼鏡装置を示す。
【
図1E】1つまたは複数の実施形態に従った、例示的な眼鏡装置を示す。
【
図1F】1つまたは複数の実施形態に従った、例示的な眼鏡装置を示す。
【0011】
【
図2】1つまたは複数の実施形態に従った、例示的な視覚システムを示す。
【0012】
【
図3】1つまたは複数の実施形態に従った、画像処理装置およびウェアラブル眼鏡装置で実装される視力矯正フレームワークを有する装置を示す図である。
【0013】
【
図4】1つまたは複数の実施形態に従った、検査モードおよび視覚モードを含むプロセスの例を示す図である。
【0014】
【
図5】1つまたは複数の実施形態に従った、検査モードおよび視覚モードを含むプロセスの例を示す図である。
【0015】
【
図6A】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【
図6B】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【
図6C】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【0016】
【
図7A】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【
図7B】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【
図7C】1つまたは複数の実施形態に従った、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
【0017】
【
図8】1つまたは複数の実施形態に従った、ウェアラブル眼鏡装置によってユーザに複数の視覚刺激を生成して提示する検査モジュールを含むワークフローを示す図である。
【0018】
【
図9】1つまたは複数の実施形態に従った、検査モードプロセスを示す。
【0019】
【
図10】1つまたは複数の実施形態に従った、検査モードの一部として実装され得る人工知能補正アルゴリズムモードのプロセスを示す図である。
【0020】
【
図11】1つまたは複数の実施形態に従った、検査画像を示す図である。
【0021】
【
図12】1つまたは複数の実施形態に従った、被験者に提示する検査画像に欠損視野を重ねることを含む、シミュレーション視力画像を生成する様子を示す図である。
【0022】
【
図13】1つまたは複数の実施形態に従った、画像に適用され、被験者に提示されるさまざまな修正変換の例を示す図である。
【0023】
【
図14】1つまたは複数の実施形態に従った、並進移動方法の例を示す図である。
【0024】
【
図15】1つまたは複数の実施形態に従った、機械学習フレームワークの例を示す図である。
【0025】
【
図16】1つまたは複数の実施形態に従った、機械学習フレームワークのAIシステムのプロセスを示す図である。
【0026】
【
図17】1つまたは複数の実施形態に従った、検査画像の変換の例を示す図である。
【0027】
【
図18】1つまたは複数の実施形態に従った、検査画像の並進移動の例を示す図である。
【0028】
【
図19】1つまたは複数の実施形態に従った、AIシステムのさまざまな実装態様を示すグラフィカルユーザインターフェースである。
【0029】
【
図20】1つまたは複数の実施形態による、フィードフォワードニューラルネットワークを含むAIシステムのフレームワークを示す。
【0030】
【
図21】1つまたは複数の実施形態に従った、ニューラルネットワークを含むAIシステムの検査モードプロセスの例を示す図である。
【
図22】1つまたは複数の実施形態に従った、AIアルゴリズム最適化プロセスを含むAIシステムの検査モードプロセスの例を示す図である。
【0031】
【
図23】1つまたは複数の実施形態に従った、検査モードおよび視覚モードを実行するプロセスの例を示す図である。
【0032】
【
図24A】1つまたは複数の実施形態に従って、環境からの画像がウェアラブル眼鏡のディスプレイの透明部分を通過することを可能にするカスタムリアリティウェアラブル眼鏡を含むウェアラブル眼鏡装置を示しており、透明部分はユーザの視野の周辺領域に対応し、ウェアラブル眼鏡のディスプレイの他の部分は不透明部分である。
【0033】
【
図24B】1つまたは複数の実施形態に従って、環境からの画像がウェアラブル眼鏡のディスプレイの透明部分を通過することを可能にするカスタムリアリティウェアラブル眼鏡を含むウェアラブル眼鏡装置を示しており、透明部分はユーザの視野の中心領域に対応し、ウェアラブル眼鏡のディスプレイの他の部分は不透明部分である。
【0034】
【
図24C】1つまたは複数の実施形態に従って、眼球追跡を使用して、視野平面、再マッピングされた画像平面、および選択的な透明画面平面の間で行う位置合わせを示す。
【0035】
【
図25A】1つまたは複数の実施形態に従って、斜視のない患者に視覚検査提示が表示される使用例を示す。
【0036】
【
図25B】1つまたは複数の実施形態に従って、斜視のある患者に視覚検査提示が表示される使用例を示す。
【0037】
【
図25C】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25D】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25E】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25F】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25G】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25H】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【
図25I】1つまたは複数の実施形態に従った、複視の自動測定および補正を示す。
【0038】
【
図25J】1つまたは複数の実施形態に従った、両眼視検査およびその結果を示す図である。
【
図25K】1つまたは複数の実施形態に従った、両眼視検査およびその結果を示す図である。
【
図25L】1つまたは複数の実施形態に従った、両眼視検査およびその結果を示す図である。
【0039】
【
図25M】1つまたは複数の実施形態に従った立体視検査を示す。
【
図25N】1つまたは複数の実施形態に従った立体視検査を示す。
【0040】
【
図26】被験者の正常な両眼視を示す図であって、左目の単眼画像および右目の単眼画像を組み合わせて、黄斑中央領域および当該中央領域の周囲を取り囲む周辺視野領域を含む一の感知画像を生成する様子を示す図である。
【0041】
【
図27】周辺領域が被験者には見えない状態である視野狭窄を示す図である。
【0042】
【
図28】1つまたは複数の実施形態に従った、視野狭窄を矯正するための、または、視力を改善するための画像シフト技術を示す図である。
【0043】
【
図29】1つまたは複数の実施形態に従った、視野を拡大しつつ、視力を改善するか、または、中央視力を維持するための画像サイズ変更変換技術を説明するための図である。
【0044】
【
図30】1つまたは複数の実施形態に従った、両眼視野拡大技術を示す図である。
【0045】
【
図31A】1つまたは複数の実施形態に従った、パターンを角膜表面に投影して、当該パターンを反射する角膜表面を撮像することを含む、ドライアイおよび角膜異常を評価するための技術を説明するための図である。
【0046】
【
図31B】1つまたは複数の実施形態に従った、ウェアラブル眼鏡によって、被験者に対して表示されている、または、被験者の角膜または網膜に対して投影されている格子パターンを含む基準画像の提示を概略的に示す図である。
【0047】
【
図31C】1つまたは複数の実施形態に従った、被験者による操作のための格子パターンの例を示す。
【0048】
【
図31D】1つまたは複数の実施形態に従った、
図31Cに示した格子パターンの操作の例を示す図である。
【0049】
【
図31E】1つまたは複数の実施形態に従った、被験者が感知すべきシーンを示す図である。
【0050】
【
図31F】1つまたは複数の実施形態に従った、格子パターン技術によって決定される視覚歪みを持つ被験者に提供される場合に
図31Eに図示した視野を被験者が感知することになる、修正後の視野の例を示す図である。
【0051】
【
図31G】1つまたは複数の実施形態に従った、視野内での歪みを被験者が伝えるための操作可能な格子パターンを含むディスプレイを示す図である。
【0052】
【
図32】1つまたは複数の実施形態に従った、角膜表面に投影されるパターンを反射する角膜表面の画像を示す図である。
【0053】
【
図33】1つまたは複数の実施形態に従った、正常なパターン反射の例を示す図である。
【0054】
【
図34】1つまたは複数の実施形態に従った、異常なパターン反射の例を示す図である。
【0055】
【
図35A】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を示す図である。
【
図35B】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を示す図である。
【
図35C】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を示す図である。
【
図35D】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を示す図である。
【
図35E】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を示す図である。
【0056】
【
図35F】1つまたは複数の実施形態に従った、動的固視点を用いた視覚検査の提示を容易にするためのプロセスに関連するフローチャートを示す図である。
【0057】
【
図35G】1つまたは複数の実施形態に従った、所定の位置での複数のコントラスト階段状刺激および刺激シーケンスを含む視覚検査の提示を示す。
【0058】
【
図36】1つまたは複数の実施形態に従った、1つの刺激位置における検査シーケンスの処理を示すタイミング図である。
【0059】
【
図37】1つまたは複数の実施形態に従った、最大明視野の境界を定める画素の幅および高さの算出を説明するための図である。
【0060】
【
図38】1つまたは複数の実施形態に従った、視野の4つの主な象限を検査するために用いられる検査画像を示す図である。
【0061】
【
図39A】1つまたは複数の実施形態に従った、再マッピングの前の視野の例を示す図である。
【0062】
【
図39B】1つまたは複数の実施形態に従った、再マッピングの後の視野の例を示す図である。
【0063】
【
図40A】1つまたは複数の実施形態に従った、カスタム現実眼鏡装置の例を示す図である。
【
図40B】1つまたは複数の実施形態に従った、カスタム現実眼鏡装置の例を示す図である。
【
図40C】1つまたは複数の実施形態に従った、カスタム現実眼鏡装置の例を示す図である。
【0064】
【
図41】1つまたは複数の実施形態に従った、予測モデルを介してユーザの視覚に関する修正を容易にする方法のフローチャートを示す。
【0065】
【
図42】1つまたは複数の実施形態に従って、シーンの複数の画像の一部の組み合わせを介して、ユーザの視野の拡大を容易にする方法のフローチャートを示す。
【0066】
【
図43】1つまたは複数の実施形態に従って、1つまたは複数の透明ディスプレイ上の1つまたは複数の動的表示部分を介して、ユーザの視野の強化を容易にする方法のフローチャートを示している。
【発明を実施するための形態】
【0067】
以下の記載において、本発明の実施形態を完全に理解できるように、説明を目的として、多くの具体的且つ詳細な内容を記載する。しかしながら、当業者であれば、これらの具体的且つ詳細な内容がなくとも、または、均等な構成でも、本発明の実施形態が実施され得ることを理解するであろう。その他の場合には、本発明の各実施形態を不必要に不明瞭にすることを避ける目的で、周知の構造およびデバイスがブロック図の形式で示される。
【0068】
図1Aは、1つまたは複数の実施形態に従って、ユーザの視覚に関する修正を容易にするためのシステム100を示す。
図1に示すように、システム100は、サーバ102、クライアントデバイス104(またはクライアントデバイス104a-104n)またはその他の構成要素を備えるとしてよい。サーバ102は、構成サブシステム112、モデルマネージャサブシステム114またはその他の構成要素を含んでもよい。クライアントデバイス104は、検査サブシステム122、視覚サブシステム124またはその他の構成要素を含んでもよい。クライアントデバイス104はそれぞれ、任意のタイプのモバイル端末、固定端末、または、その他のデバイスを含み得る。一例として、クライアントデバイス104には、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイスまたは他のクライアントデバイスが含まれるとしてよい。ユーザは、例えば、1または複数のクライアントデバイス104を利用して、お互いと、1または複数のサーバと、または、システム100のその他の構成要素とやり取りを行うとしてよい。
【0069】
クライアントデバイス104の特定の構成要素が実行するものとして一つまたは複数の処理を本明細書で説明するが、これらの処理は、一部の実施形態では、クライアントデバイス104の他の構成要素、または、システム100の他の構成要素によって実行し得るものであることに留意されたい。一例として、クライアントデバイス104の構成要素が実行する処理として本明細書で説明する一つまたは複数の処理は、一部の実施形態において、サーバ102の構成要素によって実行されるとしてよい。また、サーバ102の特定の構成要素が実行するものとして一つまたは複数の処理を本明細書で説明するが、これらの処理は、一部の実施形態では、サーバ102の他の構成要素、または、システム100の他の構成要素によって実行し得るものであることに留意されたい。一例として、サーバ102の構成要素が実行する処理として本明細書で説明する一つまたは複数の処理は、一部の実施形態において、クライアントデバイス104の構成要素によって実行されるとしてよい。さらに、機械学習モデルに関して幾つかの実施形態が本明細書に記載されてるが、他の実施形態では機械学習モデルの代わりにまたは機械学習モデルに加えて、他の予測モデル(例えば、統計モデルまたは他の分析モデル)を使用してもよいことに留意されたい(例えば、一つ以上の実施形態では、機械学習モデルを置き換える統計モデル、および非機械学習モデルを置き換える非統計モデルを使用してもよい)。
【0070】
いくつかの実施形態では、システム100は、刺激(例えば、ユーザに表示される光刺激、テキスト、または画像)のセットを含む視覚検査の提示を、ユーザに提供してもよい。提示中(または提示後)に、システム100は、刺激のセットに関連するフィードバック(例えば、ユーザが当該セットのうちの1つまたは複数の刺激を見ているかどうか、またはどのように見ているかを示すフィードバック)を取得してもよい。一例として、フィードバックは、(刺激のセットのうちの)1つまたは複数の刺激に対するユーザの反応の表示、または、そのような刺激に対するユーザの反応の欠如の表示を含んでもよい。反応(またはその欠如)は、眼球運動、視線方向、瞳孔サイズの変化、または1つ以上の刺激に対するユーザによる修正や他のユーザ入力(例えば、刺激に対するユーザの反応または他の反応)に関するものであってもよい。別の例として、フィードバックは、視覚検査の提示中に撮像された目の画像を含んでもよい。眼球画像は、眼球の網膜の画像(例えば、網膜の全体またはその一部)、眼球の角膜の画像(例えば、角膜の全体またはその一部)、または他の眼球画像であってもよい。
【0071】
いくつかの実施形態では、システム100は、ユーザの視野の1つ以上の欠陥のある視野部分を決定してもよい(例えば、ユーザに表示された刺激のセットに関連するフィードバックまたは他のフィードバックに基づく自動決定)。一例として、欠陥のある視野部分は、1つ以上の視覚基準(例えば、ユーザが1つ以上の刺激を感知するかどうか、または感知する程度、光感度、歪み、または他の収差の程度、または他の基準)を満たすことができないユーザの視野部分の1つであってもよい。いくつかの実施形態では、システム100は、欠陥のある視野部分の決定に基づいて、強化された画像を提供したり、ウェアラブルデバイスの1つ以上の構成を調整したりしてもよい。一例として、強化画像は、その1つ以上の所定の部分(例えば、ユーザの眼の視野の黄斑領域または眼の黄斑領域内の領域に対応する強化画像の領域)が欠陥のある視野部分の外側にあるように、ユーザに生成または表示されてもよい。別の例として、ウェアラブルデバイスの1つまたは複数の表示部分の位置、形状、またはサイズ、上記表示部分の明るさ、コントラスト、彩度、またはシャープネスレベル、上記表示部分の透明度、またはウェアラブルデバイスの他の構成が、決定された欠陥のある視野部分に基づいて調整されてもよい。
【0072】
いくつかの実施形態では、1つまたは複数の予測モデルを用いて、視覚欠陥(例えば、光感受性、歪み、または他の収差)の決定、ユーザの視覚を修正または強化するために使用される修正プロファイル(例えば、修正パラメータまたは関数を含む修正/強化プロファイル)の決定、(例えば、ライブ画像データから得られる)強化画像の生成、または他の操作を容易にしてもよい。いくつかの実施形態では、予測モデルは、1つまたは複数のニューラルネットワークまたは他の機械学習モデルを含んでもよい。一例として、ニューラルネットワークは、大量のニューラルユニット(または人工ニューロン)に基づいているとしてよい。ニューラルネットワークは、生物の脳の働き(例えば、軸索によって接続されている生物のニューロンの大きなクラスタによるもの)を大まかに模倣しているとしてよい。ニューラルネットワークのニューラルユニットのそれぞれは、ニューラルネットワークの他の多くのニューラルユニットと結合されているとしてよい。このような結合は、接続されているニューラルユニットの活性状態に対して、補強的または阻害的な影響を持ち得る。一部の実施形態では、各ニューラルユニットは、全ての入力の値を組み合わせる合算機能を持つとしてよい。一部の実施形態では、各結合(またはニューラルユニット自体)は、閾値関数を持つとしてよく、信号が他のニューラルユニットへと伝播する前に、信号が閾値を超過しなければならない。これらのニューラルネットワークシステムは、明示的にプログラミングされるというより自動で学習し訓練され得るものであり、従来のコンピュータプログラムに比べて所定の分野の問題解決において性能が大きく優れているとしてよい。一部の実施形態では、ニューラルネットワークは複数の層を持つとしてよい(例えば、信号経路は上位層から下位層へと横断している)。一部の実施形態では、ニューラルネットワークがバックプロパゲーションを利用するとしてよく、この場合、前方向の刺激を利用して「上位層」のニューラルユニットへの重みをリセットする。一部の実施形態では、ニューラルネットワークに対する刺激および阻害は、結合の相互作用がより混沌且つより複雑になるほど、流動性が高くなるとしてよい。
【0073】
一例として、
図1Bに示すように、機械学習モデル162が入力164を取り込み、出力166を提供してもよい。ある使用例では、出力166は、(例えば、単独で、もしくは、出力166の精度に関するユーザの指示、入力に関連するラベルまたはその他の参照フィードバック情報と組み合わせて)機械学習モデル162を訓練するための入力として機械学習モデル162にフィードバックされてもよい。別の使用例では、機械学習モデル162は、予測(例えば、出力166)および参照フィードバック情報(例えば、精度に関するユーザの指示、参照ラベルまたはその他の情報)の評価に基づいて、その構成(例えば、重み、バイアスまたはその他のパラメータ)を更新してもよい。別の使用例では、機械学習モデル162がニューラルネットワークである場合、結合重みは、ニューラルネットワークの予測と参照フィードバックとの間の差異を調整するように調整されてもよい。更なる使用例では、ニューラルネットワークの一つ以上のニューロン(またはノード)は、更新プロセス(例えば、誤差逆伝播)を容易にするために、それぞれの誤差がニューラルネットワークを介し後方に送られるように要求してもよい。結合重みの更新は、例えば、順伝播が完了した後に後方に伝搬させる誤差の大きさが反映されてもよい。このようにして、例えば、より良い予測を生成するように予測モデルが訓練されてもよい。
【0074】
いくつかの実施形態では、(ユーザに表示された)刺激セットに関連するフィードバック、ユーザの1つ以上の目に関連するフィードバック、ユーザの環境に関連するフィードバック、または他のフィードバックを取得すると、システム100は、このフィードバックを予測モデルに提供してもよく、予測モデルは、フィードバックに基づいて構成されてもよい。一例として、予測モデルは、(i)(刺激のセットのうちの)1つ以上の刺激に対するユーザの反応の表示、(ii)そのような刺激に対するユーザの反応の欠如の表示、(iii)視覚検査の提示中に撮像された眼球画像、または他のフィードバック(例えば、予測モデルは、視覚検査の提示からのフィードバックに基づいて、ユーザに対してパーソナライズされてもよい)に基づいて、ユーザに対して自動的に構成されてもよい。別の例として、予測モデルは、予測モデルによって提供される結果の精度を向上させるために、そのようなフィードバックおよび他のユーザからの他のフィードバックに基づいて訓練されてもよい。いくつかの実施形態では、予測モデルが(例えば、ユーザに対して)構成されると、システム100は、ライブ画像データまたは他のデータを予測モデルに提供して、(ライブ画像データから得られる)強化画像を取得し、強化画像を表示させてもよい。一例として、システム100のウェアラブルデバイスは、ウェアラブルデバイスの1つまたは複数のカメラからライブビデオストリームを取得し、ウェアラブルデバイスの1つまたは複数のディスプレイに強化画像を表示させてもよい。いくつかの実施形態では、ウェアラブルデバイスは、強化画像(例えば、強化画像を表すファイルまたは他のデータ構造)を予測モデルから取得してもよい。いくつかの実施形態では、ウェアラブルデバイスは、予測モデルから修正プロファイル(例えば、修正パラメータまたは関数)を取得し、ライブビデオストリームおよび修正プロファイルに基づいて、強化画像を生成してもよい。ある使用例では、修正プロファイルは、ライブ画像データから強化画像を生成するために使用される修正パラメータまたは関数(例えば、ライブ画像データを強化画像に変換または修正するために使用される関数のパラメータ)を含んでもよい。さらに、または代わりに、修正プロファイルは、1つまたは複数の表示部分を動的に構成するための修正パラメータまたは関数を含んでもよい(例えば、透明ディスプレイの透明部分または不透明部分の動的な調整、プロジェクタの投射部分の動的な調整など)。
【0075】
いくつかの実施形態では、システム100は、1つまたは複数の動的表示部分(例えば、透明ディスプレイの透明表示部分、プロジェクタの投射部分など)を介して、ユーザの視野の強化を容易にすることができる。一例として、透明ディスプレイに関して、動的表示部分は、1つまたは複数の透明表示部分と、1つまたは複数の他の表示部分(例えば、ウェアラブルデバイスまたは他のデバイスの表示部分)とを含んでもよい。システム100は、1つまたは複数の画像を他の表示部分に表示させてもよい。一例として、ユーザは、透明ディスプレイの透明表示部分を見通すことができるが、他の表示部分を見通すことはできず、代わりに、透明ディスプレイの他の表示部分(例えば、透明表示部分の周囲または近接した部分)上の画像提示を見ることができる。ある使用例では、ライブ画像データがウェアラブルデバイスを介して取得されてもよく、ライブ画像データに基づいて強化画像が生成され、ウェアラブルデバイスの他の表示部分に表示されてもよい。いくつかの実施形態では、システム100は、ユーザの1つまたは複数の目に関連する1つまたは複数の変化を監視し、監視に基づいて、透明ディスプレイの透明表示部分の調整を行わせてもよい。一例として、監視される変化は、眼球運動、注視方向の変化、瞳孔サイズの変化、または他の変化を含んでもよい。ウェアラブルデバイスの透明表示部分の1つまたは複数の位置、形状、サイズ、透明度、または他の側面は、監視された変化に基づいて自動的に調整されてもよい。このようにして、例えば、システム100は、眼球運動、注視方向、瞳孔反応、または眼球に関連する他の変化を制限することなく(または少なくとも制限を減らしつつ)、移動性(mobility)を向上させてもよい。
【0076】
いくつかの実施形態では、システム100は、(例えば、ユーザに表示される刺激のセットに関連するフィードバックまたは他のフィードバックに基づいて)シーンの複数の画像の一部の組み合わせを介して、ユーザの視野の拡大を促進してもよく、システム100は、シーンの複数の画像を取得してもよい。システム100は、複数の画像に共通する領域を決定し、複数の画像のうちの各画像について、複数の画像のうちの少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。いくつかの実施形態において、システム100は、共通領域および差異領域に基づいて、強化画像を生成またはユーザに表示してもよい。一例として、共通領域と差異領域を組み合わせて、共通領域の表現と差異領域の表現を含む強化画像を生成してもよい。共通領域は、互いに同じまたは類似の特性を有する複数の画像のそれぞれの部分に対応してもよく、各差異領域は、他の画像のすべての対応する部分とは異なる、1つの画像の部分に対応してもよい。あるシナリオでは、1つの画像の他と異なる部分は、他の画像では表現されていないシーンの一部を含んでいてもよい。このようにして、例えば、共通領域と差異領域とを組み合わせて強化画像にすることで、それ以外の場合には各画像ごとに提供される視野が拡大し、強化画像を使用してユーザの視覚を増強することができる。
【0077】
いくつかの実施形態では、システム100は、物体がユーザと物理的に接触することを示す予測を生成し、この物理的接触予測に基づいてアラートを表示させてもよい(例えば、物体に関連するアラートがユーザのウェアラブルデバイスに表示される)。いくつかの実施形態では、システム100は、ユーザの視野の欠陥視野部分にある物体を検出し、(i)物体が欠陥視野部分にあること、(ii)物理的接触予測、または(iii)他の情報に基づいて、アラートを表示させてもよい。いくつかの実施形態において、システム100は、物体が、1つ以上の視覚基準を満たす少なくとも1つの視野部分に対応する(ユーザに表示される)強化画像の任意の画像部分の外側にある(または十分に入っていない)かどうかを判定してもよい。ある使用例では、ユーザの健全な視野部分に対応する強化画像の画像部分内に物体がある(または十分に入っている)と判断された場合、(例えば、物体がユーザと物理的に接触すると予測される場合であっても)アラートは表示されない(または、より優先度の低いアラートが表示される)場合がある。一方、欠陥のある視野部分内の物体がユーザと物理的に接触することが予測され、その物体がユーザの健全な視野部分の外側にある(または十分に入っていない)と判断された場合、ユーザのウェアラブルデバイスにアラートを表示してもよい。このようにして、例えば、ユーザは、ユーザ自身の健全な視野に頼って、ユーザの健全な視野内で接近してくる物体を回避することができ、それによって、そのような接近してくる物体の回避のためにウェアラブルデバイスに(例えば、習慣形成を通じて)依存するリスクを軽減することができる。しかしながら、他の使用例では、物体がユーザの健全な視野内にあるかどうかに関わらず、物理的接触予測に基づいて、この物体に関連するアラートが表示されてもよいことに留意すべきである。
【0078】
いくつかの実施形態では、
図1Cに関して、クライアントデバイス104は、被験者のためのウェアラブルデバイスを形成する眼鏡装置170を含んでもよい。一部の実施形態において、眼鏡装置170は、本明細書で説明している視覚システムの一部であってよい。眼鏡装置170は、左対眼レンズ172と右対眼レンズ174とを備える。対眼レンズ172および174はそれぞれ、再生成された画像を被験者の対応する目に対して表示(例えば、スクリーンに映写または目に投影)するよう構成されているデジタルモニタを備えるとしてもよいし、そのようなデジタルモニタに対応付けられているとしてもよい。様々な実施形態において、デジタルモニタは、表示スクリーン、プロジェクタ、および/または、表示スクリーン上に表示される画像を生成したり、画像を目(例えば、目の網膜)に投影したりするハードウェアを含むことができる。プロジェクタを含むデジタルモニタが他の位置に配置されて画像を、被験者の目に、または、スクリーン、眼鏡またはその他の画像投影面を含む対眼レンズに、投影し得ることに想到されたい。一実施形態において、左対眼レンズ172および右対眼レンズ174は、データを収集して画像データを表示/投影することが可能になるように、被験者の眼窩領域に適合するべく筐体176に対して位置決めされるとしてよい。これは、別の例において、画像データを異なる方の目に表示/投影することを含む。
【0079】
対眼レンズ172、174はそれぞれ、1または複数の内向きセンサ178、180をさらに有するとしてよい。当該センサは、内向き画像センサであってよい。一例において、内向きセンサ178、180は、瞳孔の動きを追跡し、被験者の視軸を決定して追跡するよう構成されている赤外線カメラ、受光器またはその他の赤外線センサを含むとしてよい。内向きセンサ178、180(例えば、赤外線カメラを含む)は、対眼レンズ172、174に比べて低い部分に配置されているとしてよい。これによって、被験者の視野を、実際の視野であっても、被験者に対して表示または投影されている視野のいずれであっても、遮らない。内向きセンサ178、180は、瞳孔および/または視線の追跡をより良好に行うべく、想定瞳孔領域に向かうように方向がそろえられているとしてよい。一部の例において、内向きセンサ178、180は、内側面を一続きにするよう対眼レンズ172、174に埋設されているとしてよい。
【0080】
図1Dは、眼鏡装置170の正面図であり、対眼レンズ172、174を正面から見た様子を示す。対眼レンズ172、174には、視野カメラを構成する対応する外向き画像センサ182、184が配置されている。他の実施形態においては、設けられている外向き画像センサ182、184の数を増減させるとしてもよい。外向き画像センサ182、184は、複数の連続画像を撮像するよう構成されているとしてよい。眼鏡装置170または対応する視覚システムはさらに、続いて画像を補正および/または強化するよう構成されているとしてよい。これは、被験者の視覚障害に基づいて個々人に合わせて行うとしてよい。眼鏡装置170はさらに、視覚モードにおいて、補正後および/または強化後の画像をモニタを利用して被験者に対して表示するよう構成されているとしてよい。例えば、眼鏡装置は、補正後および/または強化後の画像を、対眼レンズまたは隣接領域に対応付けられている表示スクリーンに生成するか、当該画像を対眼レンズまたは隣接領域に対応付けられている表示スクリーンに投影するか、または、当該画像を被験者の片目または両目に投影するとしてよい。
【0081】
図1Eおよび
図1Fは眼鏡装置170の他の例を示す。
図1Eおよび
図1Fに関して、眼鏡デバイス170は、高解像度カメラ(単数または複数)192、電源ユニット193、処理ユニット194、ガラススクリーン195、シースルーディスプレイ196(例えば、透明なディスプレイ)、眼球追跡システム197、および他のコンポーネントを含む。
【0082】
いくつかの実施形態において、眼鏡装置170には検査モードがあるとしてよい。検査モードの一例では、内向きセンサ178、180は、検査プロトコルに応じて瞳孔の動きを追跡して視軸(例えば、視線)の追跡を実行する。本例または別の例では、内向きセンサ178、180は、角膜または眼の光学系のゆがみおよび異常を検出すべく、角膜および/または網膜で反射されるパターンの反射を撮像するよう構成されているとしてよい。
【0083】
検査モードは、眼疾患、例えば、高次収差および/もしくは低次収差、緑内障、視神経炎および視神経症等の視神経の疾患、黄斑変性、網膜色素変性等の網膜の疾患、毛細血管の障害および腫瘍等の視経路の疾患、ならびに、老視、斜視、高次収差および低次収差、単眼視、不同視および不等像視、光過敏、瞳孔不同、屈折異常および乱視等のその他の症状を特定するべく、視覚評価を実行するために用いられるとしてよい。検査モードでは、特定の被験者についてデータを取集して、これらの画像を表示する前に、当該データを利用して撮像した画像を補正する。画像の表示は、本明細書で説明しているように、モニタによって被験者に対して投影することを含むとしてよい。
【0084】
一部の例において、外部センサを用いて被験者の視野を評価するためのさらなるデータを提供するとしてもよい。例えば、撮像した画像を修正するために用いられるデータは、視野検査装置、収差計、眼電図または視覚誘発電位装置等の外部検査装置から取得されるとしてもよい。これらのデバイスから得られたデータは、視軸を決定するための瞳孔または視線追跡と組み合わせて、ユーザに投影または表示される画像を修正するために使用される1つまたは複数の修正プロファイル(例えば、そのような画像を補正または強化するために使用される補正プロファイル、強化プロファイルなど)を作成することができる。
【0085】
眼鏡装置170には、検査モードに加えて、または、検査モードに代えて、視覚モードがあるとしてよい。視覚モードでは、1または複数の外向き画像センサ182、184が、リアルタイムで画像処理を実行するべく画像プロセッサに伝送される画像を撮像する。画像プロセッサは、例えば、眼鏡装置10に埋設されているとしてよい。これに代えて、眼鏡装置170の外部に設けられるとしてもよく、例えば、外部画像処理装置に対応付けられているとしてもよい。画像プロセッサは、視覚モジュールの構成要素であってもよいし、および/または、本明細書で説明しているように、シーン処理モジュールを含むとしてもよい。
【0086】
眼鏡装置170は、有線通信または無線通信方式で、例えば、眼鏡装置170に埋設されている無線送受信機を介して、1または複数の画像プロセッサと通信可能に結合されているとしてよい。外部画像プロセッサは、ラップトップコンピュータ、タブレット、携帯電話、ネットワークサーバまたはその他の、中央集中型または分散型のコンピュータ処理装置等のコンピュータを含むとしてよく、1または複数のプロセッサおよび1または複数のメモリによって特徴付けられているとしてよい。説明した例によると、撮像した画像はこの外部画像処理装置で処理される。しかし、他の例では、撮像した画像はデジタル眼鏡に埋設されている画像プロセッサで処理されるとしてよい。処理済みの画像(例えば、機能視野またはその他の点で視力を改善するべく強化させたもの、および/または、被験者の視野疾患を矯正するべく強化させたもの)は、続いて眼鏡装置170に送信され、被験者が見るようモニタによって表示される。
【0087】
眼鏡装置を含む視覚システムの動作の一例において、撮像画像のリアルタイム画像処理は、眼鏡装置に埋設されている小型コンピュータで実行される、(例えば、カスタマイズされたMATLAB(Mathworks社、米国マサチューセッツ州ネイティック)コードを用いて)画像プロセッサによって実行されるとしてよい。他の例において、当該コードは、外部画像処理装置によって、または、眼鏡装置と通信するべく無線ネットワーク接続されている他のコンピュータによって実行されるとしてもよい。一実施形態において、視覚システムは、眼鏡装置、画像プロセッサ、および、視覚モードおよび/または検査モードを実行するための対応する命令を含み、このような命令は眼鏡装置において単独で具現化されるとしてもよいし、または、(ラップトップコンピュータ等の)1または複数の外部装置と組み合わせて具現化されるとしてもよい。このような視覚システムは、視覚モードと、これとは別の検査モードとの2つのモードで動作するとしてよい。
【0088】
いくつかの実施形態において、
図2に示すように、システム100は、サーバ206、携帯電話208またはパーソナルコンピュータ210と通信するべくネットワーク204に通信可能に結合されている眼鏡装置202を備える視覚システム200を含むとしてよい。サーバ206、携帯電話208またはパーソナルコンピュータ210はいずれも、画像処理技術等の本明細書で説明する処理技術を実装する視覚補正フレームワーク212を含むとしてよい。これには、検査モードおよび/または視覚モードに関する技術を含むとしてよい。図示した例では、視覚補正フレームワーク212は、プロセッサと、本明細書で説明する技術を実装するためのオペレーティングシステムおよびアプリケーションを格納するメモリとを有し、さらに、ネットワーク204を介して眼鏡装置202と通信するための送受信機を有する。フレームワーク212は、本例において機械学習フレームワークを含む検査モジュール214を含む。機械学習フレームワークは、教師あり方式または教師なし方式のいずれかで、検査モジュールが実行する検査プロトコルと共に利用されるとしてよく、検査モードを適応的に調整してより正確に眼疾患を評価するとしてよい。検査モジュールによる処理の結果は、被験者218に対してカスタマイズされた視覚補正モデル216の生成を含むとしてよい。
【0089】
視覚モジュール220は、一部の実施形態において、アクセスされカスタマイズされた視覚補正モデルを持つ機械学習フレームワークも含み得るが、眼鏡装置202によって表示する補正済み視覚画像を生成する。視覚補正フレームワーク212はさらに、検査モードおよび/または視覚モードの処理において利用する画像を処理すると共に本明細書で処理モジュールに関連して説明した処理を含むシーン処理モジュールを含むとしてよい。本明細書で説明するように、一部の実施形態において、眼鏡装置202は、視覚補正フレームワーク212の一部またはすべてを含むとしてよい。
【0090】
検査モードにおいて、眼鏡装置170または202、特に、眼鏡装置170または202の内面に沿って配置されている追跡カメラを含む1または複数の内向き画像センサは、処理済みの画像を被験者の瞳孔および視軸に正確に位置合わせするために用いられる瞳孔および視軸追跡データを取得するために用いられるとしてよい。
【0091】
いくつかの実施形態では、
図3に示すように、システム100は、視覚補正フレームワーク302を含む、視覚システム300を含んでもよい。視覚補正フレームワーク302は、画像処理装置304、および、被験者に載置する眼鏡装置306に実装されるとしてよい。画像処理装置304は、全体が外部画像処理装置または他のコンピュータに含まれているとしてよく、他の例では、画像処理装置304の一部またはすべてが眼鏡装置306内で実現されているとしてよい。
【0092】
画像処理装置304は、本明細書で説明する検査モードおよび/または視覚モードを実行するための命令310を格納しているメモリ308を有するとしてよい。このような命令は、眼鏡装置306から被験者の高解像度画像を収集するための命令を含むとしてよい。視覚モードにおいて、眼鏡装置306は、未処理データ、処理済みデータまたは前処理済みデータとして、リアルタイム視野画像データを取得するとしてよい。検査モードにおいて、眼鏡装置は、被験者の視野をさまざまな点で検査するべく検査画像(「text」の文字または車両またはその他の物体の画像等)を投影するとしてよい。
【0093】
眼鏡装置306は、有線リンクまたは無線リンクを介して画像処理装置304に通信可能に接続されているとしてよい。このリンクは、ユニバーサルシリアルバス(USB)、IEEE1394(ファイヤワイヤ)、Ethernetまたはその他の有線通信プロトコル装置を介しているとしてよい。無線接続は、WiFi、NFC、iBeacon、Bluetooth、Bluetooth Low Energyなどの任意の適切な無線通信プロトコルを介して行うことができる。
【0094】
さまざまな実施形態において、画像処理装置304は、入出力(I/O)回路に接続されているリンクを介してデータベースに動作可能に接続されているコントローラを有してもよい。このコントローラには追加のデータベースが公知の方法で接続されているとしてよい。このコントローラは、プログラムメモリ、プロセッサ(マイクロコントローラまたはマイクロプロセッサとも呼ばれる)、ランダムアクセスメモリ(RAM)および入出力(I/O)回路を含み、これらは全てアドレス/データバスを介して相互接続されているとしてよい。説明しているマイクロプロセッサは1つのみであるが、コントローラが含むマイクロプロセッサは複数であってもよいことに想到されたい。同様に、コントローラのメモリは、複数のRAMおよび複数のプログラムメモリを含むとしてよい。RAM(1または複数)およびプログラムメモリは、半導体メモリ、磁気的に読み取り可能なメモリおよび/または光学的に読み取り可能なメモリとして実現されるとしてもよい。リンクは、I/O回路を介して、コントローラをキャプチャデバイスに動作可能に接続するとしてよい。
【0095】
プログラムメモリおよび/またはRAMは、マイクロプロセッサが実行するさまざまなアプリケーション(すなわち、機械可読命令)を格納するとしてもよい。例えば、オペレーティングシステムは、視覚システム300の動作、例えば、眼鏡装置306および/または画像処理装置304の動作を全体的に制御するとしてよく、一部の実施形態では、本明細書で説明する処理を実現するべく当該装置に対するユーザインタフェースを提供するとしてもよい。プログラムメモリおよび/またはRAMはさらに、本明細書で説明する画像処理装置304の特定の機能にアクセスするためのさまざまなサブルーチンを格納するとしてもよい。一例として、これらに限定されるものではないが、サブルーチンには、特に、眼鏡装置から視野の高解像度画像を取得すること、画像を強化および/または補正すること、および、強化後および/または補正後の画像を眼鏡装置306によって被験者に対して表示するべく提供することが含まれるとしてよい。
【0096】
上記に加えて、画像処理装置304は、他のハードウェアリソースを含むとしてもよい。当該装置はさらに、視覚ディスプレイおよび入力装置(1または複数)(例えば、キーパッド、キーボードなど)などのさまざまな種類の入/出力ハードウェアを含むとしてよい。一実施形態において、ディスプレイは接触感知式であり、ソフトウェアルーチンの1つとしてのソフトウェアキーボードルーチンと協働してユーザ入力を受け付けてもよい。画像処理装置304において、多くの公知のネットワークデバイスおよびネットワーク技術のいずれかを用いて(例えば、イントラネット、インターネットなどのコンピュータネットワークを介して)、より広範なネットワーク(不図示)と通信することが有益な場合がある。例えば、当該装置は収差データのデータベースに接続されているとしてよい。
【0097】
いくつかの実施形態では、システム100は、予測モデル、修正プロファイル、視覚欠陥情報(例えば、検出されたユーザの視覚欠陥を示すもの)、フィードバック情報(例えば、ユーザに表示された刺激に関連するフィードバック、またはその他のフィードバック)、またはその他の情報を、1つ以上のリモートデータベース(例えば、クラウド)に格納してもよい。いくつかの実施形態では、フィードバック情報、視覚欠陥情報、修正プロファイル、または複数のユーザ(例えば、2人以上のユーザ、10人以上のユーザ、100人以上のユーザ、1000人以上のユーザ、100万人以上のユーザ、または他の数のユーザ)に関連する他の情報を、1つまたは複数の予測モデルを訓練するために使用してもよい。いくつかの実施形態では、1つまたは複数の予測モデルは、ユーザまたは所定の種類のデバイス(例えば、特定のブランドのデバイス、特定のブランドおよびモデルのデバイス、特定の特徴のセットを有するデバイスなど)のために訓練または構成されてもよく、ユーザまたはデバイスの種類に関連付けて保存されてもよい。一例として、ユーザまたはデバイスの種類に関連付けられた予測モデルのインスタンスは、ローカル(例えば、ユーザのウェアラブルデバイスまたは他のユーザデバイス)およびリモート(例えば、クラウド)に保存されてもよく、予測モデルのそのようなインスタンスは、ユーザがユーザデバイスまたはクラウドのいずれかで予測モデルの最新の構成にアクセスできるように、1つまたは複数のユーザデバイスおよびクラウド間で自動的または手動で同期されてもよい。いくつかの実施形態では、複数の修正プロファイルが、ユーザまたはデバイスの種類に関連付けられてもよい。いくつかの実施形態では、修正プロファイルのそれぞれは、ライブ画像データの強化された提示を生成するために、所定のコンテキストのライブ画像データに適用される修正パラメータまたは関数のセットを含んでもよい。一例として、ユーザは、目の特性の各セット(例えば、視線方向の範囲、瞳孔の大きさ、辺縁の位置、または他の特性)に対する修正プロファイルを有していてもよい。さらなる例として、ユーザは、追加的または代替的に、環境特性(例えば、環境の明るさレベルの範囲、環境の温度、または他の特性)の各セットに対する修正プロファイルを有してもよい。現在検出された目の特性または環境特性に基づいて、対応する修正パラメータまたは関数のセットが取得され、ライブ画像データの強化された提示を生成するために使用されてもよい。
【0098】
サブシステム112~124
【0099】
いくつかの実施形態では、
図1Aに関して、検査サブシステム122は、視覚検査提示をユーザに提供してもよい。一例として、提示は刺激のセットを含んでもよい。提示中(または提示後)に、検査サブシステム122は、刺激のセットに関連するフィードバック(例えば、ユーザが当該セットのうちの1つまたは複数の刺激を見ているかどうか、またはどのように見ているかを示すフィードバック)を取得してもよい。一例として、フィードバックは、(刺激のセットのうちの)1つまたは複数の刺激に対するユーザの反応の表示、または、そのような刺激に対するユーザの反応の欠如の表示を含んでもよい。反応(またはその欠如)は、眼球運動、視線方向、瞳孔サイズの変化、または1つ以上の刺激に対するユーザによる修正や他のユーザ入力(例えば、刺激に対するユーザの反応または他の反応)に関するものであってもよい。別の例として、フィードバックは、視覚検査の提示中に撮像された目の画像を含んでもよい。眼球画像は、眼球の網膜の画像(例えば、網膜の全体またはその一部)、眼球の角膜の画像(例えば、角膜の全体またはその一部)、または他の眼球画像であってもよい。いくつかの実施形態では、検査サブシステム122は、フィードバックに基づいて、ユーザの視野の影響を受けた部分、影響を受けた部分の範囲、ユーザの視覚病理、前述の問題を修正するための修正プロファイル、または他の結果など、1つまたは複数の結果を生成してもよい。
【0100】
いくつかの実施形態では、(視覚テスト提示中にユーザに表示される)刺激のセットに関連するフィードバック、または他のフィードバックに基づいて、検査サブシステム122は、ユーザの1つまたは複数の目に関連する光感度、歪み、または他の収差を決定してもよい。いくつかの実施形態では、刺激のセットはパターンを含んでもよく、検査サブシステム122は、(例えば、投影ベースのウェアラブル眼鏡装置を使用して)パターンをユーザの1つまたは複数の目に投影させてもよい。例えば、パターンをユーザの網膜や角膜に投影して、網膜や角膜に影響を与える欠陥を判定することができる。一使用例において、投影パターンを用いて、加齢に伴う黄斑変性およびその他の網膜疾患における顔面歪み(dyspmorphopsia)を補正および評価することができる。
図31Aに示すように、パターン3100のデジタル投影を被験者の目3102に投影するとしてよい。パターンは、眼鏡装置の内部に配置するプロジェクタでデジタルに生成されるとしてよい。デジタルカメラ3104(内向き画像センサ等)も、目3102が反射するパターン3100の画像を撮像するべく眼鏡装置の内部に配置されるとしてよい。例えば、この画像の撮像は、
図32に示すように、目の角膜表面から撮像されるとしてよい。パターン3100の画像を撮影して、検査サブシステム122は、(例えば、
図33に示すように)パターンが通常に見えるかどうか、または、(例えば、
図34(3101)に示すように)異常があるかを判断するとしてよい。異常については、評価して本明細書で説明している技術のうち1つを用いて矯正するとしてよい。
【0101】
いくつかの実施形態では、検査サブシステム122は、刺激のセットをユーザに表示させ、当該刺激のセットに関連するフィードバックとしてユーザの1つまたは複数の目(例えば、ユーザの網膜または角膜の少なくとも一部)の画像を取得し、ユーザの目に関連する光感度、歪み、または他の収差(例えば、低次または高次の収差、静的または動的収差など)に対処するための1つまたは複数の修正パラメータまたは関数を決定してもよい。このような修正には、変換(回転、反射、並進/シフト、サイズ変更など)、画像パラメータの調整(明るさ、コントラスト、彩度、シャープネスなど)、またはその他の修正が含まれてもよい。一例として、パターン(例えば、アムスラーグリッドまたは他のパターン)がユーザの網膜または角膜に投影されるとき、得られた画像は、収差を有する投影パターンの反射(例えば、網膜または角膜から反射されたもの)を含んでもよい。検査サブシステム122は、修正されたパターンが網膜または角膜に投影されたときに、(その後に得られる)網膜または角膜の画像が、1つ以上の収差のない修正前のパターン画像のバージョンであるように、パターンに適用される修正パラメータまたは関数を自動的に決定してもよい。ある使用例では、
図31Cに関して、パターン3100がユーザの網膜に投影されると、得られた画像は、歪みを有するパターン3100(例えば、
図31Dの修正パターン3100’に描かれた歪みの逆バージョン)を含んでもよい。関数(または、そ
のような関数のパラメータ、例えば、得られた画像の歪みを逆にするもの)を決定し、パターン3100に適用して、修正パターン3100’を生成してもよい。修正パターン3
100’がユーザの網膜に投影されると、ユーザの網膜からの修正パターン3100’の
反射は、修正前の歪みのない
図31Cのパターン3100を含むことになる。反射が依然として歪みを含む範囲で、検査サブシステム122は、(例えば、網膜の反射に示される)歪みをさらに緩和するために、パターンに適用される修正パラメータまたは関数を自動的に更新してもよい。
【0102】
別の使用例では、網膜または角膜から反射された投影された刺激(例えば、パターンまたは他の刺激)を捉えた目の画像(例えば、ユーザの1つまたは複数の目の画像)を使用して、1つまたは複数の他の収差を補正するための関数(または関数のパラメータ)を決定してもよい。決定された関数またはパラメータを投影された刺激に適用し、修正された刺激の反射が依然として収差を含む限り、検査サブシステム122は、(例えば、反射に示される)収差をさらに軽減するために、刺激に適用される修正されたパラメータまたは関数を自動的に更新してもよい。さらなる使用例では、パラメータまたは関数の前述の自動決定は、ユーザの眼ごとに実行されてもよい。このようにして、例えば、各眼の適切なパラメータまたは関数を使用して、各眼が異なる収差を有する不同視または他の症状に対する補正を提供してもよい。例えば、不同視に関しては、一般的な矯正眼鏡では両眼の不均等な屈折力を補正することはできない。これは、矯正用眼鏡は、大きさが均一でない2つ(例えば、各目につき1つ)の画像(不等像視)を形成し、脳がこれら2つの画像を両眼単視のために融合させることができず、視覚的混乱が生じるためである。この問題の原因は単純で、眼鏡のレンズは、凸型で画像を拡大するか、凹型で画像を縮小するか、どちらかであるためである。拡大または縮小の程度は、矯正量に応じて変わる。適切なパラメータまたは関数が各眼に対して決定され得るとすると、前述の操作(または本明細書に記載される他の技術)は、(各眼が異なる収差を有する他の症状とともに)不同視を補正し、それによって、視覚的混乱またはそのような症状に関連する他の問題を回避することができる。
【0103】
いくつかの実施形態では、
図1Aに関して、検査サブシステム122は、刺激のセットをユーザに対して表示させ、当該刺激のセットに対するユーザの修正または他のユーザ入力に基づいて、1つまたは複数の修正パラメータまたは関数(光感度、歪み、またはユーザの目に関連する他の収差に対処するもの)を決定することができる。いくつかのシナリオでは、
図31Cに関して、パターン3100は、格子図(例えば、アムスラーグリッド)、または、1または複数の眼球異常を治療するために必要な変換を検出できるよう設計されている任意の公知の基準形状であってよい。そして、この変換を用いてリアルタイムで画像を逆に歪ませて、視覚を改善するとしてよい。
図8の実装例において、視覚システム800は検査モジュール802を含むとしてよい。検査モジュール802は、ウェアラブル眼鏡に関連付けられているとしてよく、または、本明細書で説明しているように外部装置と組み合わせて実行されるとしてよい。検査モジュール802は、アムスラーグリッドを含む検査刺激を被験者806に対して提示するとしてよい。被験者は、ユーザ装置808または他の入力装置を介して、格子図の画像を操作して(例えば、格子図の線の1つまたは複数の部分をドラッグまたは移動することによって)、歪みを改善してもよい。視覚補正フレームワーク810は、被験者によるさらなる修正のためにアムスラーグリッドを提示するとしてもよい。被験者が手動での修正を完了する(これにより、例えば、修正済パターン3100’が作成される)と、視覚補正フレームワーク810は、眼鏡装置を使用している場合に見えているシーンに適用すべき被験者の修正プロファイルを生成するとしてよい。一例として、視覚補正フレームワーク810は、パターン3100が関数の入力として提供されたときに、修正済パターン3100’を出力する逆関数(またはその
ような関数のパラメータ)を生成してもよい。視覚システム800について説明したワークフローは、本明細書で説明している他の検査モードの処理にも同様に適用可能であってよい。
【0104】
図31Bは、ウェアラブル眼鏡(例えば、VRヘッドセットまたはARヘッドセット)に画像として表示されるアムスラーグリッド3100(例えば、基準画像の例)が提示されている様子を説明するための概略図である。アムスラーグリッド3100は、被験者の角膜および/または網膜に表示または投影されるとしてよい。標準的な格子
図3100の例を
図31Cに示す。同じ格子パターンをユーザ装置に表示するとしてよい。被験者は、格子パターンの線、特に、曲線状に見える線を、キーボード、マウス、タッチスクリーン、または、ユーザインタフェースを含むユーザ装置の他の入力部を用いて、操作するとしてよい。被験者は、画像操作を開始する基準点3102を特定することができる。被験者は、基準点を特定した後、特定した線をユーザ装置(例えば、矢印のキー)を利用することで調整し、異常が発生している黄斑が原因で感知している歪みを修正するとしてよい。この手順は、それぞれの目について別個に実行するので、修正入りの格子図が2つ得られるとしてよい。
【0105】
被験者が、直線に見えるように線の変更を完了すると、視覚補正フレームワークは新しい格子図を用いて、加えられた歪みに対応する交点からなるメッシュを生成する。検査モードで生成されるこのようなメッシュを任意の画像に適用して、被験者の異常を補償する。例えば、検査モードの確認の一環として、適切なメッシュに対応する変更後の画像をそれぞれの目に見せるとしてよい。そして、被験者はユーザ装置で、補正後の画像で欠陥が見当たらないかどうかを指摘することができ、欠陥が見当たらない場合には、補正が成功したといえる。例えば、
図31Eは、ユーザが感知すべき、実際のシーンを図示している図である。
図31Fは補正された視野を示す図であり、アムスラーグリッドを用いる方法によって決定される視覚歪みを持つ被験者に提供される場合、
図31Fの視野を見ている被験者は、
図31Eの実際の視野を感知することになる。
【0106】
このような補正は、ライブ画像に対してリアルタイムで実行され、連続的に補正後の視覚シーンを被験者に提示するとしてよい。眼鏡装置は、撮像視野を生成するディスプレイを含むとしてもそうでないとしても、または、眼鏡装置がカスタム現実型で、歪みを調整するための補正層を利用するとしてもそうでないとしても、どちらの場合も決定される補正用メッシュを利用し得るので、補正がリアルタイムで実現されるとしてよい。
【0107】
一部の例において、アムスラーパターン等の基準画像は、
図31Gに図示している3150(例えば、タブレットPC)等の、タッチスクリーンまたはタブレットPCに直接表示されるとしてよい。アムスラーパターンは装置3150のディスプレイに提示され、被験者は、曲線状に見える線をスタイラス3152を用いて操作して、直線に見えるように線に対して適用されるべき補正を描くとしてよい。検査モード中は、変更が行われた後は毎回、格子図を再描画して最新の編集を反映させるとしてよい。この手順は、それぞれの目について別個に実行するので、2つの修正済みの格子図が得られるとしてよい。被験者が検査モードでの変更を完了した後、タブレットPCはアプリケーションを実行して、メッシュデータの作成および眼鏡装置上の添付アプリケーションへの送信を行い、決定したメッシュを適用する画像を処理する。
【0108】
眼鏡装置は、検査モードでの変更結果を受け取ると、任意の画像に適用して被験者の異常を補償するとしてよい。そして、この補正によって得られた画像を表示するとしてよい。表示は、VRヘッドセット、ARヘッドセットを介して行うとしてよい。一例を挙げると、ディスプレイは、ヘッドセットを利用してユーザに画像をホログラフィック方式で提示する。表示された画像の各々は、各々の目について生成されるメッシュに対応するとしてよい。被験者に修正後の画像が異常が無いように見えたのであれば、補正は成功とみなしてよく、今後の画像処理のために保持されるとしてよい。検査モードの一部の実施形態において、変更後の格子図にしたがって変更された一枚の画像を提示することに代えて、または、加えて、変更を組み込んだ動画を提示するとしてもよい。一例において、動画は、補正を経て供給されるカメラからのライブ動画ストリームを含み、被験者に表示される。
【0109】
いくつかの実施形態では、
図1Aに関して、検査サブシステム122は、ユーザの視野の1つ以上の欠陥のある視野部分を決定してもよい(例えば、ユーザに表示された刺激のセットに関連するフィードバックまたは他のフィードバックに基づく自動決定)。一例として、欠陥のある視野部分は、1つ以上の視覚基準(例えば、ユーザが1つ以上の刺激を感知するかどうか、または感知する程度、光感度、歪み、または他の収差の程度、または他の基準)を満たすことができないユーザの視野部分の1つであってもよい。いくつかのケースでは、ユーザに表示される刺激のセットは、テキストまたはオブジェクトの少なくとも1つの検査画像を含む。欠陥のある視野部分は、視覚感度が低下した領域、光学収差が高いまたは低い領域、明るさが低下した領域、または他の欠陥のある視野部分を含んでもよい。いくつかのケースでは、刺激のセットは、互いに対して、さらに、基準コントラストレベルに対して、コントラストレベルが少なくとも20dB異なるとしてよい。いくつかのケースでは、刺激のセットは、互いに対して、さらに、基準コントラストレベルに対して、コントラストレベルが少なくとも30dB異なるとしてよい。いくつかのケースでは、検査サブシステム122は、検査モードにおいて、検査刺激のセットを降順または昇順のコントラストでユーザに表示するように、ウェアラブル眼鏡装置に指示することができる。
【0110】
ある使用例では、検査は4人の被験者に対して行われた。検査プロトコルは、眼鏡装置の1または複数の表示モニタにおいて複数の異なる位置に文字列を表示することを含むとした。被験者の視野のうち欠損領域を評価するべく、「text」という単語をそれぞれの目の眼鏡モニタに表示し、被験者に「text」を特定出来るか聞いた。まず、「text」という単語のうち「xt」の部分を、操作側が被験者の盲点に意図的に配置した。4人の被験者は全員、単語のうち「te」の部分のみが見えると答えた。この後、表示を制御するためのソフトウェアを用いて文字を移動させた。「text」という文字列を被験者の盲点から離して、被験者に再度単語を読むように依頼した。被験者は「text」を読むことが可能となり、この時点において単語のうち「xt」の部分が見えるようになったと述べた。
【0111】
検査モードのこの評価プロトコルの一例を
図6Aから
図6Cに示している。
図6Aおよび
図6Bに図示しているように、コードはハンフリー視野における盲点を自動的に検出する。単語「text」600は、単語のうち「xt」部分が盲点602に位置するように投影される(
図6A)。被験者にはこの単語を読むように依頼した。単語「text」600をこの後、盲点602から離して(
図6B)、被験者に再度読むように依頼した。単語「text」600は、被験者の視野の複数の異なる座標に表示することが可能であり、図示した例では視野は4つの座標に分割されている。このプロトコルによって、周辺盲点604を含む複数の盲点を特定することが可能になる。文字列を被験者の視野全体で移動させ、文字列の一部または全体が見えない場合、または、部分的に見えるか、もしくは、強度は下がるが見える場合に特定するよう被験者に依頼するとしてよい。
【0112】
本明細書で説明する瞳孔追跡機能には、瞳孔の物理的状態(例えば、視軸、瞳孔の大きさおよび/または角膜縁)、整合、拡大および/または視線が含まれるとしてよい。視線は、視軸としても知られているが、瞳孔、角膜縁(角膜と強膜との間の縁部)の追跡のうち1または複数によって、または、目の表面または目の内部の血管を追跡することによって、得られるとしてよい。このように、瞳孔追跡は、角膜縁または血管の追跡も同様に含むとしてよい。瞳孔追跡は、本明細書で説明するように、1または複数の内向き画像センサを利用して実行されるとしてよい。さまざまな実施形態において、瞳孔追跡機能は、投影画像を被験者の視野に位置合わせするためのパラメータを決定するために用いられるとしてよい(
図6C)。
【0113】
図6Cに関して、GUI606の表示は操作者に対して表示されるとしてもよい。GUI606は検査に関する情報を提供するとしてよい。例えば、GUI606は、測定された視野欠損を示し、欠損に対する画像の相対的な位置を示す。GUI606は、視野の機能部分に対して画像を自動的に分配できるよう構成されているとしてよいが、自動モードを操作者がオーバーライドできるようにするためのボタンを含むとしてよい。外部画像処理装置は、この評価用文字列を表示すべき場所を決定するよう構成されているとしてよく、検査モードにおいてさまざまな位置に文字列を表示するようデジタル眼鏡に命令を無線通信するとしてよい。
【0114】
他の使用例では、
図7Aから
図7Cに関して、「text」を利用する代わりに、被験者には、瞳孔を追跡し病変領域を決定するべく、視野の複数の異なる部分に配置される車両700が見えるかどうかを決定するという検査を実施した。瞳孔追跡機能によって、視覚システムは、投影画像を被験者の視野に位置合わせすることが可能になる。
【0115】
いくつかの実施形態では、
図1Aに関して、検査サブシステム122は、ユーザに表示された刺激のセットに対するユーザの目の反応、または刺激のセットに対するユーザの目の反応の欠如(反応とは、例えば、眼球運動の反応、瞳孔サイズの反応などである)に基づいて、ユーザの視野の1つまたは複数の欠陥のある視野部分を決定してもよい。いくつかの実施形態では、1つまたは複数の刺激が、視覚検査提示の一部としてユーザに動的に表示されてもよく、刺激に対する反応または反応の欠如が記録され、ユーザの視野のどの部分が健全であるかを決定するために使用されてもよい。一例として、ユーザの目が表示された刺激に反応した場合(例えば、表示された刺激の位置に向かって視線の方向を変えた場合)、目の反応は、目が表示された刺激を見ることができること(例えば、ユーザの視野の対応する部分がユーザの健全な視野の一部であること)を指示するものとして使用されてもよい。一方、ユーザの目が表示された刺激に反応しない場合(例えば、表示された刺激の位置に向かって視線の方向が移動しない場合)、目の反応の欠如は、目が表示された刺激を見ることができないこと(例えば、ユーザの視野の対応する部分が欠陥のある視野部分であること)を指示するものとして使用されてもよい。前述の指示に基づいて、検査サブシステム122は、ユーザの視野のうちの欠陥のある視野部分を自動的に決定してもよい。
【0116】
いくつかの実施形態では、ユーザに表示される刺激のセットは、異なる明るさ、コントラスト、彩度、またはシャープネスレベルの刺激を含んでもよく、特定の明るさ、コントラスト、彩度、またはシャープネスレベルを有する刺激に対する反応または反応の欠如は、ユーザの視野の一部(表示された刺激の位置に対応する部分)が、明るさ、コントラスト、彩度、またはシャープネスに関連する問題を有するかどうかの指示とされてもよい。一例として、ユーザの目がある特定の明るさレベルを有する表示された刺激に反応した場合、目の反応は、目が表示された刺激を見ることができること(例えば、ユーザの視野の対応する部分がユーザの健全な視野の一部であること)を示すものとして使用されてもよい。一方、同じ位置で、より低い明るさレベルを持つ刺激(例えば、正常な目であれば反応するもの)に対して、ユーザの目が反応しない場合、その目の反応の欠如は、ユーザの視野の対応する部分の明るさが低下していることを指示するものとして使用することができる。場合によっては、ユーザの目が刺激に反応するまで、またはある明るさレベルの閾値に達するまで、刺激の明るさレベルを段階的に高めてもよい。ユーザの目が最終的に刺激に反応した場合、現在の明るさレベルを使用して、その対応する視野部分の光感度のレベルを決定してもよい。明るさレベルの閾値に達しても、ユーザの目が刺激に反応しない場合、対応する視野部分が盲点であると判断してもよい(例えば、コントラスト、彩度、シャープネスなどの1つ以上に対応する刺激を変化させても目の反応が生じない場合)。前述の指示に基づいて、検査サブシステム122は、ユーザの視野のうちの欠陥のある視野部分を自動的に決定してもよい。
【0117】
いくつかの実施形態では、視覚検査提示のための固視点が動的に決定されてもよい。いくつかの実施形態では、固視点の位置およびユーザに表示される刺激の位置は、ユーザの目の視線方向または他の側面に基づいて動的に決定されてもよい。例として、視覚検査の提示中に、固視点と刺激の位置の両方が、患者の目の動きに対して相対的に患者に動的に表現される。ある使用例では、現在の固視点は、患者が現在特定のインスタンスを見ている視覚検査提示の位置に設定され、検査刺激は、その固視点に対して相対的に表示されてもよい。このようにすれば、例えば、患者は、予め決められた特定の固視位置に注意を固定する必要がない。これにより、視覚検査の提示をより客観的かつインタラクティブなものにすることができ、定点を長時間固視することによるストレスを軽減することができる。また、動的な固視点を使用することで、固視点に関連する患者のミスを排除することができる(例えば、患者が静的な固視点に焦点を合わせることを忘れた場合など)。
【0118】
いくつかの実施形態では、固視点がロックされてもよく、ロックが解除されるまで、1つ以上の検査刺激がその固視点に対して相対的に表示されてもよい(例えば、
図35F)。ロックが解除されると、現在の固視点は、患者が現在特定のインスタンスを見ている視覚検査提示の位置に設定されてもよい。その後、新しい固視点がロックされてもよく、1つまたは複数の後続の検査刺激が、その新しい固視点に対して相対的に表示されてもよい。いくつかの実施形態では、固視点が同じままである間、複数の刺激が視覚検査提示の1つまたは複数の異なる位置に表示されてもよい。一例として、固視点が同じままであるときに、1つ以上の刺激が表示された後、他の1つ以上の刺激が表示されてもよい。いくつかの実施形態では、複数の刺激のそれぞれが表示された後、視覚検査提示が行われるユーザインタフェース上で強調表示されなくなるか、またはユーザインタフェースから削除されてもよい。一例として、固視点が同じままであるときに、1つ以上の刺激が表示されて強調表示されなくなった/削除された後、他の1つ以上の刺激が表示されて強調表示されなくなる/削除されるとしてもよい。ある使用例では、刺激の強調解除を実行するために、刺激の明るさまたは他の強度レベルを低下させてもよい(例えば、予め決められた量だけ低下させる、デフォルトの「低い」閾値レベルに低下させる、患者には見えないと判断された各患者ごとの閾値レベルに低下させる、など)。別の使用例では、刺激は、ユーザインタフェースから削除されてもよい(例えば、刺激は、ユーザインタフェースによって表示されなくなる)。
【0119】
前述のように、いくつかの実施形態では、検査サブシステム122は、ユーザに関連する目の特性情報(例えば、患者の眼球運動、視線方向、または視覚検査提示中に発生するような他の目に関連する特性)に基づいて、(例えば、視覚検査提示のための)固視点を調整してもよい。一使用例では、検査サブシステム122は、固着点に基づいて、(例えば、ユーザのウェアラブルデバイスまたは他のデバイスの)ユーザインタフェース上の第1のインタフェース位置に第1の刺激を表示させてもよい。検査サブシステム122は、眼球特性情報に基づいて固視点を調整し、調整された固視点に基づいて、視覚検査提示中に、ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させてもよい。前述のように、いくつかの実施形態では、第1の刺激の表示と第2の刺激の表示との間に、1つまたは複数の刺激がユーザインタフェース上に(例えば、異なるインタフェース位置に)表示されてもよい。検査サブシステム122は、視覚検査提示の間にフィードバック情報を取得し、当該フィードバック情報に基づいて視覚欠陥情報を生成してもよい。一例として、フィードバック情報は、第1の刺激に関連するフィードバック、第2の刺激に関連するフィードバック、視覚検査提示中に表示される第3の刺激に関連するフィードバック、または1つ以上の他の刺激に関連するフィードバックを示してもよい。このようなフィードバックは、(i)刺激に対するユーザの反応、(ii)刺激に対するユーザの反応の欠如、(iii)ユーザが1つ以上の刺激を感知するかどうかまたは感知の程度、光感度、歪み、または他の収差の程度、または(iv)他のフィードバックを示してもよい。生成された視覚欠陥情報は、(i)1つまたは複数の予測モデルの訓練、(ii)ユーザの1つまたは複数の修正プロファイルの決定、(iii)ユーザのために画像を補正または修正するライブ画像処理の促進、(iv)または本明細書に記載されているその他の動作の実行に使用することができる。
【0120】
いくつかの実施形態では、視覚検査の提示中に動的固視点を使用することで、ユーザインタフェースを介して提供されるビューの寸法よりも、ユーザの視野をより広くカバーすることができる。一例として、
図35A~35Eに関して示されるように、(例えば、ユーザのウェアラブルデバイスまたは他のデバイスの)ユーザインタフェースは、1つまたは複数の寸法を有するビューを表示するように構成されてもよく、ここで、寸法の各々は、度数(例えば、70度の幅、70度の高さ、別の度数の幅または高さなど)に対応する。しかしながら、動的固視点の使用により、検査サブシステム122は、1つまたは複数の寸法に関する度数を超えるカバー範囲(例えば、ユーザインタフェースビューの幅と比較したユーザの視野の水平方向の寸法、ユーザインタフェースビューの高さと比較したユーザの視野の垂直方向の寸法など)を有する視覚欠陥情報を生成してもよい。あるシナリオでは、こうした技術に基づいて、視覚欠陥情報は、ユーザインタフェースビュー全体よりも最大で2.85倍大きなエリアのカバー範囲を有してもよく、カバーエリアは、ユーザインタフェースビュー全体の4倍に近づくサイズまで拡大され得る(これは例えば、ウェアラブルデバイスとユーザの目との間の距離が減少するか、またはウェアラブルデバイスの2つのモニタ間の距離が増加した場合である)。さらに、視覚欠陥情報は、ユーザインタフェースビューの幅よりもユーザの視野領域の2倍までの幅、ユーザインタフェースビューの高さよりもユーザの視野領域の2倍までの高さ、またはユーザの視野の他の拡大された領域に対するカバー範囲を有してもよい。別のシナリオでは、こうした技術に基づいて、視覚欠陥情報は、ユーザの視野の2つ以上の視野位置に欠陥が存在するかどうか、またはその程度を示してもよく、ここで、視野位置は、ユーザの視野の1つ以上の寸法に関して、ユーザインタフェースビューの寸法の度数よりも大きく互いに離れている。
【0121】
一使用例では、
図35Aに関して、動的固視点およびユーザインタフェース3502(これは例えば、70度のビューを提供するように構成されている)の使用は、水平方向および垂直方向の両方の寸法において70度よりも大きいカバー範囲を有する視野マップ3504の生成を容易にすることができる。一例として、
図35Aに示されるように、刺激3506aがユーザインタフェース3502の中心に表示されることで、ユーザにユーザインタフェース3502の中心を見させ、これによって固視点3508をユーザインタフェース3502の中心に初期設定してもよい。具体的には、ユーザの眼に関する特性(例えば、本明細書に記載の眼球追跡技術によって検出される特性)が、ユーザが刺激3506aを見ていることを示している場合、視覚検査提示のための固視点3508は、現在刺激3506aに対応するユーザインタフェース3502の位置に設定されてもよい。いくつかの使用例では、固視点は、ユーザが現在見ている位置に応じて、ユーザインタフェース3502上で「浮動する」。
【0122】
別の使用例では、
図35Bに示されるように、刺激3506bは、ユーザインタフェース3502の左下隅に表示されてもよい(例えば、刺激3506aが表示されたユーザインタフェース3502の位置から50度離れた位置に表示される)。ユーザの眼に関する特性が、ユーザが刺激3506bを感知していることを示す場合(例えば、ユーザの眼球運動が刺激3506bに向いていると検出される場合)、視野マップ3504は、ユーザがユーザの視野内の対応する位置(例えば、視野マップ3504内の固視点の位置から同じ方向に50度離れた位置)を見ることができることを示すように更新されてもよい。ユーザの眼に関する特性が、ユーザが現在刺激3506bを見ていることを示す場合、視覚検査提示のための固視点3508は、次に、刺激3506bに対応するユーザインタフェースの位置に設定されてもよい。
【0123】
別の使用例では、
図35Cに示されるように、刺激3506cは、ユーザインタフェース3502の右上隅に表示されてもよい(例えば、刺激3506bが表示されたユーザインタフェース3502の位置から100度離れている)。ユーザの眼に関する特性が、ユーザが刺激3506cを感知していることを示す場合、視野マップ3504は、ユーザがユーザの視野の対応する位置(例えば、視野マップ3504の固視点の位置から同じ方向に100度離れた位置)を見ることができることを示すために更新されてもよい。ユーザの眼に関する特性が、ユーザが現在刺激3506cを見ていることを示す場合、視覚検査提示のための固視点3508は、次に、刺激3506cに対応するユーザインタフェース3502の位置に設定されてもよい。
図35Dに示されるように、刺激3506dは、ユーザインタフェース3502の左下隅に表示されてもよい(例えば、刺激3506cが表示されたユーザインタフェース3502の位置から100度離れた位置に表示される)。ユーザの眼に関する特性が、ユーザが刺激3506dを感知していることを示す場合、視野マップ3504は、ユーザがユーザの視野の対応する位置(例えば、視野マップ3504の固視点の位置から同じ方向に100度離れた位置)を見ることができることを示すために更新されてもよい。ユーザの眼に関する特性が、ユーザが現在刺激3506dを見ていることを示す場合、視覚検査提示のための固視点3508は、次に、刺激3506dに対応するユーザインタフェース3502の位置に設定されてもよい。
図35Eに示されるように、刺激3506eは、ユーザインタフェース3502の右上隅の左側に表示されてもよい(例えば、刺激3506dが表示されたユーザインタフェース3502の位置から90度離れた位置に表示される)。ユーザの眼に関する特性が、ユーザが刺激3506eを感知していることを示す場合、視野マップ3504は、ユーザがユーザの視野の対応する位置(例えば、視野マップ3504の固視点の位置から同じ方向に90度離れた位置)を見ることができることを示すために更新されてもよい。ユーザの眼に関する特性が、ユーザが現在刺激3506bを見ていることを示す場合、視覚検査提示のための固視点3508は、次に、刺激3506eに対応するユーザインタフェース3502の位置に設定されてもよい。このようにして、例えば、ユーザインタフェースビューが水平および垂直次元の両方で70度しかなかったとしても、視野マップ3504は、現在、ユーザの視野の斜め200度、水平次元におけるユーザの視野の140度、および垂直次元におけるユーザの視野の140度に対応するカバー範囲を有する。
【0124】
別の使用例では、
図35Bに関して、ユーザの眼に関する特性が、ユーザが刺激3506bを見ていないことを示す場合(例えば、刺激3506bの表示に対する有意な眼球運動反応がなかった、ユーザの視線がユーザインタフェース3502上の刺激3506bの位置に近接した領域に移動しなかった等)、ユーザがユーザの視野内の対応する位置を見ることができないことを示すために、視野マップ3504が更新されてもよい。このように、いくつかのシナリオでは、視野マップは、ユーザインタフェース3502のビューのサイズよりも大きい領域について、ユーザの視野における視覚欠陥およびその対応する位置を示してもよい。一例として、ユーザインタフェースビューが水平および垂直次元において70度しかない場合であっても、視野マップは、水平および垂直次元のそれぞれにおいて互いに70度以上離れている視野位置において視覚欠陥を示してもよい(例えば、こうして示された視覚欠陥間の距離は、水平次元において最大140度離れていてもよく、垂直次元において最大140度離れていてもよい)。
【0125】
いくつかの実施形態では、(例えば、ユーザインタフェースビューに関連するハードウェア/ソフトウェアコンポーネントの制限にもかかわらず)ユーザの視野をより広くカバーすることを容易にするために、(例えば、視覚検査提示のための)現在の固視点からより遠いインタフェース位置に基づいて、ユーザインタフェース上の1つまたは複数の位置が、1つまたは複数の刺激を表示するために選択されてもよい。いくつかの実施形態では、検査サブシステム122は、第1のインタフェース位置が、ユーザインタフェース上の1つまたは複数の他のインタフェース位置よりも固視点から遠いことに基づいて、ユーザインタフェース上の第1のインタフェース位置を選択し、第1のインタフェース位置に第1の刺激を表示させてもよい。いくつかの実施形態では、(例えば、ユーザの眼に関する特性に基づいて)固視点が調整された後、検査サブシステム122は、第2のインタフェース位置が、ユーザインタフェース上の1つ以上の他のインタフェース位置よりも調整された固視点から遠いことに基づいて、ユーザインタフェース上の第2のインタフェース位置を選択し、第2のインタフェース位置に第2の刺激を表示させてもよい。
【0126】
一例として、第1の刺激は、(i)第1の刺激がユーザの視野の第1の視野位置に関連付けられていること、および(ii)第1の視野位置が第1のインタフェース位置(例えば、固視点および固視点に対する第1の視野位置の位置によって決定される)に対応することに基づいて、視覚検査提示中に表示される刺激のキュー(例えば、次に表示される刺激のキュー)に追加されるように選択されてもよい。さらなる例として、第2の刺激は、(i)第2の刺激がユーザの視野の第2の視野位置に関連付けられていること、および(ii)第2の視野位置が第2のインタフェース位置に対応することに基づいて、視覚検査提示中にキューに追加されるように選択されてもよい。次に表示される「より遠い」刺激/場所を選択することにより、検査サブシステム122は、ユーザインタフェースビューの中心から遠く離れた位置に固視点を調整し、それによりユーザの視野のカバー範囲を増大する。ある使用例では、
図35Bに関して、刺激3506bおよびそれに対応するユーザインタフェース3502上の位置は、対応するインタフェースの位置が、(ユーザインタフェース3502の中心に位置する)固視点からユーザインタフェース上で最も遠い位置の1つであるという判定の結果、視覚検査提示中に表示される次の刺激/位置として選択される。そうすることで、固視点は、ユーザインタフェース3502の左下隅に(例えば、ユーザにそこを見させることで)調整され、それによって、次の刺激を固視点から100度も離れたところに表示することができる(例えば、
図35Cの刺激3506bと刺激3506cの間の距離)。
【0127】
いくつかの実施形態では、ユーザの視野の1つまたは複数の位置が、視覚検査提示中に検査される視野位置のセットの一部として含まれてもよい。一例として、視野位置の検査セットは、視覚検査提示中に刺激によって表されてもよく、検査セットの1つ以上の視野位置においてユーザが視覚欠陥を有するか否かまたはその程度の判定は、ユーザが対応する刺激の1つ以上を感知するか否かまたはその程度に基づいて行われる。いくつかの実施形態では、(例えば、ユーザインタフェース上の対応する位置に刺激を表示し、ユーザが表示された刺激を感知するか否かまたはその程度を検出することによって)視野位置が十分にテストされたという判断に基づいて、検査セットから視野位置を削除してもよい。一例として、視野位置の削除は、視覚検査提示中に検査セットから選択することができなくなったとして、検査セット内の視野位置にラベル付けすることを含んでもよい。このように、いくつかのシナリオでは、削除された視野位置に対応する刺激は、その後視覚検査提示中に表示されなくてもよく、検査セット内の1つまたは複数の他の視野位置に対応する刺激は、その後視覚検査提示中に表示されてもよい。さらなるシナリオでは、視野位置は、その後、検査セットに追加されてもよい(例えば、検査セット内の視野位置を、視覚検査提示中に選択可能であるとラベル付けすること、視野位置が視覚検査提示中に選択可能でないことを指定する事前のラベルを除去すること、等による)。
【0128】
いくつかの実施形態では、視覚検査提示中に第1の刺激が表示されるユーザインタフェース上の第1のユーザインタフェース位置に固視点が調整された場合、検査サブシステム122は、第1のインタフェース位置における固視点に基づいて、1つまたは複数の刺激をユーザインタフェース上に表示させてもよい。検査サブシステム122はまた、続いて、ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させてもよい。一例として、第2の刺激は、固視点がまだ第1のインタフェース位置にある間に表示されてもよい(例えば、固視点は、第2の刺激が表示される直前まで、第2の刺激が表示されるまで、あるいはその他のタイミングまで、第1のインタフェース位置にロックされてもよい)。いくつかの実施形態では、検査サブシステム122は、ユーザに関連する目の特性情報に基づいて、ユーザの目が第2のインタフェース位置を固視したことを検出してもよく、検査サブシステム122は、固視検出に基づいて、固視点を第2のインタフェース位置に調整してもよい。
【0129】
いくつかの実施形態では、検査サブシステム122は、視覚検査提示のための固視点のロックを確立することによって、ロックが確立されている間、ユーザインタフェース上の異なるインタフェース位置への固視点の調整(または再調整)を防止してもよい。このようにして、例えば、固視点のロックが確立されている間に、ユーザインタフェース上に1つ以上の刺激を表示して、ロックされた固視点に対するユーザの視野の1つ以上の位置を検査することができる。その後、固視点のロックが解除されると、固視点が再び動的に調整されてもよい。一例として、検査サブシステム122は、ユーザインタフェース上の新しいインタフェース位置(固視点が設定されたインタフェース位置とは異なる)に刺激を提示させてもよい。ユーザの目が新しいインタフェース位置を固視したことを検出したことに基づいて、また、固視点のロックが解除された後に、検査サブシステム122は、固視点を新しいインタフェース位置に調整してもよい。ある使用例では、
図35Fに関して上述したように、ユーザが刺激を「捕捉」できるように固定点ロックを解除してもよく(例えば、工程3544)、その後、ユーザが刺激を見ていることに基づいて、固定点ロックを新しいインタフェース位置で復元してもよい(例えば、工程3546)。具体的には、ユーザが刺激を「捕捉」した(そして、まだ刺激を見ている)場合、この刺激の位置が新たな固視点となる。
【0130】
いくつかの実施形態では、ユーザインタフェース上の第1のインタフェース位置に固視点がある間、検査サブシステム122は、第1のインタフェース位置とは異なるインタフェース位置に複数の刺激を表示させてもよい。一例として、複数の刺激のうちの1つ以上の刺激がユーザインタフェース上に表示されたのに続いて、複数の刺激のうちの1つ以上の他の刺激がユーザインタフェース上に表示されてもよい。別の例として、ある刺激がユーザインタフェースに表示された後、ユーザインタフェース上で強調表示が解除されるか、またはユーザインタフェースから削除され、別の刺激が続いてユーザインタフェースに表示された後、ユーザインタフェース上で強調表示が解除されるか、またはユーザインタフェースから削除されてもよい。ある使用例では、
図35Fに関して、固視点を(先行する刺激が表示された)インタフェース位置にロックしてもよく(例えば、工程3546)、固視点に基づいて、1つまたは複数の刺激を新しいインタフェース位置でユーザインタフェースに表示してもよい(例えば、工程3528、工程3540aなど)。
【0131】
別の使用例では、固視点がロックされたままの状態で、異なるインタフェース位置に複数の刺激を表示することにより、ユーザの視野の複数の位置を検査してもよい。一例として、
図35Cに関して、固視点は、代替的に、刺激3506bがユーザインタフェース3502に表示されるインタフェース位置にロックされてもよく、固視点が刺激3506bのインタフェース位置にロックされたままで、ユーザインタフェース3502の異なる位置に刺激を表示することによって、視野マップ3504の右上隅に対応するユーザの視野の部分が検査されてもよい。
【0132】
いくつかの実施形態では、ユーザインタフェースの1つまたは複数のインタフェース位置が、ユーザの視野が検査される相対的な固視点となるように予め指定されてもよい。一例として、ユーザインタフェースの4つの角が、視覚検査提示中にそれぞれ固視点となるように予め指定されている場合、検査サブシステム122は、ユーザが中央の刺激(例えば、初期固視点)を最初に固視するように、ユーザインタフェースの中央に刺激を最初に表示させてもよい。検査サブシステム122は、次に、ユーザインタフェースの右上隅に刺激を表示させ、(例えば、ユーザの目の特性に基づいて)ユーザが右上の刺激を見ていることを検出すると、ユーザインタフェースの右上隅に固視点を調整してロックしてもよい。検査サブシステム122は、続いて、固視点がロックされたままの状態で、ユーザインタフェース上の異なる位置に刺激を表示させることによって、ユーザの視野の一部を検査してもよい。一使用例では、ユーザインタフェースが
図35Aのユーザインタフェース3502によって表され、ユーザの視野が
図35Aの視野マップ3504によって表される場合、固視点が右上隅にロックされたままの状態でユーザインタフェースの異なる位置に刺激を表示することによって、視野マップ3504の左下の4分の1の領域に対応するユーザの視野の部分が十分にテストされてもよい。次いで、前述の処理をユーザインタフェースの他の隅に対して繰り返し、視野マップ3504の他の部分に対応するユーザの視野の部分を検査してもよい。
【0133】
いくつかの実施形態では、固視点がユーザインタフェース上の第1のインタフェース位置(第1の刺激が表示される位置)にある間に、検査サブシステム122は、複数の刺激を表示させ、その後、ユーザインタフェース上で強調表示を解除するか、またはユーザインタフェースから削除する一方で、第1の刺激はユーザインタフェース上の第1のインタフェース位置に表示され続けてもよい。一例として、第1のインタフェース位置がユーザインタフェースの右上隅である場合、一連の他の刺激がユーザインタフェース上に瞬間的に表示されている間に、第1の刺激が表示され続けてもよい。このように、別のインタフェース位置で発生する視覚的変化(別のインタフェース位置に現れる別の刺激によるもの)は、別のインタフェース位置がユーザの視野の欠陥部分(例えば、ユーザの視野の盲点)に対応していない場合、ユーザに視覚的変化の出力源を見させることになる。しかし、他の刺激が消えると、第1の刺激がユーザの目にとって視覚的シミュレーションの主要な(または唯一の)出力源となるため、ユーザは右上の隅に戻って固視する。
【0134】
いくつかの実施形態では、固視点がユーザインタフェース上の第1のインタフェース位置(第1の刺激が表示される位置)にある間に、検査サブシステム122は、第1の刺激をユーザインタフェース上で強調解除またはユーザインタフェースから削除し、その後、ユーザインタフェース上の第1のインタフェース位置で強調または再表示させてもよい。いくつかの実施形態では、固視点が第1のインタフェース位置にある間、検査サブシステム122は、複数の刺激をユーザインタフェース上に表示させ、複数の刺激のうちの少なくとも1つの刺激の表示に続いて、第1の刺激をユーザインタフェース上の第1のインタフェース位置で強調または再表示させてもよい。ある使用例では、第1の刺激の明るさが低下した場合、第1の刺激の明るさを高めることによって、ユーザの目が視覚的変化(および増加した視覚的刺激)を感知して、第1の刺激がユーザインタフェース上に表示される第1のインタフェース位置に戻って固視するようにしてもよい。別の使用例では、第1の刺激がユーザインタフェースから削除された場合、第1の刺激の再表示により、同様に、ユーザの目がユーザインタフェース上の第1のインタフェースの位置に戻って固視するようになる。
【0135】
いくつかの実施形態では、
図35Fに示す処理の1つまたは複数の部分を用いて、動的固視点を使用する視覚検査提示を容易にしてもよい。
図35Fに関して、工程3522では、ユーザの視野における可能な刺激(例えば、すべての可能な刺激)のマトリクスが作成または取得される。工程3524では、眼球追跡装置を使用して、浮動固視点を視野の中心にロックする。一例として、眼球追跡装置から得られた目の座標を使用して、浮動固視点を目の周囲で「浮動」させてもよい。工程3526では、マトリクスの利用可能な刺激を(例えば、浮動固視点から最も遠い点が最初になるように)ランク付けしてもよい。一例として、少なくともユーザインタフェース上の他のすべての位置(マトリクスの利用可能な刺激に対応する)と同じ距離だけ固視点から離れているユーザインタフェースビューの位置に対応する刺激は、他のすべての利用可能な刺激よりも上位にランク付けされてもよい(または、浮動固視点からの距離が等しい他の刺激と同じ優先順位でランク付けされてもよい)。一例として、ランク付けは、眼球追跡装置(例えば、瞳孔または眼球追跡装置または他の眼球追跡装置)を使用してリアルタイムで実行されてもよい。
【0136】
工程3528では、ランク付けに続いて、ランキングリスト上の最初の刺激(例えば、最も高い優先度を有する刺激)が、視覚検査提示中に表示される次の刺激とされてもよい。一例として、刺激は、背景に対して高度にコントラストをなす色で表示されてもよい(例えば、刺激の色は、黒い背景とコントラストをなすために黒であってもよい)。工程3530では、眼球運動ベクトル(または眼球に関連する特性の他の表現)が、眼球追跡装置を使用して一貫して測定されてもよい。目の動きが刺激に向かっていないことが検出された場合(工程3532)、工程3534において、刺激は見られていないものとしてカウントされ、利用可能な刺激のマトリクスから削除される。工程3528~3530は、ランキングリストの現在の最高ランクの刺激(利用可能な刺激のマトリクス内にあるもの)を用いて繰り返される。
【0137】
目の動きが刺激に向かっていることが検出された場合(工程3536)(例えば、それによって、ユーザが刺激を感知していることを示す)、工程3538において、刺激が(質的に)見られたとカウントされ、刺激はユーザインタフェースから消える。工程3540a~3540dにおいて、視覚検査提示によって、ユーザが視野の特定の領域で刺激を感知することができる程度を検査してもよい。一例として、工程3540aでは、刺激が再度表示されるが、この工程が実行される度に色のシェードがより暗くなる(例えば、灰色のシェード)。ある使用例では、刺激は、最初は背景色に類似した色で再度表示されてもよい(例えば、背景色が白の場合、刺激の色は最初は薄い灰色であってもよい)。工程3540bでは、眼球運動ベクトル(または眼球に関連する特性の他の表現)が、眼球追跡装置を使用して常に測定されてもよい。目の動きが刺激に向かっていないことが検出された場合(工程3540c)、工程3540aおよび3540bが繰り返される(例えば、白い背景色とさらにコントラストをなすためにより暗い色のシェードを用いて)。目の動きが刺激に向かっていることが検出された場合、表示された刺激の色のシェードの度合い(例えば、灰色のシェードの度合い)に基づいて、視野の特定の領域について、視覚の感度が示される(工程3542)。
【0138】
工程3544では、眼球追跡/浮動固視点のロックが解除される(例えば、ユーザが刺激を捕捉できるようにするため)。工程3546では、(例えば、ユーザが現在見ている位置に基づいて)眼球追跡/浮動固定点のロックが復元される。例として、ユーザが刺激を「捕捉」した(そして、まだ刺激を見ている)場合、この刺激の位置が新しい浮動固視点となる。工程3548では、利用可能な刺激のマトリクスからこの刺激が取り除かれ、マトリクスの他の利用可能な刺激について工程3526で処理が繰り返される。
【0139】
いくつかの実施形態では、固視点の位置またはユーザに表示される刺激の位置は、視覚検査提示の間、静的であってもよい。一例として、検査サブシステム122は、ユーザにユーザインタフェースの中心(または、静的固視点に対応する他の位置)を見させるために、ユーザインタフェースの中心(または、静的な固視点に対応する位置)に刺激を表示してもよい。ユーザが静的固視点の位置を見ていると検出されると、検査サブシステム122は、ユーザの視野の1つまたは複数の領域を検査するための刺激のセットのうち、次の刺激を表示してもよい。ユーザが静的固視点の位置を見ていないと検出される度に、検査サブシステム122は、静止固視点の位置に刺激を繰り返し表示してもよい。
【0140】
別の例として、
図35Gに関して、高速閾値戦略を適用する視覚検査提示は、所定の位置で52個の刺激シーケンスを使用して、中心の40度の半径をカバーする4つのコントラストをなす階段状刺激を利用してもよい。他の例では、異なる数のコントラスト刺激、カバー範囲、および刺激の位置を使用してもよい。本例では、刺激は
図35Gに図示する各セルの中心に配置した。12個の隅部のセルは、ディスプレイのレンズが円形であるために刺激が見えない位置であり、検査の対象外とした。刺激位置同士の間の間隔は、約10度とした。刺激シーケンスはそれぞれ、背景に対してコントラストレベルが異なる連続する刺激を4つ含むとした。刺激のコントラストは,33dBから24dBまでの間で、各コントラストレベルの間を3dBずつ降順に変化させた。閾値は、最後に見せた刺激で記録された。患者が特定の位置においていずれの刺激のコントラストも見なかった場合、この位置を見えないものとして、0dBの値を与えた。
【0141】
背景は照度が明るい(100ルクス)一方、刺激は暗い点でそれぞれコントラストレベルが異なるとした。このため、検査は薄明視検査ではなく明所視検査とした。一部の実施形態において、背景は暗く、刺激は明るい照度の点であるとしてもよい。それぞれの刺激は、約250ミリ秒という期間にわたって提示された後、応答待機時間が約300ミリ秒とした。これらの期間は、被験者の応答速度にしたがって制御プログラムによって調整可能ともした。例えば、検査前の確認に基づいて検査前に、または、検査中に動的に調整するとしてよい。概して、0.44度の刺激サイズを中央の24度の半径で利用した。これは、標準的なゴールドマン刺激サイズIIIに対応する。周辺部における刺激サイズ(24度から40度の半径)は倍増させて0.88度とした。周辺視力における刺激サイズを倍増させるのは、周辺部では表示レンズの性能が劣化するのを補うことが目的であった。正常な人間の視力も周辺領域で悪化するので、このようなレンズの劣化の影響は大きかった。検査プログラムもまた、さまざまな患者の事例に合わせて刺激サイズを変更できるとした。
【0142】
図35Gの固視ターゲット(パターン)は、検査したそれぞれの目のためのスクリーンの中央に配置した。このターゲットは、従来のハンフリー検査で通常利用される単色の固視点ではなく、多色点として構成した。このように色を変化させることで、被験者の注意をひきやすくして、ターゲットに焦点を合わせやすいようにした。色を変更する頻度は刺激が見える頻度とは同期させなかったので、被験者は両者を関連付けず、誤って応答しない。この検査プロトコルもまた、患者の症状に合わせて固視ターゲットサイズを変更できるとした。さらに、眼球/瞳孔追跡システムを用いて、被験者が目を固定する様子をさまざまな時間間隔で確認するとしてよい。眼球追跡システムは検査プログラムに注視ベクトル方向を送信して、被験者が適切に中心に焦点を合わせているか否かをプログラムに通知する。
【0143】
固視しているか否かの確認は、それぞれの目について個別に瞳孔/注視データを利用して行った。瞳孔/注視データは、さまざまなタイミングで取得して、注視方向ベクトルが約0度である場合、被験者は中心にあるターゲットに焦点を合わせており、そうでない場合、プログラムは再度固視されるまで一時停止して待機した。患者が固視していない場合、刺激は表示されず、参加者が再度固視するまで検査は停止した。固視ターゲットにおける細かい目の動きのために、ずれには許容誤差が認められた。固視しているか否かの確認は、刺激の位置毎に主に2通りのタイミング、つまり、刺激シーケンスに含まれるそれぞれの刺激を表示する前(例えば、前述した4つのレベルのうちそれぞれの刺激コントラストレベルの前)、そして、応答を記録する前に、応答が肯定的(例えば、患者が刺激を見ている場合)または否定的(例えば、患者が刺激を見ていない場合)のいずれであろうと、行った。否定的な応答は、許容された応答時間に加えて刺激シーケンス期間の終了時に記録された。刺激シーケンスを示す前に固視しているか否かを確認するのは、患者が固視ターゲットに焦点を合わせていることを確認するためであった。被験者が固視していない場合、刺激は表示されず、参加者が再度固視するまで検査は停止した。
【0144】
図36は、1つの刺激位置における検査シーケンスの処理を示すタイミング図である。一例において、瞳孔追跡装置は、視覚システムまたは視覚システムの装置とは別個であってもよいし、一構成要素であってもよいが、内向き画像センサを備え、画像表示装置に指示するデータを提供するよう構成されているとしてよい。画像表示装置は、視線の動きにしたがって投影されている刺激の位置を変化させるべく、プロジェクタを含むとしてよい。このようにすることで、被験者が見回していて固視していない場合であっても、刺激は被験者の目と共に移動するとしてよく、視野における所望の位置の検査を継続する。このため、被験者が固視ターゲット以外に焦点を合わせていると判断される場合に刺激シーケンスを停止させるのではなく、刺激シーケンスは刺激を継続して変更し、被験者の現在の固視点を決定することに基づいて再配置されるように、シーケンスにおいて、被験者の視野内で意図した位置に対応させるとしてよい。
【0145】
被験者毎に、視野検査は、どのように検査を進めるかを被験者に説明することから開始された。眼鏡装置を患者に合わせて装着し、被験者が固視ターゲットをはっきりと見えるようにして、必要であれば、これにしたがってターゲットサイズを調整した。眼球追跡のキャリブレーションを、ある一点、固視ターゲットにおいて、実行した。この後、デモンストレーションモードを被験者に提示した。このモードは、本検査と同じ順序で行われるが、本例では位置の数を減らして7個の位置で行い、どの応答も記録しない。このモードの目的は、検査に関して被験者にトレーニングを提供することであった。また、このトレーニングモードによってプログラム運営者は眼球追跡システムの精度、患者の応答速度、および、装着したヘッドセットに対する患者の目の位置を確認することができ、本検査においてエラーやずれが生じないようにする。
【0146】
そして、15度の近接する範囲内で1度の間隔を空けて4つの異なる位置に配置された閾上刺激を示すことにより、正常な盲点を走査で検索した。これは、ヘッドセットと被験者の目との間の回転方向の不整合を回避するうえで有益なステップであった。
【0147】
続いて、52個の刺激シーケンスを、予め指定した位置で順不同に患者に提示した。被験者は、刺激に応答して、電子クリッカーを作動させるか、または、ジェスチャをすることで、応答を示した。全ての位置での被験者の応答を記録した後、「見えなかった」点の位置を一時的に格納した。この後、検索アルゴリズムを利用して、「見えなかった」点の位置から成る境界上の全ての「見えた」点の位置を発見した。そして、これら2種類の点の集合を再度検査して参加者のランダムな応答エラーを除外し、視野領域が連続したものになるようにした。誤った肯定的な応答、誤った否定的な応答、および、固視喪失(存在する場合)を、検査が終了するまでに、算出して報告した。この結果、52個の応答の全てをキュービック法を利用して補間して、検査対象の参加者の連続的視野プロットを生成した。
【0148】
眼鏡装置の内側表示レンズの一部を被覆することでシミュレーションした視野欠損を利用して、20人のボランティア被験者に対して視野検査を試しに行った。ディスプレイの内被覆された領域を示す画像を利用しつつ、結果を点毎に比較して評価した。検査精度の基準として、52個の応答を、被覆されたヘッドセットのディスプレイ画像における略対応する位置で比較した。算出されたエラーを表1にまとめている。
【表1】
【0149】
一方、23人の臨床患者の視野検査を、被験者が診察で通常受けるハンフリーフィールドアナライザ(HFA)検査の最も最近の結果と比較した。これら2種類の視野検査装置同士で、共通する24度の中心領域を一致させて比較した。この検査でも比較および相対的なエラー算出は共通する24度の中心領域で点毎に行われ、この領域外の領域については、中心領域と連続していること、および、孤立した応答点が無いことから判断した。算出されたエラーを表2にまとめている。
【表2】
【0150】
この後、画像再マッピング処理を行った。これは、患者に示す表示画像について新たな寸法および中心を特定することを含むとした。出力画像は、元の入力画像をサイズ変更してシフトすることによって被験者の目の明視野にはめ込まれる。
【0151】
視野は全ての「見えた」という患者の応答を1に設定し、「見えなかった」応答をゼロのままとすることによって、二値化された。この結果、8×8のサイズの小さい二値画像が得られた。他の実施形態では、利用する二値画像のサイズは増減するとしてよい。最大で4個の接続された画素を含む小領域は二値視野画像から削除した。4つの接続された画素は小領域を決定する上での所定のしきい値を表していたが、一部の実施形態ではしきい値をこれより増減させるとしてもよい。このような小領域は画像はめ込みプロセスでは考慮しなかった。無視した小領域は、正常な盲点、重要でない欠損、または、被験者の視野検査中に発生し得る任意のランダムなエラー応答のいずれかを表す。
【0152】
このように補間された二値視野画像に基づいて、明視野の領域の特性を算出した。明領域について算出された特性は以下を含むとした。1)画素を単位とした明領域
2)領域の境界となるボックス
3)重み付けされた領域の重心
4)視野のうち明領域を構成する全ての画素のリスト境界となるボックスは、明領域を構成する全ての画素を取り囲む最小矩形とした。領域の重心は、水平座標および垂直座標に関して算出された当該領域の質量中心とした。この特性の値は、出力画像の新たな中心に対応し、マッピングに必要となる画像シフトの量に対応する。
【0153】
最大の明視野を構成する画素のリストを利用することで、
図37に示すように、明視野の境界を定める全ての画素の幅および高さを算出した。明視野の行毎に、境界となる画素を2つ特定し、それらの垂直座標に減算を行って、その行における明視野の幅BF
widthsを取得した。このような幅の算出を、明視野を構成する全ての行について、BF
widthsを算出するために繰り返した。同じような繰り返しは、BF
heightsを算出するための列毎のプロセスにも適用されるとしてよい。この後、2つのスケーリング方程式のうちいずれか1つを利用して、マッピングされた出力画像のサイズ、Width
mapおよびHeight
mapを
図37に示すように新たに決定するとしてよい。
【0154】
Width
mapは以下のサイズ変更方程式を利用して算出するとしてよい。
【数1】
【0155】
BFwidthsおよびBFheightsはそれぞれ、算出された明視野の境界を定める画素の幅および高さである。このスケーリング方法では、上記で特定したように、新たな出力画像サイズとして、各方向における明視野サイズの中央値を算出し、新しい画像の中心とする。このように中央値を特定する方法は、平均値に代えて利用され、大き過ぎるか、または、小さ過ぎる明視野の寸法に関連するサイズ変更歪みを回避するためであった。この方法のマッピング挙動は、可能な限りで最大の明るい領域内に画像をはめ込むためであるが、この方法ではアスペクト比を維持しないので画像の拡大または縮小が発生し得る。
【0156】
Height
mapは以下のサイズ変更方程式を利用して算出するとしてよい。
【数2】
【0157】
Isizeは補間された画像のサイズ(出力画像サイズ)であり、BXwidths、BXheightsは、境界となるボックスの幅および高さである。この方程式の分子での和はそれぞれ、水平方向および垂直方向に関して算出される明視野の面積と略等しい。このため、これらの和を出力画像のサイズの二乗で除算した結果は、各方向においてマッピングすべき画像面積比例数の推定値となった。これらの比例数に、すでに算出した境界となるボックスの対応する寸法を乗算する。この方法のマッピング挙動は、出力画像のアスペクト比を維持しつつ最大明視野に画像をはめ込もうとすることである。境界となるボックスの寸法を計算に組み込んだことで、この効果が得られた。しかし、欠損が見られる視野パターン全てでアスペクト比を維持したとはいえない。
【0158】
一実施形態において、AIシステムは、これら2つの方程式および、数百でなくとも数十の異なる方程式を最適化プロセスで利用して、見えている視野のうち画像にはめ込む部分を多くできるのはどちらかを決定するとしてよい。操作者のフィードバックに基づいて、システムは、補正すべき特定の視野に基づき他の方程式に比べてある方程式を好むように学習するとしてよい。
【0159】
これらの再マッピング技術は、有害物体特定検査において利用された。再マッピング方法は、安全上問題のあるもの、今回の検査では車両を含む検査画像を利用して、23人の被験者において検査した。検査画像は、
図38に示すように、視野の4つの主な象限を検査するように選択された。視野の一例を利用して、被験者に表示する検査画像を再マッピングした。被験者は、向かってくる車両の画像を見せることで、検査した。被験者は、再マッピングされた画像を見せられるまで車両が見えなかった。
図39Aには、再マッピングを行っていない場合に被験者が見ている画像を示し、
図39Bには、再マッピング後に見える画像を示す。本発明者たちの事前研究によると、78%の被験者(23人のうち18人)が、この支援技術無しでは特定できなかった安全上の問題を特定できた。一部の被験者は、両方の目について個別に検査を行ったので、33個の目についての検査が行われた。33個の目のうち23個において、視覚支援技術が、被験者がシミュレーションした向かってくる有害物を特定する上で有効であったことがわかった(P=0.023)。
【0160】
指摘したように、いくつかの実施形態では、
図1Aに関して、検査サブシステム122は、ユーザに表示された刺激のセットに対するユーザの目の反応、または刺激のセットに対するユーザの目の反応の欠如(反応とは、例えば、眼球運動の反応、瞳孔サイズの反応などである)に基づいて、ユーザの視野の1つまたは複数の欠陥のある視野部分を決定してもよい。いくつかの実施形態では、1つまたは複数の動く刺激が、視覚検査提示の一部としてユーザに動的に表示されてもよく、刺激に対する反応または反応の欠如が記録され、ユーザの視野のどの部分が健全であるかを決定するために使用されてもよい。一例として、視覚検査提示の動的部分において、患者の目の反応の記録は、視覚検査提示において刺激が表示された後に開始され、刺激が消えるまで継続されてもよい(例えば、刺激は、視覚検査提示の開始点から中心点まで移動した後に消えてもよい)。別の例として、視覚検査提示中に、患者が刺激を認識したと判断されたとき(例えば、患者の視線方向が刺激の現在の位置に変化したとき)、刺激が取り除かれてもよい(例えば、患者の視界から消えてもよい)。このように、視覚検査提示の時間を短縮し、よりインタラクティブなものにすることができる(例えば、患者には、視覚欠陥の診断ではなく、ゲームをしているような感覚を与える)。(刺激のセットに対する反応またはその欠如を示す)前述の指示に基づいて、検査サブシステム122は、ユーザの視野のうちの欠陥のある視野部分を自動的に決定してもよい。
【0161】
いくつかの実施形態では、検査サブシステム122は、ユーザの視野の1つまたは複数の欠陥のある視野部分を決定してもよく、視覚サブシステム124は、欠陥のある視野部分の決定に基づいて、強化画像を提供するか、またはウェアラブルデバイスの1つまたは複数の構成を調整させてもよい。一例として、強化画像は、その1つ以上の所定の部分(例えば、ユーザの眼の視野の黄斑領域または眼の黄斑領域内の領域に対応する強化画像の領域)が欠陥のある視野部分の外側にあるように、ユーザに生成または表示されてもよい。別の例として、ウェアラブルデバイスの1つまたは複数の表示部分の位置、形状、またはサイズ、上記表示部分の明るさ、コントラスト、彩度、またはシャープネスレベル、上記表示部分の透明度、またはウェアラブルデバイスの他の構成が、決定された欠陥のある視野部分に基づいて調整されてもよい。
【0162】
図4は、検査モードおよび後続の視覚モードの両方の実装例を説明するためのプロセス400を示す図である。ブロック402において、検査モードでは、眼鏡装置およびその他のユーザ入力装置、例えば、携帯電話またはタブレットPCの内部に埋設されている画像センサ等の診断装置からデータを取得する。ブロック404において、検査モード診断を実行して、受け取ったデータから眼球異常を検出および測定するとしてよい(例えば、視野欠損、眼球の位置ずれ、瞳孔の動きおよび大きさ、角膜または網膜の表面で反射されるパターンの画像を検出および測定するとしてよい)。一例において、制御プログラムおよびアルゴリズムをMATLAB R2017b(MathWorks,Inc.社、米国マサチューセッツ州ネイティック)を用いて実装した。さまざまな実施形態において、被験者または検査者には、片目毎に個別に検査を行うか、または、1回で両目を順に検査するかの選択肢が与えられるとしてよい。一部の実施形態において、検査モードは、所定の位置において刺激シーケンスを利用して、中央の20度以上の半径をカバーするコントラスト階段状刺激を含む応用高速しきい値化方式を含むとしてよい。一例として、検査モードは、所定の位置において52個の刺激シーケンスを利用して中央の40度半径をカバーし、4つのコントラストをなす階段状刺激を含む応用高速しきい値化方式を含むとしてよい。これについては、
図35Aから
図35Gおよび
図36を参照して本明細書で説明した。別の例として、検査モードは、本明細書に記載されているように、ユーザに表示された刺激のセットに対するユーザの目の1つ以上の応答、または刺激のセットに対するユーザの目のそのような応答の欠如(例えば、眼球運動応答、瞳孔サイズ応答など)に基づいて、視覚的欠陥(例えば、欠陥のある視野部分)を自動的に決定することを含んでもよい。
【0163】
ブロック406において、決定された診断データを、特定可能な眼疾患を補償するための修正プロフィールを格納しているデータベースまたはデータセットと比較するとしてよい(例えば、
図16および関連する説明)。
【0164】
特定された修正プロフィールは続いて、例えば、視軸の差異、視野欠損、光過敏性、複視、両目間での画像の大きさの変化、画像のゆがみ、視力低下を補償するように、個人に合わせて調整するとしてよい。
【0165】
個人に合わせて調整したプロフィールは、(例えば、画像プロセッサ、シーン処理モジュールおよび/または視覚モジュールを利用して)画像を処理するために、リアルタイムデータと共にブロック408によって利用されるとしてよい。リアルタイムデータは、瞳孔追跡データを提供する1または複数の内向き画像センサ410が検出したデータ、および/または、視野スクリーンを撮像するよう配置されている1または複数の視野カメラ412を含む1または複数の外向き画像センサからのデータを含むとしてよい。ブロック414において、リアルタイム画像補正が実施されるとしてよく、画像は眼鏡装置に、再生成されたデジタル画像として、または、補正された部分が重ねられるように眼鏡装置を通過する拡張現実画像として、または、被験者の網膜に投影される画像として、表示される(ブロック416)としてよい。一部の例において、ブロック414の処理は、キャリブレーションモード418と組み合わせて実行される。キャリブレーションモード418では、ユーザはユーザインタフェースを利用して画像補正を調整し得る。ユーザインタフェースは、ユーザに画像および修正プロフィールを制御させる入力装置等である。例えば、ユーザは、片方の目の画像を、複視を緩和するべく、横方向、上方向および下方向にずらすとしてよく、または、回転させる(cyclotorted)としてよい。上記または他の例において、ユーザは、視覚機能に悪影響を及ぼすことなく、または、許容できない歪みを発生させることなく視野を拡大するべく、視野の変換(例えば、魚眼変換、多項式変換または等角写像変換)または並進移動の程度を微調整するとしてよく、明るさおよびコントラストを微調整するとしてよく、または、色を反転するとしてよい。
【0166】
図5は、別のプロセス500の例を示す図である。プロセス500は、プロセス400の例と同様に、検査モードおよび視覚モードを実現する。ブロック502において、瞳孔の大きさ、調節の程度および注視に応じた高次収差および低次収差のデータを収集する。一部の実施形態において、このデータの全てまたは一部は、収差計から収集されるとしてもよいし、または、角膜および/または網膜に投影されたパターンまたは格子パターンの画像を撮像して、角膜または眼球光学系全体の収差を検出するべく基準画像と比較することによって収集されるとしてよい。収集したデータは視覚補正フレームワークに送信するとしてよい。視覚補正フレームワークは、ブロック504において、上述したブロック406と同様に、個々人に合わせた修正プロフィールを決定するとしてよい。ブロック508から518は、プロセス400の対応するブロック408から418と同様の機能を実行する。
【0167】
図8は、眼鏡装置を用いてユーザ806に複数の視覚刺激804を生成して提示する検査モジュール802を示すワークフロー800を示す図である。ユーザ804は、検査刺激に対する入力応答を提供するべくユーザがやり取りを行うために用いられるユーザ装置808を持つ。一部の例において、ユーザ装置808は、検査刺激に対する入力応答を提供するためのやり取りのためにユーザが用いるジョイスティック、電子集計器、キーボード、マウス、ジェスチャ検出器/モーションセンサ、コンピュータ、スマートフォン等の電話、専用装置および/またはタブレットPCを含むとしてよい。ユーザ装置808はさらに、プロセッサと、命令を格納しているメモリとを含むとしてよい。命令は、プロセッサによって実行されると、ユーザがやり取りするためのGUIの表示を生成させる。ユーザ装置808は、メモリ、信号を送受信する送受信機(XVR)、および、視覚補正フレームワーク810と有線接続または無線接続するための入出力インタフェースを含むとしてよい。視覚補正フレームワーク810は、画像処理装置に格納されているとしてよい。視覚補正フレームワーク810は、眼鏡装置、ユーザ装置等に格納されているとしてよいが、図示した例では、フレームワーク810は外部画像処理装置に格納されている。フレームワーク810は、検査モジュール802からの検査モード情報、および、ユーザ装置808からのユーザ入力データを受信する。
【0168】
図9は、ワークフロー800が実行する、検査モードプロセス900を示す図である。ブロック902において、検査モードプロトコルに従って複数の検査刺激が被験者に与えられる。これらの刺激は、文字列の画像、物体の画像、点滅光、格子パターン等のパターンを含むとしてよい。刺激は、被験者に対して表示されるとしてもよいし、被験者の網膜および/または角膜に投影されるとしてもよい。ブロック904において、視覚補正フレームワークは、1または複数の内向き画像センサから検出データ、例えば、瞳孔の物理的状態(例えば、視軸、瞳孔の大きさおよび/または角膜縁)に対応するデータを受信するとしてよい。ブロック904はさらに、刺激に応じてユーザから収集したユーザ応答データを受信することを含むとしてよい。ブロック906において、瞳孔位置状態を複数の異なる刺激において決定するとしてよい。例えば、ある刺激と別の異なる刺激との間の、位置の相違および位置ずれの差異を測定することによって決定するとしてよい。
【0169】
ブロック908において、視野全体において乱視の判断を行うとしてよい。これには、瞳孔ずれデータおよび/または目の収差の解析(例えば、基準画像を網膜および角膜に投影し、網膜表面または角膜表面からの反射画像を基準画像と比較)が含まれるとしてよい。ブロック910において、目の総収差を、(例えば、
図31A、
図32から
図34および関連説明に記載されるように、基準画像を網膜および/または角膜に投影した後で、網膜表面または角膜表面からの反射画像を基準画像と比較することによって)決定するとしてよい。ブロック912において、コマ収差、非点収差もしくは球面収差等の光学歪み等の視覚歪み、または、網膜の疾患に起因する視覚歪みを、視野全体にわたって測定するとしてよい。ブロック914において、視野感度を視野全体にわたって測定するとしてよい。
図9のプロセスのさまざまな実施形態において、ブロック904から914のうち1または複数は実施が任意であってよい。
【0170】
一部の例において、本明細書で説明する視覚システムは、検査モードで得られたデータを評価して、眼球異常の種類および必要な補正の種類を決定することができる。例えば、
図10は、検査モードの一部として実現され得る人口知能補正アルゴリズムモードを含むプロセス1000を説明するための図である。機械学習フレームワークはブロック1002でロードされる。フレームワークの例には、次元縮退、集合学習、メタ学習、強化学習、教師あり学習、ベイズ式、決定木アルゴリズム、線形分類器、教師なし学習、人工ニューラルネットワーク、アソシエーションルール学習、階層的クラスタ分析、クラスタ分析、ディープラーニング、半教師あり学習等が含まれるとしてよい。
【0171】
ブロック1004において、視野欠損の種類を決定する。視野欠陥の例を3つ図示している。未補償の盲点フィールド1006、低感度の部分的盲点1008、正常な視野1010である。ブロック1004は、視野欠損を決定した後、視覚モードのために適切な補正プロトコルを適用する。例えば、未補償の盲点フィールド1006について、ブロック1012において、視覚補正フレームワークは、内向き画像センサを用いた瞳孔追跡等を利用して視覚を追跡し、(例えば、外部カメラ等の外向き画像センサ等を利用して)視野における動体のビデオトラッキングを実行する。図示の例では、ブロック1014において、盲点の領域にある、または盲点の領域に移動している安全上の問題が検出されるが、これは例えば、安全上の問題の位置を、検査モードで測定された欠陥のあるマッピングされた視野と比較することによって行われる。ブロック1016において、対象の物体は、中央位置および周辺位置を含むさまざまな位置において監視するとしてよい。
【0172】
部分的盲点1008の例では、ブロック1018において増進視力視覚モードが開始されるとしてよい。このブロックから、視野内の物体は、視野の中央部分を追跡することによって監視される。ブロック1020において、画像分割アルゴリズムを採用して物体を視野から分離するとしてよい。さらに増進させた輪郭を物体に適用してユーザに表示するとしてよい。尚、輪郭は分割した物体について特定された外縁と一致する。正常な視野1010に関しては、ブロック1022において、カスタマイズされた補正アルゴリズムを適用して収差、視野欠損、内斜視および/または視覚歪みを補正するとしてよい。
【0173】
いくつかの実施形態では、検査サブシステム122は、ユーザに関連付けられた複数の修正プロファイルを決定してもよい(例えば、視覚検査提示の間、ライブ画像データの強化された提示がユーザに表示されている間、など)。いくつかの実施形態では、修正プロファイルのそれぞれは、所定のコンテキストのライブ画像データに適用される修正パラメータまたは関数のセットを含んでもよい。一例として、ユーザは、目の特性の各セット(例えば、視線方向の範囲、瞳孔の大きさ、辺縁の位置、または他の特性)に対する修正プロファイルを有していてもよい。さらなる例として、ユーザは、追加的または代替的に、環境特性(例えば、環境の明るさレベルの範囲、環境の温度、または他の特性)の各セットに対する修正プロファイルを有してもよい。
【0174】
現在検出された眼関連特性または環境関連特性に基づいて、対応する修正パラメータまたは関数のセットが取得され、ライブ画像データの強化された提示を生成するために使用されてもよい。一例として、対応する修正パラメータまたは関数のセットは、現在検出された眼関連特性が、取得された修正パラメータまたは関数のセットに関連付けられた眼関連特性のセットと一致する(例えば、現在検出された眼関連特性が、関連付けられた眼関連特性のセット内に入る)ことに基づいて、取得され(例えば、ユーザに対する画像を修正するために画像に適用され)てもよい。いくつかの実施形態では、修正パラメータまたは関数のセットは、現在検出された眼の特性または環境特性に基づいて生成されてもよい(例えば、修正パラメータの臨時生成、所与のコンテキストに対するユーザに関連付けられた現在記憶された修正プロファイルの修正パラメータまたは関数のセットの調整など)。
【0175】
ある使用例では、(前述の動作を実装する)ウェアラブルデバイスは、ユーザの1つまたは複数の目に対するライブ画像データの強化された提示の明るさを、それぞれの瞳孔サイズに基づいて、自動的に調整してもよい(例えば、このような調整は、周囲の環境の明るさとは無関係である)。一例として、瞳孔不同症を有する被験者は、不均等な瞳孔サイズを有しており、それらの被験者は、健常な目が耐え得る光の明るさに耐えられない単眼による光感受性を有している。このようにして、ウェアラブルデバイスは、それぞれの目の明るさを個別に(例えば、検出されたそれぞれの目の瞳孔サイズに基づいて)自動的に調整することを可能にする。
【0176】
別の使用例では、ウェアラブルデバイスは、瞳孔サイズ、視軸、光軸、辺縁位置、視線、または他の眼球調節状態(例えば、前記状態の変化を含む)を検出し、検出された状態に基づいて修正プロファイルを変更してもよい。一例として、高次収差(例えば、眼鏡でもコンタクトレンズでも補正できない屈折の誤差)を有する被験者の場合、被験者の収差は動的であり、瞳孔の大きさや眼の調節状態に応じて変化する。ウェアラブルデバイスは、瞳孔近見反射(例えば、縮瞳(瞳孔が小さくなる)、および、調節性輻輳(目が内側に移動))の様子を検出することによって、調節状態を検出するとしてよい。さらに、または代わりに、ウェアラブルデバイスは、視線の方向を検出するために、瞳孔および視線の追跡装置を含んでもよい。別の例として、眼の収差は、視覚系の開口部の大きさや位置に応じて変化し、異なる瞳孔の大きさや瞳孔と視軸の位置に関連して測定することができる。ウェアラブルデバイスは、例えば、角膜上の凹凸を測定して(例えば、測定値に基づいて)高次収差を判定し、高次収差に対処するための修正プロファイルを計算してもよい。瞳孔と視軸の異なるサイズと位置(または他の眼の調節状態)に対して、異なる修正プロファイルを作成し、将来の使用のために保存して、リアルタイムの強化を提供してもよい。これらの検出された入力の1つまたは複数により、ウェアラブルデバイスは、適切な修正プロファイル(例えば、修正パラメータまたは関数のセット)を使用して、ユーザのための強化を行うことができる。
【0177】
別の例として、ウェアラブルデバイスは、老眼を補正するために使用されてもよい。この場合、ウェアラブルデバイスは、ユーザに表示される画像のオートフォーカスを自動的に実行することによって、近見視力を提供する。近見視力をさらに増進および強化するために、ウェアラブルデバイスは、(例えば、縮瞳(瞳孔が小さくなる)、および、調節性輻輳(目が内側に移動)などの近見反射の様子を検出することによって)ユーザがどこで近見対象を見ようとしているかを検出し、ユーザが見ている対象に対応する画像の領域(例えば、ユーザが見ているディスプレイの部分、ユーザが見ている対象物の周辺の近見領域など)に対してオートフォーカスを実行してもよい。さらに、または代わりに、ウェアラブルデバイスは、被験者が発揮する近見反射の量および目からの目標までの距離を(例えば、ウェアラブルデバイスのセンサを介して)定量化することによって、目標(例えば、目標の物体または領域)がどのくらいの距離にあるかを決定し、定量化された量および目標の距離に基づいて適切な補正を提供してもよい。
【0178】
別の例として、ウェアラブルデバイスは、(例えば、斜視などに関連する)複視を補正するために使用されてもよい。ウェアラブルデバイスは、ユーザの目を監視し、ユーザの瞳孔を追跡して偏角を測定し、(例えば、斜視などの症状を検出することと連動して)それぞれの目に投影される画像を変位させてもよい。複視は一般的に動的であるため(例えば、複視は1つ以上の視線に向かって増加または減少する)、ウェアラブルデバイスは、ユーザの瞳孔およびユーザの視線を監視することにより、適切な補正を提供することができる。例えば、ユーザの右の瞳孔をユーザの鼻から遠ざける(例えば、ユーザの顔の端に向かって移動させる)ことに問題がある場合、ユーザの複視は、ユーザが右を見ているときに増加し、ユーザが左を見ているときに減少する可能性がある。このように、ウェアラブルデバイスは、ライブ画像データの強化された提示を各々の眼に表示して、ユーザの一方の眼に表示された強化された提示の第1バージョンが、ユーザの他方の眼に表示された強化された提示の第2バージョンからの変位を反映するようにして(例えば、変位の量が瞳孔位置および注視方向に基づくようにして)、ユーザの症状(例えば、斜視または他の症状)を動的に補償し、その結果、あらゆる注視方向について複視を防止することができる。
【0179】
プリズムは、(例えば、斜視または他の症状によって引き起こされる)斜視を有する眼の前方に提示された画像を変位して複視を補正するために適用することができるが、プリズムは、画像のねじれを生じさせることができず、したがって、画像が傾いているか、または回転して(cyclotorted)見える原因となる症状(例えば、回転斜視は、両目から受信した画像が傾いているか、または回転して(cyclotorted)見える原因となる斜視の一形態である)から生じる複視を補正するためには有用ではない。いくつかの使用例では、ウェアラブルデバイスは、ユーザの目を監視して、両目の瞳孔、辺縁、視線、または視軸を相関的に検出することにより、斜視(例えば、回転状態(cyclotorsion)を含む)の程度を測定することができる。さらに、または代わりに、ウェアラブルデバイスによるこうした測定は、両眼の網膜の画像を取得し、網膜および神経の構造を互いに比較することによって行われてもよい。その際、ウェアラブルデバイスは、それらの目の構造物の相対的な位置と、あらゆるねじれ変位を検出して測定してもよい。そのような測定値は、欠陥を補正して複視を緩和するためのライブ画像処理の修正パラメータを予測するための予測モデルに提供されてもよい。ウェアラブルデバイスのセンサ(例えば、瞳孔追跡装置、視線追跡装置、網膜画像に基づく追跡装置など)から得られる連続的なフィードバックは、ライブ画像データに適用される修正プロファイルをリアルタイムで変更するために使用されてもよい。さらなる使用例では、ユーザが補正を微調整することもできる。例えば、ユーザインタフェース上にユーザに対して画像が表示され、ユーザは、その画像(または画像で表現されたオブジェクト)が一方の目の前を横切るまで画像を(例えば、ジョイスティックなどの入力デバイスを使用して)移動させ、オブジェクトが他方の目で見る画像と重なるまでオブジェクトを回転させることができる。いくつかの実施形態では、複視の兆候が検出されると、画像を移動させるべきことまたはその移動の量や位置を明示的に示すユーザ入力がなくても、ウェアラブルデバイスは、一方の目の前を横切る画像を自動的に移動させる(例えば、画像を並進移動または回転させる)ことによって、複視に関連する測定または補正を行うことができる。
【0180】
他の形態の斜視と同様に、回転斜視による結果的な変位は、回転斜視に関連する麻痺した(または部分的に麻痺した)筋肉の意図された作用方向に基づいてリアルタイムで変化し、そのような患者が一方の側または他方の側を見ているときに変化する。眼の特性を追跡することにより、ウェアラブルデバイスは、ユーザの症状を動的に補償することができる。その際、ウェアラブルデバイスは、ライブ画像データの強化された提示を各々の眼に表示して、ユーザの一方の眼に表示された強化された提示の第1バージョンが、ユーザの他方の眼に表示された強化された提示の第2バージョンからの変位を反映するようにする(例えば、変位の量が瞳孔位置および注視方向に基づくようにする)。
【0181】
いくつかの実施形態では、
図1Aに関して、(視覚検査提示中にユーザに表示された)刺激のセットに関連するフィードバック、ユーザの1つ以上の目に関連するフィードバック、ユーザの環境に関連するフィードバック、または他のフィードバックを取得すると、検査サブシステム122は、このフィードバックを予測モデルに提供してもよく、予測モデルは、フィードバックに基づいて構成されてもよい。いくつかの実施形態では、検査サブシステム122は、(例えば、視覚検査提示中に)刺激の第2のセットを取得してもよい。一例として、刺激の第2のセットは、予測モデルによる刺激のセットの処理と、刺激のセットに関連するフィードバックとに基づいて生成されてもよい。刺激の第2のセットは、ユーザの視野の1つまたは複数の他の側面をさらに検査するために(例えば、ユーザの視野に対するより粒状性の高い補正または他の強化を容易にするために)、フィードバックから得られる追加の刺激であってもよい。一使用例では、検査サブシステム122は、(例えば、同じ視覚提示の間に)刺激の第2のセットをユーザに表示させ、それに応答して、刺激の第2のセットに関連するさらなるフィードバックを取得してもよい(例えば、さらなるフィードバックは、ユーザが第2のセットの1つまたは複数の刺激を見ているかどうかまたはどのように見ているかを示す)。検査サブシステム122は、次に、刺激の第2のセットに関連するさらなるフィードバックを予測モデルに提供してもよく、予測モデルは、さらなるフィードバックに基づいて(例えば、視覚検査提示の間に)さらに構成されてもよい。一例として、予測モデルは、(i)(例えば、刺激のセットのうちの、刺激の第2のセットのうちの、または刺激の他のセットのうちの)1つ以上の刺激に対するユーザの反応の表示、(ii)そのような刺激に対するユーザの反応の欠如の表示、(iii)視覚検査の提示中に撮像された眼球画像、または他のフィードバック(例えば、予測モデルは、視覚検査の提示からのフィードバックに基づいて、ユーザに対してパーソナライズされてもよい)に基づいて、ユーザに対して自動的に構成されてもよい。ある使用例では、例えば、フィードバックは、ユーザの1つ以上の視覚的欠陥を示し、予測モデルは、視覚的欠陥に対処するように、フィードバックに基づいて自動的に構成されてもよい。別の例として、予測モデルは、予測モデルによって提供される結果の精度を向上させるために、そのようなフィードバックおよび他のユーザからの他のフィードバックに基づいて訓練されてもよい(例えば、本明細書に記載される修正プロファイルを提供するように訓練されたり、ライブ画像データの強化された提示を生成するように訓練されたりする)。
【0182】
いくつかの実施形態では、視覚サブシステム124は、ライブ画像データまたは他のデータ(例えば、監視された眼関連特性)を予測モデルに提供して、(ライブ画像データから得られる)強化画像を取得し、強化画像を表示させてもよい。いくつかの実施形態では、予測モデルは、(例えば、定期的に、スケジュールに従って、または他の自動化されたトリガに基づいて)予測モデルに継続的に提供されるさらなるフィードバックに基づいて、(ライブ画像データから得られる)強化画像の表示中に構成され続けてもよい。一例として、ウェアラブルデバイスは、ウェアラブルデバイスの1つまたは複数のカメラからライブビデオストリームを取得し、ウェアラブルデバイスの1つまたは複数のディスプレイに強化画像を表示させてもよい(例えば、ライブビデオストリームがウェアラブルデバイスのカメラによって撮像されてから、1000分の1秒未満、100分の1秒未満、10分の1秒未満、1秒未満などの範囲内で)。いくつかの実施形態では、ウェアラブルデバイスは、(例えば、ライブ画像データ、監視された眼関連特性、または他のデータを予測モデルに提供することに応答して)予測モデルから強化画像を取得してもよい。いくつかの実施形態では、ウェアラブルデバイスは、(例えば、ライブ画像データ、監視された眼関連特性、または他のデータを予測モデルに提供することに応答して)予測モデルから修正パラメータまたは関数を取得してもよい。ウェアラブルデバイスは、ライブ画像データから強化画像を生成するために修正パラメータまたは関数(例えば、ライブ画像データを強化画像に変換または修正するために使用される関数のパラメータ)を用いてもよい。さらなる例として、修正パラメータは、1つ以上の変換パラメータ、明るさパラメータ、コントラストパラメータ、彩度パラメータ、シャープネスパラメータ、または他のパラメータを含んでもよい。
【0183】
一例において、AIアルゴリズムを含む機械学習フレームワークを持つ視覚補正フレームワークを用いて、視野を残りの機能視野により良く適合させるために視野の変換、並進移動およびサイズ変更を適用することで、自動個人向け修正プロフィールを作成するとしてよい。機械学習フレームワークは、データ収集、視覚フィールド分類および/または回帰モデルのうち1または複数を含むとしてよい。参加者の応答、定量的スコアおよびフィードバックを記録し易くするべく、グラフィカルユーザインターフェース(GUI)およびデータ収集プログラムを利用するとしてよい。
【0184】
視覚モードで画像に適用される変換に関して、機械学習フレームワークの例示的な変換は、以下の1つ以上を含むことができる。1)等角写像、2)魚眼、3)カスタム4次多項式変換、4)極多項式変換(極座標を使用)、または5)矩形多項式変換(矩形座標を使用)(例えば、
図13)。
【0185】
視覚モードにおいて画像に適用される並進移動に関しては、例として以下に記載するもののうち1または複数を含むとしてよい。中心検出について、最良の中心および中心に対する最近接点の重み付け平均を利用するとしてよい。例えば、最近接点は中心位置に最も近い点を発見することによって決定するとしてよい。最良の中心は、以下のうち1または複数によって決定するとしてよい。1)最大成分の重心、2)最大内接円、最大内接正方形、最大内接ひし形および/または最大内接矩形の中心、または、3)局所的に最大の内接円、内接正方形、内接ひし形および/または内接矩形の中心(例えば、
図14)。例えば、フレームワークは最大形状を検索するが、これに代えて、黄斑視覚領域から離れてしまわないように、フレームワークは複数の方法による最近接点の重み付け平均を採用してよい。
【0186】
さまざまな実施形態において、AIアルゴリズムは最初に、シミュレーションされた視野欠損を利用してトレーニングされるとしてよい。例えば、AIアルゴリズムをトレーニングするために、視野欠損のデータセットを収集するとしてよい。例えば、一の実験プロトコルにおいて、400個の視野欠損から成るデータセットを、緑内障患者から取得した。このデータセットを用いて、格付けのために、正常な被験者に提示するべく仮想現実眼鏡上で視野欠損のシミュレーションを行うとしてよい。この格付けから得られるフィードバックを続いて用いてアルゴリズムをトレーニングするとしてよい。
【0187】
例えば、患者毎に個別に正常な視野パターンに対応する領域に自動的に入力画像をはめ込むAIアルゴリズムを利用するとしてよい。さまざまな実施形態において、このアルゴリズムは、画像を再マッピングする上で少なくとも3段階の自由度を持つとしてよいが、利用する自由度の段階は増減させてよい。一例において、自由度は、変換、シフトおよびサイズ変更を含む。追加される画像変換は、視力が最も高い部分である中央視力に対応する画像の中央領域の品質を維持する一方、周辺にある画質が中程度である周辺領域を濃縮化するとしてよい。これは、生成された画像は内容が全て患者が感知できるように適用されるとしてよい。
【0188】
AIアルゴリズムに含まれる画像変換は、等角写像変換、多項式変換または魚眼変換のうち1または複数を含むとしてよい。一部の実施形態では、他の変換を利用するとしてよい。機械学習技術は、実際にタスクを実行する前に、標識データセットに基づいてトレーニングされるとしてよい。一例において、AIアルゴリズムは、さまざまな種類の周辺欠損を含む視野データセットに基づいてトレーニングされるとしてよい。例えば、一の実験において、データセットは400個の視野欠損パターンを含むものを用いた。トレーニングフェーズではこの後、AIアルゴリズムが作成した再マッピング画像に、正常な参加者たちが定量スコアを付与した。
【0189】
図11は、一例に係る検査画像(刺激)の画像1100を示す。検査画像1100は、視力、中心傍視力および/または周辺視力を測定するよう設計されているとしてよい。図示している検査画像は、
図11に図示しているように、中央領域に5文字、中心傍領域に4つの内側ダイヤモンド1102、周辺領域に8個の外側ダイヤモンド1104を表示している。
【0190】
AIシステムをトレーニングできるようにするためには、上述したように、多量のデータが必要である。最初のステップとして、
図12に示すように、欠損を含む両眼視野を用いて患者の両眼視をシミュレーションするとしてよい。続いて、シミュレーションした視力を、眼鏡装置を利用して被験者に提示するとしてよい。このようにすることで、さまざまな画像操作を利用して入力画像を操作した後、変更後の見え方を格付けさせるべく被験者に再度提示できる。修正プロセスを継続して行い、最適な修正後画像を決定するまで、修正後の画像をさらに修正して被験者に提示するとしてよい。
図13は、ユーザに提示されるべく画像に適用される複数の異なる修正変換の例を示す。
図14は、複数の異なる並進移動方法の例を示す(画像をシフトさせて正常な視野にはめ込む)。正常な視野は白で、盲点である視野は黒である。
【0191】
AIシステムは、人工ニューラルネットワークおよびサポートベクトルマシン(SVM)等の機械学習モデルを用いて設計されているとしてよい。一部の例において、AIシステムは、最適化AIシステムによって最良の画像操作方法(例えば、幾何学的な変換および並進移動)の推定結果を含む出力を生成するよう設計されている。視覚システムは、視覚モードにおいて、出力された画像操作方法に従って操作された画像をヘッドセットを利用して患者に提示するがその際に、欠損を含む自身の視野に基いて、可能な限り最良の視覚を患者が得られるように提示するとしてよい。視覚補正フレームワークの機械学習フレームワーク(本明細書では「AIシステム」とも呼ぶ)は、(例えば、本明細書で説明しているように、)収集されたデータを利用してトレーニングされるとしてよい。AIシステム1500の例を示すブロック図を
図15に示す。
【0192】
AIシステム1500のプロセス1600を
図16に示す。システム150への入力は、検査画像および視野画像を含む。AIシステム1500は、視野にわたってより詳細な内容を提示できるようにするためにはどの幾何学的変換を実行するのが検査画像にとって最良かを推定する。AIシステム1500は続いて、表示される画像が視野の大部分をカバーするように、検査画像のために最良な並進移動を推定する。この後、それぞれ
図17および
図18に示すように、検査画像を変換し並進移動させる。最後に、シミュレーションのみを目的としたトレーニングの場合はこの画像を再度視野と組み合わせるが、検査フェーズでは患者にそのまま表示される。画像に適用すべき画像変換および並進移動のパラメータを含む視野AIシステムの最終実装例を含む、視野解析の要約を提示するグラフィカルユーザインターフェースのスクリーンショットを、
図19に示す。
【0193】
実装例において、人工ニューラルネットワークモデルを利用して機械学習フレームワーク(「AIシステム」)を視覚補正フレームワークで実装した。AIシステムは、ベクトルに変換された視野画像として取得する。AIシステムは、出力として、シーン画像に適用すべき画像変換および並進移動のパラメータの予測結果を供給する。こうして、これらのパラメータを利用してシーン画像を操作する。AIシステムには2つの隠れ層があり。それぞれの隠れ層には3つのニューロン(つまり、ユニット)および1つの出力層がある。このようなAIシステムモデルの一例を
図20に示す。このAIシステムは、他の例では、さらにより正確な結果を得るべく畳み込みニューラルネットワークモデルに拡張されるとしてもよい。
図21および
図22はそれぞれ、一例として、ニューラルネットワークを検査モードに適用した結果であるプロセス2100およびニューラルネットワークを利用したAIアルゴリズム最適化プロセスであるプロセス2200を示す。
【0194】
いくつかの実施形態では、
図1Aに関して、(視覚検査提示中にユーザに表示された)刺激のセットに関連するフィードバック、ユーザの1つ以上の目に関連するフィードバック、ユーザの環境に関連するフィードバック、または他のフィードバックを取得すると、検査サブシステム122は、このフィードバックを予測モデルに提供してもよく、予測モデルは、フィードバックに基づいて構成されてもよい。いくつかの実施形態では、(例えば、定期的に、スケジュールに従って、または他の自動化されたトリガに基づいて)さらなるフィードバックを継続的に取得して予測モデルに提供し、予測モデルの構成を更新してもよい。一例として、ライブ画像データを強化した1つ以上の画像がユーザに表示されている間に、予測モデルの構成を更新してもよい。
【0195】
いくつかの実施形態では、視覚サブシステム124は、ユーザの1つまたは複数の目に関連する特性(例えば、視線方向、瞳孔の大きさまたは反応、辺縁の位置、視軸、光軸、瞼の位置または動き、頭部の動き、または他の特性)を監視し、ユーザへのライブ画像データの強化提示中に、目の特性情報を予測モデルに提供してもよい。さらに、または代わりに、視覚サブシステム124は、ユーザの環境に関連する特性(例えば、環境の明るさレベル、環境の温度、または他の特性)を監視してもよい。一例として、(例えば、監視された特性を示す)目または環境の特性情報に基づいて、予測モデルは、ライブ画像データの強化された提示(例えば、ライブ画像データから得られる1つまたは複数の強化画像のユーザへの提示)を生成するために、ライブ画像データに適用される1つまたは複数の修正パラメータまたは関数を提供してもよい。ある使用例では、予測モデルは、現在検出された目の特性または環境特性に基づいて、(例えば、メモリまたは1つ以上のデータベースに格納されている)修正パラメータまたは関数を取得してもよい。別の使用例では、予測モデルは、現在検出された目の特性または環境特性に基づいて、修正パラメータまたは関数を生成してもよい。
【0196】
いくつかの実施形態では、
図1Aに関して、視覚化サブシステム124は、(例えば、ユーザに表示された刺激のセットに関連するフィードバックまたは他のフィードバックに基づいて)1つまたは複数の透明ディスプレイ上の1つまたは複数の動的表示部分を介して、ユーザの視野の強化を促進してもよい。一例として、動的表示部分は、1つまたは複数の透明表示部分と、1つまたは複数の他の表示部分(例えば、ウェアラブルデバイスまたは他のデバイスの表示部分)とを含んでもよい。いくつかの実施形態では、視覚サブシステム124は、1つまたは複数の画像を他の表示部分に表示させてもよい(例えば、画像が透明な表示部分に表示されないようにしてもよい)。一例として、ユーザは、透明ディスプレイの透明表示部分を見通すことができるが、他の表示部分を見通すことはできず、代わりに、透明ディスプレイの他の表示部分(例えば、透明表示部分の周囲または近接した部分)上の画像提示を見ることができる。すなわち、いくつかの実施形態では、動的ハイブリッドシースルー/不透明ディスプレイを使用することができる。このようにして、例えば、1つまたは複数の実施形態は、(i)典型的なバーチャルリアリティヘッドセットのかさばるサイズと大きな重量を回避し、(ii)ユーザの健全な視覚を利用し(例えば、中心部の視覚は健全だが周辺部の視野が欠損している場合には、中心部の良好な視覚を利用し、周辺部の視覚は健全だが中心部の視野が欠損している場合には、周辺部の健全な視覚を利用する)、(iii)シースルーシーンと内部に表示されたシーンとの間にオーバーラップ効果がある典型的な拡張現実技術によって引き起こされるであろう視覚的混乱を緩和することができる。
【0197】
一例として、ライブ画像データがウェアラブルデバイスを介して取得されてもよく、ライブ画像データに基づいて強化画像が生成され、ウェアラブルデバイスの他の表示部分(例えば、ウェアラブルデバイスのディスプレイのうち、不透明閾値を満たすか、透明閾値を満たさない表示部分)に表示されてもよい。いくつかの実施形態では、視覚サブシステム124は、ユーザの1つまたは複数の目に関連する1つまたは複数の変化を監視し、監視に基づいて、透明ディスプレイの透明表示部分の調整を行わせてもよい。一例として、監視される変化は、眼球運動、注視方向の変化、瞳孔サイズの変化、または他の変化を含んでもよい。ウェアラブルデバイスの透明表示部分または他の表示部分の1つまたは複数の位置、形状、サイズ、透明度、明るさレベル、コントラストレベル、シャープネスレベル、彩度レベル、または他の側面は、監視された変化に基づいて自動的に調整されてもよい。
【0198】
一使用例では、
図24Aに関して、ウェアラブルデバイス2400は、透明な周辺部分2404および不透明な中央部分2406を有するように動的に構成された透明ディスプレイ2402を含んでもよく、これにより、ユーザの環境からの光は、透明な周辺部分2404をそのまま通過することができるが、不透明な中央部分2406を通過しないようになっている。診断された中心視野異常2306を有する患者の場合、前述の動的構成により、そのような患者は、自分の健全な周辺視野を使用して環境の実際の補正されていない光景を見るとともに、不透明な中央部分2406上の中心領域の補正された描写を提示される。
【0199】
別の使用例では、
図24Bに関して、ウェアラブルデバイス2400は、不透明な周辺部分2414および透明な中央部分2416を有するように動的に構成された透明ディスプレイ2402を含んでもよく、これにより、ユーザの環境からの光は、透明な中央部分2416をそのまま通過できるが、不透明な周辺部分2414を通過しないようになっている。周辺視野に異常がある患者の場合、前述の動的構成により、そのような患者は、自分の健全な中心視野を使用して環境の実際の補正されていない光景を見るとともに、不透明な周辺部分2414上の周辺領域の補正された描写を提示されることが可能となる。前述の使用例のそれぞれにおいて、
図24Aおよび24Bに関して、透明表示部分2404、2416または不透明表示部分2406、2414の1つまたは複数の位置、形状、サイズ、透明度、または他の側面は、ウェアラブルデバイス2400(またはシステム100の他の構成要素)によって監視されるユーザの1つまたは複数の目に関連する変化に基づいて、自動的に調整されてもよい。さらに、または代わりに、不透明表示部分2406、2414の1つまたは複数の明るさレベル、コントラストレベル、シャープネスレベル、彩度レベル、または他の側面は、ウェアラブルデバイス2400によって監視されるユーザの1つまたは複数の目に関連する変化に基づいて、自動的に調整されてもよい。場合によっては、例えば、ユーザの視野の明るさが低下した領域に動的に対応するために、(例えば、ユーザの視野の明るさが低下した領域に対応する強化画像の各部分の明るさレベルを高めることに加えて、またはそれに代えて)ユーザの瞳孔および視線(または他の目の特性)を監視し、これらを用いて不透明表示部分2406、2414の各部分の明るさレベルを調整してもよい。
【0200】
一例として、
図24Cに関して、ユーザの視野(例えば、視野平面2432によって表されるように、欠陥のある視野部分、健全な視野部分などを含む)の決定に基づいて、本明細書に記載されるように、(例えば、再マッピングされた画像平面2434によって表されるような)強化画像が生成されてもよい。強化画像は、ディスプレイの不透明領域2438内の(例えば、選択的透明スクリーン平面2416によって表されるような)1つまたは複数の不透明表示部分上でユーザに表示されてもよく、これにより、表示された強化画像が、ディスプレイの透明領域2440を介して環境を見るユーザの視界を増強する。
【0201】
一使用例では、
図24Cに関して、選択的透明スクリーン平面2436は、1つまたは複数の眼球追跡技術を介して、他の平面2432および2434と位置合わせされてもよい。一例として、(例えば、ウェアラブルデバイス2400または他のデバイスの)眼球追跡システムは、ユーザ個々の健全な視野に従って適切な画像投影を保証するために、ユーザに対して較正されてもよい。眼球追跡システムは、(例えば、定期的に、スケジュールに従って、または他の自動化されたトリガに従って)継続的に注視座標を取得してもよい。また、眼球運動の球面座標(θ、φ)をディスプレイの直交座標(x、y)に変換する座標変換を行ってもよい。このように、デバイスのコントローラは、表示される画像の中心位置を決定してもよい。カメラ画像は、取得した注視ベクトル方向に合わせて切り捨てられ、シフトされる(例えば、
図24C)。同じ直交座標を選択的透明スクリーンコントローラに送って、現在の注視方向における黄斑視力に対応する領域を透明にし、中央の視力の使用を可能にしてもよい。場合によっては、注視データに対してローパスフィルタリングを行い、ユーザに表示される画像の揺れの原因となる微小眼球運動(例えば、眼球が完全に静止することはないため、固視時にも発生する絶え間ない動きやドラフト(drafting)に起因する微小眼球運動)を除去してもよい。
【0202】
上に示したように、いくつかの実施形態では、ウェアラブルデバイスは、スクリーン、ガラス、フィルムおよび/または多層媒体等のモニタの表示領域の透明度を選択的に制御するよう構成されているとしてもよい。
図23は、検査モードおよび視覚モードと、カスタム現実眼鏡装置の使用とを実施する例示的なプロセス2300を示しており、これは、黄斑部(中心部)対周辺部の視覚操作を使用してもよい。
【0203】
いくつかの例では、カスタム現実眼鏡装置(例えば、
図40Aから
図40C)は、修正後の画像を見えているシーンに重ねる透明眼鏡を含む。眼鏡は、スクリーンを含むモニタを構成するとしてよい。当該スクリーンは、透明度が制御可能であって、表示する画像を投影するためのものである。一例を挙げると、このようなディスプレイはヘッドアップディスプレイを含む。さまざまな実施形態において、カスタム現実眼鏡装置は、複数の制御可能な層を持つ眼鏡を備える。これらの層は、眼鏡を通して見えているシーンに修正後の画像を重ねる。層は、ガラス、セラミック、ポリマー、フィルムおよび/またはその他の透明材料で形成されるとしてよく、多層構成を持つとしてよい。制御可能な層は、例えば、画素をアドレス指定することによって、視野のうち1または複数の部分において透明度を調整可能である1または複数の電気的に制御可能な層を含むとしてよい。一実施形態において、(例えば、電流、電界または光を利用して)個別にアドレス指定可能である画素またはセルを含むとしてよい。制御可能な層は、視野のうち1または複数の部分のコントラスト、各部分の色フィルタ、各部分のズームイン/ズームアウト、各部分の焦点、外環境から入射する光を視野のうち特定の位置において遮蔽または通過させるべく、画像を表示する眼鏡装置表面の透明度を調整するよう制御される層であってよい。被験者の視覚を増強するべく操作する部分が視野にある場合(例えば、周辺視覚部分または黄斑視覚部分または一部が黄斑部分で一部が周辺部分である部分)、眼鏡のうちその部分の透明度を下げて、眼鏡のうちその部分を通して外環境が見えないように遮蔽し、眼鏡のうちその部分で表示される操作済みの画像を患者がより明確に見えるようにするとしてよい。さまざまな実施形態において、視覚システムまたはカスタム現実眼鏡装置は、頭部の動きだけでなく目の動きによって目の方向が変化する場合、被験者が外環境について自然な視覚が得られるように領域ごとの透明度を動的に制御するとしてよい。例えば、瞳孔追跡データ(例えば、瞳孔および/または視線追跡)を利用して、透明度が下がった領域が被験者の目と相対的に並進移動するように、眼鏡のうち透明度が下がった部分を変更するとしてよい。
【0204】
例えば、カスタム現実眼鏡を構成する眼鏡装置に含まれる眼鏡の透明度は調整され得るが、視野のうち画像修正が実行される箇所に対応する部分(例えば、中央領域または周辺領域)からの光を遮蔽するように、調整は制御可能であるとしてよい。そのような調整がなければ、被験者は操作された画像を見るとともに、当該画像に重ねてこの領域における実際の視野を感知してしまう。このように光を遮蔽するために、眼鏡装置にフォトクロミックガラス層を設けるとしてよい。さらに、眼鏡装置は、内向き画像センサを利用して目(瞳孔)の動きを測定することによって、そして、視覚補正フレームワークで処理することでこのような動きに基づいて補償を行うことで、眼鏡の透明度を下げる領域の位置を変化させるとしてよい。一例を挙げると、モニタの表示スクリーンは、電気インク技術を含む画素またはセルを含む。これらの画素またはセルは、個別にアドレス指定が可能であり、セル内でのインクの構成を変更するための電界を発生させて、透明度の変更および/またはディスプレイの画素の生成を行うとしてよい。実装例において、
図40Aは、フレーム4002および2つの透明眼鏡アセンブリ4004で構成されるカスタム現実眼鏡4000を示す図である。
図40Bおよび
図40Cに示すように、透明眼鏡アセンブリ4004は、電子的に制御が可能な補正層4006が埋設されている。補正層4006は、完全に透明な状態から完全に不透明な状態まで制御可能であるとしてよく、眼鏡4000の視野の一部分に重ねるための、または、置換するための補正画像を生成可能なデジタル層であってよい。補正層4006は、電気接続4008を介して、フレーム4002上の画像処理装置4010に接続されているとしてよい。
【0205】
図23のプロセス2300を具体的に参照すると、ブロック2302において、検査モードデータを視覚補正フレームワークで受信するとしてよく、ブロック2304において、視野のゆがみ、欠損、収差および/または他の眼球異常をその位置と共に決定するとしてよい。
【0206】
診断された中央視野の異常2306について、ブロック2308において、カスタム現実眼鏡装置は、外環境からの画像について眼鏡を通過させてユーザの周辺視野に到達させるとしてよい(例えば、
図24)。図示されているように、カスタム現実眼鏡装置2400は多層眼鏡ビューファインダー2402を備えるとしてよい。周辺領域2404は、光が通過できるように透明に設定されているとしてよく、被験者は実際の修正されていない外環境を見ることができる。ブロック2312において、外環境の中央領域2406は眼鏡装置2400によって不透明とされているとしてよく、中央領域については、例えば、
図13、
図14、
図17および
図18のような修正を利用して、修正された描写がディスプレイによってユーザに提示されるとしてよい。
【0207】
診断された周辺視野の異常2308について、ブロック2314において、外環境の中央領域2416(例えば、
図24B)は、眼鏡装置2400の透明部分を通過することができる。そして、例えば、本明細書で説明している修正用の変換を利用することで修正後の周辺領域画像を周辺領域2414内に表示させるように、周辺領域2414の透明度を変更して光を遮蔽する。
【0208】
いくつかの実施形態では、
図1Aに関して、視覚サブシステム124は、ユーザの目の選択された部分への投影を介して(例えば、ユーザに表示された刺激のセットに関連するフィードバックまたは他のフィードバックに基づいて)、ユーザの視野の強化を容易にすることができる。本明細書で述べたように、ライブ画像データの強化された提示は、強化された提示(例えば、ライブ画像データから得られる修正画像)をユーザの目に投影することによって、ユーザに表示されてもよい。画面上の動的表示部分の使用に加えて、またはその代わりに(例えば、ユーザが画面の1つまたは複数の部分を見通すとともに、画面の1つまたは複数の他の部分に表示されている修正されたライブ画像データを見られるように)、修正された画像データを、ユーザの目の1つまたは複数の部分(例えば、ユーザの網膜の1つまたは複数の部分)に投影すると同時に、ユーザの目の1つまたは複数の他の部分(例えば、ユーザの網膜の1つまたは複数の他の部分)への修正画像データの投影を回避することができる。
【0209】
いくつかの実施形態では、修正された画像データを、ユーザの眼の1つ以上の健全な視野部分に投影すると同時に、ユーザの眼の1つ以上の他の健全な視野部分への修正された画像データの投影を回避することができる。一例として、修正された画像データの投影が回避される他の健全な視野部分に関して、ユーザの環境からの光は、(例えば、プロジェクタによって放出される光からの有意な干渉なしに)ユーザの網膜を通過することができ、それによって、ユーザは、そのような他の健全な視野部分を介して環境を見ることができる。一方、修正された画像データが投影されている健全な視野部分に関しては、投影された光によって、ユーザが、ユーザの視野の健全な投影された部分を介して環境を見ることができなくなる。それにもかかわらず、修正されたライブ画像データをユーザの目の健全な視野部分に投影することによって、システムは、修正されたライブ画像データをユーザの視野を増強するために使用することを可能にする(これは、例えば、ユーザの視野を増強するための動的表示部分の使用と同様の方法で行われる)。
【0210】
いくつかの実施形態では、視覚サブシステム124は、ユーザの1つまたは複数の目に関連する1つまたは複数の変化を監視し、監視に基づいて、プロジェクタの1つまたは複数の投射部分(例えば、ユーザの目に見える閾値の光を放出している、レーザダイオードやLEDダイオードなどを含む部分)の調整を実行させることができる。一例として、スクリーン上の動的表示部分の調整と同様に、監視される変化は、眼球運動、視線方向の変化、瞳孔サイズの変化などを含んでいてもよい。プロジェクタの投影部分または他の部分の1つまたは複数の位置、形状、サイズ、明るさレベル、コントラストレベル、シャープネスレベル、彩度レベル、または他の側面は、監視された変化に基づいて自動的に調整されてもよい。
【0211】
ある使用例では、ウェアラブルデバイスは、強化された提示(例えば、ライブ画像データから得られる修正画像)をユーザの目の1つ以上の部分(例えば、ユーザの健全な視野に対応するユーザの各網膜の1つ以上の部分)に選択的に投影し、同時に、修正画像データをユーザの目の1つ以上の他の部分(例えば、ユーザの健全な視野に対応するユーザの各網膜の1つ以上の他の部分)に投影することを回避するように構成されたプロジェクタを含んでもよい。場合によっては、そのような選択的投影平面の位置合わせは、1つまたは複数の眼球追跡技術(例えば、スクリーン上の動的表示部分の使用に関して
図24Cに記載されたものと同様の1つまたは複数の技術)を介して、他の平面(例えば、視野平面、再マッピングされた画像平面など)と位置合わせされてもよい。
【0212】
図24Aに関して、ウェアラブルデバイス2400は、透明な周辺部分2404および不透明な中央部分2406を有するように動的に構成された透明ディスプレイ2402を含んでもよく、これにより、ユーザの環境からの光は、透明な周辺部分2404をそのまま通過することができるが、不透明な中央部分2406を通過しないようになっている。診断された中心視野異常2306を有する患者の場合、前述の動的構成により、そのような患者は、自分の健全な周辺視野を使用して環境の実際の補正されていない光景を見るとともに、不透明な中央部分2406上の中心領域の補正された描写を提示される。
【0213】
別の使用例では、
図24Bに関して、ウェアラブルデバイス2400は、不透明な周辺部分2414および透明な中央部分2416を有するように動的に構成された透明ディスプレイ2402を含んでもよく、これにより、ユーザの環境からの光は、透明な中央部分2416をそのまま通過できるが、不透明な周辺部分2414を通過しないようになっている。周辺視野に異常がある患者の場合、前述の動的構成により、そのような患者は、自分の健全な中心視野を使用して環境の実際の補正されていない光景を見るとともに、不透明な周辺部分2414上の周辺領域の補正された描写を提示されることが可能となる。前述の使用例のそれぞれにおいて、
図24Aおよび24Bに関して、透明表示部分2404、2416または不透明表示部分2406、2414の1つまたは複数の位置、形状、サイズ、透明度、または他の側面は、ウェアラブルデバイス2400(またはシステム100の他の構成要素)によって監視されるユーザの1つまたは複数の目に関連する変化に基づいて、自動的に調整されてもよい。さらに、または代わりに、不透明表示部分2406、2414の1つまたは複数の明るさレベル、コントラストレベル、シャープネスレベル、彩度レベル、または他の側面は、ウェアラブルデバイス2400によって監視されるユーザの1つまたは複数の目に関連する変化に基づいて、自動的に調整されてもよい。場合によっては、例えば、ユーザの視野の明るさが低下した領域に動的に対応するために、(例えば、ユーザの視野の明るさが低下した領域に対応する強化画像の各部分の明るさレベルを高めることに加えて、またはそれに代えて)ユーザの瞳孔および視線(または他の目の特性)を監視し、これらを用いて不透明表示部分2406、2414の各部分の明るさレベルを調整してもよい。
【0214】
いくつかの実施形態では、検査サブシステム122は、2つ以上のユーザインタフェースを介した(例えば、2つ以上のディスプレイ上での)視覚検査提示中に、ユーザの目に関連する1つ以上の目関連特性を監視し、視覚検査提示中に発生した目関連特性に基づいて、ユーザの1つ以上の目についての視覚欠陥情報を決定してもよい。一例として、検査サブシステム122は、ユーザインタフェースのうちの少なくとも1つにおける1つまたは複数の位置に1つまたは複数の刺激を提示させ、刺激提示時に発生した目の1つまたは複数の目関連特性に基づいて、ユーザの目についての視覚欠陥情報を生成してもよい。いくつかの実施形態では、眼の偏差測定値が、眼関連の特性(刺激提示時に発生したとして監視によって示されるもの)に基づいて決定され、この眼についての補正または他の強化を提供するために使用されてもよい。一例として、偏差測定値は、他方の目に対する目の偏差を示し、偏差測定値は、複視やその他の視覚欠陥の判定および補正に使用されてもよい。一例として、動きの量は目の斜視(例えば、斜視)の量を示し、動きの方向(または軸)は斜視の種類を示す。例えば、眼球の動きが「外」から「内」に向かっていた場合は、斜視が外側に向かう斜視であることを意味する(例えば、外斜視)。このように、いくつかの実施形態では、複視を自律的に判断し、ウェアラブルデバイスを介して補正することができる。
【0215】
いくつかの実施形態では、検査サブシステム122は、ユーザの第1の目の偏差測定値または他の視覚欠陥情報を決定する際に、(i)第1の目のための第1のユーザインタフェース上の位置に刺激を提示させる一方、ユーザの第2の目のための第2のユーザインタフェースの刺激強度が刺激強度閾値を満たさないようにし、(ii)刺激提示時に発生する第1の目の1つ以上の目関連特性に基づいて、視覚欠陥情報を決定する、としてよい。一例として、第1のユーザインタフェース上での刺激提示は、第2のユーザインタフェース上で刺激が提示されていない間に行われてもよい。一使用例では、第1の目(例えば、右目)が、第1のユーザインタフェース上のそのような刺激提示の直前に外斜視となっている場合(例えば、
図25D)、第1の目のみ(例えば、右目のみ)の前で刺激を提示することにより、第2の目(例えば、左目)が、見るべきものがないという結果として持っていた優位性を失うため、第1の目は、本能的に刺激位置に向かって移動して固視する(例えば、1秒以内に)。検査サブシステム122は、第1の目の偏差測定値を決定するために、第1の目の補正運動(および第1の目の目関連特性の他の変化)を測定してもよい。一例として、そのような刺激提示時に発生する第1の目の動きの量は、第1の目の斜視の量に対応してもよい。
【0216】
いくつかの実施形態では、検査サブシステム122は、ユーザの第1の目の偏差測定値または他の視覚欠陥情報を決定する際に、(i)第1の目のための第1のユーザインタフェース上の対応する位置および第2の目のための第2のユーザインタフェース上の対応する位置に、所定の時間に刺激を提示させ、(ii)刺激提示時に発生する第1の目の1つまたは複数の目関連特性に基づいて、視覚欠陥情報を決定する、としてよい。一例として、ターゲット刺激は、両方のユーザインタフェース上の中央位置、または両方のユーザインタフェース上の別の対応する位置に提示されてもよい。ある使用例では、両目の前に刺激を提示する場合(例えば、
図25B)、利き目(例えば、
図25Bの左目)は、本能的に対応する位置に動き、ターゲット刺激を固視する(例えば、1秒以内に)。他方の目(例えば、
図25Bの右目)も動くが、この目は外斜視を有するため、本能的にターゲット刺激を固視せず、ユーザには二重に見えてしまう。例えば、他方の目は本能的に動くが、その本能的な動きによって、他方の目の視線方向が異なる位置に向かうことになる。しかし、ユーザが他方の目でターゲット刺激を見ることに集中すると、他方の目が動き、他方の目のユーザインタフェース上の対応する位置に提示されたターゲット刺激を固視する。ターゲット刺激は両方のユーザインタフェースの対応する位置に提示されているので、利き目は優位なままであり、利き目のユーザインタフェースの対応する位置に提示されたターゲット刺激を固視し続ける。検査サブシステム122は、他方の目の偏差測定値を決定するために、他方の目の補正運動(および他方の目の眼関連特性の他の変化)を測定してもよい(例えば、他方の目の運動量は、他方の目の斜視の量に対応してもよい)。
【0217】
いくつかの実施形態では、第1の眼の眼関連特性の変化(例えば、第1の眼のための第1のユーザインタフェース上の対応する位置での刺激の提示時に発生する第1の眼の動き)を測定することによって、ユーザの第1の眼の偏差測定値または他の視覚欠陥情報を取得した後、検査サブシステムは、第1の眼に対して表示するための第1のユーザインタフェース上の変更された位置で刺激を提示させてもよい。一例として、変更された位置での刺激提示は、第2の目のための第2のユーザインタフェース上に刺激が提示されていない間(または、第2の目が第2のユーザインタフェース上のいかなる刺激にも反応しないように、少なくとも第2のユーザインタフェースの刺激強度が刺激強度閾値を満たしていない間)に起こる。第1の目または第2の目の1つまたは複数の目に関連する特性が、変更された位置での提示時に変化閾値を超えて変化しないことに基づいて、検査サブシステム122は、第1の目の偏差測定値または他の視覚欠陥情報を確定してもよい。一例として、第1の目の偏差測定値は、変更された位置での刺激の提示時に第1の目が運動閾値(例えば、運動なしまたは他の運動閾値)を超えて動かないことに基づいて確定されてもよい。さらに、または代わりに、第1の目の偏差測定値は、第2の目が運動閾値を超えて動かないことに基づいて確定されてもよい。
【0218】
いくつかの実施形態では、検査サブシステム122は、ユーザの1つまたは複数の目の1つまたは複数の偏差測定値または他の視覚欠陥情報(例えば、1つまたは複数の視覚検査提示を介して得られるもの)に基づいて、ユーザに関連付けられた1つまたは複数の修正プロファイルを生成してもよい。一例として、修正プロファイルの各々は、ライブ画像データから強化画像を生成するために使用される修正パラメータまたは関数(例えば、ライブ画像データを強化画像に変換または修正するために使用される関数のパラメータ)を含んでもよい。このように、いくつかの実施形態では、視覚サブシステム124は、(i)ユーザの環境を表すビデオストリームデータ、および(ii)ユーザに関連付けられた修正プロファイルに基づいて、ユーザに表示される修正ビデオストリームデータを生成してもよい。
【0219】
一例として、視覚検査を実行することにより、ユーザの目の偏差が存在するか否かを判断するか、ユーザの目の偏差を測定するか、またはユーザの目のための1つまたは複数の修正プロファイルを生成してもよい。一使用例では、
図25Aに関して、ターゲット刺激2502がウェアラブルデバイスの右および左のディスプレイ2503aおよび2503b上の中央位置で患者(例えば、斜視がない患者)に提示されると、両目(例えば、右および左の目2504aおよび2504b)が本能的に移動して、各ウェアラブルディスプレイ上の中央位置でターゲット刺激2502を固視し、したがって、患者は1つのターゲット刺激2502しか見ないことになる。このように、上述の目の反応に基づいて、検査サブシステム122は、ユーザが複視を有していないと判断してもよい。
【0220】
別の使用例では、
図25Bに関して、斜視を有する患者に対してウェアラブルデバイスの左右のディスプレイの中央位置にターゲット刺激2502が提示されると、一方の目(例えば、利き目)は、本能的に中央位置に動き、ターゲット刺激2502を固視する(例えば、左目2504bがターゲット刺激2502を本能的に固視する)。他方の目(例えば、右目2504a)も動くが、この目は外斜視を有するため、ターゲット刺激2502を固視せず、それにより、ユーザには二重に見える(例えば、ユーザが1つではなく2つのターゲット刺激を見る)ことになる。例えば、他方の目は本能的に動くが、その本能的な動きによって、他方の目の視線方向が異なる位置に向かうことになる。上述の目の反応に基づいて、検査サブシステム122は、ユーザが複視を有していると判断してもよい。しかし、さらなる使用例では、ユーザが他方の目(例えば、斜視を有する右目2504a)でターゲット刺激2502を見ることに集中すると、他方の目が移動して、他方の目のユーザインタフェース上の中央位置に提示されたターゲット刺激2502を固視する。ターゲット刺激2502は、両方のディスプレイ2503aおよび2503bの中央位置に提示されるので、利き目は優位なままであり、利き目のディスプレイの中央位置に提示されたターゲット刺激2502を固視し続ける。他方の目の偏差測定値を決定するために、他方の目の補正運動(および他方の目の眼関連特性の他の変化)を測定してもよい(例えば、他方の目の運動量は、他方の目の斜視の量に対応してもよい)。
【0221】
別の使用例では、
図25Cに関して、時間t1において、左ディスプレイ2503bに刺激を提示し、右ディスプレイ2503aに刺激を提示しないことによって、左目2504bのみに刺激(例えば、ターゲット刺激2502)を中央位置で提示してもよい。例えば、左目2504bのみに刺激を提示する直前(例えば、時間t1での刺激提示の直前の時間t0)に、
図25Bに示すように両目2504a、2504bに中央位置で刺激を提示した場合、左目2504bは既に中央位置を固視しているので、左目2504bは動かない。しかし、左目2504bがまだ中央位置を固視していない場合、左目2504bのみに刺激を提示することにより、左目2504bが本能的に中央位置に動き、ターゲット刺激2502を固視することになる。
【0222】
図25Dに示すように、右ディスプレイ2503aに刺激を提示し、左ディスプレイ2503bに刺激を提示しないことにより、右目2504aにのみ(例えば、時間t2に)刺激(例えば、ターゲット刺激2502)を中心位置に提示してもよい。左目2504bは刺激を受けていない(例えば、見るべきものがない)ため、左目2504bは優位性を失い、右目2504aが優位になることにより、左目2504bが外側に移動することになる。右目2504aにのみターゲット刺激2502を提示すると、右目2504aは本能的に優位になり、中央の位置を固視するように動く。検査サブシステム122は、右目2504aの偏差測定値を決定するために、右目2504aの動きを測定してもよい(例えば、動きの量は、右目2504aの斜視の量に対応してもよい)。
【0223】
図25Eに示すように、左ディスプレイ2503b上と右ディスプレイ2503a上に刺激を提示することにより、(例えば、時間t3に)刺激(例えば、ターゲット刺激2502)を中央位置で両眼2504a、2504bに提示してもよい。斜視が交互に起こる(どちらの目も利き目ではない)場合、右目2504aは中央の位置を固視したままで、左目2504bは斜視のままとなる。しかし、左目2504bが利き目である場合(
図25Eに示すように)、左目2504bは本能的に動いて中央の位置を固視する。この左目2504bの動きにより、右目2504aが斜視となり、その結果、右目2504aの視線方向が異なる位置に向かうことになる。検査サブシステム122は、右目2504aの偏差測定値を決定または確認するために、左目2504bの動きを測定してもよい(例えば、左目2504bの動きの量は、右目2504aの偏差の量に対応してもよい)。
【0224】
さらなる使用例では、利き目ではない目の偏差測定値を確認するために、さらなる検査を行ってもよい。例えば、
図25Fに示されるように、
図25B~25Eに関して記載された前述の工程の1つ以上に続いて、左ディスプレイ2503b上に刺激を提示し、右ディスプレイ2503a上に刺激を提示しないことによって、左目2504bのみに(例えば、時間t4に)刺激(例えば、ターゲット刺激2502)を中心位置に提示してもよい。左目2504bが(例えば、
図25Eの提示により)固視を失った限りにおいて、
図25Fの提示により、左目2504bは本能的に中央位置に固視を得るように動くことになる。この左目2504bの動きにより、右目2504aが斜視となり、その結果、右目2504aの視線方向が異なる位置に向かうことになる。
図25Gに示されるように、右目2504aの偏差測定値に基づいて、右目2504aに刺激を提示するための修正位置が決定されてもよい。このように、ターゲット刺激2502が左ディスプレイ2503b上の中央位置で提示されている間、ターゲット刺激2502は、(例えば、時間t5において)右ディスプレイ2503a上の修正された位置で提示されてもよい。
【0225】
その後、
図25Hに関して、ターゲット刺激2502を右ディスプレイ2503a上の修正された位置で提示し、左ディスプレイ2503b上には提示しないことによって、(例えば、時間t6において)ターゲット刺激2502を右目2504aにのみ提示してもよい。具体的には、例えば、ターゲット刺激2502を、
図25B~25Eに関して説明した前述の工程の1つ以上で測定された偏差と同じ量だけ右に偏位させる。偏差の測定が正確であれば、右目2504aは動かない。偏差の測定が正確でない場合、右目2504aはわずかに動き、その動きの量がウェアラブルデバイス(例えば、ウェアラブルデバイスの瞳孔追跡装置)によって測定されてもよく、このわずかな動きの測定が偏差の微調整に使用されてもよい。一例として、測定値および修正位置は、右目2504aに刺激を提示するための更新された修正位置を決定するために使用されてもよく、更新された修正位置を使用して、
図25F~25Hに関して説明した工程の1つまたは複数が繰り返されてもよい。さらに、または代わりに、
図25B~25Eの工程の1つまたは複数を繰り返して、ユーザの1つまたは複数の目の偏差測定値を再決定してもよい(例えば、右目2504aに対する偏差測定値を再決定する)。
図25Iに関して、次に、ターゲット刺激2502を、右ディスプレイ2503a上の修正された位置および左ディスプレイ2503b上の中央位置に提示することによって、(例えば、時間t7において)ターゲット刺激2502を両眼2504aおよび2504bに提示してもよい。右目2504aの前方のターゲット刺激2502が、(例えば、前述の工程の1つ以上で決定または確認された)偏差測定値に従って右に偏位しているので、ユーザには二重に見えておらず、それによって患者の複視に対する自律的な補正が提供されることになる。
【0226】
いくつかの実施形態では、ユーザのどの眼が偏位している眼であるかを決定するために、視覚検査を行ってもよい。そのような決定に基づいて、偏位している目の偏差が測定されてもよく、偏差測定値は、ユーザの視覚の偏差を補正するための修正プロファイルを生成するために使用されてもよい。一例として、検査サブシステム122は、所定の時間に、第1の目のための第1のユーザインタフェース上の第1の位置と、第2の目のための第2のユーザインタフェース上の第1の位置とに、刺激を提示させてもよい。検査サブシステム122は、第1のユーザインタフェース上での刺激の提示時に、第1の目が第1の位置を固視していないことを検出してもよい。第1の目が固視していないことの検出に基づいて、検査サブシステム122は、ユーザの第1の目を偏位した目であると決定してもよい。一例として、
図25Bに関して、斜視を有する患者に対してウェアラブルデバイスの左右のディスプレイの中央位置にターゲット刺激2502が提示されると、一方の目(例えば、利き目)は、本能的に中央位置に動き、ターゲット刺激2502を固視する(例えば、左目2504bがターゲット刺激2502を本能的に固視する)。他方の目(例えば、右目2504a)も動くが、この目は外斜視を有するため、ターゲット刺激2502を固視せず、それにより、ユーザには二重に見える(例えば、ユーザが1つではなく2つのターゲット刺激を見る)ことになる。このように固視されないことの検出に基づいて、他方の目が偏位している目であると判断してもよい。
【0227】
いくつかの実施形態では、眼が異なる注視方向を見ている間に視覚検査を行い、各注視方向において複視がどの程度であるかを検出してもよい。このようにして、特定の種類の斜視(例えば、非干渉性斜視)に対する診断および補正を行うことができる。例えば、眼の筋肉が麻痺している患者は、その筋肉の作用方向に向かって見ているときに、両眼の偏差(斜視の角度)が大きくなる。例えば、左目を外に向ける筋肉が麻痺している場合、左目は内を見ることになる(通称:内斜視)。左目が外を見ようとすると、斜視の度合いが大きくなる。これは麻痺性斜視の場合に起こる現象である。ウェアラブルデバイス(またはウェアラブルデバイスに接続された他の構成要素)は、視野の異なる領域に刺激を提示しながら定量化検査を繰り返すことで、偏位の角度を正確に測定することができる。また、異なる注視方向での偏位の度合いを知ることで、複視の動的な補正が可能になる。このような視覚検査提示がウェアラブルデバイスを介して提供され、ウェアラブルデバイスの瞳孔追跡装置が、眼が特定の注視点にあることを検出したとき、ウェアラブルデバイスは、その注視点に対応して画像を変位させてもよい。
【0228】
いくつかの実施形態では、そのような検査は、患者が遠くの物体を見ているときと、近くの物体を見ているときに行うことができる。いくつかの実施形態では、ウェアラブルデバイスは、動き回る刺激を提示することで、眼球外筋の可動域を自動的に検査することができる。患者がそれを目で追うと、ウェアラブルデバイス(またはウェアラブルデバイスに接続された他の構成要素)は、可動域を測定し、可動域の測定結果に基づいて、ユーザの複視に関する情報を決定する。
【0229】
このように、いくつかの実施形態では、動体視力の欠陥(例えば、複視やその他の視力の欠陥)を補正するために、ユーザについて複数の修正プロファイルを生成することができる。一例として、ユーザに関連付けられた第1の修正プロファイルは、第2の目の注視方向が第1の位置に向けられたこと、第2の目が第1のねじれ(例えば、第1のねじれ角)を有すること、または第2の目の他の特性に応答して、ユーザの第1の目に対する画像を修正するために適用される1つまたは複数の修正パラメータを含んでもよい。ユーザに関連付けられた第2の修正プロファイルは、第2の目の注視方向が第2の位置に向けられたこと、第2の目が第2のねじれ(例えば、第2のねじれ角)を有すること、または第2の目の他の特性に応答して、第1の目に対する画像を修正するために適用される1つまたは複数の修正パラメータを含むことができる。ユーザに関連付けられた第3の修正プロファイルは、第2の目の視線方向が第3の位置に向けられていること、第2の目が第3のねじれ(例えば、第3のねじれ角)を有していること、または第2の目の他の特性などに応じて、第1の目に対する画像を修正するために適用される1つまたは複数の修正パラメータを含むことができる。以下同様である。一使用例では、
図25B~25Hに関して説明した工程のうちの1つまたは複数を、(中央位置に加えてまたは替えて)1つまたは複数の他の位置に対して繰り返し、ユーザのための複数の修正プロファイルを生成してもよい。
【0230】
いくつかの実施形態では、視覚サブシステム124は、ユーザの1つまたは複数の眼の1つまたは複数の眼関連特性を監視してもよく、(i)ユーザの環境を表すビデオストリームデータ、(ii)監視された眼関連特性、および(iii)ユーザに関連付けられた修正プロファイルに基づいて、ユーザに表示される修正ビデオストリームデータを生成してもよい。一例として、監視により、第2の目の注視方向が第1の位置に向けられていることが示された場合、第1の修正プロファイル(例えば、その修正パラメータ)を用いてビデオストリームデータを修正し、ユーザの第1の目に表示される修正されたビデオストリームデータを生成してもよい。他の例として、監視により、第2の目の注視方向が第2の位置に向けられていることが示された場合、第2の修正プロファイル(例えば、その修正パラメータ)を用いてビデオストリームデータを修正し、ユーザの第1の目に対する修正されたビデオストリームデータを生成してもよい。以下同様である。このようにして、例えば、前述の記載は、複視の典型的に動的な性質(例えば、複視が1つ以上の視線に向かって増加または減少すること)を説明する。例えば、ユーザの右の瞳孔をユーザの鼻から遠ざける(例えば、ユーザの顔の端に向かって移動させる)ことに問題がある場合、ユーザの複視は、ユーザが右を見ているときに増加し、ユーザが左を見ているときに減少する可能性がある。このように、ユーザの瞳孔、ユーザの視線、または他の目関連の特性を監視して、ユーザのリアルタイムの目関連の特性に固有の適切な修正プロファイルをライブビデオストリームデータに適用することによって、適切な補正を行うことができる。
【0231】
いくつかの実施形態では、ユーザの両眼視を評価するために視覚検査を行ってもよい。いくつかの実施形態では、ウェアラブルデバイスを使用して両眼視検査を行ってもよい。一例として、ユーザの目を対象とした各ウェアラブルデバイスディスプレイのユーザインタフェース上に1つまたは複数の刺激が提示されてもよく、ここで、一方のユーザインタフェース上に提示される刺激の数または種類は、他方のユーザインタフェース上に提示される刺激の数または種類とは異なる(例えば、各ユーザインタフェース上の刺激の数が異なる場合や、一方のユーザインタフェース上の少なくとも1つの刺激が、他方のユーザインタフェースの刺激とは異なる色またはパターンを有する場合などがある)。あるいは、いくつかのシナリオでは、両方のユーザインタフェースで提示される刺激の数または種類は同じである。検査サブシステム122は、ユーザが見ている刺激の数または種類に関するユーザの指示に基づいて、ユーザが複視を有するかどうかを決定してもよい。
【0232】
一使用例では、
図25Jに関して、両眼視検査は、ディスプレイ2522aおよび2522bを有するウェアラブルデバイスをユーザが装着すること(または、別のデバイスを介してこれらのディスプレイ2522aおよび2522bを見ること)を含んでもよく、各ディスプレイ2522は、ユーザのそれぞれの目に1つまたは複数の刺激を提示するか、または他の提示を提供するように構成される。一例として、刺激2524aおよび2524b(例えば、緑色のドット)は、ディスプレイ2522a上でユーザの一方の目に提示されてもよく、刺激2526a、2526b、および2526c(例えば、赤色のドット)は、ディスプレイ2522b上でユーザの他方の目に提示されてもよい。
図25Kに関して、検査サブシステム122は、ユーザが4つのドットを見ているというユーザの指示に基づいて、ユーザが両眼単視を見ている(したがって、複視を有さない)と判断してもよい。さらに、または代わりに、検査サブシステム122は、ユーザが1つの緑色のドット(例えば、刺激2524a)、2つの赤色のドット(例えば、刺激2526aおよび2526c)、および1つの混合色のドット(例えば、刺激2524bおよび2526bの組み合わせによる混合刺激2528)を見ているというユーザの指示に基づいて、ユーザが両眼単視を見ていることを決定または確認してもよい。一方、
図25Lに関して、検査サブシステム122は、ユーザが5つのドットを見ているというユーザの指示に基づいて、ユーザが複視(double vision)(例えば、複視(diplopia))を有していると判定してもよい。さらに、または代わりに、検査サブシステム122は、ユーザが2つの緑色のドット(例えば、刺激2524aおよび2524b)および3つの赤色のドット(例えば、刺激2526a、2526b、および2526c)を見ているというユーザの指示に基づいて、ユーザが複視であることを決定または確認してもよい。
【0233】
いくつかの実施形態では、検査サブシステム122は、(例えば、2つ以上のディスプレイ上の)2つ以上のユーザインタフェースを介した視覚検査提示中のユーザの目に関連する1つ以上の目関連特性を監視し、視覚検査提示中に発生する目関連特性に基づいて、ユーザが複視を有するかどうかを自律的に判断してもよい。いくつかの実施形態では、検査サブシステム122は、そのような眼関連特性に基づいて(例えば、本明細書に記載されているように1つまたは複数の眼の偏差を測定することによって)ユーザの複視の程度を決定し、複視を補正するための1つまたは複数の修正プロファイルを自律的な方法で生成してもよい。一例として、ウェアラブルデバイスは、ユーザの1つまたは複数の目の注視方向または目に関連する他の特性を検出するための瞳孔および視線追跡装置を含んでもよい。視線方向(または目に関連する他の特性)に基づいて、検査サブシステム122は、ユーザが固視した点の数を決定してもよい(これは例えば、検出された視線方向を使用して、ユーザが提示された刺激に対応する位置を固視したかどうかを確認することによって行う)。一使用例では、
図25Jに関して、ユーザが4つの点(例えば、
図25Kに示される刺激2524a、2526a、2526c、および2528に対応する点)を固視したと判定された場合、検査サブシステム122は、ユーザが複視を有していないと判定してもよい。ユーザが5つの点(例えば、
図25Lに示す刺激2524a、2524b、2526a、2526b、および2526cに対応する点)を固視したと判定された場合、検査サブシステム122は、ユーザが複視を有すると判定してもよい。
【0234】
さらなる例として、ユーザが特定の点(例えば、提示された複数の刺激またはそれら各々の表示位置に対応する点)を固視したと判定することに応答して、検査サブシステム122は、対応する刺激の影響を緩和し、かつユーザが見る刺激の数のカウントを増加させてもよい。一例として、対応する刺激は、視覚検査の提示から削除されてもよく(例えば、対応する刺激は消え、残りの刺激は提示され続けてもよい)、またはその影響を軽減するために修正されてもよい(これは例えば、刺激の明るさまたは他の強度レベルを減少させることによって行われる)。別の例として、他の刺激をその影響を大きくするように変更して(例えば、他の刺激の明るさまたは他の強度レベルを上げることによって)、対応する刺激の相対的な影響を小さくすることができる。このように、ユーザの目は、残りの刺激に対応する1つまたは複数の点に本能的に移動し、固視する。
図25Kに関して、例えば、(混合刺激2528で表される)刺激2524bおよび2526bは、ユーザの目が刺激2524bおよび2526bに対応する位置を固視すると、除去される。一方、
図25L(ユーザが複視である場合)に関しては、ユーザが刺激2524bまたは2526bを見ているときに、同じ相対的な位置を固視しないので、刺激2524bおよび2526bは2つの異なるタイミングで除去されることになる。検査サブシステム122は、対応する点をユーザが固視するたびに刺激を除去し続け、(ユーザが見る刺激の数の)カウントを増加させてもよい。すべての刺激が除去されたとき、または他の閾値が満たされたとき、検査サブシステム122は、ユーザが見る刺激の数を提供してもよい。
【0235】
いくつかの実施形態では、視覚検査提示中に発生する眼関連の特性に基づいて、検査サブシステム122は、ユーザが立体視を有するかどうか、またはユーザの立体視の程度を決定してもよい。一例として、検査サブシステム122は、1つまたは複数のユーザインタフェース上の1つまたは複数の位置に1つまたは複数の刺激を提示させ、眼関連の特性に基づいて、そのような立体視の判定または他の視覚欠陥情報の決定を自律的に実行してもよい。一使用例では、
図25Mに関して、視覚検査提示は、ディスプレイ2542aおよび2542bを有するウェアラブルデバイスをユーザが装着すること(または、別のデバイスを介してこれらのディスプレイ2542aおよび2542bを見ること)を含んでもよく、各ディスプレイ2542は、1つまたは複数の刺激を提示するか、または他の提示をユーザのそれぞれの目に提供するように構成される。
【0236】
図25Mに示すように、1つまたは複数のアイコン2544または他の刺激が各ディスプレイ2542上に提示されてもよく、ここでは、アイコン2544の1つまたは複数のペアが両方のディスプレイ2542上の対応する位置に提示され、アイコン2544の少なくとも1つのペアがディスプレイ2542aおよび2542b上のわずかに異なる位置に提示される。特に、
図25Mでは、両ディスプレイ2542上のアイコン2544の配置は、ディスプレイ2542b上の第2行第3列のアイコン2544が(インジケータ2546で示されるように)わずかに上および右にシフトしていることを除いて、同じである。両眼複視や立体視を有さないユーザにとっては、このわずかな違いによって、アイコンのペアがユーザにとって三次元のアイコンとして見え、他のすべてのアイコン2544がユーザにとって二次元のアイコンとして見えることになる。そのため、ユーザは本能的に三次元のアイコンに視線を移し、固視することになる。個人が(例えば、所定の閾値時間内に)三次元アイコンを固視したという判定に基づいて、検査サブシステム122は、ユーザが立体視を有さないと判定してもよい。一例として、検査サブシステム122は、ユーザの1つまたは複数の目の注視方向が刺激提示時に変化し、現在その注視方向が、対応するアイコン2544がそれぞれのディスプレイ2542上に提示される領域に向けられていることを検出してもよい。
【0237】
しかしながら、ユーザが立体視を有している場合、わずかな差異によってアイコンのペアがユーザに3次元のアイコンとして見えない可能性があり、ユーザは、アイコンのペアがそれぞれのディスプレイ2542上に提示されている対応する領域を固視しない可能性が高い。こうして(例えば、所定の閾値時間内に)固視しないことに基づいて、検査サブシステム122は、ユーザが立体視を有すると判定してもよい。
【0238】
さらなる使用例では、
図25Mに関して、第2行第3列のアイコン2544の2つのアイコン2544の間の差異の量は、ユーザの立体視の程度を決定するために修正されてもよい。一例として、ディスプレイ2542b上のアイコン2544と、それに対応するディスプレイ2542a上のアイコン2544の位置の差異が最小量となるように、(インジケータ2546で示される領域内の)アイコン2544が、最初に上または右にシフトされてもよい。ユーザがアイコンのペアが提示されている対応する領域を固視しない場合、2つのアイコン2544の間の位置の差異がわずかに大きくなるように、ディスプレイ2542b上のアイコン2544が再び上または右にシフトされてもよい。ユーザが対応する領域を固視するまで、または位置の差異の閾値に到達するまで、位置の差異を繰り返し増加してもよい。検査サブシステム122は、位置の差異量(または、シフト操作が行われた回数)を用いて、ユーザの立体視の程度を測定してもよい。
【0239】
別の使用例では、
図25Nに関して、視覚検査提示中の刺激提示は、ランダムに生成されたノイズの形態で提供されてもよい。
図25Nでは、ディスプレイ2562aで提示される刺激と、ディスプレイ2562bで提示される刺激とは、インジケータ2564で示される領域内のブロック(例えば、ピクセル)のセットが、ディスプレイ2562bでは(ディスプレイ2562aの同じブロックのセットと比較して)5単位(例えば、ピクセル)だけ右にシフトされていることを除いて、同じである。
図25Mに関する前述の使用例と同様に、このわずかな差異は、両眼複視および立体視を有さないユーザにとって、ブロックの集合が立体物として見える(または、目立つ)原因となり、その結果、ユーザは立体物を素早く固視することになる。個人が立体物を固視したという判定に基づいて、検査サブシステム122は、ユーザが立体視を有さないと判定してもよい。しかしながら、ユーザが立体視を有している場合、わずかな差異によってユーザがブロックのセットに気づくことがない可能性があり、ユーザは、ブロックのセットがそれぞれのディスプレイ2562上に提示される対応する領域を固視しない。こうして固視しないことに基づいて、検査サブシステム122は、ユーザが立体視を有すると判定してもよい。
【0240】
いくつかの実施形態では、
図1Aに関して、視覚サブシステム124は、(例えば、ユーザに表示された刺激のセットに関連するフィードバックに基づいて)シーンの複数の画像の部分の組み合わせを介して、ユーザの視野の拡大を促進してもよい。一例として、
図26は、被験者の正常な両眼視を示す図である。この場合、左目2602からの単眼視画像と、右目2604からの単眼視画像を組み合わせて、黄斑中央領域2608と、中央領域2608の周囲を取り囲む周辺視野領域2610を含む1つの感知画像2606を形成する。しかし、場合によっては、被験者は視野狭窄の症状がある場合があり、この場合は、
図27に示すように、周辺領域2610は被験者には見えない。図示しているように、このような場合、1または複数の物体は視野には現れず、領域2610において周辺欠損2612が見られ、領域2610内の物体は被験者には見えない。したがって、例えば、視覚サブシステム124は、シーンの複数の画像の一部(例えば、そのような画像の共通領域および差異領域)を組み合わせて、被験者の視野を拡大してもよい。
【0241】
いくつかの実施形態では、視覚サブシステム124は、シーンの複数の画像(例えば、異なる位置または方向にある1つまたは複数のカメラを介して得られた画像)を取得してもよい。視覚サブシステム124は、複数の画像に共通する領域を決定し、複数の画像のうちの各画像について、複数の画像のうちの少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。いくつかの実施形態において、視覚サブシステム124は、共通領域および差異領域に基づいて、強化画像を生成またはユーザに表示してもよい。一例として、共通領域と差異領域を組み合わせて、共通領域の表現と差異領域の表現を含む強化画像を生成してもよい。共通領域は、互いに同じまたは類似の特性を有する複数の画像のそれぞれの部分に対応してもよく、各差異領域は、他の画像のすべての対応する部分とは異なる、1つの画像の部分に対応してもよい。あるシナリオでは、1つの画像の他と異なる部分は、他の画像では表現されていないシーンの一部を含んでいてもよい。このようにして、例えば、共通領域と差異領域とを組み合わせて強化画像にすることで、それ以外の場合には各画像ごとに提供される視野が拡大し、強化画像を使用してユーザの視野を増強することができる。一使用例では、共通領域は、左目2602の画像または右目2604の画像のうちの少なくとも1つの画像の、
図27においてこれらの画像の各々に示された4つの垂直点線のうちのいずれか2つの間の任意の部分であってもよい。別の使用例では、
図27に関して、差異領域の1つは、左目2602の画像のうち、その画像の最も左側の垂直点線の左側の任意の部分であってもよい。差異領域の別の1つは、右目2604の画像のうち、その画像の最も右側の垂直点線の右側の任意の部分であってもよい。
【0242】
いくつかの実施形態では、共通領域は、眼の視野の黄斑領域(または眼の視野の他の中心領域)または黄斑領域内の領域に対応する画像のうちの少なくとも1つにおける領域である。いくつかの実施形態では、差異領域のそれぞれは、眼の視野の周辺領域または周辺領域内の領域に対応する画像の少なくとも1つにおける領域である。一例として、
図27に関して、共通領域は、(i)左目2602の黄斑領域に対応する画像の部分、または(ii)右目2604の黄斑領域に対応する画像の部分であってもよい(例えば、それらの部分が両方の画像に共通していることを前提とする)。別の例として、共通の領域は、左目2602および右目2604の黄斑領域内の共通の領域に対応する画像のそれぞれの部分であってもよい。さらなる例として、共通領域および差異領域に基づいて、画像2606は、黄斑中心領域2608と、中心領域2608を囲む周辺視野領域2610とを有するように生成される。
【0243】
いくつかの実施形態では、視覚サブシステム124は、シーンの複数の画像(例えば、ユーザのウェアラブルデバイスを介して撮像されたもの)に共通する領域を決定するとともに、これらの画像のうちの各画像について、これらの画像のうち少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。視覚サブシステム124は、これらの画像のうちの各画像のシフトを実行し、シフトの実行に続いて、共通領域および差異領域に基づいて強化画像を生成してもよい。いくつかの実施形態では、それぞれの画像のシフトは、(i)共通領域のサイズが修正される(例えば、増加または減少する)、または(ii)差異領域のうちの少なくとも1つのサイズが修正される(例えば、増加または減少する)ように実行されてもよい。あるシナリオでは、共通領域のサイズは、シフトの結果として増加してもよい。別のシナリオでは、差異領域の少なくとも1つのサイズが、シフトの結果として減少する。
【0244】
一例として、
図27に示す欠損はシフト画像補正技術を利用して補正するとしてよい。ある使用例では、
図28に関して、(例えば、ウェアラブルデバイスの)2つの視野カメラのそれぞれが、単眼視画像2802および2804をそれぞれ撮像してもよい(例えば、各単眼視画像は、わずかに異なる(ずれた)位置から見えているシーンを撮像しているので、それぞれ異なる)。そして、撮像された2枚の単眼視画像2802、2804を視覚補正フレームワークによって互いに近くなるようにシフトして、画像2802’および2804’を得る。
図28に示すように、各画像2802、2804の最も左側の垂直点線と最も右側の垂直点線との間の2つの画像2802、2804のそれぞれの領域(例えば、共通領域)は、各画像2802’、2804’の最も左側の垂直点線と最も右側の垂
直点線との間の2つの画像2802’、2804’のそれぞれの領域(例えば、共通領域
)よりも大きくなっている。このように、共通領域は、シフト後に大きさが減少する。一方、差異領域は、シフト後にサイズが大きくなっている(例えば、画像2802の最も左側の垂直点線の左の領域と画像2802’の最も左側の垂直点線の左の領域とを比較し、
画像2804の最も右側の垂直点線の右の領域と画像2804’の最も右側の垂直点線の
右の領域とを比較されたい)。
【0245】
さらなる例として、次にこれらの2枚のシフト画像を組み合わせて、見えているシーンの周辺部全体を捉える両眼視画像2806を生成する。モニターディスプレイを有する眼鏡装置については、各ディスプレイが被験者に対して修正後の両眼視画像2806を表示するとしてよい。いくつかの使用例では、例えば、このシフト変換によって、被験者に複視を生じさせることなく、被験者の視野を5%、10%、15%、20%、またはそれ以上拡大させることができる。
【0246】
いくつかの実施形態では、視覚サブシステム124は、シーンの複数の画像(例えば、ユーザのウェアラブルデバイスを介して撮像されたもの)に共通する領域を決定するとともに、これらの画像のうちの各画像について、これらの画像のうち少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。視覚サブシステム124は、これらの画像の1つまたは複数の領域のサイズ変更を実行し、サイズ変更の実行に続いて、共通領域および差異領域に基づいて強化画像を生成してもよい。いくつかの実施形態では、視覚サブシステム124は、画像の1つ以上の領域のサイズ変更を実行する際に、共通領域の任意のサイズ変更の範囲が、差異領域のうちの少なくとも1つの任意のサイズ変更の範囲と異なるようにしてもよい。いくつかの実施形態では、サイズ変更を実行する際は、強化画像の第1の領域に表される共通領域のサイズの変化率が、強化画像の第2の領域に表される差異領域の少なくとも1つのサイズの変化率よりも大きくなるか、または小さくなるようにしてもよい。一例として、差異領域の少なくとも1つのサイズの変化率がゼロであり、共通領域のサイズの変化率がゼロよりも大きくてもよい。別の例として、差異領域のうちの少なくとも1つのサイズの変化率がゼロよりも大きく、共通領域のサイズの変化率がゼロであってもよい。
【0247】
あるシナリオでは、
図29に関して、撮像された単眼視画像2902および2904を、例えば、周辺領域でのみサイズ変更する一方黄斑中央領域(中央の20度)をそのままにして、修正画像2902’、2904’を生成する。このようなサイズ変更変換によって、視野を拡大しつつ中央で視力を維持する。
図29に示すように、組み合わせた両眼視画像2906は、それまで見えなかった周辺部の物体を捉えており、それと同時に、中央黄斑領域の詳細度を維持している。周辺にある物体は、サイズ変更した後であっても被験者から明瞭に感知されている。これは、周辺視力は中央視力ほどは高感度でないためである。いくつかの使用例では、例えば、画像サイズの最大20%の縮小を、被験者に複視を発生させることなく、実行することができる。様々な実施形態において、周辺領域のサイズ変更は、中央領域のサイズ変更に加えて、または、代えて実行するとしてよい。例えば、黄斑中心領域のサイズを保持しつつ、周辺領域を周辺領域のサイズにサイズ変更してもよい(例えば、緑内障患者の場合)。別のシナリオでは、黄斑変性症の患者の場合、周辺視野はそのままにして(例えば、サイズ変更しないで)、中心領域のサイズを小さくするためにサイズ変更してもよい。その後、サイズ変更された中心領域を含むように、強化画像(例えば、両眼視画像)を生成することができる。
【0248】
いくつかの実施形態では、視覚サブシステム124は、シーンの複数の画像(例えば、ユーザのウェアラブルデバイスを介して撮像されたもの)に共通する領域を決定するとともに、これらの画像のうちの各画像について、これらの画像のうち少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。視覚サブシステム124は、魚眼変換、等角写像変換、または他の変換を共通領域上で実行し、変換の実行に続いて、共通領域および差異領域に基づいて強化画像を生成してもよい。いくつかの実施形態では、視覚サブシステム124は、魚眼変換、等角写像変換、または他の変換を、強化画像の(共通領域を含む)領域上で実行してもよい。
【0249】
一例として、以下の式にしたがって、画像のラジカル成分を修正するために、領域に対して魚眼変換を行うことができる。
rnew=r+αr3
ここで、αは定数である。
【0250】
別の例として、以下の式に従って、画像の半径成分を修正するために、領域に対して等角写像変換を実行することができる。
rnew=rβ
ここで、βは径方向成分に対する定数の指数であり、β>1である。
【0251】
いくつかの実施形態では、視覚サブシステム124は、(例えば、画像の共通領域および差異領域に基づいて強化画像を生成する前に)画像内の1つまたは複数の物体を移動させることによって、シーンの複数の画像のうちの少なくとも1つを修正してもよい。一例として、
図30に関して、片目において周辺欠損がかなり外側である患者については、欠損が発生している方の目の視野3004において見えない物体3002をデジタル方式で視野3004の中間周辺領域3006に移動させることができる一方、他方の正常な方の目の視野3008はこの領域をカバーしている。つまり、見えなかった物体3002を、組み合わせた両眼視画像3010では正常視野内に表示する。被験者は、この領域で視覚が混乱することに気付くであろうが、移動する物体または変化する環境に応じて視野のうちこの領域の情報を分離するよう適応することが可能である。
【0252】
いくつかの実施形態では、視覚サブシステム124は、(例えば、本明細書に記載された1つまたは複数の技術に従って)ユーザの視野の1つまたは複数の欠陥視野部分を決定してもよい。いくつかの実施形態では、視覚サブシステム124は、シーンの複数の画像(例えば、ユーザのウェアラブルデバイスを介して撮像されたもの)に共通する領域を決定するとともに、これらの画像のうちの各画像について、これらの画像のうち少なくとも1つの別の画像の対応する領域とは異なる画像の領域を決定してもよい。視覚サブシステムは、強化画像における共通領域または差異領域の少なくとも一方が、欠陥のある視野部分の1つまたは複数と重ならないように、画像の共通領域および差異領域に基づいて強化画像を生成してもよい。
【0253】
いくつかの実施形態では、視覚サブシステム124は、ユーザの視野の欠陥視野部分にある物体を検出し、アラートを表示させてもよい。一例として、(例えば、本明細書に記載された1つまたは複数の技術を介して)ユーザの視野の欠陥のある視野部分を補正した後、視覚サブシステム124は、補正されなかった残りの領域を監視して、1つまたは複数の物体(例えば、安全上の問題または他の物体)を検出し、これらの物体、物体の位置、物体のサイズ、または物体に関連する他の情報を示すアラート(例えば、視覚的または聴覚的アラート)を生成してもよい。ある使用例では、不規則なまたは複数領域にわたる欠陥のある視野を有する患者の場合、生成された修正プロファイルは、取得された視野を患者の視野の正常な領域に適合させる上で、やはり最適ではないかもしれない。したがって、移動中の患者の安全性を最大化するために、自動ビデオトラッキングアルゴリズムを実装して、欠陥のある視野部分の1つにある物体を検出してもよい。そのような物体は、患者の視野の欠陥視野部分にある移動物体(例えば、移動する自動車)または他の物体を含んでもよい。
【0254】
いくつかの実施形態では、視覚サブシステム124は、物体がユーザと物理的に接触することを示す予測を生成し、この物理的接触予測に基づいてアラートを表示させてもよい(例えば、物体に関連するアラートがユーザのウェアラブルデバイスに表示される)。いくつかの実施形態では、視覚サブシステム124は、(例えば、ユーザの視野の欠陥のある視野部分にある、または、そのように予測される)物体を検出し、(i)物体が欠陥のある視野部分にある、または、そのように予測されること、(ii)物理的接触予測、または、(iii)他の情報に基づいて、アラートを表示させてもよい。いくつかの実施形態において、視覚サブシステム124は、物体が、1つ以上の視覚基準を満たす少なくとも1つの視野部分に対応する(ユーザに表示される)強化画像の任意の画像部分の外側にある(または十分に入っていない)かどうかを判定してもよい。ある使用例では、ユーザの健全な視野部分に対応する強化画像の画像部分内に物体がある(または十分に入っている)と判断された場合、(例えば、物体がユーザと物理的に接触すると予測される場合であっても)アラートは表示されない(または、より優先度の低いアラートが表示される)場合がある。一方、欠陥のある視野部分内の物体がユーザと物理的に接触することが予測され、その物体がユーザの健全な視野部分の外側にある(または十分に入っていない)と判断された場合、ユーザのウェアラブルデバイスにアラートを表示してもよい。このようにして、例えば、ユーザは、ユーザ自身の健全な視野に頼って、ユーザの健全な視野内で接近してくる物体を回避することができ、それによって、そのような接近してくる物体の回避のためにウェアラブルデバイスに(例えば、習慣形成を通じて)依存するリスクを軽減することができる。しかしながら、他の使用例では、物体がユーザの健全な視野内にあるかどうかに関わらず、物理的接触予測に基づいて、この物体に関連するアラートが表示されてもよいことに留意すべきである。
【0255】
一例として、
図10に関して、未補償の盲点フィールド1006について、ブロック1012および1014において、盲点の領域にある、または盲点の領域に移動している安全上の問題を検出するために、瞳孔追跡または他の視覚追跡(例えば、内側に向けられた画像センサを使用するもの)、あるいは視野内の移動物体のビデオ追跡(例えば、外部カメラなどの外側に向けられた画像センサを用いるもの)が使用されてもよい。ある使用例では、視覚サブシステム124は、安全上の問題が盲点の領域にあるとき、または安全上の問題がそのような領域に移動しているとき、それを検出するために、安全上の問題の位置を(例えば、検査モードで測定された)欠陥のあるマッピングされた視野と比較してもよい。
【0256】
別の例として、ユーザの視野の欠陥のある視野部分を(例えば、本明細書に記載された1つまたは複数の技術を介して)補正した後、視覚サブシステム124は、補正されなかった残りの領域を監視して、そのような領域からユーザに接近する安全上の問題を(例えば、リアルタイムで)検出してもよい。そのような検出された安全上の問題が、ユーザと物理的に接触するか、またはユーザの閾値距離(例えば、1フィート、2フィート、または他の閾値距離)内に入ってくることが予測される場合は(ユーザの閾値距離以上でユーザの近傍を通過する場合とは対照的に)、視覚サブシステム124は、検出された安全上の問題に関連するアラート(例えば、ユーザが見ることができる領域に表示される視覚的アラート、聴覚的アラートなど)を生成することができる。
【0257】
ある使用例では、ユーザのウェアラブルデバイスの1つまたは複数のカメラから取得されたビデオ信号(例えば、ライブビデオストリーム)は、残留ノイズ効果を除去するために前処理およびフィルタリングされる。ある使用例では、探索領域は、ユーザの盲点または他の欠陥のある視野部分(例えば、1つまたは複数の視覚基準を満足できないもの)に限定されるとしてよい。探索領域を限定することで、例えば、探索領域内の物体を検出したり、関連するアラートを生成したりするのに必要な計算資源の量を減らしたり、そのような検出やアラートの生成の速度を上げたりすることができる。
【0258】
場合によっては、ライブビデオストリームからの2つの連続したフレームを互いに減算して、1つまたは複数の物体の動きを検出してもよい。一例として、動きの発生は、第1のデルタフレーム(例えば、デルタフレーム1)に記憶されてもよく、第1のデルタフレームは、動いているオブジェクトの視覚化を可能にし、静止している背景を相殺するために使用されてもよい。ライブビデオストリームからの別の2つの連続したフレームを互いに減算して、第2のデルタフレーム(例えば、デルタフレーム2)を生成してもよい。また、第2のデルタフレームは、動いている物体の視覚化を可能にし、静止した背景を相殺するために使用することができる。さらに、第1のデルタフレームと第2のデルタフレームの比較を行ってもよい。第1のデルタフレームと第2のデルタフレームを互いに減算することによって、移動物体のサイズが大きくなっていることが検出された場合、その物体は近づいていると判断してもよい。サイズの増加が所定の閾値サイズを超える場合、アラートがユーザに発行される(例えば、ユーザが見ることができる領域に表示される視覚的なアラート、聴覚的なアラートなど)。
【0259】
いくつかの実施形態では、構成サブシステム112は、予測モデル、修正プロファイル、視覚欠陥情報(例えば、検出されたユーザの視覚欠陥を示すもの)、フィードバック情報(例えば、ユーザに表示された刺激に関連するフィードバック、またはその他のフィードバック)、またはその他の情報を、1つ以上のリモートデータベース(例えば、クラウド)に格納してもよい。いくつかの実施形態では、フィードバック情報、視覚欠陥情報、修正プロファイル、または複数のユーザ(例えば、2人以上のユーザ、10人以上のユーザ、100人以上のユーザ、1000人以上のユーザ、100万人以上のユーザ、または他の数のユーザ)に関連する他の情報を、1つまたは複数の予測モデルを訓練するために使用してもよい。ある使用例では、訓練される予測モデルがニューラルネットワークまたは他の機械学習モデルである場合、モデルマネージャサブシステム114は、機械学習モデルに視覚欠陥情報、修正プロファイル、または他の出力を予測させるために、以下の(i)および(ii)を機械学習モデルに対する入力として提供してもよい。(i)刺激情報(例えば、刺激のセットと、それらに関連する特性を示すもの。特性とは、強度レベル、刺激が表示される場所などである)、および(ii)フィードバック情報(例えば、刺激のセットに関連するフィードバックを示すもの)。モデルマネージャサブシステム114は、参照情報(例えば、提供された刺激およびフィードバック情報に関して正確であると判断された視覚欠陥情報または修正プロファイル)を機械学習モデルに提供してもよい。機械学習モデルは、参照情報と対照して予測された出力(例えば、予測された視覚欠陥情報、予測された修正プロファイルなど)を評価し、その予測された出力の評価に基づいてその構成(例えば、重み付け、バイアス、または他のパラメータ)を更新してもよい。前述の操作は、追加の刺激情報(例えば、他のユーザに表示されたもの)、追加のフィードバック情報(例えば、他のユーザに表示された刺激に関連する他のユーザのフィードバック)、および追加の参照情報を用いて実行され、機械学習モデルをさらに訓練することができる(例えば、機械学習モデルを訓練するために、そのような情報を入力および参照フィードバックとして提供することにより、機械学習モデルがその構成をさらに更新することができる)。
【0260】
別の使用例では、機械学習モデルがニューラルネットワークである場合、結合重みは、ニューラルネットワークの予測と参照情報との間の差異を調整するように調整されてもよい。更なる使用例では、ニューラルネットワークの一つ以上のニューロン(またはノード)は、更新プロセス(例えば、誤差逆伝播)を容易にするために、それぞれの誤差がニューラルネットワークを介し後方に送られるように要求してもよい。結合重みの更新は、例えば、順伝播が完了した後に後方に伝搬させる誤差の大きさが反映されてもよい。
【0261】
いくつかの実施形態では、1つまたは複数の予測モデルは、ユーザまたは所定の種類のデバイス(例えば、特定のブランドのデバイス、特定のブランドおよびモデルのデバイス、特定の特徴のセットを有するデバイスなど)のために訓練または構成されてもよく、ユーザまたはデバイスの種類に関連付けて保存されてもよい。一例として、ユーザまたはデバイスの種類に関連付けられた予測モデルのインスタンスは、ローカル(例えば、ユーザのウェアラブルデバイスまたは他のユーザデバイス)およびリモート(例えば、クラウド)に保存されてもよく、予測モデルのそのようなインスタンスは、ユーザがユーザデバイスまたはクラウドのいずれかで予測モデルの最新の構成にアクセスできるように、1つまたは複数のユーザデバイスおよびクラウド間で自動的または手動で同期されてもよい。ある使用例では、第1のユーザがウェアラブルデバイスを使用していることを検出すると(たとえば、第1のユーザが当該ユーザのアカウントにログインするか、または1つ以上の他の技術を介して識別されると)、構成サブシステム112は、ウェアラブルデバイスと通信して、第1のユーザに関連する予測モデルの最新インスタンスをウェアラブルデバイスに送信し、ウェアラブルデバイスが第1のユーザに関連する予測モデルのローカルコピーにアクセスできるようにしてもよい。別の使用例では、第2のユーザが同じウェアラブルデバイスを使用していることが後に検出された場合、構成サブシステム112は、ウェアラブルデバイスと通信して、第2のユーザに関連付けられた予測モデルの最新のインスタンスをウェアラブルデバイスに送信し、ウェアラブルデバイスが第2のユーザに関連付けられた予測モデルのローカルコピーにアクセスできるようにしてもよい。
【0262】
いくつかの実施形態では、複数の修正プロファイルが、ユーザまたはデバイスの種類に関連付けられてもよい。いくつかの実施形態では、修正プロファイルのそれぞれは、ライブ画像データの強化された提示を生成するために、所定のコンテキストのライブ画像データに適用される修正パラメータまたは関数のセットを含んでもよい。一例として、ユーザは、目の特性の各セット(例えば、視線方向の範囲、瞳孔の大きさ、辺縁の位置、または他の特性)に対する修正プロファイルを有していてもよい。さらなる例として、ユーザは、追加的または代替的に、環境特性(例えば、環境の明るさレベルの範囲、環境の温度、または他の特性)の各セットに対する修正プロファイルを有してもよい。現在検出された目の特性または環境特性に基づいて、対応する修正パラメータまたは関数のセットが取得され、ライブ画像データの強化された提示を生成するために使用されてもよい。ある使用例では、第1のユーザがウェアラブルデバイスを使用していることを検出すると(たとえば、第1のユーザが当該ユーザのアカウントにログインするか、または1つ以上の他の技術を介して識別されると)、構成サブシステム112は、ウェアラブルデバイスと通信して、第1のユーザに関連する修正プロファイルをウェアラブルデバイスに送信し、ウェアラブルデバイスが第1のユーザに関連する修正プロファイルのローカルコピーにアクセスできるようにしてもよい。別の使用例では、第2のユーザが同じウェアラブルデバイスを使用していることが後に検出された場合、構成サブシステム112は、ウェアラブルデバイスと通信して、第2のユーザに関連付けられた修正プロファイルをウェアラブルデバイスに送信し、ウェアラブルデバイスが第2のユーザに関連付けられた修正プロファイルのローカルコピーにアクセスできるようにしてもよい。
【0263】
図41から
図43は、上記で詳細に説明したシステムの様々な特徴および機能を可能とするための方法における処理動作を示すフローチャートの例である。以下で説明する各方法の各処理動作は例示を目的としたものであり、限定するものではない。一部の実施形態において、例えば、これらの方法は、説明していない1以上の処理を追加して実現してもよく、および/または、説明している処理のうち1以上を省略して実現してもよい。また、各方法の処理動作を図示する(そして以下で説明する)順序は、それに限定することを意図したものではない。
【0264】
一部の実施形態において、各方法は、1または複数の処理デバイス(例えば、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、および/または、電子的に情報を処理するこれら以外のメカニズム)において実装され得る。これらの処理デバイスは、電子記憶媒体に電子的に記憶された命令に応答して、各方法の処理の一部または全てを実行する1または複数のデバイスを含んでもよい。これらの処理デバイスは、各方法の処理のうち1または複数を実行するよう特別に設計されるべく、ハードウェア、ファームウェアおよび/またはソフトウェアによって構成される1または複数のデバイスを含むとしてよい。
【0265】
図41は、1つまたは複数の実施形態に従った、予測モデルを介してユーザの視覚に関する修正を容易にする方法4100のフローチャートを示す。
【0266】
工程4102において、視覚検査提示がユーザに提供されてもよい。一例として、視覚検査提示は、刺激のセットを含んでもよい。刺激のセットは、ユーザに表示される光刺激、テキスト、または画像を含んでもよい。一つ以上の実施形態に従って、工程4102は、検査サブシステム122と同一または類似のサブシステムによって実行されてもよい。
【0267】
工程4104では、ユーザの1つまたは複数の目の1つまたは複数の特性が監視されてもよい。一例として、目の特性は、視覚検査提示の間に監視されてもよい。目の特性は、(例えば、視覚検査提示中の)注視方向、瞳孔サイズ、辺縁位置、視軸、光軸、または他の特性を含んでもよい。一つ以上の実施形態に従って、工程4104は、検査サブシステム122と同一または類似のサブシステムによって実行されてもよい。
【0268】
工程4106では、刺激のセットに関連するフィードバックが得られてもよい。一例として、フィードバックは、視覚検査提示中に取得されてもよく、フィードバックは、ユーザがセットのうちの1つまたは複数の刺激を見ているかどうか、またはどのように見ているかを示してもよい。さらに、または代わりに、フィードバックは、1つまたは複数の刺激が表示されたときに発生する1つまたは複数の目に関連する1つまたは複数の特性を含んでもよい。一つ以上の実施形態に従って、工程4106は、検査サブシステム122と同一または類似のサブシステムによって実行されてもよい。
【0269】
工程4108では、刺激のセットに関連するフィードバックを予測モデルに提供してもよい。一例として、フィードバックは、視覚検査提示中に予測モデルに提供されてもよく、予測モデルは、フィードバックおよび眼の特性情報に基づいて構成されてもよい。別の例として、フィードバックに基づいて、予測モデルは、画像データに関連する強化された提示を生成するために画像データ(例えば、ライブビデオストリーム)に適用される、修正パラメータまたは関数を提供してもよい。一つ以上の実施形態に従って、工程4108は、検査サブシステム122と同一または類似のサブシステムによって実行されてもよい。
【0270】
工程4110では、ビデオストリームデータおよびユーザの現在の目の特性情報(例えば、ユーザの現在の目の特性を示すもの)が、予測モデルに提供されてもよい。一例として、ビデオストリームデータは、ユーザのウェアラブルデバイスの1つまたは複数のカメラを介して得られたライブビデオストリームであってもよく、ライブビデオストリームおよび現在の目の特性情報は、リアルタイムで予測モデルに提供されてもよい。一つ以上の実施形態に従って、工程4110は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0271】
工程4112では、修正パラメータまたは関数のセットが、予測モデルから得られてもよい。一例として、修正パラメータまたは関数のセットは、予測モデルに提供されるビデオストリームおよび現在の目の特性情報に基づいて、予測モデルから取得されてもよい。別の例として、修正パラメータまたは関数のセットは、強化画像(例えば、ユーザの動的収差に順応する画像)を生成するためにビデオストリームに適用されるように構成されてもよい。さらに、または代わりに、修正パラメータまたは関数のセットは、ディスプレイの1つまたは複数の表示部分を動的に調整するために適用されるように構成されてもよい。一つ以上の実施形態に従って、工程4112は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0272】
工程4114では、ビデオストリームデータおよび修正パラメータまたは関数のセットに基づいて、強化画像をユーザに表示させてもよい。一つ以上の実施形態に従って、工程4114は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0273】
図42は、1つまたは複数の実施形態に従って、シーンの複数の画像の一部の組み合わせを介して、ユーザの視野の拡大を容易にする方法4200のフローチャートを示す。
【0274】
工程4202では、シーンの複数の画像を取得してもよい。一例として、複数の画像は、異なる位置または方位にある1つまたは複数のカメラ(例えば、ウェアラブルデバイスのカメラ)を介して取得されてもよい。一つ以上の実施形態に従って、工程4202は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0275】
工程4204では、複数の画像に共通する領域を決定してもよい。一例として、共通領域は、互いに同じまたは類似の特性を有する画像のそれぞれの部分に対応してもよい。一つ以上の実施形態に従って、工程4204は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0276】
工程4206では、複数の画像の各画像について、(複数の画像のうちの)少なくとも1つの別の画像の対応する領域とは異なる画像の領域が決定されてもよい。一例として、各差異領域は、複数の画像のうちの1つの画像の部分に対応し、この部分は、他のすべての画像の対応する部分から区別されてもよい。一つ以上の実施形態に従って、工程4206は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0277】
工程4208では、共通領域および差異領域に基づいて、強化画像を生成してもよい。一例として、強化画像は、(i)強化画像の第1の領域が共通領域の表現を含み、(ii)強化画像の第2の領域が差異領域の表現を含むように生成されてもよい。別の例として、強化画像において第2の領域が第1の領域の周囲にあるように、強化画像を生成してもよい。一つ以上の実施形態に従って、工程4208は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0278】
工程4210では、強化画像が表示されてもよい。一例として、強化画像は、ユーザのウェアラブルデバイスの1つまたは複数のディスプレイを介して表示されてもよい。一つ以上の実施形態に従って、工程4210は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0279】
図43は1つまたは複数の実施形態に従って、1つまたは複数の透明ディスプレイ上の1つまたは複数の動的表示部分を介して、ユーザの視野の強化を容易にする方法4300のフローチャートを示している。
【0280】
工程4302では、ユーザの1つまたは複数の目に関連する1つまたは複数の変化を監視してもよい。一例として、目の変化は、眼球運動、注視方向の変化、瞳孔サイズの変化、または他の変化を含んでもよい。一つ以上の実施形態に従って、工程4302は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0281】
工程4304では、監視された変化に基づいて、ウェアラブルデバイスの1つまたは複数の透明表示部分の調整が行われてもよい。一例として、ウェアラブルデバイスの1つまたは複数の透明表示部分の1つまたは複数の位置、形状、またはサイズが、監視された変化に基づいて調整されてもよい。一つ以上の実施形態に従って、工程4304は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0282】
工程4306では、強化画像(例えば、ライブ画像データから得られた画像)が、ウェアラブルデバイスの1つまたは複数の他の表示部分に表示されてもよい。一例として、他の表示部分のうちの少なくとも1つが、ウェアラブルデバイスの透明な表示部分のうちの少なくとも1つの周りに配置されることによって、強化画像が透明表示部分の周りに(例えば、透明表示部分の中ではなく)表示されるようにしてもよい。一つ以上の実施形態に従って、工程4306は、視覚サブシステム124と同一または類似のサブシステムによって実行されてもよい。
【0283】
一部の実施形態において、
図1Aに図示したさまざまなコンピュータおよびサブシステムは、本明細書に記載された機能を行うようプログラムされた1または複数のコンピューティングデバイスを含んでもよい。コンピューティングデバイスは、一つ以上の電子的ストレージ(例えば、一つまたは複数の予測データベース132であるが、これは一つまたは複数の訓練データデータベース134、一つまたは複数のモデルデータベース136等、または、その他の電気的なストレージを含み得る)、一つ以上のコンピュータプログラム命令でプログラムされた一つ以上の物理的なプロセッサ、および/またはその他の構成要素を含んでいてもよい。コンピューティングデバイスは、ネットワーク(例えば、ネットワーク150)または他のコンピューティングプラットフォームとの有線技術または無線技術(例えば、イーサネット、光ファイバ、同軸ケーブル、WiFi、Bluetooth、近距離無線通信、または他の技術等)を介した情報のやり取りを可能にする通信回線または通信ポートを含んでもよい。コンピューティングデバイスは、協働する複数のハードウェアコンポーネント、ソフトウェアコンポーネントおよび/またはファームウェアコンポーネントを含むとしてよい。例えば、コンピューティングデバイスは、コンピューティングデバイスとして協動する多数のコンピューティングプラットフォームによって実装されてもよい。
【0284】
電子ストレージは、情報を電子的に記憶する非一時的記憶媒体を含み得る。電子ストレージの電子記憶媒体には、(i)サーバまたはクライアントデバイスと一体に(例えば、実質的に着脱不能に)設けられたシステムストレージ、または、(ii)例えばポート(例えばUSBポート、ファイヤーワイヤポート等)またはドライブ(例えばディスクドライブ等)を介してサーバまたはクライアントデバイスに着脱可能に接続されたリムーバブルストレージの一方または両方が含まれるとしてもよい。電子ストレージには、光学的に読み取り可能な記憶媒体(例えば光学ディスク等)、磁気的に読み取り可能な記憶媒体(例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等)、電荷型記憶媒体(例えばEEPROM、RAM等)、ソリッドステート記憶媒体(例えばフラッシュドライブ等)、および/または、これら以外の電子的に読み取り可能な記憶媒体のうち1または複数が含まれるとしてよい。電子ストレージは、一又は複数の仮想ストレージリソース(例えば、クラウドストレージ、仮想プライベートネットワーク、及び/又はこれら以外の仮想ストレージリソース)を含んでもよい。電子ストレージは、ソフトウェアアルゴリズム、プロセッサが決定した情報、サーバから取得した情報、クライアントデバイスから取得した情報、または、本明細書に記載する機能を可能とする他の情報を記憶してもよい。
【0285】
プロセッサは、コンピューティングデバイスにおける情報処理機能を実現するようプログラムされているとしてもよい。このため、プロセッサは、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、および/または電子的に情報を処理するための他のメカニズムのうちの1以上を含むとしてよい。一部の実施形態において、プロセッサは複数の処理ユニットを含むとしてもよい。これらの処理ユニットは物理的に同一の装置内に配置されてもよく、または、複数のプロセッサが、協調して動作する複数の装置の処理機能を実行してもよい。プロセッサは、コンピュータプログラム命令を実行してサブシステム112-124または他のサブシステムの本明細書で説明する機能を実現するようにプログラムされてもよい。プロセッサは、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、またはファームウェア、および/または、プロセッサにおいて処理機能を設定するための他のメカニズムによってコンピュータプログラム命令を実行するようにプログラムされてもよい。
【0286】
本明細書で説明する複数の異なるサブシステム112-124によって提供される機能の説明は例示を目的としたものであり、限定を意図したものではないと理解されたい。サブシステム112-124はいずれも、説明した機能より多くの、または少ない機能を提供するとしてよい。例えば、サブシステム112-124のうちの1または複数を省略するとしてもよく、その機能の一部またはすべてを、サブシステム112-124のうちの他のサブシステムで提供してもよい。他の例として、本明細書においてサブシステム112-124のうちの1つのサブシステムに帰する機能の一部または全てを発揮するよう追加のサブシステムがプログラムされてもよい。
【0287】
本開示に係る技術は、任意の数の用途で利用されるとしてよく、例えば、光学関連の疾患が瞬間的に発症してしまうことが頻繁な健康な被験者、軍人および退役軍人等の被験者によって利用されるとしてよい。視野の欠損は、軍人、退役軍人、その他の患者に必要不可欠な能力を、日常生活を送る能力と同様に下げてしまう。このような視覚障害は、自立度、安全性、生産性および生活の質を下げてしまい、自尊心の低下および鬱状態を招いてしまう。近年の科学の進歩にもかかわらず、網膜、視神経または視覚野に対する損傷を回復させる治療の選択肢は限られている。このため、治療は、機能を最大限にするための視覚支援を患者に提供することがほとんどである。現在の視覚支援は、この目標を達成するうえで十分ではない。このため、視機能、生活の質及び安全性を改善するべくより良い視覚支援の必要性が高まっている。本明細書で説明している技術は、眼鏡装置に組み込まれるが、一般的な環境だけでなく厳しい環境または孤立した環境において視野欠陥を生じさせる、発症が瞬間的な一般的な目の外傷、例えば、軍事関連の目の外傷および疾患を診断および軽減することが可能である。本明細書で説明している技術は、視野欠陥を診断および定量化することが可能である。本装置は、このデータを利用して、リアルタイムで患者の視野を処理して、修正した画像を残りの機能している視野に適合させて投影する。このため、視野の盲点(または視力低下部分)が患者の視機能に対して与える悪影響が最小限に抑えられる。さらに、眼鏡装置は、視野欠損を診断するために別の医療装置を利用しないということから、厳しい環境または孤立した環境において特に有用性が高まる。同様に、本明細書で説明している技術は、正常な被験者の視野を増強させて、正常よりも良好な視野または視力を実現するために利用されるとしてよい。
【0288】
現時点で最も実用的であり好ましいと考えられる態様に基づいて本発明を例示のために詳細に説明したが、このような詳細な説明は例示を目的としたものに過ぎないと理解されたい。本発明は開示された実施形態に限定されるものではなく、むしろ、添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な構成も本発明に含められることが意図されている。例えば、本発明においては任意の実施形態の1または複数の特徴を他の任意の実施形態の一のまたは複数の特徴と可能な限り組み合わせられると理解されたい。
【0289】
本発明の技術は、以下の列挙された実施形態を参照することにより、よりよく理解されるであろう。
[A1]刺激のセットを含む提示(例えば、視覚検査提示または他の提示)をユーザに提供する工程と、前記刺激のセットに関するフィードバック(例えば、このフィードバックは、セットのうちの一又は複数の刺激をユーザが感知するか、またはどのように感知するかを示す)を取得する工程と、前記刺激のセットに関するフィードバックをモデル(例えば、機械学習モデルまたは他のモデル)に提供する工程であって、当該モデルは前記刺激のセットに関するフィードバックに基づいて構成される、工程と、を備える方法。
[A2]ライブ画像データ、目の特性情報、または環境特性情報を前記モデルに提供して、前記ライブ画像データから得られた強化画像を取得する工程と、強化画像を前記ユーザに対して表示させる工程であって、前記目の特性情報は、前記ライブ画像データのライブ撮像中に発生した前記ユーザの一又は複数の目の一又は複数の特性を示し、前記環境特性情報は、前記ライブ画像データのライブ撮像中に発生した前記環境の一又は複数の特性を示す、工程と、をさらに備える実施形態A1の方法。
[A3]前記モデルに対して提供される前記ライブ画像データ、目の特性情報、または環境特性情報に基づいて、前記モデルから前記強化画像を取得する工程をさらに備える、実施形態A2の方法。
[A4]前記モデルに対して提供される前記ライブ画像データ、目の特性情報、または環境特性情報に基づいて、前記モデルから一又は複数の修正パラメータを取得する工程と、前記強化画像を取得するべく、前記ライブ画像データまたは前記一又は複数の修正パラメータに基づいて前記強化画像を生成する工程と、をさらに備える実施形態A2の方法。
[A5]前記一又は複数の修正パラメータは、一又は複数の変換パラメータ、明るさパラメータ、コントラストパラメータ、彩度パラメータ、またはシャープネスパラメータを含む、実施形態A4の方法。
[A6]前記刺激のセットに関するフィードバックを取得する工程は、前記提示中に撮像された目の画像を取得する工程を含み、前記目の画像は前記ユーザの目の画像であり、前記刺激のセットに関するフィードバックを提供する工程は、前記目の画像を前記モデルに提供する工程を含む、実施形態A1からA5のいずれかの方法。
[A7]前記目の画像は眼球画像、前記目の網膜の画像、または前記目の角膜の画像である、実施形態A5の方法。
[A8]前記刺激のセットに関するフィードバックを取得する工程は、前記刺激のセットのうちの一又は複数の刺激に対する前記ユーザの反応の表示、または前記刺激のセットのうちの一又は複数の刺激に対する前記ユーザの反応の欠如の表示を取得する工程を含み、前記刺激のセットに関するフィードバックを提供する工程は、前記反応の表示または前記反応の欠如の表示を前記モデルに提供する工程を含む、実施形態A1からA7のいずれかの方法。
[A9]前記反応は、目の動き、視線方向、瞳孔サイズの変化、または前記ユーザのユーザ入力による一又は複数の刺激に対するユーザ修正を含む、実施形態A8の方法。
[A10]前記ユーザ修正は、前記ユーザのユーザ入力による一又は複数の刺激の移動、または前記ユーザに対して表示される一又は複数の刺激に対して、前記ユーザのユーザ入力によって提供される補足データを含む、実施形態A9の方法。
[A11]刺激の第2のセットを取得する工程であって、当該刺激の第2のセットは、前記刺激のセットに対する前記モデルの処理および前記刺激のセットに関するフィードバックに基づいて生成される、工程と、前記刺激の第2のセットを前記ユーザに対して表示させる工程と、前記刺激の第2のセットに関するフィードバック(例えば、このフィードバックは、前記第2のセットのうちの一又は複数の刺激を前記ユーザが見ているか、またはどのように見ているかを示す)を取得する工程と、前記刺激の第2のセットに関するフィードバックを前記モデルに提供する工程であって、当該モデルは前記刺激の第2のセットに関するフィードバックに基づいてさらに構成される、工程と、をさらに含む、実施形態A1からA10のいずれかの方法。
[A12]前記刺激のセットに関するフィードバックに基づいて、前記ユーザの視野の欠陥視野部分を前記モデルによって決定する工程であって、前記ユーザの視野は複数の視野部分を含み、前記欠陥視野部分は、前記複数の視野部分の1つであって一又は複数の視覚基準を満たさない視野部分である、工程をさらに含む、実施形態A1からA11のいずれかの方法。
[A13]前記強化画像は、前記ライブ画像データの前記欠陥視野部分に対応する一又は複数の変換に基づいており、前記ライブ画像データの画像部分は、前記欠陥視野部分の外にある前記強化画像の画像部分に表される、実施形態A12の方法。
[A14]前記強化画像は、前記ライブ画像データの明るさまたはコントラストの一又は複数の修正に基づいており、(i)明るさ、コントラスト、またはシャープネスレベルの上昇は、前記強化画像の対応する画像部分を生成するべく、前記欠陥視野部分に対応する前記ライブ画像データの画像部分に適用され、(ii)前記明るさ、コントラスト、またはシャープネスレベルの上昇は、前記強化画像の対応する画像部分を生成するべく、前記ライブ画像データの他の画像部分に適用されない、実施形態A12からA13のいずれかの方法。
[A15](例えば、前記欠陥視野部分にある、または前記欠陥視野部分にあると予想される)物体を検出する工程と、前記物体が、前記一又は複数の視覚基準を満たす視野部分の少なくとも1つに対応する前記強化画像のいずれかの画像部分に十分に写っていないと判断する工程と、前記物体が前記ユーザと物理的に接触することを示す予測を生成する工程と、(i)前記物理的接触の予測、および(ii)前記物体が、前記一又は複数の視覚基準を満たす少なくとも1つの視野部分に対応する強化画像の画像部分に十分に写っていないという判断に基づいて、警告を(例えば、強化画像上に)表示させる工程であって、前記警告は前記物体の接近する方向を示す、工程と、をさらに備える、実施形態A12からA14のいずれかの方法。
[A16]前述の工程のうちの一又は複数はウェアラブルデバイスによって実行される、実施形態A1からA15のいずれかの方法。
[A17]前記ウェアラブルデバイスは、前記ライブ画像データを撮像するように構成された一又は複数のカメラと、一又は複数の強化画像を表示するように構成された一又は複数の表示部分と、を含む、実施形態A16の方法。
[A18]前記一又は複数の表示部分は、前記ウェアラブルデバイスの第1および第2の表示部分を含む、実施形態A16からA17のいずれかの方法。
[A19]前記ウェアラブルデバイスは、前記第1の表示部分を含む第1のモニタと、前記第2の表示部分を含む第2のモニタと、を含む、実施形態A18の方法。
[A20]前記一又は複数の表示部分は、前記ウェアラブルデバイスの一又は複数の透明ディスプレイ上の一又は複数の動的表示部分を含み、前記一又は複数の表示部分には一又は複数の強化画像が表示される、実施形態A16からA19のいずれかの方法。
[A21]前記ユーザの一又は複数の目に関する一又は複数の変化を監視する工程をさらに備える、実施形態A1からA20のいずれかの方法。
[A22]前記一又は複数の変化をさらなるフィードバックとして前記モデルに提供する工程と、前記モデルに対して提供される前記ライブ画像データ、目の特性情報、または環境特性情報に基づいて、前記モデルから一又は複数の修正パラメータを取得する工程と、前記強化画像を取得するべく、前記ライブ画像データおよび前記一又は複数の修正パラメータに基づいて前記強化画像を生成する工程と、をさらに備える実施形態A21の方法。
[A23]前記監視に基づいて、前記ウェアラブルデバイスの一又は複数の透明ディスプレイ上の前記第1または第2の表示部分の一又は複数の位置、形状、サイズ、または透明度を調整させる工程をさらに備え、前記強化画像を表示させる工程は、前記強化画像を前記第1または第2の表示部分に表示させる工程を含む、実施形態A21からA22のいずれかの方法。
[A24]前記モデルはニューラルネットワークまたは他の機械学習モデルを含む、実施形態A1からA23のいずれかの方法。
[B1]シーンの複数の画像を取得する工程と、前記複数の画像に共通する領域を決定する工程と、前記複数の画像の各々の画像について、前記複数の画像のうちの少なくとも他の1つの画像の対応する領域との差異を有する前記画像の領域を決定する工程と、前記共通する領域と前記差異を有する領域に基づいて強化画像を生成する工程と、前記強化画像を表示する工程と、を備える方法。
[B2]前記強化画像を生成する工程は、前記共通領域と前記差異領域に基づいて前記強化画像を生成する工程を含み、(i)前記強化画像の第1の領域は、前記共通領域の表現を含み、(ii)前記強化画像の第2の領域は、前記差異領域の表現を含み、(iii)前記第2の領域は前記強化画像において前記第1の領域を取り囲む、実施形態B1の方法。
[B3]前記強化画像を生成する工程は、前記共通領域、前記差異領域、および前記複数の画像に共通する第2の領域に基づいて前記強化画像を生成する工程を含み、(i)前記強化画像の前記第1の領域は、前記共通領域の表現と前記第2の共通領域の表現とを含み、(ii)前記強化画像の第2の領域は、前記差異領域の表現を含む、実施形態B2の方法。
[B4]前記共通領域は、目の視野の黄斑領域に対応するか、または前記視野の黄斑領域内の領域に対応する、前記複数の画像のうちの少なくとも1つの画像の領域である、実施形態B1からB3のいずれかの方法。
[B5]前記差異領域の各々は、目の視野の周辺領域に対応するか、または前記視野の周辺領域内の領域に対応する、前記複数の画像のうちの少なくとも1つの画像の領域である、実施形態B1からB4のいずれかの方法。
[B6]前記複数の画像の各々の画像のシフトを行う工程をさらに備え、前記強化画像を生成する工程は、当該シフトを行う工程に引き続いて、前記共通領域および前記差異領域に基づいて前記強化画像を生成する工程を含む、実施形態B1からB5のいずれかの方法。
[B7]前記シフトを行う工程は、前記共通領域のサイズが減少し、前記差異領域のうちの少なくとも1つのサイズが増加するように、前記複数の画像のうちの各々の画像のシフトを行う工程を含む、実施形態B6の方法。
[B8]前記複数の画像の一又は複数の領域のサイズ変更を行う工程をさらに備え、前記強化画像を生成する工程は、当該サイズ変更を行う工程に引き続いて、前記共通領域および前記差異領域に基づいて前記強化画像を生成する工程を含む、実施形態B1からB7のいずれかの方法。
[B9]前記サイズ変更を行う工程は、前記共通領域の任意のサイズ変更の範囲が、前記差異領域のうちの少なくとも1つの任意のサイズ変更の範囲と異なるように、前記複数の画像の一又は複数の領域のサイズ変更を行う工程を含む、実施形態B8の方法。
[B10]前記サイズ変更を行う工程は、前記強化画像の第1の領域に表される前記共通領域のサイズの変化率が、前記強化画像の第2の領域に表される前記差異領域の少なくとも1つのサイズの変化率よりも大きくなるか、または小さくなるように、前記複数の画像の一又は複数の領域のサイズ変更を行う工程を含む、実施形態B8からB9のいずれかの方法。
[B11]前記差異領域の少なくとも1つのサイズの変化率は0であり、前記共通領域のサイズの変化率は0よりも大きい、実施形態B10の方法。
[B12]前記差異領域の少なくとも1つのサイズの変化率は0より大きく、前記共通領域のサイズの変化率は0である、実施形態B10の方法。
[B13]前記共通領域に対して魚眼変換、等角写像変換、または他の変換を行う工程をさらに備え、前記強化画像を生成する工程は、当該変換を行う工程に引き続いて、前記共通領域および前記差異領域に基づいて前記強化画像を生成する工程を含む、実施形態B1からB12のいずれかの方法。
[B14]前記ユーザの視野の欠陥視野部分を決定する工程をさらに備え、前記ユーザの視野は視野部分を含み、前記欠陥視野部分は、一又は複数の視覚基準を満たさない前記視野部分のうちの1つであり、前記決定された欠陥視野部分に基づいて前記強化画像が生成され、前記強化画像内の前記共通領域または前記差異領域の少なくとも一方は、前記ユーザの視野の欠陥視野部分と重複しない、実施形態B1からB13のいずれかの方法。
[B15](i)一又は複数の視覚基準、(ii)一又は複数の位置基準、および(iii)一又は複数のサイズ基準を満たす前記ユーザの視野の視野部分を決定する工程をさらに備え、、当該視野部分に基づいて前記強化画像が生成され、前記強化画像内の前記共通領域または前記差異領域の少なくとも一方は前記視野部分内にある、実施形態B1からB14のいずれかの方法。
[B16]前記一又は複数のサイズ基準は、前記視野部分が、前記一又は複数の視覚基準および前記一又は複数の位置基準を満たす前記ユーザの視野の最大の視野部分であるという要件を含む、実施形態B15の方法。
[B17]前記一又は複数の位置基準は、前記視野部分の中心が前記ユーザの目の黄斑領域内の点に対応するという要件を含む、実施形態B15からB16のいずれかの方法。
[B18]前述の工程のうちの一又は複数はウェアラブルデバイスによって実行される、実施形態B1からB17のいずれかの方法。
[B19]前記ウェアラブルデバイスの一又は複数の表示部分を透明にする工程をさらに備え、前記強化画像を表示させる工程は、前記一又は複数の透明表示部分以外の前記ウェアラブルデバイスの一又は複数の他の表示部分に、強化画像を表示させる工程を含む、実施形態B18の方法。
[B20]前記ウェアラブルデバイスの前記一又は複数の透明表示部分および前記一又は複数の他の表示部分を調整させる工程をさらに備える、実施形態B19の方法。
[B21]前記ユーザの一又は複数の目に関する一又は複数の変化を監視する工程をさらに備え、前記調整させる工程は、前記監視に基づいて、前記ウェアラブルデバイスの前記一又は複数の透明表示部分および前記一又は複数の他の表示部分を調整させる工程を含む、実施形態B20の方法。
[B21]前記ユーザの一又は複数の目に関する一又は複数の変化を監視する工程をさらに備え、前記調整させる工程は、前記監視に基づいて、前記ウェアラブルデバイスの前記一又は複数の透明表示部分および前記一又は複数の他の表示部分を調整させる工程を含む、実施形態B20の方法。
[B22]前記調整させる工程は、前記監視に基づいて、前記ウェアラブルデバイスの一又は複数の透明表示部分の一又は複数の位置、形状、サイズ、または透明度を調整することを含む、B20からB21のいずれかに記載の方法。
[B23]前記強化画像または前記調整は前記一又は複数の変化に基づく、実施形態B20からB22のいずれかの方法。
[B24]前記強化画像を表示させる工程は、前記共通領域または前記差異領域の一方または両方を、前記ウェアラブルデバイスの前記一又は複数の他の表示部分に表示させ、前記共通領域または前記差異領域の少なくとも一方は、前記ウェアラブルデバイスの前記一又は複数の透明表示部分に表示されない、実施形態B18からB23のいずれかの方法。
[B25]前記ウェアラブルデバイスは第1および第2のカメラを含み、前記複数の画像を得る工程は、前記ウェアラブルデバイスの第1のカメラにより前記複数の画像のうちの少なくとも1つを得る工程と、前記ウェアラブルデバイスの第2のカメラにより前記複数の画像のうちの少なくとも1つの他の画像を得る工程と、を含む、実施形態B18からB24のいずれかの方法。
[B26]前記ウェアラブルデバイスの一又は複数のモニタは第1および第2のモニタを含み、前記強化画像を表示させる工程は、前記第1および第2のモニタにより前記強化画像を表示させる工程を含む、実施形態B18からB25のいずれかの方法。
[B27] 前記ウェアラブルデバイスはウェアラブル眼鏡装置を含む、実施形態B18からB26のいずれかの方法。
[B28]前記強化画像または前記調整は、刺激のセットに関するフィードバック(例えば、前記ユーザが一又は複数の刺激を感知しているか、またはどのように感知しているかを示すフィードバック)に基づく、実施形態B1からB27のいずれかの方法。
[C1]ユーザの一又は複数の目に関する一又は複数の変化を監視する工程と、前記監視に基づいて、ウェアラブルデバイスの一又は複数の透明表示部分または一又は複数の他の表示部分を調整させる工程と、前記ウェアラブルデバイスの一又は複数の他の表示部分に強化画像を表示させる工程と、を備え、前記強化画像は前記ウェアラブルデバイスを介して取得したライブ画像データに基づく、方法。
[C2]前記調整させる方法は、前記監視に基づいて、前記ウェアラブルデバイスの一又は複数の透明表示部分、または前記ウェアラブルデバイスの一又は複数の他の表示部分の一又は複数の位置、形状、サイズ、明るさレベル、コントラストレベル、シャープネスレベル、または彩度レベルを調整させる工程を含む、実施形態C1の方法。
[C3]前記ユーザの視野の欠陥視野部分を決定する工程をさらに備え、前記ユーザの視野は視野部分を含み、前記欠陥視野部分は、一又は複数の視覚基準を満たさない前記視野部分のうちの1つであり、前記調整させる工程は、前記ウェアラブルデバイスの一又は複数の透明表示部分が前記欠陥視野部分と重複しないように、前記一又は複数の透明表示部分の一又は複数の位置、形状、またはサイズを調整する工程を含む、実施形態C1からC2のいずれかの方法。
[C4](例えば、前記欠陥視野部分にある、または前記欠陥視野部分にあると予想される)物体を検出する工程と、前記物体が、一又は複数の視覚基準を満たす視野部分の少なくとも1つに対応する前記強化画像のいずれかの画像部分に十分に写っていないと判断する工程と、前記物体が前記ユーザと物理的に接触することを示す予測を生成する工程と、(i)前記物理的接触の予測、および(ii)前記物体が、前記一又は複数の視覚基準を満たす少なくとも1つの視野部分に対応する強化画像の画像部分に十分に写っていないという判断に基づいて、警告を(例えば、強化画像上に)表示させる工程であって、前記警告は前記物体の接近する方向を示す、工程と、をさらに備える、実施形態C3の方法。
[C5]前記一又は複数の目に関する情報をモデルに提供する工程であって、当該モデルは前記一又は複数の目に関する情報に基づいて構成される、工程と、前記モデルを構成することに引き続いて、修正パラメータのセットを取得するべく、前記一又は複数の目に関する前記一又は複数の監視された変化を前記モデルに提供する工程と、をさらに備え、前記一又は複数の透明表示部分を調整させる工程は、前記修正パラメータのセットのうちの一又は複数の修正パラメータに基づいて、前記一又は複数の透明表示部分を調整させる工程を含む、実施形態C1からC4のいずれかの方法。
[C6]前記一又は複数の目に関する情報は、前記一又は複数の目の一又は複数の画像を含む、実施形態C5の方法。
[C7]前記一又は複数の目に関する情報は、刺激のセットに関するフィードバック(例えば、前記ユーザが一又は複数の刺激を感知しているか、またはどのように感知しているかを示すフィードバック)を含む、実施形態C5からC6のいずれかの方法。
[C8]前記一又は複数の変化は目の動き、視線方向の変化、または瞳孔サイズの変化を含む、実施形態C1からC7のいずれかの方法。
[C9]前記強化画像または前記調整は、刺激のセットに関するフィードバック(例えば、前記ユーザが一又は複数の刺激を感知しているか、またはどのように感知しているかを示すフィードバック)に基づく、実施形態C1からC8のいずれかの方法。
[C10]前記強化画像または前記調整は前記一又は複数の変化に基づく、実施形態C10からC9のいずれかの方法。
[C11]前記調整は前記強化画像の表示と同時に行われる、実施形態C1からC10のいずれかの方法。
[C12]前述の工程のうちの一又は複数は前記ウェアラブルデバイスによって実行される、実施形態C1からC11のいずれかの方法。
[C13]前記ウェアラブルデバイスはウェアラブル眼鏡装置を含む、実施形態C1からC12のいずれかの方法。
[D1](例えば、刺激のセットがユーザに表示される第1の監視期間に)ユーザの一又は複数の目を監視する工程と、(例えば、前記第1の監視期間に)前記刺激のセットに関するフィードバックを取得する工程と、前記刺激のセットに関するフィードバックに基づいて、前記ユーザに関連付けられる修正プロファイルのセットを生成する工程であって、前記修正プロファイルのセットの各々の修正プロファイルは、(i)目に関する特性のセットと関連付けられるとともに、(ii)前記ユーザの目に関する特性が、前記関連付けられた目に関する特性のセットと一致するときに、前記ユーザのための画像を修正するべく画像に適用される一又は複数の修正パラメータを含む、工程と、を備える方法。
[D2]前記刺激のセットに関する前記フィードバックは、前記ユーザが前記刺激のセットの一又は複数の刺激を見ているか、またはどのように見ているかを示す、実施形態D1の方法。
[D3]前記刺激のセットに関する前記フィードバックは、(例えば、前記第1の監視期間に)前記一又は複数の刺激が表示されたときに発生する一又は複数の目に関する一又は複数の特性を含む、実施形態D1からD2のいずれかを方法。
[D4](例えば、第2の監視期間に)前記ユーザの一又は複数の目を監視する工程と、(例えば、前記第2の監視期間に)前記ユーザの環境を表す画像データを取得する工程と、(例えば、前記第2の監視期間から)(i)前記画像データ、または(ii)前記一又は複数の目に関する特性に基づいて、前記ユーザに関連付けられた一又は複数の修正プロファイルを取得する工程と、(i)前記画像データ、および(ii)前記一又は複数の修正プロファイルに基づいて、(例えば、前記第2の監視期間に)修正された画像データを前記ユーザに対して表示させる工程と、をさらに備える、実施形態D1からD3のいずれかの方法。
[D5]前記一又は複数の目に関する特性は、視線方向、瞳孔サイズ、辺縁位置、視軸、光軸、または瞼の位置または動きを含む、実施形態D4の方法。
[D6]前記刺激のセットに関するフィードバックを取得する工程は、前記第1監視期間に撮像された目の画像を取得する工程を含み、前記目の画像は前記ユーザの目の画像であり、前記修正プロファイルのセットを生成する工程は、前記目の画像に基づいて前記修正プロファイルのセットを生成する工程を含む、実施形態D1からD5のいずれかの方法。
[D7]前記目の画像は前記目の網膜の画像、または前記目の角膜の画像である、実施形態D6の方法。
[D8]前記刺激のセットに関するフィードバックを取得する工程は、前記一又は複数の刺激に対する前記ユーザの反応の表示、または前記一又は複数の刺激に対する前記ユーザの反応の欠如の表示を取得する工程を含み、前記修正プロファイルのセットを生成する工程は、前記反応の表示または前記反応の欠如の表示に基づいて、前記修正プロファイルのセットを生成する工程を含む、実施形態D1からD7のいずれかの方法。
[D9]前記反応は目の動き、視線方向の変化、または瞳孔サイズの変化を含む、実施形態D8の方法。
[D10]前述の工程のうちの一又は複数はウェアラブルデバイスによって実行される、実施形態D1からD9のいずれかの方法。
[D11]前記ウェアラブルデバイスはウェアラブル眼鏡装置を含む、実施形態D10の方法。
[E1]視覚検査提示のための固視点に基づいて、ユーザのユーザインタフェース上の第1のインタフェース位置に第1の刺激を表示させる工程と、前記視覚検査提示中に、前記ユーザに関する目の特性情報に基づいて、前記視覚検査提示のための固視点を調整する工程であって、当該目の特性情報は、前記視覚検査提示中に発生した前記ユーザの一又は複数の目に関する一又は複数の特性を示す、工程と、前記視覚検査提示のための前記調整された固視点に基づいて、前記ユーザインタフェース上の第2のインタフェース位置に第2の刺激を表示させる工程と、前記第1の刺激に関するフィードバックおよび前記第2の刺激に関するフィードバックを示すフィードバック情報を取得する工程であって、当該第1または第2の刺激に関するフィードバックは、前記第1または第2の刺激に対する前記ユーザの反応または前記ユーザの反応の欠如を示す、工程と、前記フィードバック情報に基づいて、前記ユーザに関連付けられた視覚欠陥情報を生成する工程と、を備える方法。
[E2]前記ユーザインタフェースは、第1の度数に対応する水平寸法または前記第1の度数に対応する垂直寸法を有するビューを表示するように構成され、前記視覚欠陥情報は、前記視覚欠陥情報が、前記ユーザの視野の前記水平寸法に関して、または前記ユーザの視野の前記垂直寸法に関して、前記第1の度数よりも大きいカバー範囲を有する、実施形態E1の方法。
[E3]前記ユーザインタフェースは、第1の度数に対応する所与の寸法を有するビューを表示するように構成され、前記視覚欠陥情報は、(i)前記視覚欠陥情報が、前記ユーザの視野の視野位置に存在する少なくとも2つの欠陥を示し、(ii)前記視野位置が、前記ユーザの視野の前記所与の寸法について、前記第1の度数を超えて離隔するように生成される、実施形態E1からE2のいずれかの方法。
[E4]前記ユーザインタフェースは、第1の度数に対応する所与の寸法を有するビューを表示するように構成され、前記フィードバック情報は、前記視覚検査提示中に前記ユーザインタフェース上に表示される第3の刺激に関するフィードバックをさらに示し、前記方法は、前記視野位置のうちの少なくとも2つが、前記視野の前記所与の寸法について前記第1の度数を超えて互いに離隔するように、前記フィードバック情報に基づいて、視覚欠陥が前記ユーザの視野の視野位置に存在するかを決定する工程と、前記視野位置に視覚欠陥が存在するかの決定に基づいて、前記視覚欠陥情報を生成する工程と、を備える、実施形態E1からE3のいずれかの方法。
[E5]前記視覚検査提示のための固視点に基づく第1の刺激の第1のインタフェース位置と、前記第1の刺激に関連付けられる第1の相対位置とを決定する工程と、前記視覚検査提示のための調整された固視点に基づく第2の刺激の第2のインタフェース位置と、前記第2の刺激に関連付けられる第2の相対位置とを決定する工程と、をさらに備え、前記第1の刺激を表示させる工程は、前記視覚検査提示中に、前記第1のインタフェース位置の決定に基づいて、前記ユーザインタフェース上の前記第1のインタフェース位置に前記第1の刺激を表示させる工程を含み、前記第2の刺激を表示させる工程は、前記視覚検査提示中に、前記第2のインタフェース位置の決定に基づいて、前記ユーザインタフェース上の前記第2のインタフェース位置に前記第2の刺激を表示させる工程を含む、実施形態E1からE4のいずれかの方法。
[E6]前記視覚検査提示中に、前記第1のインタフェース位置が前記ユーザインタフェース上の一又は複数の他のインタフェース位置よりも前記固視点から遠いことに基づいて、前記第1のインタフェース位置を前記第1の刺激のために選択する工程であって、前記一又は複数の他のインタフェース位置は、前記検査セットの一又は複数の他の視野位置に対応する、工程をさらに含み、前記第1の刺激を表示させる工程は、前記視覚検査提示中に、前記第1のインタフェース位置の選択に基づいて、前記ユーザインタフェース上の前記第1のインタフェース位置に前記第1の刺激を表示させる工程を含む、実施形態E1からE5のいずれかの方法。
[E7]前記検査セットから前記第1の視野位置を削除する工程をさらに備える、実施形態E6の方法。
[E8]前記第1の視野位置を削除する工程は、前記第1の視野位置が、前記視覚検査提示中に前記検査セットから選択できなくなるように、前記検査セットから前記第1の視野位置を削除する工程を含む、実施形態E7の方法。
[E9]前記検査セットから前記第1の視野位置を削除する工程に引き続いて、前記第2のインタフェース位置が前記ユーザインタフェース上の一又は複数の他のインタフェース位置よりも前記調整された固視点から遠いことに基づいて、前記第2のインタフェース位置を前記第2の刺激のために選択する工程をさらに備え、前記第2の刺激を表示させる工程は、前記視覚検査提示中に、前記第2のインタフェース位置の選択に基づいて、前記ユーザインタフェース上の前記第2のインタフェース位置に前記第2の刺激を表示させる工程を含む、実施形態E7からE8のいずれかの方法。
[E10]前記第1のインタフェース位置を選択する工程は、前記第1のインタフェース位置が、所与の寸法について、前記第1の視野位置以外の前記検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、前記固視点から離隔していることに基づいて、前記第1のインタフェース位置を前記第1の刺激のために選択する工程を含む、実施形態E6からE9のいずれかの方法。
[E11]前記第2のインタフェース位置を選択する工程は、前記第2のインタフェース位置が、所与の寸法について、前記第2の視野位置以外の前記検査セットの視野位置に対応する前記ユーザインタフェース上の他のすべてのインタフェース位置と少なくとも同じ距離だけ、前記調整された固視点から離隔していることに基づいて、前記第2のインタフェース位置を前記第2の刺激のために選択する工程を含む、実施形態E6からE10のいずれかの方法。
[E12]前記調整された固視点をロックする工程であって、前記調整された固視点がロックされている間、前記固視点の再調整は回避される、工程と、前記調整された固視点がロックされている間、前記調整された固視点に基づいて、前記ユーザインタフェース上に一又は複数の刺激を表示させる工程と、前記第2の刺激を表示する前に、前記調整された固視点のロックを解除する工程と、をさらに備える、実施形態E1からE11のいずれかの方法。
[E13]前記調整された固視点が同じ位置(例えば、前記第1のインタフェース位置)にある間、複数の刺激をユーザインタフェース上に表示させた後に、当該複数の刺激を前記ユーザインタフェースにおいて強調解除させるか、または前記ユーザインタフェースから削除させる工程をさらに備え、前記複数の刺激のうちの少なくとも1つの刺激は、前記複数の刺激のうちの少なくとも1つの他の刺激が前記ユーザインタフェース上に表示されるのに引き続いて、前記ユーザインタフェース上に表示される、実施形態E1からE12のいずれかの方法。
[E14]前記複数の刺激は、表示された後に、前記第1の刺激が前記ユーザインタフェース上の前記第1のインタフェース位置に表示され続ける間、強調解除または削除される、実施形態E13の方法。
[E15]前記複数の刺激のうちの少なくとも1つの刺激が前記ユーザインタフェース上に表示されたことに引き続いて、前記第1の刺激を、前記ユーザインタフェース上で強調解除させるか、または前記ユーザインタフェースから削除させた後に、当該第1の刺激を、前記ユーザインタフェース上の前記第1のインタフェース位置で強調表示させるか、または再表示させる工程をさらに備える、実施形態E13からE14のいずれかの方法。
[E16]前記目の特性情報は、前記視覚検査提示中に発生した前記ユーザの一又は複数の視線方向、瞳孔サイズの変化、瞼の動き、頭部の動き、またはその他の目に関する特性を示す、実施形態E1からE15のいずれかの方法。
[F1]各々の目に提供された(例えば、2つ以上のディスプレイ上の)2つ以上のユーザインタフェースを介して、視覚検査提示中に、ユーザの目に関する特性を監視する工程であって、前記ユーザの目は第1および第2の目を含む、工程と、一又は複数の刺激を、前記ユーザインタフェースの少なくとも1つにおける一又は複数の位置に提示させる工程と、前記刺激提示の際に発生した(例えば、前記第1の目の)一又は複数の目に関する特性に基づいて、前記第1の目の視覚欠陥情報を決定する工程と、を備える方法。
[F2]前記視覚欠陥情報を決定する工程は、前記刺激提示の際に発生した前記第1の目の一又は複数の目に関する特性に基づいて、前記第1の目の偏差測定値を決定する工程を含む、実施形態F1の方法。
[F3]偏差測定値は前記第2の目に対する前記第1の目の偏差を示す、実施形態F2の方法。
[F4]前記刺激を提示させる工程は、前記第1の目に用いる第1のユーザインタフェース上の位置で第1の時間に刺激を提示させる工程を含み、前記刺激の提示は、前記第2の目に用いる第2のユーザインタフェースに刺激が提示されていない間に発生する、実施形態F1からF3のいずれかの方法。
[F5]前記刺激を提示させる工程は、前記第2のユーザインタフェースの刺激強度が刺激強度閾値を満たさない間に、前記第1のユーザインタフェース上の位置に刺激を提示させる工程を含む、実施形態F1からF4のいずれかの方法。
[F6]前記第1のユーザインタフェース上に刺激が提示されていない間に、(前記第1の時間より前の)事前時間に前記第2のユーザインタフェース上の前記位置に刺激を提示させる工程をさらに備える、実施形態F4からF5のいずれかの方法。
[F7]前記第1の時間より前の事前時間に、前記第1のディスプレイ上の第1の位置に刺激を提示させ、前記第2のディスプレイ上の第1の位置に刺激を提示させる工程と、前記事前時間に前記第1のディスプレイ上で刺激を提示したときに、前記第1の目が前記第1の位置を固視しないことを検出する工程と、前記第1の目が固視していないことを検出したことに基づいて、前記ユーザの第1の目が偏位している目であることを決定する工程と、をさらに備える、実施形態F4からF6のいずれかの方法。
[F8]前記視覚欠陥情報(例えば、前記偏差測定値)に基づいて、前記第1の時間に引き続く後続時間に、前記第1のディスプレイ上の修正された位置に刺激を提示させる工程であって、前記後続時間における提示は、前記第2のディスプレイ上に刺激が提示されていない間に発生し、前記修正された位置は前記第1の位置とは異なる、工程と、前記後続時間における提示の際に、変化閾値を超えて変化しない前記第1の目または前記第2の目の一又は複数の目に関する特性に基づいて、前記視覚欠陥情報(例えば、前記偏差測定値)を確定する工程と、をさらに備える、実施形態F4からF7のいずれかの方法。
[F9]前記視覚欠陥情報(例えば、前記偏差測定値)に基づいて、前記修正された位置を、前記後続時間に前記第1のディスプレイ上に刺激が提示される位置として決定する工程をさらに備える、実施形態F8の方法。
[F10]前記刺激を提示させる工程は、前記第1の目に用いる第1のユーザインタフェース上の位置、および前記第2の目に用いる第2のユーザインタフェース上の対応する位置で所与の時間に刺激を提示させる工程を含む、実施形態F1からF2のいずれかの方法。
[F11]前記視覚欠陥情報(例えば、前記偏差測定値)に基づいて、前記ユーザに関連付けられた修正プロファイルを生成する工程であって、当該修正プロファイルは、前記ユーザのための画像を修正するべく適用される一又は複数の修正パラメータを含む、工程をさらに備える、実施形態F1からF10のいずれかの方法。
[F12](i)前記ユーザの環境を表すビデオストリームデータ、および(ii)前記ユーザに関連付けられた修正プロファイルに基づいて、修正ビデオストリームデータを前記ユーザに対して表示させる工程をさらに備える、実施形態F11の方法。
[F13]前記修正プロファイルは、前記第2の目の視線方向が前記第1の位置に向けられたときに、前記第1の目のための画像を修正するべく適用される並進または回転パラメータを含み、前記修正されたビデオストリームデータを表示させる工程は、前記第2の目の視線方向が前記第1の位置に向けられていることを検出する工程と、前記並進または回転パラメータを用いて、前記第2の目の視線方向の検出に基づいて前記ビデオストリームデータを修正して、前記修正されたビデオストリームデータを生成する工程と、前記修正されたビデオストリームデータを前記ユーザの第1の目に表示させる工程と、を含む、実施形態F12の方法。
[F14]前記偏差測定値に基づいて前記ユーザに関連付けられた第1の修正プロファイルを生成する工程であって、当該第1の修正プロファイルは、前記第2の目の視線方向が前記第1の位置に向けられていることに応答して前記第1の目のための画像を修正するべく適用される一又は複数の修正パラメータを含む、工程と、前記第1の目の第2の偏差測定値に基づいて第2の修正プロファイル生成する工程であって、当該第2の修正プロファイルは、前記第2の目の視線方向が前記第1の位置と異なる第2の位置に向けられていることに応答して前記第1の目のための画像を修正するべく適用される一又は複数の修正パラメータを含む、工程と、をさらに備える、実施形態F1からF13のいずれかの方法。
[F15]前記視覚欠陥情報を決定する工程は、前記ユーザが見る刺激の数または種類に基づいて、前記ユーザが複視を有するかを決定する、または前記複視の程度を決定する工程を含む、実施形態F1からF14のいずれかの方法。
[F16]前記ユーザが見る刺激の数または種類を示すユーザ入力に基づいて、前記ユーザが見る刺激の数または種類を決定する工程をさらに備える、実施形態F15の方法。
[F17]前記刺激の提示の際に発生する一又は複数の目に関する特性に基づいて、前記ユーザが見る刺激の数または種類を決定する工程をさらに備える、実施形態F15からF16のいずれかの方法。
[F18]前記視覚欠陥情報を決定する工程は、前記刺激の提示の際に発生する一又は複数の目に関する特性に基づいて、前記ユーザが立体視を有するかを決定する、または前記立体視の程度を決定する工程を含む、実施形態F1からF17のいずれかの方法。
[F19]前記目に関する特性は、一又は複数の視線方向、瞳孔サイズの変化、または他の目に関する特性を含む、実施形態F1からF18のいずれかの方法。
[G1]命令を格納している有形で非一時的な機械可読媒体であって、前記命令がデータ処理装置によって実行されると、前記データ処理装置によって実施形態A1からA24、B1からB28、C1からC13、D1からD11、E1からE16、またはF1からF19のいずれかの工程を含む処理が実行される、機械可読媒体。
[G2]一つまたは複数のプロセッサと、命令を格納しているメモリとを備えるシステムであって、前記命令が前記一つまたは複数のプロセッサによって実行されると、前記一つまたは複数のプロセッサによって実施形態A1からA24、B1からB28、C1からC13、D1からD11、E1からE16、またはF1からF19のいずれかの工程を含む処理が実現される、システム。
【国際調査報告】