(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024016249
(43)【公開日】2024-02-06
(54)【発明の名称】医師による遠隔評価のためのデジタル眼検査方法
(51)【国際特許分類】
A61B 3/028 20060101AFI20240130BHJP
【FI】
A61B3/028
【審査請求】有
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2023193989
(22)【出願日】2023-11-14
(62)【分割の表示】P 2020550045の分割
【原出願日】2018-12-07
(31)【優先権主張番号】15/838,029
(32)【優先日】2017-12-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
(71)【出願人】
【識別番号】520206612
【氏名又は名称】1-800 コンタクツ,インコーポレーテッド
【氏名又は名称原語表記】1-800 CONTACTS,INC.
(74)【代理人】
【識別番号】110002583
【氏名又は名称】弁理士法人平田国際特許事務所
(72)【発明者】
【氏名】ジェンセン,ブレント
(72)【発明者】
【氏名】レイシコット,ティグ
(72)【発明者】
【氏名】アレン,チャド
(72)【発明者】
【氏名】ストロムバーグ,スコット
(72)【発明者】
【氏名】ハースト,ダスティン
(72)【発明者】
【氏名】ルーハン,リコ
(57)【要約】
【課題】コンピュータ化されたコンシューマデバイスを用いて個人の視力を評価するためのシステム及び方法を提供する。
【解決手段】本方法は、ユーザの物理的特徴の画像サイズに基づいて人間であるユーザとコンシューマデバイスとの間の離間距離を判定し、所定の離間距離範囲に達するまでユーザとコンシューマデバイスとの間の距離を調整するようにユーザに指示し、ユーザに識別させる所定の視標の表示を含む視力検査をユーザに提示し、ユーザが所定の視標を見て発話した識別内容を記録し、コンシューマデバイスが発話内容を検出したことをユーザにリアルタイムでフィードバックし、発話した識別内容に対して音声認識を実行して対応するように変換された文字列を生成し、変換された文字列中に認められる単語と、所定の視標に対応するものとして許容される単語とを比較し、比較に基づきスコアを判定し、この人物が視力検査に合格したかを判定することを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
コンピュータ化されたデバイスを用いてユーザの視力検査を行う方法であって、
前記方法は、
ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備えるコンピュータ化されたデバイスを用いて、ユーザの視力を評価するための視力検査を開始し、
前記コンピュータ化されたデバイスの前記カメラによって撮像された前記ユーザの画像を用い、前記ユーザの物理的特徴の画像サイズに基づいて前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離を前記コンピュータ化されたデバイスにより判定し、
前記コンピュータ化されたデバイスの前記カメラを用いて、前記ユーザの眼の眼表面の画像を撮像し、前記ユーザの眼の前記眼表面の画像の撮像は、
前記ユーザの眼の向きが適切な位置にあることを検出するためにリアルタイムの画像分析によって前記ユーザの眼の画像を処理し、
前記ユーザの眼が適切な位置にある状態で、前記ユーザの眼の静止画像を取得し、
前記静止画像を前記眼表面の画像と指定して保存することを含み、
前記コンピュータ化されたデバイスにより、前記ユーザと前記コンピュータ化されたデバイスとの間の前記距離を所定の離間距離範囲に調整するように前記ユーザに指示し、
屈折レンズアセンブリを用いない前記視力検査を前記コンピュータ化されたデバイスにより前記ユーザに提示し、前記視力検査の提示は前記ユーザが視認するように前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに所定の視標を表示することを含み、
前記ユーザが前記所定の視標を見た識別内容を前記コンピュータ化されたデバイスで記録し、
前記識別内容に基づき、前記ユーザが行った視力検査のスコアを判定することを含むことを特徴とする方法。
【請求項2】
前記方法は、
所定のサイズで頭部とほぼ同じ形状の輪郭を前記ディスプレイスクリーンに表示し、前記カメラを起動し、
前記輪郭に対して前記撮像されたユーザの頭部をリアルタイムで表示することで、前記コンピュータ化されたデバイスを適切に配置するためにユーザにリアルタイムでフィードバックしながら、前記ユーザに前記コンピュータ化されたデバイスを位置決めするように前記ユーザに指示し、
前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離と、前記ユーザの顔に対するカメラの位置合わせのうちの少なくとも一方が、前記眼表面の画像を撮像するための閾値を満たしているかを判定することをさらに含む、請求項1に記載の方法。
【請求項3】
前記ユーザの眼の前記眼表面の画像の撮像は、
前記コンピュータ化されたデバイスの複数のカメラにより前記眼表面の画像を同時に撮像することを含み、前記複数のカメラは互いに間隔を置いて配置され、それにより複数の異なる方向から前記眼表面の画像を得る、請求項1に記載の方法。
【請求項4】
前記方法は、
前記ユーザとコンピュータ化されたデバイスとが前記所定の離間距離範囲だけ離れた状態で、前記コンピュータ化されたデバイスの前記マイクを用いて前記ユーザの音声サンプルを取得し、
前記音声サンプルの音声処理に基づいて音声品質測定基準を算定し、
前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに前記所定の視標を表示する前に、前記音声品質測定基準が前記視力検査を実行可能とするのに十分であるか否かを判定することを含む、請求項1~3のいずれか1項に記載の方法。
【請求項5】
前記方法は、
前記視力検査を提示する前に、前記コンピュータ化されたデバイスの前記ディスプレイスクリーンの自動輝度調節を一時停止することを含む、請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記コンピュータ化されたデバイスの前記ディスプレイスクリーンへの前記所定の視標の表示は、前記コンピュータ化されたデバイスによって判定した前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離に基づいて、前記ディスプレイスクリーンに表示される前記所定の視標のサイズを変更することなく行われる、請求項1~5のいずれか1項に記載の方法。
【請求項7】
前記コンピュータ化されたデバイスは、タブレット型コンピュータ、スマートフォン、又は、パーソナルコンピュータを含む、請求項1~6のいずれか1項に記載の方法。
【請求項8】
ユーザの視力検査を行うためのシステムであって、
コンピュータ化されたデバイスを備え、
前記コンピュータ化されたデバイスは、
ディスプレイスクリーンと、
カメラと、
マイクと、
スピーカと、
コンピュータプロセッサと、
メモリと、を備え、
前記コンピュータプロセッサは、前記コンピュータ化されたデバイスに、
ユーザの視力を評価するための前記コンピュータ化されたデバイスを用いた視力検査を開始させ、
前記コンピュータ化されたデバイスの前記カメラによって撮像された前記ユーザの画像を用い、前記ユーザの物理的特徴の画像サイズに基づいて前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離を判定させ、
前記コンピュータ化されたデバイスの前記カメラを用いて、前記ユーザの眼の眼表面の画像を撮像させ、前記ユーザの眼の前記眼表面の画像の撮像は、
前記ユーザの眼の向きが適切な位置にあることを検出するためにリアルタイムの画像分析によって前記ユーザの眼の画像を処理し、
前記ユーザの眼が適切な位置にある状態で、前記ユーザの眼の静止画像を取得し、
前記静止画像を前記眼表面の画像と指定して保存することを含み、
前記ユーザと前記コンピュータ化されたデバイスとの間の前記距離を調整するように前記ユーザに指示させ、所定の離間距離範囲に達したことを前記ユーザに指示させ、
前記ユーザが視認するように前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに所定の視標を表示することを含む視力検査であって、屈折レンズアセンブリを用いない前記視力検査を前記ユーザに提示させ、
前記コンピュータ化されたデバイスを介して前記ユーザが前記所定の視標を見た識別内容を受信させ、
前記受信した識別内容に基づき、前記ユーザが行った前記視力検査のスコアを判定させるように構成されたことを特徴とするシステム。
【請求項9】
前記コンピュータプロセッサは、前記コンピュータ化されたデバイスに、
所定のサイズで頭部とほぼ同じ形状の輪郭を前記ディスプレイスクリーンに表示させ、
カメラを起動させ、
前記輪郭に対して前記撮像されたユーザの頭部をリアルタイムで表示することで、コンピュータ化されたデバイスを適切に配置するためにユーザにリアルタイムでフィードバックしながら、前記ユーザに前記コンピュータ化されたデバイスを位置決めするように前記ユーザに指示させ、
前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離と、前記ユーザの顔に対するカメラの位置合わせのうちの少なくとも一方が、前記眼表面の画像を撮像するための閾値を満たしているかを判定させるようにさらに構成された、請求項8に記載のシステム。
【請求項10】
前記コンピュータプロセッサは、前記コンピュータ化されたデバイスに、
前記コンピュータ化されたデバイスの複数のカメラにより前記眼表面の画像を同時に撮像することにより前記ユーザの眼の前記眼表面の画像を撮像させるようにさらに構成され、前記複数のカメラは互いに間隔を置いて配置される、請求項8に記載のシステム。
【請求項11】
前記コンピュータプロセッサは、前記コンピュータ化されたデバイスに、
前記ユーザとコンピュータ化されたデバイスとが前記所定の離間距離範囲だけ離れた状態で、前記コンピュータ化されたデバイスの前記マイクを用いて前記ユーザの音声サンプルを取得させ、
前記音声サンプルの音声処理に基づいて音声品質測定基準を算定させ、
前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに前記所定の視標を表示する前に、前記音声品質測定基準が視力検査を実行可能とするのに十分であるか否かを判定させるようにさらに構成された、請求項8~10のいずれか1項に記載のシステム。
【請求項12】
前記コンピュータプロセッサは、前記コンピュータ化されたデバイスに、
前記視力検査を提示する前に、前記コンピュータ化されたデバイスの前記ディスプレイスクリーンの自動輝度調節を一時停止させるようにさらに構成された、請求項8~11のいずれか1項に記載のシステム。
【請求項13】
前記コンピュータ化されたデバイスの前記ディスプレイスクリーンへの前記所定の視標の表示は、前記所定の離間距離範囲に基づいて、前記ディスプレイスクリーンに表示される前記所定の視標のサイズを変更することなく行われる、請求項8~12のいずれか1項に記載のシステム。
【請求項14】
前記コンピュータ化されたデバイスは、タブレット型コンピュータ、スマートフォン、又は、パーソナルコンピュータを備える、請求項8~13のいずれか1項に記載のシステム。
【請求項15】
コンピュータ化されたデバイスがユーザの視力検査を行えるようにするためのプログラム命令を含む非一時的コンピュータ読み取り可能媒体であって、前記プログラム命令は、実行された際に、前記コンピュータ化されたデバイスのコンピュータプロセッサに、
ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備えた前記コンピュータ化されたデバイスを用い、ユーザの視力を評価するための視力検査を開始させ、
前記コンピュータ化されたデバイスの前記カメラによって撮像された前記ユーザの画像を用い、前記ユーザの物理的特徴の画像サイズに基づいて前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離を判定させ、
前記コンピュータ化されたデバイスの前記カメラを用いて、前記ユーザの眼の眼表面の画像を撮像させ、前記ユーザの眼の前記眼表面の画像の撮像は、
前記ユーザの眼の向きが適切な位置にあることを検出するためにリアルタイムの画像分析によって前記ユーザの眼の画像を処理し、
前記ユーザの眼が適切な位置にある状態で、前記ユーザの眼の静止画像を取得し、
前記静止画像を前記眼表面の画像と指定して保存することを含み、
前記ユーザと前記コンピュータ化されたデバイスとの間の前記距離を所定の離間距離範囲に調整するように前記ユーザに指示させ、
前記ユーザが視認するように前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに所定の視標を表示することを含む視力検査であって、屈折レンズアセンブリを用いない前記視力検査を前記ユーザに提示させ、
前記コンピュータ化されたデバイスを介して前記ユーザが前記所定の視標を見た識別内容を受信させ、
前記受信した識別内容に基づき、前記ユーザが行った視力検査のスコアを判定させるように構成されたことを特徴とする、非一時的コンピュータ読み取り可能媒体。
【請求項16】
前記プログラム命令は、前記コンピュータプロセッサに前記コンピュータ化されたデバイスを制御させ、
所定のサイズで頭部とほぼ同じ形状の輪郭を前記ディスプレイスクリーンに表示させ、
カメラを起動させ、
前記輪郭に対して前記撮像されたユーザの頭部をリアルタイムで表示することで、前記ユーザに前記コンピュータ化されたデバイスを位置決めするように前記ユーザに指示させ、
前記ユーザと前記コンピュータ化されたデバイスとの間の離間距離と、前記ユーザの顔に対するカメラの位置合わせのうちの少なくとも一方が、前記眼表面の画像を撮像するための閾値を満たしているかを判定させるようにさらに構成された、請求項15に記載の非一時的コンピュータ読み取り可能媒体。
【請求項17】
前記プログラム命令は、前記コンピュータプロセッサに前記コンピュータ化されたデバイスを制御させ、
前記コンピュータ化されたデバイスの複数のカメラにより前記眼表面の画像を同時に撮像することにより前記ユーザの眼の前記眼表面の画像を撮像させるようにさらに構成され、前記複数のカメラは、複数の異なる方向から前記眼表面の画像を得るように配置される、請求項15に記載の非一時的コンピュータ読み取り可能媒体。
【請求項18】
前記プログラム命令は、前記コンピュータプロセッサに前記コンピュータ化されたデバイスを制御させ、
前記ユーザとコンピュータ化されたデバイスとが前記所定の離間距離範囲だけ離れた状態で、前記コンピュータ化されたデバイスの前記マイクを用いて前記ユーザの音声サンプルを取得させ、
前記音声サンプルの音声処理に基づいて音声品質測定基準を算定させ、
前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに前記所定の視標を表示する前に、前記音声品質測定基準が視力検査を実行可能とするのに十分であるか否かを判定させるようにさらに構成された、請求項15~17のいずれか1項に記載の非一時的コンピュータ読み取り可能媒体。
【請求項19】
前記プログラム命令は、前記コンピュータプロセッサに前記コンピュータ化されたデバイスを制御させ、
前記視力検査を提示する前に、前記コンピュータ化されたデバイスの前記ディスプレイスクリーンの自動輝度調節を一時停止させるように構成された、請求項15~18のいずれか1項に記載の非一時的コンピュータ読み取り可能媒体。
【請求項20】
前記プログラム命令は、前記コンピュータプロセッサに前記コンピュータ化されたデバイスを制御させ、
前記所定の離間距離範囲に基づいて前記ディスプレイスクリーンに表示される前記所定の視標のサイズを変更することなく、前記コンピュータ化されたデバイスの前記ディスプレイスクリーンに前記所定の視標を表示させるようにさらに構成された、請求項15~19のいずれか1項に記載の非一時的コンピュータ読み取り可能媒体。
【請求項21】
前記コンピュータ化されたデバイスは、タブレット型コンピュータ、スマートフォン、又は、パーソナルコンピュータを備える、請求項15~20のいずれか1項に記載の非一時的コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願の相互参照〕
本願は、参照によりその全内容が本明細書に援用される、2017年12月11日に出願された米国特許出願第15/838029号の優先権を主張するものである。
【0002】
〔開示の分野〕
本開示は、眼検査(eye examination)方法に関し、特に、光屈折レンズアセンブリを用いることなく、コンピュータを用いる眼検査方法に関する。
【背景技術】
【0003】
〔背景技術の情報〕
近視、遠視及び乱視は、多くの人々を悩ませる一般的な眼の屈折異常である。一般的に近眼とも称される近視は、画像が網膜の結像面よりも手前に焦点を結ぶ眼の屈折欠陥である。一般的に「眼が遠い」とも表現される遠視は、画像が網膜の結像面よりも後ろで焦点を結ぶ眼の屈折欠陥である。乱視は、眼の光学系の球面曲率が不完全になることに起因する眼の屈折欠陥であり、平行な光線が網膜の結像面の1箇所の共通点ではなく2箇所の異なる点に焦点を結ぶものである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、人々は、このような眼の症状の診断や、コンタクトレンズやメガネなどの矯正レンズを購入するための処方箋を得るために、眼科医院で眼科医の診療を受けていた。このような眼科医の対面(in-person)診療を受けるには、例えば、個人が仕事や他の用事を早く切り上げ、眼検査を受けるために眼科医院のある場所まで行かなければならず、費用や時間を要することがある。
【0005】
伝統的な眼科医による対面の眼検査は、時間を要し費用の問題もあるため、眼科医に対面する必要がないコンピュータ化眼検査が一部で始まっている。しかし、本発明者らは、既存のコンピュータ化眼検査自体が非常に複雑で時間を要し、また、従来のコンピュータ化眼検査の技術的欠陥に起因して最適な顧客体験を提供できない場合があることを発見した。本開示は、このようなコンピュータ化眼検査における技術的課題に対する技術的解決手段を提供する。
【課題を解決するための手段】
【0006】
本発明者らは、既存のコンピュータ化眼検査は、眼科医の対面診療なしにパーソナルコンピューティングデバイスで行うことができるが、非常に複雑で時間を要する。また、検査結果データが不十分である、検査結果データが曖昧である、補助なしのコンピュータ化眼検査に適した条件か否かの検証が欠如する、コンピュータ化眼検査中のユーザへの技術的フィードバックが欠如する、などの技術的欠陥を理由として、コンピュータ化眼検査の再実施が必要となった場合には、満足のいく顧客体験を提供できない場合があることを発見した。これらの課題は、コンピュータ化眼検査における技術的背景から生じるものであり、眼科医院で一般的にみられるタイプの従来の屈折レンズアセンブリを用いる眼科医による伝統的な対面の眼検査では生じないものである。
【0007】
本開示は、これらの技術的課題に対する技術的解決手段を提供するためにコンピュータ化眼検査を提供するものであり、例えば、既存の処方箋による矯正レンズを着用したユーザによって、ラップトップコンピュータ、タブレット型コンピュータ、スマートフォンなどの個人所有のコンシューマコンピューティングデバイスを用いて、眼の専門家による対面検査を実施する必要がなく行われる視力検査であって、眼検査中にリアルタイムでユーザにフィードバックすることで、得られた眼検査データの信頼性を高めると共に、眼検査中又はその直後に個人所有のコンピューティングデバイスにより得られた眼検査データに高度な処理を行って、処理された眼検査データの信頼性を高めることを特徴とするコンピュータ化眼検査を提供する。本明細書に記載する例示的な手法では、人間の技術者がリモートコンピュータシステムで得た眼検査データをスクリーニングした後、医師が(スクリーニングされた)眼検査データを更に検討するようにしてもよく、それにより、医師は、ユーザがコンタクトレンズやメガネなどの矯正レンズをオンライン購入できるように処方箋を再発行する、懸念事項について眼検査データを評価する、場合によっては、更に評価を行うために医師による対面の眼検査を勧めるようにしてもよい。
【0008】
例示的な一態様では、コンピュータ化されたコンシューマデバイスを用いてユーザの視力検査を行う方法を記載する。コンピュータ化されたコンシューマデバイスは、ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備え、例えば、タブレット型コンピュータ、スマートフォン、又は、デスクトップ、ラップトップ又はノートブックコンピュータなどのパーソナルコンピュータなどであってもよい。ユーザは、人間の対象者である。方法は、コンピュータ化されたコンシューマデバイスを用い、人間の対象者であるユーザの視力を評価するための視力検査を開始し、コンピュータ化されたコンシューマデバイスのカメラによって撮像されたユーザの画像を用い、その人物の物理的特徴の画像サイズに基づいてユーザとコンピュータ化されたコンシューマデバイスとの間の離間距離をコンピュータ化されたデバイスにより判定し、コンピュータ化されたコンシューマデバイスにより、ユーザとコンピュータ化されたコンシューマデバイスとの間の距離を調整するようにユーザに指示し、所定の離間距離範囲に達したことをユーザに指示し、屈折レンズアセンブリを用いない視力検査をコンピュータ化されたコンシューマデバイスによりユーザに提示し、前記視力検査の提示はユーザが視認するようにコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに所定の視標を表示することを含み、コンピュータ化されたコンシューマデバイスのマイクを介してユーザが所定の視標を見て発話した識別内容をコンピュータ化されたコンシューマデバイスで記録し、コンピュータ化されたコンシューマデバイスが発話された識別内容を検出したことをユーザにリアルタイムでフィードバックし、ユーザが発話した識別内容に対して音声認識を実行して発話した識別内容に対応するように変換された文字列を生成し、ルックアップテーブルを用い、変換された文字列中に認められる単語と、所定の視標に対応するものとして許容される単語とを比較し、かかる比較に基づきユーザが行った視力検査のスコアを判定し、スコアに基づきユーザが視力検査に合格したかを判定することを含む。
【0009】
例示的な別の態様では、ユーザの視力検査を行うためのコンシューマベースのシステムを記載する。システムは、ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備え、例えば、タブレット型コンピュータ、スマートフォン、又は、デスクトップ、ラップトップ又はノートブックコンピュータなどのパーソナルコンピュータなどであってもよいコンピュータ化されたコンシューマデバイスを備える。ユーザは、人間の対象者である。システムは、複数のユーザが行った視力検査の検査結果をアクセス可能に保存する1つ以上のデータベースにアクセスできる1台以上のサーバコンピュータと、例えば、スクリーニング技術者や医師などの医療専門家が、例えば、ユーザがコンタクトレンズやメガネなどの矯正レンズをオンラインで購入できるように、ユーザの眼の処方箋を更新する目的で視覚検査結果を承認するために、視覚検査データ及び結果の検討・評価に使用するリモートコンピュータシステムを含んでもよい。コンピュータプロセッサは、コンピュータ化されたコンシューマデバイスに、人間の対象者であるユーザの視力を評価するためのコンピュータ化されたコンシューマデバイスを用いた視力検査を開始させ、コンピュータ化されたコンシューマデバイスのカメラによって撮像されたユーザの画像を用い、その人物の物理的特徴の画像サイズに基づいてユーザとコンピュータ化されたコンシューマデバイスとの間の離間距離を判定させ、ユーザとコンピュータ化されたコンシューマデバイスとの間の距離を調整するようにユーザに指示させるとともに所定の離間距離範囲に達したことをユーザに指示させ、ユーザが視認するようにコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに所定の視標を表示することを含む視力検査であって、屈折レンズアセンブリを用いない視力検査をユーザに提示させ、コンピュータ化されたコンシューマデバイスのマイクを介してユーザが所定の視標を見て発話した識別内容を記録させ、コンピュータ化されたコンシューマデバイスが発話内容を検出したことをユーザにリアルタイムでフィードバックさせ、ユーザが発話した識別内容に対して音声認識を実行して発話した識別内容に対応するように変換された文字列を生成させ、ルックアップテーブルを用い、変換された文字列中に認められる単語と、所定の視標に対応するものとして許容される単語とを比較させ、かかる比較に基づきユーザが行った視力検査のスコアを判定させ、スコアに基づきユーザが視力検査に合格したかを判定させるように構成される。
【0010】
例示的な別の態様では、コンピュータ化されたコンシューマデバイスによるユーザの視力検査を実行可能とするためのプログラム命令を含む非一時的コンピュータ読み取り可能媒体を記載する。コンピュータ化されたコンシューマデバイスは、ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備え、例えば、タブレット型コンピュータ、スマートフォン、又は、デスクトップ、ラップトップ又はノートブックコンピュータなどのパーソナルコンピュータなどであってもよい。ユーザは、人間の対象者である。プログラム命令は、実行された際に、コンピュータ化されたコンシューマデバイスのコンピュータプロセッサに、ディスプレイスクリーンと、カメラと、マイクと、スピーカと、コンピュータプロセッサと、メモリとを備えたコンピュータ化されたコンシューマデバイスを用い、人間の対象者であるユーザの視力を評価するための視力検査を開始させ、コンピュータ化されたコンシューマデバイスのカメラによって撮像されたユーザの画像を用い、その人物の物理的特徴の画像サイズに基づいてユーザとコンピュータ化されたコンシューマデバイスとの間の離間距離を判定させ、ユーザとコンピュータ化されたコンシューマデバイスとの間の距離を調整するようにユーザに指示させるとともに所定の離間距離範囲に達したことをユーザに指示させ、ユーザが視認するようにコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに所定の視標を表示することを含む視力検査であって、屈折レンズアセンブリを用いない視力検査をユーザに提示させ、コンピュータ化されたコンシューマデバイスのマイクを介してユーザが所定の視標を見て発話した識別内容を記録させ、コンピュータ化されたコンシューマデバイスが発話内容を検出したことをユーザにリアルタイムでフィードバックさせ、ユーザが発話した識別内容に対して音声認識を実行して発話した識別内容に対応するように変換された文字列を生成させ、ルックアップテーブルを用い、変換された文字列中に認められる単語と、所定の視標に対応するものとして許容される単語とを比較させ、かかる比較に基づきユーザが行った視力検査のスコアを判定させ、スコアに基づきユーザが視力検査に合格したかを判定させるように構成されている。
【0011】
例示的な別の態様では、コンピュータ化されたコンシューマデバイス上でグラフィカルインターフェースと音声インターフェースを用いてユーザの視力検査を行う方法を記載する。方法は、ディスプレイスクリーンと、カメラと、マイク及びスピーカを含む音声インターフェースと、コンピュータプロセッサと、メモリとを備えたコンピュータ化されたコンシューマデバイスを用い、人間の対象者であるユーザの視力を評価するための視力検査であって、ユーザに情報を表示し、タッチセンシティブフィールドを介してユーザが入力を行うグラフィカルインターフェースを含む視力検査を開始し、コンピュータ化されたコンシューマデバイスのカメラによって撮像されたユーザの画像から測定されたコンピュータ化されたコンシューマデバイスとユーザとの間の測定距離に関する距離情報を、測定距離の変化に伴いリアルタイムで距離情報を動的に表示するように構成されたグラフィカルインターフェースを介して表示することにより、所望の所定の距離範囲まで移動するようにユーザにガイダンスを提供し、グラフィカルインターフェースを介し、ユーザが視認するための所定の視標の表示を含み、屈折レンズアセンブリを用いない視力検査を表示し、音声インターフェースのスピーカを介して視力検査に関する音声指示を提示し、音声インターフェースのマイクを介し、ユーザが所定の視標を見て発話した識別内容を記録し、コンピュータ化されたコンシューマデバイスが発話内容を検出したことを示すグラフィカルインターフェースを介してユーザにリアルタイムで視覚的フィードバックを提供し、ユーザが発話した識別内容に対して音声認識を実行して発話した識別内容に対応するように変換された文字列を生成し、ルックアップテーブルを用い、変換された文字列中に認められる単語と、所定の視標に対応するものとして許容される単語とを比較し、かかる比較に基づきユーザが行った視力検査のスコアを判定し、スコアに基づきユーザが視力検査に合格したかを判定することを含む。
【0012】
本開示のこれらの、及び他の特徴、態様、及び利点は、以下の説明、添付した特許請求の範囲、及び添付した図面を考慮することでより良く理解されるであろう。
【図面の簡単な説明】
【0013】
【
図1】
図1は、例示的な一態様に係るコンピュータ化されたコンシューマデバイスを用いてコンピュータ化眼検査を行うための例示的な構成を示す。
【
図2】
図2は、例示的な一態様に係るコンピュータ化されたコンシューマデバイスを用いた視力検査を含むコンピュータ化眼検査を行うため例示的手法のフローチャートを示す。
【
図3】
図3は、例示的な一態様に係るパーソナルコンピューティングデバイスを用いて眼表面の画像化を行うための例示的手法のフローチャートを示す。
【
図4】
図4は、一実施例に係る、アプリケーション(又はアプリ)を介してタブレット又はスマートフォンなどのコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに提示される視力検査のグラフィカルインターフェース(グラフィカルユーザーインターフェース又はGUIとも称される)の例示的な初期スクリーン(ページと称されることもある)を示す。
【
図5】
図5は、一実施例に係る、アプリケーション(又はアプリ)を介してタブレット又はスマートフォンなどのコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに提示される視力検査のグラフィカルインターフェース(グラフィカルユーザーインターフェース又はGUIとも称される)の例示的な初期スクリーン(ページと称されることもある)を示す。
【
図6】
図6は、一実施例に係る、アプリケーション(又はアプリ)を介してタブレット又はスマートフォンなどのコンピュータ化されたコンシューマデバイスのディスプレイスクリーンに提示される視力検査のグラフィカルインターフェース(グラフィカルユーザーインターフェース又はGUIとも称される)の例示的な初期スクリーン(ページと称されることもある)を示す。
【
図7】
図7は、一実施例に係る患者情報を入力する際のアプリの例示的なGUIスクリーンを示す。
【
図8】
図8は、一実施例に係る患者情報を入力する際のアプリの例示的なGUIスクリーンを示す。
【
図9】
図9は、一実施例に係る患者情報を入力する際のアプリの例示的なGUIスクリーンを示す。
【
図10】
図10は、一実施例に係る患者情報を入力する際のアプリの例示的なGUIスクリーンを示す。
【
図11】
図11は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図12】
図12は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図13】
図13は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図14】
図14は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図15】
図15は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図16】
図15は、一実施例に係る眼表面の画像化を行う際のアプリの例示的なGUIスクリーンを示す。
【
図17】
図17は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図18】
図18は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図19】
図19は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図20】
図20は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図21】
図21は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図22】
図22は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図23】
図23は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図24】
図24は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図25】
図25は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図26】
図26は、一実施例に係る視力検査を実施する際のアプリの例示的なGUIスクリーンを示す。
【
図27】
図27は、一実施例に係る視力検査の完了時に表示されるアプリの例示的なGUI終了スクリーンを示す。
【発明を実施するための形態】
【0014】
本発明者らは、タブレット型コンピュータ、スマートフォン、ラップトップコンピュータやデスクトップコンピュータ、ノートブックコンピュータなどのパーソナルコンピュータなどのコンピュータ化されたコンシューマデバイス(又はコンシューマコンピューティングデバイス)を用いて視覚テスト(又は検査)を便利かつ確実に実施するための手法を開発してきた。視覚検査結果は、本明細書で例を用いて説明されるような検討・評価を行うために、リモートコンピュータシステムでスクリーニング技術者や医師などの医療専門家に伝送されてもよい。かかる視覚検査は、視力検査や眼表面の画像化を含み、例えば、眼科医による対面検査のために病院に行くことなく、個人の自宅やその他の場所で行うことができ、また、本明細書に記載されるように、検査中にユーザにリアルタイムでフィードバックを行ってユーザ体験を充実させ、複雑さを軽減し、信頼できる検査データの収集を図ることで、従来のコンピュータ化された視覚検査に勝る利点をもたらすことができる。かかる検査は、利便性を提供しながらコストを下げることができ、また、既存の(おそらくは失効した)レンズ処方箋の正確性を確認し、最新のレンズ処方箋を使って容易に矯正レンズをオンライン購入できるようにするために特に望ましい。
【0015】
図1は、例示的な一態様に係るコンピュータ化されたコンシューマデバイスを用いてコンピュータ化眼検査を行うための例示的な構成を示す。
図1に示すように、タブレット型コンピュータ、スマートフォン、ラップトップコンピュータやデスクトップコンピュータ、ノートブックコンピュータなどのパーソナルコンピュータなどのコンピュータ化されたコンシューマデバイス102は、人間の対象者であるユーザ104に1種類以上の視覚検査を提示してもよい。また、コンピュータ化されたコンシューマデバイス102は、例えば、ゲーム機や他のマルチメディア機器であってもよい。コンピュータ化されたコンシューマデバイス102は、タッチセンサ式ディスプレイスクリーン(タッチスクリーンディスプレイと呼んでもよい)114と、音を投射するスピーカ116と、カメラ118(レンズ、レンズカバー、画像センサ及びカメラ回路を含む)と、ユーザが発した音声の収集を可能にするマイク120と、を含んでもよい。視覚検査は、ユーザに様々な検査内容及び指示を提示し、ユーザに応答を促す又はユーザに特定の行動をとるように指示するグラフィカルインターフェース(グラフィカルユーザーインターフェース又はGUIとも称される)の一連のスクリーン(又はページ)の形式でディスプレイスクリーン114を介してユーザ104に提示されてもよい。
図1では1つのカメラ118が示されているが、2つ以上の前向きカメラ、すなわち、ディスプレイスクリーン114の同じ面側に配置されたカメラが、コンシューマデバイス102に設けられてもよく、例えば、互いに離間して、例えば、コンシューマデバイス102の対向する端部に、ユーザに2つ以上の異なる角度又は方向から同時にユーザの画像を得ることができるように設けられてもよい。また、更にもう1つの後向きカメラが、コンシューマデバイス102のディスプレイスクリーン114とは反対側の面側に設けられてもよい。例えば、スピーカ116及びディスプレイスクリーン(又はタッチスクリーンディスプレイ)114の両方がユーザ104に指示を提示してもよく、また、タッチスクリーンディスプレイ114及びマイク120が、ユーザの応答の記録や、様々な視力検査内容又は指示に対する入力に用いられてもよい。
【0016】
コンピュータ化されたコンシューマデバイス102によって視覚検査中に収集されたデータは、デバイス102によって処理され、インターネットなどのネットワーク134を介してリモートコンピュータシステム106及び110に更に伝送されてもよい。なお、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)などの無線通信と有線通信の任意の適切な組み合わせを用いてもよい。リモートコンピュータシステム106は、コンピュータ化されたコンシューマデバイス102が取得した視覚検査データをスクリーニングすることのできる技術者108がディスプレイ114bを介して操作する技術者用スクリーニングシステムとして機能してもよい。コンピュータ化されたコンシューマデバイス102及びリモートコンピュータシステム106、110は、任意の所望のフォーマットでデータを記憶する1つ以上のデータベース132にアクセス可能な1台以上のサーバコンピュータ130に対し、データのアクセス及びデータの送信を行ってもよい。リモートコンピュータシステム110は、医師112により操作される医師検討用コンピュータシステムとして機能してもよく、医師112は、コンピュータ化されたコンシューマデバイス102が取得したユーザの眼の画像を含む視覚検査データと、ネットワーク134を介して保存され、医師のリモートコンピュータシステム110からアクセス可能な、技術者108が行ったスクリーニングの結果について、ディスプレイ114cを介して検討してもよい。いくつかの実施例では、ディスプレイスクリーン114b及び114c(それぞれが複数のディスプレイスクリーンを含んでもよい)に加えて、又はそれらの代わりに、医師112及び技術者108は、ディスプレイ114b、114cと連携して動作するように構成されたバーチャルリアリティ(VR)ゴーグル、ヘッドマウントディスプレイ及び3次元(3D)ビジョン強化装置などの表示装置、又は、例えば、画像の3次元(3D)奥行き知覚を伴う眼表面の立体画像又は多視点画像を可能にする他のディスプレイ(眼表面の画像は、コンシューマデバイス102の複数の前向きカメラ118で2方向以上の複数の異なる方向から同時に得られる)を使ってユーザの眼の画像を見てもよい。
【0017】
コンピュータ化されたコンシューマデバイス102は、1つ以上のコンピュータ処理部(CPU)を含んでもよく、汎用及び専用プロセッサの任意の適切な組み合わせで構成することができるコンピュータプロセッサ122aを備える。また、コンシューマデバイス102は、RAM、ROM及び任意の適切な不揮発性メモリを含んでもよい1つ以上のメモリ124aも含んでいる。メモリ124aは、視覚検査アプリを実行する命令、ユーザによって入力されたデータ、視覚検査アプリによって生成された視覚検査結果、及び、任意の関連するメタデータを格納するために用いられてもよい。また、コンピュータ化されたコンシューマデバイス102は、インターネットを含むネットワークを介した通信を容易にし、データの入力/出力を容易にするための1つ以上のインターフェース126a、例えば、移動体通信トランシーバ、Wi-Fi(登録商標)トランシーバ、Bluetooth(登録商標)トランシーバと、通信及び周辺機器接続用の有線インターフェースを含んでもよい。スピーカ116及びマイク120とこれに関連する回路との組み合わせには、ユーザ104がコンピュータ化されたコンシューマデバイス102からの音声データを知覚し、音声データをコンピュータ化されたコンシューマデバイスに提供できるようにする音声ユーザインターフェースが含まれてもよいことが理解されるであろう。また、コンピュータ化されたコンシューマデバイス102は、コンシューマデバイス102の位置を検出するためのGPS(移動体測位システム)受信機も含む。
【0018】
同様に、リモートコンピュータシステム106(例えば、技術者がスクリーニングを行うコンピュータ)は、1つ以上のCPUを含んでもよいコンピュータプロセッサ122bと、RAM、ROM及び任意の適切な不揮発性メモリを含んでもよい1つ以上のメモリ124bと、インターネットを含むネットワークを介した通信を容易にし、データの入力/出力を容易にするための1つ以上のインターフェース126bと、を備える。また、リモートコンピュータシステム106は、データを所望のフォーマットで格納し易くする1つ以上のデータベース128bを含んでもよい。同様に、リモートコンピュータシステム110(例えば、医師が検討を行うコンピュータ)は、1つ以上のCPUを含んでもよいコンピュータプロセッサ122cと、RAM、ROM及び任意の適切な不揮発性メモリを含んでもよい1つ以上のメモリ124cと、インターネットを含むネットワークを介した通信を容易にし、データの入力/出力を容易にするための1つ以上のインターフェース126cと、データを所望のフォーマットで格納し易くする1つ以上のデータベース128c
と、を備える。
【0019】
リモートコンピュータシステム106及び110は、本明細書に記載の視覚検査の管理、実施、処理及び検討をサポートするため、様々なデータをメモリ124b、124c及びデータベース128b、128c、132に格納してもよい。かかるデータには、例えば、ユーザ104の既往歴情報、ユーザ104の視覚検査結果、ユーザ104の視覚検査結果をリモート分析及び処理することにより生成された処理データ、視覚検査で取得したビデオ映像と静止画像を含むユーザ104の画像、ユーザ104に関連付けられたGPS位置データ、スクリーニング技術者108によってなされたスクリーニングのコメントと判定、医師112によってなされた医師の検討コメントや判定などが含まれてもよい。
【0020】
以下、コンピュータ化されたコンシューマデバイスを用いた例示的な視覚検査の例示的な手法を、
図2~3を参照し、更には
図4~27を参照して説明する。この例では、視覚検査アプリのGUIスクリーンと音声指示は、前述のタブレットやスマートフォンなどのコンピュータ化されたコンシューマデバイス102のディスプレイスクリーン114とスピーカ116を介して提示され、ユーザ104の入力は、タッチスクリーンディスプレイ114及びユーザが発話した応答を受信するマイク120を介して記録される。この例では、眼表面の画像検査と表示された視標(視力検査で用いられる視覚的な文字や記号)を用いた視力検査を実施する場合について説明するが、追加の検査として、例えば、当分野で知られる石原色覚異常検査などの色覚異常検査などを行うこともできる。
【0021】
以下に記載するステップに加え、ユーザ体験を向上させるために予備ステップを行うことが望ましい場合がある。例えば、一部の態様では、停止しなければ望ましくないスクリーン減光をもたらす可能性のあるディスプレイスクリーン114の自動輝度調節、停止しなければスクリーンを変更してしまう可能性のある自動スクリーンセーバ機能、検査のGUIスクリーンをよく見えなくしてしまう可能性のある自動ポップアップメッセージなどのコンシューマデバイス102の特定の機能を一時的に無効又は停止して、かかる機能が検査中に実行されないようにすることが好都合な場合がある。ユーザがこれらの一時的な変更を実行する許可を視覚検査アプリに与えることができるようにコンシューマデバイス102でGUIスクリーンをユーザ104に提示してもよいことが理解されるであろう。
【0022】
図2は、一実施例に係るコンピュータ化されたコンシューマデバイスで視覚検査アプリケーション(アプリ)を実行して行う視力検査を含むコンピュータ化眼検査を行うため例示的手法のフローチャートを示す。ステップ202に示すように、コンピュータ化されたコンシューマデバイス102は、視力検査を含む視覚検査を開始するコマンドを受け取る。本実施例に係る視覚検査アプリを用いてかかる視覚検査を開始する際の例示的なGUIスクリーンを、
図4~5(及び
図17)に示す。
図4は、前述したような、タッチスクリーンディスプレイ114と、スピーカ116と、カメラ118と、マイク120と、制御フィールド115とを備える例示的なコンピュータ化されたコンシューマデバイス102を示す。また、タッチスクリーンディスプレイ114の表示領域を114aとして点線で示す。
図4は、ディスプレイスクリーン114に提示されるアプリの例示的な第1のGUIスクリーンを示す。
図4に示すように、本実施例のスクリーンには、上端に会社名、アプリケーション名(例えば、EXPRESS exam)、また、様々な前置き情報412が提示される。また、
図4のGUIスクリーンは、提供される視覚検査が総合的な眼検査に代わるものではないことをユーザ104が理解したことを認めるためにユーザ104がチェックを入れるチェックボックスを有する同意フィールド部414を含む。また、
図4の初期GUIスクリーンは、検査を続けるためにユーザがタッチするフィールド414も含む。
【0023】
「続ける」フィールド414をタッチすると、
図5に示すGUIスクリーンが表示される。このGUIスクリーンは、今現在矯正レンズを着用していることを確認し、静かで明るく、例えば、10フィートの利用可能なスペースがある場所を探すようユーザに指示し、検査にはGPS機能を介してユーザの現在地にアクセスする必要があることをユーザに指示する指示部416を含む。GUIの「次へ進む」フィールド418を押すと、アプリは次に
図6に示されるGUIスクリーンを表示する。
図6は、マップロケーション420を表示し、「位置確認」フィールド422を押して位置が正しいことを確認するようにユーザに要求する例示的なGUIスクリーンを示す。
【0024】
図2に戻り、ステップ204において、コンピュータ化されたコンシューマデバイス102は、ユーザからユーザの患者情報の入力を受け取ってもよい。視覚検査アプリのこのステップの例示的なGUIスクリーンを
図7~10に示す。
図7に示すGUIスクリーンは、ユーザの年齢、最後に受けた総合的な眼検査がいつ頃だったか、及び、性別(任意)を尋ねる指示部424を含む。また、このスクリーンには、ユーザのタッチに反応し、また、必要に応じて、ユーザがポップアップキーパッド又はドロップダウンメニューからデータを入力できる、例えば、日付情報や性別を選択することができるデータ入力フィールド426も含まれており、その例示的な入力内容が
図8に示されている。「次へ進む」フィールド432を押すと、アプリは次に
図9に示すGUIスクリーンを表示する。
図9に示される例示的なGUIスクリーンでは、ユーザ104がチェックボックスフィールド434を使って、眼の感染症にかかったことがあるか、眼の手術を受けたことがあるか、又は、最後に対面で(直接)受けた眼検査以来処方点眼薬を使ったことがあるか、などの患者情報を続けて入力できるようになっている。また、ユーザ104は、リストにある症状のうちいずれかをユーザ104が経験したことがあるかをチェックボックスフィールド436(
図9)及びチェックボックスフィールド438(
図10)で入力するように指示される。なお、フィールド438は、ユーザがタッチスクリーン114上で指を滑らせて単語をスクロールすることによってアクセスすることができる、フィールド436から下に続く部分である。
図9~10に示される眼の問診を終えた後、ユーザは、「続ける」フィールド440を押すことにより、アプリの次の部分に進むことができる。
【0025】
図2に戻り、方法200は、ステップ206において、コンピュータ化されたコンシューマデバイス102のカメラ118を用いて眼表面の撮像を行うことを含む。この眼表面の画像検査(例えば、眼表面検査又は眼刺激試験と称される場合もある)は、視力検査の前又は後のいずれで行なってもよく、ビデオ撮像及び/又は静止撮像でユーザの眼表面の画像を撮像し、医師112が、例えば、ユーザの眼が過度に発赤しているなど、容易に看取しうる懸念すべき症状を評価できるようにしている。このステップを実行するための視覚検査アプリの例示的なGUIスクリーンを
図11~16に示し、眼表面検査の例示的なステップを示す例示的なフローチャートを
図3に示す。ステップ206に関する眼表面検査の詳細は、
図3及び
図11~16を参照して本明細書において後述する。
【0026】
本実施例では、視力検査は、眼表面検査の前又は後のいずれかに行うことができ、視力検査は、例えば、
図17に示すGUIスクリーンを用いて開始することができる。
図17に示すように、このGUIスクリーンは、視力検査が今から行われることをユーザに示すメッセージを含む。また、この例示的なGUIスクリーンは、検査ではマイク120を使ってユーザ104の応答を記録することをユーザに知らせ、また、コンシューマデバイス102を垂直に立てるように、又は、友達にディスプレイ114をユーザ104に向けて持ってもらうように、ディスプレイスクリーン114を介してユーザに視覚的に指示する情報/指示部466も含む。また、この例示的なGUIスクリーンは、スクリーン114に向きながら、ユーザ104がコンシューマデバイス102から所定の距離、例えば、10フィート離れるまで下がるようユーザに指示する。これらの指示はすべて、スピーカ116を介して音声で行うこともできる。
【0027】
ユーザ104が「視力検査開始フィールド468」をタッチすることにより、視覚検査アプリは実際の視覚検査に進むことができる。ユーザ104自身では適切な所定の距離にあるか否かを正確に判定することができない可能性があるため、
図2に示す方法200は、カメラ118によって撮像されたユーザの画像に基づくユーザの物理的特徴の画像サイズに基づいて、ユーザとコンピュータ化されたコンシューマデバイス102との間の離間距離をコンピュータ化されたコンシューマデバイス102によりリアルタイムで自動的に判定するステップ208を含む。
【0028】
より具体的には、例えば、カメラ118は、ユーザの画像をリアルタイムで撮像してもよく、コンピュータ化されたコンシューマデバイス102のコンピュータプロセッサ122aは、その画像をリアルタイムで処理した後、実際の身体サイズが既知であるか、又は、例えば、平均又は中央値などの意味で想定既知である物理的特徴の画像サイズに基づいて、コンシューマデバイス102からユーザまでの距離を計算してもよい。
図18~19に示されるGUIスクリーンショットの例では、コンシューマデバイス102が、顔検出処理及び画像分析を行い、画像センサのピクセルでのユーザ頭部の見た目の画像サイズ(例えば、高さ、幅及び/又は面積)や、画像センサのピクセルでのユーザの目の瞳孔間距離を判定することでユーザ104までの距離を判定することを示している。このように、距離の判定は、ユーザ104の身体的特徴の画像化に基づいて行ってもよい。瞳孔間距離と頭のサイズは平均値又は中央値が既知であるため、画像化されたユーザの目の瞳孔間に関し予想される適切なピクセル距離、又は、ユーザの頭(例えば、幅、高さ、及び/又は面積)に関して予想される適切なピクセルでの画像サイズの較正を、コンシューマデバイス102のメモリ124aに保存することができる。ステップ210では、コンシューマデバイス102は、ユーザとコンピュータ化されたコンシューマデバイス102との間の距離を調整するようにユーザに指示し、また、所定の離間距離範囲に達したことをユーザに指示することができる。なお、ユーザ104とコンシューマデバイス102との間の離間距離は、正確に所望の所定値である必要はないが、特定の所定の距離値の10%以内、特定の所定の距離値の5%以内などの許容値の範囲内であってもよく、パーセンテージは異なるものでもよく、又は、特定の所定の距離値からの偏差が異なる閾値であってもよい。ピクセルで測定された適切な物理的特徴のサイズ(例えば、ピクセルで測定された瞳孔間距離、又は、ピクセルで測定された頭のサイズ)のリアルタイムの画像化と分析が予想される適切なピクセル値と一致する場合、コンシューマデバイス102のコンピュータプロセッサ122aは、コンシューマデバイス102に、スピーカ116を介して音声でユーザ104に指示させ、及び/又は、ユーザが適切な所定の距離に達したことを、ディスプレイスクリーン114を介して視覚的に指示させることができる。このように、例えば、離間距離は、距離検出センサやカメラ以外のメカニズムを追加で使うことなく、単にコンピュータ化されたコンシューマデバイスを用いて上述したようにカメラにより取得した画像を処理することにより判定することができる。
【0029】
例えば、
図12に示されるように、位置を調整するための指示472は、ディスプレイスクリーン114上での視覚的なもの及びスピーカ116を介した聴覚的なものの両方でユーザ104に提示されてもよい。また、例えば、検出されたユーザの画像は、ディスプレイスクリーン114にリアルタイムで表示されてもよく、グラフィカル計測部466を有する円などのインジケータ468と数字で書かれた距離インジケータ470がディスプレイスクリーン114にリアルタイムで表示され、例えば、ユーザの顔がディスプレイスクリーン114のほぼ中央となるように、リアルタイムのフィードバックによりコンシューマデバイス102に対して適切な距離及び適切な方向を向くようにユーザにガイダンスを提供してもよい。例えば、「下がって下さい」又は「遠すぎます」などの音声指示を行ってもよい。
図19に示されるように、距離が適切なものとなると、例えば、丸にチェックマークなどのインジケータ474がディスプレイスクリーン114上に提示されてユーザが適切な距離に到達したことを指示してもよいし、及び/又は、スピーカ116を介した音による確認をユーザに提示してもよい。もちろん、物理的特徴は、ユーザの目の瞳孔間距離やユーザの頭のサイズなどの身体的特徴に限定されず、クレジットカードやユーザの顔や胸の近くに保持されたサイズが知られているその他物体など、寸法が知られている他の物理的特徴もこの分析に使用できる。後者の場合、ユーザ104には、サイズが知られている所定の一般的な物体を保持するように適切な指示がなされてもよい。
【0030】
図19に示すように所定の距離範囲に達すると、コンシューマデバイス102は自動的に進行し、視力検査の次の部分を実行するためにディスプレイスクリーン114上に視標を表示することができる。なお、ステップ212で述べているように、コンシューマデバイス102は、ユーザ104が視認するようにコンシューマデバイス102のディスプレイスクリーン114に所定の視標を提示することを含む視力検査をユーザに提示する。視標は、眼科医院で一般的に見られるタイプの屈折レンズアセンブリを用いることなく、ユーザが視認するように提示される。視力検査の視標部のGUIスクリーンの例を
図20~25に示す。
図20に示すように、ユーザの右目を覆うように指示するグラフィック476を提示するGUIスクリーンをディスプレイスクリーン114上に表示することができ、また同時に、スピーカ116を介して右目を覆うようにユーザに指示する音声指示を行ってもよい。また、
図20のGUIスクリーンには、ディスプレイスクリーン114上にグラフィック表示された、マイク120を介して検出された周囲音のレベルを示す部分480を有する音声インジケータ478も表示されている。視覚検査アプリは自動的に進行し、
図21に示されるGUIスクリーンを表示する。このスクリーンは、ユーザ104が視認する1つ以上の視標を含む視標部482を含む。次に、視覚検査アプリは、スクリーン114に表示された文字(又は、場合によっては他の視標)を読み上げるか識別するようにユーザ104に音声で指示をする。このように、例えば、所定の視標の提示は、追加で設けられた別のスクリーンやユーザの近くにある他の物を所定の視標を提示するために用いることなく、コンピュータ化されたコンシューマデバイスのディスプレイスクリーンのみで行ってもよい。
【0031】
ユーザ104が表示された文字(又は他の視標)を視認し声を出して読み上げると、
図2のステップ214で述べているように、コンシューマデバイス102は、ユーザ104が所定の視標を視認して声に出した識別内容を記録する。また、コンシューマデバイス102は、ユーザが声に出した識別内容がコンシューマデバイス102によって検出されたことを示すリアルタイムのフィードバックをユーザに提供する。このフィードバックは、例えば、音声インジケータ478と、ユーザの発話した音声による識別の検出音のレベルに比例する部分480をスクリーン114にグラフィック表示することにより行うことができる。このように、コンシューマデバイス102は、表示された視標に対しユーザが発話した応答をデバイス102が適切にとらえたか否かに関してユーザが困惑しないように、検査が正常に進行しているというリアルタイムのフィードバックをユーザに提供する。
【0032】
その後、視覚検査アプリは自動的に進行し、
図22に例示的に示すGUIスクリーンを表示する。このスクリーンでは、ユーザ104に左目を覆うように指示する新たなグラフィック484がディスプレイスクリーン114に表示される。また、音声指示が、左目を覆うようスピーカ116を介してユーザ104に伝えられ、別の音声指示が、
図23のディスプレイスクリーン114の部分486に示される視標を読み上げるようにユーザ104に対して行われる。コンシューマデバイス102は、ユーザ104の応答を同様に記録し(ステップ214)、上述のようなインジケータ478及び480を介してリアルタイムでサウンドレベルのフィードバックをユーザ104に提供する。その後、視覚検査アプリは自動的に進行し、
図24に例示的に示すGUIスクリーンを表示する。ここでは、両目を覆わないようにユーザに指示する新たなグラフィック488がディスプレイスクリーン114に表示される。音声指示が、両目を覆わないようスピーカ116を介してユーザ104に伝えられ、別の音声指示が、
図25のディスプレイスクリーン114の部分490に示される視標を読み上げるようにユーザ104に対して行われる。コンシューマデバイス102は、ユーザ104の応答を同様に記録し(ステップ214)、上述のようなインジケータ478及び480を介してリアルタイムでサウンドレベルのフィードバックをユーザ104に提供する。
【0033】
所定の視標は、どの場合においても、コンピュータ化されたコンシューマデバイス102により判定されたユーザ104とコンピュータ化されたコンシューマデバイス102との間の離間距離に基づき、ディスプレイスクリーン114に表示される所定の視標のサイズを第1のサイズから第2のサイズに変更することなくコンピュータ化されたコンシューマデバイス102のディスプレイスクリーン114に表示されてもよい。これは、前述したように、離間距離が既に所定の距離範囲に達しているためである。視標のサイズは、視力検査用に設定される特定の距離で行う適切な視力検査のものと一致するように構成されているが、ユーザ104とコンシューマデバイス102との間の測定距離に基づいて視標のサイズを動的に変更する必要はない。
【0034】
様々な視標を視力検査に用いることができ、以下に限定されないが、上述したものなどのスネレン視標を含むことが理解されよう。適切な視標であればいずれを用いてもよく、例えば、異なる向き(例えば、上、下、左、右)に切れ目が入って隙間のある輪が連なるランドルト環視標や、「E」字形の記号の「指」が所与の向きに向かっておりその方向を、例えば、左、右、上又は下を指し示す「タンブリングEチャート」視標、幾何学的記号(例えば、円、正方形、三角形、星形、ひし形など)、数学記号(例えば、割る、足す、かける、引く)、一般的な物体(ボール、はさみ、鉛筆など)、果物(例えば、リンゴ、バナナ、ナシ、イチゴなど)、動物の形状、又は、視標として使うための独特の記号として機能し得るその他の適切な形状や、当分野で現在知られている又は今後開発される他の視標を使うこともできる。以下で説明する例に示されるような適切な視標のために適切なルックアップテーブルを作成してもよい。
【0035】
表示された所定の視標に対するユーザの応答の記録が完了すると、視覚検査アプリは自動的に進行し、
図26に例示的に示すGUIスクリーンを表示してもよい。このスクリーンは視力検査が完了したことをユーザに指示するグラフィック492を示す。この例示的なスクリーンは、ユーザ104がコンシューマデバイス102のスクリーン114から所定の距離、例えば、10フィートを保ち、指示通りに目を覆ったか否かの確認をユーザに求める。また、このGUIスクリーンは、ユーザ104が否定で答えて検査を再度行えるようにするタッチフィールド494と、ユーザが肯定で答えて続行できるようにするタッチフィールド496を含む。そして、視覚検査アプリは自動的に進行し、
図27に示されるGUIスクリーンを表示してもよい。このスクリーンは、眼検査が完了したことと、検査結果が検討のために提出されたことと、医師112が検査結果を検討することと、ユーザが発注した矯正レンズは、医師112が検査合格の確認を出すと出荷されることをユーザに指示するグラフィック498を含む。なお、視力検査よりも先にコンタクトレンズを購入する試みが行われてもよく、実際にユーザの現在の処方箋が失効していると判定された時点で、ユーザ104が視力検査に進んでもよいことに留意されたい。このような形での矯正レンズの処方箋の再発行は、ユーザがオンライン眼鏡小売店からオンラインで、又は、眼鏡小売店の実店舗で対面コンタクトレンズや眼鏡を購入できるようにするために用いられてもよい。
【0036】
ユーザの発話した応答が記録された後(ステップ214)、ステップ216で述べているように、声に出した識別に対して音声認識を実行し、ユーザ104が発話した視標の音声による識別内容に対応するように変換された文字列を生成することができる。なお、当分野で従来既知のものなど、任意の適切な言語認識アルゴリズムを用いてもよい。また、このステップは、コンシューマデバイスデバイス102、又は、例えば、1つ以上のリモートコンピュータシステム106、110などリモートコンピュータシステムのいずれか一方で実行することができる。
図2のステップ218において、ルックアップテーブルを用い、変換された文字列中に認められる単語を、ユーザ104が発話する所定の視標に対応するものとして許容される単語と比較してもよい。なお、例えば、ルックアップテーブルは、所定の視標のうちの少なくとも任意の1つに対し、複数の許容される単語のエントリを含んでもよいことに留意されたい。つまり、言語認識により単一の特定の視標(文字又は他のグラフィック)に対応する可能性があるものとしていくつかの異なる単語が生成される場合があるという意味で、ルックアップテーブルは多対1のルックアップテーブルであってもよい。一例として、以下の表1に仮想のルックアップテーブルを示す。
【0037】
【0038】
この場合、単語は、その範囲に、例えば、スネレン視標の文字視標に対応する単一のアルファベット文字を含んでもよく、2文字以上の単語に限定されないことを理解されたい。ただし、必要に応じて、2文字以上の単語のみを含み、単一で分離したアルファベット文字を除外するようにルックアップテーブルを構成してもよい。
【0039】
表1に示すように、言語認識では、所定の文字・符号の視標用の言語認識エンジンが、いくつかの有り得る結果を返してくる場合がある。ユーザ104が表示された視標を正しく識別したか否かの判定は、これらのバリエーションを考慮して行うことができる。また、視力検査を受けた複数の、例えば、多くのユーザ104から収集された視力検査結果に対してデータ分析を行うことにより、ルックアップテーブルを更新することができる。具体的には、例えば、複数のユーザ104が行った視力検査の複数の例における検査結果の分析に基づき、ルックアップテーブルを更新してエントリを調整してもよい。例えば、ユーザデータの分析に基づき、ルックアップテーブルに特定の単語を追加し、他の単語を削除する必要があると判定される場合がある。言語認識とルックアップテーブルの比較の両方を、コンシューマデバイス102又はリモートコンピュータシステム106、110のうちの1つ以上などのリモートコンピュータシステムのいずれかで実行できることを理解されたい。
【0040】
また、上述したような言語認識とルックアップテーブルを用いて行うユーザが声に出した解答が正しい応答か否かの評価は、スネレン視標を利用した視力検査の例に限定されないことを理解されたい。ユーザが発話した応答に対して言語認識を行い、ユーザの応答を評価するためにルックアップテーブルを利用した例示的な視力検査は、任意の適切な視標を用いて行うことができる。例えば、前述のように、異なる向きに切れ目が入って隙間のある一連の輪で構成されたランドルト環視標を用いることができ、この場合、例えば、ユーザが発話した応答は、同じサイズ又は異なるサイズの視標の「C」が「開いている」か「閉じている」かを順に識別するものであってもよく、この場合、適切なルックアップテーブルに改良して正解を表す適切な応答のリストを作成することができる。この例では、「C」の隙間が「左」、「右」、「上」又は「下」のどちらを指し示しているか特定するようにユーザ104を促すことができ、適切なルックアップテーブルに改良して正解を表す単語集のリストを作成することができる。別の例として、前述したように「E」字形の記号「指」が所与の向きに向かっておりその方向を、例えば、左、右、上又は下を指し示す「タンブリングEチャート」視標の場合、ユーザが発話した応答は、同じサイズ又は異なるサイズの視標の「E」の指が「左」、「右」、「上」又は「下」のいずれを指し示しているかを順に識別するものであってもよく、適切なルックアップテーブルに改良して正解を表す単語集のリストを作成することができる。他の視標も同様に使用でき、幾何学的記号(例えば、円、正方形、三角形、星形、ひし形など)や、数学記号(例えば、割る、足す、かける、引く)、一般的な物体(ボール、はさみ、鉛筆など)、果物(例えば、リンゴ、バナナ、ナシ、イチゴなど)、動物の形状などの様々な特徴的な形状、又は、その他の適切な形状などがあるが、これに限定されない。視標がいずれであれ、適切なルックアップテーブルを用意して、正しい応答に対応できる単語のリストを作成することができる。
【0041】
また、視標がディスプレイ114に表示され、ユーザの声に出した識別が記録される部分の視力検査を実行する前に、ユーザの発話と検査条件が、実際に視標を表示する部分を伴う視力検査を実行可能とするのに十分か否かを判定するために、(ユーザ104が検査のその部分を行う前に)サウンドレベルのテストを行うことができる。例えば、コンピュータ化されたコンシューマバイス102のマイク120を使ってユーザの音声サンプルを分析するために、ユーザ104とコンピュータ化されたコンシューマデバイス102が所定の離間距離範囲で離れた状態で、デバイス102が発した語句を繰り返すようユーザに指示することができる。そして、コンピュータプロセッサ122aは、音声サンプルの音声処理に基づいて音声品質測定基準を算定し、コンピュータ化されたコンシューマデバイス102のディスプレイスクリーンに所定の視標を表示する前に、音声品質測定基準が視力検査を実行可能とするのに十分であるか否かを判定することできる。例えば、音声測定基準には、周囲サウンドレベルに対するユーザの声の音の強さのレベルのテストが含まれてもよく、又は、音声測定基準は、周囲の周波数に対するユーザの声に起因する周波数の分析を伴うなど、より複雑な測定基準であってもよい。視標を提示する前にこのような音声品質テストを行うことで、音の状態が十分ではないのに全検査データを収集しようとするなどのことを回避することができ、顧客体験を向上させることができる。コンピュータプロセッサ122aは、音の状態が適切ではないと判定した場合、音声認識が不十分であるために検査を中断する必要があることをコンシューマデバイス102にスピーカ116を介してユーザ104に音声で指示させ、また、もっと静かな場所に移動するように、及び/又は、より大きな声で発話してテストを繰り返すようにユーザ104に音声で指示させる。視力検査の視標認識部分に進むために十分な音声認識を構成する参照データは、様々なサウンドレベル及び/又は周波数レベルで試行錯誤のテストを行うことにより集めることができ、確実に言語認識を行えるようにしている。
【0042】
図2に戻り、ステップ220において、変換された文字列中に認められる単語と所定の視標に対応するものとして許容される単語との比較に基づき、ユーザの視力検査のスコアを判定することができる。スコアは、正解率、単純な正解数、又は、正解の特定のしきい値を達成したことに基づいて判定されるスコアのレベルなど、任意の適切な数値によるスコアとすることができる。ステップ222では、スコアに基づいて、例えば、合格するのに十分な正解数を達成したかに基づいて、ユーザが視力検査に合格したかどうに関する判定を行うことができる。採点法及び合否判定は、コンシューマデバイス102により自動的に、結果が伝達されるリモートコンピュータ106、110などのリモートコンピュータにより自動的に、及び/又は、スクリーニング技術者108及び/又は医師112の更なる検討により行うことができる。ステップ224では、視力検査の結果は、例えば、コンシューマデバイス102において結果(例えば、「合格です」)を伝える次のGUIスクリーン、電子メール、ショートメッセージ、ボイスメール、通常の郵便物などの任意の適切な手段によりユーザ104に伝えることができる。更新された処方箋の写しも送られる。眼表面検査も行う場合、現実問題として、眼表面検査の結果と共に視力検査の結果を報告することが望ましい場合がある。この場合、眼表面検査が医師112による眼表面画像(記録されたビデオ映像及び/又は記録された静止画像)の検討を含む場合、医師112が眼表面の検査画像を検討し、例えば、現在の処方箋が更新されてもよい、ユーザ104が矯正レンズのオンライン注文に進んでもよい、などの眼検査が総合的に合格であるか否かについて判定をするまで視力検査の結果をユーザ104に報告しないほうが好ましい場合がある。
【0043】
また、万が一、視力検査中にコンシューマデバイス102によりユーザ104から得られた検査データに曖昧さや欠陥がある場合には、そのような曖昧さや欠陥がスクリーニング技術者108及び/又は医師112の検討により解決できるように、視力検査のビデオ及び音声の全ての記録をコンシューマデバイス102により撮像してもよい。このように医療専門家が検討し、潜在的な欠陥や曖昧さを解決することで、実際には視覚検査を繰り返す必要がないのに視覚検査を繰り返すようにユーザ104に指示するなどのことを回避でき、顧客体験を改善することができる。このように医療専門家により最終的な検討と評価がされた後に、検査結果がユーザ104に伝えられてもよい。
【0044】
図2に戻り、コンシューマデバイス102のカメラ118を使用して眼表面の画像化を行うことに関連するステップ206をより詳細に後述することは既に述べた通りであるが、次にその説明をする。なお、
図3は、
図2のステップ206に従って眼表面の撮像化を行うための例示的な方法300のフローチャートを示している。
図11~16も参照する。
図3のステップ302に示されるように、コンシューマデバイス102は、ユーザの眼表面の画像を撮像して、医師が、例えば、ユーザの眼が過度に発赤しているなどの容易に看取しうる懸念すべき症状を評価できるようにするため、コンシューマデバイス102で眼表面の画像化を開始するユーザコマンドを受信してもよい。
図11の例示的なGUIスクリーンには、この検査ではコンピュータ化されたコンシューマデバイス102のカメラ118などのカメラを使ってユーザの眼表面を撮影することを説明し、ユーザの顔から約1フィートのところにデバイス102を構え、コンシューマデバイス102の音量を上げて音声ガイド(prompt)に従うようユーザに指示する情報部422を含む。また、コンシューマデバイス102は、スピーカ116を介してこれらの指示を聴覚的に提示してもよい。眼表面の画像検査は、ユーザが「表面検査を開始する」フィールド444を押すと開始され、それにより視覚検査アプリが進行して、
図12に示される例示的なGUIスクリーンをディスプレイスクリーン114に表示する。
【0045】
図3のステップ304で述べると共に
図12に示されるように、コンシューマデバイス102は、例えば、頭とほぼ同じ形状、楕円形又は他の適切な輪郭形状で、ディスプレイスクリーン114上で所定のサイズの輪郭グラフィック446を表示するGUIスクリーンを表示し、(前向き)カメラ118を起動し、画像は必ずしもこの段階でメモリに記録及び格納される必要はないがリアルタイムでのユーザ104のビデオ映像の取得及び表示を開始する。ステップ306で述べているように、リアルタイムでユーザ104の画像を取得し、輪郭446とともにディスプレイスクリーン114に表示する一方、コンシューマデバイスは、ユーザ104に対してコンシューマデバイス102を正しく配置するようにユーザに指示し、それにより、コンピュータ化されたコンシューマデバイス102を適切に配置するためのリアルタイムの視覚的フィードバックをユーザに提供する。コンピュータプロセッサ122aは、ユーザ104のリアルタイムの画像に対して顔検出を実行し、ユーザ104の画像を処理して、輪郭446と位置が合ったことにより、いつユーザの顔がコンシューマデバイスに対して正しく位置したかを判定する。例えば、ステップ308で述べているように、コンピュータプロセッサ122aは、いつユーザ104とコンシューマデバイス102の間の離間距離及び/又はカメラの位置合わせが眼表面の画像を撮像するための閾値を満たしたか、例えば、いつ離間距離が約12インチとなったと判定されたかを判定することができる。例えば、コンピュータプロセッサ122aは、動的な顔検出を行うことができ、例えば、カメラ118の画像センサのピクセルにマッピングされたもの又はディスプレイスクリーン114のピクセルにマッピングされたものについてそれぞれピクセル配置を分析することにより、ユーザ104の画像の頭のサイズ及び位置を輪郭446のサイズ及び位置と比較することができる。更に、又は、その代わりに、コンピュータプロセッサ122は、例えば、ピクセルでのユーザの瞳孔間距離について、その距離が、例えば、人間の対象者の母集団における瞳孔間距離の既知の平均値又は中央値に基づいてコンシューマデバイス102とユーザの顔との間の間隔が12インチの時に得られると予想されるピクセル距離に対応するものとなるまで、検出及び監視することができる。ステップ310では、コンシューマデバイス102は、ユーザ104に、例えば、可聴及び/又は視覚的メッセージで、コンシューマデバイス102がユーザの顔に対して正しく配置され、眼表面の撮像が始まることを指示することができる。
【0046】
図3のステップ312に示すように、コンシューマデバイス102は、ユーザ104に、ユーザの視線を第1の所定の位置に向けるように、例えば、「左を見て下さい」と指示でき、また、前向きカメラ118を使って第1の所定の位置でユーザの目の第1の眼表面画像を取得する(又は2つ以上の前向きカメラを使ってユーザの目に対して2つ以上の角度又は方向から当該画像を同時に撮像する)ことができる。この画像は、ビデオ映像及び/又は静止画像を含んでもよい。いくつかの例では、ユーザに2つ以上の角度又は方向から眼の画像を同時に撮像することで、例えば、適切な3D眼鏡、バーチャルリアリティ(VR)ゴーグルなどを使って後で医師が検討を行う3次元(3D)の奥行きを伴う眼の立体画像又は多視点画像(例えば、ビデオ又は静止画像)とすることができるようにしてもよい。ステップ312に従って画像を取り込む例として、
図13に示される例示的なGUIスクリーンを例示しており、ユーザの頭が(本明細書の他の部分で論じられるような適切な許容誤差内の近似値で)輪郭446とほぼ揃っている様子と、この例では「左を見て下さい」を示す指示部452が示されている。また、コンシューマデバイス102は、「左を見て下さい」と音声指示を出してもよい。そして、コンシューマデバイス102は、指示を与えた後、所定の時間、例えば、1秒、2秒、3秒など待つことにより、又は、本明細書の他の部分で説明されている顔検出・分析を用いてユーザの眼が正しい位置にあることを検出することのいずれかにより、ユーザの眼の眼表面画像を撮像してもよい。
【0047】
第1の所定の位置で眼表面の画像を撮像すると、コンシューマデバイス102は自動的に次に進み、ユーザ104に第2の所定の位置に視線を向けるように指示し、第2の所定の位置で目の第2の眼表面画像を取得してもよい(ステップ314)。一例が
図14に示されているが、GUIスクリーンは、輪郭446とこれの重ね合わされたユーザ104のリアルタイムの画像を含んでおり、また、指示部454の「上を見て下さい」を含んで示されている。また、コンシューマデバイス102は、「上を見て下さい」と音声指示を出してもよい。そして、コンシューマデバイス102は、指示を与えた後、所定の時間、例えば、1秒、2秒、3秒など待つことにより、又は、顔検出・分析を用いてユーザの眼が正しい位置にあることを検出することのいずれかにより、ユーザの眼の眼表面画像を撮像してもよい。この画像は、ビデオ映像及び/又は静止画像を含んでもよい。
【0048】
第2の所定の位置で眼表面の画像を撮像すると、コンシューマデバイス102は自動的に次に進み、ユーザに第3の所定の位置に視線を向けるように指示し、第3の所定の位置で目の第3の眼表面画像を取得してもよい(ステップ316)。一例が
図15に示されているが、GUIスクリーンは、輪郭446とこれに重ね合わされたユーザ104のリアルタイムの画像を含んでおり、また、指示部456の「右を見て下さい」を含んで示されている。また、コンシューマデバイス102は、「右を見て下さい」と音声指示を出してもよい。そして、コンシューマデバイス102は、指示を与えた後、所定の時間、例えば、1秒、2秒、3秒など待つことにより、又は、顔検出・分析を用いてユーザの眼が正しい位置にあることを検出することのいずれかにより、ユーザの眼の眼表面画像を撮像してもよい。この画像は、ビデオ映像及び/又は静止画像を含んでもよい。その後、技術者108や医師112などの医療専門家がアクセスして検討できるように、例えば、ユーザから得た視力検査の結果(ユーザが行った応答)と共に眼表面の画像をリモートコンピュータシステム106、110に送ってもよい(ステップ318)。
【0049】
ユーザの目の眼表面の検査画像の取得が完了すると、視覚検査アプリは、表面検査が完了したことを示すと共に検査条件に適切に従ったかの確認をユーザ104に求める
図16に例示的に示すGUIスクリーンを表示してもよい。例えば、GUIスクリーンは、「表面検査が完了しました」や「眼刺激試験が完了しました」の言葉を伴う丸にチェックマークなどの完了を示すグラフィックを含む情報部458を含んでもよい。また、GUIスクリーンは、コンシューマデバイス102がユーザの顔から指定された距離、例えば、約1フィートだったか否か、ユーザ104がガイドに従ったか否かを尋ねる質問部460を含んでもよい。また、ユーザが否定で答えて眼表面検査を再度行えるようにするタッチフィールド462と、ユーザが肯定で答えて続行できるようにするタッチフィールド464も表示される。この例では、続行には、前述のような視力検査、色覚異常検査、又は、他の何らかの視覚検査などの別の視覚検査に移ることを含んでもよい。あるいは、眼表面の画像検査が一連の検査の最後である場合、続行は、検査のセッションを完了し、
図27のタッチフィールド499などのタッチフィールドに検査が完了したことに対する確認を入力することを含んでもよい。
【0050】
ステップ318に関連して、技術者108及び医師112などの医療専門家は、視力検査のユーザの応答(結果)と共にユーザの目の眼表面画像を検討してもよい。前述したように、この画像はビデオ映像及び/又は静止画像を含んでもよく、かかる眼の画像は、ユーザに2つ以上の角度又は方向から同時に撮像してもよい。したがって、いくつかの例では、医師及び技術者は、3次元(3D)の奥行きを伴う眼のビデオ映像又は静止画像の立体画像又は多視点画像を、例えば、適切な3D眼鏡、バーチャルリアリティ(VR)ゴーグルなどを使って眼の画像を検討してもよい。それにより、医師112は、ユーザ104の矯正レンズの処方箋を更新してもよいか、また、潜在的に懸念される症状が眼表面の画像に明らかに認められるか、及び/又は、このためユーザ104に送られる更なる推奨事項を医師112が準備すべきか、例えば、病院に対面行う眼検査を依頼するようにユーザ104に指示すべきか、などを評価する際に、眼表面の画像についての更なる全体的な情報を考慮に入れることができる。
【0051】
上述したように、顔検出・分析を用いて、ユーザの目が眼表面の撮像に適切な位置になった時点を検出してもよい。これは、ユーザの眼表面の静止画像を高解像度で撮像したい場合に役立てることができる。高解像度の撮像は、眼表面の画像をリアルタイムで記録したビデオ映像では得ることができないからである。顔検出用画像分析は、当分野で一般に知られており、任意の適切な顔検出技術を利用することができる。例えば、Apple社の「Vision」のAPIフレームワークをiOS(登録商標)デバイスで、また、Google社の「Face」のAPIフレームワークをAndroid(登録商標)デバイスで利用して、他の背景画像に対するユーザの顔とその特徴を検出してもよい。また、当分野で知られるOpenCV(オープンソースのコンピュータビジョン向けライブラリ)などの顔検出及び分析アルゴリズムを用いて、他の背景画像に対するユーザの顔とその特徴を検出してもよい。ユーザの目を検出した後、ユーザの撮像された目の左横半分と右横半分における白目の部分を検出するために画像処理を使い、そのような測定値が1つ以上の閾値を満たすか否かを判定し、これらの所定の位置で眼表面の画像を取得するためにユーザの目が十分に右又は十分に左を向いていると判定することができる。あるいは又は更に、ユーザの目の黒い瞳孔の位置を検出するために画像処理を使い、瞳孔の任意の位置が右位置閾値又は左位置閾値を満たすか否かを判定し、それらの所定の位置で眼表面画像を取得するためにユーザの目が十分に右又は左を向いていると判定してもよい。同様に、ユーザの目を検出した後、撮像されたユーザの目の下半分(又は上半分)における白目の割合を検出するためにこのようなAPIを使い、その割合が閾値を満たすか否かを判定し、それらの所定の位置で眼表面画像を取得するためにユーザの目が十分に上(又は下)を向いているか判定することができる。このような測定は、ユーザ104の両眼に対して行うことができるが、両眼が同時に動くことが予期されるため、ユーザ104の片方の眼に対しそのような測定を1回又は複数回行うだけで十分であろうことを理解されたい。適用可能な既知の顔認識技術に関する更なる情報が、例えば、Yang et al.の「Detecting faces in images:A survey」、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24,No.1,2002,pp.34‐58、Hjelmas et alの「Face detection:A Survey」,Computer Vision and Image Understanding,Vol.83,No.3,2001,pp.236~274、米国特許第9832452号、9053354号、8811726号、8442327号、8254691号及び7372981号に開示され、参照によりそれぞれの内容全体が本明細書に組み込まれる。
【0052】
本明細書に記載される方法及びシステムは、ハードウェア、ソフトウェア及び/又はファームウェアの任意の適切な組み合わせと共に任意の適切なコンピュータ処理システムを用いて実施されてもよい。
図1に示すように、例えば、ユーザ104が視覚検査を行うことを可能にするコンピュータ化されたコンシューマデバイス102は、ネットワーク134を介してデータベース132にアクセスできるリモートコンピュータシステム106及び110とサーバコンピュータ130と通信することができる。また、リモートコンピュータシステム106及び110は、ネットワーク134などのネットワークを介して1つ以上のサーバコンピュータ130上でホストされてもよい。コンピュータプロセッサ122a、122b、122cなどは、本明細書に記載される計算及び分析を実施するために、ソフトウェア操作、プログラム命令又はルーティンを実行してもよい。このようなプログラム命令、蓄積データ及び処理データは、データベース128b、128c、132などを使って、1つ以上の非一時的コンピュータ可読メモリ124a、124b、124cに格納されてもよい。通信については、ユーザ104が使用するコンピュータ化されたコンシューマデバイス102が1つ以上のネットワーク134を介してリモートコンピュータシステム106、100及び/又はサーバコンピュータ130へのアクセスに使うクライアントサーバーアーキテクチャに従って行ってもよい。
【0053】
システムは、エレメントマネージャ、リアルタイムデータバッファ、コンベヤ、ファイル入力プロセッサ、データベースインデックス、データバッファ、データ管理と処理用のデータマネージャを含んでもよい。また、システム102、106、110は、ユーザ、サポート担当者及び医療関係者がシステム102、106、110を管理できるようにするための複数のディスプレイ、ディスプレイインターフェース、キーボード、マイク、マウス、タッチスクリーンなどの入出力デバイスを含んでもよい。
【0054】
本明細書では、本発明の例示的な実施形態を記載しているが、他の形態も本開示の範囲内にある。例えば、システム及び方法は、1つ以上のデータ処理装置と通信するためのネットワーク(例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、それらの組み合わせなど)、光ファイバ媒体、搬送波、ワイヤレスネットワークなどを介して伝送されるデータ信号を含んで用いてもよい。データ信号は、本明細書に開示されるデバイスへの又はデバイスからのデータのいずれか又はすべてを運ぶことができる。
【0055】
本明細書に記載される方法及びシステムは、デバイス処理システムで実行可能なプログラム命令を含むプログラムコードにより、多くの異なる種類の処理装置で実施されてもよい。ソフトウェアのプログラム命令は、ソースコード、オブジェクトコード、機械語、又は、処理システムに本明細書に記載の方法及び動作を実行させるように実施可能なあらゆる他の格納データを含んでもよい。当業者には理解されるように、C、C++、Java、HTML、XMLなどの任意の適切なコンピュータ言語と、所与のオペレーティングシステムプラットフォームに開発者が利用できるAPIを用いてもよい。また、ファームウェアや、更には本明細書に記載された方法及びシステムを実施するように構成された適切な設計のハードウェアなどの他のものを実装してもよい。
【0056】
システム及び方法のデータ(例えば、関連付け、マッピング、データ入力、データ出力、中間データ結果、最終データ結果など)は、適切なデータ構造を用いて保存するように構成してもよく、異なる種類の記憶装置やプログラミング構造など(例えば、RAM、ROM、フラッシュメモリ、単層ファイル、データベース、プログラミングデータ構造、プログラミング変数、IF-THEN(又は同様の種類の)ステートメント構造など)、1つ以上の異なる種類のコンピュータで実施されるデータストアに保存して用いてもよい。データ構造とは、データベース、プログラム、メモリ、又は、コンピュータプログラム用の他の非一時的コンピュータ読み取り可能媒体にデータを編成して格納する際に用いる形式のことを述べていることに留意されたい。
【0057】
本明細書に記載されるコンピュータ構成要素、ソフトウェアモジュール、関数、データストア及びデータ構造は、それらの動作に必要なデータフローが可能となるように、互いに対面又は間接的に接続されてもよい。また、モジュール又はプロセッサは、以下に限定されないが、ソフトウェア動作を実行し、かつ、例えば、サブルーチンコードの一単位として、又はソフトウェア機能コードの一単位として、又は、オブジェクト(オブジェクト指向パラダイムのような)として、又はアプレットとして、又はコンピュータスクリプト言語において、又は別のタイプのコンピュータコードとして実装することができる1単位のコードを含むことにもまた留意されたい。ソフトウェアの構成要素及び/又は機能性は、その時の状況に応じて、単一のコンピュータに備えてもよいし、複数のコンピュータに割り振ってもよい。
【0058】
本明細書の詳細な説明及び以下の特許請求の範囲を通して使用される「a」、「an」及び「the」の意味には、文脈からそうでないことが明らかでない限り、複数形も含まれることを理解されたい。また、本明細書の詳細な説明及び以下の特許請求の範囲を通して使用される「in」の意味には、文脈からそうでないことが明らかでない限り、「in」及び「on」が含まれる。更に、本明細書の詳細な説明及び以下の特許請求の範囲を通して使用される「and」及び「or」の意味は、接続的及び離接的な意味の両方を含み、文脈からそうでないことが明らかでない限り、言い換え可能に用いられ、また、「exclusive or(~を除き)」という語句は、離接的な意味のみが該当する状況を示すために用いられてもよい。また、本明細書の詳細な説明及び以下の特許請求の範囲を通して使用される「about」及び/又は「approximately」の意味は、特に記載のない限り、示された量の±10%のことをいう。
【0059】
本発明を例示的な実施形態を用いて説明してきたが、特許請求の範囲に記載された本発明の範囲から逸脱することなく、様々な変形を加えることができることが当業者には理解されよう。2017年12月11日に出願された米国特許出願第15/838,029号及び2017年12月11日に出願された米国特許出願第29/629,114号は、その全体が参照により本明細書に組み入れられる。