特表 2023-538076 網膜画像を捕捉する前に適切な眼球整合を検出するための赤外線の使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-06

(54)【発明の名称】網膜画像を捕捉する前に適切な眼球整合を検出するための赤外線の使用

(51)【国際特許分類】

   A61B 3/15 20060101AFI20230830BHJP

   A61B 3/12 20060101ALI20230830BHJP

   A61B 3/113 20060101ALI20230830BHJP

【ＦＩ】

A61B3/15

A61B3/12

A61B3/113

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023511929

(86)(22)【出願日】2021-08-12

(85)【翻訳文提出日】2023-03-16

(86)【国際出願番号】 US2021045727

(87)【国際公開番号】W WO2022040007

(87)【国際公開日】2022-02-24

(31)【優先権主張番号】16/997,843

(32)【優先日】2020-08-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521552349

【氏名又は名称】デジタル ダイアグノスティックス インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】クラリダ， ウォーレン ジェイムズ

(72)【発明者】

【氏名】エムロン， ライアン アール ローレット

(72)【発明者】

【氏名】シャー， アバイ

(72)【発明者】

【氏名】サザー， ジェイコブ パトリック

(72)【発明者】

【氏名】ニーマイジャー， マインダート

(72)【発明者】

【氏名】エイブラモフ， マイケル デイビッド

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AA21

4C316AB16

4C316FA04

4C316FA06

4C316FA08

4C316FA19

4C316FA20

4C316FB07

4C316FB15

4C316FB22

4C316FB26

(57)【要約】

網膜結像の間、眼球の整合を検出するためのシステムおよび方法が、本明細書に開示される。ある実施形態では、本システムは、結像デバイスから赤外線光線を受信し、赤外線光線は、患者の眼球の特性を示す。本システムは、赤外線光線に基づいて、眼球が、１回目において、不適切に整合されていることを判定し、不適切な眼球の整合を示す、センサフィードバックを出力する。本システムは、１回目より後の２回目における赤外線光線に基づいて、眼球が、適切に整合されていることを検出し、結像デバイスから、適切に整合された眼球の網膜の画像を受信する。

【特許請求の範囲】

【請求項1】

網膜結像の間、眼球の整合を検出するための方法であって、前記方法は、
結像デバイスから赤外線光線を受信することであって、前記赤外線光線は、患者の眼球の特性を示す、ことと、
前記赤外線光線のフレームを機械学習モデルの中に入力することと、
前記眼球が、１回目において、不適切に整合されていることを示す情報を、前記機械学習モデルからの出力として受信することと、
前記不適切な整合を示す、センサフィードバックを出力することと、
前記１回目より後の２回目における前記赤外線光線に基づいて、前記眼球が、適切に整合されていることを検出することと、
前記結像デバイスから、前記適切に整合された眼球の網膜の画像を受信することと
を含む、方法。

【請求項2】

前記情報は、
前記眼球の瞳孔が、前記赤外線光線内に示されていないこと、
前記結像デバイスが、焦点が合っていないこと
のうちの少なくとも１つに起因して、前記眼球が、前記１回目において、不適切に整合されていることを示す、請求項１に記載の方法。

【請求項3】

前記結像デバイスは、自律的に動作され、前記センサフィードバックは、前記不適切な整合を補正する方法に関する命令を伴う、前記患者への視覚的または聴覚的出力を含む、請求項１に記載の方法。

【請求項4】

前記結像デバイスは、前記患者以外の操作者によって動作され、前記センサフィードバックは、前記操作者に提供される、請求項１に記載の方法。

【請求項5】

前記眼球が、適切に整合されていることを検出することに応答して、前記結像デバイスに、前記画像を捕捉するようにコマンドすることをさらに含む、請求項１に記載の方法。

【請求項6】

前記眼球が、適切に整合されていることを検出することは、前記眼球の単収縮を検出することを含む、請求項１に記載の方法。

【請求項7】

前記眼球が、適切に整合されていることを検出することは、
前記単収縮を検出することに応答して、候補画像を捕捉することと、
前記候補画像が、品質パラメータを充足するかどうかを判定することと、
前記候補画像が、前記品質パラメータを充足することを判定することに応答して、前記眼球が、適切に整合されていることを判定することと
をさらに含む、請求項６に記載の方法。

【請求項8】

前記品質パラメータは、前記候補画像の画質および前記候補画像内のアーチファクトの検出のうちの少なくとも１つを備える、請求項７に記載の方法。

【請求項9】

前記網膜の前記画像の特徴に基づいて、前記網膜の網膜疾患を自律的に診断することをさらに含む、請求項１に記載の方法。

【請求項10】

網膜結像の間、眼球の整合を検出するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一過性コンピュータ可読記憶媒体を備え、前記非一過性コンピュータ可読記憶媒体は、
結像デバイスから赤外線光線を受信することであって、前記赤外線光線は、患者の眼球の特性を示す、ことと、
前記赤外線光線のフレームを機械学習モデルの中に入力することと、
前記眼球が、１回目において、不適切に整合されていることを示す情報を、前記機械学習モデルからの出力として受信することと、
前記不適切な整合を示す、センサフィードバックを出力することと、
前記１回目より後の２回目における前記赤外線光線に基づいて、前記眼球が、適切に整合されていることを検出することと、
前記結像デバイスから、前記適切に整合された眼球の網膜の画像を受信することと
を行うためのコンピュータプログラムコードを含有する、コンピュータプログラム製品。

【請求項11】

前記情報は、
前記眼球の瞳孔が、前記赤外線光線内に示されていないこと、
前記結像デバイスが、焦点が合っていないこと
のうちの少なくとも１つに起因して、前記眼球が、前記１回目において、不適切に整合されていることを示す、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項12】

前記結像デバイスは、自律的に動作され、前記センサフィードバックは、前記不適切な整合を補正する方法に関する命令を伴う、前記患者への視覚的または聴覚的出力を含む、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項13】

前記結像デバイスは、前記患者以外の操作者によって動作され、前記センサフィードバックは、前記操作者に提供される、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項14】

前記コンピュータプログラムコードはさらに、前記眼球が、適切に整合されていることを検出することに応答して、前記結像デバイスに、前記画像を捕捉するようにコマンドするためのものである、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項15】

前記眼球が、適切に整合されていることを検出することは、前記眼球の単収縮を検出することを含む、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項16】

前記眼球が、適切に整合されていることを検出することは、
前記単収縮を検出することに応答して、候補画像を捕捉することと、
前記候補画像が、品質パラメータを充足するかどうかを判定することと、
前記候補画像が、前記品質パラメータを充足することを判定することに応答して、前記眼球が、適切に整合されていることを判定することと
をさらに含む、請求項１５に記載の非一過性コンピュータ可読媒体。

【請求項17】

前記品質パラメータは、前記候補画像の画質および前記候補画像内のアーチファクトの検出のうちの少なくとも１つを備える、請求項１６に記載の非一過性コンピュータ可読媒体。

【請求項18】

前記コンピュータプログラムコードはさらに、前記網膜の前記画像の特徴に基づいて、前記網膜の網膜疾患を自律的に診断するためのものである、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項19】

網膜結像の間、眼球の整合を検出するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータプログラムコードを含有するコンピュータ可読記憶媒体を備え、前記コンピュータプログラム製品は、
結像デバイスから赤外線光線を受信するための第１のモジュールであって、前記赤外線光線は、患者の眼球の特性を示す、第１のモジュールと、
前記赤外線光線のフレームを機械学習モデルの中に入力するための第２のモジュールと、
前記眼球が、１回目において、不適切に整合されていることを示す情報を、前記機械学習モデルからの出力として受信するための第３のモジュールと、
前記不適切な整合を示す、センサフィードバックを出力するための第４のモジュールと、
前記１回目より後の２回目における前記赤外線光線に基づいて、前記眼球が、適切に整合されていることを検出するための第５のモジュールと、
前記結像デバイスから、前記適切に整合された眼球の網膜の画像を受信するための第６のモジュールと
を備える、コンピュータプログラム製品。

【請求項20】

前記情報は、
前記眼球の瞳孔が、前記赤外線光線内に示されていないこと、
前記結像デバイスが、焦点が合っていないこと
のうちの少なくとも１つに起因して、前記眼球が、前記１回目において、不適切に整合されていることを示す、請求項１９に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、全体として参照することによって組み込まれる、２０２０年８月１９日に出願された、米国実用出願第１６／９９７，８４３号の利益を主張する。

【0002】

本発明は、概して、網膜異常の自律型診断に関し、より具体的には、網膜画像を捕捉するとき、適切な眼球の整合を検出するために、赤外線等のスペクトル波を使用することに関する。

【背景技術】

【0003】

（背景）
歴史的に見て、患者の眼球の異常検査に対しては、医療専門家が、網膜画像を捕捉するために、結像デバイスを個人的に動作させていた。医療専門家は、網膜画像を捕捉するとき、カメラを誘導し、これが、患者の瞳孔と適切に整合されることを確実にするように訓練されている。自律型システムは、網膜異常を診断するために開発されており、患者の網膜（本明細書では、用語「眼底」と同じ意味で使用される）の画像を捕捉し、その画像を分析するために医療専門家を必要とすることなく、それらの画像に異常がないかを分析するように設計される。しかし、結像デバイスを動作させる医療専門家を伴わない場合、結像デバイスは、患者の眼球が、適切に整合されていることを確実にする能力がなく、したがって、これらの自律型システムは、エラーを起こす傾向がある。例えば、誘導光が、結像デバイス内で照明され得、患者が、患者の瞳孔をカメラレンズと整合させるために、（例えば、医療専門家ではなく、操作者によって）誘導光上に焦点を合わせるように命令され得るが、患者は、そうすることができない場合があり、それにもかかわらず、異常分析のためには不十分である、画像が捕捉されるであろう。

【発明の概要】

【課題を解決するための手段】

【0004】

（要約）
網膜結像の間、眼球の整合を検出するためのシステムおよび方法が、本明細書に提供される。例えば、眼球検査の間、患者は、網膜画像を捕捉するように構成される結像デバイスの視野内に、自分の眼球を設置し得る。患者の眼球をカメラと適切に整合させるように患者に命令するために、医療専門家に結像デバイスを動作させるのではなく、結像デバイスが、医療専門家による動作を伴うことなく、適切な整合を判定するように構成され得る。例えば、患者の眼球の赤外線結像は、眼球の整合を判定するために実施され得、眼球を適切に整合させるために、患者が、患者の眼球の位置付けを調節することを支援するために、命令（例えば、音声コマンド）が出力され得る。本様式では、網膜疾患診断のために、患者の眼球の画像を捕捉するために、より少ない数の閃光が、投じられる必要があり、したがって、不成功に終わった結像に起因して、不必要に患者の眼球を複数の閃光に暴露する必要性を阻止する。

【0005】

これらおよび他の目的を達成するために、ある実施形態では、（例えば、サーバの）プロセッサが、結像デバイスから赤外線光線を受信し、赤外線光線は、患者の眼球の特性を示す。プロセッサは、赤外線光線に基づいて、眼球が、１回目において、不適切に整合されていること判定し、不適切な整合を示す、センサフィードバックを出力する。プロセッサは、次いで、１回目より後の２回目における赤外線光線に基づいて、眼球が、適切に整合されていることを検出し、結像デバイスから、適切に整合された眼球の網膜の画像を受信する。

【図面の簡単な説明】

【0006】

【図1】図１は、一実施形態による、整合ツールを利用するための環境における、システム構成要素の例示的ブロック図である。

【0007】

【図2】図２は、一実施形態による、結像デバイスのモジュールおよび構成要素の例示的ブロック図である。

【0008】

【図3】図３は、一実施形態による、整合ツールのモジュールおよび構成要素の例示的ブロック図である。

【0009】

【図4】図４は、機械可読媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能である、例示的機械の構成要素を図示する、ブロック図である。

【0010】

【図5】図５は、一実施形態による、網膜結像の間、眼球の整合を検出するための例示的フローチャートである。

【発明を実施するための形態】

【0011】

各図は、本発明の種々の実施形態を例証目的のみのために描写する。当業者は、本明細書に例証される、構造および方法の代替実施形態が、本明細書に説明される本発明の原理から逸脱することなく、展開され得ることを、以下の議論から容易に認識するであろう。

【0012】

（ａ）環境概説
図１は、一実施形態による、整合ツールを利用するための環境における、システム構成要素の例示的ブロック図である。環境１００は、結像デバイス１１０と、整合ツール１１５と、ネットワーク１２０と、網膜疾患診断ツール１３０とを含む。結像デバイス１１０は、患者の眼球の網膜の１つ以上の画像を捕捉するように構成される、デバイスである。結像デバイス１１０は、手動動作を通して、コンピュータプログラム命令または（例えば、整合ツール１１５から受信される）外部信号によって命令されると自律的に、もしくはそれらの組み合わせによって、そのような画像を捕捉させ得る。これらの画像が、どのように見え得るか、およびそれらが、どのように導出されるかについての実施例は、その開示が、本明細書によって、参照することによってその全体が本明細書に組み込まれる、２０１７年３月２２日に出願された、共同所有される、米国特許出願第１５／４６６，６３６号において説明される。

【0013】

整合ツール１１５は、動作可能に結像デバイス１１０に結合され、患者の眼球が、適切に整合されていることを検証し得る。患者の眼球が、適切に整合されていることを検証することに応答して、整合ツール１１５は、結像デバイス１１０に、画像を捕捉するように命令し得る。整合ツール１１５は、患者の眼球が、適切に整合されているかどうかを判定するために、赤外線画像等の種々のスペクトルからの画像または画像のストリームを使用し得る。独立型エンティティとして描写されているが、これは、例証目的のみのためにあり、整合ツール１１５は、代替として、（例えば、モジュールとしてインストールされている）内蔵型結像デバイス１１０を搭載してもよい、またはネットワーク１２０を経由して、受信された情報に基づいて作用する、網膜疾患診断ツール１３０の一部として実装されてもよい。整合ツール１１５の機能性に関するさらなる詳細が、図３－５に関して、下記にさらに詳細に説明される。

【0014】

（整合ツール１１５からの命令に基づいて）画像を捕捉した後、結像デバイス１１０（または代替として、整合ツール１１５）は、処理のために、画像を網膜疾患診断ツール１３０に伝送する。網膜疾患診断ツール１３０は、受信された網膜画像を自律的に分析し、その中のバイオマーカの機械学習分析を使用して、診断を判定する。診断は、具体的には、ユーザが、糖尿病性網膜症等の特定の疾患を有するという判定であり得る、またはユーザが、疾患を有している可能性が高く、したがって、確認および治療のために医師の診察を受けるべきであるという判定であり得る。網膜疾患診断ツール１４０が、分析を実施し、診断を判定する様式はさらに、その開示が、本明細書によって、参照することによってその全体が本明細書に組み込まれる、共同所有される、米国特許第１０，１１５，１９４号において議論される。再整合ツール１１５とは別個のエンティティとして描写されるが、網膜疾患診断ツール１３０は、整合ツール１３０として、同一のデバイスまたはデバイスのセット上にインスタンス化され得、一部分または全部において、整合ツール１３０が、結像デバイス１１０内に、モジュールとしてインストールされ得る様式と同様に、結像デバイス１１０上に、モジュールとしてインストールされ得る。図１には描写されないが、１つ以上の付加的な結像デバイスが、患者の一部または全部（例えば、患者の皮膚または毛髪）を含む、外部画像を捕捉するために使用されてもよい。網膜診断ツール１３０によって実施される、任意の網膜診断は、そのような外部画像を利用し得る。

【0015】

（ｂ）例示的結像デバイス構成要素
図２は、一実施形態による、結像デバイスのモジュールおよび構成要素の例示的ブロック図である。結像デバイス１１０は、画像捕捉構成要素２１１と、閃光構成要素２１２と、赤外線構成要素２１３と、整合ツールアプリケーションプロトコルインターフェース（ＡＰＩ）２１４と、視線誘導光２１５と、ユーザインターフェース２１６とを含む。描写されないが、結像デバイス１１０は、整合ツール１１５および網膜疾患診断ツール１３０のいずれか、またはその両方の内蔵インスタンス等の他の構成要素、ならびにその任意の構成要素を含んでもよい。結像デバイス１１０は、本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。結像デバイス１１０は、同様に、いくつかの描写される構成要素を除外してもよい。例えば、結像デバイスは、視線誘導光２１５を除外してもよい。

【0016】

画像捕捉構成要素２１１は、患者の網膜の画像を捕捉するように構成される、任意のセンサであってもよい。例えば、特殊レンズが、患者の網膜の画像を捕捉するために、使用されてもよい。閃光構成要素２１２は、画像捕捉構成要素２１１による画像捕捉の間、患者の網膜を照明することが可能な任意の構成要素であってもよく、画像捕捉構成要素２１１の画像捕捉動作と協調して、光を放出するように構成されてもよい。画像捕捉構成要素２１１はまた、患者の皮膚および／または毛髪を含む画像を捕捉するために、外部画像捕捉構成要素２１１を伴って、構成されてもよい。

【0017】

赤外線構成要素２１３は、赤外線放射を患者の網膜に伝送し、その吸収率を判定するように構成される、赤外線センサである。赤外線構成要素２１３は、患者の網膜を横断して、赤外線伝送の吸収率を示す、ヒートマップを生成し得る。赤外線構成要素２１３は、吸収率の判定および／またはヒートマップを、患者の眼球の整合の判定に対して処理するための（例えば、整合ツール１３０の）プロセッサに伝送する。赤外線構成要素２１３は、これが捕捉する画像、および／または赤外線画像の吸収率マップもしくは他の後処理されるレンダリング（以降、集合的に赤外線画像と称される）を整合ツール１１５にストリーミングし得る。本明細書内で使用されるように、用語「ストリーム」は、赤外線構成要素２１３によって捕捉されるとき、またはその直後の、赤外線画像を伝送することのいくつかまたは全てを指し得る。

【0018】

整合ツールＡＰＩ２１４は、整合ツール１３０から結像デバイス１１０へのコマンドを変換するために、整合ツール１３０とインターフェースをとる。例示的コマンドは、画像を捕捉するためのコマンドと、閃光構成要素２１２によって放出される光の強度を調節するためのコマンドと、視線誘導光２１５をアクティブ化するためのコマンドと、その同等物とを含んでもよい。これらのコマンドおよびこれらがどのように生成されるかは、下記の図３を参照してさらに詳細に議論される。整合ツールＡＰＩ２１４はまた、赤外線画像を整合ツール１１５に伝送するために、結像デバイス１１０によって使用される。

【0019】

視線誘導光２１５は、選択的にアクティブ化され得る、結像デバイス１１０を使用している患者の周辺内の１つ以上の光を含み得る。（例えば、瞳孔を網膜画像の捕捉のためのレンズと整合させるために）誘導光を凝視するように命令されている、患者の注意を捕捉するように設計される、誘導光が、アクティブ化され得る。視線誘導光は、任意の方向（例えば、左、右、上、下、または斜めの任意の方向）にある矢印を含み得、矢印は、ピクセルまたは光のグリッド内のあるピクセルまたは光（例えば、ＬＥＤ）を点灯させることによって、照らし出される。矢印は、患者の凝視が、整合を改良するために、移動されるべき方向を示し得る。視線誘導光２１５およびその機能性に関するさらなる詳細は、視覚的フィードバックモジュール３４０を参照して説明され、これは、視線誘導光２１５のうちの１つ以上を選択的にアクティブ化するための命令を生成し得る。

【0020】

ユーザインターフェース２１６は、それを用いて、結像デバイス１１０のユーザ（例えば、操作者または患者）が、画像を捕捉すること、閃光強度を調節すること、赤外線情報を捕捉すること、および同等のこと等を実施することが可能な任意の機能を実施するために、結像デバイス１１０にコマンドし得る、インターフェースである。ユーザインターフェース２１６はまた、情報（例えば、聴覚的または視覚的情報）をユーザに出力してもよい。ユーザインターフェース２１６は、任意のハードウエアまたはソフトウエアインターフェースであってもよく、物理的構成要素（例えば、ボタン）および／または（例えば、タッチスクリーンディスプレイ等のディスプレイ上の）グラフィック構成要素を含んでもよい。ユーザインターフェース２１６は、結像デバイス１１０上に位置してもよい、結像デバイス１１０の周辺デバイスであってもよい、またはネットワーク１２０によって、結像デバイス１１０から分離されるデバイス上に位置してもよく、したがって、結像デバイス１１０の遠隔動作を可能にし得る。

【0021】

（ｃ）例示的整合ツール構成要素
図３は、一実施形態による、整合ツールのモジュールおよび構成要素の例示的ブロック図である。整合ツール１１５は、赤外線画像処理モジュール３１０と、整合判定モジュール３２０と、聴覚的フィードバックモジュール３３０と、視覚的フィードバックモジュール３４０と、結像デバイスＡＰＩ３５０とを含む。描写されないが、整合ツール１１５は、付加的なモジュール等の他の構成要素、および本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。整合ツール１１５は、同様に、いくつかの描写される構成要素を除外してもよい。例えば、整合ツール１３０は、視覚的フィードバックモジュール３４０を除外してもよい。

【0022】

赤外線画像処理モジュール３１０は、結像デバイス１１０から、赤外線光線を受信する。赤外線は、本明細書に開示される実施形態に従って使用され得る、例示的スペクトルを指すが、しかしながら、これは、非限定的である。赤外線が本明細書に説明される場合は常に、紫外線、Ｘ線等の他のスペクトルも、使用されてもよい。赤外線画像処理モジュール３１０は、整合ツール１１５と結像デバイス１１０のインターフェースをとらせる、結像デバイスＡＰＩ３５０を経由して、赤外線光線を受信し得る。赤外線画像処理モジュール３１０は、（例えば、新たな患者が、結像デバイス１１０を使用していると検出されるとき）、結像デバイス１１０に、赤外線データをストリーミングすることを開始するようにコマンドし得る。代替として、赤外線画像処理モジュール３１０は、結像デバイスに、生じている状態に応じて（例えば、結像デバイス１１０が、網膜画像を捕捉するために初期化されている）、赤外線データをストリーミングすることを開始するようにコマンドし得る。

【0023】

赤外線画像処理モジュール３１０は、（例えば、その中に含有されるデータを整合判定モジュール３２０によって使用可能にするために）受信された赤外線光線上の処理を実施し得る。例えば、赤外線画像処理モジュール３１０は、入力として、未加工の赤外線データを取り込み得、患者の片方または両方の眼球の部分を示す、赤外線ヒートマップまたは輪郭マップを生成し得る。別の実施例として、赤外線画像処理モジュール３１０は、１つ以上のフレーム間の眼球の位置における変化を示す、したがって、眼球が、移動または回転した方向および距離を示す、ベクトルマップを生成し得る。本ベクトルマップは、眼球の整合を判定する際に、未加工または別様に処理済みの赤外線情報に加えて、またはそれとは別個に使用され得る。

【0024】

整合判定モジュール３２０は、患者の眼球が、網膜画像の捕捉のために適切に整合されているかどうかを判定する。用語「適切に整合される」は、本明細書内で使用されるように、患者が、網膜疾患を有しているかどうかの自律型診断を実施するための基準を充足する、画像を指し得る。不適切な整合は、概して、患者の凝視が、患者の瞳孔または網膜等の着目物体を遮る方向に向かって指向しているために生じる。患者が、固定光に向かって見るように命令される、ある実施形態では、画像が、網膜の目印（例えば、網膜の中心）と整合されるとき、適切な整合が、生じる。画像が捕捉されるとき、高強度の閃光が、使用され、指針は、患者が、１回の診察予約の間に閃光を放たれる回数に対する限界値が、患者の健康および安全上の理由のために限定されるべきであると示唆している。不適切な整合は、自律型診断のために、無効な画像を捕捉させ、したがって、付加的な画像が捕捉されることを要求し、これは、患者の眼球に付加的な閃光が放たれることを要求する。整合判定モジュール３２０は、患者の眼球に閃光を放つ前に、適切な整合を判定するために使用され、したがって、患者の健康および安全を改良し得る。

【0025】

ある実施形態では、整合判定モジュール３２０は、着目物体（すなわち、眼球の瞳孔または網膜のいずれか）が、赤外線光線内に示されているかどうか、およびその場所に基づいて、整合が適切であるかどうかを判定し得る。整合判定モジュール３２０は、赤外線光線内の着目物体の存在が、単独で、整合が適切であることを判定するために十分であることを判定し得る。整合判定モジュール３２０は、代替として、または加えて、他の因子が該当することを要求する。例えば、整合判定モジュール３２０は、画像が適切に整合されていることを判定するために、結像デバイス１１０が、焦点が合っていることを要求し得る。結像デバイス１１０は、眼球の瞳孔等の着目物体を検出することに応じて、自動焦点するように、または眼球の瞳孔等が、赤外線画像の中心にある、またはその閾値距離内にあるようにプログラミングされ得る。整合判定モジュール３２０は、赤外線光線に基づいて、または結像デバイス１１０が、焦点が合っているかどうかを示す、補助的な情報に基づいて、結像デバイス１１０が、焦点が合っているかどうかを判定し得る。結像デバイス１１０が焦点が合っていることを判定することに応答して、整合判定モジュール３２０は、整合が適切であることを判定し得る。着目物体および／または結像デバイス１１０の焦点が、赤外線光線中に存在しない場合、整合判定モジュール３２０は、患者の眼球の整合が、不適切であることを判定し得る。

【0026】

整合判定モジュール３２０は、赤外線光線に基づいて、整合が適切であることを判定するために、他の手段を使用し得る。例えば、患者が、誘導光の点灯、または操作者の聴覚的命令等の刺激に基づいて、または整合ツール１１５および／または結像デバイス１１０のスピーカからの出力として、所与の方向に自身の眼球を単収縮させてもよい。整合判定モジュール３２０は、単収縮を検出することに応答して、整合が適切であることを判定し得る。すなわち、患者が、刺激に基づいて、自分の眼球を適切な整合に移動させた可能性が高い。整合判定モジュール３２０は、ある時間間隔にわたって、またはある少数のフレームを横断して、患者の眼球の閾値の移動に基づいて、単収縮を検出し得る。整合判定モジュール３２０は、前述のベクトルマップを使用して、単収縮を検出し、ベクトルマップ上の移動ベクトルが、単収縮が生じたことを示すかどうかを判定し得る。

【0027】

単収縮は、患者に自身の眼球を特定の位置まで単収縮させるように直接設計される、刺激以外の理由に起因して、生じる場合があるため、整合判定モジュール３２０は、眼球が適切に整合されていることを判定することの前に、さらなる処理を実施し得る。ある実施形態では、単収縮を検出することに応答して、整合判定モジュール３２０は、画像を捕捉し得る。捕捉された画像は、単収縮が続く、赤外線光線のフレームであり得る、または結像デバイス１１０によって結像され、処理のために、整合判定モジュール３２０に伝送されるようにコマンドされる、視覚的画像であり得る。

【0028】

整合判定モジュール３２０は、次いで、画像が、品質パラメータを充足するかどうかを判定し得る。品質パラメータは、画質が十分であるかどうかを判定することを含み得る。例えば、単収縮の最中の継続的な眼球の移動に起因して、フレームがぶれる場合、画質は、芳しくない場合がある。整合判定モジュール３２０は、ぶれ、焦点等の１つ以上のメトリックに基づいて、画質を判定し得る。品質パラメータは、バイオマーカが、候補画像内で検出されるかどうか等の他の特徴を含んでもよい。例えば、整合判定モジュール３２０は、視覚的または赤外線フレームのいずれかに基づいて、視神経乳頭および／または任意の他のバイオマーカが、画像内で検出可能であるかどうかを判定し得る。他の実施例の品質パラメータは、アーチファクトが、画像の一部または全部を遮断している（例えば、患者の睫毛が、画像を曖昧にする）かどうかを判定することを含んでもよい。候補画像が品質パラメータ充足することを判定することに応答して、整合判定モジュール３２０は、患者の眼球が適切に整合されていることを判定し得る。候補画像が、品質パラメータを充足しないことを判定することに応答して、整合判定モジュール３２０は、患者の眼球の整合が不適切であることを判定し得る。

【0029】

ある実施形態では、品質は、候補画像を機械学習モデルの中に入力し、候補画像が十分な品質であるかどうかのインジケーションを機械学習モデルからの出力として受信することによって、判定され得る。いくつかの実施形態では、機械学習モデルは、教師あり学習モデルであってもよい。そのような実施形態では、訓練セット内の各画像が、画像が十分な品質であるかどうかに関して標識される場合、機械学習モデルは、画像の標識された訓練セットを使用して、訓練されてもよい。いくつかの実施形態では、機械学習モデルは、教師なし技法を使用して、訓練されてもよい。

【0030】

整合が不適切であると判定される場合、眼球が適切に整合されるように、患者に患者の眼球の位置を調節するように促すために、フィードバックが、患者に提供され得る。ある実施形態では、整合判定モジュール３２０は、眼球が適切に整合されるために行われなければならない特定の調節を判定する。例えば、整合判定モジュール３２０は、赤外線光線を使用して、瞳孔が焦点が合っている場所を判定し、適切に整合されるために、瞳孔が、特定の方向に移動しなければならないことを判定する。別の実施形態では、（例えば、瞳孔が、赤外線光線内で検出可能ではないため）整合判定モジュール３２０が、眼球が適切に整合されるために行われなければならない特定の調節を識別することができない。本シナリオに応じて、聴覚的フィードバックモジュール３３０および視覚的フィードバックモジュール３４０が、適切な調節を行うためにフィードバックを患者に提供し得る。

【0031】

ある実施形態では、整合判定モジュール３２０は、機械学習モデルからの出力に基づいて、眼球が整合されているかどうかを判定する。例えば、整合判定モジュール３２０は、赤外線光線の１つ以上のフレームを機械学習モデルの中に入力し得、眼球が恐らく整合される確率を機械学習モデルからの出力として、および／または眼球が適切に整合されているかどうかかを示す出力として受信し得る。その出力が、確率が高い場合、整合判定モジュール３２０は、その確率を閾値と比較し得（例えば、眼球が整合される尤度が９２％を超える）、閾値を超過する確率に基づいて、眼球が整合されることを判定し得る。

【0032】

機械学習モデルは、赤外線フレームの標識されたデータセットを使用して、訓練され得、標識は、眼球が整合されている、または整合されていないことを示す。ある実施形態では、データセットは、適切な整合からのオフセットを示す、標識等の付加的な標識（例えば、右に３度回転される場合、眼球は、整合されるであろう）を含んでもよい。そのような場合では、整合判定モジュール３２０は、加えて、または代替として、オフセットを出力し得、これは、命令を判定する際に、聴覚的フィードバックモジュール３３０および／または視覚的フィードバックモジュール３４０によって使用され得る。機械学習モデルは、任意の機械学習モデルであってもよい。例えば、機械学習モデルは、畳み込みニューラルネットワーク等のニューラルネットワークであってもよい。

【0033】

ある実施形態では、機械学習モデルおよび／または決定論的モデル等のモデルは、赤外線フレームを入力としてとるように訓練されてもよい。例えば、正しい整合が取得されるまでの整合プロセスの始めから、フレームが、モデルの中に入力されてもよい。モデルはまた、患者に提供される命令の表現を入力としてもとり得る（例えば、人間の操作者が、命令を提供する場合は、音声からテキストへの転写、または患者に提供される自動命令の読取）。モデルは、これらの入力に基づいて、提供された命令が、操作者によって正しく管理されているかどうか、および／または提供された命令が、患者によって正確に追従されているかどうかのインジケーションを出力し得る。出力は、バイナリであってもよい（例えば、誤ったまたは正しい管理）。出力は、命令内の特定のエラーを示してもよい（例えば、命令の特定の部分が、正しくなかったため、代わりに、ある他のアクションを実施するべきである）。出力は、整合を修正するであろう、特定の新たな命令であってもよい（例えば、眼球の凝視を３度右に移動する）。出力は、異なる補正アクティビティおよび／または命令に対応する確率のセット、ならびに／もしくは管理が正しいかどうかの確率のセットであってもよく、それによって、整合判定モジュール３２０は、その確率を代表的な閾値と比較することによって、患者および／または操作者に出力すべきものを判定し得る。機械学習モデルは、訓練された領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）または任意の他のタイプの機械学習モデルであってもよい。

【0034】

聴覚的フィードバックモジュール３３０は、（例えば、結像デバイス１１０のスピーカ、または整合ツール１１５に動作可能に結合される周辺スピーカを使用して）聴覚的命令を患者に出力し得る。聴覚的命令は、上、下、左、右、またはそのある組み合わせ等の任意の特定の方向に、眼球を移動させ得る。患者の眼球を適切に整合させるために、正確な必要とされる調節が把握されている実施形態では、命令は、必要とされる眼球移動と一致し得る。正確な必要とされる調節が把握されていない実施形態では、患者は、瞳孔が、赤外線光線内で検出されるまで、自身の眼球を移動させるように命令され得（例えば、「ゆっくりとあなたの眼球を上へ移動させてください」）、その時点で、整合判定モジュール３２０は、前述のプロセスを使用して、必要とされる調節を判定し得る。聴覚的フィードバックモジュール３３０は、次いで、必要とされる調節に基づいて、さらなる命令を提供し得る。

【0035】

視覚的フィードバックモジュール３４０は、聴覚的フィードバックモジュール３３０と同様の様式で動作し、聴覚的フィードバックモジュール３３０と組み合わせて、またはそれとは別個に動作し得る（すなわち、聴覚的および視覚的フィードバックが、並行して、または別個に生じ得る）。上記に述べられるように、結像デバイス１１０は、結像デバイス１１０を使用するとき、患者の視野に現れる、結像構成要素（例えば、ピクセル、発光ダイオード等）を含んでもよい。ある実施形態では、視覚的フィードバックモジュール３４０が、誘導光をアクティブ化してもよい。誘導光は、凝視された場合、患者の眼球を適切に整合させるであろう、患者の視野内の位置においてアクティブ化される。整合ツール１１５は、聴覚的フィードバックモジュール３３０を有し、誘導光がアクティブ化されるとき、誘導光を凝視するように命令を提供してもよい。

【0036】

別の実施形態では、または患者が、誘導光に応答しない場合では、視覚的フィードバックモジュール３４０が、患者の凝視を調節するべき方向に、矢印等のインジケータを形成するために、結像構成要素をアクティブ化してもよい。ある実施形態では、視覚的フィードバックモジュール３４０が、結像構成要素をアクティブ化し得、聴覚的フィードバックモジュール３３０が、結像構成要素が移動するにつれて、患者の凝視を伴って、結像構成要素に追従するための聴覚的命令を出力し得る。視覚的フィードバックモジュール３４０は、光が、患者の視野内で移動し続けるために、結像構成要素を選択的にアクティブ化および非アクティブ化してもよい。患者が、光の移動に追従するために、患者の凝視を移動させるにつれて、整合判定モジュール３２０は、整合が不適切であるかどうか、および／または瞳孔が検出され得るかどうかを判定し得、光のさらなる移動のために、視覚的フィードバックモジュール３４０に、（上記に議論されるプロセスを使用して判定されるような）適切な整合を取得するために必要とされるさらなる調整をフィードバックし得る。

【0037】

（ｄ）例示的計算機のアーキテクチャ
図４は、機械可読媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能である、例示的機械の構成要素を図示する、ブロック図である。具体的には 図４は、機械に、本明細書に議論される方法のうち任意の１つ以上を実施させるためのプログラムコード（例えば、ソフトウエア）が、その中で実施され得る、システム４００の例示的形態における、機械の図式的な表示を示す。プログラムコードは、１つ以上のプロセッサ４０２によって実行可能な命令４２４から成ってもよい。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続（例えば、ネットワーク接続）されてもよい。ネットワーク接続された展開では、機械は、サーバクライアントネットワーク環境における、サーバ機械またはクライアント機械の能力内で、またはピア機械として、ピアツーピア（または分散型）ネットワーク環境内で動作してもよい。

【0038】

機械は、サーバコンピュータ、クライアントコンピュータ、パソコン（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチまたはブリッジ、またはその機械によって行われることになるアクションを規定する、命令４２４を（順次的または別様に）実行する能力がある、任意の機械であってもよい。さらに、単一の機械のみが図示されるが、用語「機械」はまた、本明細書に議論される方法のうちの任意の１つ以上を実施するために、命令１２４を個々にまたはともに実行する、機械の任意の集合を含むと捉えられるべきである。

【0039】

例示的コンピュータシステム４００は、プロセッサ４０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の無線周波数集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせ）と、メインメモリ４０４と、スタティックメモリ４０６とを含み、これらは、バス４０８を介して、相互に通信するように構成される。コンピュータシステム４００はさらに、視覚的ディスプレイインターフェース４１０を含んでもよい。視覚的インターフェースは、スクリーン（またはディスプレイ）上に、ユーザインターフェースを表示することを可能にする、ソフトウエアドライバを含んでもよい。視覚的インターフェースは、ユーザインターフェースを、直接（例えば、スクリーン上に）または間接的に、表面、ウインドウ、または同等物上に（例えば、視覚的投影ユニットを介して）表示してもよい。議論の容易化のために、視覚的インターフェースは、スクリーンとして説明され得る。視覚的インターフェース４１０は、タッチ可能スクリーンを伴うインターフェースを含んでもよい、またはそれとインターフェースをとってもよい。コンピュータシステム４００はまた、英数字入力デバイス４１２（例えば、キーボードまたはタッチスクリーンキーボード）と、カーソル制御デバイス４１４（例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング器具）と、記憶ユニット４１６と、信号生成デバイス４１８（例えば、スピーカ）と、ネットワークインターフェースデバイス４２０とを含んでもよく、これらはまた、バス４０８を介して通信するように構成される。

【0040】

記憶ユニット４１６は、その上で、本明細書に説明される、方法または機能のうちの任意の１つ以上を具現化する、命令４２４（例えば、ソフトウエア）を記憶される、機械可読媒体４２２を含む。命令４２４（例えば、ソフトウエア）はまた、コンピュータシステム４００によるその実行の間、完全にまたは部分的に、メインメモリ４０４内に、またはプロセッサ４０２内に（例えば、プロセッサのキャッシュメモリ内に）、存在してもよく、メインメモリ４０４およびプロセッサ４０２はまた、機械可読媒体を構成してもよい。命令４２４（例えば、ソフトウエア）は、ネットワークインターフェースデバイス４２０を介して、ネットワーク４２６を経由して、伝送または受信されてもよい。

【0041】

機械可読媒体４２２は、例示的実施形態では、単一の媒体であるように示されるが、用語「機械可読媒体」は、命令（例えば、命令４２４）を記憶することが可能である、単一の媒体または複数の媒体（例えば、集中型または分散型データベース、もしくは関連付けられるキャッシュおよびサーバ）を含むと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令（例えば、命令４２４）を記憶することが可能であり、機械に、本明細書に開示される方法のうちの任意の１つ以上を実施させる、任意の媒体を含むと捉えられるべきである。用語「機械可読媒体」は、限定ではないが、ソリッドステートメモリ、光学媒体、および磁気媒体の形態における、データリポジトリを含む。

【0042】

（ｅ）眼球の整合を判定するための例示的データフロー
図５は、一実施形態による、網膜結像の間、眼球の整合を検出するための例示的フローチャートを描写する。プロセス５００は、（例えば、赤外線画像処理モジュール３１０を使用して）結像デバイスからの赤外線光線を受信する５０２、整合ツール１３０を起動させるために使用されるデバイスの１つ以上のプロセッサ（例えば、プロセッサ４０２）を用いて開始し、赤外線光線は、患者の眼球の特性を示す。整合ツール１３０は、赤外線光線に基づいて、（例えば、整合判定モジュール３２０を使用して）眼球が、１回目において、不適切に整合されていることを判定する５０４。不適切な整合の判定は、患者の眼球の瞳孔が、赤外線光線内に示されていない、または結像デバイス１１０が、焦点が合っていない等の任意の数の因子に基づいてもよい。ある実施形態では、整合判定５０４は、赤外線光線のフレームを機械学習モデルの中に入力し、眼球が、１回目において、不適切に整合されていることを示す情報を、機械学習モデルからの出力として受信することによって行われる。

【0043】

整合ツール１３０は、（例えば、聴覚的フィードバックモジュール３３０および／または視覚的フィードバックモジュール３４０を使用して）不適切な整合を示す、センサフィードバックを出力する５０６。センサフィードバックは、操作者（例えば、結像デバイス１１０を動作させている、専門家ではない人物）に、患者に、または患者と操作者の両方に出力されてもよい。整合ツール１３０は、１回目より後の２回目における前記赤外線光線に基づいて、（例えば、整合判定モジュール３２０を使用して）眼球が、適切に整合されていることを検出する５０８。適切な整合判定は、患者の眼球の単収縮を検出することに基づいてもよい。単収縮が、適切な整合判定のための基盤を形成する場合、眼球が実際に適切に整合されているという判定を確定する前に、画像（例えば、赤外線フレーム）が、捕捉され、品質パラメータ（例えば、画質、アーチファクト、バイオマーカ検出等）に対して検証され得る。整合ツール１３０は、結像デバイス１１０から、適切に整合された眼球の網膜の画像を受信する５１０。整合ツール１３０は、適切な整合を検出することに応答して、結像デバイス１１０に、網膜の画像を自動的に捕捉し、それを整合ツール１３０に伝送するようにコマンドしてもよい。整合ツール１３０は、患者の眼球の自律型診断を実施するために、画像を網膜疾患診断ツール１３０に伝送してもよい。

【0044】

（ｆ）概要
本発明の実施形態の前述の説明は、例証の目的のために提示されており、網羅的であること、または開示された精密な形態に本発明を限定すること意図するものではない。当業者は、多くの修正例および変形例が、上記の開示に照らして、可能であることを理解し得る。

【0045】

本説明のいくつかの部分は、情報に関する動作のアルゴリズムおよび象徴的表現の観点から、本発明の実施形態を説明する。これらのアルゴリズム的説明および表現は、一般的に、データ処理技術に関わる当業者によって、他の当業者に、その研究の要旨を効率的に伝えるために使用されている。これらの動作は、機能的に、計算的に、または論理的に説明されるが、コンピュータプログラムまたは同等の電気回路、マイクロコード、もしくは同等物によって実装されることが理解される。さらに、また、一般性を喪失することなく、動作のこれらの配列を、モジュールと称することは、時には便利であることも証明されている。説明される動作およびその関連付けられるモジュールは、ソフトウエア、ファームウェア、ハードウエア、またはその任意の組み合わせ内に具現化され得る。

【0046】

本明細書に説明される、ステップ、動作、またはプロセスのいずれかは、１つ以上のハードウエアまたはソフトウエアモジュールを用いて、単独で、または他のデバイスと組み合わせて、実施または実装され得る。一実施形態では、ソフトウエアモジュールは、コンピュータプログラムコードを含有する、コンピュータ可読媒体を備える、コンピュータプログラム製品を用いて実装され、これは、説明されるステップ、動作、またはプロセスのいずれかまたは全てを実施するためのコンピュータプロセッサによって実行されることができる。

【0047】

本発明の実施形態はまた、本明細書内の動作を実施するための装置に関してもよい。本装置は、要求される目的のために特別に構築されてもよく、および／またはコンピュータ内に記憶されるコンピュータプログラムによって、選択的にアクティブ化または再構成される、汎用コンピューティングデバイスを備えてもよい。そのようなコンピュータプログラムは、非一過性有形コンピュータ可読記憶媒体、または電子的命令を記憶するために好適な任意のタイプの媒体内に記憶されてもよく、これは、コンピュータシステムバスに結合され得る。さらに、明細書において参照される、任意のコンピューティングシステムは、単一のプロセッサを含んでもよい、または計算能力を増加させるために、複数のプロセッサ設計を採用するアーキテクチャであってもよい。

【0048】

本発明の実施形態はまた、本明細書に説明される、計算プロセスによって生産される製品に関してもよい。そのような製品は、計算プロセスから結果として生じる情報を備えてもよく、情報が、非一過性有形コンピュータ可読記憶媒体上に記憶される場合、コンピュータプログラム製品または本明細書に説明される他のデータの組み合わせの任意の実施形態を含み得る。

【0049】

最後に、本明細書内で使用される用語は、主に、可読性および指導的目的のために選択されており、発明の主題を正確に説明する、またはその境界線を引くために選択されていない。したがって、本発明の範囲は、本詳細な説明によってではなく、本明細書に基づく出願時に公開する、任意の請求項によって限定されることが意図される。故に、本発明の実施形態の開示は、例示的であるが、以下の請求項に述べられる、本発明の範囲を限定しないことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】