知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】フロータを検出するためのシステム及び方法
(51)【国際特許分類】
A61F 9/008 20060101AFI20241108BHJP
A61B 3/13 20060101ALI20241108BHJP
A61B 3/10 20060101ALI20241108BHJP
G06N 3/0464 20230101ALI20241108BHJP
【ＦＩ】
A61F9/008 120E
A61F9/008 120F
A61F9/008 130
A61B3/13
A61B3/10 100
G06N3/0464
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024532421
(86)(22)【出願日】2022-11-25
(85)【翻訳文提出日】2024-07-29
(86)【国際出願番号】 CA2022051734
(87)【国際公開番号】W WO2023097391
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】3140678
(32)【優先日】2021-11-30
(33)【優先権主張国・地域又は機関】CA
(31)【優先権主張番号】3157811
(32)【優先日】2022-05-06
(33)【優先権主張国・地域又は機関】CA
(81)【指定国・地域】
(71)【出願人】
【識別番号】523140500
【氏名又は名称】パルスメディカ・コーポレイション
【氏名又は名称原語表記】ＰＵＬＳＥＭＥＤＩＣＡ ＣＯＲＰ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100221556
【弁理士】
【氏名又は名称】金田 隆章
(72)【発明者】
【氏名】カチンスキー，ニール
(72)【発明者】
【氏名】チェロイチ，クリストファー
(72)【発明者】
【氏名】アミニ，イマン
(72)【発明者】
【氏名】リヴェ－サブラン，ジョフロワ
(72)【発明者】
【氏名】ブラウネル，マイケル
(72)【発明者】
【氏名】シュタイン，ユージーン
【テーマコード（参考）】
4C316
【Ｆターム（参考）】
4C316AA09
4C316AA11
4C316AA24
4C316AA25
4C316AB02
4C316AB11
4C316AB12
4C316FA19
4C316FB11
4C316FB21
4C316FB27
4C316FC12
4C316FC14
(57)【要約】
患者の眼の画像が画像化され、当該画像は、患者の眼内のフロータを検出して追跡するために処理される。フロータの検出及び追跡は、フロータの特性を識別するため、及び場合によってはフロータのレーザ治療を実行するために使用可能である。
【特許請求の範囲】
【請求項1】
患者の眼におけるフロータの治療に使用するためのシステムであって、前記患者の眼のリアルタイム画像を取得するための第１の画像化システムと、
治療レーザを集光して発射するためのレーザ治療システムと、
前記第１の画像化システム及び前記レーザ治療システムを制御するためのコントローラと、
を備え、
前記コントローラは、
前記第１の画像化システムによって取得された画像においてフロータを検出し、
前記第１の画像化システムによってその後に取得された画像において、検出されたフロータの位置を追跡し、
その後に治療レーザを発射して前記フロータを治療するために、前記レーザ治療システムの治療レーザを、前記検出されたフロータの追跡された位置に集光させる
ように構成された、
システム。
【請求項2】
前記第１の画像化システムは、走査型レーザ検眼画像化システムを含む、請求項１に記載のシステム。
【請求項3】
前記治療レーザは、フェムト秒レーザを含む、請求項１に記載のシステム。
【請求項4】
前記フロータを検出することは、物体検出のための大規模カーネルを使用する機械学習アルゴリズムを用いて行われる、請求項１に記載のシステム。
【請求項5】
前記フロータを検出することは、前記機械学習アルゴリズムを用いる前に、前記画像から前記眼の非フロータ特徴を除去することを更に含む、請求項４に記載のシステム。
【請求項6】
前記非フロータ特徴は、前記眼の中の静脈を含む、請求項５に記載のシステム。
【請求項7】
前記患者の眼のリアルタイム画像を取得するための第２の画像化システムを更に備える、請求項１に記載のシステム。
【請求項8】
前記第２の画像化システムは、光コヒーレンストモグラフィ（ＯＣＴ）画像化システムを含む、請求項７に記載のシステム。
【請求項9】
前記ＯＣＴ画像化システムが画像化する前記眼の中の位置は、前記フロータの前記追跡された位置に基づいて調整される、請求項８に記載のシステム。
【請求項10】
前記ＯＣＴ画像化システムは、前記フロータの深度を決定するために使用される、請求項９に記載のシステム。
【請求項11】
前記検出されたフロータの位置を追跡することは、前記第１の画像化システムによってその後に取得された画像を安定させることを含む、請求項１に記載のシステム。
【請求項12】
前記コントローラは、フロータの数、
フロータの表面積、
フロータの体積、
フロータの位置、
フロータの不透明度、
フロータの屈折率、
フロータの移動速度、
フロータの移動方向、及び
フロータの濃度、
のうちの１以上を決定する、請求項１に記載のシステム。
【請求項13】
前記フロータを検出することは、畳み込みニューラルネットワーク（ＣＮＮ）を使用し、前記ＣＮＮは、前記第１の画像化システムによって取得された複数（Ｍ個）の画像フレームのシーケンスを入力とし、入力シーケンスの各画像フレーム内のフロータの位置に対応するＭ個のフロータ検出マスクのシーケンスを決定する、
請求項１に記載のシステム。
【請求項14】
前記フロータを検出することは、それぞれが注目フレームを含むＭ個の画像フレームの複数の入力シーケンスに前記ＣＮＮを適用して、前記注目フレームについてのフロータ検出マスクをそれぞれ含む複数のフロータマスクシーケンスを提供することと、
前記複数のフロータマスクシーケンスのそれぞれから、前記注目フレームについての前記フロータ検出マスクを合計することと、を含む、
請求項１３に記載のシステム。
【請求項15】
前記フロータを検出することは、前記フロータ検出マスクの合計に閾値を適用することを更に含む、請求項１４に記載のシステム。
【請求項16】
前記フロータを検出すること及び前記検出されたフロータの位置を追跡することは、前記画像において前記フロータを検出するために、前記第１の画像化システムによって取得された前記画像をリモートサーバに送信することと、
その後に前記第１の画像化システムから取得された画像をバッファリングすることと、
前記リモートサーバによって前記画像において検出された前記フロータの位置を受信することと、
検出された前記フロータの位置を、バッファされた画像において追跡することと、を含む、
請求項１に記載のシステム。
【請求項17】
前記コントローラは、前記検出されたフロータの将来の位置を予測するように更に構成された、請求項１に記載のシステム。
【請求項18】
可視光画像化システムを更に備える、請求項１に記載のシステム。
【請求項19】
視線ディスプレイを更に備える、請求項１に記載のシステム。
【請求項20】
視線ディスプレイは、前記患者に、フロータの動きに影響を与えるように前記患者の眼を動かさせるように制御される、請求項１８に記載のシステム。
【請求項21】
視線ディスプレイは、患者の視覚に対するフロータの主観的な影響を決定するように制御される、請求項１８に記載のシステム。
【請求項22】
前記治療レーザを集光させることは、前記検出されたフロータの少なくとも一部について決定された治療パターンに従って前記治療レーザを集光させることを含む、請求項１に記載のシステム。
【請求項23】
フロータの治療に使用するための方法であって、取得された画像においてフロータを検出するステップと、
その後に取得された画像において、検出されたフロータの位置を追跡するステップと、
その後に治療レーザを発射して前記フロータを治療するために、治療レーザを、前記検出されたフロータの追跡された位置に集光させるステップと、を含む、
方法。
【請求項24】
前記フロータを検出するステップは、画像化システムのコントローラにおいて実行される、請求項２３に記載の方法。
【請求項25】
前記フロータを検出するステップは、画像化システムのコントローラから分離されたリモートサーバで実行される、請求項２３に記載の方法。
【請求項26】
前記その後に取得された画像をバッファリングするステップを更に含む、請求項２５に記載の方法。
【請求項27】
第２の画像化システムを用いて患者の眼のリアルタイム画像を取得するステップを更に含む、請求項２６に記載の方法。
【請求項28】
前記第２の画像化システムは、光コヒーレンストモグラフィ（ＯＣＴ）画像化システムを含む、請求項２７に記載の方法。
【請求項29】
前記フロータの前記追跡された位置に基づいて、前記ＯＣＴ画像化システムが画像化する前記眼の中の位置を調整するステップを更に含む、請求項２８に記載の方法。
【請求項30】
前記ＯＣＴ画像化システムを使用して前記フロータの深度を決定するステップを更に含む、請求項２９に記載の方法。
【請求項31】
前記検出されたフロータの位置を追跡するステップは、第１の画像化システムによってその後に取得された画像を安定させることを含む、請求項２３に記載の方法。
【請求項32】
前記画像を安定化させることは、安定化される動きを決定するために網膜の動きを追跡することを含む、請求項３１に記載の方法。
【請求項33】
コントローラは、フロータの数、
フロータの表面積、
フロータの体積、
フロータの位置、
フロータの不透明度、
フロータの屈折率、
フロータの移動速度、
フロータの移動方向、及び
フロータの濃度、
のうちの１以上を決定する、請求項２３に記載の方法。
【請求項34】
前記フロータを検出するステップは、畳み込みニューラルネットワーク（ＣＮＮ）を使用し、前記ＣＮＮは、第１の画像化システムによって取得された複数（Ｍ個）の画像フレームのシーケンスを入力とし、入力シーケンスの各画像フレーム内のフロータの位置に対応するＭ個のフロータ検出マスクのシーケンスを決定する、
請求項２３に記載の方法。
【請求項35】
前記フロータを検出するステップは、それぞれが注目フレームを含むＭ個の画像フレームの複数の入力シーケンスに前記ＣＮＮを適用して、前記注目フレームについてのフロータ検出マスクをそれぞれ含む複数のフロータマスクシーケンスを提供することと、
前記複数のフロータマスクシーケンスのそれぞれから、前記注目フレームについての前記フロータ検出マスクを合計することと、を含む、
請求項３４に記載の方法。
【請求項36】
前記フロータを検出するステップは、前記フロータ検出マスクの合計に閾値を適用することを更に含む、請求項３５に記載の方法。
【請求項37】
コンピューティングデバイスのプロセッサによって実行されると、前記コンピューティングデバイスを、請求項２３～３６のいずれかに記載の方法を提供するように構成する命令を格納した非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２１２１年１１月３０日に出願された、「SYSTEM AND METHOD FOR DETECTION OF FLOATERS」と題するカナダ特許出願３，１４０，６７８号、及び２０２２年５月６日に出願された、「SYSTEM AND METHODS FOR COMBINED REAL-TIME AND NON-REAL-TIME DATA PROCESSING」と題するカナダ特許出願３，１５７，８１１号の優先権を主張し、これらの全内容は、参照によりその全体が本明細書に援用される。
【0002】
本開示は、眼の状態を検出し及び／又は治療するためのシステム及び方法に関し、特に、フロータ（floaters）としても知られる症候性硝子体混濁（symptomatic vitreous opacities、ＳＶＯ）の検出及び／又は治療に関連するシステム及び方法に関する。
【背景技術】
【0003】
患者の眼における症候性硝子体混濁（ＳＶＯ）は、一般的にフロータと呼ばれ、患者の視覚及び／又は快適性に影響を与える。フロータは、眼の硝子体内で一緒に固まりやすい微細な繊維であり、患者の網膜上に影を落とす。フロータの現在の治療法は、フロータを有する硝子体を除去し、それを溶液で置き換えることを含む。新しい治療法は、レーザを使用して硝子体内のデブリを分解することができる。レーザは、ターゲティングレーザを用いる眼科医によって、デブリに照準を合わせることができる。手作業によるターゲティング処理は、患者の眼内の非フロータ要素を標的にする危険性がある。さらに、手作業によるターゲティングは、既存の技術を使用してターゲティングされ治療されるフロータの最小サイズを制限する。
【0004】
１又は複数の眼の状態の検出及び／又は治療のための、追加的、代替的、及び／又は改良されたシステム及び方法が望まれる。
【発明の概要】
【0005】
本開示によると、患者の眼におけるフロータの治療に使用するためのシステムであって、患者の眼のリアルタイム画像を取得するための第１の画像化システムと、治療レーザを集光して発射するためのレーザ治療システムと、第１の画像化システム及びレーザ治療システムを制御するためのコントローラと、を備えるシステムが提供される。コントローラは、第１の画像化システムによって取得された画像においてフロータを検出し、第１の画像化システムによってその後に取得された画像において、検出されたフロータの位置を追跡し、その後に治療レーザを発射してフロータを治療するために、レーザ治療システムの治療レーザを、検出されたフロータの追跡された位置に集光させるように構成される。
【0006】
本システムの更なる実施形態において、第１の画像化システムは、走査型レーザ検眼画像化システムを含む。
【0007】
本システムの更なる実施形態において、治療レーザは、フェムト秒レーザを含む。
【0008】
本システムの更なる実施形態において、フロータを検出することは、物体検出のための大規模カーネルを使用する機械学習アルゴリズムを用いて行われる。
【0009】
本システムの更なる実施形態において、フロータを検出することは、機械学習アルゴリズムを用いる前に、画像から眼の非フロータ特徴を除去することを更に含む。
【0010】
本システムの更なる実施形態において、非フロータ特徴は、眼の中の静脈を含む。
【0011】
本システムの更なる実施形態において、本システムは、患者の眼のリアルタイム画像を取得するための第２の画像化システムを更に備える。
【0012】
本システムの更なる実施形態において、第２の画像化システムは、光コヒーレンストモグラフィ（ＯＣＴ）画像化システムを含む。
【0013】
本システムの更なる実施形態において、ＯＣＴ画像化システムが画像化する眼の中の位置は、フロータの追跡された位置に基づいて調整される。
【0014】
本システムの更なる実施形態において、ＯＣＴ画像化システムは、フロータの深度を決定するために使用される。
【0015】
本システムの更なる実施形態において、検出されたフロータの位置を追跡することは、第１の画像化システムによってその後に取得された画像を安定させることを含む。
【0016】
本システムの更なる実施形態において、コントローラは、フロータの数、フロータの表面積、フロータの体積、フロータの位置、フロータの不透明度、フロータの屈折率、フロータの移動速度、フロータの移動方向、及びフロータの濃度のうちの１以上を決定する。
【0017】
本システムの更なる実施形態において、フロータを検出することは、畳み込みニューラルネットワーク（ＣＮＮ）を使用し、ＣＮＮは、第１の画像化システムによって取得された複数（Ｍ個）の画像フレームのシーケンスを入力とし、入力シーケンスの各画像フレーム内のフロータの位置に対応するＭ個のフロータ検出マスクのシーケンスを決定する。
【0018】
本システムの更なる実施形態において、フロータを検出することは、それぞれが注目フレームを含むＭ個の画像フレームの複数の入力シーケンスにＣＮＮを適用して、注目フレームについてのフロータ検出マスクをそれぞれ含む複数のフロータマスクシーケンスを提供することと、複数のフロータマスクシーケンスのそれぞれから、注目フレームについてのフロータ検出マスクを合計することと、を含む。
【0019】
本システムの更なる実施形態において、フロータを検出することは、フロータ検出マスクの合計に閾値を適用することを更に含む。
【0020】
本システムの更なる実施形態において、フロータを検出すること及び検出されたフロータの位置を追跡することは、画像においてフロータを検出するために、第１の画像化システムによって取得された画像をリモートサーバに送信することと、その後に第１の画像化システムから取得された画像をバッファすることと、リモートサーバによって画像において検出されたフロータの位置を受信することと、検出されたフロータの位置を、バッファされた画像において追跡することと、を含む。
【0021】
本システムの更なる実施形態において、コントローラは、検出されたフロータの将来の位置を予測するように更に構成される。
【0022】
本システムの更なる実施形態において、本システムは、可視光画像化システムを更に備える。
【0023】
本システムの更なる実施形態において、本システムは、視線ディスプレイを更に備える。
【0024】
本システムの更なる実施形態において、視線ディスプレイは、患者に、フロータの動きに影響を与えるように患者の眼を動かさせるように制御される。
【0025】
本システムの更なる実施形態において、視線ディスプレイは、患者の視覚に対するフロータの主観的な影響を決定するように制御される。
【0026】
本システムの更なる実施形態において、治療レーザを集光させることは、検出されたフロータの少なくとも一部について決定された治療パターンに従ってレーザを集光させることを含む。
【0027】
本開示によると、フロータの治療に使用するための方法が提供される。本方法は、取得された画像においてフロータを検出するステップと、その後に取得された画像において、検出されたフロータの位置を追跡するステップと、その後に治療レーザを発射してフロータを治療するために、治療レーザを、検出されたフロータの追跡された位置に集光させるステップと、を含む。
【0028】
本方法の更なる実施形態において、フロータを検出するステップは、画像化システムのコントローラにおいて実行される。
【0029】
本方法の更なる実施形態において、フロータを検出するステップは、画像化システムのコントローラから分離されたリモートサーバで実行される。
【0030】
本方法の更なる実施形態において、本方法は、その後に取得された画像をバッファするステップを更に含む。
【0031】
本方法の更なる実施形態において、本方法は、第２の画像化システムを用いて患者の眼のリアルタイム画像を取得するステップを更に含む。
【0032】
本方法の更なる実施形態において、第２の画像化システムは、光コヒーレンストモグラフィ（ＯＣＴ）画像化システムを含む。
【0033】
本方法の更なる実施形態において、フロータの追跡された位置に基づいて、ＯＣＴ画像化システムが画像化する眼の中の位置を調整する。
【0034】
本方法の更なる実施形態において、本方法は、ＯＣＴ画像化システムを使用してフロータの深度を決定するステップを更に含む。
【0035】
本方法の更なる実施形態において、検出されたフロータの位置を追跡するステップは、第１の画像化システムによってその後に取得された画像を安定させることを含む。
【0036】
本方法の更なる実施形態において、画像を安定化させることは、安定化される動きを決定するために網膜の動きを追跡することを含む。
【0037】
本方法の更なる実施形態において、コントローラは、フロータの数、フロータの表面積、フロータの体積、フロータの位置、フロータの不透明度、フロータの屈折率、フロータの移動速度、フロータの移動方向、及びフロータの濃度のうちの１以上を決定する。
【0038】
本方法の更なる実施形態において、
【0039】
本方法の更なる実施形態において、フロータを検出するステップは、畳み込みニューラルネットワーク（ＣＮＮ）を使用し、ＣＮＮは、第１の画像化システムによって取得された複数（Ｍ個）の画像フレームのシーケンスを入力とし、入力シーケンスの各画像フレーム内のフロータの位置に対応するＭ個のフロータ検出マスクのシーケンスを決定する。
【0040】
本方法の更なる実施形態において、フロータを検出することは、フロータ検出マスクの合計に閾値を適用することを更に含む。
【0041】
本開示によると、命令を格納した非一時的コンピュータ可読媒体が提供される。命令は、コンピューティングデバイスのプロセッサによって実行されると、コンピューティングデバイスを、前述の方法のいずれかによる方法を提供するように構成する。
【図面の簡単な説明】
【0042】
本開示の更なる特徴及び利点は、添付の図面と組み合わせて考慮される以下の詳細な説明から明らかになるであろう。
【0043】
【図1】フロータの検出及び治療のためのシステムを示す。
【図2】フロータの検出及び治療に使用するための例示的なグラフィカルユーザインタフェースを示す。
【図3】フロータの検出及び表示のための方法を示す。
【図4】フロータの治療に使用するためのレーザを標的とする方法を示す。
【図5】フロータ検出処理を示す。
【図6】更なるフロータ検出処理を示す。
【図7】フロータの治療のための分散型システムを示す。
【図8】フロータの治療に使用されるレーザを標的とするための更なる方法を示す。
【図9】フロータの検出のための分散型システムを示す。
【図10A】フロータを伴う眼の画像を示す。
【図11】ＳＬＯ画像と、対応するＯＣＴ画像とを示す。
【図12】眼内の圧力波のシミュレーション結果を示す。
【図13】フロータの動きに影響を与えるためのレーザの使用を示す。
【図14】視線標的ディスプレイを有する光学デバイスを示す。
【図15】フロータの動きに影響を与えるための視線標的の使用を示す。
【図16】フロータの動きに影響を与えるための視線標的の使用方法を示す。
【図17A】例示的なＳＶＯを示す。
【図18】フロータのナノ粒子媒介レーザ治療についての処理を示す。
【図19】独立したフェイルセーフハードウェアを含む光学システムを示す。
【図20】光学画像化システムを示す。
【図21】フロータを分類する機械学習モデルを訓練するための処理を示す。
【図22】フロータを分類するために訓練された機械学習モデルを使用する光学システムを示す。
【図23】フロータを有する患者を治療する方法を示す。
【発明を実施するための形態】
【0044】
一般的にフロータと呼ばれる、患者の眼の中の症候性硝子体混濁（ＳＶＯ）は、光学的な画像化及び処理技術を使用して検出できる。検出されたＳＶＯは、リアルタイムで検出され、場合によっては追跡可能である。ＳＶＯの検出は、患者の眼の状態の評価、治療オプションの決定、及び／又は治療レーザを用いたＳＶＯの治療に使用される。治療は、１以上のレーザパルスによって引き起こされる光イオン化の処理による、ＳＶＯ又はその一部のアブレーション又は除去又は蒸発又は液化を含み得る。
【0045】
現在の画像化及び標的技術では、フロータが安全な治療領域内にあるか否か、すなわち、網膜又は水晶体に近すぎるか否かを医師に伝える直接的なフィードバックがない。そのため、眼内のフロータを画像化し、治療するのに安全か否かを判断できるシステムが必要とされている。さらに、フロータは眼とは無関係に動いているため、１０００回のレーザパルスをフロータに素早く照射することが重要である。レーザパルスによって発生する衝撃波によってフロータが動く可能性があるため、フロータが動く前に素早くパルスを照射することが望ましい。さらに、現在の技術では、眼／フロータをリアルタイムで３Ｄ画像化することは不可能である。ＯＣＴ技術を用いれば、ボリュームを画像化することは可能であるが、ボリュームスキャンを取得するには、最良の場合でも１秒近くかかる。このように、眼とフロータをリアルタイムで画像化し、検出及び追跡する方法論は、常にその位置を確認し、安全な治療領域内にあるか否かを判断し、最終的にレーザパルスを自動的に素早く正確かつ効果的に照射し、フロータを除去／縮小するために非常に重要である。
【0046】
ＳＶＯの検出及び追跡は、１又は複数の異なる画像化装置を用いて、以下に更に説明するように様々な方法で行われる。例えば、走査型レーザ検眼（ＳＬＯ）画像化装置などの第１の画像化装置は、その中でフロータが見える眼又は眼の一部の画像を取得することができる。ＳＬＯ画像は、実際のＳＶＯの画像を取得するのではなく、網膜上のＳＶＯの影を取得してもよい。第１の画像化装置からの画像は、フロータの位置を部分的に決定可能なＸ－Ｙ画像を提供できるが、フロータの位置に関する深度情報は、第１の画像化装置によって決定されないこともある。フロータのＸ－Ｙ位置／レーザ走査角度は、光コヒーレンストモグラフィ（ＯＣＴ）画像化装置などの、深度情報を取得可能な第２の画像化装置の画像化位置を制御するために使用できる。第１及び第２の画像化装置からの画像により、眼内のフロータの３Ｄ位置が決定可能である。リアルタイムで画像を取得する複数の画像化装置の組合せは、リアルタイムでフロータの３Ｄ追跡を行うことができる。追跡情報は、例えば、フロータの詳細を測定すること、場合によってはレーザでフロータを治療することを含む様々な目的のために使用可能である。このようなレーザは、１～２０ｕＪ／パルス、１０３０ｎｍの中心波長、１ＫＨｚ～２ＭＨｚの繰り返し周波数、１００～３００ｆｓ／パルスのパラメータを有するフェムト秒レーザであってもよい。
【0047】
図１は、フロータの治療のためのシステムを示している。このシステムは、眼１０４として示された患者の眼を画像化するために使用可能である画像化及び治療装置１０２を含む。患者の眼には、１又は複数のフロータ１０６がある。画像化及び治療装置１０２は、図１では単一の装置として示されているが、構成要素は複数の別個の装置に設けられてもよい。２０２１年１０月１５日に出願され、「OPHTHALMOLOGICAL IMAGING AND LASER DELIVERY DEVICE, SYSTEM AND METHODS」と題する国際特許出願第ＰＣＴ／ＣＡ２０２１／０５１４５１は、参照によりその全体が本明細書に組み込まれ、画像化及び治療装置１０２として使用され得る画像化及び治療装置を記載している。画像化及び治療装置１０２は、患者の眼のＸ－Ｙ画像１１０を取得可能なＳＬＯ画像化装置１０８と、患者の眼の深度画像１１４を取得するＯＣＴ画像化装置１１２とを備える。ＯＣＴ画像化装置１１２は、眼内の特定の水平位置において、深度「スライス」画像を取得することができる。両画像化装置１０８、１１２の両方は、複数フレームの画像を取得し、患者の眼のリアルタイムの画像又は動画を提供することができる。画像化構成要素は、２Ｄ光センサを使用して２Ｄ画像を取得する可視画像化装置１１６を更に含むことができる。可視画像化装置は、非コヒーレント光源を使用することができる。図２を参照して以下に更に詳細に説明するように、画像化装置から取得された画像は、グラフィカルユーザインタフェース（ＧＵＩ）を生成する際に使用可能である。
【0048】
画像化及び治療装置１０２は、フロータなどの患者の眼内の特定の場所に照準を合わせて発射可能な治療レーザ１１８を含んでもよい。レーザは、例えばフェムト秒レーザを含む様々な既知の治療レーザの１つであってもよい。例えば、ナノ秒レーザ、ピコ秒レーザ、マイクロ秒レーザ、ミリ秒レーザ、又は連続波（ｃｗ）レーザを含む他のレーザが使用されてもよい。ＳＬＯ画像化装置１０８、ＯＣＴ画像化装置１１０及び治療レーザ１１８は、装置の座標系の１つにおける位置が他の装置の座標系における同じ位置と位置合わせされるように、装置の座標系の全てが光学的に位置合わせされ又は共同登録されるように較正できる。光学的な位置合わせは、異なる画像化装置及び／又は治療装置の光路を、互いに物理的に整列するように調整することによって達成される。共同登録は、対応する位置が同位置になるように異なる光学系の画像又は座標を調整するソフトウェア技術を使用することで達成できる。光学的な位置合わせ及び／又は共同登録は、２１２１年１０月１５日に出願され、「OPTHALMOLOGICAL IMAGING AND LASER DELIVERY DEVICE, SYSTEM, AND METHODS」と題するＰＣＴ公開ＷＯ２１２２／０７７１１７に記載された方法を含む様々な方法で達成できる。ＷＯ２１２２／０７７１１７は、その内容全体が参照により本明細書に組み込まれる。
【0049】
図１には詳細に示されていないが、画像化装置１０８、１１２、１１６の各々及び治療レーザ１１８は、光源、センサなどの光路及び他の構成要素を含むことがわかる。画像化装置及び治療レーザの光路は、全ての装置に共通する光路の少なくとも一部を含んでもよい。例えば、患者の眼前の、光路の最後の部分は、全ての装置に共通であってもよい。
【0050】
画像化システムは、画像化及び治療構成要素の１又は複数の光路内に補償光学系及び／又はレンズ１２２を含んでもよい。図１に示すように、補償光学系／レンズは、全ての画像化構成要素の光路が補償光学系／レンズを通過するように配置されてもよい。しかしながら、補償光学系／レンズは、特定の画像化構成要素の光路内にあるように配置されてもよい。補償光学系／レンズは、ビーム修正によってレーザと組織との間の相互作用を調整するために使用されてもよい。補償光学系／レンズは、波面及び／又は偏光などのレーザ光の１又は複数の特性を変更することができる。波面は、例えば、ガウス波面又は非ガウス波面となるように変更されてもよい。
【0051】
画像化及び治療構成要素の１以上のレーザの偏光は、半径方向の偏光などの様々な偏光を提供するように調整されてもよい。半径方向の偏光は、治療レーザとして使用されるフェムト秒レーザのような、レーザの小さい焦点スポットサイズを提供するのに有用である。さらに、半径方向の偏光は、ビームの中心に力を与えることができ、破片を特定の場所に移動させ又は維持する傾向がある。
【0052】
画像化及び治療構成要素１０８、１１２、１１６及び１１８、並びに補償光学系／レンズ１２２は、患者の頭部の位置／動きの検出及び追跡、眼の位置／動きの検出及び追跡、網膜の追跡、フロータ検出機能１２６、フロータ追跡機能１２８、フロータ経路予測機能１３０及びフロータ治療機能１３２を含む様々な機能を提供するように構成されたコントローラ１２４によって制御可能である。フロータ検出機能、経路予測機能、及びフロータ追跡機能は、同一又は類似の機能によって提供され、又は別個の機能によって提供されてもよい。
【0053】
例えば、フロータ検出機能１２６は、画像処理技術を使用してＳＬＯ画像内のフロータを検出することができる。フロータ、より具体的にはフロータの影の検出は、現在の技術では困難である。現在の物体検出技術は、相対的に鋭いエッジを持つ物体を検出する場合に優れた性能を発揮する。機械学習に基づく物体検出技術は、特徴の抽出／検出に、３×３や４×４のような比較的小さなカーネルサイズのカーネルを使用することができる。取得されたＳＬＯ画像中のフロータは、実際のフロータの影であり、典型的には、鋭いエッジを含まない。フロータの検出を改善するために、例えば８×８、１６×１６、３２×３２以上の比較的大きなカーネルサイズを使用するように物体検出を修正することができる。
【0054】
さらに、フロータの検出は、画像内の他の特徴によって更に複雑になる可能性がある。例えば、眼内の静脈のような特徴は、フロータの検出を困難にする可能性がある。画像内の非フロータ特徴を特定し、フロータの検出を試みる前に、画像内からそれらの特徴を除去又はマスクすることが可能である。非フロータ特徴は、機械学習画像分類技術及び／又は物体検出技術を含む様々な画像処理技術を使用して検出可能である。
【0055】
患者の様々な異なる動きがあり、これらがフロータの検出を複雑にすることがわかるだろう。例えば、フロータは、患者の眼の硝子体の中を移動し、患者の頭部の中を移動する。現在のシステムは、患者の眼の画像を安定させるために、場合によってはソフトウェア処理によって、例えば、網膜の動きを追跡することによって、動きを切り離すことができる。取得された画像を安定させることで、フロータの特定が容易になる。例えば、安定化されていない患者の眼の映像では、静脈、黄斑などの静止した構造を含む眼の映像が動いて見えるため、動いているフロータを識別することが困難になる。静止した構造が静止したままとなるように眼の映像が安定化されると、動いているフロータの識別が容易になり得る。
【0056】
フロータ経路予測機能１３０は、１又は複数のフロータの将来の位置を予測することができる例えば、フロータ追跡は、予測された位置を用いて、将来のフレームにおけるフロータの位置を予測するために使用される。予測された位置は、フロータの検出／追跡及び治療を高速化するために使用される。フロータの速度及び将来の位置は、硝子体内のフロータの運動の流体力学と機械学習予測とを組み合わせた技術を用いて予測できる。眼の運動はフロータの運動に影響を与えるので、機械学習予測器への入力は、ＳＬＯなどの画像化技術又は網膜追跡のための他の技術によって測定される眼の運動を含むことができる。
【0057】
図１には示されていないが、眼をモデル化し、較正装置内に１以上のフロータを含む較正装置が提供されてもよい。較正装置は、装置１０２を較正し、装置が適切に動作していることを確認するために使用される。較正装置内のフロータは、画像化され、画像化システムの寸法を較正するために使用され得る眼内の既知のサイズ、及び位置を有することができる。
【0058】
コントローラ１２４は、フロータ追跡機能１２８をさらに含むことができる。フロータを検出するために使用される画像処理に関する特定の詳細にかかわらず、一旦検出されたフロータは、その後に取得される画像にわたって追跡されてもよい。追跡は、従来の画像処理、又は光学フローなどの追跡技術を用いて行うことができる。これに加えて、又はこれに代えて、追跡は、物体検出と同一又は同様の機能を使用してもよい。従来の技術は、先の追跡からの追加情報を使用するように修正されてもよい。例えば、フロータの追跡は、将来のフレームにおけるフロータの位置を予測するために使用され、予測された位置はフロータの検出／追跡を高速化するために使用される。
【0059】
追跡機能１２８は、ＳＬＯ画像全体にわたって、フロータを撮像するのに必要なフロータのＸ－Ｙ位置／角度スキャンを追跡することができる。ＯＣＴの画像又は複数の画像は、フロータの深度、又はＺ位置の情報を追跡するために使用することができる。フロータの追跡されたＸ－Ｙ位置は、ＯＣＴ画像化装置によって撮像される位置を制御するために使用される。ＯＣＴ画像化装置は、患者の眼の深度全体を画像化するには不十分な深度ウィンドウを提供するため、フロータの深度を検出するためには、様々な深度をカバーする複数のＯＣＴ画像を取得する必要があることがある。一旦検出されると、フロータの深度は、追跡及び予測可能である。予測されたフロータの深さ位置は、ＯＣＴ画像によってフロータが撮像される可能性を高めるために、ＯＣＴ画像の少なくとも初期の画像化深度を制御するために使用される。さらに、隣接する深度スライスの複数のＯＣＴ画像を取得して、フロータの体積全体の深度情報を取得することができる。
【0060】
前述のように、ＳＬＯ及びＯＣＴ画像化装置１０８、１１２は、ＳＬＯ画像化装置のＸ－Ｙ画像平面と、ＯＣＴ画像化装置のＸ－Ｚ、及び／又はＹ－Ｚ又は深度画像平面の両方において、１又は複数のフロータを検出及び追跡するために使用される。Ｘ－Ｙ及びＸ－Ｚ画像平面への言及は説明のためにのみ使用され、他の相対軸及び座標系がフロータの物理的位置に関する情報を提供するために使用され得る。追跡されたフロータの位置は、レーザでフロータを治療するための適切な位置において治療レーザ１１８を標的とするために、コントローラの治療機能１３２によって使用されてもよい。治療レーザを発射する前に、治療機能１３２が潜在的な治療位置の安全性を確認することが可能である。例えば、フロータが網膜の前かつ近くにある場合、治療レーザを発射すると網膜に当たる危険性が大きすぎるため、レーザを発射できないと判断されることがある。これに加えて、又はこれに代えて、治療機能が治療位置の安全レベルに基づいてレーザパラメータを調整することも可能である。例えば、治療位置の近くに他の特徴がない場合、患者の眼に危険をもたらすことなく、治療レーザの出力レベル、又はレーザの発射時間を増加させることが可能である。
【0061】
フロータの画像化、検出、治療及び追跡は、繰り返し実行可能である。すなわち、フロータを検出するために検出処理を継続的に実行することができる。同様に、追跡処理が継続的に実行されてフロータを継続的に追跡することができる。あるいは、検出処理を定期的に実行して、全てのフロータを検出し、検出された各フロータの追跡を開始することができる。定期的な検出は、追跡の更新及び／又は新しいフロータの検出に使用できる。検出が定期的に実行される場合、検出は、フロータを更に小さなフロータに分割するフロータ処理において実行可能である。
【0062】
ＳＬＯ画像又は眼底画像などの眼のＸ－Ｙ画像を取得する第１の画像化モダリティを使用したＳＶＯ、又は、より詳細には網膜上のＳＶＯの影の検出及び追跡は、ＯＣＴモダリティのような深度又はＺ軸情報を取得する第２の画像化モダリティのスキャン経路を制御するために使用できる。画像化の質は画像の用途に依存する。例えば、取得された画像が眼の画像化にのみ使用され、その後、患者の１以上の状態を特徴付けることが可能な場合、画像化はリアルタイムで行われる必要はない。一方、画像化が治療処理の一部として実行される場合、画像化は、リアルタイム又はほぼリアルタイムで完了される必要がある。
【0063】
画像化のみのモードでは、フロータの予測軌跡を考慮して、影よりもわずかに大きいＯＣＴボリュームスキャンを取得することができる。ボリュームのＯＣＴ画像化には例えば約１秒の有限の時間がかかるため、３Ｄボリュームを取得しつつフロータの動きに起因する動きのアーティファクトを除去するために画像の後処理が実行可能である。
【0064】
さらに、ＯＣＴ画像化モダリティとして深度情報を取得する第２の画像化モダリティを説明するが、他の技術を使用することもできる。例えば、硝子体の深度を介してＳＬＯ装置の焦点を掃引することによって、ＳＬＯ画像化装置を使用してフロータの深度情報を取得し、ＳＶＯ自体を画像化することができる。これにより、ＳＬＯ画像化装置のみを使用して、ＳＶＯの深度情報と同様にＸ－Ｙのリアルタイム画像化を提供することができる。ＳＶＯが取得され、かつ焦点が合っているときのＳＬＯ装置の焦点深度に基づいて、深度情報が決定される。さらに、ＳＬＯ画像化は、光源としてフェムト秒治療レーザを用いて行われ、眼の２光子画像化又は多光子画像化を行ってもよい。検出側では、フェムト光源の波長を拒絶し、光源の高調波のみを受け入れることが可能である。例えば、フェムト秒レーザ光源は１０３０ｎｍのレーザ光源であるため、第２高調波は５１５ｎｍとなる。ＳＬＯ画像化装置の光路は、５１５ｎｍの高調波用のバンドパスフィルタを含む。フロータはコラーゲンでできている。コラーゲンは結晶として振る舞い、ＳＬＯによって取得及び可視化される第２高調波を発生させる。コラーゲンと、フェムト秒レーザなどのレーザ光源との相互作用により様々な高調波が生じ、その結果、フェムト秒レーザ光源から生じる第２高調波信号は、硝子体自体と比較して、フロータに対して比較的強くなることがある。
【0065】
第２高調波に加えて、治療レーザ、又は場合によっては画像化レーザと相互作用するフロータのコラーゲンは、赤色シフト又は青色シフトをもたらすことがある。結果として生じる赤色シフト光又は青色シフト光は、フィルタリングされ、適切なセンサによって取得される。センサは、フロータを画像化するために赤色シフト光又は青色シフト光を取得可能なＳＬＯ画像化装置、又は場合によってはフロータ画像化装置１２０である。
【0066】
図２は、フロータの検出、及び、場合によっては、治療に使用するための例示的なグラフィカルユーザインタフェースを示す。図２に示されているように、ＧＵＩ２００は、例えば、Ｘ－Ｙ平面における眼の画像を提供する患者の静的ＳＬＯ画像２０２を含む様々な情報をユーザに提示することができる。ＳＬＯ画像として説明したが、静止画像２０２は、ＳＬＯ以外の技術を用いて取得された眼底画像であってもよい。静止画像２０２は、以前に取得された患者の眼の画像から得られる。静止画像２０２に加えて、ＧＵＩ２００は、様々な画像化モダリティから取得されたライブビデオ又は画像を提供することもできる。図２には、ＯＣＴ画像２０４とライブＳＬＯ２０６とを含む２つの異なる画像化モダリティが描かれている。ＯＣＴ画像は、Ｂスキャンと呼ばれる複数のスキャンラインに沿ったＺ軸キャプチャにおいて深度情報を提供することができる。静止ＳＬＯ画像２０２は、ＯＣＴスキャン画像２０４が取得されたスキャンライン又は経路がどこであるかの表示２０８などの追加情報を含むことができる。静脈、安全でない領域等を場合によっては含む眼の特徴の位置、並びに治療位置及び安全でない治療領域等の他の位置などの追加情報が静的画像上に提示される。
【0067】
ライブＯＣＴ画像２０４は、１又は複数のＳＶＯ２１０を表示することができる。ＳＶＯは、ＳＶＯの周囲にバウンディングボックスを配置すること等を含む様々な方法でハイライトされる。付加的な情報がＯＣＴ画像上に重畳されてもよい。ライブＯＣＴ画像に加えて、ＧＵＩ２００は、ライブＳＬＯ画像、又は眼底画像２０６を提供することもできる。ライブＳＬＯ画像は、付加的な情報を画像に重畳することができる。ライブＳＬＯ画像２０６は、ＳＶＯ２１４、又は網膜上のＳＶＯの影を示すことができる。ライブＳＬＯ画像２０６には、例えばバウンディングボックス２１６又はＳＶＯの他の強調特徴を含む付加的な情報が重畳されてもよい。さらに、ＳＶＯの経路（方向及び速度）２１８がハイライトされてもよい。
【0068】
ＧＵＩ２００は、識別子、サイズ、経路又は軌跡、及び他の関連情報などのフロータの詳細を含む１又は複数のＳＶＯに関する付加的な情報を提供することができる。さらに、ＳＶＯ２２２の３Ｄ表現が提供されてもよい。３Ｄ表現は、ＳＬＯ画像及びＯＣＴ画像の両方を含む複数の画像フレーム及び／又は画像から生成されてもよい。ＧＵＩは、１以上の要素との相互作用を可能にする。一例として、表示されたＳＶＯの１つ以上を選択し、場合によっては、選択されたＳＶＯの生成された３Ｄ表現を含む詳細が提示されてもよい。さらに、ＧＵＩ２００は、検出され追跡されたＳＶＯの１つ以上を治療するための治療開始２２４のような１以上のアクションをユーザが対話し実行することを可能にする１以上の要素を更に含んでもよい。
【0069】
図２には描かれていないが、ＧＵＩは、様々な異なる情報をユーザに提示することができる。例えば、セーフゾーン、即ち、レーザによる治療について安全な眼内のエリア、領域又はゾーンは、ＳＬＯ及び体積測定又はＯＣＴ描写の両方に表示され又は強調表示されてもよい。セーフゾーンは、セーフゾーンの輪郭として提供され、又は、色付きのオーバーレイとして提示されてもよい。これに加えて、又はこれに代えて、ＳＶＯ及び／又は他の特徴は、例えば、ＳＶＯ及び／又は特徴がセーフゾーンの中又は外にあるときに色で覆うことによって、強調表示されてもよい。提示される情報は、フロータに関する情報及び／又は１以上のフロータの特徴、例えば、フロータの数、個々のフロータの表面積、全てのフロータの総表面積、個々のフロータの体積、全てのフロータの総体積、フロータの位置、フロータの不透明度、フロータの屈折率、フロータの移動速度、フロータの移動方向、フロータの濃度等を含んでもよい。
【0070】
さらに、図２に描かれたＧＵＩは、単一のフロータの３Ｄ表現を示しているが、追跡されている１以上のフロータを含む患者の眼の３Ｄ視覚化を提供することも可能である。３Ｄ表現により、ユーザは、特定のフロータが治療に関して安全な位置にあるか否かをより良く理解することができる。
【0071】
専門家によって、表示される情報が異なることを好む場合があることが理解されるであろう。ＧＵＩは、何が表示されるか、及び特定の情報がどこに表示されるかに関し、カスタマイズを可能にする。さらに、ＧＵＩ、又はＧＵＩが相互作用する他の機能は、専門家が表示された情報と相互作用することを可能にする機能を提供することができる。例えば、画像化システムは、高解像度のＯＣＴ画像化装置を使用することができ、ＧＵＩは、専門家がライブＯＣＴ画像上でズームイン及びズームアウトすることを可能にする機能を提供することができる。ＧＵＩは、表示されるＯＣＴ画像の一部を拡大することにより、高解像度ＯＣＴ画像上でズームインすることができる。ＯＣＴ画像が高解像度で取得された場合、表示される画質を著しく低下させることなく、一部を拡大、又はズームインすることができる。ＧＵＩは、「＋」ボタン及び「－」ボタンなど、ズームイン及びズームアウトのためのコントロールを提供することができる。これに加えて、又はこれに代えて、キーボードのキー又はキー及び／若しくはマウスボタンの組合せなどの他の入力によってズーム機能が制御されてもよい。ズームされたディスプレイは、１以上のＳＶＯのより詳細なビューを専門家に提供するのに役立ち、これは患者のＳＶＯを評価し、治療計画を確立する上で望ましい。
【0072】
ＯＣＴシステムによるズームイン／ズームアウトは、ＯＣＴレーザ光源及び検出器及びデジタイザのモードを制御することによっても達成できる。例えば、レーザ光源の波長帯域幅を変えることにより、解像度を制御することができる。しかし、波長帯域幅を広げると、同じスキャン速度を維持するために、より多くのサンプリングを行う必要がある。したがって、システム内のデジタイザの制限を満たすために、スキャン速度を制御する必要がある。さらに、ＯＣＴの画像化ウィンドウを広げることによって、より多くのサンプルを同時に取得する必要がある。そのため、波長帯域幅を減らし、又はスキャン速度を減少させる。一例として、ＯＣＴシステムには、いくつかの設定済みの画像化モードが伴うことがある。例えば、モード１（治療用画像化）：大きな画像化ウィンドウ（例えば水中で１０ｍｍ）、低分解能、及び１００ｋｈｚの低スキャン速度。モード２（治療モード）：短いウィンドウ（例えば水中で４ｍｍ）、高解像度、及び２４０ｋｈｚの高速スキャン。モード３（画像化のみ）：大きな画像化ウィンドウ（例えば水中で１０ｍｍ）、高解像度、２４０ｋｈｚの高速。
【0073】
ＳＬＯガルボ共振スキャナのスキャンパターンを制御することにより、ＳＬＯ上でズームイン及びズームアウトが実行されてもよい。
【0074】
図３は、フロータの検出及び表示のための方法を示している。方法３００は、図１に示されているような装置で実行され、又は、様々な構成要素を有する他の装置によって提供されてもよい。方法３００は、患者の眼の静的ＳＬＯ画像又は眼底画像を生成して表示する（３０２）。静止画像を生成することは、静止画像上に情報のオーバーレイを生成することを含み得る。表示用の静止画像の生成に加えて、リアルタイムのＳＬＯ画像が生成され、表示される（３０４）。リアルタイムＳＬＯ画像又は眼底画像は、リアルタイムＳＬＯ画像からＳＶＯ位置を決定及び追跡するために使用され（３０６）、決定されたＳＶＯ位置は、次に、ＯＣＴスキャン位置／パターンを決定するために使用される（３０８）。特定のＯＣＴスキャンは、ＳＬＯ画像中のＳＶＯの特性にも基づくことができる。例えば、ＳＬＯの中のＳＶＯの暗い領域はより重要であると考えられ、したがってＳＬＯ画像の暗い領域でより多くのスキャンが実行される。ＯＣＴスキャンは、表示され（３１０）、ＳＶＯの深度情報を得るために使用される（３１２）。方法３００で表示されるＧＵＩは、静的ＳＬＯ画像上にＯＣＴスキャン経路を表示し、ライブＯＣＴスキャン及びＳＬＯ画像の両方においてＳＶＯを強調表示することができる。ＧＵＩは、ＳＶＯを追跡しながら表示するために使用可能である。ＳＶＯは、ＳＶＯを分解するためにレーザで処理されてもよい。ＳＶＯは、３Ｄ体積表現を生成するようにＯＣＴでスキャンされてもよい。
【0075】
図４は、フロータの治療に使用するためのレーザを標的とする方法を示している。方法４００は、画像においてフロータ（４０２）を検出することから始まる。画像は、患者の眼の平面を取得し、画像は、例えばＳＬＯ画像又は通常のカメラ画像である。ＳＬＯ画像からのフロータ検出は、フロータの位置を特定するが、深度情報は含まない。フロータの位置が検出されると（４０２）、複数の画像にわたってその位置を追跡可能である（４０４）。フロータ追跡（４０４）は、深度情報を含むフロータの位置を提供する。フロータ追跡は、第１の画像化装置（すなわちＳＬＯ画像化装置）と第２の画像化装置（すなわちＯＣＴ画像化装置）の両方を用いて撮像された画像を用いることができる。フロータの位置が追跡されると、追跡された位置にレーザを照準することによって、フロータを治療することができる（４０６）。
【0076】
フロータ検出（４０２）は様々な方法で行うことができる。例えば、図４に描かれているように、検出は、ＳＬＯ画像中の非フロータ特徴を検出し、除去し、又はマスクすることから始まる（４０８）。非フロータ特徴は、例えば眼の静脈又は他の自然な構造である。非フロータ特徴は、画像認識機能を使用して検出されてもよい。非フロータ特徴が除去又はマスクされた画像は、フロータを検出するために機械学習（ＭＬ）物体検出を用いて処理される（４１０）。非フロータ特徴は、２０２２年１０月２１日に出願された「FAST RETINA TRACKING」と題するＰＣＴ特許出願ＰＣＴ／ＣＡ２０２２／０５１５５６に記載されているような高速網膜追跡を利用することによって識別可能である。「FAST RETINA TRACKING」は、その内容全体が参照により本明細書に援用される。「FAST RETINA TRACKING」では、背景の網膜画像は、網膜を「静止」させるために、ファストトラッカ情報を使って補正される。フロータは網膜とは無関係に動くので、検出アルゴリズムによって識別できる。
【0077】
ＭＬ物体検出は、ディープラーニングモデル、ニューラルネットワーク、及び他のモデルアーキテクチャを含む、様々なＭＬモデルを使用することができる。これらのモデルは、広範な訓練処理を使用して訓練される。物体検出は、教師なし、半教師あり、又は完全教師ありであってもよい。フロータ検出は、典型的には特徴検出／識別のために比較的小さなカーネルに依存する既存のＭＬ物体検出処理に基づいてもよい。ＭＬ物体検出は、例えば１６×１６、３２×３２又はそれ以上の比較的大きなカーネルサイズを使用するように変更されてもよい。カーネルサイズを大きくすることで、画像内のエッジが明確に規定されていないフロータ又はフロータの影の検出が改善される。
【0078】
ＳＬＯ 画像においてフロータの初期位置が検出されると、その位置は、ＳＬＯ画像の複数のフレームにわたって追跡される。ＳＬＯ画像におけるフロータの位置の追跡に加えて、フロータの深度を追跡するためにＯＣＴ画像上でも追跡が実行されてもよい。追跡は様々な方法で行うことができる。描かれているように、追跡はＳＬＯ画像フレームを安定化させることから始まる（４１２）。安定化は、様々なフレームにわたって眼内の静止した特徴を登録することによって行われる。これに加えて、又はこれに代えて、安定化は、網膜又は眼の特徴を追跡することによって決定される眼の動きに基づいてもよい。非フロータ特徴は、２０２２年１０月２１日に出願された「FAST RETINA TRACKING」と題するＰＣＴ特許出願ＰＣＴ／ＣＡ２０２２／０５１５５６に記載されているものを含む様々な技術を用いて行うことができる。「FAST RETINA TRACKING」は、その内容全体が参照により本明細書に援用される。フロータは、オプティカルフローなどの既知の技術を使用して、安定化画像の異なるフレームにわたって追跡される（４１４）。さらに、追跡は、追跡処理を加速するために、例えば、現在のフレームにおけるフロータの可能性の高い位置を予測するために、以前の追跡情報を利用することができる。ＳＬＯ画像フレームにおいて追跡されたフロータの位置により、ＯＣＴ画像化位置は、フロータの位置で深度ストリップを取得するように調整される（４１６）。ＯＣＴ画像化位置が調整された状態で、ＯＣＴ画像化は、フロータの深度を決定するために処理され得る１以上のＯＣＴ画像を取得することができる（４１８）。ＯＣＴ画像化装置は、特定のウィンドウ深度サイズにわたって深度スライス画像を取得することができるのみであり、これでは患者の眼の深度全体をカバーできないことがある。したがって、単一のＯＣＴ画像はフロータを捕捉しないことがあり、そのようなものとして、深度ウィンドウは、フロータが捕捉されるまで調整される。ＯＣＴ画像化装置は、焦点深度を調整し、フロータがＯＣＴ画像において検出されるまでウィンドウ深度を変更することを可能にする。フロータの深度は、その後のＯＣＴ画像化の開始深度として使用されてもよい。
【0079】
フロータの深度及び位置が追跡されると、フロータを治療することができる（４０６）。フロータは様々な方法で治療されるが、図示のように、治療はレーザを使用して実行される。治療は、フロータの追跡された位置／深度に治療レーザを照準すること（焦点を合わせることを含む）を含む（４２０）。標的の位置でレーザを発射することの安全性を確認し（４２２）、治療位置が安全である場合、レーザはフロータに発射され（４２４）、フロータを破壊／アブレート／液化／気化／アブレート／光イオン化することができる。標的の安全性を確認することは、レーザによって損傷を受け得る眼の他の特徴との近接性を決定することを含む。特徴がレーザの経路内にある場合、又はレーザの経路から閾値距離内にある場合、その位置は治療にとって安全でないと判断される。理解されるように、フロータは眼内で移動しているため、フロータが治療のための「安全な」場所にあると判断されるまで追跡が継続される。治療位置の安全性の検証は、治療レーザの出力及び持続時間などの他の要因だけでなく、眼の他の特徴に対する治療位置を考慮することができる。さらに、動的安全領域も考慮する必要がある。眼内の部位は、最小の印加時間の間隔をあけたレーザパルスに耐えることができ、／又は最大数のレーザパルスに耐えることができる。眼内の特定の領域に向かってレーザパルスを照射することによりフロータが移動するため、フロータがそれらの領域に戻ると、それらの領域は永久的又は一時的に安全でないと考えられる。
【0080】
図５は、フロータ検出処理を示している。この処理は、ＦＰＧＡ（Field Programmable Gate Array）若しくはＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア、又は、ＦＰＧＡ、ＡＳＩＣ、プロセッサ、マイクロプロセッサ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのハードウェア上で実行されるソフトウェアによって実装される。処理５００は、畳み込みニューラルネットワーク（ＣＮＮ）５０２を使用して、一連のＳＬＯ画像５０４を処理する。ＣＮＮ５０２は、フロータの検出された位置を提供するマスクのシーケンス５０６を出力する。このシステムは、完全教師あり方式で訓練され、その際、訓練正解標的は、フロータが注釈される手動注釈済みＳＬＯ画像で構成される。撮影された画像内のフロータは、一般的にピントが合っておらず、眼の正面に近いほどその傾向が強く、エッジは非常にぼやけており、典型的に低いコントラストを提供する正にぼんやりとしたグラデーションとなる。従来の画像追跡及び物体検出は、一般的に（ｉ）時間経過と共に追跡される高コントラストの領域であるランドマーク、又は（ｉｉ）エッジのいずれかに依存する。フロータの検出では、注目領域は、視神経乳頭などのＳＬＯの他の特徴と比べても非常にコントラストが低く、明確なエッジもない。したがって、従来の画像追跡処理は、フロータを検出／追跡するときに失敗する傾向がある。
【0081】
検出処理５００は、Ｕ－Ｎｅｔに類似した構成の畳み込みニューラルネットワーク５０２を使用する。ＲＧＢなどの画像の個々のカラーチャネルを入力として使用するのではなく、ＣＮＮ５０２への入力は、解像度Ｗ１×Ｈ１の画像をＭチャネル含む。ここで、Ｍは、ＳＬＯシーケンスのフレーム数である。したがって、入力は、ＳＬＯ画像化装置によって撮像された各１チャネルのフレームのシーケンスとみなすことができる。出力は、フロータの位置を示すセグメンテーションマスク５０６を含む。出力マスクは、Ｍ個のチャネルを有する。各チャネルの解像度はＷ２×Ｈ２であり、入力解像度Ｗ１×Ｈ１と同じである必要はない。
【0082】
ＣＮＮモデルは、フロータがラベル付けされたＳＬＯ画像シーケンス／動画の集合で訓練される。畳み込み層のカーネルは、フロータに特有の大きな特徴サイズの検出に対応するため、８×８、１６×１６、３２×３２など、ＣＮＮで一般的に見られるよりも大きなサイズを有してもよい。
【0083】
図６は、更なるフロータ検出処理を示す。前述のフロータ検出処理５００の精度を高め、調整可能な「感度」メトリックを有するために、処理６００は、複数の画像シーケンス６０２を使用して、単一のフレーム内のフロータを識別する。例えば、フレームＮ＝２０、Ｍ＝６のシーケンス長のフロータを検出するために、フレーム２０上のフロータ検出は、フレーム１７～２２、フレームシーケンス１８～２３等を含むフレームのシーケンスで実行される。これらのシーケンスの各々は、ＣＮＮ６０４を使用してフレーム２０のフロータマスク予測を生成する。これは、図５において前述したものと同じであってもよい。フレーム２０を含むフレームシーケンスの一部又は全部にわたって予測することによって、多数の予測マスクシーケンス６０６が得られる。各シーケンスは、注目フレーム、すなわちフレーム２０のマスクを含む次に、注目フレームのマスクが加算される（６０８）。例えば、画像の５つのシーケンスが使用され、フレーム２０に対する５つの異なる予測マスクが得られる。各マスクが０から１の範囲の値で構成される場合、マスクの合計は０から５の範囲となる。次に、感度閾値６１０が０から５の間で指定され、誤検出などの性能パラメータを微調整し、注目フレームに対して平滑化されたフロータマスク６１２を出力することができる。あるいは、乗算、又はニューラルネットワークなどの方法を使用して、複数のマスクが合成される。
【0084】
機械学習に基づくフロータ検出は、古典的な追跡方法と組み合わされてもよい。前述のようにＭＬモデルを使用してフロータを検出した後、予測された位置は、オプティカルフローなどの物体追跡のための古典的な画像処理に基づくアプローチに引き継がれる。古典的な画像処理に基づく物体追跡装置において予測された動きは、その後のＭＬに基づくフロータ検出のための探索領域を制限するために使用される。これに加えて、又はこれに代えて、古典的な画像処理に基づく物体追跡装置が検出されたフロータに対して起動された後、ＭＬに基づく検出方法は、フロータの位置を再推定し、継続的な追跡精度を保証するために定期的に起動される。
【0085】
図７は、フロータの治療のための分散システムを示す。分散システムの全てのあり得る構成要素が図７に描かれているわけではないことに留意しなければならない。例えば、装置７０２は、光学画像化構成要素、追加のセンサ、補償光学／レンズ又は他の構成要素などの更なる構成要素を含んでもよい。前述のフロータ画像化及び治療装置は、フロータを検出し、追跡し、治療する単一のコントローラを有するものとして説明された。画像処理技術は、フロータのリアルタイムの追跡及び治療を可能かつ実用的にするために、十分に迅速に実行するために大量の処理を必要とし得る。システム７００は、画像処理に必要な処理要件を提供するために、リモートサーバ、又は他のリモート処理デバイスを使用することができる。リモート処理は、より速く、又は、より改善された画像処理を可能にするが、追加の通信及び場合によっては処理時間が、フロータのリアルタイムの検出及び追跡を提供することを困難にする。前述のシステム７００は、検出／追跡を可能にするために画像バッファを利用する。システム７００は、前述のフロータ画像化及び治療装置１０２に類似しており、そのような類似の要素についてはこれ以上詳細に説明しない。
【0086】
システム７００は、取得された画像を、処理のために通信ネットワーク７３０を介してリモートサーバ７２８に送信することができる。リモートサーバ７２８は、画像検出機能７２０を提供する。画像検出機能７２０は、フロータ検出を実行し、その結果を画像化及び治療装置７０２に返す。検出されたフロータの位置情報をリモートサーバから受信する際に遅延が発生することがあり、この場合、検出された位置は、最新の画像における後続の追跡において使用するには不適当となる。この遅延に対処するために、本装置は、検出のためにリモートサーバに画像を送信した後に取得した画像を一時的に保存できる画像バッファを使用する。リモートサーバ７２８から検出結果を受信すると、バッファされた画像が、検出された位置から現在の画像フレームまでフロータを追跡するために使用される。コントローラ７１８は、前述の追跡１２２と実質的に類似する追跡機能７２２を使用できるが、追跡は、バッファされた画像上で実行されてもよい。追跡は、比較的速く実行され、これにより、バッファされた画像にわたる追跡は、現在のフレームまで「早送り」され、又はリアルタイムよりも速く実行され、追跡は、リアルタイムで継続される。 このような「早送り」処理は、２０２２年５月６日に出願された「SYSTEM AND METHODS FOR COMBINED REAL-TIME AND NON-REAL-TIME DATA PROCESSING」と題するカナダ特許出願３，１５７，８１１に記載されており、その内容は参照により完全に本明細書に援用される。
【0087】
画像化及び治療装置７０２、及び／又はリモートサーバ７２８は、１又は複数の他のサーバと通信することができる。１又は複数の他のサーバは、画像及び患者データ７３２のためのストレージ、及び他の機能と統合可能なサードパーティサービスを提供することができる。
【0088】
上記では、検出がリモートサーバで行われると説明したが、検出がリモートサーバで行われない場合であっても、同様のバッファ及び早送り追跡を使用することができる。すなわち、実行された検出処理に時間がかかり、現在の画像において検出された位置を追跡の開始点として使用することが困難又は不可能な場合、画像をバッファし、その後、バッファされた画像にわたって検出された位置の追跡を早送りする同様の処理が適用されてもよい。
【0089】
図８は、フロータの治療に使用するレーザを照準するための更なる方法を示す。方法８００は、検出された位置を初期追跡位置として使用することを困難にする時間の長さを要する検出処理を使用して、初期検出位置からフロータ位置を追跡するために使用される。方法８００は、ＳＬＯ画像などの初期画像をフロータ検出機能に渡す（８０２）。フロータ検出機能は、ローカル又はリモートで実行される。初期フロータ位置が決定されると、新たに取得されたＳＬＯ画像フレームがバッファされる（８０４）。検出されたフロータの位置は受信され（８０６）、その後、バッファされた画像全体にわたってフロータの位置を追跡するための初期位置として使用される（８０８）。バッファされた画像にわたるフロータの追跡は比較的迅速に実行することができ、これによりバッファされた画像にわたる追跡が現在取得された画像に追いつくことができる。このような処理は、２０２２年５月６日に出願された「SYSTEM AND METHODS FOR COMBINED REAL-TIME AND NON-REAL-TIME DATA PROCESSING」と題するカナダ特許出願３，１５７，８１１に記載されているような技術を用いて実行することができる。
【0090】
図９は、フロータ検出のためのシステムを示している。分散システムの全てのあり得る構成要素が図９に描かれているわけではないことに留意しなければならない。例えば、装置９０２は、光学画像化構成要素、追加のセンサ、補償光学／レンズ又は他の構成要素などの更なる構成要素を含んでもよい。システム９００は、図１及び図５を参照して説明したものと同様である。同様の特徴及び機能については、再度詳細に説明しない。システム９００は、第１の（すなわちＳＬＯ）画像化装置１０８、及び第２の（すなわちＯＣＴ）画像化装置１１２を含む画像化及び治療装置９０２を含んでもよい。しかしながら、図１及び図７の装置とは異なり、装置９０２は、フロータ治療レーザ１１６を省略することができ、同様に、コントローラ９１８は、治療機能１２４を省略することができる。コントローラは、フロータの検出及び追跡をそれぞれ行うローカル検出機能９２０ａ及び場合によってはローカル追跡機能９２２ａを含むことができる。ローカル検出及びローカル追跡は、通信ネットワーク９３０を介して装置９０２と通信しているリモートサーバ９２８によって提供されるリモート検出機能９２０ｂ及びリモート追跡機能９２２ｂと連動し、又はこれらによって置き換えられる。サーバは装置から離れているが、装置９０２から物理的に離れている必要はない。コントローラはまた、画像フレームバッファ９２６と、バッファ９２６内のバッファされた画像にわたって検出された位置からフロータを追跡するための早送り追跡機能９２８とを含むことができる。
【0091】
以上、フロータを追跡し、追跡された位置を治療レーザの照準に使用することを説明したが、追跡されたフロータ情報を他の目的に使用することも可能である。例えば、フロータの画像及び位置は、１以上のフロータに関する特性を識別及び／又は決定するために処理されてもよい。この情報は、例えば、フロータの数、個々のフロータの表面積、全てのフロータの総表面積、個々のフロータの体積、全てのフロータの総体積、フロータの位置、フロータの不透明度、フロータの屈折率、フロータの移動速度、フロータの移動方向、フロータの濃度などを含む。これらの特性は、例えば、患者のフロータ状態の重症度を決定すること、適切な治療紹介経路を決定すること、フロータをレーザで治療することに成功する可能性を決定すること、治療及び診断目的のための機械学習モデルを訓練すること等を含む様々な目的のために使用可能である。
【0092】
図１０Ａは、フロータを有する眼の画像を示している。キャプチャされた画像は、ＳＬＯ画像化装置から取得された単一フレーム画像である。画像１０００は、網膜、静脈等の眼の追加的な特徴と共に、少なくとも１つのフロータを含む。図１０Ｂは、フロータが識別された図１０Ａの眼の画像を描写する。フロータは、バウンディングボックス１００２で識別される。その位置は、ＯＣＴ画像化装置の画像化位置を制御することに使用される。例えば、深度スライスは、線１００４ａ、１００４ｂによって識別される領域の間でＯＣＴ画像化装置によって取得される。
【0093】
図１１は、ＳＬＯ画像と、対応するＯＣＴ画像とを示している。ＳＬＯ画像１１０２は、眼又は眼の一部のＸ－Ｙ画像を提供する。フロータ、又はフロータの影が画像内で検出され、フロータを撮像するＯＣＴ画像化のためのスキャン経路が決定される。スキャン経路は、図１１にバウンディングボックス内の対角線として描かれている。ＳＬＯ画像から決定されたスキャン経路は、ＯＣＴ画像化装置のスキャン位置を制御するために使用される。ＯＣＴ画像化装置は、スキャン経路に沿って深度情報を取得する。ＯＣＴ画像化装置は、スキャン経路に沿って、ｂスキャン画像と呼ばれることもある深度画像１１０２を取得することができる。ＯＣＴ画像化装置は、眼又は硝子体の深度全体を一度に取得できないことがある。例えば、ＯＣＴ画像１３０２の中に取り込まれた深度は２ｍｍである。ＯＣＴ画像化装置が取得する眼内の２ｍｍの深度は、画像化装置の焦点を調整することによって調整される。フロータは、図１１に示されているように、ＯＣＴ画像内で検出される。ＯＣＴ画像内でフロータが検出されない場合、スキャン経路に沿って様々な深度で眼を画像化するように撮像深度を調整することができる。ＳＬＯ画像１１０２及びＯＣＴ画像１１０４の両方でフロータが検出されると、フロータの３次元位置を決定することができる。フロータに加え、画像１１０２、１１０４は、眼の構造又は他の特徴の位置を決定するために使用されてもよい。例えば、静脈はＳＬＯ画像内ではっきりとわかる。さらに、網膜の表面は、ＯＣＴ画像の下部に見られる。眼内の検出又は識別された網膜などの構造は、治療レーザ又は画像化レーザの安全要件を設定又は規定するために使用されてもよい。例えば、網膜の１ｍｍ内にレーザを集光することは望ましくないかもしれない。図１１は、網膜の表面への近さに基づく安全又は安全でない領域を示しているが、より複雑な安全領域を規定することも可能である。例えば、レーザは、特定の出力レベル又は持続時間以下であれば、網膜から１ｍｍ未満の一定の距離内に集光されてもよいが、出力又は持続時間に関係なく、より厳しい閾値内にレーザを集光することはできない。
【0094】
以上、ＳＶＯの検出、追跡、及び可能な治療のためのシステム及び方法について説明した。ＳＶＯをリアルタイムで追跡することにより、ＳＶＯを治療レーザの照準とすることができ、ＳＶＯのサイズを縮小することができる。ＳＶＯのリアルタイムの追跡、標的化及び治療は、ＳＶＯの動きによって複雑になり得る。以下に更に説明するように、ＳＶＯの動きを制御し、又はＳＶＯの動きに少なくとも影響を及ぼすために、様々な技術が採用されてもよい。
【0095】
図１２は、眼内の圧力波のシミュレーション結果を示している。圧力波は、例えば顎骨上に配置される骨トランスデューサを使用して眼内に伝達される。骨伝導は、眼内に通る比較的低い周波数の波を使用し、眼の硝子体液内に圧力波を発生させる。これに加えて、又はこれに代えて、眼内の圧力波は、眼に直接的又は間接的に結合されたトランスデューサによって提供されてもよい。例えば、超音波トランスデューサは、患者の眼の角膜に結合される。眼に結合されたトランスデューサは、より高い周波数の音波を患者の眼に供給することができる。図１２に示されているように、圧力波は、患者の眼１２０６内に高圧領域１２０２と低圧領域１２０４を提供することができる。高圧領域は、眼内の低圧領域に向かってＳＶＯを押す傾向がある。ＳＶＯは依然として硝子体液内で移動することができるが、ＳＶＯが低圧領域に移動する傾向があるため、ＳＶＯの動きが低減されることがある。これは、ＳＶＯが治療レーザによって安全に標的化され得る領域内に留まる時間を増加させることによって、ＳＶＯを治療する能力を向上させる。
【0096】
前述のように、硝子体液内の圧力波は、ＳＶＯの移動に影響を与えるために使用される。圧力波は、ＳＶＯの動きに影響を与えるのに有用であるが、場合によっては前述の圧力波の使用と組み合わせて、追加の技術が使用されてもよい。
【0097】
図１３は、視線標的ディスプレイを備えた光学デバイスを示している。分散システムの全てのあり得る構成要素が図１３に描かれているわけではないことに留意しなければならない。例えば、装置１３０４は、光学画像化構成要素、追加のセンサ、補償光学／レンズ又は他の構成要素などの更なる構成要素を含んでもよい。装置１３０４は、前述の装置と同様であってもよい。装置１３０４は、ＳＬＯ画像化システム１３０６、ＯＣＴ画像化システム１３０８などの１又は複数の異なる画像化システム、及び治療レーザ１３１０を含んでもよい。画像化システム及び治療システムに加えて、装置１３０４は、視線標的ディスプレイ１３１２を更に含む。装置は、画像化システム及び治療システム並びに視線ディスプレイ１３１２を制御するために使用されるコントローラ１３１４を含む。コントローラ１４１４は、患者の眼の動きを制御するために視線標的ディスプレイ１３１２を制御することができる視線制御機能１３１６を提供する。視線制御は、ＳＶＯを検出し追跡するために、画像化システムからの情報を使用することができる。この追跡情報は、ＳＶＯの経路を予測し、ＳＶＯの動きを妨げることができる眼球運動を決定するために使用されてもよい。
【0098】
視線制御機能１３１６は、患者が標的を見ると仮定して、ＳＶＯの動きを少なくとも部分的に妨げる方法で患者の眼を動かすために動く標的を生成する。標的の位置と動きは、患者の眼の特定の動きを誘発するように動くようにプログラムされる。これは所望の眼球運動を達成するために使用され、予測可能で望ましい運動を関心のあるフロータに引き起こすように計算される。次に、生成された標的は、例示的な標的ディスプレイ１３１８によって描かれるように、視線標的ディスプレイ１３１２上に表示されてもよい。標的ディスプレイ１３１８は、患者が追う動く標的「Ｘ」を提供するように描かれている。複数の標的がディスプレイ１３１８に描かれているが、決定された方法で時間と共に移動する単一の標的を描くことが意図されている。
【0099】
ディスプレイ１３１８は、眼が画像化されている間に患者に表示される画面を提供し、様々な目的に使用される。ディスプレイは、患者にとって症状のある又は煩わしい特定のフロータを識別するために使用される。ディスプレイは白いスクリーン又はグリッドを表示することができ、フロータを患者により見やすくすることができる。医師は、ユーザインタフェースを使用して、システムによって追跡されているフロータを選択することができる。フロータは、ＯＣＴライトを使用することで患者の視界内で強調表示されてもよいし、又は画面の一部を変更することによって強調されてもよい。この技術を使うことで、患者は、医師が正しいフロータを選択できるように素早く誘導することができる。これは、フロータの診断及び治療の両方に使用可能である。ディスプレイを使用してユーザに読むべきテキストを提示することを含むその他の技術は、患者にとって症状のある又は煩わしい特定のフロータを識別するために使用されてもよい。読む速さ、又は読む能力は、読まれているテキストの患者の視界内にある、追跡されているＳＶＯの重症度の指標として使用可能である。
【0100】
図１４は、フロータの動きに影響を与えるための視線標的の使用を示している。ＳＶＯ１４０６を有する硝子体１４０４を有する眼１４０２が描かれている。ＳＶＯ１４０６は、矢印１４０８によって描写されているように、硝子体液内で移動する。図１４には描かれていないが、ＳＶＯの位置は、前述のように１以上の画像化システムを用いて追跡可能である。追跡されたＳＶＯは、ＳＶＯを破壊するために、そうでなければそのサイズを縮小するために、治療レーザによって標的化される。
【0101】
視線標的１４１０は、矢印１４１４によって描写されるように視線標的ディスプレイ内で動かされる標的１４１２と共にユーザに表示される。標的１４１２は、ＳＶＯの動きを妨げるように動かされる。患者が視線標的１４１２を追うと、硝子体液は、矢印１４１６によって描かれたのと同様の方向に移動させられる。視線標的に続く患者の眼の動きによって引き起こされる硝子体液の動きは、ＳＶＯ１４０６の動きを少なくとも部分的に妨げることができる。
【0102】
図１５は、フロータの動きに影響を与えるために視線標的を使用する方法を示す。方法１５００は、装置の様々な構成要素によって実行され得る。本方法は、部分的に光学デバイス上で実行され、部分的に光学デバイスと通信する他のコンピューティングデバイスによって実行され得ることがわかる。
【0103】
方法１５００は、ＳＶＯの動きを決定する（１５０２）。ＳＶＯの動きを決定することは、例えば、ＳＶＯを検出して追跡し、追跡に基づいて、その動き及び場合によっては予測される将来の動きを決定することによって行われる。検出及び追跡及びそれに続く将来の動きの予測は、場合によっては、古典的な演算アプローチ及び／又は特定のタスクを実行するように訓練された機械学習モデルを使用して、別個の構成要素によって実行され得る。これに加えて、又はこれに代えて、検出、追跡、及び将来の動き予測の１又は複数は、単一の構成要素にまとめられてもよい。例えば、単一の機械学習モデルがＳＶＯを識別するために訓練され、１以上のモダリティの一連の画像に基づいてＳＶＯの将来の動きを予測してもよい。ＳＶＯの動きが決定されると、ＳＶＯの動きを少なくとも部分的に妨げる眼の動きが決定される（１５０４）。妨害運動の決定は、様々な方法で行われ得る。例えば、眼の既知の運動は、硝子体液の運動と相関し、この運動はＳＶＯ運動に対する影響を推定するために使用される。これに加えて、又はこれに代えて、眼球運動及びＳＶＯ運動への影響は、ＳＶＯ運動を妨げることができる眼球運動モデルを生成するために、様々な患者及びＳＶＯにわたって測定される。眼球運動が少なくとも部分的にＳＶＯ運動を妨げるように決定されると、所望の眼球運動を達成するために、視線標的がユーザに表示される。
【0104】
視線標的ディスプレイは、所定のパターンで患者に眼を動かさせるために操作され、１又は複数のＳＶＯの運動の効果が監視される。この情報は、ＳＶＯの動きを妨げるために可能な眼球運動を決定するために使用されてもよい。ＳＶＯの動きに対抗するのではなく、視線ディスプレイは、患者が頭／目を動かすパターンを誘導するために使用され、これにより、適切なフロータが画像及び治療視野に入るようになる。さらに、視線手順のシーケンスは、フロータの全て、又は実質的に全てが検出されることを可能にするように提供されてもよい。さらに、特定のシーケンス並びに視線の速さ及び視線の変化の振幅を使用して、硝子体内のフロータの位置（すなわち、網膜からの距離）、動きの速さ、不透明度、密度などのようなＳＶＯの付加的な測定値／特性を抽出することができる。
【0105】
また、視線標的ディスプレイは、ＳＶＯの動きに影響を与える以外の他の目的のためにも使用されてもよい。例えば、視線標的ディスプレイは、患者が読むためのテキストを提示することができる。患者の視覚は、同時に追跡され得るＳＶＯによって影響を受けるため、表示されたテキストを読む能力は、患者の視覚を不明瞭にしている追跡されているＳＶＯに相関する。すなわち、視線ディスプレイは、ＳＶＯの重症度に関する患者からの主観的な情報を収集し、特定のＳＶＯに相関させるために使用され得る。すなわち、視線ディスプレイは、患者が見ているものと医師が見ているものとの相関関係を提供するために使用できる。これは、現在課題となっている、患者にとって煩わしいフロータを正確に識別するのに役立つ。
【0106】
ＳＶＯの重症度、又はＳＶＯが視力に及ぼす影響について患者から収集された主観的な情報は、ＳＶＯの重症度に基づいてＳＶＯの画像、場合によってはＳＬＯ及びＯＣＴの両方のモダリティを分類するＳＶＯ分類器を訓練するために、ＳＶＯの様々な画像モダリティと組み合わされる。
【0107】
図１６は、フロータの動きに影響を与えるためのレーザの使用を示している。前述のように、画像化及び治療装置は、例えばフェムト秒レーザを治療レーザとして使用する治療レーザを含むことができる。治療レーザを使用してＳＶＯを標的にし、場合によってはＳＶＯを分割するか、又はサイズを縮小することに加えて、治療レーザは、ＳＶＯの動きを制御するか、又は少なくとも動きに影響を与えるために使用される。
【0108】
ＳＶＯ１６０６を有する硝子体１６０４を有する眼１６０２が描かれている。ＳＶＯ１６０６は、矢印１６０８によって描写されるように、硝子体液内で移動する。図１６には描かれていないが、ＳＶＯの位置は、前述のように１以上の画像化システムを用いて追跡可能である。追跡されたＳＶＯは、ＳＶＯを破壊するために、そうでなければそのサイズを縮小するために、治療レーザによって標的化される。ＳＶＯの運動は、治療レーザを用いてＳＶＯの運動経路に沿って硝子体を標的とすることによって影響を受ける。治療レーザは、標的化された場所の硝子体を蒸発させ、ＳＶＯの動きを減速させる障壁として作用し得る小さな気泡１６１２を生成することができる。標的とする特定の位置は、ＳＶＯの運動の予測に基づく。
【0109】
以上、それぞれがＳＶＯの運動に少なくともある程度影響を与え得る様々な技術が説明された。個々に説明したが、１以上の技法は互いに協調して使用されてもよい。更に、単一のＳＶＯに関して説明したが、各技術は、個々に使用されるか又は一緒に使用されるかにかかわらず、複数のＳＶＯに対して使用可能である。
【0110】
前述のように、１又は複数のＳＶＯは、１又は複数の画像化モダリティを用いて検出、追跡、及び場合によっては特徴付けられる。ＳＶＯは、治療レーザによって照準され得る。レーザでＳＶＯを照準するために使用される正確なパターンは様々である。例えば、ＳＶＯの３Ｄ表面は、画像化データに少なくとも部分的に基づいて生成され、ＳＶＯの表面は、レーザによって照準される。このようなアプローチはＳＶＯを治療するために可能であるが、ＳＶＯを治療するために必要な標的パターンを生成することは困難なことがある。ＳＶＯを効率的かつ効果的に治療するためのレーザスキャンパターン、パラメータ、及び技術を規定するための更なるアプローチが、図１７Ａ及び図１７Ｂに関して説明される。
【0111】
図１７Ａは、例示的なＳＶＯを示している。個々のＳＶＯは、広範囲の形状及びサイズを有し得る。 図１７Ａに描かれているＳＶＯ１７００は、シート状構造１７０４によってより小さい塊又は構造１７０６に連結された大きい塊又は構造１７０２を有する。
【0112】
図１７Ｂは、ＳＶＯ１７００の幾何学的な標的ボリュームを示している。図１７Ｂに描かれているように、ＳＶＯ１７００は、複数の異なる部分又は領域にセグメント化され、異なる領域の１又は複数を包含するＳＶＯの３Ｄ画像化に基づいて、幾何学的な「標的ボリューム」が規定される。個々の標的ボリュームは、ＳＶＯ１７００の全部、又はＳＶＯの治療にとって最も重要なボリュームが標的ボリューム内にあるように配置され得る。３つの別々の標的ボリュームが、ＳＶＯを囲むように描かれている。第１の標的ボリューム１７０８は、ＳＶＯ塊部分１７０２を囲み、第２の標的ボリューム１７１２は、シート状接続構造１７０４を囲み、第３の標的ボリューム１７１４は、第２の塊構造１７０６を囲む。ＳＶＯ１７００は、明確に規定された三次元空間内に配置された単一のＳＶＯ又はＳＶＯのグループであってもよい。
【0113】
ＳＶＯの一部を囲む標的ボリューム１７０８、１７１２、１７１４は、ドット１７１０、１７１４、１７１６として描かれたレーザスキャンパターンを生成する際に使用可能である。スキャンパターンは、幾何学的な標的ボリューム全体を実質的に満たすことができる。スキャンパターンに加えて、ＳＶＯ治療は、パルス持続時間、パルス数、出力などのような１以上のレーザパラメータを規定することができる。標的ボリュームは、封じ込めゾーンとして規定される。そこでは、レーザスキャンパターン及びその結果として生じる硝子体内の気泡が治療中のフロータの動きに境界を与え、また、前述のように、より良い治療の安全性及び有効性のためにＳＶＯの動きを停止させ又は方向付ける役割を果たす。様残な標的ボリュームは、その構造、形状、サイズ、動き及び位置を含むＳＶＯ部分の特性に基づいて決定され得る様々なスキャンパターンを使用し得る。描かれているように、スキャンパターンは、スキャンパターン１７１０で描かれているように上から下へ、スキャンパターン１７１４で描かれているように下から上へ、又はスキャンパターン１７１６で描かれているように螺旋状又は円形パターンなどの他のパターンなど、様々な方法で進行し得る。スキャンパターンは、標的ボリュームを満たすように描かれているが、スキャンパターンがＳＶＯの表面のみを標的にすることも可能である。
【0114】
ＳＶＯは、特定の位置及び光学的特性に対応する３Ｄ画像データのボクセルの集合体積を使用して特徴付けられてもよい。ボクセルは、３Ｄ画像の体積単位である。３Ｄ画像データは、様々な画像化モダリティの画像を融合することによって構築される。例えば、３Ｄ画像データは、ＳＶＯのＳＬＯ画像とＯＣＴ画像とを融合することによって提供されてもよい。ＳＶＯの異なるゾーンのボクセルは、異なるレーザ及びスキャンのパラメータを必要とすることがある。最適化されたエネルギー及び分布のレーザパルスで幾何学的な標的ボリュームを満たすように規定されたレーザスキャンパターンは、例えば、特定のボクセルにおける光破壊の閾値のすぐ上で、ＳＶＯを含む集合的な標的ボリュームを効率的に光イオン化して、患者の症状の閾値以下の小さな気泡、水、及び微細な断片にすることができる。
【0115】
ＳＶＯ、又はＳＶＯのグループの標的ボリュームを生成することにより、標的とされる特定のＳＶＯの複雑で可変的な特性ではなく、レーザ治療のための幾何学的に明確に規定されたスキャンボリュームを使用することができる。このようなスキャンパターンの使用は、治療を単純化し、結果を改善することができる。
【0116】
ＳＶＯを治療するためのスキャンパターンは、ＳＶＯを画像化する際に使用されるスキャンパターンと協調して決定される。フロータのスキャンパターンは、ボリュームを満たす単純な幾何学的グリッドであってもよい、より複雑であってもよい。例えば、スキャンは、円形スキャンパターン、螺旋スキャンパターン、線形スキャンパターン、又はこれらのパターンの組合せを使用することができる。治療中、１つのあり得る治療方法は、スキャン及び治療のアプローチを使用することである。そこでは、まず、円形パスを使用してＳＶＯがスキャンされ、ＯＣＴでフロータを画像化し、フロータの表面がＺ軸のどこに配置されるかを決定する。表面を決定するための円形スキャンの後、同じ円形スキャンが再度繰り返されてもよいが、ＯＣＴの代わりに治療レーザを使用し、フロータの表面にフェムトレーザを照射する。外側から内側への円形スキャン経路を用いたＳＶＯの画像化及び治療は、フロータを封じ込めるのに役立つ。治療レーザの焦点は、以前のスキャンから決定されたＳＶＯ表面に基づいて調整されてもよい。このような画像化及び治療処理は、画像化と治療との間のＳＶＯの移動を妨げ、又は実質的に制限するのに十分短い時間で、ＳＶＯの迅速な画像化とそれに続く治療を可能にするので有益である。
【0117】
これにより、画像化と治療との間に移動するのに十分な時間をフロータに与えることなく、ＳＶＯを迅速に画像化及び治療することができる。スキャンパターンを切り替えることも可能である。例えば、円形スキャンパターンの場合、スキャンが中心に近づくにつれて、速度を上げてスキャンする必要がある。スキャンモード又はパターンは、様々な要因に基づいて選択可能である。
【0118】
こえらのレーザスキャンパターン及び光イオン化バブルは、フロータの動きを制限し、フロータを治療に好適なゾーンに止め、フロータを治療可能な小さな断片に分割し、及び小さなフロータを大きな標的ボリュームに凝集させるためにも使用可能である。レーザバブルパターンは、参照標的及び境界を提供し、標的ＳＶＯが好ましい治療ゾーンに留まるようにすることで、画像化及び追跡システムに利益をもたらすために使用される。小さなフロータは、参照及び治療の順序付けのためにバブルのリングで囲まれてもよい。さらに、重力はＳＶＯの動きに影響を与えることがあり、光イオン化気泡は、重力による動きに対抗し、又は動きを減少させるためにＳＶＯの下で生成されてもよい。
【0119】
ＳＶＯ標的ボリュームの治療の質量中心、周辺特徴、又は他の特徴は、治療中の追跡のために使用される。ＳＶＯを含む幾何学的な標的ボリューム内の全ての局所ボクセルの特性に一致するように、標的上のレーザパルスエネルギー及び治療パラメータが変更され、その結果、治療計画及び実行を最適化することができる。標的ＳＶＯを含む硝子体内の最適ボリュームを包含する、明確に規定された幾何学的形状、又は形状のグループを作成することにより、明確に規定されたレーザスキャンパターンが、標的ボリューム全体で実施され、個々のＳＶＯ表面に基づく複雑なスキャンパターンを採用することなく、幾何学的な標的ボリューム内の全てのＳＶＯを除去することができる。治療のためのこのスキャンパターンは、時間に対して最適化されてもよい。透明な硝子体のみを含む標的ボリュームに集光されたパルスは、小さな気泡を発生させるだけで害はない一方で、ＳＶＯに当たったパルスは、フロータを構成する物質を除去する。他のパルス及びパターンは、フロータの動きを封じ込めるために、ＳＶＯを治療可能なサイズ又は症候性以下のサイズに分割するために、又は他の理由のために使用可能である。
【0120】
典型的には、フェムト秒走査レーザパターンは、不完全又は遮られた光電離を引き起こす可能性のある治療中のプラズマ遮蔽を避けるために、後方から前方に向かって実行される。３次元ＳＶＯ分類パラメータ、制御された動き、及びフロータのセグメンテーション、及び最も効果的なボリュームレーザ走査法を考慮した、十分に規定された幾何学的な標的ボリュームは、最も効果的な治療を生み出すことができる。
【0121】
このように、レーザ光イオン化のための局所的なエネルギー及びパラメータ要件を規定するボクセルのグループ化に基づいてＳＶＯを分類することで、より大きな明確に規定された標的ボリュームに集約されるため、ＳＶＯを含む硝子体領域全体を迅速かつ効率的にレーザスキャンすることができる。同様に、特定の周辺ボクセル及び選択されたボクセルグループは、フロータの封じ込め及び制御された治療方法のために使用される。これにより、ＳＶＯの規定、追跡、及び治療がより制御されて効果的となる。
【0122】
以上、フロータを追跡し、その後にフロータをレーザで標的化することによるフロータの可能なレーザ治療について説明した。前述の追跡及び標的化処理は、他の技術と組み合わせることで、フロータの動きを封じ込め、又はフロータの動きに影響を与えることがある。さらに、治療の有効性及び／又は治療の安全性を向上させるために、他の技術が上記の技術と組み合わされてもよい。例えば、ある治療技術は、金ナノ粒子（ＡｕＮＰｓ）をアニオン性ヒアルロン酸（ＨＡ）でコーティングすることを試みている。ＨＡは、フロータを形成することができる硝子体コラーゲンと親和性がある。ＨＡ－ＡｕＮＰｓは、フロータに引き寄せられ、その後に適切な波長のレーザパルスでＨＡ－ＡｕＮＰｓを照射すると、ＡｕＮＰ表面の急激な温度上昇が起こる。急激な温度上昇は、周囲の水の蒸発を引き起こし、蒸気ナノバブルを形成する。蒸気ナノバブルは、数十から数百ナノ秒の間に素早く膨張と崩壊を繰り返し、フロータのコラーゲンをアブレーションすることができる。このようにナノ粒子を使用する場合でも、眼のレーザ治療は必要であるが、水蒸気ナノバブルの形成に必要なレーザ出力は、フロータを直接的にアブレーションするのに必要な出力よりも低くすることができる。したがって、より低出力のレーザを使用できるため、治療はより安全となる。
【0123】
前述のフロータの追跡及び標的化は、ナノ粒子を介したアブレーションと組み合わされてもよい。すなわち、ＨＡでコーティングされたＡｕＮＰｓを注入した後、レーザを用いてフロータを追跡し標的にすることができる。ＨＡ－ＡｕＮＰｓはフロータに引き寄せられ、前述のようにレーザで追跡され標的にされる。この２つの技術を組み合わせることで、より低い出力のレーザパルスで、より安全な、又はより改善されたフロータアブレーションが可能になる。さらに、ナノバブル形成ナノ粒子をコーティングするのにＨＡを使うのではなく、コラーゲンに親和性のあるインドシアニングリーン（ＩＣＧ）などの他の化合物を使うことも可能である。この粒子は、患者の眼内に注入され、標的とされるフロータ又は他の構造に選択的に引き寄せられるような一定の寸法を持つことができる。標的とされる構造に対する親和性に加えて、粒子は、治療レーザの波長においてプラズモニック共鳴を起こす。粒子は、アブレーションを引き起こすのに必要な出力を低下させる。
【0124】
さらに、上記では、前述のフロータの標的化及び治療を使用してフロータを安全に標的化及び治療するために、フロータのコラーゲンに親和性を有する粒子を用いてコーティングされたナノバブル形成ナノ粒子の使用について説明したが、同様の処理を使用して眼の他の構造又は硝子体内を追跡及び標的化することも可能である。
【0125】
図１８は、フロータのナノ粒子媒介レーザ治療の処理を示す。フロータ治療処理は、前述のような画像化及び治療装置１８０２によって実施可能である。この処理は、患者の眼１８０４に前述のようなナノ粒子が注入されたと仮定する。
患者の眼は、レーザ治療にとって安全でない１以上の領域を含み得る。例えば、これらの領域は、眼の網膜１８０６及び眼の水晶体１８０８を含み得る。これらの安全でない領域は、レーザによって損傷され、患者の視覚に悪影響を及ぼすことがある。以下に更に説明するように、網膜１８０６及び／又は水晶体１８０８などの眼内の安全でない治療場所に近接している場合であってもフロータを安全に治療するために、追跡及び治療機能は、ナノ粒子媒介治療と組み合わされてもよい。
患者の眼は、レーザ治療にとって安全でない１以上の領域を含み得る。例えば、これらの領域は、眼の網膜１８０６及び眼の水晶体１８０８を含み得る。これらの安全でない領域は、レーザによって損傷され、患者の視覚に悪影響を及ぼすことがある。以下に更に説明するように、網膜１８０６及び／又は水晶体１８０８などの眼内の安全でない治療場所に近接している場合であってもフロータを安全に治療するために、追跡及び治療機能は、ナノ粒子媒介治療と組み合わされてもよい。
【0126】
図１８に描かれているように、多数のフロータ１８１０ａ、１８１０ｂ、１８１０ｃ（フロータ１８１０と総称される）が患者の眼内に配置されることがある。フロータ１８１０は、患者の眼内で移動する際に、追跡及び治療装置１８０２によって画像化され、追跡される。３つの異なるフロータ１８１０ａ、１８１０ｂ、１８１０ｃが描かれている。第１のフロータ１８１０ａは、一般的に安全な治療領域に配置される。これは、集光されたレーザ光が重要な組織又は構造を損傷しない領域と考えられる。安全な場所でフロータ１８１０ａを治療するとき、追跡及び治療装置１８０２の治療レーザは、アブレーションを引き起こすために、焦点１８１２ａによって描かれているように、フロータ１８１０ａ上に安全に集光され得る。集光されたレーザ光は、フロータのアブレーションを引き起こすのに十分な出力を有する。フロータ１８１０ａは安全な場所にあるため、より高い出力のレーザを使用して、他の組織を損傷するおそれなしに、アブレーションを増大させることができる。集光されたレーザは、フロータ１８１０ａの完全な、又はほぼ完全なアブレーションを引き起こすために、フロータ又はフロータを含む幾何学的なボリュームにわたってスキャンされる。
【0127】
第２のフロータ１８１０ｂは、安全でない位置、すなわちレンズ１８０８に近接した位置にあるように描かれている。フロータを誤って標的化し、誤って高出力レーザを患者の水晶体に集光させ、水晶体を損傷するリスクは、許容できないほど高くなる可能性がある。ナノ粒子をフロータ１８１０に結合させることで、レーザの完全に集光された出力レベルよりも低い出力レベルでもアブレーションが起こすことができる。このような低い出力レベルは、網膜１８０６及び／又は水晶体１８０８の安全でない領域においても、安全に使用できると考えられる。レーザの出力は、完全に集光された場合に低い出力レベルを有するために低減され得るが、焦点１８１２ｂによって描かれるように、焦点がフロータの後方に位置するように、フロータ１８１０ｂの後方でより高い出力のレーザを集束させることが可能である。図１８に描かれているように、高出力レーザをフロータ１８１０ｂの後方位置に集光させることによって、フロータ１８１０ｂ上に当たる集光されていないレーザ光は、レンズ１８０８に近接して使用するのに安全であるように、より低い出力となる。レーザ光は集光されていないが、フロータ上のレーザ光は、フロータ１８１０ｂのナノ粒子を介したアブレーションを引き起こすのに十分な出力である。さらに、集光されていない光は、所望の出力レベルを提供しつつ、より大きな領域にわたって出力を提供することができる。
【0128】
フロータ１８１０ｃは、フロータ１８１０ｂと同様に、安全でない場所、すなわち網膜１８０６に近接して配置されている。この場合、レーザは、フロータの前、すなわちフロータの前側に焦点を合わせる。網膜上のレーザ光の出力を安全なレベル内にするために、レーザは、集光スポット１８１２ｃによって描かれているように、フロータ１８１０ｃの前／前方に集光される。網膜上のデフォーカスされたレーザ光は、網膜に損傷を与えるのに十分な出力ではない可能性があるが、それでもフロータ１８１２ｃのナノ粒子を介したアブレーションを引き起こすのに十分な出力である。
【0129】
フロータ１８１０ｂ、１８１０ｃの前側又は後側に焦点を合わせる場合、フロータは、全体がデフォーカスされたレーザ光の領域内に入り、フロータ全体が一度にアブレーションされる。あるいは、フロータ１８１０ｂ、１８１０ｃの一部だけがデフォーカスされたレーザ光の領域内に入り、フロータの様々な部分を治療するために、レーザがフロータを横切るように操縦される。あるいは、非収束レーザは、スキャンパターンに規定された複数の異なる位置に照準を合わせられる。スキャンパターンは、前述のように規定され、又は代替技術を使用して規定され得る。
【0130】
以上、治療、場合によっては画像化にレーザを使用することができる画像化及び治療システム及び装置について説明した。上記では、治療が眼の潜在的に安全でない領域で行われ得るか否かを決定すること、及び治療レーザの潜在的な出力レベルを低減するためのナノ粒子媒介治療を含む、レーザ治療の安全性を向上させるための様々な方法を説明してきた。これらの技術はそれぞれ十分な安全性を提供することができるが、患者の眼の重要性を考慮すると、更なる安全対策を提供し得る。安全対策は、個別に、又は組み合わせて使用される。
【0131】
図１９は、独立したフェイルセーフハードウェアを含む光学システムを示している。本システムは、１以上のフロータ１９０４を有する眼１９０２のための画像化及び治療システムとして描かれている。フロータ治療を参照して説明されているが、レーザを使用する他の画像化及び／又は治療システムにおいて使用可能であることがわかる。本システムは、画像化及び／又は治療目的に使用可能な１以上のレーザ１９０６ａ、１９０６ｂ、１９０６ｃを含む様々な光学ハードウェア１９０６を含む。光学ハードウェア１９０６は、１以上のプロセッサ、コントローラ、マイクロコントローラ等によって提供され得るコントローラ１９０８によって制御され得る。コントローラは、所望の画像化及び治療機能を提供するために光学ハードウェアを制御する。本システムは、光学ハードウェアのレーザが患者の眼に損傷を与えないようにするフェイルセーフ機構を提供する独立フェイルセーフハードウェア１９１０を更に含んでもよい。
【0132】
独立したフェイルセーフハードウェアは、コントローラ１９０８から独立して動き、信号を監視することができる。信号は、ＳＬＯレーザ出力、ＳＬＯスキャナ、ＯＣＴレーザ出力、ＯＣＴスキャナ、手術レーザ出力、手術レーザ発射時間、パルスの数、手術レーザ治療位置、眼の動き、及び１以上のレーザの使用の安全性を決定するのに有用な他のパラメータを含むが、これらに限定されない。独立したフェイルセーフハードウェアは、患者に何らかの危険が存在する場合、システム内の任意のレーザの発射を制御線で停止することを独自に決定することができる。システムによって検出される危険は、眼内で静止したＳＬＯレーザの発射、高いＳＬＯレーザ出力、眼内で静止したＯＣＴレーザの発射、高いＯＣＴレーザ出力、間違った位置の治療、間違ったフロータ標的、過剰な手術レーザ出力、及び延長された手術レーザ発射時間を含む、これらに限定されない。独立した安全ハードウェアは、例えばＡＳＩＣ、ＦＰＧＡ、アナログエレクトロニクス、ウォッチドッグ、ＤＳＰ、冗長処理ユニットによって提供される。
【0133】
図２０は、光学画像化システムを示している。光学システム２０００は、１又は複数のフロータ２００４を有する患者の眼２００２を撮像するために使用される。画像化機能のみを提供することを説明するが、このような装置が治療機能を組み込むことも可能である。本装置は、患者の眼の画像を取得可能な光学画像化ハードウェア２００６を含む。この装置は、眼底画像化装置又はＳＬＯ装置などの単一の画像化モダリティのみを提供する低コストの装置であってもよいし、眼底画像化、ＳＬＯ画像化及び／又はＯＣＴ画像化システムなどの複数の画像化モダリティを提供することもできる。光画像化ハードウェア２００６は、画像データを装置上で直接処理するための処理機能を含む処理ハードウェア２００８によって制御される。処理ハードウェアの処理能力に応じて、装置は、前述のような様々な画像化及び検出機能を実装することができる。処理ハードウェアは、ＦＰＧＡ、ＡＳＩＣによって提供され、又はプロセッサ／マイクロプロセッサによって提供されてもよい。この処理は、患者の眼におけるフロータの存在、及び場合によっては重症度、並びにフロータがレーザ治療の良い候補となり得るか否かを識別することができる。これに加えて、又はこれに代えて、装置上の信号処理は比較的基本的なものであり、取得された画像データを別のコンピューティングデバイスに渡して更に処理することができる。追加のコンピューティングデバイスは、ローカルコンピュータ２０１０又はコンピューティングデバイスであり、取得された画像を処理して眼の状態を特定すると共に、グラフィカルユーザインタフェース（ＧＵＩ）２０１２をユーザに提示することができる。これに加えて、又はこれに代えて、装置２００８の処理ハードウェアは、インターネット又は他のネットワーク２０１４を介して１又は複数の処理デバイスと通信することができる。リモート処理デバイスは、画像データを処理することに加えて、場合によってはユーザ２０１６に提示するためのＧＵＩを生成するためのリモート処理コンピュータを含んでもよい。コンピューティングデバイスはまた、電話又はタブレットなどのコンピューティングデバイスを含むことができる。これらは、画像データを処理することができ、又は単にＧＵＩを表示することができる。光学画像化ハードウェア及び信号処理ハードウェアを有するデバイスを使用して、患者の眼を画像化し、レーザによって治療され得るフロータの存在の示唆を提供可能な低コストの分散型システムを提供することができる。
【0134】
前述のように、光学画像化ハードウェア２００６は、眼底カメラ又はＳＬＯ画像化装置などの単一の画像化モダリティを含んでもよい。画像処理は、信号処理ハードウェア２００８又はリモートコンピューティングデバイス２０１０、２０１６、２０１８のうちの１つによって実行されるか否かにかかわらず、取得された画像内のフロータを識別するために機械学習モデルを使用することができる。
【0135】
図２１は、フロータを分類するための機械学習モデルを訓練する処理を示している。モデルは、２Ｄデータのみを用いてＳＶＯを分類するために、２Ｄデータ及び３Ｄデータを用いて訓練されてもよい。モデルは、２Ｄ情報に基づいてフロータの３Ｄボリュームをシミュレートすることができる。ＳＶＯの特性は、２Ｄ情報からモデルによって生成されてもよい。モデルの学習は、教師あり、半教師あり、又は教師なしであってもよい。機械学習（ＭＬ）モデルを訓練するために、ＳＶＯ２１０２を有する患者は、ＳＬＯ画像化２１０４、又は場合によっては他の眼底画像化を受ける。取得された画像は、１又は複数のＳＶＯ２１０６をリアルタイムで識別及び追跡するために使用される。例えば体積ＯＣＴが実行され（２１０８）、眼内のＳＶＯの深度、ＳＶＯの数の計数値、ＳＶＯのサイズ、ＳＶＯの不透明度等のＳＶＯ特性を抽出する（２１１０）。次に、体積ＯＣＴデータから抽出されたＳＶＯ特性は、ＭＬベースの分類モデル２１１４を訓練するためのフィードバックとして使用される。ＭＬ分類モデルは、ＳＬＯ画像化、又は眼底画像のみに基づいてＳＶＯを分類する（２１１６）ために、体積ＯＣＴから抽出されたフィードバックを用いて訓練される。体積ＯＣＴから得られる訓練データは、ＳＬＯからのデータよりも詳細な情報を含む。訓練されると、ＳＬＯ画像又は眼底画像のみに基づいてフロータを分類するために、ＭＬ分類モデルは、１以上の画像化装置に展開される。
【0136】
図２２は、フロータの画像化、定量化、スクリーニング及び分類のために訓練された機械学習モデルを使用する光学デバイスを示す。装置２２００は、画像を取得し、訓練されたＭＬ分類モデルを使用してそれらを処理して、患者の眼内のＳＶＯを分類する低コストの装置を提供することができる。分類は、患者がＳＶＯの更なる治療に関する候補者であり得るか否かの表示を患者に提供することができる。装置２２００は、患者の眼を画像化するのに必要な光路及びレンズなどの要素と共に、ＳＬＯ画像化システム又は光学カメラ２２０２を含むことができる。装置は、分類情報を患者に伝達することができるディスプレイ２２０４を備えてもよい。ディスプレイは、治療について良い候補であるか否かを示す光又はＬＥＤなどの単純な構成であってもよいし、又はテキスト及び又はグラフィック情報をユーザに表示可能なディスプレイなどの、より複雑なディスプレイオプションを含んでもよい。装置２２００は、装置２２００が遠隔コンピューティングデバイスと通信することを可能にする通信無線機又はモデム２２０６を更に含んでもよい。通信無線機又はモデム２２０６は、有線又は無線の無線機又はモデムであってもよい。装置２２００は、ＳＬＯ又は光学カメラ２２０２によって取得された画像を処理する信号処理ハードウェア２２１０を含む。信号処理ハードウェア２２１０は、前述のような訓練されたＭＬ分類モデル２２１２を実装することができる。
【0137】
装置２２００は、低コストの装置として提供され、又は場合によっては眼球画像化機能を有する他の装置に組み込まれてもよい。この装置は、患者が更なる評価のために専門家に会うべきか否かを判断するために使用可能なインホームスクリーニング装置として提供されてもよい。
【0138】
図２３は、フロータを有する患者を治療するための方法を示している。方法２３００は、単一の画像化装置及び治療装置を用いて実行され、又は複数の装置を用いて実行される。本方法は、患者が更なる治療に関して良好な候補者であるか否かを決定するための患者の初期スクリーニング（２３０２）を含む。スクリーニングは、患者を良好な候補者として分類するのに必要である基本的な画像化のみを提供する低コストのスクリーニング装置を用いて、患者自身によって実行可能である。低コストのスクリーニング装置は、例えば、患者が装着し、ＳＬＯ装置、眼底カメラ、スリットランプ又は他の同様の画像化装置などの眼の２Ｄ画像を取得する（２３０２ａ）ヘッドセット又はゴーグルとして提供されてもよい。低コストの装置は、前述のように、取得された画像を処理するために訓練されたＭＬモデルを実装することができ、又は、本装置は、画像を取得し、１以上の遠隔装置による更なる処理及び分類のために画像を送信することができる。モデルは、画像だけでなく、患者によって提供された定性的な情報などの他の情報を使用することができる。更なる情報は、画像から抽出され、訓練モデルに対して提供されてもよい。例えば、ＳＶＯの深度は、様々なＳＶＯの相対的な動きに基づいて推定される。分類は、画像内のＳＶＯを識別することができ、又は単に患者を更なる治療の良好な候補者として分類することができる（２３０２ｂ）。患者が更なる治療の良好な候補者であるとスクリーニングが判定すると、患者は、患者を更に診断及び／又は治療するための適切な装置を有する専門家に紹介され得る。
【0139】
患者は、更なる診断と治療計画のために専門家に会うことができる（２３０４）。診断及び治療計画は、スクリーニング装置と比較してより高品質の画像化装置を含む装置によって提供されてもよい。診断装置は、例えばＳＬＯ画像化装置、眼の高解像度走査を提供することができる掃引光源ＯＣＴなどのＯＣＴ画像化装置、及び場合によっては他の画像化装置を含む複数の撮像モダリティを有することができる。診断装置として説明したが、それは、上記のようにスクリーニングにも使用可能である。診断は、患者の２Ｄ及び３Ｄ画像データを取得することによって行われてもよい（２３０４ａ）。患者及びＳＶＯの画像化は、ＳＶＯの高解像度画像を取得することができる。取得された画像データは、画像の質を向上させるために非リアルタイムで処理されてもよい。処理は、ＳＶＯに関する３Ｄ情報を生成するために、複数の画像、場合によっては異なる画像化システムからの画像を一緒に含んでもよい。
【0140】
ＳＶＯの２Ｄ及び３Ｄの画像化により、個々のＳＶＯをその大きさ、不透明度、重篤度、密度などのように特徴付けることができる。装置は、個々のＳＶＯを特徴付ける際に使用可能な付加的な画像化モダリティ、又は収差計などのセンサを含むことができる。２Ｄ及び３Ｄ診断画像化の間、患者に依頼することによって、又は、視線標的を調整し、動く視線標的を患者に追跡させることによって、患者に眼を動かすように指示することができる。眼球運動は、全てのフロータが画像化装置の視野内を移動していることを確実にするか、又は少なくともその確率を高めるのに役立つ。さらに、患者からの定性的な情報を収集し、患者の視覚における１以上のフロータと相関させることができる。患者がフロータの重症度などの定性的なフィードバックを提供したときに、それを１以上のＳＶＯと相関させることができるように、フロータを追跡することができる。定性的なフィードバックを提供する際に役立つように、患者にテキスト又はグラフィックなどの１以上の視覚情報を提示することができる。
【0141】
個々のＳＶＯは、ＳＶＯの特徴に基づいて、レーザ治療に適しているか否かを識別される。レーザ治療に適していると判定されたＳＶＯについては、動的治療計画が、治療計画（２３０４ｂ）によって確立される。動的治療計画は、ＳＶＯを治療するための全てのパラメータを明示的に規定する専門家によって手動で行われる。あるいは、計画は、システムがＳＶＯのための治療パラメータを決定することによって自動化され、又は部分的に自動化されてもよい。動的治療計画は、ＳＶＯを治療するためのスキャン経路、封じ込めパターン、レーザパラメータを決定することができる。レーザパラメータは、フロータの密度、不透明度などのフロータの特性を考慮することができる。特定のＳＶＯのための動的治療計画はまた、ＳＶＯ治療がどのように進行すべきかを指定することができる。例えば、ＳＶＯは、治療されるに連れて、複数のより小さいＳＶＯに縮小し、治療計画は、そのようなＳＶＯを自動的に治療する方法を規定するパラメータを提供し得る。例えば、処理計画は、自動的に治療される縮小されたＳＶＯの最大サイズを指定できる。より大きなＳＶＯに対しては、更な治療理計画が決定され、承認される必要がある。この追加の計画及び承認は患者が治療を受けている間に行われてもよい。
【0142】
動的計画処理は、ＳＶＯの輪郭を規定するために、フロータを、場合によっては前述のように複数のボクセルにセグメンテーションする。セグメンテーション処理は、訓練されたＭＬモデルを用いて実行される。この処理は、完全に自動化され、又は初期セグメンテーションを調整するために専門家に入力を提供することを許容することもできる。専門家が最初のセグメンテーションを更新すると、更新されたセグメンテーションが使用ＭＬモデルを再学習させるために使用される。ＳＶＯがセグメンテーションされると、ＳＶＯを囲む標的ボリュームが規定され、この標的ボリュームは、図１７Ｂを参照して説明したようなスキャンパターンを規定するために使用される。あるいは、ＳＶＯの表面に基づいてスキャンパターンが規定されてもよい。スキャンパターンがＳＶＯの表面に基づいて規定される場合、最初の表面が処理されると、新しい表面の輪郭を決定するために、スキャンパターンが動的に更新される必要がある。
【0143】
生成されると、治療計画は、ＳＶＯの画像データに関連付けて記憶される。ストレージは、装置上に設けられ、又は、クラウドベースのストレージを含む１以上のリモートデバイスに格納されてもよい。治療計画は、リアルタイム治療処理（２３０６）において実行されてもよい。リアルタイム治療（２３０６）は、治療装置によって実行されてもよい。治療装置は、患者のために以前に準備された治療計画をダウンロードし、又は、そうでなければ、患者のために以前に準備された治療計画にアクセスすることができる。治療装置は、診断装置と同様であってもよいが、少なくとも１つの治療レーザを更に含む。治療装置は、診断装置としてもスクリーニング装置としても使用可能である。診断及び計画は、治療とは別に行われてもよいし、専門家への訪問中に両方が行われてもよい。
【0144】
リアルタイムの治療中に、２Ｄ及び３Ｄ画像化が実行される（２３０６ａ）。取得された画像内でＳＶＯが追跡される（２３０６ｂ）。ＳＶＯが追跡されると、ＳＶＯの治療計画と照合され（２３０６ｃ）、ＳＶＯは計画に従って治療される。リアルタイムでフロータを検出している間、検出された各フロータの２Ｄ及び／又は３Ｄ画像は、フロータ治療計画に紐付けられた特定の識別子を各々が有する既知のフロータの画像と比較される。治療計画は、ＧＵＩ上に表示されたフロータのライブ画像に重畳されてもよい。治療計画とフロータの新しい方向付けとの間の登録ステップが行われる。これは、フロータのリアルタイムの３Ｄ画像を取得し、以前に保存された治療計画のフロータの３Ｄ画像と比較することを含んでもよい。この比較は、特徴記述子からなる３Ｄキーポイントのマッチングに基づく３Ｄ登録を使用して実行可能であり、その後、以前に保存された３Ｄフロータ画像からリアルタイムの３Ｄフロータ画像への適切な３Ｄ座標変換を計算する。
【0145】
ＳＶＯのリアルタイム処理は、前述の安全技術のうちの１つ以上を採用することができる。例えば、治療が安全であるかどうか判断できる様々なゾーンが規定される。ゾーンは、動的に決定可能であり、ゾーン内の治療は、レーザ治療又はパルスを実行する前に確認可能である。安全なゾーンは、例えば網膜に供給されるパルスの量に基づいて、治療処理中に動的に調整可能である。例えば、ある量のパルス又は出力が網膜の同じ領域に供給されると、その領域は安全でない領域として動的に識別される。
【0146】
大きなフロータの分解から生じる新たなフロータが検出され、ＳＶＯの階層又は系図（family tree）を提供するために元のＳＶＯと関連付けられる独自の識別子を受け取ることができる。治療中、これらの新しいフロータに「動的な」治療計画モードが適用される。前述のように、治療計画は新たなフロータをどのように治療するかを指定することができる。専門家は、新たなフロータのそれぞれを治療すべきか否かを決定することができ、３Ｄフロータ画像において所望の治療位置を選択することもできる。ＳＶＯの治療は、十分に治療されたと判断されるまで続けることができる。ＳＶＯの治療計画は、網膜上の影のサイズ又はフロータの体積など、いつ治療を停止するかを指定する１以上のパラメータを含むことができる。例えば、治療計画は、フロータの全ての粒子が、１ｍｍ未満、０．５ｍｍ未満又は０．１ｍｍ未満などの特定の閾値未満になるとＳＶＯの治療を停止すると指定することができる。安全に処理することができるＳＶＯがなくなると、リアルタイム処理は終了される。
【0147】
前述のように、画像押下及び治療装置は、画像化モード及び治療モードの両方で使用可能である。画像化中、取得された画像データはリアルタイムで処理される必要がなく、そのため高品質の画像処理を適用することができる。さらに、１つのＳＶＯを眼内で移動中に複数回撮像し、複数の画像を組み合わせてＳＶＯの１つの高画質な３Ｄ表現にすることができる。診断及び計画に使用される画像化処理において、専門家は、患者の眼の静止画像と、様々な画像処理装置によって取得されたライブ画像との両方を提示することができる。専門家は、画像内の特定の場所にズームイン及びズームアウトすることができる。ズームイン及びズームアウトの機能は、高解像度の画像を取得し、次いで高解像度の画像の領域を拡大することによって提供される。治療中、ＳＶＯをそれほど詳細に画像化する必要はないかもしれないため、ＯＣＴ画像化システムにはより大きな視野を持つ低解像度の画像化が使用されてもよい。例えば、低解像度でＯＣＴ画像を作成するために、ＯＣＴ画像化装置のスキャン線の間隔をより離してもよい。治療後、治療が成功したか否かを判断するために、患者は再評価されてもよい。この評価では、残存するＳＶＯを特定するための画像化システム、収差が改善されたか否かを判定するための収差計、又は患者のより定性的な評価が使用されてもよい。
【0148】
当業者であれば、図１～図２３に示すシステム及び構成要素が、図示されていない構成要素を含んでもよいことを理解できるであろう。図示を簡略化し明瞭にするために、図中の要素は必ずしも縮尺通りではなく、概略的であるに過ぎず、要素の構造を非限定的に示している。特許請求の範囲に規定された本発明の範囲から逸脱することなく、多数の変形及び修正が行われてもよいことは、当業者には明らかであろう。
【0149】
特定の構成要素及びステップを説明したが、個々に説明した構成要素、及びステップは、より少ない構成要素又はステップにまとめられてもよく、又はステップは、順次、非順次、又は同時に実行されてもよい。さらに、上記の事項は特定の順序で発生することを説明したが、ここでの教示を考慮した当業者であれば、他のステップに対する特定のステップの特定の順序が変更可能であることを理解するであろう。同様に、個々の構成要素又はステップは、複数の構成要素又はステップによって提供されてもよい。本教示を考慮する当業者であれば、本明細書で説明された構成要素及び処理は、例示として本明細書で説明される特定の実装以外の、ソフトウェア、ファームウェア及び／又はハードウェアの様々な組合せによって提供可能であることを理解するであろう。
【0150】
様々な実施形態の技術は、ソフトウェア、ハードウェア、及び／又はソフトウェアとハードウェアの組合せを使用して実装可能である。様々な実施形態は、装置、例えば、通信システム又はデータストレージシステムで使用可能なノードに関する。様々な実施形態はまた、非一時的な機械、例えばコンピュータ、可読媒体、例えばＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなどにも関連する。これらは、記載された方法又は方法のステップの１つ、複数、又は全てを実施するために機械、例えばプロセッサを制御するための機械可読命令を含む。
【0151】
いくつかの実施形態は、コンピュータ、又は複数のコンピュータに、様々な機能、ステップ、行為、及び／又は動作、例えば、前述のステップの１又は複数又は全てを実施させるためのコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品に関する。実施形態によっては、コンピュータプログラム製品は、実行される各ステップに対して異なるコードを含むことができ、時には含む。したがって、コンピュータプログラム製品は、方法、例えば、通信デバイス、例えば、無線端末又はノードを動作させる方法の各個別のステップのためのコードを含むことができ、時には含む。コードは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）又は他のタイプの記憶装置などのコンピュータ可読媒体に記憶された機械、例えばコンピュータ、実行可能命令の形態であり得る。コンピュータプログラム製品に関することに加えて、いくつかの実施形態は、前述の１又は複数の方法の様々な機能、ステップ、行為、及び／又は動作のうちの１又は複数を実施するように構成されたプロセッサに関する。したがって、いくつかの実施形態は、本明細書に記載の方法のステップの一部又は全部を実施するように構成されたプロセッサ、例えばＣＰＵに関する。プロセッサは、例えば、本明細書に記載される通信デバイス又は他のデバイスにおいて使用するためのものであってもよい。
【0152】
上記のような様々な実施形態の方法及び装置に関する多数の追加的な変形は、上記の説明を考慮して当業者には明らかであろう。このような変形は、本明細書の範囲内とみなされる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【国際調査報告】