特表 2024-541880 高速網膜追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】高速網膜追跡

(51)【国際特許分類】

   A61B 3/10 20060101AFI20241106BHJP

   A61F 9/008 20060101ALI20241106BHJP

   A61F 9/007 20060101ALI20241106BHJP

【ＦＩ】

A61B3/10 100

A61B3/10 300

A61F9/008 130

A61F9/007 200C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024523724

(86)(22)【出願日】2022-10-21

(85)【翻訳文提出日】2024-06-19

(86)【国際出願番号】 CA2022051556

(87)【国際公開番号】W WO2023065042

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】313,540,5

(32)【優先日】2021-10-22

(33)【優先権主張国・地域又は機関】CA

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＰＹＴＨＯＮ

３．ＷＩＮＤＯＷＳ

４．ＵＮＩＸ

５．ＷＩＮＤＯＷＳ ＸＰ

６．Ｌｉｎｕｘ

７．ＢＬＡＣＫＢＥＲＲＹ

８．ｍａｃＯＳ

９．ｉＯＳ

(71)【出願人】

【識別番号】523140500

【氏名又は名称】パルスメディカ・コーポレイション

【氏名又は名称原語表記】ＰＵＬＳＥＭＥＤＩＣＡ ＣＯＲＰ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】カチンスキー，ニール

(72)【発明者】

【氏名】黒飛 朋子

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB12

4C316FA19

4C316FB23

4C316FC12

4C316FZ01

(57)【要約】

患者の網膜または眼の動きの追跡は、患者の眼の治療に有用である。追跡は、撮像システムおよび２つの追跡プロセスを用いて行われる。第１の追跡プロセスは、画像のフルフレーム間の比較に基づいて、眼の動きが決定されうる。第２の追跡プロセスは、画像の一部のフレーム又はストリップに基づいて、眼の動きが決定されうる。第１の追跡プロセスは、フルフルフレームが受信されるまで待機するが、第２の追跡プロセスは、画像の一部の受信のみが必要であるため高速であり得る。

【特許請求の範囲】

【請求項1】

スキャンベースの撮像素子を使用して患者の眼の動きを追跡する方法であって、
前記スキャンベースの撮像素子からキャプチャされた、現在の画像フレームの現在の画像ストリップを受信すること、
前記現在の画像フレームが完了している否かを判定すること、
前記現在の画像フレームが完了していないと判定された場合、
前記現在の画像ストリップを処理して、前記現在の画像ストリップと、前に処理された画像フレームの対応する画像ストリップとの間の動きを追跡し、前記現在の画像フレームの位置を前記前に処理された画像フレームの対応する位置に変換するための、前記現在の画像フレームの相対フレーム変換を提供すること、
前記現在の画像フレームの相対フレーム変換と、前記前に処理された画像フレームの位置を初期画像フレームの対応する位置に変換する、前記前に処理された画像フレームの絶対フレーム変換との組み合わせに基づいて、現在の変換を設定すること、
前記現在の画像フレームが完了したと判断された場合、
前記現在の画像フレームを処理して、前記現在の画像フレームと初期画像フレームとの間の動きを追跡し、前記追跡された動きによって、前記現在の画像フレームの位置を前記初期画像フレームの対応する位置に変換する前記現在の画像フレームの絶対フレーム変換を提供すること、
前記現在の画像フレームの絶対フレーム変換に基づいて前記現在の変換を設定すること、
を含む、方法。

【請求項2】

前記動きを追跡するために前記現在の画像フレームを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、前記現在の画像フレームの前記位置を前記初期画像フレームの対応する前記位置に変換する１つ以上の並進および回転を決定することを含む、
請求項１に記載の方法。

【請求項3】

前記動きを追跡するために前記現在の画像ストリップを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、前記現在の画像フレームの前記位置を、前記前に処理された画像フレームの対応する前記位置に変換する１つ以上の並進を決定することを含む、
請求項１または２に記載の方法。

【請求項4】

前記患者の眼の１つ以上の治療位置を含む治療計画を前記初期画像フレームに登録すること、
前記現在の変換を前記治療計画の次の治療位置に適用して調整された次の治療位置を提供すること、
前記治療計画に従って、前記次の治療位置を治療すること、をさらに含む、
請求項１から３のいずれか１に記載の方法。

【請求項5】

前記次の治療箇所を治療することは、
前記調整された次の治療箇所をターゲットとするようにレーザ送出システムの１つ以上のターゲットおよび焦点合わせ要素を調整すること、
前記レーザ送出システムを発射すること、を含む、
請求項４に記載の方法。

【請求項6】

前記現在の画像ストリップは、前記スキャンベースの撮像素子によってキャプチャされた所定数の画素列を有する、
請求項１から５のいずれか１に記載の方法。

【請求項7】

前記現在の画像ストリップの画素列の数は、動的に決定される、
請求項１から５のいずれか１に記載の方法。

【請求項8】

前記現在の画像ストリップの前記画素列の数は、
前記現在の画像ストリップの次の画素列を受信すること、
前記現在の画像ストリップを処理して、試行相対フレーム変換を提供すること、
前記試行相対フレーム変換が高信頼度で決定されたか否か判定すること、
前記試行相対フレーム変換が高信頼度で決定された場合に、前記試行相対フレーム変換を相対フレーム変換として使用すること、
によって動的に決定される、
請求項７に記載の方法。

【請求項9】

非一時的なコンピュータ可読媒体であって、コンピュータ装置のプロセッサによって実行されると、コンピュータ装置が、
スキャンベースの撮像素子からキャプチャされた、現在の画像フレームの現在の画像ストリップを受信すること、
前記現在の画像フレームが完了している否かを判定すること、
前記現在の画像フレームが完了していないと判定された場合、
前記現在の画像ストリップを処理して、前記現在の画像ストリップと、前に処理された画像フレームの対応する画像ストリップとの間の動きを追跡し、前記現在の画像フレームの位置を前記前に処理された画像フレームの対応する位置に変換するための、前記現在の画像フレームの相対フレーム変換を提供すること、
前記現在の画像フレームの相対フレーム変換と、前記前に処理された画像フレームの位置を初期画像フレームの対応する位置に変換する、前記前に処理された画像フレームの絶対フレーム変換との組み合わせに基づいて、現在の変換を設定すること、
前記現在の画像フレームが完了したと判断された場合、
前記現在の画像フレームを処理して、前記現在の画像フレームと初期画像フレームとの間の動きを追跡し、前記追跡された動きによって、前記現在の画像フレームの位置を前記初期画像フレームの対応する位置に変換する前記現在の画像フレームの絶対フレーム変換を提供すること、
前記現在の画像フレームの絶対フレーム変換に基づいて前記現在の変換を設定すること、
を含む、方法を実行する命令を記憶する
コンピュータ可読媒体。

【請求項10】

前記動きを追跡するために前記現在の画像フレームを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、前記現在の画像フレームの前記位置を前記初期画像フレームの対応する前記位置に変換する１つ以上の並進および回転を決定することを含む、
請求項９に記載のコンピュータ可読媒体。

【請求項11】

動きを追跡するために現在の画像ストリップを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、現在の画像フレームの位置を、前に処理された画像フレームの対応する位置に変換する１つ以上の並進を決定することを含む、
請求項９または１０に記載のコンピュータ可読媒体。

【請求項12】

前記方法はさらに、
前記患者の眼の１つ以上の治療位置を含む治療計画を前記初期画像フレームに登録すること、
前記現在の変換を前記治療計画の次の治療位置に適用して調整された次の治療位置を提供すること、
前記治療計画に従って、前記次の治療位置を治療すること、を含む、
請求項９から１１のいずれか１に記載のコンピュータ可読媒体。

【請求項13】

前記次の治療箇所を治療することは、
前記調整された次の治療箇所をターゲットとするようにレーザ送出システムの１つ以上のターゲットおよび焦点合わせ要素を調整すること、
前記レーザ送出システムを発射すること、を含む、
請求項１２に記載のコンピュータ可読媒体。

【請求項14】

前記現在の画像ストリップは、前記スキャンベースの撮像素子によってキャプチャされた所定数の画素列を有する、
請求項９から１３のいずれか１に記載のコンピュータ可読媒体。

【請求項15】

前記現在の画像ストリップの画素列の数は、動的に決定される、
請求項９から１３のいずれか１に記載のコンピュータ可読媒体。

【請求項16】

前記現在の画像ストリップの前記画素列の数は、
前記現在の画像ストリップの次の画素列を受信すること、
前記現在の画像ストリップを処理して、試行相対フレーム変換を提供すること、
前記試行相対フレーム変換が高信頼度で決定されたか否か判定すること、
前記試行相対フレーム変換が高信頼度で決定された場合に、前記試行相対フレーム変換を相対フレーム変換として使用すること、
によって動的に決定される、
請求項１５に記載のコンピュータ可読媒体。

【請求項17】

命令を実行するプロセッサと、プロセッサによって実行されると、命令が格納されたメモリとを含むコンピュータ装置であって、
前記命令は、コンピュータ装置が、
前記スキャンベースの撮像素子からキャプチャされた、現在の画像フレームの現在の画像ストリップを受信すること、
前記現在の画像フレームが完了している否かを判定すること、
前記現在の画像フレームが完了していないと判定された場合、
前記現在の画像ストリップを処理して、前記現在の画像ストリップと、前に処理された画像フレームの対応する画像ストリップとの間の動きを追跡し、前記現在の画像フレームの位置を前記前に処理された画像フレームの対応する位置に変換するための、前記現在の画像フレームの相対フレーム変換を提供すること、
前記現在の画像フレームの相対フレーム変換と、前記前に処理された画像フレームの位置を初期画像フレームの対応する位置に変換する、前記前に処理された画像フレームの絶対フレーム変換との組み合わせに基づいて、現在の変換を設定すること、
前記現在の画像フレームが完了したと判断された場合、
前記現在の画像フレームを処理して、前記現在の画像フレームと初期画像フレームとの間の動きを追跡し、前記追跡された動きによって、前記現在の画像フレームの位置を前記初期画像フレームの対応する位置に変換する前記現在の画像フレームの絶対フレーム変換を提供すること、
前記現在の画像フレームの絶対フレーム変換に基づいて前記現在の変換を設定すること、
を含む、方法を実行する、
コンピュータ装置。

【請求項18】

前記動きを追跡するために前記現在の画像フレームを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、前記現在の画像フレームの前記位置を前記初期画像フレームの対応する前記位置に変換する１つ以上の並進および回転を決定することを含む、
請求項１７に記載のコンピュータ可読媒体。

【請求項19】

動きを追跡するために現在の画像ストリップを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、現在の画像フレームの位置を、前に処理された画像フレームの対応する位置に変換する１つ以上の並進を決定することを含む、
請求項１７または１８に記載のコンピュータ可読媒体。

【請求項20】

前記方法はさらに、
前記患者の眼の１つ以上の治療位置を含む治療計画を前記初期画像フレームに登録すること、
前記現在の変換を前記治療計画の次の治療位置に適用して調整された次の治療位置を提供すること、
前記治療計画に従って、前記次の治療位置を治療すること、を含む、
請求項１７から１９のいずれか１に記載のコンピュータ可読媒体。

【請求項21】

前記次の治療箇所を治療することは、
前記調整された次の治療箇所をターゲットとするようにレーザ送出システムの１つ以上のターゲットおよび焦点合わせ要素を調整すること、
前記レーザ送出システムを発射すること、を含む、
請求項２０に記載のコンピュータ可読媒体。

【請求項22】

前記現在の画像ストリップは、前記スキャンベースの撮像素子によってキャプチャされた所定数の画素列を有する、
請求項１７から２１のいずれか１に記載のコンピュータ可読媒体。

【請求項23】

前記現在の画像ストリップの画素列の数は、動的に決定される、
請求項１７から２１のいずれか１に記載のコンピュータ可読媒体。

【請求項24】

前記現在の画像ストリップの前記画素列の数は、
前記現在の画像ストリップの次の画素列を受信すること、
前記現在の画像ストリップを処理して、試行相対フレーム変換を提供すること、
前記試行相対フレーム変換が高信頼度で決定されたか否か判定すること、
前記試行相対フレーム変換が高信頼度で決定された場合に、前記試行相対フレーム変換を相対フレーム変換として使用すること、
によって動的に決定される、
請求項２３に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2021年10月22日に出願された「高速網膜追跡」と題するカナダ特許出願３，１３５，４０５号に対する優先権を主張し、その全体は参照により本明細書に援用される。

【0002】

本開示は網膜追跡に関する。より具体的には、いくつかの実施形態では、本出願は、フルフレームおよびサブフレーム追跡を使用して複数のフレームにわたって網膜の動きを追跡するシステムおよび方法に関する。

【背景技術】

【0003】

眼の撮像は、眼の状態を特定し、場合によっては治療するために重要である。眼の内部区画の画像を取得するために、さまざまな撮像技術を使用することができる。たとえば、走査型レーザ眼底検査（ＳＬＯ）撮像は、網膜や角膜などの眼の一部の2次元画像を提供することができる。光干渉断層撮影（ＯＣＴ）撮像は、網膜または角膜の一部の３次元画像および／または断面画像を提供することができる。眼底の少なくとも一部の画像を取得するために、他の撮像技術を使用することができる。

【0004】

眼の撮像は、治療を必要とする眼の状態を特定するために使用される。眼の状態の治療は、レーザを使用して実行することができ、レーザビームまたはパルスの特定の標的位置は、取得した画像から決定される。

【0005】

治療中の患者の眼の動きは最小限に抑えられるが、患者の眼がわずかに動いただけでも、レーザが目的の治療位置に向けられなくなり得る。患者の眼球運動を追跡するために使用できる網膜追跡技術が存在するが、追跡技術は比較的遅くなり得、または誤差が蓄積され得る。

【0006】

追加の、代替の、および／または改良された網膜追跡方法が望ましい。

【発明の概要】

【0007】

本開示によれば、スキャンベースの撮像素子を使用して患者の眼の動きを追跡する方法が提供される。この方法は、スキャンベースの撮像素子からキャプチャされた、現在の画像フレームの現在の画像ストリップを受信すること、現在の画像フレームが完了しているか否かを判定すること、現在の画像フレームが完了していないと判定された場合、現在の画像ストリップを処理して、現在の画像ストリップと、前に処理された画像フレームの対応する画像ストリップとの間の動きを追跡し、現在の画像フレームの位置を前に処理された画像フレームの対応する位置に変換するための、現在の画像フレームの相対フレーム変換を提供すること、現在の画像フレームの相対フレーム変換と、前に処理された画像フレームの位置を初期画像フレームの対応する位置に変換する前に処理された画像フレームの絶対フレーム変換との組み合わせに基づいて現在の変換を設定すること、を含む。そして、現在の画像フレームが完了したと判断された場合、現在の画像フレームを処理して、現在の画像フレームと初期画像フレームとの間の動きを追跡し、追跡された動きによって、現在の画像フレームの位置を初期画像フレームの対応する位置に変換する現在の画像フレームの絶対フレーム変換を提供すること、現在の画像フレームの絶対フレーム変換に基づいて現在の変換を設定することを含む。

【0008】

この方法のさらなる実施形態では、動きを追跡するために現在の画像フレームを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、現在の画像フレームの位置を初期画像フレームの対応する位置に変換する１つ以上の並進および回転を決定することを含む。

【0009】

この方法のさらなる実施形態では、動きを追跡するために現在の画像ストリップを処理することは、特徴追跡および位相相関のうちの１つ以上を使用して、現在の画像フレームの位置を前に処理された画像フレームの対応する位置に変換する１つ以上の並進を決定することを含む。

【0010】

方法のさらなる実施形態では、方法はさらに、患者の眼の１つ以上の治療位置を含む治療計画を初期画像フレームに登録すること、現在の変換を治療計画の次の治療位置に適用して調整された次の治療位置を提供すること、および治療計画に従って、次の治療位置を治療することを含む。

【0011】

方法のさらなる実施形態では、次の治療位置を治療することは、調整された次の治療位置をターゲットにするためにレーザ送出システムの１つ以上のターゲティングおよびフォーカス要素を調整すること、およびレーザ送出システムを発射することを含む。

【0012】

方法のさらなる実施形態では、現在の画像ストリップは、スキャンベースの撮像素子によってキャプチャされた所定数の画素列を有する。

【0013】

方法のさらなる実施形態では、現在の画像ストリップのピクセル列の数は動的に決定される。

【0014】

方法のさらなる実施形態では、現在の画像ストリップの画素列の数は、現在の画像ストリップの次の画素列を受信すること、現在の画像ストリップを処理して試行相対フレーム変換を提供すること、試行相対フレーム変換が高信頼度で決定されたか否か判定すること、試行相対フレーム変換が高信頼度で決定された場合に、試行相対フレーム変換を相対フレーム変換として使用すること、によって動的に決定される。

【0015】

本開示によれば、さらに、コンピュータ装置のプロセッサによって実行されると、コンピュータ装置が上記方法の実施形態のいずれか１つに従って方法を実行する命令が格納された非一時的なコンピュータ可読媒体が提供される。

【0016】

本開示によれば、さらに、命令を実行するプロセッサと、プロセッサによって実行されると、コンピュータ装置が上記方法の実施形態のいずれか１つに従って方法を実行する命令が格納されたメモリとを含むコンピュータ装置が提供される。

【0017】

本開示のさらなる特徴および利点は、添付の図面と組み合わせて以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0018】

【図1】図１は、網膜追跡を組み込んだ画像およびレーザ治療システムを示す。

【0019】

【図2】図２は、本方法に係る例示的な画像フレームおよびストリップを示す。

【0020】

【図3】図３は、網膜追跡および眼球治療の方法を示す。

【0021】

【図4】図４は、網膜追跡および治療のさらなる方法を示す。

【0022】

【図5】図５は、追跡プロセスの例示的なタイムラインを示す。

【0023】

【図6】図６は、本明細書に開示された健康検査および診断システム、方法、および装置の１つ以上の実施形態を実装するソフトウェアを実行するコンピュータハードウェアシステムの実施形態を示すブロック図である。

【発明を実施するための形態】

【0024】

以下に、特定の好ましい実施形態および実施例を開示するが、発明の主題は、具体的に開示された実施形態を超えて、他の代替実施形態および／または使用、ならびにそれらの修正および同等物にまで及ぶ。したがって、本明細書に添付された請求項の範囲は、以下に説明する特定の実施形態のいずれにも限定されない。たとえば、本明細書に開示された任意の方法またはプロセスにおいて、方法またはプロセスの動作または操作は、任意の適切な順序で実行することができ、必ずしも特定の開示された順序に限定されない。さまざまな操作は、特定の実施形態を理解するのに役立つように、複数の個別の操作として順番に説明されることがあるが、説明の順序は、これらの操作が順序に依存することを意味するものと解釈されるべきではない。さらに、本明細書に記載された構造、システム、および／または装置は、統合されたコンポーネントとして、または個別のコンポーネントとして具体化され得る。さまざまな実施形態を比較する目的で、これらの実施形態の特定の側面および利点について説明する。必ずしも、そのような側面または利点のすべてが特定の実施形態によって達成されるわけではない。したがって、例えば、本明細書で教示される１つの利点または利点のグループを達成または最適化する方法で、様々な実施形態が実行されてもよいが、本明細書で教示されるか示唆される可能性のある他の側面または利点を必ずしも達成する必要はない。

【0025】

ここで、本明細書で開示される装置および方法の構造、機能、製造、および使用の原理の全体的な理解を提供するために、特定の例示的な実施形態について説明する。これらの実施形態の１つ以上の例が添付の図面に示される。当業者であれば、本明細書で具体的に説明され、添付の図面に示されている装置および方法は、限定されない例示的な実施形態であり、本発明の範囲は特許請求の範囲によってのみ定義されることを理解できるであろう。１つの例示的な実施形態に関連して図示または説明されている特徴は、他の実施形態の特徴と組み合わせることができる。このような変更および変形は、本技術の範囲内に含まれることが意図されている。

【0026】

高速網膜追跡方法は、SLOおよび／またはOCTなどの画像ターゲットの複数のスキャンラインとして画像フレームをキャプチャする線形走査型撮像装置で使用することができる。高速網膜追跡は、フル画像フレーム間の動きを追跡可能なフルフレーム追跡と、フレームのストリップまたは画像データのストリームにわたる動きを追跡可能なサブフレーム追跡を含む。フルフレーム追跡は、走査型撮像装置から完全な新しいフレームがキャプチャされるまで待機することができ、完全な新しいフレームと、治療計画を患者の眼の位置に登録するために使用される患者の眼の最初のキャプチャフレームなどの参照フレームとの間の動きを判定することができる。フルフレーム追跡プロセスは、眼のさまざまな並進および回転を考慮することを含め、患者の眼の動きの正確な判定を提供することができる。

【0027】

しかしながら、フルフレーム追跡のみでは、フルフレーム追跡の速度がフルフレームがいつ利用可能になるかに依存するだけでなく、特徴検出、マッチング、および変換判定がフレーム全体で実行されると計算コストが高くなり得、比較的遅くなり得る。

【0028】

ストリップ追跡プロセスまたはサブフレーム追跡プロセスは、現在キャプチャされているフレームのストリップと、前にキャプチャされたフレームの対応するストリップにわたる１つ以上の特徴の動きを識別することによって、眼、網膜、硝子体浮遊物（vitreous floaters）、瞳孔、水晶体、強膜、角膜、および／または眼のその他の位置または構造の動きを追跡することができる。ストリップ追跡は、現在キャプチャされているフレームのストリップの１つ以上の特徴を識別することによって画像ストリップを処理し、１つ以上の特徴を、前にキャプチャされたフレームの対応するストリップの対応する１つ以上の特徴と一致させて、前にキャプチャされたフレームのストリップと現在キャプチャされているフレームにわたる１つ以上の特徴の動きを判定することができる。ストリップ追跡プロセスは、ストリップにわたる１つ以上の特徴の一致の並進を判定することができ、または、例えば位相相関などの相関技術を含む他の技術を使用して、異なるフレームの対応するストリップ間での１つ以上の特徴の一致の動きを判定してもよい。ストリップ追跡またはサブフレーム追跡を使用して並進を計算すると、フルフレーム追跡を使用して並進を計算するよりも必要な時間は短い。これは、ストリップ追跡またはサブフレーム追跡では、フルフレーム追跡よりも並進を計算するために使用する自由度が少ないためである。しかしながら、並進を計算するために使用する自由度と画像ストリップが少ないため、ストリップ追跡またはサブフレーム追跡では、フルフレーム追跡よりも多くのエラーが発生し、または、精度が低下することがある。

【0029】

フルフレーム追跡をストリップ追跡またはサブフレーム追跡と組み合わせて使用することで、線形走査型撮像装置を使用した眼球運動の追跡速度を大幅に向上させることができる。たとえば、線形走査型撮像装置は、３２ミリ秒ごとにフルフレームをキャプチャし、２ミリ秒毎にストリップをキャプチャすることができる。したがって、ストリップ追跡またはサブフレーム追跡を使用して、約２ミリ秒毎に眼球運動を追跡できる。ストリップ追跡またはサブフレーム追跡のエラーを削減または排除するために、フルフレーム追跡を使用してフルフレームを最初のフレームと比較し、３２ミリ秒ごとにストリップ追跡またはサブフレーム追跡のエラーを排除または削減することができる。ストリップ追跡またはサブフレーム追跡およびフルフレーム追跡は特定の速度を参照して説明されているが、特定の速度は単なる例であり、開示の範囲を制限するものではないことを理解されたい。

【0030】

ストリップ追跡またはサブフレーム追跡を使用しない場合、網膜の動きを追跡することは、線形走査型撮像装置がフルフレームをキャプチャできる速度に制限され、フルフレーム追跡を使用しない場合、ストリップ追跡またはサブフレーム追跡からの誤差により、後の治療システムが時間の経過とともにより不正確になることがある。

【0031】

高速網膜追跡は、撮像およびレーザ送出装置に接続された、またはそれに含まれるコンピュータシステムによって実行できる。高速網膜追跡は、グラフィックスプロセッシングユニット（ＧＰＵ）または高速網膜追跡を実行するように特別に構成されたカスタムハードウェアによって実行でき、これにより、高速網膜追跡の実行速度が向上し、高速網膜追跡の実行に必要な時間が短縮される。

【0032】

高速網膜追跡プロセスは、たとえば、レーザ眼科治療システムでレーザをターゲットにする場所を決定するために眼球運動を追跡する場合など、さまざまなアプリケーションで使用できる。高速網膜追跡では、眼球内の静止した特徴の移動を決定し、キャプチャされた画像のストリーム全体にわたって静止した特徴を自動的に整列させることにより、キャプチャされた画像フレームのストリームを、追加的または代替的に安定化または整列させることができる。キャプチャされた画像のストリームを安定化または整列させることにより、飛蚊症などのキャプチャされた画像のストリーム全体にわたって移動する構造の検出または動きを向上させることができる。高速網膜追跡プロセスを使用して、眼球内の１つ以上の特徴の移動または変位を計算し、キャプチャされた画像のストリーム全体にわたる眼球の動きまたは眼球内の１つ以上の特徴を補正できる。計算された移動または変位は、自動安全装置として使用できる。自動安全装置は、レーザ眼科治療システムの１つ以上のコンポーネントを自動的にオフにし、または、レーザ眼科治療システムの１つ以上のコンポーネントの１つ以上の機能を停止できる。たとえば、計算された移動または変位がしきい値を超える場合、レーザ治療システムはレーザの発射を防止または停止できる。レーザ眼科治療システムに特化して説明されるが、高速網膜追跡プロセスは、走査型撮像装置を使用して眼の画像がキャプチャされる任意のアプリケーションで使用できる。

【0033】

図１は、網膜追跡を組み込んだ画像およびレーザ治療システム１００を示す。システム１００は、撮像およびレーザ送出装置１０２を含むことができる。撮像およびレーザ送出装置１０２は、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および／または治療レーザ送出コンポーネント１０８を含むことができる。いくつかの実施形態では、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および治療レーザ送出コンポーネント１０８は、フォーカスコンポーネント、光生成コンポーネント、画像センサ、および／または他の任意のコンポーネントを含むことができる。ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および／または治療レーザ送出コンポーネント１０８は、デバイスコントローラ１１０によって制御することができる。ＳＬＯ撮像コンポーネント１０４によって生成された光、ＯＣＴ撮像コンポーネント１０６によって生成された光、および／または治療レーザ送出コンポーネント１０８によって生成された光またはレーザは、撮像および／または治療される眼１１２、または場合によっては他の対象に送出することができる。ＳＬＯ撮像コンポーネント１０４および／またはＯＣＴ撮像コンポーネント１０６によって生成された光は、網膜などの眼１１２の一部から反射され、対応する撮像コンポーネントの検出器に戻ることができる。

【0034】

デバイスコントローラ１１０は、コンピュータ装置１１４と有線または無線通信を行うことができ、デバイスコントローラは、撮像およびレーザ送出装置１０２とコンピュータ装置１１４との間のインタフェースとなる。いくつかの実施形態では、コンピュータ装置１１４は、システム制御機能１１６を介して撮像およびレーザ送出装置１０２を操作する。コンピュータ装置１１４は、別個のコンピュータ装置１１４として示されているが、いくつかの実施形態では、コンピュータ装置１１４は、撮像およびレーザ送出装置１０２の一部であるか、またはそれに組み込まれていてもよい。いくつかの実施形態では、ＳＬＯ撮像コンポーネント１０４および／またはＯＣＴ撮像コンポーネント１０６は、デバイスコントローラ１１０にデータを送信することができる。データは、位置データ、１つ以上の座標、画像データ、深度データ、ＳＬＯ撮像コンポーネント１０４および／またはＯＣＴ撮像コンポーネント１０６の１つ以上のミラーの向き、またはその他のデータを含むことができる。

【0035】

コンピュータ装置１１４は、命令を実行する１つ以上の処理装置（図示せず）と、データおよび命令を格納する１つ以上の記憶装置（図示せず）を含むことができる。１つ以上の処理装置は、システム制御機能１１６を介して、撮像およびレーザ送出装置１０２を操作する命令を実行できる。いくつかの実施形態では、１つ以上の処理装置は、グラフィックスプロセッシングユニット（ＧＰＵ）、中央処理装置（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ（ＭＣＵ）、および／またはその他のハードウェア処理装置を含むことができる。システム制御機能１１６は、撮像およびレーザ送出装置を操作するＧＵＩを提供するグラフィカルユーザインタフェース（ＧＵＩ）機能１１８を含むことができる。

【0036】

図示するように、ＧＵＩ機能１１８は、ズーム登録機能１２０を含むことができる。ユーザは、ズーム登録機能１２０を使用して、ＳＬＯ撮像コンポーネント１０４および／またはＯＣＴ撮像コンポーネント１０６をズームインし、ズームインされた画像上の点と他の撮像コンポーネントまたはレーザ送出装置１０８の対応する点との登録を維持できる。いくつかの実施形態では、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および／またはレーザ送出装置１０８は、１つ以上の座標系を使用できる。ズーム登録機能１２０は、座標系間の変換を自動的に実行して、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、およびレーザ送出装置１０８全体の登録を提供することができる。たとえば、最初の変換では、ＳＬＯ撮像コンポーネント１０４のズームイン座標をＳＬＯ撮像コンポーネント１０４のズームアウト座標にマッピングし、２番目の変換では、ＳＬＯ撮像コンポーネント１０４のズームアウト座標をＯＣＴ撮像コンポーネント１０４の座標にマッピングすることができる。ＧＵＩ機能１１８は、ＳＬＯ撮像コンポーネント１０４によってキャプチャされた画像のズームインビューをユーザに表示し、ズームインビュー内の点を、ＳＬＯ撮像コンポーネント１０６によってキャプチャされた画像のズームインビューの座標に最初の変換と２番目の変換を適用することによって、ＯＣＴ撮像コンポーネント１０６によってキャプチャされた画像の表示ビュー内の対応する点に変換することができる。いくつかの実施形態では、変換は、ＳＬＯ撮像コンポーネント１０４のズームレベルに基づいて事前に決定された変換でありうる。ＳＬＯ撮像コンポーネント１０４および／またはＯＣＴ撮像コンポーネント１０６のズームレベルに基づいて、ズーム登録機能１２０は、実質的にリアルタイムで変換を動的に決定することができる。いくつかの実施形態では、ズーム登録機能１２０は、ズームインされたＳＬＯ画像上の点とレーザ送出装置１０８の対応する点との登録を維持することができ、および／またはズーム登録機能１２０は、ズームインされたＳＬＯ画像上の点とレーザ送出装置１０８の対応する点との登録を維持することができる。

【0037】

いくつかの実施形態では、システム制御機能１１６は、キャリブレーション機能１２２を含むことができる。キャリブレーション機能１２２は、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および治療レーザ送出コンポーネント１０８を位置合わせして相関させ、ＳＬＯ撮像コンポーネント１０４によってキャプチャされた画像とＯＣＴ撮像コンポーネントによってキャプチャされた画像内の位置が位置合わせされ、レーザ送出装置１０８が正確に位置をターゲットにすることができるようにすることができる。いくつかの実施形態では、キャリブレーション機能１２２は、画像処理技術を使用して、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および治療レーザ送出コンポーネント１０８を位置合わせして相関させることができ、または、キャリブレーション機能１２２は、さまざまなセンサおよびアクチュエータを使用して、２つ以上のＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および治療レーザ送出コンポーネント１０８を物理的に位置合わせすることができる。

【0038】

いくつかの実施形態では、システム制御機能１１６は、計画機能１２４を含むことができる。計画機能１２４は、眼の状態を治療する治療計画を作成することができる。計画機能１２４は、ＧＵＩ機能１１８および／またはＳＬＯ撮像コンポーネント１０４およびＯＣＴ撮像コンポーネント１０６から受信した画像データを使用して、治療計画を決定できる。いくつかの実施形態では、計画機能１０４は、ＧＵＩ機能１１８を介して画像データを表示することができ、計画機能１０４には、画像データの１つ以上の治療場所をユーザが選択できるようにする１つ以上のユーザ制御および／またはユーザ入力を含めることができる。いくつかの実施形態では、計画機能１０４は、人工知能および／または機械学習を使用して、画像データ内の１つ以上の眼の状態を自動的に検出することができる。画像データ内の１つ以上の眼の状態の場所は、１つ以上の治療場所であり得る。

【0039】

いくつかの実施形態では、システム制御機能１１６は、治療機能１２６を含むことができる。治療機能は、ＳＬＯ撮像コンポーネント１０４、ＯＣＴ撮像コンポーネント１０６、および／または治療レーザ送出コンポーネント１０８を制御して、治療レーザ送出コンポーネント１０８を１つ以上の治療位置に向けることができる。治療機能１２６は、患者の目の動きを追跡して、患者の目が動くときに治療レーザ送出コンポーネント１０８を１つ以上の治療位置に正確に向けることができる追跡機能１２８を含むことができる。

【0040】

いくつかの実施形態では、ＧＵＩ機能１１８は、生成されたＧＵＩ１３２を表示装置１３０に表示することができる。別個のディスプレイとして示されているが、いくつかの実施形態では、表示装置１３０は、撮像およびレーザ送出装置１０２の一部であるか、またはそれに組み込まれていてもよい。いくつかの実施形態では、生成されたＧＵＩの１つ以上の部分は、ユーザに表示する必要がある、または表示することが望ましい情報に応じて変化することができる。図１は、治療中に表示され得るＧＵＩ１３２を示す。例えば、ＧＵＩ１３２は、ＳＬＯ画像１３４およびＯＣＴ画像１３６を表示することができる。ＳＬＯ画像１３４には、ＯＣＴ画像１３６の断面の位置の表示を含めることができる。いくつかの実施形態では、ＳＬＯ画像１３４および／またはＯＣＴ画像１３６には、まだ治療されていない１つ以上の治療位置と、治療済みの治療位置の表示を含めることができる。いくつかの実施形態では、ＧＵＩ１３０は、ユーザに関連し得る治療計画情報のほか、治療計画を開始/停止したり、次の治療場所に進むなど治療計画を進めたりする１つ以上のグラフィック要素１３８を含むことができる。

【0041】

図１に示すレーザ送出装置１０２およびシステム１００は、大まかには、光学ハードウェア、制御電子機器、およびソフトウェアを含む。レーザ送出装置１０２およびシステム１００のコンポーネントについては、以下でさらに詳しく説明する。システム１００は、治療対象領域を特定するために眼を撮像し、治療を実行するために使用できる。撮像および可能な治療は、例えば、症候性硝子体混濁または硝子体浮遊物（ＳＶＯ）、加齢性黄斑変性（ＡＭＤ）、硝子体黄斑牽引症候群（ＶＴＳ）、糖尿病性網膜症、白内障、脈絡膜新生血管、微小動脈瘤、緑内障、網膜上膜（ＲＥＭ）、網膜裂孔および剥離、中心静脈閉塞症または分枝静脈閉塞症を含む、広範囲の異なる眼の状態を対象とし得る。

【0042】

図２は、本明細書に開示するシステムおよび方法による例示的な画像フレームおよびストリップを示す。上述のように、高速網膜追跡は、システムが1つ以上のストリップを受信すると、フルフレーム追跡、およびフルフレームの1つ以上のストリップを介してリアルタイムまたは実質的にリアルタイムのサブフレーム追跡を使用して、キャプチャされた画像のストリーム全体にわたる変換または変化を決定するために使用することができる。図示するように、第１の画像フレーム２０２ａ、第２の画像フレーム２０２ｂ、および部分的な画像フレーム２０２ｃには、複数の個々のストリップ２０４ａ－２０４ｆを含めることができる。

【0043】

個々のストリップ２０４ａ－２０４ｆのそれぞれは、複数の列走査を含むことができる。画像フレーム２０２ａ－２０２ｃの個々のストリップ２０４ａ－２０４ｆは、同じサイズ、または走査装置からの列数が同じであるものとして示される。個々のストリップ２０４ａ－２０４ｆのサイズは、同じフレーム内だけでなく、キャプチャされた画像のストリームの異なるフレーム間でも変化し得ることが理解されるであろう。いくつかの実施形態では、個々のストリップ２０４ａ－２０４ｆのサイズは、例えば、ストリップの処理にかかる時間、走査列をキャプチャする撮像コンポーネントのキャプチャレート、ストリップでカバーされる目の領域、ストリップでカバーされる目の領域内の特徴などを決定することができる、コンピュータシステムの処理速度および／または処理負荷などのさまざまな要因に基づいて、コンピュータシステムによって動的に決定できる。前のフレームの対応するストリップは、現在のフレームのストリップのサイズおよび位置と同じ、または同様のサイズおよび位置を持つ前のフレームのストリップとして決定できる。部分的な画像フレーム２０２ｃに示すように、ストリップは、撮像コンポーネントによってキャプチャされた画像フレームの列または一部である。ただし、ストリップは、撮像コンポーネントによってキャプチャされた画像フレームの列の一部であり得、または、撮像コンポーネントによってキャプチャされた画像フレームの列全体であり得る。いくつかの実施形態では、ストリップは、撮像コンポーネントによってキャプチャされた画像データの連続データストリームであり得る。

【0044】

図２は、現在のストリップ２０６がキャプチャされている様子を示す。現在の画像フレーム２０２ｃは、現在の画像フレーム２０２ｃの上部から現在の画像フレーム２０２ｃの下部までキャプチャされている様子が示されているが、撮像コンポーネントは、フレームを下から上へ、または左右へキャプチャすることができる。実施形態によっては、撮像コンポーネントによって、交互に画像フレームを反対方向にキャプチャすることができる。例えば、撮像コンポーネントは、第１の画像フレームを上から下へ、第２の画像フレームを下から上へ、第３の画像フレームを上から下へなどキャプチャすることができる。このように、撮像コンポーネントは、次のフレームのキャプチャを開始するために、画像フレーム全体を移動する必要がない。実施形態によっては、撮像コンポーネントは、画像ストリップの各点を順次キャプチャすることができるか、または撮像コンポーネントは、画像ストリップ全体を一度にキャプチャすることができる。画像フレームは、患者の眼の画像を取り込むことができ、図３および図４を参照して以下で説明するように、フレーム全体にわたる特徴２０８ａ、２０８ｂ、２０８ｃの動きを識別するために処理することができる。

【0045】

いくつかの実施形態では、第１の画像フレーム２０２ａは、第１の時間に撮像コンポーネントによってキャプチャされ得る。いくつかの実施形態では、撮像コンポーネントは、第１の時間に第１の画像フレーム２０２ａ全体をキャプチャし得るか、または撮像コンポーネントは、複数の個々のストリップ２０４ａ－２０４ｆのうちの１つ以上を異なる時間にキャプチャし得る。例えば、撮像コンポーネントは、第１の時間に第１の画像フレーム２０２ａの個々のストリップ２０４ａをキャプチャし、撮像コンポーネントが第１の画像フレーム２０２ａの個々のストリップ２０４ａをキャプチャした後、第２の時間に第１の画像フレーム２０２ａの個々のストリップ２０４ｂをキャプチャし得る。別の例では、撮像コンポーネントは、第１の画像フレーム２０２ａの個々のストリップ２０４ａおよび第１の画像フレーム２０２ａの個々のストリップ２０４ｂを第１の時間にキャプチャし、撮像コンポーネントは、第２の時間に、第１の画像フレーム２０２ａのキャプチャされていない個々のストリップ２０４ｃ－２０４ｆのうちの１つ以上をキャプチャすることができる。いくつかの実施形態では、撮像コンポーネントが第１の画像フレーム２０２ａをキャプチャした後、撮像コンポーネントは、後続の画像フレーム２０２ｂ－２０２ｃをキャプチャすることができる。

【0046】

いくつかの実施形態では、複数の撮像コンポーネントが、複数の個々のストリップ２０４ａ－２０４ｆを同時にキャプチャすることができる。例えば、複数の撮像コンポーネントは、複数の撮像コンポーネントがそれぞれ、第１の画像フレーム２０２ａの複数の個々のストリップ２０４ａ－２０４ｆの個々のストリップまたは個々のストリップの一部を同時にキャプチャできるように、配置または照準することができる。このようにして、第１の画像フレーム２０２ａの大部分または第１の画像フレーム２０２ａ全体を、同時にまたは実質的に同時にキャプチャすることができる。

【0047】

いくつかの実施形態では、撮像コンポーネントは、複数の個々のストリップ２０４ａ－２０４ｆおよび／または画像フレーム２０２ａ－２０２ｂ全体の画像データをコンピュータシステムおよび／またはコンピュータシステムのＧＰＵに送信することができる。撮像コンポーネントは、個々のストリップ２０４ａ－２０４ｆ全体をキャプチャした後に画像データをコンピュータシステムに送信することができるか、または撮像コンポーネントは、個々のストリップ２０４ａ－２０４ｆの一部をキャプチャするときに、個々のストリップ２０４ａ－２０４ｆの一部の画像データをリアルタイムまたは実質的にリアルタイムでコンピュータシステムに送信することができる。

【0048】

いくつかの実施形態では、コンピュータシステムは、受信した画像データを処理し、図３および図４を参照して以下に説明するように、高速網膜追跡を実行することができる。

【0049】

図３は、網膜追跡および眼球治療の方法を示す。いくつかの実施形態では、方法３００は、図１を参照して本明細書で説明されているように、撮像およびレーザ治療システムによって実行することができる。いくつかの実施形態では、方法３００は、撮像およびレーザ治療システムおよび／またはユーザが患者の治療計画を決定した後に、撮像およびレーザ治療システムによって実行することができる。治療計画には、患者の眼の前にキャプチャされた画像における目の状態の前に特定された１つ以上の治療場所を含めることができる。方法３００は、ステップ３０２から始まり、撮像およびレーザ治療システムは、患者の眼球の初期画像をキャプチャすることができる。ステップ３０４では、撮像およびレーザ治療システムは、初期画像の治療場所を特定することによって、初期画像に基づいて患者の眼球の向きを登録することができ、これにより、撮像およびレーザ治療システムは、目の状態の治療のために所定の場所に治療レーザ送出コンポーネントまたは治療レーザを向けることができる。撮像およびレーザ治療システムが患者の眼の向きに登録されると、撮像およびレーザ治療システムは、ステップ３０６で患者の眼の網膜の動きを追跡することができ、ステップ３０８で網膜の動きを使用して更新された治療位置を決定し、撮像およびレーザ治療システムの登録を更新することができる。ステップ３０６および３０８での追跡および更新は継続的に実行できるため、治療を実行するときに、撮像およびレーザ治療システムは、撮像およびレーザ治療システムによって追跡された網膜の動きに基づいて、眼の状態の現在の位置にターゲットを絞ることができる。眼の状態の現在の位置は、ステップ３０８で決定された更新された治療位置でありうる。ステップ３１０では、ステップ３０８で撮像およびレーザ治療システムの登録を更新した後、撮像およびレーザ治療システムは、更新された治療位置で、たとえば更新された治療位置にレーザを発射することによって、眼の状態を治療することができる。

【0050】

図３に示すように、撮像およびレーザ治療システムは、ステップ３０６で患者の眼の網膜の動きを追跡するために高速網膜追跡を使用することができる。高速網膜追跡は、フルフレーム追跡および／またはストリップまたはサブフレーム追跡を含みうる。撮像およびレーザ治療システムは、図２を参照して上述したように、複数の個々のストリップまたはスキャンからフル画像フレームを生成またはキャプチャする走査型撮像装置（例えば、ＳＬＯ撮像装置、ＯＣＴ撮像装置など）を含むことができる。いくつかの実施形態では、各ストリップまたはスキャンは、フルフレームの列またはフルフレームの列の一部であり得る。撮像およびレーザ治療システムは、高速網膜追跡を使用してストリップを処理することができ、各画像ストリップは、走査型撮像装置によってキャプチャされた複数の列を含む。つまり、フル画像フレームは、複数のストリップによって形成され、ストリップは、複数の列スキャンによって形成されることができる。フルフレーム内のストリップの数およびストリップのサイズは、事前に定義することも、あるいは、撮像およびレーザ治療システムのコンピュータシステムまたはコンピュータシステムのＧＰＵの処理速度および／または処理負荷、スキャン列をキャプチャするスキャン撮像装置のキャプチャレート、ストリップによってカバーされる目の領域、ストリップによってカバーされる目の領域内の特徴など、さまざまな要因に基づいて撮像およびレーザ治療システムによって動的に調整することもできる。

【0051】

いくつかの実施形態では、撮像およびレーザ治療システムは、ステップ３０６ａ－３０６ｄを使用して高速網膜追跡を実行できる。ステップ３０６ａでは、コンピュータシステムは、画像フレームのストリップを受信することができる。図２を参照して上で説明したように、コンピュータシステムは、走査型撮像装置がストリップ全体をキャプチャした後に画像フレームのストリップを受信することができるか、または走査型撮像装置がストリップの一部をキャプチャするときに、コンピュータシステムは、リアルタイムまたは実質的にリアルタイムでストリップの一部を受信することができる。

【0052】

ステップ３０６ｂでは、コンピュータシステムは、ステップ３０６ａでコンピュータシステムが完全な画像フレームを受信したか、画像フレームのストリップを受信したかを自動的に判断することができる。コンピュータシステムは、走査型撮像装置から位置データを受信して、コンピュータシステムが完全な画像フレームを受信したか、画像フレームのストリップを受信したかを判断することができる。いくつかの実施形態では、位置データには、走査型撮像装置のミラーの位置を含めることができる。走査型撮像装置のミラーは、走査型撮像装置の光またはレーザを患者の目の位置に向けることができる。コンピュータシステムは、患者の位置がフル画像フレームに対応する位置に対応するか否かを判定することができる。実施形態によっては、フル画像フレームに対応する位置は、画像フレームの任意の角または端であってもよい。実施形態によっては、フル画像フレームに対応する位置は、画像の任意の所定位置であってもよい。

【0053】

コンピュータシステムがステップ３０６ａでフル画像フレームを受信した場合、撮像およびレーザ治療システムは、図４を参照して以下で説明するように、ステップ３０６ｃでフルフレーム追跡を使用して患者の目の網膜の動きを追跡することができる。コンピュータシステムがステップ３０６ａで画像フレームのストリップを受信した場合、撮像およびレーザ治療システムは、図４を参照して以下で説明するように、ステップ３０６ｄでサブフレーム追跡を使用して患者の目の網膜の動きを追跡することができる。ステップ３０６ｃでは、撮像およびレーザ治療システムは、ステップ３０２で初期画像がキャプチャされた後、フルフレームを初期画像および／または走査型撮像装置によって前にキャプチャされた１つ以上の画像フレームと比較することにより、患者の目の網膜の動きを追跡できる。

【0054】

ステップ３０６ｄでは、撮像およびレーザ治療システムは、画像フレームのストリップを初期画像、初期画像の対応するストリップ、走査型撮像装置によって前にキャプチャされた１つ以上の画像フレーム、および／または走査型撮像装置によって前にキャプチャされた１つ以上の画像フレームの対応するストリップと比較することにより、患者の目の網膜の動きを追跡できる。図４ を参照して以下でさらに説明するように、ステップ３０６ｄでは、走査型撮像装置によって前にキャプチャされた１つ以上の画像フレームの対応するストリップは、コンピュータシステムが画像フレームのストリップを受け取ったときに、走査型撮像装置によってすでにキャプチャされているフル画像フレームまたは１つ以上の画像フレームの一部でありうる。患者の眼の網膜の動きは、フルフレーム追跡またはストリップ追跡のどちらから決定されても、ステップ３０８で撮像およびレーザ治療システムの登録を更新するために使用し得る。

【0055】

図４は、網膜追跡および治療のさらなる方法４００を示す。方法４００は、フルフレーム追跡プロセス４０２、および／またはサブフレーム追跡プロセス４０４を含むことができる。いくつかの実施形態では、サブフレーム追跡プロセス４０４はストリップ追跡プロセスであり得る。

【0056】

ステップ４０６で、コンピュータシステムは、画像ストリップまたは画像ストリップの画像データを受信することができる。ステップ４０８で、コンピュータシステムは、フルフレームがコンピュータシステムによって受信されたか否かを自動的に判断することができる。図３を参照して上で説明したように、コンピュータシステムは、スキャン撮像装置から位置データを受信して、コンピュータシステムがフル画像フレームを受信したのか、画像フレームのストリップを受信したのかを判断することができる。いくつかの実施形態では、位置データには、スキャン撮像装置のミラーの位置を含めることができる。スキャン撮像装置のミラーは、スキャン撮像装置の光またはレーザを患者の目の位置に向けることができる。コンピュータシステムは、患者の位置がフル画像フレームに対応する位置に対応するか否かを判断できる。いくつかの実施形態では、フル画像フレームに対応する位置は、画像フレームの任意の角または端であり得る。いくつかの実施形態では、フル画像フレームに対応する位置は、画像の任意の所定位置であり得る。コンピュータシステムがステップ４０８でフルフレームが受信されたと判断した場合、コンピュータシステムはフルフレーム追跡プロセス４０２を使用できる。

【0057】

いくつかの実施形態では、フルフレーム追跡プロセス４０２の最初のステップはステップ４１０である。ステップ４１０では、コンピュータシステムはフルフレームまたはフルフレームの一部を前処理できる。コンピュータシステムは、例えばシャープニング、ホワイトバランス、色、コントラスト、またはその他の画像特性の調整、レンズ歪みの除去など、フルフレームまたはフルフレームの一部に１つ以上の調整または変換を適用し得る。

【0058】

コンピュータシステムがステップ４１０でフルフレームを前処理した後、コンピュータシステムは患者の目の１つ以上の特徴を検出することができる。コンピュータシステムは、ステップ４１２でフルフレームを分析して、フルフレームの患者の目の１つ以上の特徴の位置を決定することができる。コンピュータシステムは、患者の目の網膜の１つ以上の静脈またはその他の特徴の位置を決定することができる。コンピュータシステムは、例えば、エッジ検出、コーナー検出、ブロブ検出、およびリッジ検出のうちの１つ以上を含む、さまざまな特徴検出技術または方法を使用することができる。

【0059】

コンピュータシステムがステップ４１２で患者の眼の１つ以上の特徴を検出した後、コンピュータシステムはステップ４１４で患者の眼の１つ以上の特徴を初期フレームの患者の眼の対応する１つ以上の特徴と一致させることができる。いくつかの実施形態では、初期フレームは、走査型撮像装置によってキャプチャされた最初のフレームであってもよく、または初期フレームは、前に受信したフルイメージフレームであってもよい。コンピュータシステムがステップ４１４で患者の眼の１つ以上の特徴を初期フレームの患者の眼の対応する特徴と一致させた後、コンピュータシステムは、ステップ４１６で、１つ以上の特徴と対応する１つ以上の特徴との閾値数のペアが一致したか否か判定することができる。いくつかの実施形態では、閾値数は、所定のペア数であってもよい。所定のペア数は、フルイメージフレームを初期フレームと正確に一致させるために必要なペア数であってもよい。いくつかの実施形態では、コンピュータシステムは、前にキャプチャされたフレームをコンピュータシステムがどの程度変換したか、フルフレームのキャプチャ速度、コンピュータシステムの処理能力などに応じて、しきい値のペア数を動的に決定することができる。コンピュータシステムが、ステップ４１６で十分な特徴のペアが一致したと判断すると、コンピュータシステムは、ステップ４１８で絶対変換（absolute transformation）を決定することができる。絶対変換は、フル画像フレームに適用される並進、回転、サイズ変更、および／またはワーピングであり、フル画像フレームの１つ以上の特徴が、初期画像フレームの対応する１つ以上の特徴と一列に並ぶか、フル画像フレームの１つ以上の特徴が、初期画像フレームの対応する１つ以上の特徴の位置と同じ位置にある。

【0060】

コンピュータシステムがステップ４１８で絶対変換を決定した後、コンピュータシステムは、ステップ４２０で絶対変換が正常に計算されたか否か決定できる。コンピュータシステムが、ステップ４２０で絶対変換が正常に計算されたと判断した場合、コンピュータシステムは、ステップ４２２で絶対変換を評価し、絶対変換がステップ４２４で絶対変換しきい値を計算する。変換しきい値は、治療レーザに適用された場合に治療レーザが点ではなく線として発射されるような並進、回転、サイズの変更、および／またはワーピングであり得る。変換しきい値を超える変換は、治療レーザの危険な発射を引き起こし、患者の目に損傷を与え得る。ステップ４２４でコンピュータシステムが絶対変換が変換しきい値を下回っていると判断した場合、コンピュータシステムはステップ４２６で絶対変換および／またはフルフレーム追跡の結果をコンピュータシステムのメモリに格納することができる。

【0061】

コンピュータシステムが、ステップ４１６で １つ以上の特徴と対応する１つ以上の特徴のペアのしきい値数が一致していないと判断した場合、ステップ４２０で絶対変換が正常に計算されない、またはステップ４２４で絶対変換が変換しきい値を超えている場合、コンピュータシステムはステップ４２８で追跡失敗を示すことができる。いくつかの実施形態では、追跡失敗により治療レーザの発射が妨げられ得る。

【0062】

ステップ４０８で、コンピュータシステムが画像ストリップまたは画像ストリップの画像データを受信したときにフルフレームが受信されていないと判断された場合、コンピュータシステムはサブフレーム追跡プロセス４０４を使用することができる。いくつかの実施形態では、サブフレーム追跡プロセス４０４の最初のステップはステップ４３０である。ステップ４３０では、コンピュータシステムは、コンピュータシステムのメモリに格納されている前に受信したフル画像フレームから対応するストリップを取得できる。ステップ４３２では、コンピュータシステムは、対応するストリップが正常に取得されたか否かを判断できる。コンピュータシステムは、対応するストリップが正常に取得されたと判断した場合、ステップ４３４で画像ストリップを前処理できる。コンピュータシステムは、画像ストリップに１つ以上の調整または変換を適用できる。たとえば、シャープ化、ホワイトバランス、色、コントラスト、またはその他の画像特性の調整、レンズ歪みの除去などである。

【0063】

コンピュータシステムは、ステップ４３４で画像ストリップを前処理した後、ステップ４３６で相対変換を計算できる。コンピュータシステムは、画像ストリップを分析して画像ストリップの患者の目の１つ以上の特徴の位置を決定することにより、相対変換を計算できる。コンピュータシステムは、さまざまな特徴検出技術または方法を使用して、画像ストリップの患者の目の１つ以上の特徴の位置を決定できる。これには、たとえば、エッジ検出、コーナー検出、ブロブ検出、およびリッジ検出の１つ以上が含まれます。コンピュータシステムが患者の眼の１つ以上の特徴を検出した後、コンピュータシステムは患者の眼の１つ以上の特徴を、対応する画像ストリップの患者の眼の対応する１つ以上の特徴と一致させることができる。コンピュータシステムが患者の眼の１つ以上の特徴を、対応する画像ストリップの患者の眼の対応する特徴と一致させた後、コンピュータシステムは、１つ以上の特徴と対応する１つ以上の特徴のペアのしきい値数が一致したか否かを判定することができる。いくつかの実施形態では、しきい値数は、所定のペア数である。所定のペア数は、画像ストリップを最初の画像ストリップと正確に一致させるために必要なペア数である。いくつかの実施形態では、コンピュータシステムは、前にキャプチャされた画像ストリップをコンピュータシステムがどの程度変換したか、画像ストリップのキャプチャレート、コンピュータシステムの処理能力などに応じて、しきい値ペア数を動的に判定することができる。十分な特徴ペアが一致したとコンピュータシステムが判定した場合、コンピュータシステムは相対的な変換を判定することができる。相対変換は、画像ストリップの１つ以上の特徴が対応する画像ストリップの対応する１つ以上の特徴と一列に並ぶように、または画像ストリップの１つ以上の特徴が対応する画像ストリップの対応する１つ以上の特徴の位置と同じ位置に配置されるように、画像ストリップフレームに適用される並進、回転、サイズ変更、および／またはワーピングであり得る。いくつかの実施形態では、相対変換は、絶対変換と比較して簡略化された変換であり得る。たとえば、いくつかの実施形態では、相対変換は平行移動のみを含むことができる。このようにして、コンピュータシステムは、絶対変換を計算するよりも短い時間で相対変換を計算できる。相対変換は、絶対変換よりも精度が低くなり得る。

【0064】

いくつかの実施形態では、コンピュータシステムは、ステップ４３８で相対変換を評価し、ステップ４４０で、相対変換の誤差が許容誤差範囲内にあるか否か、および／または相対変換が変換しきい値を下回っているか否かを判定することができる。コンピュータシステムは、対応する画像ストリップの１つ以上の特徴の位置を、相対変換が画像ストリップに適用された後の画像ストリップの１つ以上の特徴の位置と比較することによって、相対変換の誤差を判定することができる。ステップ４０４で、コンピュータシステムは、相対変換の誤差が許容誤差範囲内であり、かつ/または相対変換が変換しきい値を下回っていると判定した場合、コンピュータシステムは、ステップ４４３でサブ追跡絶対変換を判定できる。サブ追跡絶対変換は、相対変換と、前の画像ストリップがサブ追跡プロセス４０４に使用するサブ追跡絶対変換との組み合わせ、または、サブ追跡絶対変換は、前のフルフレーム追跡プロセス４１０で判定された相対変換と絶対変換との組み合わせである。コンピュータシステムがステップ４４２でサブ追跡絶対変換を判定した後、コンピュータシステムは、ステップ４２６でサブ追跡絶対変換および／またはサブフレーム追跡の結果をコンピュータシステムのメモリに格納できる。

【0065】

コンピュータシステムが、対応するストリップがステップ４３２で正常に取得されなかったと判定した場合、または相対変換の誤差が許容誤差範囲内ではなく、かつ/または相対変換が変換しきい値を超えていると判定した場合、コンピュータシステムは、ステップ４３２でトラッキング失敗を示すことができる。いくつかの実施形態では、追跡の失敗により治療レーザの発射が妨げられ得る。

【0066】

コンピュータシステムは、ステップ４２６で絶対変換またはサブ追跡絶対変換を保存した後、ステップ４４６で絶対変換またはサブ追跡変換を最新の変換に設定することができる。いくつかの実施形態では、コンピュータシステムは、現在のフレームのレーザターゲットのレーザ治療座標に絶対変換またはサブ追跡絶対変換を適用して、レーザターゲットの位置を変換することができる。コンピュータシステムが絶対変換またはサブ追跡絶対変換をレーザ治療座標に適用した後、コンピュータシステムは、ステップ４５０で絶対変換またはサブ追跡絶対変換をＯＣＴ撮像装置の座標に適用することができる。レーザターゲットが変換されると、ステップ４５２で治療レーザが配置され、発射される。

【0067】

図示されていないが、いくつかの実施形態では、方法４００はフィードバックループであり、コンピュータシステムは、画像ストリップを受信すると、方法４００を継続的に実行することができる。フィードバックループの眼球運動の継続的な追跡により、患者の眼球が動くときに、治療レーザが患者の眼球の正しい治療位置に配置されるか、または照準が合わせられることが保証される。ステップ４２６－４５２は治療レーザに関して説明されているが、方法４００は、ＯＣＴ撮像装置などのスキャン装置が正しい位置に配置されるか、または照準が合わせられることを保証するために使用できることを理解されたい。

【0068】

図５は、追跡プロセスの例示的なタイムラインを示している。図に示すように、初期フレームが受信される（５０２）。図には示されていないが、初期フレームは、追加のフレームと同様に、いくつかのストリップとしてキャプチャまたは撮像することができる。図に示すように、各フレーム１－５は、一連のストリップA－Fとしてキャプチャまたは撮像することができる。スキャン撮像装置は、各ストリップを一連のポイントとしてキャプチャすることも、一度にストリップ全体をキャプチャすることもできる。コンピュータシステムが一連のストリップＡ－Ｆの１つを受信すると、矢印５０６ａ－５０６ｄで示され、図４を参照して上で説明したように、コンピュータシステムはストリップＡ－Ｆと前のフレームの対応するストリップＡ－Ｆを使用してサブフレーム追跡を実行できる。前のフレームの対応するストリップＡ－Ｆは、最後に一致したフル画像フレームの対応するストリップであり得る。

【0069】

フレーム１がマッチングされる前に受信されたフレーム１およびフレーム２のストリップＡ－Ｆは、初期フレーム５０２とマッチングされているようには示されていないが、ストリップＡ－Ｆは、初期フレームの対応するストリップとマッチングされてもよい。

【0070】

図示されるように、コンピュータシステムは、複数のストリップＡ－Ｆをそれぞれ受信し、複数のストリップＡ－Ｆを使用してサブフレーム追跡５０６ａ－５０６ｄを実行するのにかかる時間よりも、フルフレーム追跡５０４ａ－５０４ｄを実行するのに時間がかかる場合がある。図示されるように、フルフレーム追跡を使用してフレーム１がマッチングされた後、サブフレーム追跡を使用してフレーム２のストリップＦがフレーム１のストリップＦと比較され、矢印５０６ａで示されるように、サブフレーム追跡を使用してフレーム３のストリップＡおよびストリップＥがフレーム１の対応するストリップＡ－Ｅと比較される。同様に、各ストリップは、矢印５０６ｂ、５０６ｃおよび５０６ｄで示されるように、以前に一致したフレームの対応するストリップと比較される。コンピュータシステムは、一連のストリップＡ－Ｆに対してサブ追跡を実行できると同時に、最近キャプチャされたフルフレームを使用してフルフレーム追跡を実行する。

【0071】

上記のプロセスは、各ストリップが受信されるたびに可能性のある眼球運動が更新される高速網膜追跡を提供する。図４を参照して上記で説明したように、サブ追跡プロセスはフルフレーム追跡よりも大幅に高速であり得るが、サブ追跡には、適用される各サブ追跡絶対変換で累積し得るエラーが含まれ得る。フルフレームが受信され、コンピュータシステムがフルフレーム追跡を実行できるようになると、フルフレーム追跡プロセス中に計算される絶対変換を適用して、フルフレーム追跡プロセスでの動きが画像ストリップではなくフルフレームを使用して決定されるため、エラーの累積を減らすか、またはなくすことができる。

【0072】

図５を参照して上記でコンピュータシステムを説明したが、図２－図５に示すように、コンピュータシステムのどの部分でも、本明細書に記載された方法のいずれかを実行できる。いくつかの実施形態では、ＧＰＵは、本明細書に記載された方法を実行して、高速網膜追跡の実行速度を向上させることができる。ＧＰＵは、並列処理を使用して高速網膜追跡を実行できる。いくつかの実施形態では、カスタムプロセッサを使用して、本明細書に記載された方法のいずれかを実行できる。カスタムプロセッサには、１つ以上のＧＰＵ、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ、および／または他の任意のハードウェアを含めることができる。いくつかの実施形態では、複数のＧＰＵおよび／または複数のカスタムプロセッサが、異なるフルフレーム画像または画像ストリップに対して同時に本明細書に記載された方法を実行し、処理速度をさらに向上させることができる。

【0073】

図６は、本明細書に開示された１つ以上の実施形態を実装するソフトウェアを実行するコンピュータハードウェアシステムの実施形態を示すブロック図である。

【0074】

いくつかの実施形態では、本明細書に記載されたシステム、プロセス、および方法は、図６に示されているようなコンピュータシステムを使用して実装される。例示のコンピュータシステム６０２は、１つ以上のネットワーク６１８を介して、１つ以上のコンピュータシステム２０および／または１つ以上のデータソース６２２と通信する。図６はコンピュータシステム６２０の実施形態を示しているが、コンピュータシステム６２０のコンポーネントおよびモジュールで提供される機能は、より少ないコンポーネントおよびモジュールに統合されるか、または追加のコンポーネントおよびモジュールにさらに分離され得ることが認識される。

【0075】

コンピュータシステム６０２は、本明細書に記載された機能、方法、動作、および／またはプロセスを実行するモジュール６１４を含むことができる。モジュール６１４は、以下でさらに説明する中央処理装置６０６によってコンピュータシステム６０２上で実行される。

【0076】

一般に、本明細書で使用されている「モジュール」という語は、ハードウェアまたはファームウェアに組み込まれたロジック、またはエントリポイントと終了ポイントを持つソフトウェア命令の集合を指す。モジュールは、ＪＡＶＡ、ＣまたはＣ＋＋、Ｐｙｔｈｏｎなどのプログラム言語で記述される。ソフトウェアモジュールは、実行可能プログラムにコンパイルまたはリンクされたり、ダイナミックリンクライブラリにインストールされたり、ＢＡＳＩＣ、ＰＥＲＬ、ＬＵＡ、Ｐｙｔｈｏｎなどのインタープリタ言語で記述され得る。ソフトウェアモジュールは、他のモジュールまたはモジュール自体から呼び出され得、または、検出されたイベントまたは割り込みに応じて呼び出され得る。ハードウェアに実装されたモジュールには、ゲートやフリップフロップなどの接続されたロジックユニットが含まれ、プログラマブルゲートアレイやプロセッサなどのプログラマブルユニットが含まれ得る。

【0077】

一般に、本明細書で説明するモジュールとは、物理的な構成やストレージにかかわらず、他のモジュールと組み合わせたり、サブモジュールに分割したりできる論理モジュールを指す。モジュールは、１つ以上のコンピュータシステムによって実行され、任意の適切なコンピュータ読み取り可能なメディア上またはメディア内に保存したり、特別に設計されたハードウェアまたはファームウェア内に全体または一部を実装し得る。すべての計算、分析、および／または最適化にコンピュータシステムの使用が必要なわけではないが、上記の方法、計算、プロセス、または分析はいずれも、コンピュータを使用することで容易に実行できる。さらに、いくつかの実施形態では、本明細書で説明するプロセスブロックを変更、再配置、組み合わせ、および／または省略し得る。

【0078】

コンピュータシステム６０２は、マイクロプロセッサを含むことができる１つ以上の処理装置（ＣＰＵ）６０６を含む。コンピュータシステム６０２は、さらに、情報を一時保存するランダムアクセスメモリ（ＲＡＭ）、情報の永続保存用の読み取り専用メモリ（ＲＯＭ）などの物理メモリ６１０、およびバックアップストア、ハードドライブ、回転磁気ディスク、ソリッドステートディスク（ＳＳＤ）、フラッシュメモリ、相変化メモリ（ＰＣＭ）、３Ｄ ＸＰｏｉｎｔメモリ、ディスケット、または光メディア記憶装置などの大容量記憶６０４が含まれます。あるいは、大容量記憶装置は、サーバのアレイに実装することができる。通常、コンピュータシステム６０２のコンポーネントは、標準ベースのバスシステムを使用してコンピュータに接続される。バスシステムは、周辺コンポーネント相互接続（ＰＣＩ）、マイクロチャネル、ＳＣＩＣ、工業標準アーキテクチャ（ＩＳＡ）、拡張 ＩＳＡ（ＥＩＳＡ）アーキテクチャなどのさまざまなプロトコルを使用して実装できる。

【0079】

コンピュータシステム６０２は、キーボード、マウス、タッチパッド、プリンターなどの１つ以上の入出力（Ｉ／Ｏ）装置およびインタフェース６１２を含む。Ｉ／Ｏデバイスおよびインタフェース６１２には、ユーザにデータを視覚的に表示できるモニタなどの１つ以上の表示装置を含めることができる。より具体的には、表示装置は、たとえばアプリケーションソフトウェアデータとしてのＧＵＩの表示や、マルチメディアプレゼンテーションなどを提供する。Ｉ／Ｏ装置およびインタフェース６１２は、さまざまな外部装置への通信インタフェースも提供できる。コンピュータシステム６０２ には、たとえばスピーカー、ビデオカード、グラフィックスアクセラレータ、マイクなどの１つ以上のマルチメディアデバイス６０８を含めることができる。

【0080】

コンピュータシステム６０２は、サーバ、Ｗｉｎｄｏｗｓサーバ、構造クエリ言語サーバ、Ｕｎｉｘサーバ、パーソナルコンピュータ、ラップトップコンピュータなどの様々なコンピュータ装置上で実行することができる。他の実施形態では、コンピュータシステム６０２は、大規模データベースの制御および／または通信、高ボリュームトランザクション処理の実行、大規模データベースからのレポートの生成に適したクラスタコンピュータシステム、メインフレームコンピュータシステム、および／または他のコンピュータシステム上で実行することができる。コンピュータシステム６０２は、通常、Windows XP、Windows Vista、Windows 7、Windows 8、Windows 10、Windows 11、Windows Server、Unix、Linux（およびその派生版であるDebian、Linux Mint、Fedora、Red Hat）、SunOS、Solans、Blackberry OS、z/OS、iOS、macOS、または独自のオペレーティングシステムを含む他のオペレーティングシステムなどのオペレーティングシステムソフトウェアによって制御および調整される。オペレーティングシステムは、コンピュータプロセスの実行を制御およびスケジュールし、メモリ管理を実行し、ファイルシステム、ネットワーク、およびI/Oサービスを提供し、グラフィカルユーザインタフェース（ＧＵＩ）などのユーザインタフェースを提供するなど、さまざまな機能を備える。

【0081】

図６に示すコンピュータシステム６０２は、通信リンク６１６（有線、無線、またはそれらの組み合わせ）を介して、ＬＡＮ、ＷＡＮ、またはインターネットなどのネットワーク６１８に接続されている。ネットワーク６１８は、さまざまなコンピュータ装置および／またはその他の電子デバイスと通信する。ネットワーク６１８は、１つ以上のコンピュータシステム６２０および１つ以上のデータソース６２２と通信する。モジュール６１４は、Ｗｅｂ対応のユーザアクセスポイントを介してコンピュータシステム６２０および／またはデータソース６２２にアクセスし得、コンピュータシステム６２０および／またはデータソース６２２からアクセスされ得る。接続は、直接の物理接続、仮想接続、およびその他の接続タイプである可能性があります。ウェブ対応のユーザアクセスポイントは、テキスト、グラフィック、オーディオ、ビデオ、およびその他のメディアを使用してデータを表示し、ネットワーク６１８を介してデータと対話できるようにするブラウザモジュールを含み得る。

【0082】

コンピュータシステム６２０および／またはデータソース６２２によるコンピュータシステム６０２のモジュール６１４へのアクセスは、コンピュータシステム６２０またはデータソース６２２のパーソナルコンピュータ、携帯電話、スマートフォン、ラップトップ、タブレットコンピュータ、電子書籍リーダ装置、オーディオプレーヤ、またはネットワーク６１８に接続できる他の装置などのウェブ対応のユーザアクセスポイントを介して行い得る。このような装置には、テキスト、グラフィック、オーディオ、ビデオ、およびその他のメディアを使用してデータを表示し、ネットワーク６１８を介してデータと対話できるようにするモジュールとして実装されたブラウザモジュールを含み得る。

【0083】

出力モジュールは、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、または他のタイプおよび／またはディスプレイの組み合わせなどの全点アドレス指定可能なディスプレイの組み合わせとして実装されてもよい。出力モジュールは、入力デバイス６１２と通信するように実装されてもよいし、メニュー、ウィンドウ、ダイアログボックス、ツールバー、およびコントロール（たとえば、ラジオボタン、チェックボックス、スライディングスケールなど）などの様式化された画面要素を使用してユーザがデータにアクセスできるようにする適切なインタフェースを備えたソフトウェアも含まれてもよい。さらに、出力モジュールは、ユーザからの信号を受信するために、一連の入力装置および出力装置と通信してもよい。

【0084】

入力装置は、キーボード、ローラーボール、ペンとスタイラス、マウス、トラックボール、音声認識システム、または事前に指定されたスイッチまたはボタンを含み得る。出力装置は、スピーカー、ディスプレイ画面、プリンター、または音声合成装置を含み得る。さらに、タッチスクリーンは、ハイブリッド入力／出力装置として機能することができる。別の実施形態では、ユーザは、インターネット、WAN、LAN、または同様のネットワークを介した通信なしでスコアジェネレータに接続されたシステム端末などを介して、システムとより直接的に対話することができる。

【0085】

いくつかの実施形態では、システム６０２は、インタラクティブデータおよびデータベースをオンラインでリアルタイムにアップロード、ダウンロード、または表示することを明確な目的として、リモートマイクロプロセッサとメインフレームホストコンピュータとの間に確立された物理的または論理的な接続を含むことができる。リモートマイクロプロセッサは、クライアントサーバシステムまたはメインサーバシステムを含むコンピュータシステム６０２を操作するエンティティによって操作され得、および／または１つ以上のデータソース６２２および／または１つ以上のコンピュータシステム６２０によって操作され得る。いくつかの実施形態では、マイクロプロセッサ上で端末エミュレーションソフトウェアを使用して、マイクロメインフレームリンクに参加することができる。

【0086】

いくつかの実施形態では、コンピュータシステム６０２を操作するエンティティの内部にあるコンピュータシステム６２０は、ＣＰＵ６０６によって実行されるアプリケーションまたはプロセスとして内部的にモジュール６１４にアクセスすることができる。

【0087】

いくつかの実施形態では、本明細書で説明するシステム、方法、および装置の１つ以上の機能は、たとえばデータまたはユーザ情報を保存および／または送信するために、ＵＲＬおよび／またはクッキーを使用することができる。ユニフォームリソースロケータ（ＵＲＬ）は、Ｗｅｂアドレスおよび／またはデータベースおよび／またはサーバに保存されているＷｅｂリソースへの参照を含むことができる。ＵＲＬは、コンピュータおよび／またはコンピュータネットワーク上のリソースの場所を指定することができる。ＵＲＬは、ネットワークリソースを取得するメカニズムを含むことができる。ネットワークリソースのソースは、ＵＲＬを受信し、Ｗｅｂリソースの場所を識別し、Ｗｅｂリソースを要求者に返信することができる。ＵＲＬはＩＰアドレスに変換することができ、ドメインネームシステム（ＤＮＳ）は、ＵＲＬとそれに対応するＩＰアドレスを検索することができる。ＵＲＬは、Ｗｅｂページ、ファイル転送、電子メール、データベースアクセス、およびその他のアプリケーションへの参照になる。ＵＲＬは、パス、ドメイン名、ファイル拡張子、ホスト名、クエリ、フラグメント、スキーム、プロトコル識別子、ポート番号、ユーザ名、パスワード、フラグ、オブジェクト、リソース名などを識別する文字列を含むことができる。ここで開示されるシステムは、ＵＲＬを生成、受信、送信、適用、解析、シリアル化、レンダリング、および／またはアクションを実行できる。

【0088】

クッキーは、ＨＴＴＰクッキー、ウェブクッキー、インターネットクッキー、およびブラウザクッキーとも呼ばれ、ウェブサイトから送信されたデータや、ユーザのコンピュータに保存されたデータを含むことができる。このデータは、ユーザが閲覧している間にユーザのウェブブラウザによって保存される。クッキーには、オンラインストアのショッピングカート、ボタンのクリック、ログイン情報、および／または過去に訪問したウェブページやネットワークリソースの記録など、ウェブサイトが以前の閲覧情報を記憶する有用な情報を含めることができる。クッキーには、名前、住所、パスワード、クレジットカード情報など、ユーザが入力する情報も含めることができる。クッキーは、コンピュータ機能を実行することもできる。たとえば、認証クッキーは、アプリケーション（たとえば、ウェブブラウザ）によって、ユーザがすでにログインしているか否か（たとえば、ウェブサイトに）を識別するために使用できる。クッキーデータは、消費者にセキュリティを提供するために暗号化できる。追跡クッキーは、個人の過去の閲覧履歴をまとめるために使用できる。ここで開示されているシステムは、クッキーを生成して使用し、個人のデータにアクセスできる。システムは、ＪＳＯＮ Ｗｅｂトークンを生成して使用し、信頼性情報、認証プロトコルとしてのＨＴＴＰ認証、セッションまたはＩＤ情報を追跡するＩＰアドレス、ＵＲＬなどを保存することもできる。

【0089】

コンピュータシステム６０２は、１つ以上の内部および／または外部データソース（例えば、データソース６２２）を含み得る。いくつかの実施形態では、上述のデータリポジトリおよびデータソースの１つ以上は、Sybase、Oracle、CodeBase、DB2、PostgreSQL、Microsoft（登録商標） SQL Serverなどのリレーショナルデータベース、ならびにNoSQLデータベース（Couchbase、Cassandra、MongoDBなど）、フラットファイルデータベース、エンティティリレーションシップデータベース、オブジェクト指向データベース（InterSystems Cacheなど）、クラウドベースのデータベース（Amazon（登録商標） RDS、Azure SQL、Microsoft Cosmos DB、Azure Database for MySQL、Azure Database for MariaDB、Azure Cache for Redis、Azure Managed Instance for Apache Cassandra、Google（登録商標） Bare Metal Solution for Oracle on Google Cloud、Google Cloud SQL、Google Cloud Spanner、Google Cloud Big Table、Google Firestore、Google Firebase Realtime Database、Google Memorystore、Google MongoDB Atlas、Amazon Aurora、Amazon DynamoDB、Amazon Redshift、Amazon ElastiCache、Amazon MemoryDB for Redis、Amazon DocumentDB、Amazon Keyspacesなど）などの他のタイプのデータベースを使用して実装されてもよい。

【0090】

コンピュータシステム６０２は、１つ以上のデータベース６２２にアクセスすることもできる。データベース６２２は、データベースまたはデータリポジトリに格納される。コンピュータシステム６０２は、ネットワーク６１８を介して１つ以上のデータベース６２２にアクセスするか、または Ｉ／Ｏ装置およびインタフェース６１２を介してデータベースまたはデータリポジトリに直接アクセスすることができる。１つ以上のデータベース６２２を格納するデータリポジトリは、コンピュータシステム６０２内に存在することができる。

【0091】

前述の仕様では、システムおよびプロセスは、その特定の実施形態を参照して説明されている。しかし、本明細書に開示されている実施形態のより広い精神および範囲から逸脱することなく、さまざまな修正および変更を加えることができることは明らかである。したがって、仕様および図面は、限定的な意味ではなく、例示的な意味としてみなされる。

【0092】

実際、システムおよびプロセスは、特定の実施形態および例の文脈で開示されているが、システムおよびプロセスのさまざまな実施形態は、具体的に開示された実施形態を超えて、システムおよびプロセスの他の代替実施形態および／または使用、ならびにそれらの明らかな修正および同等物にまで及ぶことが、当業者には理解されるであろう。さらに、システムおよびプロセスの実施形態のいくつかのバリエーションが示され、詳細に説明されているが、本開示の範囲内にある他の修正は、本開示に基づいて当業者には容易に明らかになるであろう。実施形態の特定の特徴および側面のさまざまな組み合わせまたはサブ組み合わせが行われても、依然として本開示の範囲内に入ることも想定される。開示された実施形態のさまざまな特徴および側面は、開示されたシステムおよびプロセスの実施形態のさまざまなモードを形成するために、互いに組み合わせたり、互いに置き換えたりすることができることを理解されたい。本明細書で開示された方法は、記載された順序で実行される必要はない。したがって、本明細書で開示されたシステムおよびプロセスの範囲は、上記の特定の実施形態によって限定されるべきではないことが意図されている。

【0093】

開示のシステムおよび方法はそれぞれいくつかの革新的な側面を有し、そのうちのどれか一つが、本明細書に開示された望ましい属性に単独で関与したり、必須であるわけではないことは理解されるであろう。上述のさまざまな特徴およびプロセスは、互いに独立して使用することも、さまざまな方法で組み合わせることもできる。すべての可能な組み合わせおよびサブ組み合わせは、本開示の範囲内に含まれるものとする。

【0094】

本明細書で別個の実施形態の文脈で説明されている特定の特徴は、単一の実施形態で組み合わせて実装することもできる。逆に、単一の実施形態の文脈で説明されているさまざまな特徴は、複数の実施形態で別々に、または任意の適切なサブ組み合わせで実装することもできる。さらに、特徴は特定の組み合わせで機能すると上記で説明され、当初そのように主張されていたとしても、主張された組み合わせの１つ以上の特徴が、場合によっては、組み合わせから削除され、主張された組み合わせは、サブ組み合わせまたはサブ組み合わせのバリエーションに向けられることがある。単一の特徴または特徴のグループは、すべての実施形態に必要または不可欠ではない。

【0095】

また、本明細書で使用されている条件付きの言語、例えば「できる」、「かもしれない」、「かもしれない」、「かもしれない」、「例えば」などは、特に明記されていない限り、または使用されている文脈内で理解されていない限り、一般的に、特定の実施形態には特定の機能、要素、および／またはステップが含まれるが、他の実施形態には含まれないということを伝えることを意図していることが理解されるであろう。したがって、このような条件付きの言語は、一般的に、機能、要素、および／またはステップが１つ以上の実施形態に何らかの形で必要であること、または１つ以上の実施形態が、著者の入力またはプロンプトの有無にかかわらず、これらの機能、要素、および／またはステップが特定の実施形態に含まれるか、または実行されるかを決定するロジックを必ず含むことを示唆することを意図していない。「含む」、「含む」、「有する」などの用語は同義語であり、包括的に、オープンエンド方式で使用され、追加の要素、機能、行為、操作などを除外するものではない。さらに、「または」という用語は、その包括的な意味（排他的意味ではない）で使用されるため、たとえば、要素のリストを連結するために使用する場合、「または」という用語は、リスト内の要素の１つ、いくつか、またはすべてを意味する。さらに、本出願および添付の請求項で使用される冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、特に指定がない限り、「１つ以上」または「少なくとも１つ」を意味すると解釈されます。同様に、操作は特定の順序で図面に描かれている場合があるが、望ましい結果を得るために、そのような操作は、示されている特定の順序または連続した順序で実行される必要はなく、または示されているすべての操作を実行する必要はないことを認識する必要があります。さらに、図面は、フローチャートの形式で１つ以上の例示的なプロセスを概略的に示し得る。ただし、概略的に図示されている例示的な方法およびプロセスには、示されていない他の操作が組み込まれている場合がある。たとえば、１つ以上の追加の操作が、示されている操作の前、後、同時、または操作の間に実行され得る。さらに、操作は、他の実施形態では並べ替えられ得、または、順序が変更され得る。特定の状況では、マルチタスクと並列処理が有利になり得る。さらに、上記の実施形態におけるさまざまなシステムコンポーネントの分離は、すべての実施形態においてそのような分離が必要であると理解されるべきではなく、説明されているプログラムコンポーネントとシステムは、一般に、単一のソフトウェア製品に統合されるか、複数のソフトウェア製品にパッケージ化され得ることが理解されるであろう。さらに、他の実施形態も、以下の請求項の範囲内にある。場合によっては、請求項に記載されているアクションを異なる順序で実行しても、望ましい結果が得られる。

【0096】

さらに、本明細書に記載された方法および装置は、さまざまな変更および代替形態が可能であるが、それらの特定の例が図面に示されており、本明細書で詳細に説明されている。ただし、実施形態は、開示された特定の形態または方法に限定されるものではなく、むしろ、実施形態は、記載されたさまざまな実施形態および添付の特許請求の範囲の精神および範囲内にあるすべての変更、同等物、および代替物を網羅するものであることが理解されるであろう。さらに、実施形態または実施形態に関連する特定の特徴、側面、方法、特性、特徴、品質、属性、要素などの本明細書の開示は、本明細書に記載された他のすべての実施形態または実施形態で使用することができる。本明細書に記載された方法は、記載された順序で実行される必要はない。本明細書に記載された方法には、実施者が行う特定のアクションが含まれる場合があるが、明示的または暗黙的に、それらのアクションに関する第三者の指示も含まれる場合がある。本明細書に記載された範囲には、それらの重複、サブ範囲、および組み合わせのすべてが含まれる。 「最大」、「少なくとも」、「より大きい」、「より小さい」、「間の」などの言葉には、記載された数字が含まれる。「約」または「およそ」などの用語が先行する数字には、記載された数字が含まれ、状況に基づいて解釈すべきであろう（たとえば、状況下で合理的に可能な限り正確、たとえば±５％、±１０％、±１５％など）。たとえば、「約３．５mm」には「３．５mm」が含まれる。「実質的に」などの用語が先行するフレーズには、記載されたフレーズが含まれ、状況に基づいて解釈すべきであろう（たとえば、状況下で合理的に可能な限り）。たとえば、「実質的に一定」には「一定」が含まれる。特に明記しない限り、すべての測定は、温度および圧力を含む標準条件で行われる。

【0097】

本明細書で使用される場合、項目のリストの「少なくとも1つ」を指すフレーズは、単一のメンバーを含む、それらの項目の任意の組み合わせを指す。たとえば、「Ａ、Ｂ、またはＣのうち少なくとも１つ」は、「Ａ」、「Ｂ」、「Ｃ」、「ＡおよびＢ」、「ＡおよびＣ」、「ＢおよびＣ」、と、「A、BおよびＣ」をカバーすることを意図する。「Ｘ、ＹおよびＺのうち少なくとも１つ」という語句などの接続詞は、特に明記されていない限り、一般的に使用される文脈で、項目、用語などがＸ、Ｙ、またはＺのうち少なくとも１つであり得ることを伝えるために使用されていると理解されるであろう。したがって、このような接続詞は、特定の実施形態が「Ｘのうち少なくとも１つ」、「Ｙのうち少なくとも１つ」、および「Ｚのうち少なくとも１つ」がそれぞれ存在することを必要とすることを示唆することを意図していない。本明細書で提供されている見出しは、もしある場合、便宜上のものであり、本明細書で開示されている装置および方法の範囲または意味に必ずしも影響を与えるものではない。

【0098】

したがって、請求項は、本明細書で示した実施形態に限定されることを意図したものではなく、本明細書で開示された本開示、原理および新規な特徴と一致する最も広い範囲が与えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】