(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】OCTにおけるLSOベースの追跡を改良するための後処理方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20230907BHJP
G01N 21/17 20060101ALI20230907BHJP
【FI】
A61B3/10 100
G01N21/17 630
A61B3/10 300
A61B3/10 ZDM
(21)【出願番号】P 2020539795
(86)(22)【出願日】2019-04-15
(86)【国際出願番号】 EP2019059716
(87)【国際公開番号】W WO2019201881
(87)【国際公開日】2019-10-24
【審査請求日】2022-04-01
(32)【優先日】2018-04-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503317201
【氏名又は名称】カール ツァイス メディテック インコーポレイテッド
【氏名又は名称原語表記】Carl Zeiss Meditec Inc.
(73)【特許権者】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】デ システルネス、ルイス
(72)【発明者】
【氏名】クラウェック、パトリック
(72)【発明者】
【氏名】ベッロ、シモン
(72)【発明者】
【氏名】クーバッハ、ソフィー
【審査官】田辺 正樹
(56)【参考文献】
【文献】特表2016-508799(JP,A)
【文献】特開2013-202298(JP,A)
【文献】特表2014-509544(JP,A)
【文献】特表2011-508241(JP,A)
【文献】特開2016-047076(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
G01N 21/17
(57)【特許請求の範囲】
【請求項1】
光コヒーレンストモグラフィー(OCT)システムにおける動き補正のための方法であって、
患者の眼に関連する動き追跡データを収集するステップと、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するステップと、取得された各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせるステップと、
マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するステップと、
変位補正されたOCTスキャンを保存または表示するステップとを含
み、
取得されたOCTスキャンの各々が異なる位置における複数のAスキャンからなり、前記マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける動き誤差を補正することは、
前記マッチングした動き補正データに基づいて、OCTスキャンにおけるAスキャンの補正された位置を決定すること、Aスキャンの前記補正された位置は、不規則な点群の位置からなり、
グリッド内の規則的に配列された位置におけるAスキャンを使用して、前記点群を均一座標グリッドに変換することを含む、方法。
【請求項2】
前記点群を前記均一座標グリッドに変換することは、前記点群内の不規則な点位置におけるAスキャンに基づいて、前記規則的に配列された位置における新たなAスキャンを補間することを含む、請求項
1に記載の方法。
【請求項3】
前記規則的に配列された位置において新たなAスキャンを補間することは、その位置が前記規則的に配列された位置の周囲の最小領域の三角形を定義する点群内の一組の3つのAスキャンに基づいて、新たなAスキャンを補間することを含む、請求項
2に記載の方法。
【請求項4】
前記規則的に配列された位置において新たなAスキャンを補間することは、
前記点群内の各Aスキャン位置が一組の三角形の頂点に対応するように、前記点群を三角形分割すること、
座標グリッド内の各規則的に配列された位置を、前記点群内の対応する組の3つの位置に関連付けること、各対応する組の3つの位置は、座標グリッド内の関連する規則的に配列された位置を含む三角形の頂点を定義し、
座標グリッド内の配列された各位置のエントリを有するルックアップテーブル(LUT)を生成すること、各エントリは、前記点群内の配列された位置に対応する組の3つの位置と、関連する三角形に対する配列された位置の重心座標に基づく重みとを含み、
LUTに基づいて新たなAスキャンを補間することを含む、請求項
2に記載の方法。
【請求項5】
光コヒーレンストモグラフィー(OCT)システムにおける動き補正のための方法であって、
患者の眼に関連する動き追跡データを収集するステップと、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するステップと、取得された各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせるステップと、
マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するステップと、
変位補正されたOCTスキャンを保存または表示するステップとを含み、
前記動き追跡データは、複数の個々の動き追跡データからなり、各個々の動き追跡データムは、画像と、前記画像に基づく第1の解像度の第1の追跡変換とを含み、方法はさらに、
各個々の動き追跡データムに関して、前記第1の追跡変換よりも高い第2の解像度の第2の追跡変換を作成するステップと、
マッチングした動き追跡データの個別の第2の追跡変換に基づいて、取得されたOCTスキャンの変位誤差を補正するステップとを含む
、方法。
【請求項6】
光コヒーレンストモグラフィー(OCT)システムにおける動き補正のための方法であって、
患者の眼に関連する動き追跡データを収集するステップと、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するステップと、取得された各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせるステップと、
マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するステップと、
変位補正されたOCTスキャンを保存または表示するステップとを含み、
各OCTスキャンは、対応する動き追跡データムに関連付けられており、かつ関連する動き追跡データムに基づいて第1の変位補償の適用を含み、
マッチングした動き追跡データに基づいて、取得されたOCTスキャンの変位誤差を補正するステップは、
個々にマッチングした収集された動き追跡データに基づいて、取得されたOCTスキャンに対して第2の変位補償を適用することを含む
、方法。
【請求項7】
OCTスキャンのマッチングした収集された動き追跡データムは、関連する対応する動き追跡データムとは異なる、請求項
6に記載の方法。
【請求項8】
関連する動き追跡データムに基づいてOCTスキャンに対して第1の動き補償を適用することは、関連する動き追跡データムを使用してOCTスキャンの取得をガイドすることを含む、請求項
6に記載の方法。
【請求項9】
各動き追跡データムは、画像と、前記画像に基づく第1の追跡変換とを含み、各OCTスキャンはさらに、関連する動き追跡データムの画像と関連付けられ、
個々にマッチングした収集された動き追跡データに基づいて、取得されたOCTスキャンに対して第2の動き補償を適用するステップは、
関連する動き追跡データムの画像の関連付けを解除すること、
マッチングした収集された動き追跡データムの画像を関連付けること、
マッチングした収集された動き追跡データムの画像に基づいて、第2の動き補正を生成することを含む、請求項
8に記載の方法。
【請求項10】
光コヒーレンストモグラフィー(OCT)システムにおける動き補正のための方法であって、
患者の眼に関連する動き追跡データを収集するステップと、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するステップと、取得された各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせるステップと、
マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するステップと、
変位補正されたOCTスキャンを保存または表示するステップとを含み、
取得された各OCTスキャンは、収集された動き追跡データの中から予備的な動き追跡データムに関連付けられ、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせるステップは、
a)変位誤差が補正されるターゲットOCTスキャンに関して、前記ターゲットOCTスキャンに関連付けられている予備的な動き追跡データムを識別すること、
b)識別された前記予備的な動き追跡データムから開始して、収集された動き追跡データを、ターゲット動き追跡データムに到達するように、前記動き追跡シーケンスインジケータに従って所定のオフセットだけシフトすること、
c)前記ターゲットOCTスキャンを前記ターゲット動き追跡データムにマッチングさせることを含む
、方法。
【請求項11】
各動き追跡シーケンスインジケータは動き追跡タイムスタンプであり、各OCTスキャンシーケンスインジケータはOCTスキャンタイムスタンプである、請求項
10に記載の方法。
【請求項12】
前記オフセットは、識別された前記予備的な動き追跡データムの前記動き追跡タイムスタンプと前記ターゲットOCTスキャンの前記OCTスキャンタイムスタンプとの間の差に基づいて定義される、請求項
11に記載の方法。
【請求項13】
各OCTスキャンは、前記動き追跡タイムスタンプが前記OCTスキャンタイムスタンプに最も近い収集された動き追跡データムにマッチングされる、請求項
11に記載の方法。
【請求項14】
前記動き追跡データを収集するステップが、ラインスキャン検眼鏡(LSO)を使用して実施される、請求項1乃至
13のいずれか一項に記載の方法。
【請求項15】
取得されたOCTスキャンは、OCT血管造影データを提供する、請求項1乃至
14のいずれか一項に記載の方法。
【請求項16】
光コヒーレンストモグラフィー(OCT)システムであって、
患者の眼に関連する動き追跡データを収集するためのラインスキャン検眼鏡(LSO)と、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するOCTスキャナと、各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせ、マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するデータ処理デバイスと、
変位補正されたOCTスキャンを表示するディスプレイとを備え、
前記取得されたOCTスキャンの各々が異なる位置における複数のAスキャンからなり、前記データ処理デバイスは、前記マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を、
マッチングした動き補正データに基づいて、OCTスキャンにおけるAスキャンの補正された位置を決定すること、Aスキャンの前記補正された位置は、不規則な点群の位置からなり、
グリッド内の規則的に配列された位置におけるAスキャンを使用して、点群を均一座標グリッドに変換することによって補正する
、システム。
【請求項17】
光コヒーレンストモグラフィー(OCT)システムであって、
患者の眼に関連する動き追跡データを収集するためのラインスキャン検眼鏡(LSO)と、収集された各動き追跡データムは、個別の動き追跡シーケンスインジケータを有しており、
前記動き追跡データの収集と同時に、眼の複数のOCTスキャンを取得するOCTスキャナと、各OCTスキャンは、個別のOCTスキャンシーケンスインジケータを有しており、
前記個別のOCTスキャンシーケンスインジケータおよび前記動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを収集された動き追跡データにマッチングさせ、マッチングした動き追跡データに基づいて、取得されたOCTスキャンにおける変位誤差を補正するデータ処理デバイスと、
変位補正されたOCTスキャンを表示するディスプレイとを備え、
前記動き追跡データは、複数の個々の動き追跡データからなり、各個々の動き追跡データムは、画像と、前記画像に基づく第1の解像度の第1の追跡変換とを含み、
前記データ処理デバイスは、個々の動き追跡データムに関して、前記第1の追跡変換よりも高い第2の解像度の第2の追跡変換を作成し、マッチングした動き追跡データの個別の第2の追跡変換に基づいて、取得されたOCTスキャンの動き誤差を補正する
、システム。
【請求項18】
各動き追跡シーケンスインジケータが動き追跡タイムスタンプであり、各OCTスキャンシーケンスインジケータがOCTスキャンタイムスタンプであり、各OCTスキャンは、前記動き追跡タイムスタンプが前記OCTスキャンタイムスタンプに最も近い収集された動き追跡データムにマッチングされる、請求項
16または17に記載のシステム。
【請求項19】
前記OCTシステムは、OCT血管造影システムである、請求項
16乃至
18のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、光コヒーレンストモグラフィー(OCT:optical coherence tomography)およびOCT血管造影(OCTA:OCT angiography)の分野に関する。より詳細には、本発明は、特に、正面画像(enface images)として見られるような、動き追跡誤差によるアーチファクトを低減することを対象とする。
【背景技術】
【0002】
光コヒーレンストモグラフィー(OCT)システムは、検査されている被験者の動きを追跡するための画像カメラと、被験者をスキャンするためのOCTスキャナとを含み得る。画像カメラは、動き追跡情報をOCTスキャナに提供するように使用され得、OCTスキャナは、動き情報を使用して、スキャン動作をガイドおよび/または補正し得る。従って、動き追跡における誤差は、OCTスキャンの品質に直接影響する可能性がある。
【0003】
OCTデータの取得中(例えば、OCTスキャン)および後処理手法の両方で、OCTスキャンにおける動きを補正する研究が提案されている。OCTデータと同時に取得されたLSO画像を使用して、取得用のOCTスキャナの位置をガイドし、特定のOCTフレームを再スキャンする必要があるかどうかを判断するLSOベースの追跡アルゴリズムが提示されている(例えば、特許文献1)。他のアルゴリズムは、いくつかの繰り返されるOCTデータセットの取得に依存し得る。特許文献2は、データが実質的に静止していると見なすことができるように、OCTデータの第1の取得が減少した数の位置で行われ、多くのデータ位置を用いた第2の取得がOCTデータに登録される方法について説明している。しかしながら、眼の動きは非常に速く予測できないため、静止データの取得は非常に困難である。他の方法は、2つの直交3次元データセットの取得を使用して、OCTデータセット自体の画像登録アルゴリズムを使用して遡及的に動きを補正する。追加の方法は、OCT画像における血管のセグメンテーションおよび正則化アルゴリズムに依存して動きを補正する(例えば、非特許文献1)。しかしながら、これらの方法の結果は、アルゴリズムの個々のステップで使用されるセグメンテーション方法の性能に依存し得る。
【0004】
ほとんど成功しているが、OCT画像における動きを補正する現在の方法には、次のようないくつかの制限がある。(1)異なる方向でのいくつかの取得における反復OCTデータの取得には時間がかかり、実質的に静止した位置でのデータ取得を必要とし得る。(2)動きを補正するために複数の方向で反復データを取得することで生じる結果は、細部の損失または不鮮明さを犠牲にして得られる場合もある。(3)中間のセグメンテーションステップを使用すると、失敗する場合がある。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許第8857988号明細書
【文献】米国特許第9706915号明細書
【非特許文献】
【0006】
【文献】ラング エイ他(Lang A.et al.)、「縦方向網膜OCTデータの結合された登録および動きの補正(Combined registration and motion correction of longitudinal retinal OCT data)」、SPIE-国際光工学会(The International Society for Optical Engineering)報告集、2016年、9784:97840X
【発明の概要】
【0007】
本発明の目的は、OCT画像およびOCTA画像における改良された動き補正のための方法/装置/システムを提供することにある。
本発明のさらなる目的は、使用される動き追跡アルゴリズムに関係なく動き補正を提供することにある。
【0008】
上記の目的は、動き追跡用の撮像カメラ(例えば、ラインスキャン検眼鏡、LSO)、およびOCTスキャンのガイドのための追跡情報を使用するOCTスキャナを使用するOCTシステム、またはOCTAシステムまたは方法において達成される。本発明は、LSO追跡データ(または他のタイプの動き追跡データ)を使用してOCT取得をガイドするOCTシステムに対する動き補正における主な制限を克服する。本発明は、取得中に収集された情報を使用して既に取得されたデータに遡及的に適用されるため、取得中に制限的な実行時間制限の影響を受けず、「ほぼリアルタイム」の動き追跡変換の代わりに、同時に「リアルタイム」動き追跡変換を使用して動きを補正することができる。即ち、全てのOCTおよび動き追跡関連データが取得された後、各フレーム(例えば、OCTスキャン取得)用のカメラ(例えば、OCT光検出器)に命令された(例えば、によって使用された)動き追跡変換の効果を反転させて(例えば、元に戻して)、各フレームに補正された(例えば、より厳密にマッチングされた)観測追跡変換の効果を適用することによって、動き追跡中に発生した誤差を補正することができる。
【0009】
本発明は、ボリュームの繰り返しの取得を必要とせずに、(まばらな方法で、または2つの直交する方向でのいずれかで)、OCTまたはOCT血管造影(OCTA)ボリューム全体における動き誤差を補正し得る。
【0010】
本発明は、光コヒーレンストモグラフィーデータにおける動き補正のための方法またはシステムにおいて実施され得る。方法またはシステムは、動き追跡データを収集することを含み得、収集された各動き追跡データムは、個別の動き追跡タイムスタンプ、または2つ(またはそれ以上)のイベントが、互いに相対的な時間または絶対時間など、互いに相対的に発生する時期を決定することを可能にする他のシーケンスインジケータを有する。例えば、動き追跡データムが、複数の連続してキャプチャされた眼底画像中のある眼底画像を含む場合、動き追跡インジケータは、連続してキャプチャされた眼底画像内でその眼底画像がキャプチャされた順序を示し得る。全てのキャプチャされた眼底画像が有用な動き追跡データを提供しない場合、ギャップが、そのようなシーケンスに存在し得ることが理解されるべきである。動き追跡データの収集と同時に、OCTスキャナは複数のOCTスキャンを取得でき、取得された各OCTスキャンは、個別のOCTスキャンタイムスタンプ、または動き追跡データムが収集されたときとOCTスキャンが取得されたときとの間の相対的時間差を比較することができる他のシーケンスインジケータを有し得る。例えば、OCTスキャンシーケンスインジケータは、有用なOCTスキャンが取得される順序を示し得る。一部のOCTスキャンが不良として破棄された場合、ギャップが、そのようなシーケンスに存在し得ることが理解されるべきである。そのような場合、OCTシステムは、時間に余裕がある場合に、戻って再試行する(例えば、現在のスキャン掃引を中断して、サンプルの失われた位置に戻る)必要がある場合がある。その結果、OCTスキャンシーケンスインジケータは、サンプル上のシーケンシャルスキャン掃引の位置に対応しない場合がある。次いで、取得されたOCTスキャンは、それらの個別のOCTタイムスタンプおよび動き追跡タイムスタンプに基づいて、収集された動き追跡データにマッチングされ得る。例えば、取得されたOCTスキャンは、最も近接にマッチングするタイムスタンプを有する収集された動き追跡データとマッチングされ得る。取得されたOCTスキャンの変位誤差は、マッチングした収集された動き追跡データに基づいて補正され、変位が補正されたOCTスキャンは、将来の分析のために表示または保存される。
【0011】
典型的に、OCTスキャンの取得は、以前に収集された動き追跡データムによってガイドされるが、マッチングした取得された動き追跡データは、OCTスキャンの取得に使用されるデータと同じでない場合がある。従って、マッチングした収集された動き追跡データに基づいて、以前に取得されたOCTスキャンに動き補正を適用すると、対応するAスキャンが元の通常の位置から不規則にシフトする場合がある。従って、それらのマッチングした動き追跡データに基づいて取得されたOCTスキャンにおける変位誤差を補正することは、シフトされたAスキャンのこの不規則性を補償するためのステップを含み得る。例えば、OCTスキャンにおけるAスキャンの補正された位置は、それらのマッチングした動き補正データに基づいて決定されてもよく、これらの補正された位置は、不規則な点位置の点群を構成し得る。次に、点群は、グリッド内の規則的に配列された位置におけるAスキャンを使用して、均一な座標グリッドに変換され得る。
【0012】
例えば、点群は、点群内の不規則な点位置におけるAスキャンに基づいて、規則的に配列された位置における新たなAスキャンを補間することによって、均一な座標グリッドに変換され得る。これを行うためのアプローチは、点群内の一組の3つのAスキャンに基づいて新たなAスキャンを補間することを含み得、一組の3つのAスキャンの位置は、規則的に配列された位置の周囲の最小領域の三角形を定義する。
【0013】
代替的に、点群内の各Aスキャン位置が一組の三角形の頂点に対応するように、点群を三角形分割することによって、新たなAスキャンが規則的に配列された位置において補間され得る。次に、座標グリッド内の各規則的に配列された位置が、点群内の対応する組の3つの位置に関連付けられ得る。このようにして、各対応する組の3つの位置は、座標グリッド内の関連する規則的に配列された位置を含む三角形の頂点を定義し得る。次に、座標グリッド内の配列された各位置のエントリを有するルックアップテーブル(LUT)が生成され得る。LUTの各エントリは、点群内の配列された位置に対応する組の3つの位置と、関連する三角形に対する配列された位置の重心座標に基づく重みとを含み得る。次に、LUTに基づいて新たなAスキャンが補間され得る。
【0014】
動き追跡データが複数の個々の動き追跡データを含み、各個々の動き追跡データムは、画像と、画像に基づく第1の解像度の第1の追跡変換とを含み、本発明はさらに、各個々の動き追跡データムに関して、第1の追跡変換よりも高い第2の解像度の第2の追跡変換を作成することを含む。次いで、取得されたOCTスキャンにおける変位誤差は、それらのマッチングした動き追跡データの個別の第2の追跡変換に基づいて補正され得る。
【0015】
実施形態では、各OCTスキャンは、対応する動き追跡データムに関連付けられ得、各OCTスキャンは、関連する動き追跡データムに基づいて第1の動き補償を適用する。この場合、それらのマッチングした動き追跡データに基づいて取得されたOCTスキャンにおける変位誤差を補正するステップは、それぞれマッチングした収集された動き追跡データに基づいて、取得されたOCTスキャンに対して第2の動き補償を適用することを含み得る。ここでも、OCTスキャンのマッチングした収集された動き追跡データムは、関連する対応する動き追跡データムと異なり得ることに留意されない。さらに、関連する動き追跡データムに基づいてOCTスキャンに対して第1の動き補償を適用することは、関連する動き追跡データムを使用してOCTスキャンの取得をガイドすることを含み得る。
【0016】
さらに、各動き追跡データムは、画像と、画像に基づく第1の追跡変換とを含み得、各OCTスキャンは、関連する動き追跡データムの画像とさらに関連付けられ得る。この場合、それぞれマッチングした収集された動き追跡データに基づいて、取得されたOCTスキャンに対して第2の動き補償を適用するステップは、関連する動き追跡データムの画像の関連付けを解除すること、マッチングした収集された動き追跡データムの画像を関連付けること、そのマッチングする収集された動き追跡データムの画像に基づいて第2の動き補償を生成することを含み得る。
【0017】
さらに、第1の動き補償は、関連する動き追跡データムの画像に基づいて生成され得、その関連する動き追跡データムの画像の解像度は、マッチングした収集された動き追跡データムの画像の解像度よりも低くてもよい。例えば、必要に応じて、関連する動き追跡データムの画像よりも高い解像度を実現するために、マッチングした収集された動き追跡データムの画像がアップサンプリングされ得る。
【0018】
実施形態では、取得された各OCTスキャンは、その動き追跡タイムスタンプがOCTタイムスタンプに最も近い収集された動き追跡データムにマッチングされ得る。また、LSOを使用して動き追跡データを取得し得る。上述したように、本方法またはシステムは、OCTAを実施し得る。例えば、取得されたOCTスキャンは、OCT血管造影データを提供し得る。
【0019】
各動き追跡データムが動き追跡タイムスタンプの代わりに動き追跡シーケンスインジケータを有し、各OCTスキャンがOCTスキャンタイムスタンプの代わりにOCTスキャンシーケンスインジケータを有する場合、個別のOCTスキャンシーケンスインジケータおよび動き追跡シーケンスインジケータに基づいて、取得されたOCTスキャンを、収集された動き追跡データにマッチングさせるステップは、異なる方法で実行され得る。このアプローチでは、各OCTスキャンは、収集された動き追跡データムとの既存の関連付けをすでに有している。例えば、各OCTスキャンは、スキャン取得をガイドするために元々使用された動き追跡データムに関連付けられ得る(例えば、予備的な動き追跡データムに関連付けられ得る)。変位誤差が補正されるターゲットOCTスキャンに関して、関連する予備的な動き追跡データムを識別する。次に、識別された予備的な動き追跡データムから開始して、収集された動き追跡データを、ターゲット動き追跡データムに到達するように、動き追跡シーケンスインジケータに従って所定のオフセットだけシフトする。この所定のオフセットは、「1つの」位置オフセットであり得る。次に、ターゲットOCTスキャンがターゲット動き追跡データムにマッチングされる。代替的に、動き追跡データムが動き追跡タイムスタンプである場合、オフセットは、識別された予備的な動き追跡データムの動き追跡タイムスタンプとターゲットOCTスキャンのOCTスキャンタイムスタンプとの差に基づくものであり得る。
【0020】
本発明のより完全な理解と共に、他の目的および達成は、添付の図面に関連した以下の説明および特許請求の範囲を参照することによって明らかになり、理解されるであろう。
本明細書に開示された実施形態は、単なる例であり、本開示の範囲はそれらに限定されない。本発明による実施形態は、方法、記憶媒体、システム、装置、および/またはコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、1つの請求項カテゴリー、例えば方法に記載された任意の特徴は、別の請求項カテゴリー、例えば、システムにおいても特許請求することができる。添付の特許請求の範囲における従属性又は参照は、方式上の理由のみによって選択される。しかしながら、前の請求項への意図的な参照に起因するいかなる主題も同様に特許請求することができるので、請求項の任意の組み合わせおよびその特徴が開示され、かつ添付の特許請求の範囲において選択された依存関係に関係なく請求することができる。
【図面の簡単な説明】
【0021】
図面において、同様の参照番号/文字は、同様の部材を指す。
【
図1】ラインスキャン検眼鏡(LSO)およびOCTスキャナに基づく眼球追跡を組み込んだ簡略化されたOCTシステムを示す図である。
【
図2】ラインスキャン検眼鏡(LSO)およびOCTスキャナを含み得る典型的な光コヒーレンストモグラフィー(OCT)システムの動作図である。
【
図3】典型的な動き補正によるOCTスキャンから得られた正面OCTA画像(左画像A)および本発明に従って補正された正面OCTA画像(右画像B)を示す図である。
【
図4】本発明による後処理技術におけるいくつかの重要なステップを示す図である。
【
図5】入力位置(f
i,s
j)における元のAスキャンの補正された位置へのシフトを視覚的に説明する図であり、補正された位置(f’
i,s’
j)は、不規則な点群の位置を構成し得る。
【
図6A】本発明の後処理アルゴリズムの前に、(破れまたはギザギザの血管で典型的に確認されるラインごとの偏差に基づく)追跡品質測定基準が計算される事例を示す図である。
【
図6B】本発明に従って、
図6Aの例に高速後処理技術を適用した後の結果、例えば、取得中に生成された観測変換を使用して後処理アルゴリズムが実行された後の結果を示す図である。
【
図6C】本発明に従って、
図6Aの例に精密化された後処理技術を適用した後の結果、例えば、後処理アルゴリズムが、観測されたLSO画像の新たな登録、またはOCT画像と同じ(または同等の大きさ)解像度にアップサンプリングされた観測されたLSO画像を使用して実行された後の結果を示す図である。
【
図7】本発明の高速後処理および精密化された後処理技術を適用する前後の一連の例示的な表層血管造影スラブを示す図である。
【
図8】光コヒーレンストモグラフィー(OCT)またはOCTAシステムにおける動き補正のための例示的な方法を示す図である。
【
図9】本発明に適した、例えば、
図1のプロセッサ150、153、154、および165の個々または任意の組み合わせを実装するのに適した例示的なコンピュータデバイス(またはコンピュータシステム)を示す図である。
【発明を実施するための形態】
【0022】
動き追跡を使用してOCTスキャン(例えば、Bスキャンまたはフレーム)の取得をガイドする光コヒーレンストモグラフィー(OCT)システムにおいて、現在のOCTスキャン取得ステップをガイドするために使用される動き追跡情報は、現在のOCTスキャン取得ステップの前に収集されたセンサデータ(例えば、画像データ)を使用して生成される。通常、動き追跡情報は、実際には「ほぼリアルタイム」で取得されるが、動き追跡情報の生成と、生成された動き追跡情報に基づくOCTスキャンの取得との間には固有の遅延が存在する。従って、OCTスキャンのガイドに使用される動き情報は「リアルタイム」の情報ではなく、現在の変位誤差を考慮することができない場合がある。この問題を軽減するためのアプローチは、動き追跡情報の生成を、実際に可能な限りリアルタイムに近い「ほぼリアルタイム」に高速化することである。これは、通常、動き追跡に使用されるセンサデータ(例えば、画像データ)のダウンサンプリングを伴うが、その結果として解像度の低い動き追跡情報が生成され、それ自体が誤差を導入し得る。高解像度のセンサデータおよび高度な動き追跡アルゴリズムを使用することは有益であるが、これらのアプローチは両方ともOCTスキャンの取得に遅延をもたらす。
【0023】
本発明は、後処理の適用により、これらの問題に対処する。第1に、キャプチャされたセンサデータ(例えば、画像)、生成された動き追跡情報、および取得されたOCTスキャンの全て(または、かなりの量)が、収集(格納)され得る。次に、取得された各OCTスキャンと同時に(または、最も近い時間に)収集されたセンサデータを識別する(即ち、マッチングさせる)ことにより、既に取得されたOCTスキャンに誤差補償を新たに適用することができる。各OCTスキャンは、その関連するセンサデータに基づく第1の動き補償を既に受信している。この第1の動き補償の効果(単数または複数)は、取得された各OCTスキャンから除去されてもよく、OCTスキャンは、そのマッチングするセンサデータと関連付けられてもよい。次に、そのマッチングしたセンサデータを使用して第2の動き補償が生成され、この第2の動き補償が取得されたOCTスキャンに適用され得る。この第2の動き補償は、OCTスキャンが既に取得された後に生成されるため、第2の動き補償は、OCTスキャン取得シーケンスに影響を与えることなく、より高解像度のセンサデータおよび/またはより高度な動き追跡アルゴリズムを使用し得ることに留意されたい。従って、このプロセスは、OCTスキャン用の十分な元のセンサデータも保存されていれば、以前に取得されたOCTスキャンのライブラリに適用され得る。
【0024】
本発明は、追跡情報を使用してOCTスキャンをガイドする任意のOCTシステムに適用することができるが、説明を簡単にするために、以下に説明する特定の例は、眼底撮像装置(特に、ラインスキャン検眼鏡LSO(line scan ophthalmoscope))を有するOCTシステムおよび眼を検査するために使用されるようなOCTAシステムを対象とする。特に指定のない限り、「OCTスキャン」という用語は、OCT Bスキャン、または「高速スキャン」を指す。しかしながら、Bスキャンが複数のAスキャンで構成されるため、Bスキャンに変位誤差補正を適用するか、またはBスキャンの取得に動き補償を適用する場合、本質的にAスキャンに変位誤差補正または動き補償を適用することが理解されよう。
【0025】
図1は、説明を容易にするために点線で象徴的に分離された、ラインスキャン検眼鏡(LSO)およびOCTスキャナに基づく眼球追跡を組み込んだ簡略化されたOCTシステム11を示している。しかしながら、点線のOCTスキャナ側は、スキャナ122以外にOCTシステムに不可欠な多くの構成要素を組み込んでおり、LSOおよびOCTは、複数の構成要素を共通に共有してもよいことを理解されたい。この例では、LSO光源101からの光は、レンズ102(例えば、光を点ではなく線状に合焦させるシリンドリカルレンズ)およびビームスプリッタ103によってスキャンミラー104に経路指定され得る。シリンドリカルレンズ102およびスキャンレンズ105は、網膜像平面106に照明線を生成し、接眼レンズ107および眼100の光学系は、網膜110上にこの照明線を再結像し得る。スキャンミラー104が回転すると、照明線は網膜110を横切るように掃引される。網膜からの反射光は、LSO照明光の経路をほぼ逆戻りし、例えば、網膜の照明された部分が静止し、かつ結像レンズ108によってLSOラインカメラ109上に結像されるように、反射光がLSOスキャンミラー104によってデスキャンされる。LSOラインカメラは、反射LSO光を、単一ラインの部分画像(例えば、ライン画像)を表すデータストリーム140に変換し得、単一ラインの部分画像は、1つまたは複数のプロセッサ150によってフルフレーム画像を形成するために処理され得る。プロセッサ150は、(データ経路142に沿って伝達される)OCTスキャナ側の眼球追跡情報と、(データ経路141に沿って伝達される)ディスプレイ154上で見るための網膜のフルフレーム画像(例えば、眼底画像)との両方を生成し得る。
【0026】
OCTスキャナ側では、光源161からの光は、サンプル(例えば、眼底110)を照明するために、光ファイバ167に沿ってファイバカプラ171を介して搬送される。光源161は、例えば、スペクトルドメインOCT(SD-OCT)の場合には時間コヒーレンス長が短い広帯域光源であり、掃引光源OCT(SS-OCT)の場合には波長可変レーザ光源であり得る。スキャナ122は、光源161からの光をスキャンするので、光ビームは、結像される領域またはボリューム上で(例えば、横方向に)スキャンされる。サンプル(例えば、眼100)から戻る後方散乱光は、スキャナ122によってデスキャンされ、典型的には、照明用の光を経路指定するために使用される同じファイバ167に収集される。同じOCT光源161から生じた参照光は、この場合、調整可能な光学遅延を有するファイバ173および逆反射器175を含む別の経路を移動する。当技術分野で既知であるように、透過参照経路を使用することもでき、調整可能な遅延を、サンプルまたは干渉計の参照アームに配置することができる。収集されたサンプル光は、典型的にはファイバカプラ171において参照光と合成されて、検出器163(またはカメラのコレクタ)において光干渉を形成する。検出器163に向かう単一のファイバポートが示されているが、当業者であれば、干渉計の様々な設計が干渉信号の平衡検出または不平衡検出に使用することができることを認識するであろう。検出器163からの出力は、1つまたは複数のプロセッサ165に供給され、プロセッサ165は、後方散乱光の深度プロファイルを決定し得る。プロセッサ165(またはその機能)は、プロセッサ150に組み込むことができ、その逆も同様であることを理解されたい。軸方向または深さ方向(z方向)のデータの各ラインは、Aスキャンと呼ばれる。一連のAスキャンを(例えば、横方向に)組み合わせることにより、断面トモグラフ、またはBスキャンを得ることができる。Bスキャンを作成するための種々の方法が既知であり、これには、水平方向またはx方向に沿った、垂直方向またはy方向に沿った、xおよびyの対角線に沿った、あるいは円形パターンまたはスパイラルパターンの種々の方法が含まれるが、これらに限定されない。例えば、隣接するBスキャンの集合は、OCTデータのボリュームまたはブロックを構成し得る。通常、1つのBスキャンを定義するAスキャン集合の方向は高速スキャン方向と呼ばれ、隣接する複数のBスキャンを取得してボリュームを定義する方向は低速スキャン方向と呼ばれ得る。OCTスキャナ側は、時間または周波数ドメイン法(スペクトルドメイン、掃引源など、例えば、参照により全体が本明細書に組み込まれる米国特許第5,321,501号明細書および米国特許出願公開第2007/0291277号明細書を参照)を使用することができる。干渉計のサンプルアームおよび参照アームは、バルク光学系、光ファイバ光学系、またはハイブリッドバルク光学系から構成することができ、かつ当技術分野で既知であるように、マイケルソン、マッハツェンダー、または共通経路ベースの設計などの異なるアーキテクチャを有することができる。本明細書で使用される光ビームは、任意の慎重に指向された光路と解釈され得る。時間ドメインシステムでは、参照アームは、干渉を生成するための調整可能な光学遅延を有し得る。平衡検出システムは、典型的には、時間ドメインOCT(TD-OCT)およびSS-OCTシステムで使用されてもよく、分光計は、典型的には、SD-OCTシステムの検出ポートで使用され得る。本発明は、動き追跡を使用するとともに、スポットスキャン、マルチスポットスキャン、部分視野および全視野撮像システムを含む構造的OCTおよび/またはOCTA血管造影分析のためのデータを生成することができる任意のタイプのOCTシステムに適用され得る。本明細書に記載されている技術は、内視鏡またはカテーテルプローブと統合されている場合、任意の身体部分、例えば、眼(前房および後房の両方)、皮膚、脳、筋肉、蝸牛、および内臓に適用可能である。OCTスキャナ122は、スキャンコントローラ154の制御下で、(OCT光源161からの)OCTビームの角度を2次元で掃引することができる。スキャンレンズ123は、OCTビームを網膜像106に合焦させ得る。ビームスプリッタ124は、OCTビーム経路およびLSOビーム経路を結合して、両方の経路が、例えば、人間の眼などの眼100の瞳孔を通過するように容易に方向付けられるようにすることができる。(対象物自体が網膜像106の位置にある直接結像(direct imaging)の適用においては、ビーム経路を結合する必要がない場合がある。)OCTおよびLSOが異なる波長の光を使用する場合、ビームスプリッタ124は、ダイクロイックミラーとして実施され得る。OCTビームは、接眼レンズ107および眼100の光学系を介して網膜110上に再合焦され得る。
【0027】
この例では、LSOを使用して、眼の動きを追跡することができる。このようにして、スキャナに送信される位置決めコマンドを調整して、スキャンビームが被験者の所望の位置(例えば、網膜110上の特定の位置)に到達するようにすることができる。従って、OCTスキャンビームが各Aスキャンに対して正確に位置決めされ得るように、被験者の動きに関する情報が低レイテンシで提供されることが望ましい。動き追跡の様々な方法が既知であるが、大半の方法では、現在キャプチャされた画像を参照画像と比較する。例えば、プロセッサ150は、参照画像として使用されるフルフレーム画像を構築することができる。これは、シーケンスでキャプチャされた第1の良好な画像であり得る。所定の数の容易に識別可能な固有の特徴(例えば、大きな血管、血管交差、高コントラスト領域など)は、識別され、マッピングされ、およびカタログ化され得る。新たなフルフレーム画像(例えば、眼底画像)がキャプチャ/構築される毎に、プロセッサ150は、同じ固有の特徴を抽出し、それらの位置を参照画像の位置と比較することを試みる。この処理が失敗した場合、現在の眼底画像が破棄され得る。現在の画像および参照画像が成功裏に位置合わせされた場合、例えば、両方の画像の固有の特徴を位置合わせするために必要な並進変位および回転変位を決定することにより、動き変換が構築され得る。動き変換(または変位情報)は、補正プロセッサ153に渡され、補正プロセッサ153は、動き変換(または変位情報)を、OCTスキャンを取得すべき位置を指定する一組の位置(例えば、ガルボテーブル)143と結合し得る。これは、スキャンコントローラ154がスキャナ122を制御してOCTビームを眼の所望の位置に向けるために使用し得る、命令スキャン指示の一部となり得る。
【0028】
図2は、
図1に示されるようなラインスキャン検眼鏡(LSO)およびOCTスキャナを含み得る典型的な光コヒーレンストモグラフィー(OCT)システム11の動作図を示す。LSOは眼底画像を取得して、眼球の動きを経時的に追跡する。上記で説明したように、LSOはOCTスキャナと同時に機能し得る。LSO画像の連続ストリーム(例えば、完全または部分的な眼底画像)Img_1~Img_nは、相対変位を検出するために現在の画像と比較される「参照」画像(図示せず)とともに追跡アルゴリズム(例えば、T_1~T_n)への入力として使用され得る。動き変換または変位変換(M_1~M_n)においてカプセル化され得るこの変位情報は、OCTに渡され、OCTはそれを使用して、LSO画像(Scn_1~Scn_n)毎に1つまたは複数のOCTスキャンを生成/取得する。取得された各OCTスキャンは、OCTスキャンを取得するために使用される変位情報が生成されるLSO画像に関連付けられている。例えば、1つまたは複数のOCTスキャンScn_1は、LSO画像Img_1から生成された(予備的な)変位情報M_1を使用して取得されるため、1つまたは複数のOCTスキャンScn_1は、(予備的な)LSO画像Img_1に関連付けられる。OCTは、通常、被験者を横断するように掃引するが(例えば、掃引はサンプルを横断するように頂部から底部にスキャンする一連のBスキャンであり得る)、Scn_1~Scn_nのOCTスキャンは、被験者を横断する連続掃引に対応しない場合がある。例えば、scn_1の1つまたは複数のOCTスキャンが取得されているときに、OCTスキャンが第1の掃引位置で失敗した場合、OCTは、後でその失敗した掃引位置に戻る。OCTが戻り、以前に失敗した掃引位置を正常にスキャンするまでに、成功したスキャンは、Scn_2またはいくつかの後のスキャンキャプチャシーケンスの一部であり得る。従って、単一の掃引のOCTスキャンは、複数のOCTスキャンキャプチャシーケンス(Scn_1~Scn_n)間に混在され得る。
【0029】
LSO画像(例えば、Img_1~Img_n)から抽出された動き情報(M_1~M_nなど)が、検出されて、ほぼリアルタイムでOCTスキャナに渡され、OCTスキャナは、受信した(予備的な)動き情報を使用して、生成された(例えば、取得された)OCTスキャン(例えば、Scn_1~Scn_n)に対して動き補正を適用し得る。しかしながら、この情報を絶対的なリアルタイムで生成して渡すことはできないため、OCTスキャナに渡された検出済みの動きと、スキャンが収集された時点で新たに検出された動きとの間の可能性のある小さな動きには、固有の制限がある。例えば、LSO画像Img_1は、動き情報M_1を抽出する追跡アルゴリズムに渡される。この動き情報M_1はOCTスキャナに渡され、OCTスキャナは、この情報を用いてOCTスキャン(Scn_1)の取得をガイドし、取得されたOCTスキャン(Scn_1)を受信した動き補正情報(M_1)に対応するSLO画像(Img_1)に(少なくとも予備的に)関連付ける。しかしながら、OCTスキャンScn_1が生成/取得されるまでに、別のLSO画像(例えば、Img_2)が取得されている場合があり、その動き情報(例えば、M_2)はScn_1に対してより最新であり得る。この制限は、ほぼリアルタイム実行の必要性によって課せられる追跡アルゴリズムの精度にも制限があるという事実と相まって、トレードオフを構成する。アルゴリズムの速度が速いほど、追跡はリアルタイムに近づくため、抽出された動き情報と対応するOCTスキャン生成との間の可能性のある動きが少なくなるが、より高速な動き追跡は、通常、精度の低い追跡アルゴリズムを使用する。
【0030】
本発明は、LSO画像および/またはその抽出される動き/変位情報または変換を含み得る動き追跡データを追跡するために動き追跡シーケンスインジケータを利用し得る。本発明は、OCTスキャンを追跡するためにOCTスキャンシーケンスインジケータを利用してもよい。例えば、動き追跡シーケンスインジケータは、シーケンスで成功裏にキャプチャされたLSO画像を識別する識別子Img_1~Img_nであり得、かつ/またはLSO画像が成功裏にキャプチャされた時期を示すタイムスタンプであり得る。同様に、OCTスキャンシーケンスインジケータは、成功したOCTスキャンシーケンスを識別する識別子Scn_1~Scn_2であり得、かつ/またはOCTスキャンが成功裏に取得された時期を示すタイムスタンプであり得る。本発明の目的は、各OCTスキャンシーケンス(Scn_1~Scn_n)を、OCTスキャンシーケンスが取得された時と実質的に同時にキャプチャされたLSO画像(Img_1~Img_2)にマッチングさせ、マッチングしたLSO画像に基づいてOCTスキャンシーケンスの変位補正を更新することである。以下に説明するように、これは、タイムスタンプを使用することによって達成される。例えば、Scn_2のタイムスタンプは、Img_2のタイムスタンプよりもImg_3またはImg_4のタイムスタンプに近い場合がある。
【0031】
これは、
図2に示されているシーケンシャルの識別子を使用することによっても達成することができる。例えば、任意のOCTスキャンと実質的に同時にキャプチャされたLSO画像を識別することを所望する場合、最初に、任意のOCTスキャン(例えば、Scn_1)が属するOCTスキャンシーケンス(Scn_1~Scn_n)を決定し、次に、抽出された動き情報が任意のOCTスキャン(Scn_1)を取得するために(予備的に)使用された関連する(予備的な)LSO画像(例えば、Img_1)を識別する。次に、関連する(予備的な)LSO画像(Img_1)から所望のオフセットだけシーケンスに前方(または後方)に移動し、例えば、1つのLSO画像の識別子だけ前方に移動し(例えば、Img_1からImg_2に移動し)、任意のOCTスキャンをImg_2として識別されるLSOに関連付ける。
【0032】
このアプローチの利点は、構造および特にOCT血管造影(OCTA)スラブの両方に関して、正面OCT画像の品質を検査するときに分かる。
図3は、上述したような、典型的な動き補正によるOCTスキャンから得られた正面OCTA画像(左画像A)、および本発明に従って補正された正面OCTA画像(右画像B)を示す。左の画像Aは、血管のギザギザのアーチファクトを示す表層CTAスラブの例であり、そのいくつかは矢印で示されている。右の画像Bは、本発明の適用により生じる血管のギザギザの減少を示している。
【0033】
LSO追跡アルゴリズムは、生成されたOCTAスラブ内の最も深刻な血管の破れの存在を排除し得るが、それでも、それらは、依然として、より小さい大きさの血管の破れおよびギザギザの血管を生成する可能性がある。これらのアーチファクトは、以下の4つの制限によって引き起こされる可能性がある。(1)取得された各OCTフレーム(例えば、OCTスキャン)の位置は、取得されたOCTフレームと同時に(または時間的により近くに)取得されたLSO画像である観測されたLSO画像ではなく、時間的により早く取得されたLSO画像(例えば、OCTフレームの取得をガイドするために追跡アルゴリズムによって使用されたLSO画像である、命令LSO画像)の登録に対応している。追跡アルゴリズムにおいて命令LSO画像と観測されたLSO画像との間では限られた量の動きが許容されるが(通常は、30ミクロン未満に設定されている)、この限られた量を超える動きは、X軸方向およびY軸方向の両方で発生する可能性があり、正面画像において血管の破れおよびギザギザが発生する可能性がある。(2)「間違った登録または不正確な登録」 追跡アルゴリズムは比較的満足のいく結果を生成するが、LSO画像は、典型的には、アルゴリズムが取得中に十分に高速に実行することができるようにダウンサンプリングされる。この事実により、追跡アルゴリズムで使用されるLSO画像よりも典型的に解像度が高いOCT画像を用いた、OCT取得をガイドするために使用される計算された変換が間違っているか、または不正確である可能性がある。これらの最初の2つの制限(例えば、最初の2つの制限要因)は、任意のOCTフレームの取得に適用される変換(例えば、動き追跡/補正変換)が、OCTフレームが取得された時点で測定され得る実際の変換に完全に対応していない可能性があるという事実から生じ得る。この問題は、OCTスキャナが時間的により早く発生したLSO画像によってガイドされる必要があるため、取得中に解決することは困難であるが、以下に提案する後処理ステップによって軽減することができる。(3)「LSOカメラとOCTカメラとの間のキャリブレーションにおける可能性のあるミスアライメント」 OCTカメラは、OCT画像から観測された変換によってガイドされ得るため、2つの間の可能性のあるミスアライメントにより、血管の破れおよびギザギザが発生する可能性がある。(4)「OCT画像に関してLSO画像において観測される歪み」 OCTカメラはOCT画像から観測された変換によってガイドされるため、安定固定(stable fixation)位置における2つの撮像システム間の歪みの差異により、血管の破れ及びギザギザが発生する場合がある。(3)および(4)の残りの2つの制限は、例えば、システムのより良い較正を考慮し、取得中のOCTフレームを受け入れるために、取得されたLSO画像の中心固定(central fixation)からの偏差のマージンを制限することによって軽減され得る。本発明は、(第1のパスの限られた位置または2つの直交する取得のいずれかで)同じOCTボリュームに対する繰り返し取得を必要とする動き補正技法よりも利点を有するが、これは、本発明が繰り返しボリュームの取得を必要とせず、その結果、取得時間および処理の利点が得られるからである。
【0034】
これらのアーチファクトを軽減するために、本発明は、追跡されたデータの取得後に実行される後処理のソリューションを使用する。本発明は、以下の適用を可能にし、かつ/または利益を得ることができる。
【0035】
-OCTスキャナに命令する変換と、OCTデータが取得されたときに観測される実際の変換との差に関連するアーチファクトのないOCTデータの表現。
-取得中に追跡アルゴリズムに課せられた速度制限による、不正確なLSO登録に関連するアーチファクトの低減。
【0036】
-高解像度(HD)Bスキャンにおける画質の可能性のある改善。
-OCTキューブ登録に関するアルゴリズムにおける可能性のある改善。
-OCTおよびOCTA正面画像とそれらの可能性のある定量化(例えば、厚さマップ、血管密度マップなど)との両方に対する向上した繰り返し精度および再現精度。
【0037】
-モンタージュされることを意図した画像などの、重複した画像からのマッチングする特徴の精度における可能性のある改善、および合成モンタージュ画像におけるアーチファクトの可能性のある低減。
【0038】
-高解像度の血管造影正面画像における改善(例えば、10umを超える良好な解像度によるズーム血管造影)。
図4は、本発明による後処理技術におけるいくつかの重要なステップを示している。入力ブロックB1は、取得された各OCTフレームに関する追跡情報(単数または複数)と、各OCTフレームに関連付けられたLSO画像(単数または複数)とを受信する。その意図された用途に応じて、後処理技術は、入力として、例えば、ブロックB3などの、OCT構造キューブおよび/またはOCT血管造影キューブを受信してもよい。入力ブロックB1およびB3の両方は、本発明の様々な特徴を実装し得る主追跡および後処理アルゴリズムブロックB2に供給することができる。主追跡後処理アルゴリズムブロックB2は、座標位置の補正サブブロックSB1、ルックアップテーブル(LUT)インデックスおよび重みの生成サブブロックSB2、およびOCTデータの補間サブブロックSB3を含む3つのサブブロックを有し得、それぞれの詳細については、以下に説明する。
【0039】
典型的には、OCTデータ(例えば、Bスキャンの集合)は、Aスキャンの規則的なグリッドを規定するように直線的かつ平行に配置され、各Aスキャンはグリッド上の点に対応する。即ち、OCTアプリケーション(例えば、アルゴリズムまたはルーチン)は、OCTデータが均一な座標グリッドに配置され、取得されたAスキャンがそのグリッド内で正しく順序付けられていることを期待することができる。しかしながら、サブブロックSB1(座標位置の補正)は、OCTフレームに対してより厳密にマッチングする動き変換を適用する際に(例えば、OCTフレーム取得に時間的により近いタイミングで撮影されたものであるとして観測/決定されたLSO画像に基づいて動き変換を適用する際に)、Aスキャン位置のこの規則的なグリッド配列を歪めてしまう可能性がある。即ち、時間的により早く取得されたLSO画像の登録に対応する、ブロックB1から受信された取得された各OCTフレーム(例えば、OCTスキャン)の位置により、および間違った登録または不正確な登録(上記の最初の2つの制限または制限要因の説明を参照)により、XY平面内で取得された各OCTフレームのこの予想位置は、実際のより正確な位置とは異なる可能性がある。サブブロックSB1の目的は、点群の補正された位置が不規則になったとしても、グリッド内の座標の各予想位置を補正された位置に変換することである。このステップを実行するための入力は、取得される各OCTフレームに対する一組の追跡変換と、(付加的に)、追跡中に(ブロックB1から)収集された、各OCTフレームに関連付けられたLSO画像とである。ここでは、補正された実際の位置を決定するためのいくつかの方法が提示される。
【0040】
各OCTフレーム(例えば、OCTスキャン)は、OCTカメラに命令するために(例えば、OCTスキャンの取得をガイドするために)使用される特定の(例えば、動き)変換TC=[tc
x,tc
y,Rc,cc
x,cc
y]に関連付けられているため(パラメータは、Xでの並進、Yでの並進、回転角度、Xでの回転の中心、およびYでの回転の中心をそれぞれ示し、これらは全て追跡アルゴリズムにおいて参照LSO画像に関してLSO画像に対して計算されたものである)、補正は各OCTフレームに対して個別に行われる。各フレームは、特定の低速Bスキャン位置(Sj)における高速Bスキャン方向(F=[f1,...fi,...,fN])の一組の座標をカバーすることが期待され、Nは高速Bスキャン当たりのAスキャンの数を示し、全ての座標は、OCTスキャンの中心に対してミクロン単位である。これらの座標は、元の命令された変換T0=[t0
x,t0
y,R0,c0
x,c0
y]の効果を反転(例えば、元に戻す)し、観測された(即ち、時間的にマッチングする)変換の効果を適用することによって補正することができる。この観測変換は、次のように、2つの異なる後処理シナリオ、例えば、1つは高速で、1つは精密化されたものに関連する異なる方法で考慮または計算することができる。
【0041】
-「高速後処理」 観測変換T0は、OCTフレーム/スキャンの取得中に計算された実際の変換から直接取得され、各OCTフレームを、そのマッチングした観測されたLSO画像(例えば、OCTフレームと同時に、またはOCTフレームとほぼ厳密にマッチングする時間に収集されたLSO画像)から生成された変換とペアにする。このペアリングは、上記の最初の制限によって生じるアーチファクトを軽減するのに役立つ。
【0042】
-「精密化された後処理」 OCTフレーム/スキャンの取得中に計算された実際の変換は、ダウンサンプリングされたLSO画像(例えば、低解像度変換)に基づいていた可能性が高いため、このアプローチは、マッチングしたLSO画像(例えば、各LSO画像)に対する新たな観測変換を生成する。新たな観測変換は、当初に使用されたのと同じ追跡アルゴリズム(または、必要に応じて別のアルゴリズム)を使用するが、元のOCTスキャン取得中にダウンサンプリングされている可能性がある追跡に使用されたLSO画像の解像度を高くして(例えば、完全な初期解像度で、またはLSO画像を所望の解像度にアップサンプリングすることによって)、観測された(即ち、マッチングした)LSO画像をより正確な方法で登録することによって計算することができる。このプロセスは、このセクションで概説される第2の制限(例えば、不正確な登録)によって生じるアーチファクトをさらに軽減するが、新たな登録は、以前に取得された各OCTフレームに対して計算される必要があるため、後処理アルゴリズムの実行時間が増加するという犠牲を伴う。
【0043】
観測変換T0が特定のOCTフレームに対して考慮された後、このOCTフレーム(fi,sj)に対するペアの予想座標位置が、一連の数学的演算で補正される。これらの数学的演算は、関連する命令変換Tcおよび観測変換Toを使用して、同じOCTフレームの全ての予期座標位置に対して繰り返され、かつそれらの特定の関連する変換を考慮してフレーム毎に繰り返される。入力位置(fi,sj)は、収集されたAスキャン間の間隔で定義された一定の間隔を有するグリッドに従うが、補正された位置(f’i,s’j)は、そのようなグリッドに従うことはなく、点群の形態になり得る。
【0044】
図5は、入力位置(f
i,s
j)における元のAスキャンの補正された位置(f’
i,s’
j)へのシフトを視覚的に説明しており、補正された位置は、不規則な点群の位置を構成し得る。即ち、座標補正により、Aスキャンの位置がグリッドの点から点群に移動する。座標補正を提供する方法の例を以下に示す。
【0045】
変換はLSO画像の登録から計算され、変換のパラメータはLSO座標系において定義されるため、第1のステップはOCTフレームの位置(ミクロン単位)をLSO座標系に変換することである。LSOの取得が垂直線上にあり、OCTの取得が水平線上にある一般的なケースを考慮すると、このプロセスは、典型的に、以下の処理に対応する(しかしながら、スキャンパターンによって異なる場合がある)。
【0046】
LSOx=-sj
LSOy=-fi
次に、命令変換Tcの効果が反転され得る。この処理は、OCTスキャンの取得のために変換がOCTカメラに渡されなかった場合(例えば、追跡がオフになっている場合)に、OCTフレームにおける座標位置を再計算することと等価である。
【0047】
【数1】
次に、観測変換T
0の効果が適用され得る。この処理は、観測変換がOCTスキャン取得のためにOCTカメラに渡された場合に、OCTフレームにおける座標位置を計算することと等価である。
【0048】
【数2】
残りのステップは、これらの座標をOCT座標系に変換し直し、フレームにおけるその位置に対する補正された座標を取得することである。
【0049】
f’
i=-LSO’’y
s’
j=-LSO’’
x
このプロセスが、(各フレームに対する適切な変換を考慮して)フレーム内の各座標に対して、かつOCTキューブ内の全てのフレームに対して繰り返されると、結果は、
図5に示すように、キューブ内の各Aスキャンについて補正された位置の点群となる。
【0050】
この不規則な点群のAスキャン位置は、Aスキャンが規則的なグリッドパターンで配置されることを期待する一部のプロセスの機能を複雑にし得る。従って、不規則な点群からAスキャンの規則的なグリッドパターン配列を生成する必要がある。これを行う1つの方法は、Aスキャンの点群を使用して、通常のグリッドの点位置でAスキャンを補間することである。ルックアップテーブル(LUT)を使用すると、これらの補間されるAスキャンの生成を可能にすることが分かっている。サブブロックSB2(LUTインデックスおよび重みの生成)は、そのようなLUTの生成に対処する。
【0051】
図5に示されているように、サブブロックSB1は、必ずしも矩形グリッドに沿っていないAスキャン位置の点群を生成し得る。OCTデータをグリッド配列で適切に表示するために、Aスキャンの点群からグリッド位置までの値を補間する(例えば、Aスキャンを補間する)ことができる。このプロセスは、OCT構造全体とフローキューブ(flow cubes)(例えば、ボリューム)に対して実行され得る。点群データを使用してキューブ内の各Cスキャン(例えば、隣接するBスキャンの層)を補間することは、非常に時間がかかるプロセスである。しかしながら、各個々のAスキャンは点群内に個別の位置を有するため、グリッド内の特定の位置に対応する点群内のインデックスと、点群内の各インデックスの補間に対する任意の重みとのルックアップテーブル(LUT)を生成することによって、このステップを大幅に高速化することができる。
【0052】
このプロセスは、点群内の各位置が一組の三角形の頂点に対応するように、点群を三角形分割することによって実行することができる。この三角形分割を生成する方法は、当技術分野で既知であるように、ドロネー(Delaunay)三角形分割プロセスに従うことによって行われる(ドロネー三角形分割の説明は、ウェブサイトen.wikipedia.org/wiki/Delaunay_triangulationに確認され得る)。この例では、ドロネー三角形分割のオープンシーヴィ(OpenCV)ライブラリ実装を使用している。オープンシーヴィは、学術的目的および商業目的で自由に利用できるオープンソースのコンピュータビジョンライブラリである。オープンシーヴィの詳細については、ウェブサイトopencv.orgで確認され得る。オープンシーヴィは、ドロネー三角形分割の高速で堅牢な実施を提供する。その結果、頂点と辺を簡単にナビゲートできる点群から生成された一組の三角形が得られる。この実施では、点群内の特定の任意の点を含む生成される三角形を簡単に発見するためのインタフェースも提供する。このように、Aスキャンの点群からAスキャンを補間することが望まれる矩形グリッド(立方体の正面位置)を定義することにより、点p=(fp,sp)として表される矩形グリッドの各位置は、グリッド内の位置を含む三角形の頂点である点群(νp
1=(fp’
1,sp’
1),νp
2=(fp’
2,sp’
2)、およびνp
3=(fp’
3,sp’
3))内の3つの位置に関連付けられ得る。インデックスLUTは、グリッド内の各位置に関するエントリを有し、各エントリは、グリッド:LUT(p)=[νp
1,νp
2,νp
3]に関連する個別の点群の位置に対する3つのインデックスを有することとなる。
【0053】
LUT内のエントリに関連付けられた3つのインデックスの各々に対する重みは、その関連する三角形に関するグリッド位置の重心座標を考慮することによって生成され得る。当技術分野で既知であるように、重心座標系(Barycentric coordinate system)は、シンプレックス(三角形、四面体など)の点の位置が、通常は頂点に配置された等しくない質量の重心(center of mass)または重心(barycenter)として指定される座標系である。このプロセスの詳しい説明は、ウェブサイトcodeplea.com/triangular-interpolationで確認することができる。従って、グリッドwLUT(p)=[wp
1,wp
2,wp
3]内の点について、重みは次のように計算され得る。
【0054】
【数3】
このようにしてサブブロックSB2によって生成されたLUTにより、サブブロックSB3(OCTデータの補間)は、LUTを使用してグリッドパターン内のAスキャン値を補間する。LUTは、各テーブルエントリがグリッド(p)内の位置に対応し、かつ点群(ν
p
1,ν
p
2,ν
p
3)内の3つの位置およびそれらの個別の重み(w
p
1,w
p
2,w
p
3)に関連しているインデックスおよび重みを提供する。LUTを使用して、Aスキャンデータは、補正されたキューブを定義するために、元の構造(OCT)または血管造影(OCTA)キューブから補間され得る。元のキューブA
i(z)の元の各Aスキャンは、点群ν
i内の位置(補正された位置)に関連付けられているため、グリッドA’
p(z)内の位置pに関連付けられた補正されたキューブ内の補間された各Aスキャンは、以下のように構築することができる。
【0055】
【0056】
【数5】
は、元のキューブ内の3つのAスキャンを記述し、その位置は、位置p,LUT(p)=[ν
p
1,ν
p
2,ν
p
3]に関するLUTのエントリによって示される3つの補正座標に対応している。
【0057】
図6Aは、本発明の後処理アルゴリズムの前に、(破れまたはギザギザの血管で典型的に確認されるラインごとの偏差に基づく)追跡品質メトリックが計算される事例を示す。複数のラインに亘る品質メトリックに関する実行時間および平均値が報告される。観測されるように、追跡中に既に計算された観測変換を使用する後処理アルゴリズムは、ギザギザのアーチファクトを改善する。
【0058】
図6Bは、本発明に従って、
図6Aの例に高速後処理技術を適用した後の結果、例えば、取得中に生成された観測変換を使用して後処理アルゴリズムが実行された後の結果を示す。
【0059】
図6Cは、本発明に従って、
図6Aの例に精密化された後処理技術適用した後の結果、例えば、後処理アルゴリズムが、観測されたLSO画像の新たな登録、またはOCT画像と同じ(または同等の大きさの)解像度にアップサンプリングされた観測されたLSO画像を使用して実行された後の結果を示す。複数のラインに亘る品質メトリックに関する実行時間および平均値が報告される。観測されるように、より高解像度のLSO画像を使用した新たな登録の計算を使用した後処理アルゴリズムは、画像の外観をさらに改善したが、実行時間を犠牲にした(1.14秒対61.64秒)。
【0060】
図7は、本発明の高速後処理および精密化された後処理技術を適用する前後の一連の例示的な表層血管造影スラブを示す。画像の各行は、後処理アルゴリズムの前(画像の左の列)、高速後処理の後(画像の中央の列)、およびOCT画像と同じ解像度にアップサンプリングされた観測されたLSO画像の新たな登録を使用した精密化された後処理の後(画像の右の列)の結果である。微妙な違いがあり得るため、白の矢印は、元の画像(後処理前)のアーチファクトのいくつかの位置と、後処理結果の対応する位置を示している。
【0061】
図8は、光コヒーレンストモグラフィー(OCT)またはOCTAシステムにおける動き補正のための例示的な方法を示す。本開示は、
図8の方法の特定のステップが特定の順序で行われるものとして説明および例示しているが、本開示は、任意の適切な順序で行われる
図8の方法の任意の適切なステップを想定している。方法は、動き追跡データムを収集することから開始され、収集された各動き追跡データは、個別の動き追跡タイムスタンプなどのシーケンスインジケータを有する(ステップS1)。ステップS2において、複数のOCTスキャンが、ステップS1の動き追跡データと同時に収集される。各OCTスキャンは、個別のOCTタイムスタンプなどのシーケンスインジケータを有する。即ち、ステップS1およびS2は同時に実行されてもよい。上記で説明したように、各OCTスキャンは、ステップS1の動き追跡データからの個々の動き追跡データムを使用し得る。即ち、ステップS1は、LSOおよびコンピューティングデバイスを使用して、1つの動き追跡データデータムをシーケンスで順次収集し得る。例えば、
図1および
図2に示すように、LSOがLSO画像をキャプチャすると、LSO画像が処理されて(例えば、参照画像と比較されて)、(動き)変換(例えば、動き追跡データム)内にカプセル化され得る動き追跡情報を抽出し、次に動き追跡情報は、OCTスキャン(例えば、OCTフレーム)の取得をガイドするために、OCTスキャナに渡され得る。従って、動き追跡データの収集およびOCTスキャンは、並行して(例えば、同時に)行われる。ステップS3において、個々に取得されたOCTスキャンは、それらの個別のOCTタイムスタンプおよび動き追跡タイムスタンプに基づいて個々に収集された動き追跡データにマッチングされる。上記で説明したように、個々のOCTスキャンをガイドする(例えば、命令する)ために使用される動き追跡データムは、OCTスキャンが取得される前に生成された動き情報を表し、かつOCT取得時の真の動き追跡情報を表し得ない。OCT取得が収集された動き追跡データムに対してより厳密にマッチングするようにタイムスタンプ(または、他のシーケンスインジケータ)をマッチングさせることによって、より正確な動き追跡情報が、各OCT取得に関連付け/相互に関連付けられる。ステップS4において、既に取得されたOCTスキャンは、OCTスキャンのマッチングした動き追跡情報に基づいて動き誤差が補正され、これは、OCTスキャンを取得するために使用された動き追跡情報と同じではない場合がある。理解されるように、これは第2の動き補正ステップであり、第1は各OCTスキャンを取得するために使用される動き補正である。上記で説明したように、この動き追跡補正は、以前に適用された動き補正(例えば、OCT取得の時に使用されたもの)を反転すること(例えば、その影響の除去)、および高速後処理技術および/または精密化された後処理技術などによる新たな動き補正を適用することを含む。
【0062】
図9は、本発明に適した、例えば、
図1のプロセッサ150、153、154、および165の個々または任意の組み合わせを実装するのに適した例示的なコンピュータデバイス(またはコンピュータシステム)を示す。いくつかの実施形態では、1つまたは複数のコンピュータシステムは、
図8の方法の1つまたは複数のステップを実行し得る。コンピュータシステムは、任意の適切な物理的形態をとり得る。例えば、コンピュータシステムは、組み込みコンピュータシステム、システムオンチップ(SOC)、シングルボードコンピュータシステム(SBC)(例えば、コンピュータオンモジュール(COM)またはシステムオンモジュール(SOM)など)、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末(PDA)、サーバー、タブレットコンピュータシステム、またはそれらの2つ以上の組み合わせであり得る。必要に応じて、コンピュータシステムは、1つまたは複数のネットワークに1つまたは複数のクラウドコンポーネントを含むクラウドに常駐し得る。
【0063】
いくつかの実施形態では、
図9のコンピュータシステムは、プロセッサ202、メモリ204、ストレージ206、入力/出力(I/O)インタフェース208、通信インタフェース210、およびバス212を含む。コンピュータシステムは、コンピュータモニタまたはスクリーンなどのディスプレイ214(例えば、
図1のディスプレイ151)をも任意選択的に含み得る。プロセッサ202は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。例えば、プロセッサ202は、中央処理装置(CPU)またはグラフィックス処理装置による汎用計算(GPGPU)であり得る。メモリ204は、プロセッサ202が処理中に中間データを実行または保持するための命令を格納するためのメインメモリを含み得る。例えば、メモリ204は、ダイナミックRAM(DRAM)またはスタティックRAM(SRAM)などのランダムアクセスメモリ(RAM)を含み得る。いくつかの実施形態では、ストレージ206は、データまたは命令のための長期ストレージまたは大容量ストレージを含み得る。例えば、ストレージ206は、ハードディスクドライブ(HDDまたはSSD)、フラッシュメモリ、ROM、EPROM、または他のタイプの不揮発性メモリを含み得る。I/Oインタフェース208は、個人(ユーザ)との通信を可能にすることができるI/Oデバイスとの通信のための1つまたは複数のインタフェースを含むことができる。通信インタフェース210は、他のシステムまたはネットワークとの通信のためのネットワークインタフェースを提供し得る。例えば、通信インタフェース210は、ネットワーク上の別のコンピュータシステムと通信するためのネットワークインタフェースコントローラ(NIC)および/または無線NICを含み得る。通信インタフェース210は、ブルートゥース(登録商標)インタフェースまたは他のタイプのパケットベースの通信をさらに含み得る。バス212は、コンピューティングシステムの上記のコンポーネント間の通信リンクを提供し得る。
【0064】
本発明をいくつかの特定の実施形態に関連して説明してきたが、前述の説明に照らして、多くのさらなる代替、変更、および変形が明らかであることは、当業者には明白である。従って、本明細書で説明する本発明は、添付の特許請求の範囲の趣旨および範囲内に含まれ得るすべてのそのような代替、変更、応用、および変形を包含することが意図されている。