(58)【調査した分野】(Int.Cl.,DB名)
【図面の簡単な説明】
【0007】
以下の簡単な説明は、図のより完全な理解のために提供されるが、本発明による実施形態は、必ずしも、示される精密な配列および構成に限定されないことを理解されたい。
【
図1】
図1は、一実施形態による、較正のために使用される、カテーテル反射を実証する試料フレームを示す、グラフである。
【
図2A】
図2Aは、一実施形態による、ビン340においてピークを識別する、テンプレート照合アルゴリズムのグラフであり、
図2Bは、一実施形態による、ビン340においてテンプレート一致を示す、領域Aが拡大されたグラフである。
【
図2B】
図2Aは、一実施形態による、ビン340においてピークを識別する、テンプレート照合アルゴリズムのグラフであって、
図2Bは、一実施形態による、ビン340においてテンプレート一致を示す、領域Aが拡大されたグラフである。
【
図3】
図3は、一実施形態による、1つのフレームを通した反射運動(蛇行性引き戻しによる運動)の拡大画像である。
【
図4】
図4は、一実施形態による、グラフ検索アルゴリズムである。
【
図5】
図5は、一実施形態による、カテーテル引き戻しシーケンスの画像フレームおよび画像フレームを通して維持されるトラックである。
【
図6】
図6は、一実施形態による、カテーテル引き戻しシーケンスの画像フレーム40であり、カテーテル反射線は、存在せず、トラックが、喪失されている。
【
図7】
図7は、一実施形態による、カテーテル引き戻しシーケンスの画像フレーム50であり、カテーテル反射が再現し、トラックが、自動較正のために再取得される。
【
図8A】
図8Aは、一実施形態による、テンプレート照合ステップ100の第1のモードを表す、流れ図であり、
図8Bは、代替実施形態による、テンプレート照合ステップ100の第1のモードを表す、流れ図である。
【
図8B】
図8Aは、一実施形態による、テンプレート照合ステップ100の第1のモードを表す、流れ図であって、
図8Bは、代替実施形態による、テンプレート照合ステップ100の第1のモードを表す、流れ図である。
【
図9】
図9は、一実施形態による、再生追跡ステップ200の第2のモードを表す、流れ図である。
【
図10】
図10は、一実施形態による、喪失トラック再取得ステップ300の第3のモードを表す、流れ図である。
【
図11】
図11は、一実施形態による、再生方法400における自動較正を表す、流れ図である。
【
図12】
図12は、一実施形態による、自動較正初期ロック方法500を表す、流れ図である。
【
図13A】
図13A−13Dは、平均振幅または勾配を使用して、強い反射を検索し、検出されるまで、Z−オフセットを調節する、初期ロックモードにおける第1のステップのグラフである。
【
図13B】
図13A−13Dは、平均振幅または勾配を使用して、強い反射を検索し、検出されるまで、Z−オフセットを調節する、初期ロックモードにおける第1のステップのグラフである。
【
図13C】
図13A−13Dは、平均振幅または勾配を使用して、強い反射を検索し、検出されるまで、Z−オフセットを調節する、初期ロックモードにおける第1のステップのグラフである。
【
図13D】
図13A−13Dは、平均振幅または勾配を使用して、強い反射を検索し、検出されるまで、Z−オフセットを調節する、初期ロックモードにおける第1のステップのグラフである。
【
図14】
図14A−14Bは、長方形画像内のA走査を横断して反射を整列させる、初期ロックモードにおける第2のステップのグラフである。
【
図15】
図15A−15Bは、勾配および振幅を使用して、カテーテル反射を識別する第3のステップのグラフである。
【
図16】
図16A−16Bは、反射のテンプレートを生成し、後の使用のために記憶する、初期ロックモードにおける第4のステップのグラフである。
【
図18】
図18A−18Dは、テンプレートをシフトさせ、場所を検索し、ミラー信号を伴う「完全テンプレート」を作成する、ライブ追跡モードにおける第1のステップのグラフである。
【
図19】
図19は、テンプレートおよびテンプレートサイズに限定される全A走査の相関係数を算出するためのライブ追跡モードにおける第2のステップのためのグラフおよび式である。
【
図20】
図20は、各A走査に対する最大相関を見つけ、上位「n」個のA走査の中央値を求めるためのライブ追跡モードにおける第3のステップのグラフである。
【
図21】
図21A−21Bは、デジタルシフトを画像および走査変換に適用することによる、第4のステップにおける較正前後のOCT画像である。
【
図22】
図22は、一実施形態による、ライブモード追跡の流れ図である。
【
図23】
図23A−23Bは、大検索領域を伴う全A走査を横断して、最大相関を使用して反射追跡の開始位置を決定するための再生追跡モードにおける第1のステップのグラフである。
【
図24】
図24は、同一の相関技法を使用するが、小検索領域を伴う、A走査毎に、後方反射および前方反射を追跡する、開始位置からの再生追跡モードの第2のステップのグラフである。
【
図25】
図25A−25Bは、継続して、データセット内の全フレームを通して、A走査毎に追跡し、後の整列およびビデオモニタまたは他の物理的表示デバイス上で閲覧者への表示のために、反射位置を記憶する、再生追跡モードにおける第3のステップのグラフである。
【
図26】
図26は、再生モード追跡アルゴリズムの流れ図である。
【発明を実施するための形態】
【0008】
一般に、本発明による自動較正システムおよび方法は、内部カテーテル反射を検出し、内部カテーテル反射をシフトさせることにより、画像を較正する、再現可能な方法を提供する。一実施形態では、内部カテーテル反射は、光ファイバケーブル端、ミラー、レンズ、シース、流体、生物学的脈管、または反射を生じさせる任意の他の物体等による反射を含む。内部カテーテル反射は、機械的および/またはデジタル的にシフトされることができる。概して、自動較正は、第1のモード、第2のモード、および第3のモードを備える。較正システムおよび方法は、初期較正後、連続的なフレーム毎ベースで較正を更新および維持する。
【0009】
光学コヒーレントトモグラフィ(OCT)システムは、時としてスペクトルドメインOCT(「SD−OCT」)としても知られるフーリエドメインOCT(「FD−OCT」)、または時間ドメインOCT走査(「TD−OCT」)を含み得、そこでは、干渉計の参照アームにおける光の光学経路長が、撮像深度範囲に対応する距離にわたって高速で走査される。OCTシステムは、高偏光感度または高位相感度であり、適宜、調節され得る。代替として、撮像システムは、限定されないが、分光法、(蛍光、吸収、散乱、およびラマン分光を含む)を含む、任意の他の光学撮像ベースのシステムであり得る。
【0010】
(OCT深度較正および自動化された範囲調節)
円形および円筒形OCT走査デバイス、すなわち、回転カテーテル走査デバイスが、本質的極座標系(例えば、長さおよび幅ではなく、半径および角度)で物理的空間をサンプリングする。円形および円筒形OCT走査デバイスは、円筒形状断面、例えば、気道および血管管腔を伴う生理学的構造を撮像するために適用される。画像のデジタル表現(すなわち、数値を表す画素のアレイ)は、本質的に長方形である。意図的または人工的に生成されたOCT画像特徴を検出および使用するための方法は、自動的に、極座標(「レーダ状」)OCT画像内の深度範囲を調節することを含む。
【0011】
極座標OCT画像は、ビデオモニタまたは他の物理的表示デバイス上において閲覧者に表示する前に、その長方形表現から変換される。加えて、定量値(例えば、管腔直径、管腔面積、円周等)が、極座標画像上で測定されるべき場合、長方形から極座標への変換は、全次元(半径方向および角度)において画素間の相対的距離を保持する。概して、OCT深度走査(直交座標のy軸)は、直接、半径にマッピングし、OCT円周方向走査(直交座標のx軸)は、2*Piラジアン(または、360°)極座標角度のうちのある増分にマッピングする。
【0012】
例えば、y=0(長方形画像の最上行)は、半径=0(極座標画像の中心)にマッピングし、y=y
max(長方形画像の最下行)は、半径=y
max(極座標画像の周縁)にマッピングする。同様に、x=0(長方形画像の左列)は、角度=0°にマッピングし、x=x
max/2は、約180°にマッピングし、x=x
maxは、約359°の角度にマッピングする。
【0013】
極座標画像内の正確な定量的次元測定の場合、半径=0への画素のマッピングは、撮像プローブの回転軸の中心における実際の物理的空間を表し、そうでなければ、極座標画像は、半径方向に人工的に歪められる(拡大または縮小される)であろう。しかしながら、任意のOCT画像では、y=0における画素は、必ずしも、この要件を充足せず、極座標表現へのマッピング前に、これが充足されるまで、y−次元においてシフトされなければならない。試料の経路長対干渉計の参照アームの変位差(制御または非制御のいずれか)は、y−次元において画素をシフトさせるであろう。
【0014】
制御不能変位は、円筒形または螺旋走査光ファイバOCTカテーテルを使用するときに生じ得る。例えば、カテーテルが、縦方向に押し引きされると、光ファイバケーブルは、圧縮または伸長され得、したがって、経路長変位を被る。
【0015】
本方法は、概して、自動的に、静止しているが制御不能変位によるものではない画像特徴を検索することによって非制御変位効果を認識することと、極座標表現が、正確な次元測定のために使用され得るように、連続OCT画像データを較正することとを含む。一実施形態では、本方法はさらに、ビデオモニタまたは他の表示デバイス上での表示に先立って、画像内の画像特徴を除去することを含む。
【0016】
本方法によって使用される画像特徴は、カテーテル自体内(撮像される被写体または周囲環境内ではなく)で生成され、カテーテルの360°回転全体を通して、幾分、深度が安定し、強度が一貫して見える。これらの画像特徴は、光学構成要素間の界面における後方反射(「ゴースト線」または「エコーアーチファクト」として知られ、これらは、回転部分の光学軸に沿って生じ、したがって、カテーテルの1回転の過程にわたって、経路長変位差が生じないとき、極座標画像内で均一な円に見える)、あるいは、静止した(非回転)カテーテルシース(断面外形が円形であって、また、回転部分と機械的に同心である場合)の境界から、またはその中からの反射が含まれるが、それらに限定されない。
【0017】
本明細書に開示される実施形態は、適切な較正を達成するための必要とされるシフトを識別するために複数の後方反射を利用する、自動較正のための3つの方法を含む。3つの方法の各々の間には、重複が存在し得るが、3つの方法の各々は、説明目的のためだけに、別個のセクションにおいて記述されるが、3つの方法の各々は、代替構成、方法、パラメータ等において組み合わせられ得る。第1の方法は、平均的かつ一般的自動較正実装である、Z−オフセットの自動較正を含む。第2の方法は、テンプレート照合およびグラフ検索方法を含む、Z−オフセットの自動較正を含む。第3の方法は、完全テンプレート相関を含む、Z−オフセットの自動較正である。
【0018】
(方法1:Z−オフセットの自動較正および平均化) 一実施形態では、自動認識および較正方法におけるステップは、(1)x−(すなわち、角度)次元に沿ってOCT画像フレームを平均化することにより、y−次元(すなわち、半径)において回転安定する特徴を、被写体または周囲環境によって生成される他の画像特徴に対して選択的に強めることを含む。平均化ステップの有効性は、周囲画素に対して高強度を有する画像特徴を選択することによって、かつ被写体/環境特徴(雑音)が、強い円周方向対称性を有していない場合、改善される。一実施形態では、本方法はさらに、(2)ピーク検索、相関、閾値化、または他のパターン認識アルゴリズムを使用して、画像特徴を見つけることを含む。画像特徴を見つけることの有効性は、非制御経路長変位が生じ得る範囲が、先験的に既知である場合、したがって、必要とされる検索空間を限定する場合、改善される。一実施形態では、本方法はさらに、(3)ステップ2で見つかった画像特徴のy−値を、回転軸に対するその画像特徴の実際の物理的場所を表す、事前に較正されたy−値と比較すること、または、スペクトルドメインOCTを使用する場合、その特徴の既知の「共役画像」または「エイリアス画像」の場所と比較することを含む。一実施形態では、本方法はさらに、(4)検索された画像特徴と事前に較正された画像特徴との間の差異だけ、y−次元におけるOCT画像画素をシフトさせることによって較正することを含む。複数の特徴が、アルゴリズムの有効性を改善するために使用されることができる。y−次元において長方形画像をシフトさせた後、極座標画像座標へのマッピングが、行なわれ得る。較正された極座標画像の中心に対して測定された半径は、物理的空間内の回転軸に対して測定された実際の半径を表す。カテーテルによるいくつかの画像特徴は、ビデオモニタまたは他の物理的表示デバイス上での被写体/環境特徴の効果的かつ混乱のない表示のために望ましくない。例えば、カテーテル画像特徴は、被写体/環境特徴に重複し得る。
【0019】
一実施形態では、画像特徴を除去する(または、目立たなくする)ステップは、半径方向y−方向において、かつ全列/角度にいて画像特徴範囲を切り取ることと、全列/角度に対して切り取られた領域のすぐ内側および外側(上方および下方)の画素の平均値を計算することと、この平均化された行/円周を切り取られた場所内に挿入することとを含む。切り取り動作はまた、被写体/環境特徴を除去し得、半径方向次元内の画像を歪ませる。この歪みは、測定ツールが、次いで、画素が切り取られた場所およびクロップされていない場所を考慮しなければならないので(または、クロップされていない画像上で測定を行わければならない)、そのような画像上の正確な定量値の測定をより複雑にする。
【0020】
前述の較正実施形態では、較正方法は、反射を識別するためにフレームにわたって平均化し、次いで、特徴場所に基づいて画像をデジタル的に調節し、画像内の全A走査に一定シフトを適用する。Z−オフセットの自動較正のための代替方法は、画像内に現れる内部カテーテル特徴を使用して、必要とされるシフトを識別するものであり、この方法は、画像特徴を見つけるために、フレームにわたって画像強度を平均化しないが、テンプレートの形態における反射のパターンを使用して、初期ロックアルゴリズムにおいて、反射の位置を識別する。「テンプレート」とは、概して、カテーテル反射パターンを指す。この方法は、線毎のシフトを適用し、再生モードアルゴリズムにおける測定のために、全てのA走査が適切に整列されることを確実にする。Z−オフセットの自動較正のためのバイナリテンプレート照合およびグラフ検索のこの方法は、以下により詳細に説明される。
【0021】
(方法2:Z−オフセットの自動較正およびテンプレート照合およびグラフ検索) 一実施形態では、Z−オフセットの自動較正は、初期ロックステップを含む、カテーテル反射を較正する第1のモードを含む。初期ロックは、テンプレートを利用して、
図1に示されるように、特定のカテーテルに特有のカテーテル反射線の位置を識別することを含む。各カテーテルのためのテンプレートは、特定のカテーテルとともに記憶される。一実施形態では、テンプレートは、無線周波数識別(RFID)チップ上に記憶され、代替として、テンプレートは、コンピュータチップ等上に記憶され得る。代替として、RFIDまたはコンピュータチップは、除去可能であり、次いで、ポータブルテンプレートまたは医療記録として使用され得る。代替として、カテーテルが、再使用のために承認される場合、患者インターフェースモジュールまたはPIMは、特定のカテーテルに対するテンプレートに関する具体的情報をダウンロードし得る。このテンプレート情報は、記憶され、かつカテーテルモニタ上で追跡され、使用回数または使用時間を同様にカテーテル上に記憶された所定の量に限定し得る。一実施形態では、RFIDチップは、情報を記憶し、インターフェースデバイスと通信するために、カテーテルの近位端のコネクタ上に搭載されたMaxwell ME1またはME2 RFIDチップであり得る。代替実施形態では、カテーテルは、コネクタの第1のRFIDチップから180度に搭載された第2のRFIDチップ(図示せず)を有し得、したがって、カテーテルは、2つ以上の円周方向配向において、インターフェースデバイスに接続されることができる。RFIDチップは、128バイト、代替として、1Kバイト、代替として、2Kバイト、代替として、4Kバイトのメモリを有し、例えば、カテーテル製造番号、名称、製造業者、またはモデル、較正係数、撮像要素感度、タイムゲインコントロール、ポストアンプゲイン、許容使用回数、地理的許容使用場所、ブートモード、パルス幅、またはカテーテルの有効期限を含む、カテーテル特有情報を記憶し得る。
【0022】
テンプレートは、勾配画像のバイナリバージョンとコンボリューションされ、ピークは、
図2Aに示されるように、テンプレート照合ステップにおいて識別される。テンプレート照合ステップは、最も強いテンプレート一致に対応するピークを選択することを含む。一実施形態では、ピークは、最も強いテンプレート一致が識別されることを確実にするために、一定の値を上回る。テンプレート一致が識別されない場合、Z−オフセット位置は、調節され、新しい位置における画像が、テンプレート照合ステップまたはアルゴリズムを用いて評価される。カテーテル反射線の位置が識別されると、カテーテル反射線は、Z−オフセットを調節することによってシフトされ、反射をその所望の場所に移動させ、画像/カテーテルは、ここで、
図2Bに示されるように、較正される。一実施形態では、Z−オフセットの調節は、可変遅延線(VDL)の機械的シフトを含む。テンプレート照合アルゴリズムが、強いテンプレート一致を識別できない場合、ユーザは、警告され、自動較正を再試行するか、または手動で較正するかの選択肢が与えられる。
【0023】
テンプレート照合およびグラフ検索のためのZ−オフセットの自動較正の方法2の一実施形態では、カテーテル反射を較正する第2のモードは、再生追跡を含む。再生追跡は、概して、取得の間の反射位置に対するいかなるシフトも、適切な分析および/または測定を可能にするように補正されることを確実にするために、カテーテル引き戻しを記録後、画像データを整列させることを含む。記録されたデータセットを通した反射の追跡は、引き戻しの間の動きにより、若干困難であり、反射の位置は、単一フレームにわたって、有意に変動し得る。
図3は、蛇行性引き戻しの間のカテーテル反射の有意なシフトの実施例を実証する。グラフ検索ステップまたはアルゴリズムは、各フレームを通して反射を追跡するために利用される。グラフ検索初期が、前述のテンプレート照合ステップまたはアルゴリズムによって識別される。初期ロックが取得されると、反射線は、その振幅および相対的位置に基づいて、画像を通して追跡される。一実施形態では、線は、一定距離を維持することによって、その振幅および相対的位置に基づいて、画像を通して追跡される。グラフ検索ステップは、第1のA走査から開始し、次いで、次のステップのための方向を決定するために、続くA走査における近傍画素を見る。本プロセスは、次いで、各A走査に対して繰り返される。アルゴリズムはまた、ステップ方向を決定する前に、次のA走査を評価し、次の「n」回のA走査を先読みすることを含む「先読み」を可能にする。
図3における反射をトレースする黒色線は、グラフ検索アルゴリズムの結果を実証する。
図4は、グラフ検索アルゴリズムの若干より詳細な説明を提供する。線が、フレーム全体を通してトレースされると、それらはデジタル的に整列され、フレームが、次いで、表示および測定のために適切に較正される。
【0024】
一実施形態では、カテーテル反射を較正するための第3のモードは、喪失トラック再取得ステップを含む。喪失トラック再取得ステップは、反射線が前の画像フレーム内で検出されない場合、トラックを再取得することを含む。
図5−7に示されるように、反射の追跡は、蛇行性引き戻しの間、喪失され、次いで、反射が再現すると、再取得される。喪失トラックを再取得するために、グラフ検索ステップ220およびテンプレート照合アルゴリズムの両方が、使用され得る。グラフ検索ステップは、許容可能な解の領域を拡大し、再現反射に対して、より多くの数のビンを検索する。「保護帯域」が、可能な検索領域を限定するために識別され、脈管壁からの明るいはね返りにロックオンしないように防止する。テンプレート照合ステップも、初期ロックステップにおいて説明されるように行なわれ得る。トラックが再取得されると、アルゴリズムは、再生追跡モードに移行して戻り、各後続フレームを通して、反射を追跡し続ける。
【0025】
図8Aを参照すると、第1のモードおよび初期ロックステップ100の例証方法が、示される。プロセスは、ステップ110から開始し、カテーテル内のOCT画像を撮影する。次いで、ステップ120は、テンプレートを利用して、
図2Bに示されるように、モジュールまたは他のソフトウェアデバイスから、特定のカテーテルに特有のカテーテル反射線の位置を識別する。各カテーテルのためのテンプレートは、特定のカテーテルとともに記憶される、または動作可能にアクセス可能である。一実施形態では、テンプレートは、無線周波数識別(RFID)チップまたはトランスポンダまたはタグ上に記憶され、代替として、テンプレートは、コンピュータチップ、キャッシュ、フラッシュドライブ、および任意の他の記憶媒体上に記憶され得る。テンプレート照合ステップまたはアルゴリズム130は、テンプレートを勾配OCT画像のバイナリバージョンとコンボリューションし、ピークが、
図2Aに示されるように、識別される。テンプレート照合ステップは、最も強いテンプレート一致に対応するピークを選択するためのステップ140を含む。一実施形態では、ピークは、最も強いテンプレート一致が識別されることを確実にするために、一定の値を上回る。テンプレート一致が、判定150において識別されない場合、方法は、ステップ170に進み、Z−オフセット位置が、調節され、新しい位置における画像が、テンプレート照合ステップまたはアルゴリズム130を用いて、評価される。テンプレート照合アルゴリズムが、強い一致を識別できない場合、ユーザは、警告され、自動較正を再試行するか、または手動で較正するかの選択肢が与えられる。テンプレート一致が、判定150において識別される場合、カテーテル反射線の位置が、識別され、カテーテル反射線は、Z−オフセットを調節することによってシフトされ、反射をその所望の場所に移動させ、画像/カテーテルは、ここで、
図2Bに示されるように、較正される。一実施形態では、Z−オフセットの調節は、可変遅延線(VDL)の機械的シフトを含む。
【0026】
図8Bを参照すると、第1のモードの代替方法、初期ロックステップ100bが、示される。プロセス100bは、プロセス100aと同様に、ステップ110から開始し、カテーテル内のOCT画像を撮影する。次いで、ステップ120は、
図2Bに示されるように、モジュールまたは他のソフトウェアデバイスからのテンプレートを利用し、特定のカテーテルに特有のカテーテル反射線の位置を識別する。各カテーテルのためのテンプレートは、特定のカテーテルとともに記憶されているか、または動作可能にアクセス可能である。一実施形態では、テンプレートは、無線周波数識別(RFID)チップまたはトランスポンダまたはタグ上に記憶され、代替として、テンプレートは、コンピュータチップ、キャッシュ、フラッシュドライブ、および任意の他の記憶媒体上に記憶され得る。テンプレート照合ステップ130は、テンプレートを勾配OCT画像のバイナリバージョンとコンボリューションすることにより、ピークが、
図2Aに示されるように、識別される。テンプレート照合ステップは、最も強いテンプレート一致に対応するピークを選択するためのステップ140を含む。一実施形態では、ピークは、最も強いテンプレート一致が識別されることを確実にするために、一定の値を上回る。テンプレート一致が、判定150において識別されない場合、方法は、ステップ170に進み、Z−オフセット位置が、調節され、新しい位置における画像が、テンプレート照合ステップ130を用いて評価される。テンプレート照合アルゴリズムが、強いテンプレート一致を識別できない場合、ユーザは、警告され、自動較正を再試行するか、または手動で較正するかの選択肢が与えられる。テンプレート一致が、判定150において識別される場合、カテーテル反射線の位置は、識別され、カテーテル反射線は、Z−オフセットを調節することによってシフトされ、反射をその所望の場所に移動させ、画像/カテーテルは、ここで、
図2Bに示されるように、較正される。
【0027】
図9を参照すると、第2のモードおよび再生追跡200の例証方法が、示される。再生追跡方法200は、ステップ210から開始し、カテーテル引き戻しまたは押し進めを記録する。再生モード追跡の目的は、画像データをデジタル的に整列させ、画像取得中の反射位置に対するいかなるシフトも補正されることを確実にし、適切な分析および/または測定を可能にすることである。記録されたデータセットを通した反射の追跡は、引き戻しの間の動きにより、若干、困難であり、反射の位置は、単一フレームにわたって、有意に変動し得る。
図3は、蛇行性引き戻しの間のカテーテル反射の有意なシフトの実施例を実証する。再生追跡方法200は、グラフ検索アルゴリズムを利用して、各画像フレームを通して反射を追跡する。ステップ220におけるグラフ検索アルゴリズムの開始に先立って、反射の初期位置が、前述のテンプレート照合アルゴリズム130を使用して、識別される。初期ロック230が取得されると、ステップ240は、その振幅および相対的位置に基づいて、画像を通して反射線を追跡する。一実施形態では、線は、一定距離を維持することによって、線の振幅および相対的位置に基づいて、画像を通して追跡される。ステップ250は、第1のA走査から開始し、次いで、続くA走査内の近傍画素を見、次のステップのための方向を決定し、各A走査に対して繰り返される。ステップ260は、ステップ方向を決定する前に、次のA走査を評価し、次の「n」回のA走査を先読みすることを含む「先読み」を可能にする。ステップ270は、ステップ250および260からの情報を使用して、現在のA走査における反射の方向を決定する。280では、アルゴリズムは、次のA走査にインクリメントし、再生における全A走査が評価されるまで、同一の処理を繰り返す。
図3における反射をトレースする黒色線は、グラフ検索アルゴリズムの結果を実証する。
図4は、グラフ検索アルゴリズムの若干より詳細な説明を提供する。ステップ290は、フレーム全体を通して反射線をトレースし、それらは、デジタル的に整列され、フレームが、表示および測定のために適切に較正される。
【0028】
図10を参照すると、第3のモードおよび喪失トラック再取得方法300の例証方法が、示される。喪失トラック再取得方法300は、反射線が前の画像フレーム内で検出されない場合、ステップ310から開始する。一実施形態では、反射線は、カテーテルの蛇行性引き戻しの間に喪失され得る。反射が、ステップ320において再現すると、喪失トラックは、前述のように、グラフ検索ステップ220およびテンプレート照合アルゴリズム120を用いて、再取得され得る。グラフ検索ステップ220は、ステップ330において、許容可能な解の領域を拡大し、再現反射に対して、より多くの数のビンを検索する。ステップ340では、「保護帯域」が、識別され、可能な検索領域を限定し、次いで、脈管壁からの明るいはね返りへのロックオンが、防止される。テンプレート照合ステップ120も、前述の初期ロックステップに説明されるように行なわれ得る。ステップ350では、トラックが再取得されると、アルゴリズムは、再生追跡モードに移行して戻り、各後続フレームを通して、反射を追跡し続ける。
【0029】
図11を参照すると、再生方法400において、自動較正の代替実施形態が示される。方法400は、概して、引き戻しまたは押し進めデータ402を取得すること、および閾値画像404を得ることを含む。B走査データ412、雑音推定値414、または現在のZ−オフセット416等のいくつかの入力410が、閾値画像に結合され得る。次に、ステップ420は、グラフ検索アルゴリズム420であり、グラフ検索アルゴリズム420は、許容可能シフトに対して、テンプレートと画素振幅との差異を算出すること422と、n個の先読みに対する差異を算出すること424と、最小振幅差異を伴うシフト方向を見つけること426と、テンプレート場所を更新し、反射振幅を記憶すること428とを含む。次に、判定430は、全A走査が処理されたかどうか決定する。そうである場合、方法は、ステップ440に進み、将来の整列および表示のために全A走査シフトを記憶し、次いで、自動較正のための再生方法は、完了する480。さらなる出力490は、再生方法400のためのA走査シフト492のデータを含み得る。全A走査が、判定430において処理されていない場合、ステップ450は、反射が予期される振幅値において検出されるかどうか決定する。判定452は、ロックが喪失されているかどうか決定する。ロックが喪失されていない場合、ステップ454は、次のA走査およびグラフ検索アルゴリズム420へのステップ、および許容可能シフトに対してテンプレートと画素振幅値の差異を算出するステップ422に進む。ロックが喪失されている場合、喪失トラック再取得ステップ460が、実装される。喪失トラック再取得ステップ460は、ステップ462から開始し、保護帯域領域を算出し、次いで、前述のように、ステップ464において、テンプレート照合アルゴリズムのグラフ検索ステップをより大きな領域に適用する。次に、判定466は、ロックが再取得されたかどうか決定する。ロックが再取得された場合、グラフ検索アルゴリズム420が、始動され、ステップ422は、許容可能シフトに対して、テンプレートと画素振幅値の差異を算出する。ロックが再取得されない場合、判定468は、ロック喪失時間を超えたかどうか決定する。ロック喪失時間を超えた場合、ステップ472は、ユーザに、較正が完了されることができないことを警告し、自動較正の再生方法は、ステップ480において、ユーザによって再始動または調節されるために完了する。ロック喪失時間を超えていない場合、ステップ470は、次の画像に進み、ロックの取得を再試行し、トラック再取得ステップ460のステップ462に進み、再び、保護帯域領域を算出する。
【0030】
図12を参照すると、自動較正初期ロック方法の代替実施形態500が、示される。方法500は、概して、オンモード画像を選択することを含み、決定504に進み、第1の画像がオンモードであるかどうか決定する。画像の第1のインスタンスがカテーテルに対してオンモードではない場合、ステップ506は、Z−オフセット位置をシフトさせずに、ロックの再取得に進む。画像の第1のインスタンスがオンモードである場合、前述のように、テンプレート照合ステップ510に進む。テンプレート照合ステップ501は、ステップ512から開始し、画像をバイナリB走査に変換し、ステップ514に進み、XおよびY勾配を算出し、ステップ516に進み、勾配をテンプレートとコンボリューション(順方向およびCC)し、ステップ518において、ピーク518を見つける。テンプレート照合ステップ510は、終了し、判定520に進み、ピーク閾値が得られたかどうか決定する。ピーク閾値が得られている場合、ステップ522は、領域内の信号対雑音比閾値を伴うピークを見つける。ピーク閾値が得られていない場合、判定524は、全Z−オフセット位置が評価されたかどうか決定する。ステップ522は、決定530に進み、少なくとも2つのピークが見つかったかどうか決定する。少なくとも2つのピークが見つかっていない場合、判定524が、始動される。少なくとも2つのピークが見つかっている場合、ステップ532は、Z−オフセットを+nビンにシフトさせる。次いで、ステップ534は、Z−オフセット位置が到達されることを待ち、判定540に進む。決定540は、信号がビン+nに移動されているかどうか決定する。信号がビン+nに移動されている場合、ステップ542は、ピークを所望の場所にシフトさせる。信号がビン+nに移動されていない場合、決定550は、信号がビン−nに移動されているかどうか決定する。信号がビン−nに移動されている場合、ステップ542に進む。信号がビン−nに移動されていない場合、決定ステップ526に進み、Z−オフセットをA走査サイズの1/4シフトさせる。判定524も、全Z−オフセット位置が評価されていない場合、ステップ526に進む。全Z−オフセット位置が評価された場合、ステップ528は、ユーザに、自動較正に問題が生じ、方法500を再試行するように警告する。次いで、ステップ528は、決定560に進み、ユーザが、再び、自動較正方法を要求しているかどうか決定する。ユーザが、自動較正方法を再び要求している場合、ステップ562は、Z−オフセットを開始位置にリセットする。ステップ562は、次いで、ステップ564に進み、Z−オフセット位置が到達されることを待ち、次いで、テンプレート照合ステップ510、および画像をバイナリB走査に変換するステップ512に進む。
【0031】
ステップ542は、ステップ544に進み、ユーザに、手動較正の再試行または自動較正の容認のために、自動較正完了を促す。ステップ544は、次いで、決定570に進み、ユーザが較正をOKしているかどうか決定する。ユーザが、較正を容認する場合、初期ロック方法は、ステップ572において完了する。初期ロックのための出力580は、現在のZ−オフセット532、反射場所584、または反射振幅586を含む。ユーザが、較正を容認しない場合、ステップ574は、グラフィカルユーザインターフェース(GUI)を通して、手動較正モードに移行する。次いで、決定590は、ユーザに較正を完了させる。ユーザが較正を完了すると、ステップ592は、較正がさらに要求されない限りZ−オフセットを維持する。ユーザが較正を完了しない場合、ステップ574は、ユーザによるさらなる試行のために、手動較正モードに移行する。
【0032】
(Z−オフセットの自動較正方法3:自動テンプレート生成および完全相関) 代替として、テンプレートは、前の方法2におけるように、メモリチップまたはRFID上に記憶されなくてもよく、テンプレートは、方法3に関して以下に説明されるように、初期ロックモードプロセス中、自動的に生成され得る。前の方法は、テンプレート照合のためにバイナリテンプレートを利用したが、方法3は、振幅情報および複素共役信号情報を伴うテンプレートを生成する。振幅情報の利用およびミラー信号の生成は、正確な反射線にロックオンする可能性を増加させる。加えて、方法3ステップまたはアルゴリズムは、初期ロックおよび再生モード中、自動較正を行い、方法3はまた、ライブモード中(カテーテルが、撮像しているが、データを記録していないとき)、較正を維持する。
【0033】
一実施形態では、第1のモードは、初期ロックであり、前の方法で説明されるように、内部カテーテル反射(ファイバ、ミラー、およびレンズ)を利用して、較正位置に到達するために、必要とされるVDLシフトを識別する。初期ロックZ−オフセット較正は、反射パターンまたはテンプレートが決定されるステップである。初期Z−オフセット較正において識別されたテンプレートは、各後続較正モードにおいて利用され、反射のシフトを追跡し、要求または実装に応じて、アナログおよびデジタルシフトを適用する。テンプレート領域は、勾配および振幅情報を使用して識別される。テンプレートが識別され、後の使用のために記憶されると、VDLシフトが適用され、カテーテルは、ライブおよび再生モードの間の較正の準備ができる。この位置における容認可能誤差は、OCT画像内のカテーテル反射線の参照パターンにロックオンするための次のモード(ライブ撮像の間のZ−オフセットの維持)の能力によって決定されるであろう。
【0034】
図13−16は、初期Z−オフセット較正のための代替ステップの概略を提供する。
図13A−13Dは、平均振幅または勾配を使用して、強い反射を検索し、検出されるまでZ−オフセットを調節する、初期ロックモードにおける第1のステップのグラフである。
図13Aは、ファイバ、ミラー、レンズ、シースに認められる反射、およびテンプレートに対する反射が存在することを示す。アルゴリズムは、画像のXおよびY勾配を利用して、反射が存在するかどうか決定する。
図13Bは、X勾配の変化であり、
図13Cは、Y勾配の変化である。反射が見つからない場合、VDLは、次の可能なZ−オフセット場所にシフトされる。強い反射が識別されると、若干の正VDLシフトが、反射の配向を検証するために適用される。反射が、画像の中心に向かってシフトする場合、反射は、較正のために、適切に配向されている。反射が、外向きにシフトする場合、画像は、複素共役信号であって、大幅な負VDLシフトが、画像をアンラップ(unwrap)するために適用される。画像が、適切に配向されたと決定された後、反射は、ウィンドウの中心にシフトされ、完全テンプレート領域が可視であることを確実にする。シフトステップの各々の間の任意の時点において、反射線が、検出されなくなる場合、アルゴリズムは、新しいZ−オフセットを適用し、強いリターンを探すことをやり直す。
図17は、アルゴリズムおよびユーザ相互作用のより詳細なバージョンを提供する。
【0035】
反射が画像ウィンドウ内の中心に置かれると、テンプレートが、算出される。テンプレートは、ファイバ反射から開始し、レンズ反射で終了する、平均振幅値に対する画素番号のアレイである。テンプレートを識別することにおける第1のステップは、
図14Aに示されるように、単純グラフ検索アルゴリズムを使用して、第1の強い反射に基づいて、画像を整列させることである。長方形画像におけるA走査を横断する反射の整列は、初期ロックZ−オフセット較正モードのための第2のステップである。画像整列は、
図14Bに示されるように、反射が、長方形画像内で直線であり、その勾配および振幅によって容易に識別されるであろう可能性を増加させるように行なわれる。画像整列が完了すると、内部カテーテル反射が、4つの特性、すなわち、(1)強いXおよび弱いY勾配(Y軸に沿ったA走査を前提);(2)少なくとも15dBを上回る一貫した高信号対雑音比(SNR)、(3)最初の反射(ファイバ)から最後の反射(レンズ)までの最大距離、および(4)最小でも少なくとも2つの反射を使用して識別される。
【0036】
図15A−15Bに示されるように、初期ロックモードにおける第3のステップは、XおよびY勾配を使用して、カテーテル反射を識別することである。初期ロックのステップ4は、反射のテンプレートを生成し、後の使用のために、テンプレートを記憶する。テンプレート領域は、次いで、
図16Aに示されるように、最初の反射から開始し、最後の反射で終了するA走査(すなわち、角度)(両側に5画素のマージンを伴う)を横断した平均として定義される。弱いレンズ反射による小テンプレートを防止するために、最小テンプレートサイズは、100ビンである。代替として、最小テンプレートサイズは、少なくとも約20〜1000ビンである。したがって、レンズ反射が検出されない場合、ファイバ反射後の100ビンが、テンプレート領域として選択される。この最小距離閾値は、ファイバからシースの内径(ID)までの最小距離に基づいて決定され得る。テンプレートの精度は、ファイバ反射を特定することに大きく依存する。ファイバ反射が見つからない場合、テンプレートは、シースまたは脈管領域を含み、不適切な較正をもたらし得る。
【0037】
図16Bに示されるように、テンプレートが見つかると、後続自動較正アルゴリズムにおいて後に使用するために記憶される。VDLは、次いで、所定の場所におけるファイバ反射の位置にシフトされ、システムは、ライブモードに移行する。参照パターンが、この初期VDL位置において見つからない場合(可能性が低いが、依然として、非ゼロ確率である)、値が正しくないと仮定され、バックアップ初期推定検索が、システムによって行なわれる。バックアップ検索手技は、パターン認識アルゴリズムが、参照パターンにロックオンを試みながら、所定の方式において、VDL位置を通して掃引するものである。このバックアップ検索手技に入ることは、追加の時間が、正しい初期較正を見つけるために使用されるので、望ましくない。バックアップ検索が失敗する(すなわち、参照パターンにロックオンできない)場合、システムは、カテーテルまたはPIMへのその接続に不具合があると仮定し、ユーザに、代替カテーテルを使用するように通知する。
【0038】
図17は、初期ロックZ−オフセット較正方法600の流れ図である。第1のステップは、690であり、ユーザは、オンモードの画像を選択する。これが、決定692において、オンモードにある第1の画像である場合、アルゴリズムは、612に進み、強い反射を検索する。B走査、雑音推定値、および現在Z−オフセット等の種々の入力610が、ステップ612と結合され得る。第1の画像がオンモードではない場合、アルゴリズムは、完了ボックス694に移動し、単に、VDLを最後のテンプレートが取得された位置にシフトさせることによって、テンプレートを再取得する。ステップ612後、判定620は、反射線が見つかったかどうか決定する。反射が見つかった場合、ステップ622は、+Z−シフトのために、反射を左にn個のビンだけシフトさせる。一実施形態では、反射のシフトは、約25〜100ビンであり得る。反射が見つからなかった場合、ステップ624は、新しいZ−オフセットにシフトする。ステップ622後、ステップ626は、前述のように、平均振幅または勾配を使用して、ある閾値を満たす強い反射を見つける。次いで、決定630は、反射線移動が左に行なわれたかどうか決定する。反射線が移動した場合、ステップ632は、特定のビン番号にシフトする。反射線が移動されなかった場合、ステップ602は、VDLを開始場所の複素共役(CC)にシフトさせ(−Z−シフト)、強い反射612を見つけるためにリセットする。ステップ632後、ステップ634は、強い反射を見つけ、判定640に進み、線が特定のビンにおいて検出されたか決定する。線が特定のビンにおいて検出された場合、ステップ642は、テンプレートを算出する。線が検出されなかった場合、判定650は、全Z−オフセットが試行されたかどうか決定する。全Z−オフセットが試行されていない場合、ステップ624は、新しいZ−オフセット位置にシフトし、ステップ612は、強い反射を見つける。全Z−オフセットが試行された場合、ステップ652は、ユーザに、プログラムを較正できないことを警告する。ステップ652後、判定654は、ユーザに、再試行するように警告する。ユーザが、再試行を選択する場合、ステップ624は、新しいZ−オフセットにシフトし、ステップ612は、強い反射を見つける。ユーザが、再試行を選択しない場合、ステップ660は、手動較正を可能にし、ユーザに、手動較正モードを警告する。ステップ660後、結果662は、初期較正およびライブ較正モードの完全移行をもたらす。出力670は、最終Z−オフセットおよびテンプレートに対して提供され得る。
【0039】
ステップ642後、判定644は、少なくとも2つの反射が見つかるかどうか決定する。少なくとも2つの反射が見つかる場合、ステップ646は、較正された場所にシフトする。少なくとも2つの反射が見つからない場合、決定650は、全Z−オフセットが試行されたかどうか決定を試みる。一実施形態では、タイマ680が、決定680と結合され、自動較正時間を超えたかどうか決定し得る。自動較正時間を超えた場合、ステップ684は、ユーザに、プログラムが較正できないことを警告する。ステップ684後、決定686は、ユーザが再試行することを可能にする。ユーザが再試行を選択する場合、ステップ624は、新しいZ−オフセットにシフトし、強い反射を見つける。ユーザが再試行を選択しない場合、ステップ660は、手動較正を可能にする。
【0040】
第2のモードの代替実施形態では、ライブモード追跡ステップが、採用され得る。ライブモード自動較正中、初期ロックステップ中に算出されたテンプレートが、ビデオモニタまたは他の表示デバイス上の画面上に表示される全フレームに対して初期ロック較正位置を維持するために利用される。一実施形態では、全フレームに対する初期ロック較正位置は、少なくとも30フレーム/秒(fps)、代替として、約10〜50fpsのレートであり得る。カテーテルシステムは、カテーテルが体内に挿入されたときの温度変化またはカテーテルが縦方向に押し引きされたときのファイバにかかる機械的歪みによって生じる光学経路長のシフトにより、非較正になり得る。ライブモードアルゴリズムは、テンプレートを使用して、カテーテル反射の位置を検出し、デジタルおよびアナログ較正設定を更新し、適切な較正設定を維持する。わずかなシフトのみ、較正位置を維持するために必要である場合、デジタルシフトが、表示に先立って、画像に適用される。しかしながら、システムが、有意に較正されないままである、または大きなシフトが、較正を維持するために必要である場合、Z−オフセット更新が、適用される(VDLシフト)。
【0041】
反射は、テンプレートとA走査との間の最大相関を見つけること(すなわち、テンプレート照合)によって、ライブモード追跡の間に識別される。反射を識別するための検索領域は、フレーム毎の最大予測シフトに基づいて限定される。テンプレート照合アルゴリズムは、ラップされた複素共役信号を考慮するために、検索位置に基づいて、テンプレートを修正するので、大部分の標準的テンプレート照合実装と若干異なる。相関の算出に先立って、
図18A−18Dに示されるように、ミラー複素共役信号を含む、「完全テンプレート」が、生成される。完全テンプレートを算出するために、最初に、オリジナルテンプレートが、
図18Aに示されるように、検索位置にシフトされ、次に、信号が、
図18Bに示されるように、同一の信号のミラーバージョンと加算される。完全テンプレートおよび各A走査の相関係数が、次いで、
図19に示されるように、算出される。本プロセスは、次いで、検索領域内の可能なシフト位置毎に繰り返される。全相関が算出されると、各A走査に対する最大相関の位置が、
図20に示されるように、見つけられる。最終反射位置は、上位「n」個の相関の中央値位置として割り当てられる。較正シフトが識別されると、画像は、デジタル的に調節され、
図21A−21Bに示されるように、その較正された位置に反射を戻す。シフトが、「n」個のフレームに対して事前に決定された閾値を超える場合、Z−オフセット(VDL)への更新が、適用される。本アルゴリズムは、ライブモードにおいて、画面上に表示される全ての画像に繰り返され、前のフレームの相関一致およびZ−オフセットを利用して、次のフレームのための検索領域を決定する。
【0042】
図22は、ライブモード追跡プロセス700のためのアルゴリズムおよびユーザ相互作用の流れ図を提供する。ライブモード較正プロセスでは、較正は、「画像オフ」が選択されるか、またはカテーテル縦方向引き戻しが、始動されるまで、継続する。引き戻し開始直前の反射の位置が、以下に説明されるように、再生モード自動較正設定において使用するために記憶される。前述のように、B走査、現在のZ−オフセット等の種々の入力710が、ライブモード追跡プロセスと結合され得る。ステップ712は、初期ロックの自動較正が完了したかどうか決定する。次いで、ステップ714は、全許容可能シフト位置に対して完全テンプレートを算出する。次いで、ステップ716は、A走査およびテンプレートのサブセットに対する相関を算出する。次いで、ステップ718は、走査毎の最大相関を見つける。次いで、ステップ720は、上位n個の相関の中央値シフトを見つける。次いで、判定730は、相関が特定の閾値を上回るかどうか決定する。相関が特定の閾値を上回る場合、ステップ732は、移動平均に基づいて、相関閾値を算出する。相関が特定の閾値を上回らない場合、ステップ734において、インクリメンタルロック喪失カウンタが進められる。ステップ734後、判定740は、ロック喪失カウンタ閾値を超えたかどうか決定する。ロック喪失カウンタ閾値を超える場合、判定742は、ユーザが自動較正を「オン」として選択したかどうかチェックし、ユーザにエラーを警告する必要があるかどうか決定する。ロック喪失カウンタ閾値を超えていない場合、ステップ744は、次の画像にインクリメントし、その後、ステップ714が続き、ライブモード追跡のための全許容可能シフト位置に対して完全テンプレートを算出する。判定742では、自動較正が、ユーザによって「オン」に選択される場合、判定750は、ロック喪失カウンタが閾値を1上回るかどうか決定する。自動較正が、ユーザによって「オン」に選択されていない場合、ステップ744は、次の画像にインクリメントするステップに進む。ロック喪失カウンタ閾値を1上回らない場合、ステップ744は、次の画像にインクリメントする。ロック喪失カウンタ閾値が閾値を1上回る場合、ステップ752は、ユーザに、自動較正ロックが喪失されたことを警告し、それによって、プログラムは、コンピュータのウィンドウまたは状態バーにフェードインすることができる。
【0043】
ステップ732後、ステップ736は、ロック喪失を0にリセットする。次いで、判定760は、自動較正がユーザによって「オン」に選択されたかどうか決定する。自動較正がユーザによって「オン」に選択されている場合、ステップ762は、表示のために、デジタルシフトを現在の画像に適用する。自動較正がユーザによって「オン」に選択されていない場合、ステップ764は、次の画像のために、反射位置を更新する。ステップ764後、ステップ744は、プログラムを次の画像にインクリメントする。ステップ762後、判定770は、デジタルシフト閾値が満たされたかどうか決定する。デジタルシフト閾値が満たされた場合、ステップ772は、インクリメンタルデジタルシフトカウンタを進める。デジタルシフト閾値が満たされていない場合、ステップ774は、デジタルシフトカウンタを0にリセットし、次いで、ステップ784に進み、次の画像のために反射位置を更新する。ステップ772後、判定780は、デジタルシフトカウンタ閾値を超えたかどうか決定する。デジタルシフトカウンタ閾値を超えた場合、ステップ782は、VDLシフトを適用する。デジタルシフトカウンタ閾値を超えていない場合、ステップ744は、ライブモード追跡プロセスのために、次の画像にインクリメントする。ライブモード較正プロセスでは、較正は、「画像オフ」が選択されるか、またはカテーテル縦方向引き戻しが始動されるまで、継続する。カテーテル引き戻し開始直前の反射位置は、以下に説明されるように、再生モード自動較正設定において使用するために記憶される。
【0044】
第3のモードの代替実施形態では、再生モード追跡が、ユーザが画像データセットを記録した後に生じる。再生モード追跡は、データセット内の全てのA走査に自動較正を行なう。ライブモード追跡と同様に、再生モードは、限定されたシフト場所におけるテンプレートおよび画像A走査の相関を利用して、反射の位置を決定する。反射の初期位置の識別は、データセットの第1のフレームが、他のフレームと異なって処理されるようなものである。データセットの第1のフレームでは、全許容可能シフトおよび全A走査に対する相関が、
図23A−23Bに示されるように、最大相関を見つけるために算出される。最大相関点から、アルゴリズムは、次いで、各A後方および前方走査を通してトレースし、
図24に示されるように、各可能なシフト毎の相関を算出する。第1の検索のための許容可能シフト領域は、ライブモードから再生モードへの移行の間に生じ得る、突然のジャンプを可能にするために広範である。開始位置が決定されると、A走査毎の検索は、A走査間の時間および可能な移動は、フレーム毎の移動に対して小さいことを前提として、小領域に限定される。例えば、第1のフレームに対して、検索領域は、最後の場所から−50〜+50画素に設定され得、最大相関が見つかる場合、検索領域は、A走査毎に−1〜+1画素に限定される。代替として、検索領域は、少なくとも約−500〜+500画素、代替として、少なくとも約−400〜+400、代替として、約−300〜+300、等に設定され得る。検索領域は、約−10〜+10、代替として、約−5〜+5、代替として、約−0.1〜+0.1に限定され得る。第1のフレームが、
図25Aに示されるように、完全にトレースされると、アルゴリズムは、次のフレームに移動し、第1のA走査から開始し、最後のA走査内の反射位置に基づいて、検索領域を限定する。
図25Bは、反射位置が、ビデオモニタまたは他の表示デバイスの画面上での画像の表示に先立って、整列のために、テンプレート一致位置を記憶することを通して、後の整列および表示のために記憶されることを示す。これは、全フレーム内の各A走査に対して繰り返される。
【0045】
再生モード較正プロセス800の詳細な流れ図は、
図26に提供される。再生モード較正は、画像内の全A走査を検索し、ピーク相関を識別することによって始動する。ピークから、相関トラッカが、前方および後方に追跡し、第1のフレーム内のA走査毎に反射位置を識別する。この検索は、第1のフレームに適用され、強い初期ロックを保証する。第1のフレーム後の続くフレームの各々は、限定された検索領域を用いて、A走査毎に追跡される。手動モード840は、ロック喪失カウンタ閾値を超え、ユーザが手動モードを選択した場合、移行される。代替として、手動モード840は、押し引きデータが記録された場合、選択され得る842。手動モードが選択された場合、再生モード自動較正は、ステップ844において適用されないであろう。手動モードが選択されていない場合、ステップ850は、カテーテルの押し引きに基づいて、第1のフレームのための許容可能シフトを識別する。次いで、ステップ852は、全許容可能シフト位置に対する完全テンプレートを算出する。次いで、ステップ854は、全A走査およびテンプレート位置に対して相関を算出する。次いで、ステップ856は、A走査毎に最大相関を見つける。次いで、ステップ858は、最大相関および対応するA走査を見つける。次いで、ステップ860は、相関追跡アルゴリズム810を画像内の各A走査に適用する。
【0046】
相関追跡アルゴリズム810は、現在のA走査内の許容可能テンプレートシフトに対する相関を算出するステップ812から開始する。次いで、ステップ814は、そのA走査に対する最大相関を見つける。次いで、ステップ816は、移動平均の相関信頼閾値を算出する。次いで、判定820は、相関が特定の信頼閾値を上回るかどうか決定する。相関が特定の信頼閾値を上回る場合、ステップ822は、ロック喪失カウンタを0にリセットする。相関が特定の信頼閾値を上回らない場合、ステップ824は、ロック喪失カウンタをインクリメントするステップに進む。ステップ824後、判定830は、ロック喪失カウンタ閾値を超えるかどうか決定する。ロック喪失カウンタ閾値を上回らない場合、ステップ832は、前のA走査のトラック位置を使用する。ロック喪失カウンタ閾値を上回る場合、ステップ834は、ユーザに警告し、手動モードに移行する。ステップ822および832は両方とも、ステップ836に進み、トラック位置を更新し、次のA走査に進む。ステップ836後、ステップ812は、現在のA走査内の許容可能シフトに対する相関を算出する。
【0047】
相関追跡アルゴリズムを画像内の各A走査に適用するステップ864後、判定870は、最後のフレームであるかどうか決定する。最後のフレームである場合、ステップ872は、表示のために、較正位置を記憶する。さらにフレームが存在する場合、判定880は、手動モードへの移行が必要とされるか、または命令されるかを決定する。手動モードへの移行が選択される場合、ステップ862は、次のフレームにインクリメントする。手動モードへの移行が選択されない場合、ステップ882は、ユーザに警告し、手動モードに移行する。ステップ872後、ステップ874は、再生モード較正が完了したかどうか決定する。B走査、現在のZ−オフセット、およびカテーテルのための押し引きインジケータ等の種々の入力890が、再生モードプロセスと結合され得る。
【0048】
概して、自動較正900の一実施形態が、
図27に示される。前述の較正方法のいずれも、初期較正後、フレーム毎に継続的に較正を更新し、それを維持するために使用され得る。ステップ902は、前述のように、初期自動較正または手動較正を行なう。ステップ904は、較正位置を示す、少なくとも1つのパラメータを監視する。判定906は、較正が既存のフレームまたは後続フレームにおいて更新される必要があるかどうか決定する。較正がフレームに対して更新される必要がない場合、自動較正は、ステップ904において、較正位置を示すパラメータの監視を継続する。較正がフレームに対して更新される必要がある場合、ステップ908は、自動的に、較正を更新する(画像をデジタル的にシフトさせる、z−オフセットシフトを適用する、または前述の方法のいずれか等)。フレームは、A走査またはフレームのセットであり得る。
【0049】
流れ図例証の各ブロックおよび流れ図例証におけるブロックの組み合わせは、本明細書に開示されるモジュール、システム、および方法の任意の部分と同様に、コンピュータプログラム命令によって実装されることができることを理解されるであろう。これらのプログラム命令は、プロセッサに提供され、プロセッサ上で実行する命令が、流れ図ブロックまたは複数のブロックにおいて規定され、あるいは本明細書に開示される組織分類器、撮像機、制御モジュール、システム、および方法に関して説明される作用を実装するための手段を作成するような機械をもたらし得る。コンピュータプログラム命令は、プロセッサによって実行され、一連の動作ステップをプロセッサによって行なわせ、コンピュータ実装プロセスをもたらし得る。コンピュータプログラム命令はまた、動作ステップのうちの少なくともいくつかを並行して行なわせ得る。さらに、ステップのうちのいくつかはまた、マルチプロセッサコンピュータシステム内に生じ得るように、2つ以上のプロセッサにわたって行なわれ得る。加えて、1つ以上のプロセスはまた、本発明の範囲または精神から逸脱することなく、他のプロセスと並行して、または図示されるものと異なるシステム内でさえ、行なわれ得る。
【0050】
コンピュータプログラム命令は、限定されないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光学記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイス、あるいは所望の情報を記憶するために使用されることができ、かつコンピューティングデバイスによってアクセスされることができる、任意の他の媒体を含む、任意の好適なコンピュータ読み取り可能な媒体上に記憶されることができる。
【0051】
カテーテル引き戻しは、カテーテルを撮像されている領域の近位端から遠位端に引っ張ることによって行なわれ得ることを理解されるであろう。また、前述の血管内撮像技法はまた、患者血管系内に挿入可能なカテーテルを使用する他のタイプの撮像技法とともに使用されることができることを理解されるであろう。例えば、血管内撮像技法は、患者組織の1つ以上の測定可能特性(例えば、血管内磁気共鳴画像診断、分光法、温度マッピング等)を査定するために構成および配列される任意の撮像技法とともに使用されることができる。
【0052】
本明細書に説明されるシステムおよび方法は、多くの異なる形態で具現化され得、本明細書に記載される実施形態に限定されるものと解釈されるべきではない。故に、開示されるシステムおよび方法は、全体的にハードウェア実施形態、全体的にソフトウェア実施形態、またはソフトウェアおよびハードウェア側面を組み合わせる実施形態の形態をとってもよい。本明細書に説明されるシステムおよび使用方法は、各デバイスがプロセスまたは方法の少なくとも一部を行なう、プロセッサまたはコンピューティングデバイスの任意の組み合わせを含む、コンピュータ等の任意のタイプのコンピューティングデバイスを使用して行なわれることができる。
【0053】
好適なコンピューティングデバイスは、典型的には、マスメモリを含み、典型的には、デバイス間の通信を含む。マスメモリは、コンピュータ読み取り可能な媒体、すなわち、コンピュータ記憶媒体のタイプを表す。コンピュータ記憶媒体として、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のための任意の方法または技術において実装される、揮発性、不揮発性、除去可能、および非除去可能媒体が挙げられ得る。コンピュータ記憶媒体の実施例として、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光学記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイス、無線周波数識別タグまたはチップ、あるいは所望の情報を記憶するために使用されることができ、かつコンピューティングデバイスによってアクセスされることができる、任意の他の媒体が挙げられる。デバイスまたはシステムの構成間の通信は、有線および無線(例えば、RF、光学、または赤外線)通信の両方を含むことができる。
【0054】
本発明は、種々の実施形態に関連して説明されたが、本発明は、さらなる修正が可能であることを理解されるであろう。本願は、本発明の一般的原理に従い、本発明が属する分野において既知および慣行されている範囲内での本開示からの逸脱を含む、本発明のいかなる変形例、使用、または適応も網羅することを意図する。
本発明は一側面において以下の発明を包含する。
(発明1)
カテーテルを較正する方法であって、
カテーテル内の画像を撮影することと、
テンプレートを利用して、前記カテーテル反射線の位置を識別することと
を含む、方法。
(発明2)
前記テンプレートは、前記特定のカテーテルとともに記憶される、または動作可能にアクセス可能である、発明1に記載の方法。
(発明3)
前記テンプレートは、前記カテーテルの画像から直接導出される、発明1に記載の方法。
(発明4)
前記テンプレートを前記画像のあるバージョンと照合し、ピークを識別することをさらに含む、発明1に記載の方法。
(発明5)
前記画像のバージョンは、バイナリである、発明4に記載の方法。
(発明6)
最も強いテンプレート一致に対応する前記ピークを選択することをさらに含む、発明4に記載の方法。
(発明7)
前記ピークは、一定の値を上回る、発明6に記載の方法。
(発明8)
テンプレート一致が識別されない場合、前記Z−オフセット位置を調節し、前記テンプレート照合ステップを用いて評価されるべき新しい位置において、前記カテーテルの第2の画像を撮影することをさらに含む、発明1に記載の方法。
(発明9)
前記カテーテル反射線の位置を識別することと、テンプレート一致が識別された場合、前記Z−オフセットを調節することによって、前記カテーテル反射線をシフトさせることとをさらに含む、発明4に記載の方法。
(発明10)
前記Z−オフセットを調節することは、可変遅延線の機械的シフトを含む、発明6に記載の方法。
(発明11)
カテーテルを較正する方法であって、
カテーテル引き戻しを撮像することと、
画像取得中の反射位置に対するいかなるシフトも補正されることを確実にするために、画像データを整列させることと、
各画像フレームを通して、前記反射位置を追跡することと
を含む、方法。
(発明12)
前記反射位置を追跡するステップは、グラフ検索アルゴリズムを利用することを含む、発明11に記載の方法。
(発明13)
前記反射位置を追跡するステップは、テンプレート照合ステップを通して、前記反射の初期位置を識別する、発明11に記載の方法。
(発明14)
前記反射位置を追跡するステップは、初期ロックが取得されると、振幅および相対的位置に基づいて、前記画像を通して前記反射線を追跡することをさらに含む、発明13に記載の方法。
(発明15)
前記線は、一定距離を維持することによって、前記線の振幅および相対的位置に基づいて、前記画像を通して追跡される、発明14に記載の方法。
(発明16)
第1のA走査時、次のステップの方向を決定するために、近傍画素が続くA走査において検討され、各A走査に対して繰り返される、発明15に記載の方法。
(発明17)
前記ステップ方向を決定する前に、前記次のA走査を評価することと、次の「n」個のA走査を先読みすることとを含む先読みステップをさらに含む、発明16に記載の方法。
(発明18)
フレーム全体を通して前記反射線をトレースすることと、前記反射線をデジタル的に整列させることとをさらに含む、発明17に記載の方法。
(発明19)
カテーテルを較正する方法であって、
カテーテルの画像を撮影することと、
前記カテーテルの反射線を追跡することと、
画像において前記反射線を検出しないことと、
グラフ検索ステップまたはテンプレート照合ステップを用いて、喪失トラック画像を再取得することと
を含む、方法。
(発明20)
前記グラフ検索ステップは、許容可能な解の領域を拡大し、再現反射に対して、より多くの数のビンを検索する、発明19に記載の方法。
(発明21)
可能な検索領域を限定する保護帯域を識別し、脈管壁からの明るいはね返りへのロッオンを防止することをさらに含む、発明20に記載の方法。
(発明22)
前記テンプレート照合ステップは、前記喪失トラック画像を再取得し、前記カテーテル反射を追跡することを各後続フレームを通して継続するために移行して戻る、発明19に記載の方法。
(発明23)
深度較正および自動化された範囲調節の方法であって、
静止しているが、制御不能変位によるものではない画像特徴を検索することによって、非制御変位効果を認識することと、
極座標表現が正確な次元測定のために使用され得るように、連続した画像データを較正することと
を含む、方法。
(発明24)
表示に先立って、前記画像内の画像特徴を除去することをさらに含む、発明23に記載の方法。
(発明25)
初期較正モードのための方法であって、
内部カテーテル反射を利用して、較正位置に到達するために必要とされる可変遅延線シフトを識別することと、
前記カテーテル反射の初期テンプレートを決定することと、
各後続較正モードにおいて、前記初期テンプレートを利用し、前記反射のシフトを追跡することと、
前記適切なシフトを適用することと、
を含む、方法。
(発明26)
平均振幅または勾配を使用して、強い反射を検索することと、前記強い反射が検出されるまで、Z−オフセットを調節することとをさらに含む、発明26に記載の方法。
(発明27)
画像を横断して、前記強い反射を整列させることをさらに含む、発明27に記載の方法。
(発明28)
前記勾配および振幅の変化を使用して、前記カテーテル反射を識別することと、閾値勾配および振幅情報を識別し、前記テンプレート領域を決定することとをさらに含む、発明27に記載の方法。
(発明29)
反射のテンプレートを生成し、他の自動較正モードにおける後の使用のために記憶することをさらに含む、発明28に記載の方法。
(発明30)
全画像フレームに対して、初期ロック較正位置を維持することをさらに含む、発明29に記載の方法。
(発明31)
前記反射のテンプレートを使用して、前記カテーテル反射の位置を検出し、較正設定を更新し、適切な較正設定を維持することをさらに含む、発明30に記載の方法。
(発明32)
前記反射のテンプレートをシフトさせ、場所を検索し、ミラー信号を伴う完全テンプレートを作成することをさらに含む、発明31に記載の方法。
(発明33)
前記テンプレートおよび全A走査に対する相関係数を算出することをさらに含む、発明32に記載の方法。
(発明34)
各A走査に対する最大相関を見つけ、上位A走査の中央値を求めることをさらに含む、発明33に記載の方法。
(発明35)
デジタルシフトを画像および走査変換に適用することをさらに含む、発明34に記載の方法。
(発明36)
再生モード追跡較正のための方法であって、
第1のフレームに対するカテーテルの反射の初期位置を識別することと、
前記第1のフレームに対する全許容可能シフトおよび全A走査に対する相関を算出し、最大相関を識別することと、
後続のA走査に対して前記最大相関を後方および前方に利用して、各可能なシフトに対する相関を算出することと、
データセット内の全フレームを通して、前記A走査毎に追跡し、後の整列および表示のために、前記反射位置を記憶することと、
を含む、方法。
(発明37)
自動較正のための方法であって、
較正位置に対してカテーテルの初期較正を行なうことと、
前記較正位置を示す少なくとも1つのパラメータを監視することと、
前記較正位置が画像フレームでの更新を必要とするかどうか決定することと、
前記較正位置を更新することと
を含む、方法。
(発明38)
前記画像フレームは、A走査である、発明37に記載の方法。
(発明39)
前記画像フレームは、一式の画像フレームを含む、発明37に記載の方法。