特表 2022-517807 医療用ナビゲーションのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-10

(54)【発明の名称】医療用ナビゲーションのためのシステムおよび方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20220303BHJP

【ＦＩ】

A61B34/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021541277

(86)(22)【出願日】2020-01-17

(85)【翻訳文提出日】2021-08-30

(86)【国際出願番号】 EP2020051193

(87)【国際公開番号】W WO2020148450

(87)【国際公開日】2020-07-23

(31)【優先権主張番号】62/793,963

(32)【優先日】2019-01-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518388409

【氏名又は名称】アンスティテュ オスピタロ－ユニベルシテール ドゥ ストラスブール

(71)【出願人】

【識別番号】518389174

【氏名又は名称】アンスティテュ ドゥ ルシェルシェ コントル レ カンセル ドゥ ラパレイル ディジェスティフ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】コラン，トビー

(72)【発明者】

【氏名】ソーサ・バレンシア，レオナルド

(72)【発明者】

【氏名】オステトレ，アレクサンドル

(72)【発明者】

【氏名】トロンプ，カロリーヌ

(72)【発明者】

【氏名】マレスコー，ジャック

(57)【要約】

医療用ナビゲーションのためのシステムであって：・リアルタイムの超音波信号および／またはビデオ信号を取得するように構成されたエコー内視鏡；・エコー内視鏡の遠位端を空間的に追跡するように構成された追跡システムまたはデバイス；・ユーザインターフェースおよびディスプレイ；・患者の術前放射線学的データを含む計算および記憶手段を含み：・計算および記憶手段が、リアルタイムの術中データと術前放射線学的データとの間のレジストレーションを行うように構成されており、・ディスプレイが、前記レジストレーションに基づいて、術前放射線学的データ内にリアルタイムの術中データビューを統合するナビゲーションビューをユーザに提供するように構成されていることを特徴とする、システム。

【特許請求の範囲】

【請求項1】

医療用ナビゲーションのためのシステムであって、
・リアルタイムの超音波信号および／またはビデオ信号を取得するように構成されたエコー内視鏡、
・エコー内視鏡の遠位端を空間的に追跡するように構成された追跡システム、
・ユーザインターフェースおよびディスプレイ、
・患者の術前放射線学的データを含む計算および記憶手段
を含み、
・計算および記憶手段が、リアルタイムの術中データと術前放射線学的データとの間のレジストレーションを行うように構成されており、
・ディスプレイが、前記レジストレーションに基づいて、術前放射線学的データ内にリアルタイムの術中データビューを統合するナビゲーションビューをユーザに提供するように構成されている
ことを特徴とする、システム。

【請求項2】

システムが、第１のレジストレーション計算およびレジストレーション精密化を行うように構成されていることを特徴とする、請求項１に記載の医療用ナビゲーションのためのシステム。

【請求項3】

システムが、解剖学的ランドマークの定位、患者の軸の識別、および少なくとも解剖学的ランドマークと少なくとも患者の軸とに基づくレジストレーションを含む第１のレジストレーション計算を行うように構成されることを特徴とする、請求項２に記載の医療用ナビゲーションのためのシステム。

【請求項4】

システムが、超音波解剖学的ランドマークの定位、光学的ランドマークの定位、および超音波解剖学的ランドマークと光学的ランドマークとの間の局所的剛体アライメントを含むレジストレーション精密化を行うように構成されることを特徴とする、請求項２または３に記載の医療用ナビゲーションのためのシステム。

【請求項5】

追跡システムが、電磁的追跡デバイスまたは光ファイバー追跡デバイスを含むことを特徴とする、請求項１から４のいずれか一項に記載の医療用ナビゲーションのためのシステム。

【請求項6】

システムが、超音波信号中のランドマークを選択し、術前データ上で前記ランドマークを識別してマークするように構成された手段を含むことを特徴とする、請求項１から５のいずれか一項に記載の医療用ナビゲーションのためのシステム。

【請求項7】

計算および記憶手段が、超音波信号と術前データとの間でレジストレーションを行うように構成されており、前記レジストレーションが選択されたランドマークに基づくことを特徴とする、請求項６に記載の医療用ナビゲーションのためのシステム。

【請求項8】

計算および記憶手段が、１つの追加の解剖学的情報にさらに基づいてレジストレーションを行うように構成されていることを特徴とする、請求項１から７のいずれか一項に記載の医療用ナビゲーションのためのシステム。

【請求項9】

追加の解剖学的情報が、食道の位置および配向を含むことを特徴とする、請求項８に記載の医療用ナビゲーションのためのシステム。

【請求項10】

－ エコー内視鏡を用いて、リアルタイムの超音波信号および／またはビデオ信号を取得するステップと、
－ エコー内視鏡の遠位端を追跡するステップと、
－ 患者の術前放射線学的データを受信し記憶するステップと、
－ 術中データと術前放射線学的データとの間のレジストレーションを行うステップと、
－ 前記レジストレーションに基づいて、術前放射線学的データ内にリアルタイムの術中データビューを統合するナビゲーションビューを表示するステップと
を含むことを特徴とする、医療用ナビゲーションのための方法。

【請求項11】

レジストレーションを行うステップが、超音波信号と術前放射線学的データとの間のレジストレーションを含むことを特徴とする、請求項１０に記載の医療用ナビゲーションのための方法。

【請求項12】

レジストレーションを行うステップが、第１のレジストレーション計算およびレジストレーション精密化を含むことを特徴とする、請求項１０に記載の医療用ナビゲーションのための方法。

【請求項13】

第１のレジストレーション計算が、解剖学的ランドマークの定位ステップと、患者の軸の識別ステップと、少なくとも解剖学的ランドマークと少なくとも患者の軸とに基づくレジストレーションステップとを含むことを特徴とする、請求項１２に記載の医療用ナビゲーションのための方法。

【請求項14】

レジストレーション精密化が、超音波解剖学的ランドマークの定位ステップと、光学的ランドマークの定位ステップと、超音波解剖学的ランドマークと光学的ランドマークとの間の局所的剛体アライメントステップとを含むことを特徴とする、請求項１２または１３に記載の医療用ナビゲーションのための方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、いくつかのタイプのデータのレジストレーションを含む医療用ナビゲーションのための医療デバイスおよびシステムの分野に属するものである。本発明の第１の目的は、放射線学的データおよび超音波データのレジストレーションを含む医療用ナビゲーションのためのデバイスである。本発明の第２の目的は、放射線学的データおよび超音波データのレジストレーションを含む医療用ナビゲーションのための方法である。

【背景技術】

【0002】

超音波内視鏡（ＥＵＳ）は、上部消化管のイメージングおよび診断のために重要でありますます使用されている医療処置である。ＥＵＳは基本的に、先端に超音波（ＵＳ）センサを取り付けた胃カメラシステムであり、内視鏡タワーはＵＳユニットを含む。ビデオフィードおよびＵＳフィードの両方がユーザに表示される。ＥＵＳは、表面および表面下の構造の両方に近接して、高解像度で侵襲を最小限に抑えた低コストのマルチモーダルイメージングを提供する。しかし、ＥＵＳは内視鏡超音波検査者が習得するのが難しい技術であり、オペレータに大きく依存する。

【0003】

この難しさは、主に２つのナビゲーションの難しさに起因する。第１に、ＥＵＳプローブは、小さな空間ウィンドウ（典型的には、幅１０ｃｍ未満）で映像を生成する。これは、優れた空間分解能を提供するが、患者に対してプローブがどこにあるかの全体的な理解は内視鏡超音波検査者により頭の中で行われる必要があり、これは困難である。第２の難しさは、機械的な制御を伴う：ＥＵＳでは、近位端で機械的に制御される柔軟なスコープが必要である。これは、ＥＵＳの先端の正確な位置決めと定位を難しくする。

【0004】

以上の困難が組み合わさり、ＥＵＳを非専門家に対して非常に難しくしており、高い習熟度に達するには何年もかかる（５０００件より多い処置）。これまでにも、処置前のコンピュータ断層撮影（ＣＴ）または磁気共鳴画像（ＭＲＩ）のスライスセットと、処置中のライブＵＳ画像との融合が提案されてきた。これらのシステムは、ＵＳプローブが空間で追跡されることに頼っており、ＣＴまたはＭＲＩのスライスセットとライブＵＳ画像との間のレジストレーションステップを伴っている。シーメンスのＡＣＵＳＯＮ Ｓ３０００超音波システムのような経腹腔的なＵＳプローブを有する市販のナビゲーションシステムでは、次のようにしてレジストレーションが完了される：超音波検査者がＣＴまたはＭＲＩ画像セット内に正確な解剖学的ランドマークを選択し、患者においてＵＳシステムを使って解剖学的ランドマークを表示することで、手動でレジストレーションを完了し、次いで、表示された画像内でランドマークの正しい場所を選択する。次いで、システムが２つの画像をレジストレーションする。このレジストレーションプロセスは、ＵＳシステムとＣＴまたはＭＲＩスライスセットの両方を習得している放射線医師に適合される：このレジストレーションプロセスは、ユーザがＣＴまたはＭＲＩスライスセットを理解している必要があり、ユーザがＵＳシステムを使用して要求された解剖学的領域の画像を表示できることを要する。

【0005】

これは、手で制御されるＵＳプローブでは効率的であることが判明しているが、このアプローチはＥＵＳ環境で実装するのは不可能である。実際、ＥＵＳスコープを体の事前に決められたエリアにナビゲートすることは、専門家のスキルを必要とする深刻な困難を呈し、初心者にはガイダンスシステムが最も必要とされる。

【0006】

文献ＵＳ２０１５／００８６９５６Ａ１は、３Ｄおよび／または２Ｄの超音波画像が、患者の仮想画像および／またはＣＴもしくはＭＲＩスキャン、または医療分野で使用される他の同様のイメージング技術と一緒に表示される、コレジストレーション（ｃｏ－ｒｅｇｉｓｔｒａｔｉｏｎ）およびナビゲーションシステムを含むデバイスを説明している。

【0007】

このシステムは、事前にレジストレーションされたＵＳおよび放射線学的データに基づいて、オペレータのオフライントレーニングに有用である。これは、リアルタイムのレジストレーションのための技術的な解決策を提供するものではなく、特にＥＵＳスコープのリアルタイムのナビゲーションには有用ではない。

【0008】

文献ＵＳ２０１９／０３０７５１６は、患者の領域を通して器具を導くためのシステムと、そのシステムを使用する方法を説明している。

【0009】

それにもかかわらず、このシステムは、ＥＵＳスコープを所与の場所に導くことの難しさを克服するために適合されておらず、上述の技術的問題を解決していない。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】米国特許出願公開第２０１５／００８６９５６号明細書

【特許文献2】米国特許出願公開第２０１９／０３０７５１６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0011】

本開示の目的は、画像融合に基づいて、初心者でも使えるＥＵＳナビゲーションのための新規のガイダンスシステムを導入することによって、これらの限界を克服することである。

【課題を解決するための手段】

【0012】

本発明の目的は、医療用ナビゲーションのためのシステムであって：
・リアルタイムの超音波信号および／またはビデオ信号を取得するように構成されたエコー内視鏡；
・エコー内視鏡の遠位端を空間的に追跡するように構成された追跡システムまたはデバイス；
・ユーザインターフェースおよびディスプレイ；
・患者の術前放射線学的データを含む計算および記憶手段
を含み：
・計算および記憶手段は、リアルタイムの術中データと術前放射線学的データとの間のレジストレーションを行うように構成されており、
・ディスプレイは、レジストレーションに基づいて、術前放射線学的データ内にリアルタイムの術中データビューを統合するナビゲーションビューをユーザに提供するように構成されている
ことを特徴とする。

【0013】

本開示は、上記の難しさを克服し、ＥＵＳ処置の術中ガイダンスを提供する技術的解決策を提示する。本開示の目的は、医療用ナビゲーションを提供する方法およびシステムを説明することである。

【0014】

エコー内視鏡とは、超音波トランスデューサを含み、リアルタイムの超音波信号を取得するように適合された内視鏡を意味する。例えば、エコー内視鏡は、超音波画像を取得するように適合されている。また、エコー内視鏡は、リアルタイムの光学信号またはビデオ信号を取得するように構成されることもできる。

【0015】

リアルタイムの術中データとは、エコー内視鏡の処置中に取得されたデータを意味する。リアルタイムの術中データは、内視鏡によって取得された超音波および／または光学データ、および／または追跡デバイスによって取得された追跡データを含み得る。

【0016】

ユーザインターフェースおよびディスプレイとは、ユーザに情報を提供するのに適合され、およびユーザから情報またはコマンドを収集するのに適合されたインターフェースを意味する。

【0017】

術前データとは、超音波内視鏡検査の前に取得されたデータを意味する。

【0018】

放射線学的データとは、医療デバイスによって取得された画像またはその他の医療データを意味する。例えば、放射線学的データは、コンピュータ断層撮影（ＣＴ）画像、磁気共鳴画像（ＭＲＩ）、またはポジトロン放出断層撮影（ＰＥＴ）画像などの３Ｄイメージングツールによって提供されることができる。

【0019】

リアルタイムの術中データと術前放射線学的データとの間のレジストレーションとは、術中データと術前データの両方で、所与の解剖学的ランドマークまたは構造を識別することを意味する。

【0020】

つまり、リアルタイムの術中データと術前データとの間のレジストレーションは、内視鏡または追跡システムの空間座標を患者の空間座標に変換する、空間座標の変換である。

【0021】

ナビゲーションビューとは、術中データおよび／または術前放射線学的データの表現を意味する。本発明によるシステムによって行われるレジストレーションのおかげで、術中および術前のデータは同時に表示されることができる。

【0022】

有利には、本発明による医療用ナビゲーションシステムは、臨床ワークフローの中断を最小限に抑えながら、効率的かつ信頼性の高い方法でこのようなレジストレーションを行う。

【0023】

有利には、本発明による医療用ナビゲーションシステムは、熟練していないオペレータでも簡単に使用できる効率的なナビゲーションビューを表示する。本発明による医療用ナビゲーションビューは、熟練していないオペレータがエコー内視鏡を事前定義された解剖学的領域に向かってナビゲートすることを可能にする。

【0024】

例えば、本発明によるシステムは、放射線学的データに対する超音波信号のリアルタイムの位置と配向を計算するように構成されている。つまり、システムは、内視鏡または追跡システムの空間座標系を患者の空間座標系に変換するように適合されており、超音波信号と放射線学的データのリアルタイムのレジストレーションを可能にする。

【0025】

有利には、本発明による医療用ナビゲーションのためのシステムは、使用が容易であり、高度に熟練したオペレータを必要としない。

【0026】

一実施形態によれば、本発明による医療用ナビゲーションシステムの計算および記憶手段は、第１のレジストレーション計算およびレジストレーション精密化を行うように構成されている。

【0027】

また、本発明による医療用ナビゲーションのためのシステムは、個別に、またはその技術的に可能なすべての組み合わせに従って考慮される、以下の特徴の１つ以上を有し得る：
－ 超音波信号は超音波画像である；
－ 術中データは：エコー内視鏡によって取得された超音波信号、および／または、エコー内視鏡によって取得されたビデオ信号、および／または、追跡デバイスによって取得された追跡信号を含む；
－ 計算手段は、術前放射線学的データに対する超音波信号のリアルタイムの位置および配向を計算するように構成されている；
－ ディスプレイは、前記位置および配向に基づいて、術前放射線学的データ内に超音波リアルタイムビューを統合するナビゲーションビューをユーザに提供するように構成される；
－ 追跡システムまたはデバイスは、追跡基準フレーム（ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）を定義し、前記追跡基準フレーム内の内視鏡の遠位端の位置および配向を提供するようにさらに構成される；
－ 追跡システムは、電磁的追跡デバイスまたは光ファイバー追跡デバイスを含む；
－ 追跡システムは、超音波信号中のランドマークを選択し、術前データ上で前記ランドマークを識別しマークする手段を含む；
－ 計算および記憶手段は、超音波信号と術前データとの間でレジストレーションを行うように構成されており、前記レジストレーションは選択されたランドマークに基づく；
－ レジストレーションは、１つの追加の解剖学的情報にさらに基づく；
－ 追加の解剖学的情報は、解剖学的な軸またはランドマークを含む；
－ 追加の解剖学的情報は、食道の位置および配向を含む；
－ システムは、追跡デバイスによって追跡される、追跡されるポインタをさらに含む；
－ システムは、第１のレジストレーション計算およびレジストレーション精密化を行うように構成される；
－ システムは、解剖学的ランドマークの定位、患者の軸の識別、および少なくとも解剖学的ランドマークと少なくとも患者の軸とに基づくレジストレーションを含む第１のレジストレーション計算を行うように構成され、解剖学的ランドマークは内部または外部にある；
－ システムは、超音波解剖学的ランドマークの定位、光学的ランドマークの定位、および超音波解剖学的ランドマークと光学的ランドマークとの間の局所的剛体（ｌｏｃａｌｌｙ－ｒｉｇｉｄ）アライメントを含むレジストレーション精密化を行うように構成される；
－ 計算および記憶手段は、第１のレジストレーション計算およびレジストレーション精密化を行うように構成される；
－ 計算および記憶手段は、外部の解剖学的ランドマークの定位、患者の軸の識別、および少なくとも外部の解剖学的ランドマークと少なくとも患者の軸とに基づくレジストレーションを含む第１のレジストレーション計算を行うように構成される；
－ 計算および記憶手段は、超音波解剖学的ランドマークの定位、光学的ランドマークの定位、および超音波解剖学的ランドマークと光学的ランドマークとの間の局所的剛体アライメントを含むレジストレーション精密化を行うように構成される。

【0028】

本発明の別の目的は、以下のステップ：
－ エコー内視鏡を用いて、リアルタイムの超音波信号および／またはビデオ信号を取得するステップと；
－ エコー内視鏡の遠位端を追跡するステップと；
－ 患者の術前放射線学的データを受信し記憶するステップと；
－ 術中データと術前放射線学的データとの間のレジストレーションを行うステップと；
－ 前記レジストレーションに基づいて、術前放射線学的データ内にリアルタイムの術中データビューを統合するナビゲーションビューを表示するステップと
を含む、医療用ナビゲーションのための方法である。

【0029】

本発明による医療用ナビゲーションのための方法は、個別に、またはその技術的に可能なすべての組み合わせに従って考慮される、以下のステップの１つ以上も含み得る：
－ 超音波トランスデューサまたはエコー内視鏡を用いて、超音波信号または画像を取得するステップ；
－ 超音波トランスデューサの遠位端を追跡するステップ；
－ 術前放射線学的データに対する超音波信号または画像の位置および配向を計算するステップ；
－ 前記位置と配向に基づいて、術前放射線学的データ内に超音波信号を統合するナビゲーションビューを表示するステップ。
－ 方法は、超音波信号および術前放射線学的データをレジストレーションするステップを含み；
－ レジストレーションステップは、第１のレジストレーション計算およびレジストレーション精密化を含み；
－ 第１のレジストレーション計算は、解剖学的ランドマークの定位ステップと、患者の軸の識別ステップと、少なくとも解剖学的ランドマークと少なくとも患者の軸とに基づくレジストレーションステップとを含み、解剖学的ランドマークは外部または内部にあり；
－ レジストレーション精密化は、超音波解剖学的ランドマークの定位ステップと、光学的ランドマークの定位ステップと、超音波解剖学的ランドマークと光学的ランドマークとの間の局所的剛体アライメントステップとを含み；
－ 表示されたナビゲーションビューを用いてエコー内視鏡処置を行うステップ。

【0030】

本発明の他の特徴および利点は、添付の図を参照して、指針的目的で、決して限定するものではない以下に与えられる説明から明らかになるであろう：

【図面の簡単な説明】

【0031】

【図1】図１は、本発明による医療用ナビゲーションシステムの概略を示す図である。

【図2】図２は、本発明による医療用ナビゲーション方法の概略を示す図である。

【図3】図３は、本発明による方法の実現に関与する異なる空間座標系の概略を示す図である。

【図4】図４は、本発明による方法に含まれる初期レジストレーション計算ステップの概略を示す図である。

【図5】図５は、本発明による方法に含まれるレジストレーション精密化ステップの概略を示す図である。

【発明を実施するための形態】

【0032】

図１を参照すると、本明細書で説明する医療用ナビゲーションのためのシステムは、エコー内視鏡ＥＥＳと、エコー内視鏡の遠位端を空間的に追跡するように適合された追跡システムまたはデバイスと、ユーザインターフェースＵＩと、ディスプレイＤと、少なくともアルゴリズムおよび患者の術前放射線学的データＲＤを含む計算ユニットＣＵおよび記憶ユニットＳＵとを含む。計算ユニットおよび記憶ユニットは、計算および記憶ユニットに融合されることもできる。エコー内視鏡ＥＥＳは、超音波画像などの超音波信号を取得するように適合されている。システムは、術前放射線学的データに対するリアルタイムの超音波画像のライブ位置および配向を計算し、前記位置および配向に基づいて術前放射線学的データ内に超音波ライブビューを統合するナビゲーションビューをユーザに表示するように適合されている。

【0033】

図２を参照すると、本明細書で説明する医療用ナビゲーション方法は：
－ エコー内視鏡、エコー内視鏡の遠位端を空間的に追跡するように適合された追跡システムまたはデバイス、ユーザインターフェース、ディスプレイ、ならびに、少なくともアルゴリズムを含む計算および記憶手段を含む医療用ナビゲーションのためのシステムを提供するステップ；
－ 患者の術前放射線学的データをインポートするステップＳＴＯ；
－ 患者に対するエコー内視鏡処置を開始するステップＡＣＱ；
－ 内視鏡の遠位端を追跡するステップＴＲＡ；
－ 術前放射線学的データに対するライブ超音波画像のライブ位置および配向を計算するステップＣＯＭＰ；
－ 前記位置と配向に基づいて、術前放射線学的データ内に超音波ライブビューを統合するナビゲーションビューをユーザに表示するステップＤＩＳＰ；
－ 表示されたナビゲーションビューを使用してエコー内視鏡処置を行うステップ
を含む。

【0034】

本明細書で開示するシステムは、エコー内視鏡ＥＥＳと、追跡基準フレームを定義し、この基準フレーム内で内視鏡の遠位端の３Ｄ位置および配向を提供する追跡デバイスまたはシステムとを備える。

【0035】

追跡デバイスまたはシステムは、３Ｄ位置および配向のデータが計算ＣＵおよび記憶ＳＵユニットに送られ、計算ＣＵおよび記憶ＳＵユニットにより解釈され記憶されることができるような方法で、計算ＣＵおよび記憶ＳＵユニットと通信している。内視鏡の先端の形状と寸法が分かっているので、計算および記憶手段は、いずれかのライブ超音波画像に含まれる任意の点を、追跡基準フレーム内のこの点のライブ位置に関連付けるように構成されている。

【0036】

本文書の残りの部分では、ユーザインターフェースを使用してライブＵＳ画像内のポイントを選択し、計算および記憶ユニットに追跡基準フレーム内の選択されたポイントの位置を記録させることを、「ＵＳ画像内のポイントを選択する」と呼ぶ。

【0037】

異なる実施形態では、ＥＥＳプローブの追跡方法は、電磁的性質（ＥＭ追跡）または別のタイプの追跡（すなわち、光ファイバー追跡）に基づいている。一実施形態によれば、追跡デバイスは、ＥＭ追跡デバイスまたは光ファイバー追跡デバイスを含む。

【0038】

本発明の目的は、ＥＵＳ処置の前に取得された３Ｄ放射線学的データに基づいて、ユーザが患者の生体構造をナビゲートするのを助けることにより、ＥＵＳ処置中のガイダンスを提供するシステムを提供することである。ＥＵＳ処置中、患者の体内であらかじめ決められた正確な場所にナビゲートするには、専門家のスキルが必要である。そのため、レジストレーションプロセスの一部として、ユーザが体内のあらかじめ決められた正確な場所にナビゲートすることを必要とするＥＵＳのためのナビゲーションシステムを実装することは有用ではない。

【0039】

ここで、レジストレーションプロセスに関するいくつかの実施形態について説明する。

【0040】

一般的な一実施形態では、本明細書で説明する医療用ナビゲーションのためのシステムは、ユーザがユーザインターフェースを用いてＥＵＳ処置中にランドマークを選択し、次に術前放射線学的データ上で同等のランドマークを識別しマークする手段を備える。

【0041】

一実施形態によれば、レジストレーションは２つのステップでなされ、各ステップ内で解剖学的ランドマークのマッチングが行われる。解剖学的ランドマークのマッチングは、オペレータにより手動で行われることができる。あるいは、ランドマークのマッチングは、計算および記憶手段によって行われる。

【0042】

計算および記憶ユニットに記憶されたアルゴリズムが、レジストレーションを完了する。

【0043】

すなわち、本発明によるシステムは、術前放射線学的データと、エコー内視鏡ＥＥＳによって取得されたリアルタイムの超音波画像とをレジストレーションするようにさらに構成されている。

【0044】

本実施形態によれば、本発明による医療用ナビゲーションのためのシステムは、追跡される超音波内視鏡ＥＥＳと、ディスプレイＤと、ユーザインターフェースＵＩと、計算ユニットＣＵとを備え、計算ユニットは、少なくともアルゴリズムと、患者の術前放射線学的データとを含み、システムは、ユーザが、ユーザインターフェースを用いて、患者に対する処置中のＵＳ画像内のランドマークを選択し、ユーザインターフェースを用いて、患者の術前放射線学的データ内のマッチする解剖学的ランドマークの位置を選択するように構成されている。計算および記憶ユニットは、少なくとも１つのアルゴリズムによって２つの位置の間のレジストレーションを計算し、患者の術前放射線学的データの３Ｄ視覚化を計算し、患者の術前放射線学的データに対するＵＳ画像のライブ位置および配向を計算し、術前放射線学的データの３Ｄ視覚化内に統合するライブビューと、術前スキャンの３Ｄ視覚化内の計算された位置および配向における患者のライブＵＳ画像とをユーザに表示する。

【0045】

本発明による医療用ナビゲーション方法は：
－ 計算ユニットおよび追跡されるＥＵＳプローブを含むガイダンスシステムを提供するステップ；
－ 広い関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の患者の術前放射線学的データを記憶するステップ；
－ ＵＳ内視鏡を広い関心領域にナビゲートし、ＵＳ画像と術前放射線学的データの両方で識別しやすいターゲット解剖学的ポイントを選択するステップ；
－ 術前放射線学的データにおいてマッチするランドマークを選択するステップ；
－ 追跡されるスコープの基準フレームと術前データセットの基準フレームとの間の剛体レジストレーションを計算するステップ；
－ 術前放射線学的データの３Ｄ視覚化を計算するステップ；
－ レジストレーション情報に基づいて、ライブＵＳ画像を３Ｄ視覚化内に埋め込むステップ；
－ 埋め込まれたＵＳ画像とともに、術前放射線学的データの３Ｄ視覚化を表示するステップ
を含む。

【0046】

別の一般的な実施形態では、レジストレーションプロセスは、ユーザによって選択されたランドマーク以外の追加の解剖学的情報を統合する。このような実施形態は、レジストレーションを高速化したりレジストレーションの精度を高めたりすることができるので興味深い。例えば、システムは、解剖学的構造の自動認識を使用することができる。追加の解剖学的構造の例は、食道である。

【0047】

解剖学的構造またはランドマークの認識は、術中データを用いてなされ得る。術中データは、ＵＳデータ、光学データまたはビデオデータなどの内視鏡データ、および追跡デバイスからのデータを含む。

【0048】

上部消化管エコー内視鏡検査の場合を考慮し、本実施形態を例示する。ここでのコンセプトは、レジストレーションの予備ステップとして解剖学的構造を自動的に認識することである。自動認識は、追跡デバイスのデータに基づく解剖学的形状の自動認識に基づき得る。自動認識は、ビデオ画像を用いた解剖学的ランドマークの認識に基づき得る。従属する実施形態では、計算および記憶ユニットは、術前放射線学的データ内の食道の位置および方向を自動的に識別し抽出するように適合された抽出アルゴリズムと、ＥＵＳ処置中に、食道が内視鏡医によって探索される瞬間を識別することによって、ライブの食道の位置および配向を識別するように適合された認識アルゴリズムとを含む。食道の探索は、解剖学的および動作上の特徴に基づいて、処置の残りの部分から分離され、例えば：探索は処置の最初に起こり；変位は２０ｃｍの経路に沿って実質的に直線的である。

【0049】

計算および記憶ユニットは、レジストレーションアルゴリズムを使用して、次いで、術前放射線学的スキャンから自動的に抽出された食道の方向を、処置中に識別されたライブの食道の位置および配向と共にマッチさせることにより、部分的なレジストレーションを行う。

【0050】

次いで、本明細書に説明されている任意の他の実施形態に従ってレジストレーションが完了されることができる。このような実施形態は、形状、サイズ、および／または処置のタイミングの分離基準を適合させることによって、他の解剖学的構造に適用されることができることは、当業者には理解されるであろう。

【0051】

別の実施形態では、計算および記憶ユニットは、術前放射線学的データ内のランドマークの位置および配向を自動的に抽出するように適合された抽出アルゴリズムと、ＥＵＳ処置中に、ランドマークを含むビデオフレームを識別し、追跡デバイスの座標を記録することにより、ランドマークの位置および配向を識別するように適合されたビデオ認識アルゴリズムとを含む。計算および記憶ユニットは、レジストレーションアルゴリズムを使用して、次いで、術前放射線学的スキャンから抽出されたランドマークの方向および位置を、処置中に識別されたランドマークの位置および配向と共にマッチさせることにより、部分的なレジストレーションまたは第１のレジストレーション計算を行う。次いで、本明細書に説明されている任意の他の実施形態に従ったレジストレーション精密化ステップによって、レジストレーションが完了されることができる。

【0052】

別の一般的な実施形態では、システムは、外部の患者ランドマークを使用してレジストレーションの一部を完了する手段を統合する。このような実施形態は、より迅速なレジストレーションをもたらす。そのような実施形態では、システムは、追跡デバイスによって追跡される、追跡されるポインタをさらに備える。ユーザは、ユーザインターフェースを用いて、術前放射線学的データから患者の身体の外部にあるランドマークの位置を選択し、次いで、追跡されるポインタを用いて対応するランドマークの位置を指し示すことができる。計算および記憶ユニットは、レジストレーションアルゴリズムを用いて、次いで、術前放射線学的データから選択されたランドマークの位置を、追跡されるポインタでマークされたランドマークの位置と共にマッチさせることによって、部分的なレジストレーションを行う。次いで、本明細書で説明する任意の他の実施形態に従って、レジストレーションが完了されることができる。

【0053】

本明細書で説明した医療用ナビゲーションのためのシステムおよび方法は、ＥＵＳの専門家ではない内視鏡医により使用されることを意図している。これらのユーザは、典型的には、胃腸科医または外科医であり、典型的には、生のＣＴまたはＭＲＩ画像スライスを解釈し理解することに習熟しておらず、および／または、ＥＵＳ ＵＳおよび／または内視鏡画像の視覚的解釈に高度には熟練していない。広く採用されている画像ファイル規格はほとんどなく、生のＣＴまたはＭＲＩ画像しかシステム間で交換されることができない。

【0054】

一般的な一実施形態では、計算および記憶ユニットは、術前放射線学的生データの３Ｄ視覚化を計算するように適合された視覚化アルゴリズムを含み、それで、３Ｄ視覚化は、ユーザに表示され、ユーザがＥＵＳ処置中に少なくとも１つのランドマークを選択してレジストレーションを完了するようになっている。レジストレーションが完了すると、術前放射線学的生データの３Ｄ視覚化に埋め込まれたライブＵＳ画像がユーザに表示される。術前放射線学的生データの３Ｄ視覚化に埋め込まれたライブＵＳ画像は、以下ではナビゲーション視覚化と呼ばれる。

【0055】

従属する一実施形態では、ナビゲーション視覚化は、スコープの先端から見た視点とマッチするように、リアルタイムで方向付けられる。

【0056】

従属する一実施形態では、３Ｄ視覚化は、処置の開始時に計算され、３Ｄ視覚化のサブセットのみがユーザに表示される。

【0057】

従属する一実施形態では、ナビゲーション視覚化は、現在イメージングされている３Ｄ視覚化のセクションを示すために、ライブＵＳ画像の平面に沿って切断された、術前の放射線学的画像の３Ｄ視覚化を含む。

【0058】

一般的な一実施形態では、ナビゲーション視覚化は、エコー内視鏡の遠位端に設置されたカメラによって記録されるライブ内視鏡ビューをさらに統合する。現在のシステムでのＥＵＳ処置中、内視鏡の先端の位置および配向は知られている。レジストレーションプロセス後には、術前放射線学的画像に対する内視鏡画像の位置および配向が知られている。かくして、ライブ内視鏡ビューは、術前放射線学的画像の３Ｄ視覚化内に現実的な位置および配向で埋め込まれることができる。

【0059】

一般的な実施形態では、術前放射線学的データは、術前画像セット（ＣＴまたはＭＲ）、または術前画像（ＣＴまたはＭＲ）から自動的にセグメント化された３Ｄ皮膚表面モデル、またはセグメント化された術前３Ｄ画像（ＣＴまたはＭＲ）、または検査前に自動的に作られた３Ｄ皮膚表面モデル、または柔体（ｓｏｆｔ－ｂｏｄｙ）変化に対処する生体力学的術前モデル（ＣＴまたはＭＲ）とすることができる。

【0060】

一実施形態では、本方法はさらに、術前計画を立てるステップを含む。再構成されているか否かに関わらず、術前放射線学的データは、システムの入力として使用される前に、ユーザによってアノテートされたり、強化されたりする。このステップには、例えば、ユーザが、術前データを慎重に調べ、生検または切除される病変、およびレジストレーション目的で使用される解剖学的ランドマークなどの関連構造を識別することを可能にする。

【0061】

一実施形態では、ユーザインターフェースは、ユーザが術前放射線学的データの表示をオンおよびオフすることを可能にする。ユーザ入力インターフェースは、例えば、カラーマップ、ラベルマップなどの異なる視覚化モード間を切り替える、透明度を調整する、表示されるセグメントモデルの一部を変更する、および視覚化の視点特徴（角度、ズームなど）を変化させるなど、術前放射線学的データの視覚化を修正するために使用されることもできる。当業者であれば、表示モードを識別することができる。

【0062】

当業者は、当技術で知られている任意のタイプのＥＵＳが、本明細書で説明する医療用ナビゲーションのためのシステムおよび方法に使用され得ることを認識するであろう。例えば、ＥＵＳプローブは、線形ＥＵＳ、二次元ＥＵＳ、または三次元ＥＵＳ、および、放射状、正面または側方視ＥＵＳの間で変わり得る。

【0063】

一実施形態によれば、医療用ナビゲーションのためのシステムは、以下のシステムとして説明されることができる：

【0064】

患者の解剖学的ゾーンの内視鏡超音波検査処置中に、ガイダンスを、同じ患者の同じ解剖学的ゾーンの３Ｄ放射線学的スキャンが取得され、かくして術前放射線学的生データを生成した後に提供する、医療用ナビゲーションのためのシステムであって：
ｉ）内視鏡超音波検査処置中にビデオ画像と超音波画像を生成する、超音波内視鏡を備えた超音波内視鏡システム
ｉｉ）ディスプレイおよびユーザインターフェース
ｉｉｉ）追跡基準フレームを定義し、この追跡基準フレーム内の超音波内視鏡の先端の３Ｄ位置および配向を提供する追跡デバイスまたはシステム
ｉｖ）計算および記憶手段
を含み、
前記計算および記憶手段は、「術前」放射線学的生データを取り出すように構成されており、前記超音波画像のいずれかに含まれる任意の点を前記追跡基準フレーム内の座標に関連付けるように構成されており、医療システムは、
ｉ）術前放射線学的生データの３Ｄ視覚化を計算する、
ｉｉ）内視鏡超音波検査処置中に、ユーザが超音波画像内の少なくとも１つのランドマークの位置を選択しタグ付けするためのインターフェースを提供し、システムは、ＵＳランドマークの３Ｄ位置を、関連付けられたマークされた超音波画像と共に記憶する、
ｉｉｉ）ユーザが「術前」放射線学的生データまたは３Ｄ視覚化内に、少なくとも１つのランドマークの解剖学的位置を選択するためのインターフェースを提供する、
ｉｖ）術前放射線学的生データおよび追跡基準フレーム内のランドマークの位置に基づいて、「術前」放射線学的生データと追跡基準フレームとの間の空間的な対応を計算する
術前放射線学的生データの前記３Ｄ視覚化内にライブＵＳ画像を統合するライブナビゲーションビューを計算しユーザにリアルタイムで表示し、ライブＵＳ画像は、その実際のライブ位置および配向にマッチするように位置決めされ、方向付けられる
ように構成されていることを特徴とする。

【0065】

図３は、本発明によるシステムおよび方法の適用に関与する異なる座標系を示す図である。

【0066】

図３に基づいて、レジストレーションシステムおよび方法の実装について説明することが可能である。このシステムの目的は、難しい計算上の問題：臨床ワークフローの中断を最小限に抑えながらの高速で信頼性の高いレジストレーションを解決することである。

【0067】

図３は、ソースデータｓ、患者ｐ、内視鏡ｅ、超音波画像ｕ、光学画像ｏ、追跡センサｔ、およびワールド座標ｗの間の座標変換の概略を説明する。ワールド座標は、追跡システムの座標系と定義される。本文書では、ソースデータ、術前データ、および術前放射線学的データは、同じデータを参照する。

【0068】

以下の座標系の定義を使う：

【0069】

ソースデータ座標：３Ｄソースデータは、コンピュータにより支援される処置のナビゲーションのためにレジストレーションされ視覚化される医療画像データである。３Ｄソースデータは、以下を含むが以下に限定されない３Ｄイメージングシステムによって生成される：
・コンピュータ断層撮影（ＣＴ）画像
・磁気共鳴（ＭＲ）画像
・ポジトロン放出断層撮影（ＰＥＴ）画像

【0070】

３Ｄソースデータは、術前に診断検査中に取得されることも、術中にＥＵＳ処置中に取得されることもできる。ソースデータは、以下を含むが以下に限定されない１つ以上のプロセスを用いて、強化された視覚化のために前処理され得る：
・人間の専門家により計算されるか、またはＡＩベースのセグメンテーションシステムで自動的に計算された３Ｄセグメンテーション
・クロッピング、スケーリング、または強度ウィンドウ化などの画像変換
・患者座標で異なるソース画像を組み合わせる、ソースデータ融合

【0071】

ワールド座標：ワールド座標を、内視鏡の追跡デバイスの座標系と定義する。追跡デバイスは、最低でも、リアルタイムのプローブ先端の６自由度（ＤｏＦ）の３Ｄポーズ（回転と配向）をワールド座標系で作り出す必要がある。コンパチブルな追跡デバイスは、以下を含むが以下に限定されない：
・先端に埋め込まれた６ＤｏＦのＥＭ追跡デバイスを有する内視鏡
・先端に６ＤｏＦのＥＭ追跡デバイスを含み、スコープ内にＥＭセンサの埋め込まれたチェーンを有する内視鏡
・補助チャンネル遠位端に６ＤｏＦのＥＭ追跡デバイスが固定されている内視鏡
・６ＤｏＦのＥＭ追跡デバイスを内視鏡先端にキャップを用いて外部から取付けられた内視鏡
・埋め込まれた６ＤｏＦの光ファイバー追跡システムを有する内視鏡
・キネマティクスによりスコープ先端の位置が知られているロボット制御の内視鏡。

【0072】

超音波座標：これは、内視鏡の超音波画像の座標フレームである。

【0073】

光学的座標：これは、内視鏡の光学画像の座標フレームである。

【0074】

追跡センサ座標：これは、内視鏡の先端にある追跡センサの座標フレームである。

【0075】

患者座標：これは、すべてのデータがレジストレーションされた標準的な座標フレームである。患者座標には３つの主要な軸：前／後、左／右、上／下軸がある。

【0076】

以下の変換が知られており、レジストレーションプロセスに対する外部プロセスで計算されることができる：

【0077】

－ 内視鏡から追跡センサへの変換（Ｔｅ，ｔ）。一般性を失うことなく、内視鏡の座標を追跡センサの座標と同じと定義する、つまり（Ｔｅ，ｔ）は恒等変換である。これは、追跡センサが内視鏡の先端に対して硬く固定されており、したがって、経時的に変化しないことを想定しているから可能である。

【0078】

－ 内視鏡から超音波画像への変換（Ｔｅ，ｕ）。内視鏡先端は剛性であるため、これは経時的に変化せず、例えば手と目のキャリブレーション［プラスツールキット］のような１回限りの外部キャリブレーションプロセスで計算される。

【0079】

－ 内視鏡から光学画像への変換（Ｔｅ，ｏ）。内視鏡の先端は剛性であるため、これは経時的に変化せず、例えば手と目のキャリブレーション［Ｘ］のような１回限りの外部キャリブレーションプロセスで計算される。

【0080】

－ 追跡センサからワールドへの変換（Ｔｔ，ｗ）。これは追跡センサによって提供される。上記の変換とは異なり、これは時間的に変化し、３Ｄ追跡システムによって提供される。

【0081】

－ ソースデータから患者への変換（Ｔｓ，ｐ）。患者は仰向けの状態でソースデータにイメージングされると想定しており、つまり、患者の軸はスキャナの軸とほぼ整列している。圧倒的に多くの場合において、これが生じる。ソース画像が１枚のとき、ソースデータおよび患者の座標は同じと定義する。多数のソース画像（例えばＭＲおよびＣＴ）があるときは、これらはコレジストレーションを必要とする。

【0082】

知られていない座標変換は、時間的に変わる内視鏡から患者への変換である。これは、内視鏡からワールドへの変換（知られている）を、ワールドから患者への変換（Ｔｗ，ｐ：知られていない）と合成することによって決定される。本発明によるレジストレーションプロセスは、臨床ワークフローの中断を最小限に抑えてＴｗ，ｐを計算するための、新規で高速かつ信頼性の高い解決策を与える。

【0083】

一実施形態によれば、レジストレーションステップは、２つのさらなるステップを含む：
初期レジストレーション計算。このプロセスは、外部または内部の解剖学的ランドマークおよび患者の軸情報を使用して、第１のワールドから患者への変換を計算する。
レジストレーション精密化。このプロセスは、処置中に識別された内部の解剖学的または病理学的なランドマークからの情報を使用して更新することにより、初期レジストレーションを改善する。

【0084】

これらのプロセスを詳細に説明する。まず、様々な物理的および仮想的なエンティティを定義する：

【0085】

患者グラフィカルユーザインターフェースＰＧＵＩ：患者座標でのすべての関連情報（ソースデータ、内視鏡、超音波および光学画像）のインタラクティブな融合イメージングのバーチャルリアリティ表示のためのソフトウェアコンポーネント。ＮＧＵＩは、後述するインタラクティブなレジストレーションのためのレジストレーション中に使用される。

【0086】

ピッカーデバイス：外部の解剖学的ランドマークをワールド座標に定位させるために使用される、尖った先端を有するハンドヘルドデバイス。これは、３Ｄ追跡システムによって提供される専用のピッカーデバイスの場合もあれば、内視鏡の先端の場合もある。内視鏡をピッカーデバイスとして使用する利点は、手術室での追加のデバイスを除去することであるが、専用のピッカーデバイスに比べて低い精度という代償を払う。

【0087】

外部の解剖学的ランドマークＥＡＬ：処置中にソースデータと患者の外面の両方で繰り返し配置され得る解剖学的ランドマーク。腹部の処置では、良いＥＡＬは呼吸運動やその他の生理的な動きに対して比較的安定しているものである。これらは、胸骨体および胸骨基部などを含むが、これらに限定されるものではない。

【0088】

超音波解剖学的ランドマークＵＡＬ：処置中にソースデータおよびＥＵＳ超音波画像の両方で配置され得る解剖学的ランドマーク。腹部の処置では、我々の可能なＵＡＬは、噴門、胃食道（ｅｓｏｐｈｉｇａｌ）接合部、十二指腸乳頭、膵頭部、膵尾部、大動脈、および大動脈／腹腔動脈接合部などを含むが、これらに限定されない。

【0089】

光学解剖学的ランドマークＯＡＬ：処置中にソースデータおよび内視鏡の光学画像の両方で配置され得る解剖学的ランドマーク。腹部の処置では、我々のＯＡＬは噴門および十二指腸乳頭を含むが、これらに限定されない。

【0090】

解剖学的ランドマークＡＬ：ＥＡＬ、ＵＡＬおよびＯＡＬを含む。

【0091】

術中ＥＡＬ、ＵＡＬおよびＯＡＬ位置：それぞれの座標系（それぞれ、ワールド、超音波画像および光学画像）で定義された、ＥＡＬ、ＵＡＬまたはＯＡＬの３Ｄ位置。

【0092】

術中ＥＡＬ、ＵＡＬおよびＯＡＬ共分散マトリックス：ＥＡＬ、ＵＡＬまたはＯＡＬ位置の信頼性の評価。これは３×３の共分散マトリックスを用いて実装され、共分散マトリックス中の値が大きいほど、ランドマークの位置の不確実性が高いことを示す。

【0093】

ソース解剖学的ランドマーク（ＳＡＬ）位置：ソースデータに配置されたＥＡＬ、ＵＡＬまたはＯＡＬの３Ｄ位置であり、ソースデータ座標で定義されている。

【0094】

ＳＡＬ共分散行列：ＳＡＬ位置の信頼性の評価。これは３×３の共分散マトリックスを用いて実装される。

【0095】

畳み込みニューラルネットワーク（ＣＮＮ）：畳み込みパターンで構成されたニューロンを有する人工ニューラルネットワークの良く知られたタイプ。

【0096】

図４に、初期レジストレーションステップまたは計算が示されている。初期レジストレーションは、以下の３つのステップを含む。

【0097】

解剖学的ランドマークの定位－ＡＬ‐Ｌ。このステップの目的は、ソースデータとワールド座標のマッチする解剖学的ランドマークＡＬのセットを決定することである。ワールド座標の外部のランドマークについては、ピッキングデバイスまたはピッカーデバイスが使用される。ソースデータ座標の内部または外部のランドマークについては、以下のメカニズムのいずれかを使用してランドマークが配置される。

【0098】

－ 手動定位。これらはＰＧＵＩを使用する人間のオペレータを使って決定される。

【0099】

－ 自動的に配置されたＡＬ。これらは、ソースデータ内の解剖学的ランドマークを自動的に定位することができるＡＩシステム、典型的にはＣＮＮ、を使用して決定される。手動定位と比較して、主な利点は低減したワークフローの中断である。

【0100】

自動的に配置されたＥＡＬは、ＰＧＵＩ上で人間のオペレータに対して視覚化され、人間のオペレータはそれらの正しさを検証する。正しくないと判断された場合は、人間のオペレータは手動定位でそれらを再配置することができる。

【0101】

患者の軸の識別－ＰＡ‐ＩＤ。マッチしたＥＡＬが３つ以上ある場合、特異値分解（ＳＶＤ）を用いたランドマークの剛体アライメントを用いて、ワールドから患者への変換を推定することが可能である。しかし、これは、定位に必要な時間、および３つの安定したランドマークを見つけることの難しさのため、望ましくない。この難しさを解決するために、より少ないＥＡＬを許して（少なくとも１つは必要）、追加の患者の軸情報によりこれを補完している。ＥＡＬの数がより少ないと、ワールドから患者への変換を解決するために、より多くの軸情報が必要になる。

【0102】

ＥＡＬの数と、ワールドから患者への座標変換を一意に計算するために決定されなければならない必要な患者の軸の数との関係は以下の通りである。３つのＥＡＬがマッチした場合、必要な患者の軸の数は０である。２つのＥＡＬがマッチした場合、１つの患者の軸が必要である。１つのＥＡＬがパッチされた場合、２つの患者の軸が必要である。

【0103】

ここで、１つのＥＡＬを所与として患者の軸を決定するための我々のアプローチについて説明する。仰臥位に基づいた２つの場合を考慮する。

【0104】

患者のテーブルの法線ベクトルが後／前軸と対応するという事実を利用する。したがって、この軸を決定するためには、患者のテーブルの法線ベクトルを決定する必要がある。一般的には、人間のオペレータがピッキングデバイスを使って、患者のテーブル上の同一直線上にない３点に触れることでこれを計算する。これらの点からＳＶＤを使って平面の法線が計算される。ＥＭ追跡デバイスを使用する特殊な場合では、追跡デバイスのフィールドジェネレーターが患者のテーブル上、または患者のテーブルに平行な面上に配置されることを仮定して、さらにシンプルな解決策が得られる。これがなされると、追跡デバイスシステムの軸の１つによって後／前軸が直ちに与えられる。

【0105】

次いで、上／下軸を計算する。これに対する２つの解決策を、非常にシンプルなオペレータのワークフローで説明する。オペレータはどちらの解決策を選好するか自由に選べる。

【0106】

解決策１：軸のトレーシング
人間のオペレータは、ピッキングデバイスを使って胸骨を下へとラインをトレースする。これが、胸骨に沿った一連の３Ｄポイントを生成し、これを患者のテーブル面に仮想的に投影して、仮想テーブル面に２Ｄポイントのパスを形成する。最後に、ロバストなラインフィッティングアルゴリズムが用いられて、２Ｄポイントを通過するベストフィッティングラインを推定し（ＲＡＮＳＡＣ）、このラインの方向が上／下軸を与える。

【0107】

解決策２：内視鏡先端のアライメント
人間のオペレータは、ＵＳプローブを上／下軸と整列させ、内視鏡の先端を患者の胸骨の上に置く。一度だけ、追跡デバイスを用いて内視鏡の３Ｄ位置が記録され、ＵＳ画像面の３Ｄ位置がワールド座標で決定される。最後に、ＵＳ画像面をテーブル面と交差させることにより、上／下軸が決定される。

【0108】

変換計算
次いで、左／右の患者の軸は、後／前軸と上／下軸の外積により計算される。ＥＡＬと３つの患者の軸を所与として、ワールドから患者への座標変換（６ＤｏＦｓ）を計算するのに十分な情報（６つの幾何学的方程式）がある。これをＨｏｒｎの絶対配向アルゴリズムを用いて計算する。

【0109】

ほとんどの場合、ソースデータは患者が仰向けの状態で取得されており、そのため患者の軸は画像座標系と整列している。患者が仰向けでスキャンされない特殊な場合では、２つのメカニズムのうちの１つによって軸が決定される。第１は、ＮＧＩを使用する人間のオペレータにより、３つの主要な軸のうち２つに対応する３Ｄベクトルをソースデータにインタラクティブに描くことである。このデータから、ベクトルの外積を使って第３の軸が自動的に決定されることができる。第２のメカニズムは、ＣＮＮなどに基づく訓練されたＡＩシステムを使って軸を計算することである。ＥＡＬ‐Ｌまたはコンポーネント１と同様に、これの視覚化が、結果を検証する人間のオペレータに提供される。

【0110】

非仰向けの場合は、ＥＵＳプローブがＧＩ管に入る際のＥＵＳプローブからの追跡データを用いて患者の軸を決定する。具体的には、ＥＵＳプローブの先端が食道を通って胃に到達するまでのＥＵＳプローブの３Ｄ位置を経時的に記録する。これが、ワールド座標上の点の３Ｄチェーンを生成する。ソースデータでは、食道の中心軸が、ＰＧＵＩを使って手動で、またはＡＩ認識システムを使って自動的に決定される。これが、患者座標での点の３Ｄチェーンを提供する。最後に、ポイントチェーンと少なくとも１つの外部のランドマーク（胸骨基部など）を用いて、ロバストな線形最小二乗法によるポイントとパスのアライメントを用いてレジストレーションを行う。

【0111】

初期レジストレーションは、粗いアライメントを提供し、典型的には、膵臓のように呼吸運動で大きく動かない臓器では、２ｃｍ未満の精度になる。全地球測位システム（ＧＰＳ）のような用途ではこれで十分である場合があり、意図しているのはＥＵＳ内視鏡の位置と配向を患者座標で大まかな視覚化を与えるだけである。より精密なレジストレーションが望まれるときは、レジストレーション精密化システムが実行される。

【0112】

図５は、レジストレーション精密化ステップまたは手順を示している。

【0113】

レジストレーション精密化は３つのステップを含む：超音波解剖学的ランドマークマッチングＵＡＬ‐Ｍ、光学解剖学的ランドマークマッチングＯＡＬ‐Ｍ、および局所的剛体アライメントＬＯＲＡ。

【0114】

超音波解剖学的ランドマークマッチングＵＡＬ‐Ｍ：処置中にＵＡＬに遭遇したとき（例えば上記の定義を参照）、それが定位され、レジストレーションを改善するために使用されることができる。定位は、手動定位（人間がＰＧＵＩを使ってＵＳ画像内のランドマーク場所をマークする）でなされることもできる。あるいは、ＵＳ映像中のＵＡＬを自動的に認識するＡＩシステムによって提供される自動定位でなされることも可能である。ランドマークの位置に加えて、ランドマークの位置に対する信頼度の量を決定する信頼度マトリクスも提供される。手動定位の場合は、これは、ＰＧＵＩを使ってランドマークの周りにゾーンをマークして信頼度を示することによりなされる。自動定位の場合は、ランドマークの位置と同時に信頼度マトリックスが機械により出力される。

【0115】

ＵＡＬが定位されると、それは次いでソースデータ（ソース解剖学的ランドマーク）に定位される。ＵＡＬと同様に、ＳＡＬはＰＧＵＩを使って手動で決定されるか、またはＡＩランドマーク認識システムを使って自動的に決定される。

【0116】

光学解剖学的ランドマークマッチングＯＡＬ‐Ｍ：ＵＡＬ‐Ｍと同様に、内視鏡の光学画像を使ってランドマークが配置されることができる。プロセスはＵＡＬ‐Ｍと同様である。

【0117】

局所的剛体アライメントＬＯＲＡ：このステップの目的は、ＵＡＬ‐ＭおよびＯＡＬ‐Ｍのステップでマッチしたすべてのランドマークを使用して、経時的に変わるレジストレーションマトリックスを自動的に計算することである。また、初期レジストレーションで使用された固定のマッチしたランドマークのセットも使用される。レジストレーションマトリクスは、数値最適化プロセスを解くことによって計算される。レジストレーションは、２つの特徴を持つ剛体３Ｄマトリックスとして計算される：
１．より高い信頼度のランドマークの影響は、より低い信頼度のランドマークに比べて、レジストレーションマトリックスにより大きな影響を与える。
２．内視鏡の現在の位置に近いランドマークの影響は、レジストレーションマトリクスにより大きな影響を与える。これが、遠くのランドマークの生理的な動きがレジストレーションマトリクスにより小さい影響を与えることを可能にする。

【0118】

次に、最適化プロセスが行われる。具体的には、数値的な損失関数として実装された、上記の両方の性質を持つレジストレーションマトリクスを見つけることを目的とした数値探索問題を作成する。１を満たすためには、ランドマークの信頼度マトリックスを用いて、マッチした各ランドマークのジェンソン－シャノンダイバージェンスを最小化するレジストレーションマトリックスを探索する。２を満たすためには、ワールド座標における内視鏡の現在の３Ｄ位置に対する各ランドマークの距離に基づいて、指数的な重み付けを用いて損失関数を重み付けする。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】