特許 7577745 追跡システムとの画像の位置合わせ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】追跡システムとの画像の位置合わせ

(51)【国際特許分類】

   A61B 6/46 20240101AFI20241028BHJP

   A61B 5/055 20060101ALI20241028BHJP

   A61B 6/03 20060101ALI20241028BHJP

   A61B 6/12 20060101ALI20241028BHJP

   A61B 6/50 20240101ALI20241028BHJP

   A61B 34/20 20160101ALI20241028BHJP

【ＦＩ】

A61B6/46 536Q

A61B5/055 390

A61B6/03 560G

A61B6/12

A61B6/46 506Z

A61B6/50 500D

A61B34/20

【請求項の数】 16

(21)【出願番号】P 2022533519

(86)(22)【出願日】2020-11-17

(65)【公表番号】

(43)【公表日】2023-02-06

(86)【国際出願番号】 IB2020060804

(87)【国際公開番号】W WO2021111223

(87)【国際公開日】2021-06-10

【審査請求日】2023-10-18

(31)【優先権主張番号】16/704,042

(32)【優先日】2019-12-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】ゴバリ・アサフ

【審査官】清水 裕勝

(56)【参考文献】

【文献】欧州特許第０１１７３１０５（ＥＰ，Ｂ１）

【文献】特開２０１９－１０７４５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００－６／５８

Ａ６１Ｂ ８／００－８／１５

Ａ６１Ｂ ３４／２０－９０／９８

(57)【特許請求の範囲】

【請求項1】

医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第１の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第２の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元（３Ｄ）画像データを受信することと、
前記３Ｄ画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元（２Ｄ）画像を生成することと、
前記２Ｄ画像を前記ディスプレイ画面にレンダリングすることと、
前記レンダリングされた２Ｄ画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。

【請求項2】

前記位置追跡システムが、磁気位置追跡システムを備える、請求項１に記載の医療装置。

【請求項3】

前記三次元画像データが、コンピュータ断層撮影（ＣＴ）システムからのデータを含む、請求項１に記載の医療装置。

【請求項4】

前記三次元画像データが、磁気共鳴撮像（ＭＲＩ）システムからのデータを含む、請求項１に記載の医療装置。

【請求項5】

前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記２Ｄ画像が、前記患者の顔部を示す、請求項１に記載の医療装置。

【請求項6】

前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第１の基準フレームと前記第２の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項１に記載の医療装置。

【請求項7】

前記処理ユニットが、前記２Ｄ画像上の前記場所をマーキングするユーザから前記ランドマークの前記場所を受信する、請求項１に記載の医療装置。

【請求項8】

前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、請求項１～７のいずれか一項に記載の医療装置。

【請求項9】

処理ユニットを備えた位置追跡システムの作動方法であって、前記作動方法が、
前記処理ユニットが、患者の身体の一部分の近傍において、前記位置追跡システムが画定した第１の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
前記処理ユニットが、第２の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元（３Ｄ）画像データを受信することと、
前記処理ユニットが、前記３Ｄ画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元（２Ｄ）画像を生成することと、
前記処理ユニットが、前記２Ｄ画像をディスプレイ画面にレンダリングすることと、
前記処理ユニットが、前記レンダリングされた２Ｄ画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記処理ユニットが、前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記処理ユニットが、前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることと、
を含む、位置追跡システムの作動方法。

【請求項10】

前記位置追跡システムが、磁気位置追跡システムを備える、請求項９に記載の位置追跡システムの作動方法。

【請求項11】

前記処理ユニットが前記３Ｄ画像データを受信することが、前記処理ユニットが、コンピュータ断層撮影（ＣＴ）画像を受信することを含む、請求項９に記載の位置追跡システムの作動方法。

【請求項12】

前記処理ユニットが、前記３Ｄ画像データを受信することが、前記処理ユニットが、磁気共鳴撮像（ＭＲＩ）データを受信することを含む、請求項９に記載の位置追跡システムの作動方法。

【請求項13】

前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記処理ユニットが前記２Ｄ画像を生成することが、前記処理ユニットが前記患者の顔部の２Ｄ画像を生成することを含む、請求項９に記載の位置追跡システムの作動方法。

【請求項14】

前記処理ユニットが前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることが、前記処理ユニットが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第１の基準フレームと前記第２の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項９～１３のいずれか一項に記載の位置追跡システムの作動方法。

【請求項15】

前記処理ユニットが前記アイコンを重ね合わせることが、前記処理ユニットが、前記２Ｄ画像上の前記場所をマーキングするユーザから前記ランドマークの前記場所を受信することを含む、請求項９～１３のいずれか一項に記載の位置追跡システムの作動方法。

【請求項16】

前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、請求項９～１３のいずれか一項に記載の位置追跡システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広義には画像の位置合わせに関するものであり、より具体的には、画像誘導手術のために使用され得る異なる様式で生成された画像に関する。

【背景技術】

【0002】

画像誘導手術において、医療従事者は、外科的処置中に器具の位置及び／又は方向が患者の解剖学的構造の画像上に提示され得るように、リアルタイムで追跡される器具を使用する。場合によっては、患者の解剖学的構造の追跡と撮像の両方が、透視診断法などの１つの様式によって実現され得る。しかしながら、透視診断法は電離放射線を用いるものであるため、その利用は最小限にされる必要がある。結果として、多くのシナリオにおいて、患者の画像は、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）又はコンピュータ断層撮影（computerized tomography、ＣＴ）透視診断法などのある様式で提供され、器具追跡では、磁気追跡などの異なる様式を使用する。

【発明の概要】

【課題を解決するための手段】

【0003】

以下に記載される本発明の実施形態は、画像を追跡システムと位置合わせするための改善された方法、並びにそのような方法を実装するシステム及びソフトウェアを提供する。

【0004】

したがって、本発明の一実施形態によれば、位置センサを含み、患者の身体の一部分の表面と接触するように構成された位置合わせツールを含む医療装置が提供される。位置追跡システムは、患者の身体の一部分、及びディスプレイ画面の近傍において、位置追跡システムによって画定された第１の基準フレーム内の位置センサの位置座標を取得するように構成されている。装置は、第２の基準フレーム内の患者の身体の少なくとも一部分に関する三次元（３Ｄ）画像データを受信して、３Ｄ画像データに基づいて、患者の身体の一部分の表面の二次元（２Ｄ）画像を生成し、２Ｄ画像をディスプレイ画面にレンダリングするように構成された処理ユニットを更に含む。処理ユニットは、表示された２Ｄ画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせて、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信し、位置座標を三次元画像データ内の対応する場所と比較することによって、第１の基準フレーム及び第２の基準フレームを位置合わせするように更に構成されている。

【0005】

開示される実施形態では、位置追跡システムは、磁気位置追跡システムを備える。

【0006】

別の実施形態では、三次元画像データは、コンピュータ断層撮影（ＣＴ）システムからのデータを含む。代替的に、三次元画像データは、磁気共鳴撮像（ＭＲＩ）システムからのデータを含む。

【0007】

更なる実施形態では、患者の身体の一部分は、患者の頭部を含み、２Ｄ画像は、患者の顔部を示す。

【0008】

別の実施形態では、第１の基準フレーム及び第２の基準フレームを位置合わせすることは、位置座標と三次元画像データ内の対応する場所との間の相関を最大化するように、第１の基準フレームと第２の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む。

【0009】

更に別の実施形態では、処理ユニットは、２Ｄ画像上の場所をマーキングするユーザからランドマーク場所を受信する。

【0010】

更に別の実施形態では、処理ユニットは、位置合わせされた基準フレームを使用して、身体の一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている。

【0011】

本発明の一実施形態によれば、医療画像を位置合わせする方法も提供される。この方法は、患者の身体の一部分の近傍において、位置追跡システムによって画定された第１の基準フレーム内の位置合わせツール内の位置センサの位置座標を、位置合わせツールが身体の一部分の表面と接触するときに取得することと、第２の基準フレーム内の患者の身体の少なくとも一部分に関する三次元（３Ｄ）画像データを受信することと、３Ｄ画像データに基づいて、患者の身体の一部分の表面の二次元（２Ｄ）画像を生成することと、２Ｄ画像をディスプレイ画面にレンダリングすることと、を含む。この方法は、表示された２Ｄ画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信することと、位置座標を三次元画像データ内の対応する場所と比較することによって、第１の基準フレーム及び第２の基準フレームを位置合わせすることと、を更に含む。

【0012】

本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解されよう。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態による、医療装置の概略描画図である。

【図2】本発明の一実施形態による、ユーザインターフェース画面の概略図である。

【図3】本発明の一実施形態による、３Ｄ画像と位置追跡システムとの間の位置合わせ手順を概略的に示すフローチャートである。

【発明を実施するための形態】

【0014】

概論
磁気追跡システムは、画像誘導手術などの侵襲的診断及び治療処置において、処置を受けている患者の身体の一部分のＣＴ画像などの事前取得された画像を使用して、器具を追跡するために使用される。その追跡が有効であるためには、画像の基準フレーム及び追跡システムが、互いに位置合わせされる必要がある。例えば、ＣＴ画像と磁気追跡システムとの間の典型的な位置合わせ手順では、多数の異なる解剖学的点（ランドマークと称される）の座標がＣＴ画像内にマーキングされ、同じランドマークの座標が追跡システムによって取得される。かかる座標点の対が取得されると、拡大縮小、回転、及び並進を含む変換を推定するために、適合プロセスが適用され、これにより、二組の点を最良にアライメントさせる、すなわち、位置合わせする。適合は、例えば、累積距離メトリック又は反復最近接点（ＩＣＰ）アルゴリズムなどの当技術分野で知られているアルゴリズムを使用して計算され得る。

【0015】

例として、耳鼻咽喉（ＥＮＴ）処置などの患者の頭部で使用される器具の追跡を必要とする処置を考える。かかる処置では、患者の頭部は、追跡システムの基準フレームと位置合わせされる。そのような位置合わせ手順の例は、米国特許出願公開第２０１９／００４６２７２号に提供されている。記載された手順では、内科医などの医療従事者は、患者の皮膚上の予め設定された数のランドマーク点で磁気追跡センサを含むプローブの遠位端を位置決めする。ランドマーク点は、ＣＴ画像内の所定の位置に対応する。この引用例では、患者の鼻の先端の下方にある点、眼を除く患者の顔部の左側と右側、及び両眼の間の点を含む４つの初期ランドマーク点、並びに追跡センサからの信号がこれらの点で取得される。

【0016】

追跡センサからの信号が取得されると、プロセッサは、磁気アセンブリの基準フレーム内のそれぞれの位置座標を計算して、４つの順序付けられた対の位置を生成し、各順序付けられた対は、形式（追跡センサ位置、ＣＴ位置）を有し、各対は、対応する位置を指す。システムプロセッサは、これらの４つの順序付けられた対を使用して、予備的な位置合わせ、すなわち、ＣＴ座標系を磁気アセンブリのそれとアライメントさせる拡大縮小、並進及び回転パラメータを含む変換を生成する。

【0017】

内科医は、患者の皮膚にプローブの遠位端を、患者が画定した追加のランドマーク点で位置決めすることによって続ける。信号が取得されるたびに、プロセッサは、点のソースクラウドへの追加として新たな位置を使用して変換を更新するために、信号によって判定された座標を使用する。

【0018】

ランドマーク点を画定するために、本システムは、内科医によって閲覧される画面上に「一般的な」頭部の概略画像を提示することによって、位置合わせプロセスにおいて内科医を誘導し、画像上のマーカは、タッチされる点を示す。しかしながら、実際の患者の特徴は、一般的な頭部とは大きく異なる場合があり、内科医が患者にタッチする場所を決定することは困難になる。極端な場合、差異は、正確な位置合わせを可能にするのにはあまりに大きくなる場合がある。

【0019】

本明細書に記載される本発明の実施形態は、位置追跡システム、位置センサを備えた位置合わせツール、ディスプレイ画面、及び処理ユニットを組み込んだ医療装置を提供することによって、この問題に対処する。位置追跡システムと患者の３Ｄ画像との間の正確な位置合わせは、３Ｄ画像データから患者の身体の真の及び現実的な二次元（２Ｄ）画像を生成し、一般的な事前定義された画像を単に使用するのではなく、この２Ｄ画像に基づいて位置合わせ手順を誘導することによって有効にされる。このアプローチは、ＣＴの座標系と追跡システムとの間のフィッティングプロセスの迅速な収束を容易にし、当技術分野で知られているシステムよりも正確な位置合わせをもたらす。

【0020】

開示された実施形態では、処理ユニットは、患者の身体の一部分の３Ｄ画像データを受信し、３Ｄ画像データに基づいて、患者の身体の一部分の表面の２Ｄ画像を生成する。処理ユニットは更に、２Ｄ画像をディスプレイ画面にレンダリングし、内科医からの誘導下で、身体の一部分の表面上のそれぞれのランドマークの場所を示す表示された２Ｄ画像アイコン上に重ね合わせる。内科医は、位置合わせツールを２Ｄ画像上のこれらのアイコンによって誘導して、患者の身体上の対応する点にタッチし、どの点にその内科医がタッチしたかを処理ユニットに示す。処理ユニットは、これらの点から位置追跡システムによって取得された位置センサの対応する３Ｄ位置座標を受信する。最後に、処理ユニットは、位置追跡システムによって取得された３Ｄ座標とアイコンに対応する３Ｄ画像データの座標との相関が最大化されるまで、２つの基準フレームの相対的な並進及び回転によって、位置追跡システムの基準フレームを３Ｄ画像データの基準フレームと位置合わせする。

【0021】

システムの説明
図１は、本発明の一実施形態による、医療装置１０の概略描画図である。装置１０は、磁気位置追跡システム１２を、本明細書では例として患者１４のコンピュータ断層撮影（ＣＴ）画像４８を含むと想定される画像と位置合わせするために使用される。位置追跡システム１２は、本明細書では、例として、磁気追跡システムを備えると想定される。カリフォルニア州アーバインのＢｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒによって製造されたＣａｒｔｏ（登録商標）システムは、本明細書に記載されるものと類似の追跡システムを使用して、患者内に挿入されたか又は患者の近傍に持ってこられたプローブの遠位先端部の場所及び方向を追跡する。

【0022】

位置追跡システム１２は、カテーテル又はガイドワイヤなどの１つ又は２つ以上の器具の位置及び方向を追跡するために使用され、これらの器具は、患者に対する医療処置中に、患者１４に挿入される。以下に記載されるように、位置追跡システム１２は、患者の外側にある位置合わせプローブ１６の位置及び方向を追跡することもできる。プローブ１６は、システム１０の使用中に、医療従事者２０、典型的には内科医によって保持され得るハンドル１８に固定的に接続されている。プローブ１６とハンドル１８との組み合わせは、内科医２０による所望の場所へのプローブの位置決めを容易にする剛性プローブアセンブリ２２を形成する。

【0023】

以下の記載を明瞭かつ簡潔にするために、上記で言及された医療処置は、患者１４の副鼻腔に対する侵襲的処置を含むと想定され、それにより、医療装置１０及び位置追跡システム１２は、副鼻腔の領域内及びその周囲で動作するように構成されると想定される。しかしながら、システム１０及び１２は、代替的に、胸部、腎臓、又は腹部などの患者の他の領域内及びその周囲で動作するように構成され得、当業者であれば、本明細書の記載をかかる他の領域に適応させることができるであろう。更に、本発明の原理は、他のタイプの追跡システム（必ずしも磁気的ではない）、並びにＭＲＩなどの他の種類の３Ｄ撮像様式と併せて適用され得る。

【0024】

追跡システム１２は、システムプロセッサ２４によって動作され、プローブ追跡モジュール２８と通信する処理ユニット２６を備える。モジュール２８の機能が以下に記載される。プロセッサ２４は、コンソール３０内に実装され得、典型的にはマウス又はトラックボールなどのポインティングデバイスを備える動作制御部３２を備える。内科医２０は、動作制御部３２を使用して、システムプロセッサ２４にコマンドを送信し、システムプロセッサ２４は、以下に記載されるように、ディスプレイ画面３４上でデータ及び誘導画像を内科医に提示するために更に使用される。

【0025】

システムプロセッサ２４は、典型的には、プログラマブルプロセッサを備え、プログラマブルプロセッサは、処理ユニット２６のメモリに保存されたソフトウェアを使用して装置１０を動作させる。ソフトウェアは、例えば、ネットワークを通して電子形式でシステムプロセッサ２４にダウンロードされ得るか、又は、ソフトウェアは、代替的に若しくは追加的に、磁気的、光学的、又は電子的メモリなどの非一時的有形媒体上に提供及び／又は保存され得る。システムプロセッサ２４は、患者１４の頭部３８のデジタル化された３Ｄ ＣＴ画像４８を更に保存するが、ＣＴ画像は、場合によっては異なる時点で、別個のＣＴシステム（図示せず）によって取得されたものである。ＣＴ画像４８は、画像内の各点について、その３Ｄ座標、並びに各点での画像のＸ線撮影密度を含み、密度は、典型的にはハウンスフィールドユニットで与えられる。

【0026】

患者１４内の上で言及される器具を追跡するために、並びにプローブ１６を追跡するために、処理ユニット２６は、プローブ追跡モジュール２８を使用して、ケーブル３５を介して、コイルなどの複数の磁場生成器３６を動作させる。一実施形態では、典型的には、患者１４が麻酔され、ベッド４０上に横たわって頭部３８が不動である場合に適用可能であり、生成器３６は、図１に示されるように、患者の頭部のそばでベッドに配置されたフレーム４２に固定される。患者１４が麻酔されていない場合に適用可能である代替的な実施形態（図示せず）では、生成器３６は、互いに対して、及び頭部３８に取り付けられたフレームに対して、又は内科医のオフィス内の椅子に対して固定される。３軸基準コイル４１が、頭部３８に固定され、ケーブル４３によって処理ユニット２６に接続されている。

【0027】

生成器３６は、患者１４の頭部３８内及びその周囲に交流磁場を広げ、これらの磁場は、器具内の磁気検出器内及びプローブ１６内において信号を生成する。信号は、プローブ１６をコンソール３０に接続するケーブル４４を介して、処理ユニット２６及びプローブ追跡モジュール２８に送り返される。処理ユニット及びモジュールは共に、信号を分析して、生成器３６に対する器具及びプローブ１６の場所及び方向座標を導出する。磁場生成器３６は、こうして、磁気追跡システム１２の基準座標フレーム４６を画定する。

【0028】

位置合わせのプロセス中に、図３のフローチャートで更に詳述されるように、処理ユニット２６は、３Ｄ ＣＴ画像４８にアクセスし、それをディスプレイ画面３４上で２Ｄ画像５０にレンダリングする。処理ユニット２６は更に、図２で更に詳述されるように、２Ｄ画像５０上の選択された点、典型的には患者の顔部上の解剖学的ランドマークに対応する点にアイコン５４を重ね合わせる。内科医２０は、プローブ１６を、アイコン５４に対応する各点で患者１４の表面５２と（すなわち、患者の皮膚と）順に接触させ、処理ユニット２６は、これらの点の各々におけるプローブの３Ｄ座標を記録する。これらの記録された座標及びＣＴ画像４８の基準フレーム内の対応する点の座標を使用して、処理ユニット２６は、２つの基準フレームの相対的な拡大縮小、回転、及び並進を含む変換を計算することによって、位置追跡システム１２の基準フレームを３Ｄ ＣＴ画像４８の基準フレームと位置合わせする。典型的には、変換は、適合プロセスによって見出され、適合プロセスは、プローブの位置合わせされた３Ｄ座標とアイコン５４に対応するＣＴ画像４８の３Ｄ座標との間の相関を最大化する。相関を最大化するために、処理ユニット２６は、図３を参照しながら更に詳述されるように、累積距離メトリック又は反復最近接点（iterative closest point、ＩＣＰ）アルゴリズムなどのアルゴリズムを使用し得る。

【0029】

処理ユニット２６は、全てのアイコン５４に対応する全ての３Ｄ座標点が収集された後、相関を最大化し得る。代替的に、処理ユニット２６は、（引用された米国特許出願公開第２０１９／００４６２７２号にも記載されているように）最初の数個の追跡及び記録された点との相関の計算を開始し得、次いで、全ての追加の記録された点との相関を改善する。反復方法では、処理ユニット２６はまた、プローブ１６によってタッチされた各次の点の３Ｄ座標が予想される場所に十分に近いかどうかを推定し、例えば、対応するアイコンを緑色に着色することによって、許容可能な近接度を示すか、又は対応するアイコンを赤色に着色することによって、許容不可能な距離を示し得る。

【0030】

内科医２０と処理ユニット２６との間の通信は、表面５２上のどの点がタッチされるかを示すために確立される。例えば、処理ユニット２６は、ディスプレイ画面３４上でアイコン５４を点滅させ、こうして、内科医２０に、その内科医がタッチすると予想される点を示し得る。内科医２０がこの点にタッチすると、その内科医は、制御部３２を通して（例えば、キーパッドのキーを押すか、マウスをクリックすることによって）その点がタッチされたことを示す。代替的に、各アイコン５４は、数値列を使用して番号付けされ得、内科医２０は、その内科医がアイコンのうちのどれにタッチしたかを、制御部３２を通して示す。

【0031】

図２は、本発明の一実施形態による、ディスプレイ画面３４上に提示された２Ｄ画像５０の概略詳細図である。画像５０は、３Ｄ ＣＴ画像４８から処理ユニット２６によってレンダリングされており、したがって、患者１４の顔部の真の及び現実的な画像である。３Ｄ ＣＴ画像４８から画像５０をレンダリングするために、処理ユニット２６は、マーチングキューブアルゴリズムなどのアルゴリズムをＣＴ画像に適用する。アルゴリズムは、ハウンスフィールドユニットでの放射線密度が非ゼロであるＣＴ画像４８の各点に、１の値を割り当て、（空気に対応する）ゼロのハウンスフィールド値を有する点に、ゼロの値を割り当てる。アルゴリズムは、画像４８を通って進み、一度に８つの隣接する場所を取り（したがって、仮想立方体を形成し）、この立方体を通過するいわゆる等値面の一部分を表すために必要な多角形を判定する。（等値面は、ゼロの値と立方体頂点のうちの１つとの間の境界を線形近似で表す表面である。）次いで、個々の多角形は、ディスプレイ画面３４の平面に対応する平面上に投影される３Ｄ表面に融合される。

【0032】

処理ユニット２６は、顔部ランドマークに対応する２Ｄ画像５０上の点にアイコン５４を重ね合わせている。レンダリングプロセスに基づいて、各アイコン５４は、ＣＴ基準フレーム内の対応する３Ｄ座標に自動的に結合される。内科医２０は、例えば、制御部３２を使用して、ディスプレイ画面３４上のカーソルを適宜に見える場所に移動させ、次いで、マウスのクリックによってこれらの場所を処理ユニット２６に示すことによって、画像５０上のアイコン５４の位置を画定し得る。本実施例では、内科医２０は、比較的堅い、すなわちプローブ１６からの穏やかな圧力下で有意に圧縮されない顔部の領域内で、これらの場所を選択している。そのような領域には、例えば、額、鼻の先端、及び突出している頬骨が含まれる。代替的又は追加的に、アイコン５４の一部又は全部の位置は、処理ユニット２６によって自動的に選択され得る。

【0033】

図３は、本発明の一実施形態による、３Ｄ画像４８と位置追跡システム１２との間の位置合わせ手順を概略的に示すフローチャート１００である。フローチャート１００に示される位置合わせ手順は、図１～図２に示される要素を指す。代替的に、この手順の原理は、他の種類の３Ｄ画像及び追跡システムに関連して適用され得る。

【0034】

手順は、開始ステップ１０２において開始する。３Ｄ画像ステップ１０４において、患者１４の顔部の３Ｄ ＣＴ画像４８が、処理ユニット２６によって受信される。レンダリングステップ１０６において、処理ユニット２６は、図２に関連して説明したように、３Ｄ ＣＴ画像４８に基づいて２Ｄ画像５０をレンダリングする。重ね合わせステップ１０８において、処理ユニット２６は、画像５０上に、患者１４の顔部のランドマークを表すアイコン５４を重ね合わせる。表示ステップ１１０において、処理ユニット２６は、ディスプレイ画面３４上で、アイコン５４と共に画像５０を表示する。

【0035】

座標収集開始ステップ１１２において、内科医２０は、プローブ１６で患者１４の顔部にタッチすることにより、３Ｄ座標の収集のプロセスを開始する。ここで、プロセスは、タッチステップ１１４、記録ステップ１１７、決定ステップ１１６、及び次のアイコンステップ１１８を含む、ループ１１５に入る。タッチステップ１１４において、内科医２０は、アイコン５４によって示される場所で、プローブ１６で患者１４の顔部にタッチする。内科医２０と処理ユニット２６との間の通信は、上記の図１を参照しながら説明されており、ここでは更に詳述されない。位置追跡システム１２によって感知されたプローブ１６の３Ｄ座標は、記録ステップ１１７において処理ユニット２６によって記録される。３Ｄ座標を記録した後、処理ユニット２６は、決定ステップ１１６において、更なる場所にタッチする必要があるかどうかを判定する。答えが肯定である場合、次の場所（アイコン）は、上で説明されるように、内科医２０によって、又は処理ユニット２６によって選択され、内科医は、ステップ１１４において次の場所にタッチする。

【0036】

全ての必要な場所（アイコン）が使い果たされると、プロセスは、決定ステップ１１６から計算ステップ１２０に出る。ここで、処理ユニット２６は、典型的には、記録ステップ１１７において記録された３Ｄ座標と、アイコン５４に対応する３Ｄ画像４８の３Ｄ座標との間の相関を最大化するように、２つの基準フレーム間の相対的な拡大縮小、回転、及び並進を計算する。

【0037】

２組の３Ｄ座標間の相関を最大化するためのアルゴリズムの一例は、米国特許第７，８５５，７２３号によって提供される。相関は、累積距離メトリックＤを最小化するために、拡大縮小、回転、及び変換の係数を反復的に更新することによって最大化され、Ｄは、次式のように定義され、

【0038】

【数1】

式中、ｄ_ｉは、２組の座標のそれぞれのｉ番目の点の間で計算された三次元ユークリッド距離であり、ｗ_ｉは、例えば、各点に割り当てられ得る信頼レベルを記述する、任意選択的な重みである。

【0039】

代替的又は追加的に、上記で参照した米国特許出願公開第２０１９／００４６２７２号に引用されている反復最近接点（ＩＣＰ）アルゴリズムが使用され得る。ＩＣＰアルゴリズムはまた、累積距離を更に最小化するために、３Ｄ点の対に使用される点を切り替える追加のオプションと共に、累積距離メトリックＤを最小化することに基づく。説明された実施形態に適用されるＩＣＰアルゴリズムは、以下のステップを含むことができる。
１．位置追跡システム１２の各３Ｄ座標点（記録ステップ１１７において記録された点）を、３Ｄ ＣＴ画像４８の最も近い３Ｄ座標点に一致させ、一対の点の近接度は、それらの間の３Ｄユークリッド距離ｄ_ｉによって判定される。
２．累積距離メトリックＤを最小化することになる拡大縮小、回転、及び並進の組み合わせを推定する。このステップはまた、点を重み付けること（すなわち、非ユニティ値をｗ_ｉに割り当てること）と、アライメント前に外れ値を拒否すること（すなわち、予め設定された閾値をｄ_ｉが超える点対を拒否すること）と、を含み得る。このステップは、例えば、拡大縮小、回転、及び並進の初期推定値を、点対の小さいグループにわたって計算し、次いで、追加の点対を組み込みながら推定値を反復的に精緻化することによって実行され得る。
３．取得された拡大縮小、回転、及び並進の変換を使用することによって、位置追跡システム１２の３Ｄ座標点を変換する。
４．位置追跡システム１２の３Ｄ座標点を画像４８の３Ｄ座標点と再関連付けすることにより、ステップ１に戻ってプロセスを反復する。再関連付けがＲＭＳ距離メトリックを低減しない場合、位置追跡システム１２の座標系とＣＴシステムとの間の座標変換として最後の変換を受け入れる。

【0040】

相関を最大化するプロセスは反復的であり得るため、最大化された相関を受け入れるための基準は、例えば、反復の後続のステップが所定の閾値未満だけ相関を増加させる（又は累積距離メトリックＤを低減させる）とき、相関を最大値として受け入れることによって設定され得る。最大相関に達すると、２つの基準フレーム間の相対的な回転及び変換は、位置合わせステップ１２２において、フレーム間の位置合わせとして保存される。次いで、プロセスは、終了ステップ１２４において終了する。

【0041】

代替的な実施形態では、上で説明されるように、相関は、最初の数個の記録された３Ｄ座標から開始して計算され、計算ステップ１２０は、ループ１１５（ここには図示せず）内に移動される。

【0042】

位置合わせプロセスが完了すると、内科医２０は、システム１０を使用して患者１４に対して侵襲的処置を行うことに進み得る。この目的のために、内科医は、その遠位端に又はその近くに位置センサを有するプローブ（図示せず）を患者の頭部に、例えば、副鼻腔の通路に挿入する。プロセッサ２４は、プローブの位置を追跡し、ステップ１２２において見出される変換を使用して、ＣＴ画像に対してこの位置を位置合わせして、患者の解剖学的構造に対するプローブの場所の正確な指標を内科医に提供する。

【0043】

上に記載される実施形態は例として挙げたものであり、本発明は本明細書の上記で具体的に図示及び説明されるものに限定されない点が理解されよう。むしろ、本発明の範囲は、前述の本明細書に記載される様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。

【0044】

〔実施の態様〕
（１） 医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第１の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第２の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元（３Ｄ）画像データを受信することと、
前記３Ｄ画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元（２Ｄ）画像を生成することと、
前記２Ｄ画像を前記ディスプレイ画面にレンダリングすることと、
前記表示された２Ｄ画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。
（２） 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様１に記載の医療装置。
（３） 前記三次元画像データが、コンピュータ断層撮影（ＣＴ）システムからのデータを含む、実施態様１に記載の医療装置。
（４） 前記三次元画像データが、磁気共鳴撮像（ＭＲＩ）システムからのデータを含む、実施態様１に記載の医療装置。
（５） 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記２Ｄ画像が、前記患者の顔部を示す、実施態様１に記載の医療装置。

【0045】

（６） 前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第１の基準フレームと前記第２の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様１に記載の医療装置。
（７） 前記処理ユニットが、前記２Ｄ画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、実施態様１に記載の医療装置。
（８） 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、実施態様１～７のいずれかに記載の装置。
（９） 医療画像を位置合わせするための方法であって、前記方法が、
患者の身体の一部分の近傍において、位置追跡システムによって画定された第１の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
第２の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元（３Ｄ）画像データを受信することと、
前記３Ｄ画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元（２Ｄ）画像を生成することと、
前記２Ｄ画像をディスプレイ画面にレンダリングすることと、
前記表示された２Ｄ画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることと、
を含む、方法。
（１０） 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様９に記載の方法。

【0046】

（１１） 前記３Ｄ画像データを受信することが、コンピュータ断層撮影（ＣＴ）画像を受信することを含む、実施態様９に記載の方法。
（１２） 前記３Ｄ画像データを受信することが、磁気共鳴撮像（ＭＲＩ）データを含む、実施態様９に記載の方法。
（１３） 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記２Ｄ画像を生成することが、前記患者の顔部の２Ｄ画像を生成することを含む、実施態様９に記載の方法。
（１４） 前記第１の基準フレーム及び前記第２の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第１の基準フレームと前記第２の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様９～１３のいずれかに記載の方法。
（１５） 前記アイコンを重ね合わせることが、前記２Ｄ画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、実施態様９～１３のいずれかに記載の方法。

【0047】

（１６） 前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、実施態様９～１３のいずれかに記載の方法。

【図1】

【図2】

【図3】