特許 7440534 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240220BHJP

   A61B 6/02 20060101ALI20240220BHJP

   A61B 6/12 20060101ALI20240220BHJP

【ＦＩ】

A61B6/00 590C

A61B6/02 551M

A61B6/12

【請求項の数】 13

(21)【出願番号】P 2021559271

(86)(22)【出願日】2020-04-06

(65)【公表番号】

(43)【公表日】2022-05-27

(86)【国際出願番号】 US2020026865

(87)【国際公開番号】W WO2020206421

(87)【国際公開日】2020-10-08

【審査請求日】2021-10-11

(31)【優先権主張番号】62/829,394

(32)【優先日】2019-04-04

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】521199579

【氏名又は名称】センターライン バイオメディカル，インコーポレイテッド

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】ホラデイ，マシュー

(72)【発明者】

【氏名】ゴール，ヴィカッシュ

【審査官】亀澤 智博

(56)【参考文献】

【文献】特表２０１６－５３９７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００５５９３１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／２３６９３６（ＷＯ，Ａ１）

【文献】特開２０１３－０７１０１６（ＪＰ，Ａ）

【文献】特表２０１６－５１３５４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０１２２０２０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００３／０１３９６６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

(57)【特許請求の範囲】

【請求項1】

医用イメージングモダリティを使用して、患者とマルチモーダルマーカーとを含む２次元視野を含む第１の２次元投影画像を取得する工程と、
前記医用イメージングモダリティを使用して、前記患者と前記マルチモーダルマーカーとを含む、前記第１の投影画像とは合わない角度でのものである第２の２次元投影画像を取得する工程と、
前記第１の投影画像および前記第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な、前記マルチモーダルマーカーの一部である少なくとも１つのセンサーに対する位置と向きが既知である、前記マルチモーダルマーカーの複数の所定部分の、前記第１の投影画像および前記第２の投影画像の各々における位置に基づいて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの前記複数の所定部分の３次元位置を推定する工程と、
前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の空間的関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、
を含む、方法。

【請求項2】

前記アフィン変換は、第１のアフィン変換であり、前記方法は、
前記第１の２次元投影画像および前記第２の２次元投影画像の各々に対応する先行する３次元画像から複数の順投影をそれぞれ作成する工程と、
前記第１の投影画像および前記第２の投影画像を、それぞれ前記複数の順投影と対応付けすることに基づいて、前記医用イメージングモダリティの前記座標系を前記先行する３次元画像の前記座標系に整合させるための第２のアフィン変換を決定する工程と、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記先行する３次元画像の前記座標系で前記患者の解剖学的構造を表現するために、前記先行する３次元画像から３次元メッシュモデルが作成され、
前記先行する３次元画像からの前記それぞれの順投影は、前記メッシュモデルに基づいて決定される、請求項２に記載の方法。

【請求項4】

前記第２のアフィン変換を決定する工程は、
前記先行する３次元画像と前記第１の投影画像および前記第２の投影画像の各々において、共通する一組の特徴を識別する工程と、
前記医用イメージングモダリティの前記座標系および前記先行する３次元画像の前記座標系において、前記共通する一組の特徴のうちの少なくとも一部の位置を決定する工程と、
前記医用イメージングモダリティの前記座標系または前記先行する３次元画像の前記座標系のいずれか一方で前記共通する一組の特徴に対して決定された位置をアライメントするように構成されたそれぞれの変換行列として、前記第２のアフィン変換を計算する工程と、
をさらに含む、請求項２または３に記載の方法。

【請求項5】

前記第１のアフィン変換は、基底変換関数によって計算され、
前記第２のアフィン変換は、誤差最小化関数によって計算される、請求項２、３または４に記載の方法。

【請求項6】

前記マルチモーダルマーカーは、チャンバーと、前記チャンバーにアクセスするための少なくとも１つのポートと、を含み、前記チャンバーは、各々のセンサーに対して所定の空間位置および向きにあり、
前記第１の投影画像および前記第２の投影画像の前記取得の際に、前記マルチモーダルマーカーが患者に対して固定され、
前記マルチモーダルマーカーは、前記第１の投影画像および前記第２の投影画像の各々で前記チャンバーを可視化するために、前記第１の投影画像および前記第２の投影画像の前記取得の際に前記チャンバー内に造影剤を含み、
前記方法は、
前記第１の投影画像および前記第２の投影画像の前記取得よりも前に、前記ポートを経由して前記チャンバーに造影剤を加え、前記医用イメージングモダリティによって取得される画像で前記チャンバーを可視化する工程と、
前記第１の投影画像および前記第２の投影画像の前記取得の後、前記医用イメージングモダリティによって取得される後続の画像で前記チャンバーが見えなくなるように前記チャンバーから前記造影剤を除去する工程と、
をさらに含む、請求項１または２に記載の方法。

【請求項7】

前記医療用イメージングモダリティは、電離放射線を用いて画像を取得するように構成されていて、
前記医用イメージングモダリティは、回転中心を有するＣアームを含み、前記方法は、前記Ｃアームの前記回転中心に関係づけて前記医用イメージングモダリティの前記座標系の原点を定義することをさらに含む、
請求項１～６のいずれか１項に記載の方法。

【請求項8】

データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含むシステムであって、
前記データは、
患者について取得された、先行する３次元画像データと、
患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データと、を含み、
前記マルチモーダルマーカーの複数の所定部分は、前記少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な、前記マルチモーダルマーカーの一部である少なくとも１つのトラッキングセンサーに対する位置と向きが既知であり、
前記命令は、
前記少なくとも１つの２次元画像の各々における前記複数の所定部分のそれぞれの位置に基づいて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのトラッキングセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、
を含む方法を実行するようにプログラムされている、システム。

【請求項9】

前記少なくとも１つの２次元画像が第１の２次元画像であり、
前記２次元画像データは、前記医用イメージングモダリティによって取得された第２の２次元画像をさらに含み、前記第２の２次元画像は、前記患者と前記マルチモーダルマーカーとを含み、前記第１の２次元画像とは合わない角度でのものである、請求項８に記載のシステム。

【請求項10】

前記アフィン変換は第１のアフィン変換であり、前記命令によって実行される前記方法は、
各々の２次元画像に対応する先行する３次元画像から複数の順投影をそれぞれ作成する工程と、
前記２次元画像の各々を前記複数の順投影にそれぞれ対応付けることに基づいて、前記医用イメージングモダリティの前記座標系と前記先行する３次元画像の前記座標系との間の第２のアフィン変換を決定する工程と、
をさらに含む、請求項８または９に記載のシステム。

【請求項11】

前記先行する３次元画像の前記座標系で前記患者の解剖学的構造を表現するために、前記先行する３次元画像から３次元メッシュモデルが作成され、
前記先行する３次元画像からの前記それぞれの順投影は、前記メッシュモデルに基づく投影として決定される、請求項１０に記載のシステム。

【請求項12】

マルチモーダルマーカーをさらに備え、前記マルチモーダルマーカーは、チャンバーと、前記チャンバーにアクセスするための少なくとも１つのポートと、を含み、前記チャンバーは、前記少なくとも１つのトラッキングセンサーに対して所定の空間位置および向きにあり、
前記第１の画像および前記第２の画像の前記取得の際に、前記マルチモーダルマーカーは患者に対して固定され、
前記マルチモーダルマーカーは、前記第１の画像および前記第２の画像の各々で前記チャンバーを可視化するために、前記第１の画像および前記第２の画像の前記取得の際に前記チャンバー内に流体の造影剤を含む、
請求項１０または１１に記載のシステム。

【請求項13】

データとプロセッサによって実行可能な命令とを格納するように構成されている１つ以上の非一過性のコンピュータ読み取り可能な媒体であって、
前記データは、
座標系において３次元画像を表す、患者について取得された、先行する３次元画像データと、
患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも２つの２次元画像を含む２次元画像データと、を含み、
前記マルチモーダルマーカーの複数の所定部分は、前記少なくとも２つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知であり、
前記命令は、
前記マルチモーダルマーカーの複数の所定部分の、前記少なくとも２つの２次元画像の各々における位置に基づいて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの前記複数の所定部分の３次元位置を推定する工程と、
前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の空間的関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるための第１のアフィン変換を決定する工程と、
各々の前記少なくとも２つの２次元画像に対応する、前記先行する３次元画像データに基づいて前記患者の解剖学的構造を表す３次元モデルから複数の順投影をそれぞれ作成する工程と、
各々の前記少なくとも２つの２次元画像を前記複数の順投影にそれぞれ対応付けることに基づいて、前記医用イメージングモダリティの前記座標系と前記先行する３次元画像の前記座標系との間の第２のアフィン変換を決定する工程と、
を含む、媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願へのクロスリファレンス
本出願は、２０１９年４月４日に出願され、発明の名称を「SPATIAL REGISTRATION OF TRACKING SYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS（２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション）」とする米国特許仮出願第６２／８２９，３９４号の優先権を主張するものであり、その内容全体を本明細書に援用する。

【0002】

技術分野
本開示は、広義には、２次元画像投影を用いてトラッキングシステムを画像空間に対応付けるためのシステムおよび方法に関する。

【背景技術】

【0003】

画像レジストレーションとは、空間変換を決定して２つ以上の画像座標系を互いに整合（alignment）させるプロセスである。一例として、コンピュータ断層撮影（ＣＴ）画像とコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像とのレジストレーションがある。例えば、ＣＴ画像については、施術（例えば、研究または治療）の数日前または数週間前など、処置に先立って取得することができる。ＣＢＣＴ画像は、施術の直前または施術時に取得されることがある。このＣＢＣＴ画像のセットを数学的に処理し、先行するＣＴ画像と空間的に対応付ける。このようなＣＴとＣＢＣＴとのレジストレーションは、計画、診断、治療（例えば、インターベンショナルラジオロジー、画像誘導治療）などの様々な目的で使用される。しかしながら、ＣＢＣＴ画像を取得するための機器が利用できない場合がある。また、ＣＢＣＴイメージングでは一般に、患者や医療従事者にとってかなりの放射線エネルギーを必要とする。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、広義には、２次元画像投影を用いてトラッキングシステムを画像空間に対応付けるためのシステムおよび方法に関する。

【0005】

一例として、方法は、医用イメージングモダリティを使用して、第１の２次元投影画像を取得することを含む。第１の画像は、患者とマルチモーダルマーカーとを含む２次元視野を含む。また、この方法は、医用イメージングモダリティを使用して、第２の２次元投影画像を取得することを含む。第２の画像は、患者とマルチモーダルマーカーとを含み、第１の投影画像とは合わない角度でのものである。マルチモーダルマーカーの複数の所定部分は、第１の投影画像および第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である。本方法は、第１の２次元投影画像および第２の２次元投影画像における複数の所定部分の位置に応じて、医用イメージングモダリティの座標系に対するマルチモーダルマーカーの複数の所定部分の３次元位置を推定することも含む。また、本方法は、マルチモーダルマーカーの複数の所定部分それぞれの推定された位置と、少なくとも１つのセンサーとマルチモーダルマーカーの複数の所定部分との既知の関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定することを含む。

【0006】

別の例として、システムは、データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含む。データは、患者について取得された、先行する３次元画像データを含む。また、データは、患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データを含む。マルチモーダルマーカーの複数の所定部分は、少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対して位置と向きが既知である。命令は、
少なくとも１つの２次元画像の各々における複数の所定部分のそれぞれの位置に応じて、医用イメージングモダリティの座標系に対するマルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
マルチモーダルマーカーの複数の所定部分それぞれの推定された位置と、少なくとも１つのトラッキングセンサーとマルチモーダルマーカーの複数の所定部分との間の既知の関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、
を含む方法を実行するようにプログラムされている。

【0007】

別の例として、方法は、医用イメージングモダリティを使用して、第１の２次元投影画像を取得することを含み、第１の画像は、患者とマルチモーダルマーカーとを含む２次元視野を含む。また、この方法は、医用イメージングモダリティを使用して、第２の２次元投影画像を取得することを含み、第２の画像は、患者とマルチモーダルマーカーとを含み、第１の投影画像とは合わない角度でのものである。マルチモーダルマーカーの複数の所定部分は、第１の投影画像および第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である。また、この方法は、第１の２次元投影画像および第２の２次元投影画像の各々に対応する先行する３次元画像からの複数の順投影をそれぞれ作成することを含む。また、この方法は、第１の投影画像および第２の投影画像それぞれを順投影と対応付けすることに基づいて、医用イメージングモダリティの座標系から事前の３次元画像の座標系へのアフィン変換を決定することを含む。

【0008】

さらに別の例として、システムは、データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含むことができる。データは、患者について取得された、先行する３次元画像データを含む。また、データは、患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データを含む。マルチモーダルマーカーの複数の所定部分は、少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知である。命令は、
２次元画像の各々に対応する先行する３次元画像からの複数の順投影をそれぞれ作成することと、
各々の２次元画像を複数の順投影にそれぞれ対応付けることに基づいて、医用イメージングモダリティの座標系と先行する３次元画像の座標系との間のアフィン変換を決定することと、
を含む方法を実行するようにプログラムされている。

【図面の簡単な説明】

【0009】

【図1】図１は、トラッキングシステムのセンサーを医用イメージングモダリティの空間座標系に対応付ける方法の一例を示す流れ図である。

【図2】図２は、医用イメージングモダリティの空間座標系から先行する３次元画像の空間座標系に対応付けるための流れ図である。

【図3】図３は、マーカーの一例を示す図である。

【図4A】図４Ａは、マルチモーダルマーカーの一例を示す図である。

【図4B】図４Ｂは、マルチモーダルマーカーの一例を示す図である。

【図5】図５は、別のマルチモーダルマーカーの例を示す。

【図6】図６は、マーカーパッドデバイスの一例を示す。

【図7A】図７Ａは、医用イメージングモダリティの概略例を示す。

【図7B】図７Ｂは、医用イメージングモダリティの概略例を示す。

【図8】図８は、アフィン変換を生成するためのシステムの一例を示す。

【図9】図９は、１つ以上のアフィン変換の使用または修正を制御するレジストレーションマネージャの一例を示す。

【図10A】図１０Ａは、アフィン変換に従って所与のドメインで対応付けられた情報のグラフィカルな表現を示す。

【図10B】図１０Ｂは、アフィン変換に従って所与のドメインで対応付けられた情報のグラフィカルな表現を示す。

【発明を実施するための形態】

【0010】

本開示は、広義には、トラッキングシステムをインターベンショナル画像空間に対応付けるための方法およびシステムに関する。本明細書で開示する手法は、多くの既存の手法と比較して、使用する電離放射線を抑えて実施することができるものである。

【0011】

本方法では、２以上のモダリティで検出可能なフィデューシャルマーカーを含むマーカーデバイス（例えば、マルチモーダルマーカー）を利用する。例えば、マーカーデバイスは、医用イメージングモダリティによって生成される画像で見えるパターンを提供するための第１のフィデューシャルマーカーを含んでもよい。医用イメージングモダリティは、患者の一部と第１のフィデューシャルマーカーとを含む２次元投影として画像を提供するように構成された、フルオロスコピー、Ｘ線あるいは、超音波などの他のモダリティであってもよい。いくつかの例では、マーカーデバイスは、医用イメージングモダリティによって取得された後続の画像で第１のパターンが見えるか否かを選択するように構成可能であってもよい。また、マーカーデバイスは、３次元空間トラッキングシステムによって検出可能な１つ以上の第２のフィデューシャルマーカー（例えば、１つ以上のセンサー）を含む。第２のフィデューシャルマーカーは、第１のフィデューシャルマーカーの空間位置に対して既知の所定の空間位置および向きで配置されている。これは、医用イメージングモダリティによって取得された画像から識別可能である。

【0012】

別の例として、イメージングモダリティを使用して、２次元画像投影を取得し、画像を（例えば、ＤＩＣＯＭ画像ファイルとして）メモリに格納することができる。各々の画像は、マーカーデバイスの第１のフィデューシャルマーカーに対応するマーカーパターンと患者とを含む視野を含む。したがって、マーカーは、取得時に、取得された画像内でマーカーパターンを可視化するために（例えば、放射線不透過性に）構成される。それぞれの画像は、各画像に含まれるパターンの複数の所定部分の位置を特定して識別するように処理される。マーカーパターンの識別された部分（例えば、点または領域）を、医用イメージングモダリティの３次元空間座標系における対応する３次元位置に変換する。アフィン変換を計算し、マーカーデバイスの第１および第２のフィデューシャルマーカーのそれぞれの間の空間的関係に基づいて、センサー位置を医用イメージングモダリティの座標系にマッピングする（または、イメージングモダリティの座標系におけるマーカーパターンの位置をトラッキングシステムの座標系にマッピングする）。上述したように、空間的関係は、トラッキングデバイスに実装された第２のフィデューシャルマーカーのセンサーと第１のフィデューシャルマーカーのパターンのジオメトリに基づいて、すでにわかっている（メモリに格納されている）。このように、変換によって、システムおよび方法が、少数（例えば、２つまたは３つ）の投影画像に基づいて、トラッキングシステムによって提供される位置と向きの情報を、医用イメージングモダリティの座標系に対応付ける（またはその逆をする）ことができ、その結果、多くの既存の手法（例えば、コーンビームコンピュータトモグラフィ）と比較して、電離放射線が大幅に低減される。

【0013】

そのような変換の決定後、第２のアフィン変換を決定して、医用イメージングモダリティの空間座標系から、術前３次元画像スキャンに対応するものなどの別の３次元空間座標系にマッピングしてもよい。例えば、術前３次元画像スキャンは、コンピュータ断層撮影画像や磁気共鳴画像などの高解像度のイメージング技術であってもよく、これらは、処置の数時間前、数日前あるいは数週間前に実施されることもある。上述の医用イメージングモダリティを用いて取得された第１および第２（またはそれ以上）の投影画像を、術前３次元画像スキャンから作成された対応する投影（例えば、同一の角度に沿ったもの）に対応付けることによって、第２のアフィン変換を決定してもよい。

【0014】

図１は、トラッキングシステムの座標系を医用イメージングモダリティ（例えば、フルオロスコピーまたはＸ線システム）の座標系に対応付けるための方法１００の一例を示す流れ図である。１つ以上のセンサーがマルチモーダルマーカーデバイスに統合されており、このマルチモーダルマーカーデバイスには、互いの空間的関係がわかっている複数のフィデューシャルマーカーが配置されている。フィデューシャルマーカーは、トラッキングシステムによって検出可能な一組のマーカー（例えば、センサー）と、イメージングモダリティによって取得される画像で見える別の一組のマーカー（例えば、放射線不透過性マーカー）とを含む。このため、本方法について、トラッキングシステムおよび医用イメージングモダリティとの関連で説明する。

【0015】

一例として、医用イメージングモダリティは、２次元の画像投影を表す画像データ（例えば、ＤＩＣＯＭ画像ファイル）を提供するように構成されている。例えば、医用イメージングモダリティは、フラットパネルＸ線システム、バイプレーンＸ線システム、Ｃアームフルオロスコピー、超音波イメージングシステムなどのＸ線システムとすることができる。

【0016】

別の例として、マーカーデバイスは、トラッキングシステムの座標系における３次元位置を示すように構成された１つ以上のセンサーを含む。例えば、トラッキングシステムは、電磁場を発生させる電磁トラッキングシステムである。各センサーは、電磁場に基づいてセンサー信号を提供し、このセンサー信号が各センサーの位置と向きの情報に変換される。電磁場トラッキングシステムの一例が、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されている。トラッキングシステムは、各センサーがセンサー位置を実質的にリアルタイムで決定する（例えば、センサーの位置と向きとを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータを提供することができる。このように、トラッキングシステムは、トラッキングデータの各フレームを、このトラッキングデータがトラッキングシステムで取得されるリアルタイムのトラッキングデータを同じように表すことができるような方法で、処理することができる。これは、本明細書で開示するようなイメージングシステムの座標系に対応付けることが可能なものである。いくつかの例では、各センサーをトラッキングシステムで検出し、センサーを５または６の自由度で追跡できるようにすることができる。他の例では、他のタイプのセンサーとトラッキングシステムを使用してもよい。

【0017】

１０２において、方法１００は、医用イメージングモダリティを使用して第１の２次元投影画像を取得することを含む。したがって、第１の画像は、患者（患者の身体の着目領域）とマルチモーダルマーカーとを含む視野に対する２次元画像投影を含む。本明細書で開示するように、マルチモーダルマーカーは、トラッキングシステムの座標空間における３次元位置を決定するためのセンサーと、医用イメージングモダリティによって検出可能な第２のマーカー（例えば、フィデューシャルパターン）と、を含む。センサーと第２のマーカーは、位置同期（co-locate）されていてもよいし、アプリオリに互いに既知である一定の相対位置にあってもよい。

【0018】

１０４において、本方法は、医用イメージングモダリティを用いて第２の２次元投影画像を取得することを含む。第２の画像も患者とマルチモーダルマーカーとを含むが、第１の画像が取得される角度とは合わない角度（例えば、約９０度以下）から取得される。画像の総数はいくつでもよいが、ＣＢＣＴなどの他のモダリティと比較して電離放射線への曝露を抑えるために、１０枚以下（例えば、５枚または２枚）など数を少なくしている。一例として、イメージングモダリティは、右前斜位投影、左前斜位投影ならびに他の投影（例えば、前後方向の投影）を含む画像を（１０２および１０４で）取得するように構成することが可能である。各画像では、マルチモーダルマーカーデバイスの放射線不透過性フィデューシャルマーカーの所定部分が見えている。マルチモーダルマーカーデバイス上には、１つ以上の放射線不透過性フィデューシャルマーカーが存在してもよく、その各々が、トラッキングシステムによって検出可能な１つ以上のトラッキングセンサーそれぞれに対する位置と向きが既知である。本明細書で使用する場合、放射線不透過性とは、イメージングモダリティ（例えば、２次元（２Ｄ）医用イメージングモダリティ４５６）によって得られる対応する画像でオブジェクトを可視化できるだけの電離電磁放射を通すことができないことをいう。このため、放射線不透過性のオブジェクトは、イメージングモダリティに対して電波密度の高い材料となり得る。２枚の画像が取得される例では（例えば、前後方向および横方向の投影）、マルチモーダルマーカーデバイスは、互いに離れて配置された放射線不透過性マーカー（例えば、球体）を３つ含み、これらのマーカーは、各々の画像で全部が同一線上にくるわけではないように配置される場合がある。別の例では、１つのマーカーを使用することもできるが、医用イメージングモダリティでは、異なる相対投影角度から少なくとも３枚の画像を取得する必要がある。

【0019】

１０６では、医用イメージングモダリティの座標系に対する各々のマルチモーダルマーカーの所定部分それぞれの３次元位置を、各々の画像における当該所定部分の位置に基づいて推定する。１０６では、トラッキングシステム空間で一組の点を提供するなど、マルチモーダルマーカーの所定部分それぞれの位置がトラッキング座標系でも決定される。このように、１つ以上のマーカーの同一部分（例えば、それぞれの空間ドメインにおける座標）が、術中画像の座標系とトラッキングシステムの座標系の両方で識別される。点の数は、使用するマーカーデバイスの構造や数に応じて変化する。

【0020】

一例として、１０２および１０４でイメージングモダリティから取得された画像に表れるフィデューシャルマーカーは、長方形状（または他の識別可能な形状）で、その辺同士が交わる箇所にそれぞれ角があるマーカー境界線の形態の放射線不透過性材料を含んでもよい。例えば、放射線不透過性の材料は、ＡｒＵｃｏマーカー（例えば、Open Source Computer Vision Library: http://opencv.orgを参照のこと）の形態で、マーカーデバイスに設けられる。このようにして、確立された画像処理アルゴリズム（例えば、OpenCVライブラリのdetectMarkers()関数）をインプリメントし、ＡｒＵｃｏタイプのフィデューシャルマーカーが表現されたものを含む画像投影（１０２および１０４で取得された画像）から、それぞれの角を検出して識別することができる。また、この画像処理アルゴリズムによって、他の付随するパラメータを決定してもよい。このようなＡｒＵｃｏマーカーの例を、図３、図４Ａ、図７Ａおよび図７Ｂに示す。図７Ａおよび図７Ｂとそれに対応する説明は、医用イメージングモダリティの術中空間座標系と（術前画像空間の）術前空間座標系とを対応付けることができるようにするために、そのようなマーカーのそれぞれの角の位置を、術中医用イメージングモダリティの３次元座標でどのように特定するかという例を示すものである。

【0021】

ＡｒＵｃｏタイプのマーカーに代えて用いるか、これに加えて用いることができる第２の例として、放射線不透過性材料は、球、円錐などの形をとるなど、マーカーデバイス上にあるかマーカーデバイスに埋め込まれた３次元オブジェクトの形であってもよい。球体は、投影２Ｄ画像の視野角とは関係なく、所与の同一形状を示すオブジェクトの一例である。この例では、球体は各々、マーカーデバイスに対して固定されたトラッキングセンサーの向きと座標に対する空間位置がわかっている。このため、それぞれの球体に対して固定された既知のオフセットを定義するセンサー用の変換を乗算することによって、各々の球体（または他の３Ｄオブジェクト）系の点を１０６においてトラッキング座標で計算することができる。各々が３つの球体を含む３つのマーカーデバイスが設けられた例では、１０６での推定により、トラッキングシステム座標系でそれぞれ３つの点からなる３つの組が決定される。同様に、各球体の座標位置は、（１０２および１０４で）取得される２Ｄ画像のそれぞれ（少なくとも２つ）について決定される。例えば、トラッキングセンサーごとに（例えば、本明細書で開示するClosestPoint法を用いて）球体の位置を特定し、この球体の位置（例えば、各球体の中心）を、それぞれのセンサーに接続されたメモリに格納する。結果として、トラッキング座標系で決定されるのと同数の点（各球体について）が得られる。

【0022】

１０８では、アフィン変換を決定し、トラッキングシステムの座標系を医用イメージングモダリティ（本明細書では術中イメージングモダリティとも称する）の座標系にマッピングする。例えば、この変換は、トラッキング座標系と術中座標系の各々について１０６で提供された複数組の点を整合させるための位置同期法を適用することによって決定される。本明細書で開示するように（例えば、図８の変換計算器を参照）、位置同期法のいくつかの例として、誤差最小化関数（例えば、単一値分解）、基底変換関数ならびに１０８で変換を決定するのに用いられる場合がある他の関数があげられる。

【0023】

いくつかの例では、医用イメージングモダリティは、回転中心を有するＣアームを含む。このため、医用イメージングモダリティの座標系の原点を、Ｃアームの回転中心として定義してもよい。医用イメージングシステムを、医用イメージングモダリティ（例えば、Ｃアーム）の空間座標系を定義するのに用いられる対応の空間パラメータを有するピンホールカメラとしてモデリングしてもよい。例えば、Ｃアームの空間パラメータ（例えば、回転中心、Ｃアームの回転角、Ｃアームの半径）を手動で測定してもよいし、製造業者から提供を受けてもよいし、ＤＩＣＯＭ画像ファイルのフィールドから誘導してもよい。１０８で決定される変換については、１０６で決定されるマーカーの所定部分について推定された位置に基づくものとすることが可能であり、マーカーの所定部分とマーカーデバイスのトラッキングセンサーとの間の固定された既知の空間的関係に基づくものとすることができる。一例として、マーカーの所定部分とセンサーとの間の固定された関係を製造時に決定し、マーカーに印刷してもよい。別の例として、関係を（例えば、手動で）測定し、１０８で変換を決定するようにプログラムされたコンピュータに（例えば、ユーザーインタフェースを介して）入力してもよい。他の例では、各点の座標を、各マーカーの（例えば、セントロイドまたは中心にある）ピクセル位置に応じて、画像データ内の相対座標として自動的に決定することができる。

【0024】

図２は、医用イメージングモダリティの空間座標系から、（例えば、ＤＩＣＯＭまたは他の画像ファイルとして）メモリに格納されているものなどの先行する３次元画像の空間座標系に対応付けるための方法１５０の流れ図である。例えば、所定の患者について、３次元医用イメージングモダリティで、先行する３次元画像を術前に取得することができる。一例として、術前画像データを、対応する手術の数週間または数ヶ月前に取得し得るなど、患者の着目領域についての術前動脈ＣＴスキャンに対応させることができる。また、ＭＲＩ、超音波検査、陽電子放出断層撮影など、他のイメージングモダリティを用いて３次元画像データを提供することもできる。このようなスキャンは、プロテーゼの大きさを決定し、手術やその他の介入について計画するための手術のワークフローにおける術前計画では一般的なことである。

【0025】

いくつかの例では、術前画像データに取り込まれた１つ以上の解剖学的構造を、術前画像の座標系におけるそれぞれの３次元モデルに変換してもよい。一例として、モデルは、管状の解剖学的構造（例えば、患者の血管）を数学的に記述する非明示的モデルであり、例えば、管状構造の中心線と表面とを含む。非明示的モデルは、細長い解剖学的構造に対するロフテッドＢスプライン（基底スプライン）関数に対応するなどの小さなパラメータセットを含むことができる。一例として、本明細書に援用する、発明の名称が「Automated Centerline Extraction Method and Generation of Corresponding Analytical Expression and Use Thereof」である米国特許公開第２０１１／００２６７９３号の開示内容に従って非明示的モデルデータを計算するように、解剖学的モデル作成装置をプログラムすることができる。管状の解剖学的構造に対する非明示的モデルを作成する別の例がAnalytical centerline extraction and surface fitting using CT scans for aortic aneurysm repair, Goel, Vikash R, Master's Thesis, Cornell University (2005)に開示されており、これも本明細書に援用する。他のタイプの幾何学表現を利用して、非明示的モデルを提供することも可能である。例えば、ロフト処理した楕円や三角メッシュを表すパラメータを生成し、３次元座標系で患者の着目される解剖学的構造を表す解剖学的モデルデータを提供することができる。生成された３次元メッシュを、術前イメージングモダリティによって取得された３次元画像に加えて、またはこれに代えて、メモリに格納してもよい。

【0026】

１５２において、本方法は、取得された画像（例えば、１０２および１０４で取得された第１および第２の画像）に基づいて、先行する３次元画像ボリュームからそれぞれの順投影を作成することを含む。例えば、取得された２次元画像をそれぞれ、同様の角度からの対応する３次元順投影に対応付ける。一例として、フルオロスコピーシステムからの２次元のＬＡＯ画像およびＲＡＯ画像を（例えば、平行移動および回転によって）整合させることによって、そのような画像をＣＴ画像ボリュームから作成される対応のＬＡＯ投影およびＲＡＯ投影に対応付ける。投影角度のレジストレーションは、手動でのアライメントおよび／または自動で行うことができるものである。

【0027】

術前３次元画像において解剖学的構造（例えば、血管）をモデリングするために３次元メッシュが生成される例では、そのメッシュを用いて、術中画像（例えば、１０２および１０４で取得されたもの）に対するアライメントを行ってもよい。術前画像から生成されたメッシュに、３Ｄ投影行列を適用してもよい。例えば、術中イメージングシステムをピンホールカメラとしてモデリングするための適切なパラメータがわかっている場合には、「透視」投影行列が使用される。他の例では、「平行」投影行列が使用される。マーカーデバイスが放射線不透過性の球体を含む例では、マーカーデバイス上の球体が術中イメージングシステムの焦点距離に対して近接しているため、平行投影行列の適用は十分に正確なものでなければならない。各々の術中画像についてＣアームの角度がわかっている場合、術中画像ごとにその角度に一致させてメッシュの１つを３Ｄ投影する。Ｃアームの角度がわからない場合、異なる角度から複数の３Ｄ投影を行うことができ、それぞれの３Ｄ投影とそれぞれの２次元画像との間の「ベストフィット」マッチを手動または自動で選択することができる。最終的には、各画像ペアが、２Ｄ術中画像と、３Ｄメッシュから作成された２Ｄ投影を含む画像ペアとなる。

【0028】

１５４において、本方法は、（例えば、１０２および１０４で取得された）第１および第２の投影画像と１５２で決定された順投影それぞれとの対応付けに基づいて、医用イメージングモダリティの座標系から先行する３次元画像の座標系へのアフィン変換を決定することを含む。１５４で生成される変換を、メモリに格納することができる。

【0029】

一例として、位置同期法を（例えば、プロセッサによって実行可能な命令として）実装し、術中２Ｄ画像空間から術前３Ｄ画像空間へ空間データをマッピングするための変換を１５４で決定することができる。例えば、変換は、位相同期法を適用し、２Ｄ医用画像および先行する３Ｄ画像の座標系の各々について識別される複数組の点を整合させることによって、１５４で決定される。（例えば、１５２で作成される）３Ｄ投影画像および（１０２および１０４で）２Ｄ医用イメージングモダリティによって取得される画像の各々において、１つ以上の組の共通の点が識別される。一例として、これらの点は、解剖学的ランドマークまたは他の識別可能なフィデューシャルポイント、例えば、背骨上の骨のランドマーク、両方の画像セット画像で見える小さな石灰化、あるいは、術中画像と術前画像の両方で造影剤が使用される場合などの血管上の点であってもよい。術前画像は３次元空間にあるため、ユーザーは直交する３つの断像（横断像、冠状断像、矢状断像）を用いて点を識別し、術前の３次元座標系におけるｘ，ｙ，ｚの位置を直接測定することができる。点の識別については、各画像において手動で行ってもよいし、自動特徴抽出方法を用いてもよい。

【0030】

１０８での決定と同様に、１５４での変換を決定するのに用いることができる位置同期法の例として、誤差最小化関数（例えば、単一値分解）、基底変換関数ならびに他の関数があげられる。一例では、同一の関数を呼び出して、それぞれの変換を生成し、より効率的な格納と計算を提供することができる。

【0031】

例として、１０８および１５４で生成された変換を各々別の変換として格納してもよいし、一緒に集約して、トラッキングシステムの座標系におけるセンサーのレジストレーションを、画像ボリュームの３Ｄ座標系で表現および視覚化できるようにしてもよい。（１０８および１５４で決定された）変換が別々に維持されている例では、他方に影響を与えることなく、変換の一方を変更する機能が得られる。例えば、第２の工程（例えば、フルオロスコピーから術前ＣＴ）が手動レジストレーションから自動レジストレーションに変更されても、手法は同じであり、図１の変換生成方法１００を変更する必要はない。また、図１の変換生成方法が変更されても、他の変換生成方法１５０を変更する必要はない。これらの変換が別々に保たれている例では、トラッキングセンサーデータに基づいてオブジェクトをレンダリングする際に、２つの変換を乗算して出力の視覚化を生成してもよい。この乗算の詳細（例えば、順序や、変換と逆変換のどちらで乗算するか）は、断像がトラッキングシステム空間でレンダリングされているのか、イメージングモダリティ空間でレンダリングされているのか、先行する３次元（例えば、ＣＴ）画像空間の座標空間でレンダリングされているのかに依存する。

【0032】

別の例として、術前ＣＴ空間で出力の視覚化をレンダリングするにあたり、骨と血管系のモデル（例えば、術前ＣＴ画像空間で作られたもの）を変換なしでレンダリングすることができる。ＥＭ空間で追跡されるもの（カテーテル、ガイドワイヤーなど）には、両方の変換が適用されることになろう。一例として、トラッキングシステム空間でレンダリングする場合、骨と血管系のモデル（術前のＣＴ画像空間にある）には両方の変換の逆を適用し、トラッキングシステム空間で追跡されるもの（例えば、カテーテル、ガイドワイヤーなど、１つ以上のトラッキングセンサーを有するオブジェクト）には、変換を適用しないことになろう。さらに、イメージングモダリティ空間でレンダリングする場合の例（例えば、フルオロスコピーなど）では、骨と血管系のモデルには、（例えば、１５４で決定される）イメージングモダリティから術前ＣＴへの変換の逆変換が適用され、トラッキングセンサーによってＥＭ空間で追跡されるもの（例えば、カテーテル、ガイドワイヤーなど）には、（例えば、１０８で決定される変換）トラッキングシステムからイメージングモダリティへの変換が適用されることになろう。

【0033】

図３は、フィデューシャルマーカー２００の一例を示す。この例に示すように、このマーカーは黒と白の色（例えば、二値）を含み、周縁全体の各辺に沿って太くて黒い長方形（例えば、正方形）の境界線２０２を含む（例えば、ピクセル１つ以上の厚さなどの厚さｔを有する）。マーカー２００には、内側に、ＡｃＵｃｏライブラリによるものなど、マーカーの向きおよび／または他の識別的な特徴を定義するのに使用できる記号２０４および２０６が含まれる。

【0034】

図４Ａおよび図４Ｂは、マルチモーダルマーカーデバイス２５０の一例を示す。マルチモーダルマーカーは、フルオロスコピーまたはＸ線などの２Ｄイメージングモダリティを用いた第１および第２の画像の取得時に、患者に対して固定することができるものである（例えば、患者の身体に取り付けられる）。図４Ａは、フィデューシャルマーカー（例えば、図３のマーカー）２５４を白色の境界線２５６より内側に配置して、白い境界線とフィデューシャルマーカーの太くて黒い境界線２５８（例えば、点線と白い境界線２５６との間にある）との間にコントラストを持たせたマーカーデバイス２５０の一方の側面２５２を示している。記号２６０および２６２は、黒い境界線２５８から離れてフィデューシャルマーカー上にある。

【0035】

図４Ｂに示すように、マーカーデバイス２５０の他方の側面の表示面２６８から見て、１つ以上のトラッキングセンサー（例えば、電磁センサー）２７０が、フィデューシャルマーカー２５４の角２６４に対して既知の位置と向きで、マーカーデバイス２５０に取り付けられている。一例では、１つ以上のセンサー２７０は、それぞれ複数の自由度（ＤＯＦ）を空間的に検知することができる。例えば、１つ以上のセンサー２７０を、本明細書で開示するような６つのＤＯＦを検知するように構成することができる。一例では、電磁トラッキングシステムを使用して、センサー２７０の位置を特定することができる。トラッキングシステムを用いることで、電磁場に応答してセンサーからトラッキングシステムに提供されるセンサー信号に基づいて、各センサー２７０の位置と向きを決定することができるようになる。３次元空間における各センサーの位置と向きを追跡するように構成された他のタイプのトラッキングシステムは、他の実施例で使用することができる。

【0036】

別の例では、マルチモーダルマーカーは、医用イメージングモダリティによって取得された画像においてマーカーの表現黒色部分を可視化するための材料（例えば、放射線不透過性造影剤などの放射線不透過性材料）を保持するように構成された側面２５２と２６８との間のチャンバーを含むことができる。本明細書で開示するように、このチャンバーは、マーカー用の長方形の太い境界線に沿って設けられ、この境界線を確めて、長方形の辺が交わる箇所にある角をそれぞれ定める。これらの角については、取得された画像内でその位置を特定することができる。

【0037】

例えば、マーカーデバイス２５０は、放射線不透過性材料をチャンバーに出し入れすべくチャンバーにアクセスするための少なくとも１つのポートを（例えば、表面２５２、２６８または装置の縁のうちの１つに）含む。このため、各チャンバーを造影剤で満たし、医用イメージングモダリティによって取得される２次元投影画像に識別可能なパターンを作成することができる。このように、材料がチャンバー内にあるときは、フィデューシャルマーカーの黒い部分が医用画像で可視化され、放射線不透過性が取り除かれると、黒い部分が白い部分と実質的に同じように可視化される。例えば、処置時の以後のイメージングに干渉しないように、レジストレーションの完了後（例えば、少なくともレジストレーション用に１０２および１０４で画像が取得された後）、造影剤を排出し、場合によっては透明な生理食塩水でフラッシュする。他の例では、処置の最初から最後まで放射線不透過性材料はそのままである。

【0038】

ＡｒｕＣｏタイプのマーカーを含まない組合せマーカーデバイス３００の他の例を、図５および図６に示す。図５の例では、組合せマーカーデバイス３００は、基板３０４内に配置された複数の放射線不透過性フィデューシャリーオブジェクト３０２を含む。放射線不透過性フィデューシャリーオブジェクト３０２は各々、所定の幾何学的形状を有し、互いに所定の幾何学的関係で配置されている。例えば、放射線不透過性オブジェクト３０２を、所定の角度方向と空間的配置（例えば、スカラの直角三角形として構成されている）になるような球体または他の形状として実装することができる。したがって、各々の放射線不透過性オブジェクト３０２を、対応する２Ｄイメージングモダリティ（例えば、フルオロスコピー、バイプレーンＸ線などによって処置の際に得られる）で識別することができる。

【0039】

上述したように、それぞれのオブジェクト３０２に利用される材料の種類は、（例えば、１０２および１０４でのような２Ｄ画像を取得するために）用いられるイメージングモダリティに応じて変えることが可能である。マーカーデバイス３００は、マルチモーダルマーカーであり、そのようなものとして、トラッキングシステムによって検出可能な１つ以上のセンサー３０６も含む。各センサー３０６は、それぞれの放射線不透過性オブジェクト３０２の幾何学形状に対して所定の空間的関係（例えば、距離および角度）になるように寸法が設定され、位置が決められる。例えば、センサー３０６は、オブジェクト３０２の幾何学的関係に対して計算可能な一対の軸の原点に配置されるセンサーコイルを含むことができる。さらに、センサー本体３０６は、軸３０８に沿ってのびるか、それぞれの放射線不透過性オブジェクト３０２によって画定される軸と平行であっても構わない。

【0040】

別の例として、マーカーデバイス３００は、（ページの）三角形に配置されたオブジェクト３０２の各々を通る仮想平面にあるＸ軸およびＺ軸を含む座標系を規定する。対応するＹ軸は、仮想平面（例えば、図が示されているページ）に垂直にのびている。一例では、座標系のＺ軸に沿ってセンサー３０６の中心軸３０８がのびている。このため、センサー３０６の本体の幾何学的中心によって、Ｘ軸、Ｙ軸およびＺ軸の原点を画定することができる。上述したように、センサー３０６は、Ｚ軸の長さに沿って軸方向にのびるとともにトラッキングシステムによって検出可能な細長いコイルとして構成することが可能である。例えば、センサー３０６は、マーカーデバイス３００内の導電性材料のコイルとして実装され、センサーコイルの中心は、対応する座標系の原点に位置する。センサー３０６は、トラッキングシステムのフィールドジェネレータによって生成される電磁場に応答して、トラッキングシステムに伝達されるセンサー信号（例えば、誘導電流信号）を提供する。

【0041】

図６は、組合せマーカーの硬い表面から患者の皮膚を保護しやすくすることができるマーカーパッドデバイス３２０の例を示す。マルチモーダルマーカーデバイス３００（図５）を１つ以上パッドデバイス３２０内に実装し、トラッキングシステムのドメインと、本明細書で開示するような医用イメージングモダリティ（例えば、フルオロスコピーなど）のドメインとの間の位置同期を可能にすることができる。例えば、パッド３２０は、各組合せマーカーの周りにクッションを提供するために、ゲルまたは他の柔らかい可撓性材料を含むことが可能であり、このパッドを患者の皮膚に取り付けることができる。他の例では、患者の隣または下にあるベッドの上など、患者に隣接してパッド３２０を配置する。

【0042】

図６の例では、パッドデバイス３２０は、互いに離れて分散されたマルチモーダルマーカー３００のうちの３つを含む。パッドデバイス３２０については、患者の動きに対応するための柔軟性を確保しつつ、組合せマーカーを各々実質的に一定の空間的関係で保持するように構成することができる。また、マーカーデバイス３００は各々、トラッキングシステムに接続することができる対応の接続部３１０を含む。例えば、トラッキングシステムを本明細書で開示するような電磁トラッキングシステムとして実装することが可能であり、よって、接続部１１５は各々、電気信号をトラッキングシステムに提供するための電気コネクタを含む。この電気信号は、トラッキングシステムの送信機によって生成され、それぞれの検知用コイルによって検出される電磁場に応答した誘導電流を表す。他の例では、接続を無線にすることが可能であり、センサーはＲＦまたは他の無線技術によって通信することができる。トラッキングシステムは、センサー信号を対応するトラッキングシステムデータに変換することができ、これらのデータは、本明細書で開示するように分析が可能なものである。例えば、トラッキングデータは、各マーカーデバイス１０４のトラッキングシステムの３次元座標空間（本明細書では、トラッキングシステム空間とも称する）における点の位置と向きを含むことができる。

【0043】

図７Ａおよび図７Ｂは、異なる視野角から２次元投影画像を取得するのに用いることができる医用イメージングモダリティ３５０の概略例を示す。例えば、医用イメージングモダリティ３５０は、電離放射線を用いて画像を取得するように構成されている（例えば、フルオロスコピーシステム、携帯型Ｘ線システムなど）。この例では、イメージングモダリティ３５０は、移動可能なＣアーム３５６によって所望の間隔をあけた位置に取り付けられて保持される検出器３５４と電離放射線（例えば、Ｘ線）を提供するように構成されたＸ線源３５２とを含む。患者は、線源３５２と検出器３５４との間に、１つ以上のマーカーデバイス３６０と一緒に位置することができる。このため、取得された画像は、Ｃアームの位置を調整することによって調整される光源および検出器の視野角（例えば、軸）に応じて変化し得る。レジストレーションの目的で、視野角は、患者とマーカー３６０の着目領域を含む。

【0044】

例として、レジストレーションは、Ｘ線源３５２を理想的なピンホールカメラとしてモデリングする（すなわち、歪みがないと仮定する）ことによって行われる。このとき、以下のような透視変換を用いて３Ｄ点を画像平面に投影することによって、得られる画像の各ピクセルが形成される。
(数１)

ここで、Ｘ、Ｙ、Ｚは、共通座標系における３D点の座標である。
ｕおよびｖは、カメラ画像内の投影点の座標をピクセルで表したものである。
ｆｘおよびｆｙは、ピクセル単位での焦点距離である。
ｃｘおよびｃｙは、ピクセル単位での画像中心である。
ｒ＃＃およびｔ＃は、共通座標系におけるＸ線検出器の位置と向きをそれぞれ定義する。

【0045】

ベクトルｖ１またはｖ２を作成するために、ＡｒＵｃｏマーカー３６０の角がｕおよびｖとして画像内に配置される。式の残りの値については、すでにわかっている空間位置に基づいて埋めることができ、焦点距離（例えば、検出器とそれぞれの角の位置との間の距離）でＸとＹについて式の解が求められる。その上で、この新しい位置から検出器の位置（ｐ１またはｐ２）を減算することで、ベクトルが計算される。例えば、点ｐ１およびｐ２は、２つの投影用にＣアームの回転角度に基づいて定義される。このとき、回転中心が原点として定義され、中心からの距離がＣアームの半径に基づいて定義される。カメラの焦点距離は、付随するＤＩＣＯＭファイルに保存されているピクセル寸法から計算される。

【0046】

次に、２つのベクトルｖ１とｖ２の交点（または最接近）を見つけることで、ＡｒＵｃｏマーカーの角の３Ｄ位置を計算することができる。共通の座標系におけるＡｒＵｃｏマーカーの位置と向きについては、それぞれの画像でフィデューシャルマーカーに対して識別された４つの角の位置すべてについて、このプロセスを繰り返すことによって計算される。例として、２つのベクトルの交点（または最接近）を、最接近点関数をインプリメントしたベクトル交点関数に従って計算することができる。一例として、以下の疑似コードには、それぞれのベクトル間の最近接点を決定するための最近接点関数がインプリメントされている。
(数２)
vector ClosestPoint(vector p1, vector v1, vector p2, vector v2)
{
// 方向ベクトルを正規化
v1 = normalize(v1);
v2 = normalize(v2);

// ベクトルが合わない（平行でない）ことを確認
float projDir = dot_product(v1, v2);
if (absolute_value(projDir) > 0.9999f)
{
// ベクトルがほぼ一致（平行）
return p1;
}

// 最も近い点を計算
float proj1 = dot_product(p2 - p1, v1);
float proj2 = dot_product(p2 - p1, v2);
float dist1 = (proj1 - (projDir * proj2)) / (1 - (projDir * projDir));
float dist2 = (proj2 - (projDir * proj1)) / ((projDir * projDir) - 1);
vector pointOnLine1 = p1 + (dist1 * v1);
vector pointOnLine2 = p2 + (dist2 * v2);
return linear_interpolate(pointOnLine1, pointOnLine2, 0.5f);
}

【0047】

図７Ａおよび図７Ｂの例では、マーカー３６０は、ＡｒｕＣｏタイプの放射線不透過性マーカー（例えば、マーカーデバイス２００、２５０に対応する）として示されている。他の例では、本明細書で開示するように、異なるタイプのマーカーデバイスすなわち、マルチモーダルマーカーデバイス３００および組合せマーカーシステム３２０を医用イメージングモダリティで使用してもよい。このため、１０８および１５４で決定されたようなそれぞれの変換（例えば、それぞれの変換行列）を使用して、医用イメージングモダリティ３５０によって取得された２Ｄ画像データ、３Ｄ術前画像データおよびリアルタイムのトラッキングデータに基づいて、１つ以上の視覚化をレンダリングできるようにすることが可能である。

【0048】

図８は、アフィン変換を生成するためのシステム４５０の一例を示す。この例では、アフィン変換は、本明細書で開示するように、トラッキングデータおよび画像データを対応付けるための変換行列４５２および４５３として示されている。システム４５０は、データおよび命令の文脈で説明されており、プロセッサは、データにアクセスし、命令を実行して、本明細書で開示する機能を実行することができる。このシステムを実装するために、すべての機能が必要になるとは限らないことを理解されたい。例えば、異なる変換行列をそれぞれ別に生成してもよい。これによって、イメージングモダリティが変更されたり、別の手段で置き換えられたりしたときに、システム全体を変更する必要がないという利点が得られる。

【0049】

図８の例では、システム４５０は、第１の変換行列（Ｔ１）４５２を生成するように構成されている。変換行列Ｔ１は、トラッキングシステム４５４のトラッキングシステム座標系から医用イメージングモダリティ４５６の座標系（例えば、フルオロスコピーまたはＸ線などの２Ｄイメージングシステム）および／または医用イメージングモダリティの座標系からトラッキング座標系に変換するように構成されてもよい。トラッキングシステム４５４は、患者の身体４６０内に配置された１つ以上のセンサー４６６の位置および向きを表すトラッキングデータ４５８を提供するように構成されている。

【0050】

組合せマーカーシステム４６２（例えば、図４Ａ、図４Ｂ、図５または図６の１つ以上のマルチモーダルマーカーを含む）を、患者の身体４６０に取り付けるか、患者の身体の近くに配置することができる。図８の例では、組合せマーカーシステム４６２は、トラッキングシステム４５４の座標系で組合せマーカーの位置を表すそれぞれのセンサー信号をトラッキングシステム４５４に提供する１つ以上のトラッキングセンサー４６４を含むことができる。一例では、１つ以上のオブジェクトセンサー４６６を、患者の身体４６０の中で移動可能なオブジェクトに対して貼り付けて、トラッキングシステムの座標系における当該センサーの位置を識別することができる。このように、当該オブジェクトセンサー４６６は各々、信号をトラッキングシステム４５４に提供することもでき、それに基づいて、トラッキングシステムがトラッキングシステム座標系における当該センサーの位置と向きを表す対応のトラッキングデータを計算することができる。上述したように、トラッキングデータ４５８は、マルチモーダルマーカーシステム４６２のマーカートラッキングセンサー４６４の位置と向きのみならず、それぞれのオブジェクトトラッキングセンサー４６６の位置と向きも表す。

【0051】

いくつかの例では、例えば変換行列４５２を生成する目的で、センサー４６６および対応するトラッキングデータ４５８を無視（または省略）してもよい。他の例では、センサー４６６を患者の身体４６０に対して既知の位置（例えば、患者の体内または体外の既知の解剖学的ランドマーク）に配置し、（例えば、トラッキングデータ４５８によって提供される）トラッキングシステムの空間ドメインと、（例えば、既知の位置での２Ｄ画像データ４７２によって提供される）イメージングモダリティ４５６の空間ドメインの両方で、変換行列Ｔ１ ４５２の生成を容易にするのに使用することができる追加のデータポイントを提供してもよい。

【0052】

例として、トラッキングシステム４５４は、４５５で示される非電離場を提供する送信機（例えば、電磁場発生器）を含むことができる。この電磁場は、対応するセンサー信号をトラッキングシステムに提供するために、各センサー４６４および４６６によって検出される。例示的なトラッキングシステム４５４のひとつに、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されているＡＵＲＯＲＡ空間測定システムがある。トラッキングシステム４５４は、各センサーがセンサー位置を実質的にリアルタイムで決定できるようにする（例えば、センサーの位置と向きを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータ４５８を提供することができる。本明細書で開示するように、生成された変換４５２および／または４５３の１つ以上を適用して所与のドメインでグラフィカルな表現を作り出しやすくすることで、別の座標系に対応付けが可能なトラッキングシステムによって取得されるリアルタイムのトラッキングデータを、トラッキングデータによって同様に表すことができるように、トラッキングデータの各フレームをトラッキング処理サブシステムによって処理することができる。

【0053】

トラッキングシステム４５４は、センサーが取り付けられているオブジェクトのみならず組合せマーカーシステムについても視覚化とリアルタイムの位置決めの計算を可能にするために、トラッキングデータ４５８を出力サンプルレートで提供することができる。マーカーシステム４６２は患者の身体４６０に取り付けられているため、トラッキングシステム４５４は、トラッキングデータ４５８を計算してトラッキングシステム４５４の座標系における患者の身体４６０の動きに対応する。

【0054】

センサー変換４７０は、トラッキングデータ４５８を、本明細書で開示するようなそれぞれのマーカーデバイスに実装された放射線不透過性のオブジェクトの位置に変換するように構成されている。各々の位置は、トラッキングシステムの座標空間における３Ｄ空間座標であり、マーカーデバイスがトラッキング空間で移動しない場合には一定のままであってもよく、マーカーデバイスがトラッキング空間で移動する場合には時間の経過とともに変化してもよい。例えば、トラッキング座標系において、所定のマーカーデバイスの放射線不透過性のマーカーは各々、マーカーシステム４６２の所定のマーカーデバイスの一部であるトラッキングセンサー４６４の位置から、決まった既知のオフセット（例えば、３Ｄベクトル）のところにある。上述したように、マーカーシステムは、ＡｒｕＣｏタイプ（例えば、デバイス２５０）または本明細書で開示するような他のマーカー構成（例えば、デバイス３００）などの複数のマルチモーダルマーカーデバイスを含んでもよい。

【0055】

このため、センサー変換４７０は、トラッキングデータ４５８と、所定のマーカー位置に対する各トラッキングセンサーの既知のオフセットとに基づいて、トラッキングシステム空間内の点（例えば、マーカー位置の３Ｄ座標）を計算するように構成されている。ＡｒｕＣｏタイプのマルチモーダルマーカーデバイスの場合、本明細書で開示するような、マーカーの角にある一組の４つの点（例えば、emPoint_1, emPoint_2, emPoint_3, emPoint_4）をマーカー位置にすることができる。例えば、所定のマーカーデバイスに対して、以下のようにして、トラッキングセンサーの３Ｄ座標を含むセンサー変換（ＴＳ）とそれぞれのオフセットとを乗算することによって、トラッキングデータを提供するセンサーを有するＡｒＵｃｏタイプのマーカーデバイスの一組のマーカー位置について、トラッキングシステム空間内の点を計算すればよい。
(数３)
emPoint_1 = mult(Ts, offset_1),
emPoint_2 = mult(Ts, offset_2),
emPoint_3 = mult(Ts, offset_3),
emPoint_4 = mult(Ts, offset_4)

【0056】

球状の放射線不透過性マーカーが配置されたマーカーデバイスの例（例えば、マーカーデバイス３００の場合）では、既知のオフセットの３つの球状マーカーが各トラッキングセンサーの周りに分散している。したがって、センサー変換によって、マーカーシステム４６２の各マーカーデバイスに対して３つの点が生成される。例えば、変換４７０は、以下のように、それぞれの変換をトラッキングセンサーの位置（例えば、３Ｄ点）とそれぞれの放射線不透過性オブジェクトとの間の既知のオフセット（例えば、３Ｄオフセットベクトル）と乗算することに基づいて、各々の球状マーカーの中心に位置する点（例えば、emPoint_1, emPoint_2, emPoint_3）にマーカー位置を決定することができる。
(数４)
emPoint_1 = mult(Ts, offset_1),
emPoint_2 = mult(Ts, offset_2),
emPoint_3 = mult(Ts, offset_3)
他の例では、放射線不透過性マーカーに関連する固定オフセットを有する他の確定的な位置を使用してもよい。いくつかの例では、点を、各マーカーデバイスについての一組の点に配置してもよいし、すべての点を含む単一の組として配置してもよい。

【0057】

医用イメージングモダリティ４５６は、イメージングモダリティ４５６の視野４７５内のオブジェクトを表す少なくとも２つの画像（例えば、Ｘ線写真）を含む２Ｄ画像データ４７２を生成するように構成される。例えば、イメージングモダリティは、患者の身体４６０に対して異なる視野角で取得された少数（例えば、少なくとも２つ、３つまたは４つ）の２Ｄ投影画像の２Ｄ画像データを取得するように構成されたＸ線スキャナ（例えば、図７Ａおよび７Ｂのシステム）を含むことができる。画像データ４７２内の各画像は、マーカーシステム４６２の各マーカーデバイス内の放射線不透過性マーカーと、視野４７５内の患者の身体４６０の領域についての２Ｄ投影を含むように取得されてもよい。いくつかの例では、患者の身体の領域は、外科手術の一部のように、オブジェクトセンサー４６６が移動されるべき着目領域であってもよい。

【0058】

マーカー識別機能４７４については、画像データ４７２で提供される各画像における各々の放射線不透過性マーカー（例えば、ＡｒｕＣｏマーカーおよび／または他のオブジェクトマーカー）の位置を特定するように構成することができる。放射線不透過性マーカーは、イメージングモダリティ４５６によって放出される電離放射線を通さないため、画像内で可視化される。ＡｒｕＣｏタイプのマーカーを含む組合せマーカーの例では、マーカー識別機能４７４によってＡｒｕｃｏ検出機能を呼び出して、それぞれのマーカーの位置を特定することができる。ＡｒＵｃｏタイプのマーカー以外の放射線不透過性のオブジェクトを含む組合せマーカーの例では、画像ピクセルの値に適用される画像閾値のみならず他の画像処理技術も用いて、当該各マーカーの周辺の位置を特定すればよい。マーカー識別機能４７４は、完全自動であってもよいおよび／またはマーカーを識別するユーザー入力に応答するユーザーインタラクティブなものであってもよい。識別されたマーカー（例えば、それぞれの画像のピクセル位置）を、後の処理のためにメモリに格納してもよい。

【0059】

マーカー点生成器４７６は、画像データ４７２によって提供される（例えば、２つ以上の）画像で識別される各マーカーに対する空間座標を生成するようにプログラムされている。放射線不透過性のＡｒｕＣｏタイプのマーカーを含む組合せマーカーの例では、各マーカーの角のそれぞれについての空間座標すなわち、各トラッキングセンサーを囲む一組の４つの点の座標を生成することができる。球状の放射線不透過性マーカーの場合、各マーカーの空間座標は、マーカーシステム４６２に対する視野４７５によって提供される視野角についての各２Ｄ画像における円形投影の中心（例えば、マーカー識別機能４７４によって識別される周縁）の２Ｄ座標として提供される。所与のマーカーデバイスに対して３つの球状マーカーが各々のトラッキングセンサーを囲む例では、マーカー点生成器は、所与のマーカーデバイスに対する一組の３つの点の座標を提供するようにプログラムされている。放射線不透過性マーカーのタイプと構成にかかわらず、マーカー点生成器は、例えば、本明細書で開示するような最近接点関数を実行し、マーカーデバイスに対する各々のトラッキングセンサーの周囲にある一組の点を見つけるようにプログラムされている。このようにして、各組の点を、それぞれ一緒にトラッキングセンサーの１つとリンクさせて関連付け、第１の変換行列４５２の生成を容易にすることができる。

【0060】

第１の変換計算器４７８は、マーカー点生成器４７６によって提供された点とセンサー変換機能４７０によって提供された点とに基づいて、第１の変換行列４５２を計算するようにプログラムされている。例えば、変換計算器４７８を適用し、空間座標系で測定された一組の点を整合させる。それぞれのドメイン（例えば、トラッキングシステム座標系および医用イメージング座標系）における点を位置同期させるためのそのような位置同期アルゴリズムの例には、誤差最小化関数または基底変換関数を含んでもよい。

【0061】

一例として、変換計算器４７８は、誤差最小化関数をインプリメントするようにプログラムされている。順序付けられた一組の点が与えられると、変換計算器４７８は、投影される位置と実測位置との間の距離を最小化する未知の変換Ｔ１を決定することになる。例えば、Ｔ１について、計算器４７８は、例えば以下のように、点間の距離を最小化する変換を見つけるようにプログラムされている。
(数５)
sum(n = 1..i, distance(mult(T1, imPoint_n), emPoint_n)^2)
ここで、ｎは、ｉ個の点のうち、所与の１つを示す（ｉは、所与のマルチモーダルマーカーの点の数である）。
imPoint_nは、点ｎの画像空間における空間座標である。
emPoint_nは、点ｎのトラッキング空間における空間座標である。
一例として、単一値分解または任意の数の誤差最小化アルゴリズムによって、誤差最小化の解を得ることができる。

【0062】

別の例として、変換計算器４７８は、基底変換関数をインプリメントするようにプログラムされている。変換計算器４７８が一組の基底ベクトル（座標空間を定義するｘ，ｙ，ｚ単位ベクトル）を生成できるように使用される点が配置されている場合、誤差最小化よりも単純な解を得ることが可能である。例えば、変換計算器４７８は、誤差を最小化するのではなく、両方の座標系で基底ベクトルを求め、これらを共通の点に適用するようにプログラムされている。これは、上述した誤差最小化手法よりも計算効率がよいが、点を特定の配置にしなければならない。

【0063】

例えば、基底ベクトルを明確に定めるのに必要な点の配置は、９０度の角度にある３つの点であり、どの点がどれであるかを変換計算器４７８が識別できる十分な追加情報（例えば、３つの点によって作られる三角形の辺の長さが異なるなど）が必要である。図３および図４に示すＡｒＵｃｏタイプのマーカーと、図５および図６に示すマーカーデバイスは、どちらもこのような基底変換関数を利用できるだけの点の配置があるが、図５および図６のマーカーデバイスでは、３点の各組を別個に扱う必要がある点に注意が必要である。

【0064】

各座標系において、変換計算器４７８は、３つの点から基底ベクトルを構築する。例えば、point_1、point_2、point_3（例えば、直角三角形の頂点）が与えられると、point_2からpoint_1への１つのセグメントと、point_2からpoint_3への別のセグメントの２つのセグメントが提供される。これらのセグメントは、直角三角形の辺である。これらの点と線分から、以下の基底ベクトルが得られる。
(数６)
basis_z = normalize(point_1 - point_2)
basis_x = normalize(point_3 - point_2)
basis_y = cross(basis_x, basis_z)

【0065】

基底ベクトルから、変換計算器４７８は、point_2の位置と向きを定義する行列（例えば、４×４行列）を以下のように生成するようにプログラムされている。
(数７)
matrix =
[ basis_x.x, basis_y.x, basis_z.x, point_2.x,
basis_x.y, basis_y.y, basis_z.y, point_2.y,
basis_x.z, basis_y.z, basis_z.z, point_2.z,
0, 0, 0, 1]

【0066】

各々の座標系で定義されたその行列を用いて、変換計算器４７８は、２つの座標系間の変換４５２を計算することができる。例えば、変換行列Ｔ１の場合、次のようになる。
im_Matrixは、医用イメージング（例えば、術中）座標系の基底ベクトルから定義される行列である。
em_Matrixは、トラッキング座標系の基底ベクトルから定義される行列である。
以上より、変換計算器４７８は、基底ベクトルトラッキング行列（em_Matrix）と、基底ベクトルイメージング行列の逆行列（inv(im_Matrix)）とを乗算することによって、例えば以下のように変換行列（Ｔ１）４５２を決定することができる。
(数８)
T1 = mult(em_Matrix, inv(im_Matrix))
この変換行列をメモリに格納し、トラッキングシステム空間から医用イメージング空間への変換に使用してもよい。例えば、トラッキングデータの位置と向きの情報に変換Ｔ１を適用することによって、トラッキングデータ４５８によって表される、患者の体内にあるオブジェクトセンサー４６６の位置を、医用イメージング空間に対応付けることができる。

【0067】

また、上述したように、システム４５０は、医用イメージング座標系と先行する３Ｄ画像データ４８０の座標系との間での変換に用いられる第２の変換（Ｔ２）４５３を生成するように構成されている。例えば、先行する３Ｄ画像データ４８０を、（例えば、ＤＩＣＯＭ画像セットとして）メモリに格納することができ、これには、医用イメージングモダリティ４５６がその画像データ４７２を生成するより前の時間（例えば、１０２および１０４で取得された画像に対応するような術中）に実行される、患者の身体４６０の術前スキャン（例えば、ＣＴスキャン）からの３Ｄ画像を含んでいてもよい。

【0068】

投影計算器４８２（例えば、図２の機能１５２に対応する）は、２Ｄ画像データ４７２で提供される画像（例えば、２つの画像）の各々について、３Ｄ画像データ４８０からそれぞれの投影を生成するようにプログラムされている。投影計算器４８２は、３Ｄ画像空間からの点を２次元平面にマッピングする機能を実現している。例えば、投影計算器は、２Ｄ画像データ４７２の画像の視野角に合わせた順投影を作成する。３Ｄ投影の各々に対する投影角度のレジストレーションは、手動で整合されてもよいおよび／または自動でなされてもよい。一例では、２Ｄ画像の各々の角度を記述する画像データ４７２の画像メタデータ（２Ｄ画像データ４７２から投影計算器４８２への矢印に含まれるものとして示される）に基づくなどして、自動で整合がなされてもよい。例えば、メタデータは、ＡＰ、ＬＡＯ、ＲＡＯなどの投影角度を指定するデータを含み、そのようなデータは、Ｃアームの角度から既知である場合があるおよび／またはイメージングモダリティ４５６が画像データ４７２を取得する際にユーザー入力に応じて提供されてもよい。

【0069】

いくつかの例では、本明細書で開示するように、３Ｄ画像データは、血管の表面に対応する３Ｄメッシュの形などで、１つ以上の解剖学的構造のモデルを含んでもよい。本明細書で開示するように、術前画像４８０から生成されたメッシュに、３Ｄ投影行列（例えば、透視投影行列または平行投影行列）を適用してもよい。各々の術中画像についてＣアームの角度がわかっている場合、術中画像ごとにその角度に一致させてメッシュの１つを３Ｄ投影する。Ｃアームの角度がわからない場合、異なる角度で複数の３Ｄ投影を行うことができ、それぞれの３Ｄ投影とそれぞれの２次元画像との間の「ベストフィット」マッチを手動または自動で選択することができる。

【0070】

点生成器４８４は、（画像データ４７２によって提供される）２Ｄ画像および（投影計算器４８２によって提供される）３Ｄ画像の対応する投影の各々において空間点を生成するようにプログラムされている。球体またはマーカーの角を扱うのではなく、２Ｄ画像データ４７２と３Ｄ画像データ４８０の両方で見える特徴として、点が選択される。例えば、特徴は、背骨上の骨のランドマーク、両方のタイプの画像で見える小さな石灰化、あるいは、両方の画像で造影剤を使用する例では血管上の点などの構造を含む。他の例では、他の特徴またはフィデューシャルポイントを使用してもよい。いくつかの例では、自動化された方法（例えば、特徴抽出）で、一組の共通の特徴の位置を特定してもよい。これに加えてまたはこれに代えて、１つ以上のそのような特徴を、点生成器に提供される各々の画像および投影と相互作用するグラフィカルユーザーインタフェースなどのユーザーインタフェース４８６を介して提供されるユーザー入力に応答して選択してもよい。例えば、ユーザーは、異なる断像から視認可能な共通の構造を見て、各断像でそれを（例えば、マウス、キーボード、ジェスチャーまたは他の入力によって）選択／タグ付けすることができる。よって、点生成器４８４は、所定の特徴および／またはユーザーが選択した特徴ごとに点を生成する。このように、点生成器は、異なる一組のランドマークを使用するだけで、マーカー点生成器４７６と同様に動作する。画像データ４８０は３Ｄであるので、いくつかの例では、ユーザーは、画像データ４８０の３Ｄ画像の一組の直交する断像（例えば、横断像、冠状断像、矢状断像）を使用して、選択された点を（ユーザーインタフェース４８６を介して）識別し、画像データ４８０の３Ｄ座標系におけるｘ，ｙ，ｚの位置を直接測定することができる。これらの位置を各々２次元座標に変換し、そのようなものとして、投影計算器４８２によって提供される順投影で提供してもよい。点生成器４８４は、本明細書で開示する最近接点関数など、２Ｄ画像に適用されるベクトル交差関数を使用するなどして、２Ｄ画像データにおける同一の点の位置を特定するようにプログラムされている。

【0071】

それぞれの画像で得られた点は、変換行列４５３を生成するために第２の変換計算器４８８に提供される。変換計算器４８８は、点生成器４８４によって提供された共通の点に基づいて、第２の画像データの画像を３Ｄ画像データ４８０と整合させる変換行列を計算するようにプログラムされている。例えば、変換計算器４８８は、第１の変換計算器４７８に関して説明した単一値分解など、共通の一組の点に関する誤差最小化関数をインプリメントすることによって、変換行列（Ｔ２）４５３を構築する。他の例では、他の誤差最小化関数を使用してもよい。

【0072】

いくつかの例では、システム４５０は、補正ユーザーインタフェース４９２を介して提供される命令に基づいて、変換行列４５２および４５３の一方または両方を手動補正するようにプログラムされた、変換補正機能４９０を含む。手動補正は、Ｔ１またはＴ２変換の推定値を用いることが最初に提供された場合でも適用することができる。例えば、レジストレーションを実行するために機能する十分に定義された（例えば、背骨または他の解剖学的構造上の）一組の測定点が画像データ４８０および／または４７２に含まれていない場合、システムは、変換Ｔ２の初期推定値あるいは、いくつかの例では、任意のＴ２変換（例えば、「アイデンティティ」行列）を定義して、ユーザーが補正機能４９０によって補正を行い、最終的なＴ２変換４５３を生成できるようにしてもよい。

【0073】

別の例として、図９を参照すると、レジストレーションマネージャ５００を使用して、変換Ｔ１ ４５２および変換Ｔ２ ４５３の一方または両方に対するユーザー補正をそれぞれ制御する。レジストレーションマネージャは、図８のシステム４５０の一部として実装されてもよいし、別個の機能として実装されてもよい。したがって、一貫性を保つために、図８で導入した機能とデータについては、同一の参照符号を使用して図９に示してある。そのような機能とデータに関する詳細な情報については、図８および対応する説明を参照することができる。

【0074】

レジストレーションマネージャ５００は、変換補正機能４９０と、第１の変換行列４５２および第２の変換行列４５３とを含む。この例では、変換行列４５２および４５３の一方または両方が補正を必要としている可能性があるとする。補正の必要性は、変換を適用して２つ以上のドメインを対応付け、得られる視覚化をディスプレイ５１０上で提供することによって、ユーザーに明らかにされてもよい。例えば、出力生成器５１２は、トラッキングシステムの座標系、医用イメージングモダリティ４５６の座標系または先行する３Ｄ画像データ４８０の座標系であってもよいなど、選択されたドメインで視覚化をレンダリングするように構成されている。一例では、マネージャ５００は、ユーザーインタフェース５２０を介して受信したユーザー入力命令に基づいて、出力の視覚化がレンダリングされているドメインを選択するようにプログラムされたドメインセレクタ５１４を含む。さらに、選択されたドメインに基づいて、レジストレーションマネージャは、それに応じて、変換Ｔ１またはＴ２の一方または両方を適用する。一例として、以下の表は、出力生成器５１２によって出力の視覚化がレンダリングされている選択されたドメインごとに、画像データ４７２、４８０またはトラッキングデータ４５８に、どの１つ以上の変換が適用されるかについての説明を提供する。さらに、表に記載したような１つ以上の変換またはその逆数を適用することなどにより、レジストレーションマネージャ５００を使用してそれぞれの変換の適用を制御し、選択されたドメインで視覚化を提供することができる。

【表1】

【0075】

別の例として、変換４５２または４５３のいずれかに対する手動補正は、それぞれの変換行列Ｔ１またはＴ２に、以下のような補正行列を乗じることによって提供することができる。
(数９)
correctedT1 = mult(correctionMatrix, T1)または
correctedT2 = mult(correctionMatrix, T2)
一例として、サポートされている補正の種類には、以下のように行列の形で適用されるような、平行移動、回転および拡大縮小がある。
(数１０)
translationMatrix =
[ 1, 0, 0, translation.x,
0, 1, 0, translation.y,
0, 0, 1, translation.z,
0, 0, 0, 1]

scalingMatrix =
[ scale, 0, 0, 0,
0, scale, 0, 0,
0, 0, scale, 0,
0, 0, 0, 1]

rotationMatrix =（回転軸に依存）

【0076】

別の例として、ユーザーは、ユーザーインタフェース５１６でマウスダウン／ドラッグ／マウスアップアクションまたは他のアクションを使用して、補正を開始する。補正行列で使用される値は、ディスプレイ５１０にビューポートを表示するのに使用される投影行列に基づいて設定されてもよい。例えば、ＡＰビューから開始される平行移動では、ＸおよびＹのマウスの動きがtranslation.xおよびtranslation.zの値の設定に使用されることになる（translation.yは０となる）。このような変換により、ユーザーは、単一の画像のビューを変更したり、複数の画像の配置を変更したりすることができる。

【0077】

別の例として、例えば変換Ｔ２の補正を実施する場合、ドメインレジストレーションマネージャ５００は、変換Ｔ２を画像データ４７２に適用し、出力生成器５１２は、変換Ｔ２に基づいて３Ｄ画像で対応付けられた２Ｄ画像を視覚化する。ディスプレイ５１０に表示されるように、ランドマークが適切に配置されている場合、補正が必要ない場合もある。しかしながら、２Ｄ画像内のランドマークの位置が３Ｄ画像内のそれぞれの位置と整合しない場合、Ｔ２に補正が必要な場合がある。したがって、ユーザーは、ユーザーインタフェース５１６を介して、３Ｄ画像（またはその順投影）に対する２Ｄ画像のアライメントを調整することができる。上述したように、この調整には、入力装置（例えば、マウスまたはキーボード）を用いてユーザーインタフェースを介して入力された命令に応答してなされる、２次元での平行移動、回転および／または拡大縮小を含んでもよい。出力生成器５１２は、（例えば、リアルタイムで）各々の調整に応答し、ディスプレイに表示される視覚化を更新して、画像の対応付けを示すようにしてもよい。所望のアライメントが視覚化されると、ユーザーは、ユーザーインタフェース５１６を用いて変換Ｔ２に補正を適用してこれを保存し、更新されたＴ２を後で適用するためにメモリに格納することができる。同様のタイプの調整を、第１の変換行列４１２に対して行ってもよい。

【0078】

図１０Ａおよび図１０Ｂは、（例えば、補正機能４９０によって実装される）手動補正の前後に１つ以上の変換を適用する方法で、ディスプレイ（ディスプレイ５１０）で生成および視覚化することができる画像６００および６３０の例を示す。図１０Ａおよび図１０Ｂの両方において、画像は、解剖学的特徴およびマーカー特徴の共通の組を含む。例えば、解剖学的特徴は、背骨６０２の椎骨を含む。所与のマーカーデバイス６１０についてのマーカー特徴は、ある画像空間（例えば、トラッキングシステム座標系）から別の画像空間（例えば、医用イメージング座標系）への変換を適用することによってマッピングされたトラッキングセンサー６０６と放射線不透過マーカー６０４の位置を含む。また、マーカーデバイス６１０についてのマーカー特徴は、元のドメイン（例えば、医用イメージング座標系）における放射線不透過性マーカー６０８の位置を含む。また、画像は、別のマーカーデバイス６１８についてのマーカー特徴も含み、これは、ある画像空間（例えば、トラッキングシステム座標系）から別の画像空間（例えば、医用イメージング座標系）への変換を適用することによってマッピングされたトラッキングセンサー６１４と放射線不透過性マーカー６１２の位置ならびに、それらの元のドメイン（例えば、医用イメージング座標系）における放射線不透過性マーカー６１６の位置を含む。

【0079】

図１０Ａに示すように、レジストレーションの誤りがゆえ、それぞれのマーカー特徴と解剖学的特徴とが整合していない。本明細書で開示するように、出力ディスプレイはインタラクティブであり、複数の画像のうち１つを別異の画像に対して調整（例えば、平行移動、回転または拡大縮小）するのに使用することができるＧＵＩ要素６２２を含む。そのような調整に応答して、補正機能４９０は、本明細書で開示するような、１つ以上の補正行列を生成する。図１０Ｂにおいて可視化したもの６３０で示すような所望のアライメントが達成されると、ユーザーは、「フリーズ」ＧＵＩ要素（ボタン）６２４を作動させて適切な変換に補正を適用することができる。更新後の変換については、後の適用のためにメモリに格納することが可能である。

【0080】

いくつかの例では、ＡＰ画像を用いて第１のステップを実行した後、システムは、患者の左から右、頭から足への２次元のレジストレーションを行わなければならない。上記の手順を横方向または斜め方向のビューで繰り返し、第３の次元すなわち患者の前から後を得ることができる。さらに例を挙げると、ユーザーが大動脈分岐部やその他の識別可能なランドマークの近くでカテーテルやガイドワイヤー（例えば、トラッキングセンサーを含む）を前進させた場合、第２の２Ｄ医用画像がなくても、その第３の次元で大まかなレジストレーションを実行することができる。

【0081】

例として、２次元画像データは、マルチモーダルマーカーの複数の所定部分が２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知であるようにして、（例えば、術中に）医用イメージングモダリティによって患者とマルチモーダルマーカーとを含むように取得された１つの２次元画像を含んでもよい。マルチモーダルマーカーの所定部分の３次元位置は、２次元画像の各々の１つ（または複数）におけるマークの所定部分のそれぞれの位置に応じて、医用イメージングモダリティの座標系に対して推定されてもよい。マルチモーダルマーカーのそれぞれの所定部分について推定された位置と、少なくとも１つのトラッキングセンサー（例えば、既知のランドマークにおけるカテーテルまたはガイドワイヤー上のトラッキングセンサーを含む）とマルチモーダルマーカーの所定部分との間の既知の（アプリオリな）関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換が決定される。したがって、第２の２Ｄ画像を省略しても、レジストレーションを可能にすることができる。

【0082】

上述した構造的および機能的な説明を考慮すると、本明細書で開示するシステムおよび方法の一部を、方法、データ処理システムまたは非一過性のコンピュータ読み取り可能な媒体などのコンピュータプログラム製品として実現してもよいことを、当業者であれば理解するであろう。したがって、本明細書に開示する手法のこれらの部分は、完全にハードウェアの実施形態、（例えば、１つ以上の非一過性の機械読み取り可能な媒体において）完全にソフトウェアの実施形態またはソフトウェアとハードウェアを組み合わせた実施形態の形をとることができる。さらに、本明細書で開示するシステムおよび方法の一部は、コンピュータ読み取り可能なプログラムコードを有するコンピュータで利用できる記憶媒体に格納されたコンピュータプログラム製品であってもよい。静的記憶装置および動的記憶装置、ハードディスク、光学記憶装置および磁気記憶装置を含むがこれらに限定されるものではない、任意の適切なコンピュータ読み取り可能な媒体を用いることができる。

【0083】

以上、いくつかの実施形態について、方法、システムおよびコンピュータプログラム製品のブロック図を参照して、本明細書で説明してきた。図示のブロックおよび図示のブロックの組み合わせを、コンピュータで実行可能な命令によって実施できることが、理解されるであろう。これらのコンピュータで実行可能な命令を、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置（または装置と回路の組み合わせ）の１つ以上のプロセッサに提供し、このプロセッサを介して実行される命令が１つ以上のブロックで指定された機能を実現するようなマシンを作ることができる。

【0084】

これらのコンピュータで実行可能な命令を、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するように指示することができるコンピュータ読み取り可能なメモリに格納し、コンピュータ読み取り可能なメモリに格納された命令が、１つ以上のフローチャートブロックで指定された機能を実現する命令を含む製品となるようにすることもできる。また、コンピュータプログラム命令を、コンピュータまたは他のプログラム可能なデータ処理装置にロードし、コンピュータまたは他のプログラム可能な装置上で一連の動作ステップを実行させ、コンピュータ実装プロセスを生成して、コンピュータまたは他のプログラム可能な装置で実行される命令が、１つ以上のフローチャートブロックで指定された機能を実現するためのステップを提供するようにすることができる。

【0085】

以上説明したものは例である。もちろん、考えられるすべての構成要素または方法論の組み合わせを説明することは不可能であるが、当業者であれば、さらに多くの組み合わせや並べ替えが可能であることを認識するであろう。したがって、本発明は、添付の特許請求の範囲を含めて、本願の範囲内に包含されるそのような変更、改変および変形をすべて包含することを意図している。本明細書で使用する場合、「含む（includes）」という表現は、含むがこれに限定されるものではないことを意味する。「基づく」という表現は、少なくとも部分的に基づくことを意味する。さらに、本開示または特許請求の範囲に「a（１つの）」、「an（１つの）」、「a first（第１の）」、「another（別の）」要素またはそれらの等価物が記載されている場合、２以上のそのような要素を要求することも除外することもなく、１以上のそのような要素を含むと解釈されるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】