特許 7579403 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241030BHJP

   G06F 3/0346 20130101ALI20241030BHJP

【ＦＩ】

G06T19/00 600

G06F3/0346 422

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2023137443

(22)【出願日】2023-08-25

(62)【分割の表示】P 2021559272の分割

【原出願日】2020-04-06

(65)【公開番号】P2023175709

(43)【公開日】2023-12-12

【審査請求日】2023-09-25

(31)【優先権主張番号】62/829,394

(32)【優先日】2019-04-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/838,027

(32)【優先日】2019-04-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521199579

【氏名又は名称】センターライン バイオメディカル，インコーポレイテッド

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】ホラデイ，マシュー

(72)【発明者】

【氏名】ゴール，ヴィカッシュ

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１７－１５３８２７（ＪＰ，Ａ）

【文献】特開２０１６－２１３６６３（ＪＰ，Ａ）

【文献】特開２０１７－１０６９５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

互いに空間的に離れて配置され、拡張現実デバイスの空間座標系に対する固定された位置および向きが既知である複数のカメラから、複数の画像を取得する工程、を含む方法であって、
取得された複数の前記画像は、マルチモーダルマーカーデバイスの少なくとも１つの第１トラッキングセンサーに対してそれぞれ固定された既知の空間位置を有する前記マルチモーダルマーカーデバイスの複数の所定部分を含み、前記少なくとも１つの第１トラッキングセンサーはトラッキングシステムの座標系において検出可能な３次元位置を有し、
前記方法はさらに、
取得された前記画像の各々と、前記拡張現実デバイスの前記空間座標系に対する前記複数のカメラの前記既知の位置および向きと、に基づいて、前記拡張現実デバイスの前記空間座標系に対する前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの３次元位置を推定する工程と、
前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの前記推定された３次元位置と、前記マルチモーダルマーカーデバイスの前記少なくとも１つのトラッキングセンサーに対する、前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの前記既知の各空間位置と、に基づいて、前記トラッキングシステムの前記座標系を、前記拡張現実デバイスの前記空間座標系にあるディスプレイの視覚空間に対応付けるように構成されたアフィン変換を計算する工程と、
オブジェクトに取り付けられ、かつ、患者の体に対して移動可能であって、トラッキングシステムの座標系において検出可能である３次元位置を有している少なくとも１つの第２トラッキングセンサーのトラッキングデータを受信する工程と、
前記少なくとも１つの第２トラッキングセンサーの位置および向きを、前記拡張現実デバイスの前記空間座標系にある前記ディスプレイの前記視覚空間に対応付けるために、少なくとも１つの第２トラッキングセンサーの前記トラッキングデータに前記アフィン変換を適用する工程と、
前記アフィン変換を前記少なくとも１つの第２トラッキングセンサーの前記トラッキングデータに適用することに基づいて、前記ディスプレイの前記視覚空間に重ね合わされた前記オブジェクトのグラフィック表現を含むグラフィック出力を、前記ディスプレイの前記視覚空間に表示する工程と、
を含む方法。

【請求項2】

前記アフィン変換が第１アフィン変換である請求項１に記載の方法であって、
モデル空間の３次元座標系を前記トラッキングシステムの前記空間座標系に対応付けるように構成されている第２アフィン変換をメモリに格納する工程と、
前記モデル空間内の解剖学的内部構造についての前記患者のアナトミーの少なくとも１つの３次元モデルを表すために、解剖学的モデルデータを前記メモリに格納する工程と、
前記解剖学的内部構造についての前記患者のアナトミーの前記少なくとも１つの３次元モデルを、前記ディスプレイの前記視覚空間に整合させるために、前記解剖学的モデルデータに前記第１アフィン変換および前記第２アフィン変換を適用する工程と、をさらに含み、
前記グラフィック出力は、前記少なくとも１つのモデルのグラフィカル表示と、適用された前記第１アフィン変換と前記第２アフィン変換それぞれと、に基づいて、前記ディスプレイの前記視覚空間に両方が重ね合わされた前記オブジェクトの前記グラフィカル表示を含む、請求項１に記載の方法。

【請求項3】

前記第１アフィン変換を計算する工程は、前記マルチモーダルマーカーデバイスの複数の前記所定部分に対する前記複数のカメラの相対的な移動に対応するように前記第１アフィン変換を更新するために、前記複数のカメラによって取得される画像フレームに対して繰り返し実行され、
繰り返し計算された前記第１アフィン変換と、前記第２アフィン変換と、に基づいて、前記ディスプレイの前記視覚空間の前記グラフィック出力がリアルタイムに更新される、請求項２に記載の方法。

【請求項4】

前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの座標は、取得された前記複数の画像の各々における前記所定部分のピクセルの位置に基づいて決定され、
前記マルチモーダルマーカーデバイスは、前記複数のカメラによって取得された少なくともいくつかの画像内に見えるフィデューシャルマーカーを含み、
前記フィデューシャルマーカーは、前記複数のカメラによって取得された前記画像内で識別され、
前記マルチモーダルマーカーデバイスの複数の前記所定部分の前記座標は、識別されたフィデューシャルマーカーごとに決定される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記フィデューシャルマーカーは長方形の境界線を含み、前記長方形の境界線には、その辺同士が交わる箇所にそれぞれの角があり、前記マルチモーダルマーカーデバイスの複数の前記所定部分が前記境界線の前記それぞれの角に対応する、請求項４に記載の方法。

【請求項6】

前記複数のカメラは、前記拡張現実デバイスの前記ディスプレイに対して既知の位置にあり、視野が重なり、かつ互いに平行ではない画像を含むように前記複数の画像を取得するように構成されていて、
前記拡張現実デバイスは、前記複数のカメラと、前記ディスプレイと、を含むヘッドセットを含み、前記ディスプレイは、ユーザーの視野内で前記ディスプレイ上にホログラフの画像を重ねるように構成された頭部装着ディスプレイである、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記モデル空間は、先行する３次元術前医用イメージングモダリティの３次元空間座標系を含み、前記第２アフィン変換を決定する工程は、
術中医用イメージングモダリティの座標系を、前記モデル空間を定義する３次元医用イメージングモダリティの座標系に対応付けるための第３の変換を計算する工程と、
前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの前記推定された位置と、前記少なくとも１つのトラッキングセンサーと前記マルチモーダルマーカーデバイスの前記所定部分それぞれとの既知の関係と、に基づいて、前記トラッキングシステムの３次元座標系を前記術中医用イメージングモダリティの前記３次元座標系に対応付けるための第４のアフィン変換を計算する工程と、をさらに含む、請求項２に記載の方法。

【請求項8】

平行移動、回転、および拡大縮小のうち少なくとも１つを前記アフィン変換に適用するように構成された補正行列を適用することによって、ユーザーインプットに応答して前記アフィン変換を補正する工程と、をさらに含む、請求項１に記載の方法。

【請求項9】

請求項１～８のいずれか１項に記載の方法を実行するようにプログラムされた、１つ以上の非一過性のコンピュータ読み取り可能な媒体。

【請求項10】

それぞれの視野に対する画像を取得する複数のカメラを含む拡張現実デバイスと、
各トラッキングセンサーの位置および向きを示すセンサートラッキングデータを提供するように構成されたトラッキングシステムと、
データと、プロセッサによって実行可能な命令と、を格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体と、を含むシステムであって、
前記データは、前記複数のカメラによって取得された画像に対する拡張現実画像データを含み、各カメラは前記拡張現実デバイスの空間座標系に対して既知の位置および向きを有し、前記拡張現実画像データは、マルチモーダルマーカーデバイスの少なくとも１つの第１トラッキングセンサーに対する固定された既知の空間位置を有する前記マルチモーダルマーカーデバイスの複数の所定部分を含み、前記少なくとも１つの第１トラッキングセンサーは、その３次元位置が前記トラッキングシステムの座標系で検出可能であり、
前記命令は、
取得された前記拡張現実画像データと、前記拡張現実デバイスの前記空間座標系に対する前記複数のカメラの前記既知の位置および向きと、に基づいて、前記拡張現実デバイスの前記空間座標系に対する前記マルチモーダルマーカーデバイスの複数の前記所定部分の３次元位置を生成するコードと、
前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの前記３次元位置と、前記少なくとも１つの第１トラッキングセンサーに対する、前記マルチモーダルマーカーデバイスの複数の前記所定部分の前記既知の空間位置および向きと、に基づいて、前記トラッキングシステムの前記座標系を前記拡張現実デバイスの前記空間座標系にあるディスプレイの視覚空間に対応付けるためのアフィン変換を計算するためのコードと、
可動のオブジェクトに取り付けられ、前記トラッキングシステムの座標系で検出可能な３次元位置を有する、少なくとも１つの第２トラッキングセンサーの位置および向きを、前記拡張現実デバイスの前記空間座標系における前記ディスプレイの前記視覚空間に対応付けるために、前記少なくとも１つの第２トラッキングセンサーのトラッキングデータに前記アフィン変換を適用するためのコードと、
グラフィック出力は、前記少なくとも１つの第２トラッキングセンサーの前記トラッキングデータに前記アフィン変換を適用することに基づいて、前記ディスプレイの前記視覚空間に重ね合わされた前記オブジェクトのグラフィカル表示を含む、前記ディスプレイの前記視覚空間に前記グラフィック出力を表示するためのコードと、
を含むシステム。

【請求項11】

前記アフィン変換は第１アフィン変換であり、前記命令は、モデル空間の３次元座標系を前記トラッキングシステムの前記座標系に対応付けるための少なくとも１つの第２アフィン変換を計算するコードをさらに含み、前記データは、前記モデル空間の解剖学的内部構造に関する患者のアナトミーの少なくとも１つの３次元モデルを表すために格納された解剖学的モデルデータをさらに含み、
前記命令は、前記解剖学的内部構造についての前記患者のアナトミーの少なくとも１つの３次元モデルを前記拡張現実デバイスの前記空間座標系にある前記ディスプレイの前記視覚空間に位置同期させるために、前記第１アフィン変換と前記第２アフィン変換を前記解剖学的モデルデータに適用するためのコードをさらに含み、
前記グラフィック出力は、前記少なくとも１つのモデルのグラフィカル表示と、前記第１アフィン変換と前記第２アフィン変換それぞれと、に基づいて、前記ディスプレイの前記視覚空間に両方が重ね合わされた前記オブジェクトの前記グラフィカル表示を含む、請求項１０に記載のシステム。

【請求項12】

前記第２アフィン変換を計算する前記コードは、
術中医用イメージングモダリティの座標系を、前記モデル空間を定義する３次元医用イメージングモダリティの座標系に対応付けるための第３の変換を計算するためのコードと、
前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれの推定された位置と、前記少なくとも１つの第１トラッキングセンサーと前記マルチモーダルマーカーデバイスの複数の前記所定部分それぞれとの既知の関係と、に基づいて、前記トラッキングシステムの３次元座標系を前記術中医用イメージングモダリティの前記３次元座標系に対応付けるための第４のアフィン変換を計算するためのコードと、をさらに含む、請求項１１に記載のシステム。

【請求項13】

前記複数のカメラは、前記拡張現実デバイスの前記ディスプレイに対して既知の位置にあり、視野が重なり、かつ互いに平行ではない画像として、前記画像を取得するように構成されている、請求項１０、１１または１２に記載のシステム。

【請求項14】

前記アフィン変換を計算する前記コードは、前記マルチモーダルマーカーデバイスの複数の前記所定部分に対する前記複数のカメラの相対的な移動に対応するように前記アフィン変換を更新するために、前記複数のカメラによって取得される画像フレームに対して前記アフィン変換を繰り返し計算するようにプログラムされている、請求項１０、１１、１２または１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願へのクロスリファレンス
本出願は、２０１９年４月２４日に出願され、発明の名称を「REGISTRATION OF SPATIAL TRACKING SYSTEM WITH AUGMENTED REALITY DISPLAY（空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション）」とする米国特許仮出願第６２／８３８，０２７号と、２０１９年４月４日に出願され、発明の名称を「SPATIAL REGISTRATION OF TRACKING SYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS（２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション）」とする米国特許仮出願第６２／８２９，３９４号の優先権を主張するものであり、これらの出願各々の全体を本明細書に援用する。

【0002】

技術分野
本開示は、トラッキングシステムを拡張現実システムに対応付けるためのシステムおよび方法に関する。

【背景技術】

【0003】

拡張現実（または複合現実）とは、現実世界に存在するオブジェクトが、建設的または破壊的な感覚情報を重ねるなどして、コンピュータで作り出された知覚情報によって「拡張」された、現実世界の環境のインタラクティブな体験である。建設的な感覚情報の例としては、拡張現実（ＡＲ）ヘッドセットを使用して、コンピュータが作り出した映像を現実の物理的な環境に重ね合わせ、現実の環境に没入したように感じさせることがあげられる。しかしながら、ヘッドセットはユーザーに固定されているため、コンピュータが作り出した映像を、その場で、その環境の物理的な景色に対応付ける必要がある。これは、対応付けられる映像が、その環境で視認可能なオブジェクトを表したものではない場合に、より複雑になる。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、トラッキングシステムを拡張現実システムに対応付けるレジストレーションするためのシステムおよび方法に関する。

【0005】

一例として、本方法は、それぞれ拡張現実デバイスの空間座標系に対する位置および向きが既知である複数のカメラから画像を取得する工程を含む。取得された画像は、マルチモーダルマーカーデバイスの少なくとも１つのトラッキングセンサーに対する固定の空間位置が既知である、マルチモーダルマーカーデバイスの複数の所定部分を含んでもよい。
少なくとも１つのトラッキングセンサーは、その３次元位置がトラッキングシステムの座標系で検出可能である。また、本方法は、それぞれの取得された画像の各々と、拡張現実デバイスの空間座標系に対する複数のカメラの既知の位置および向きとに基づいて、拡張現実デバイスの空間座標系に対するマルチモーダルマーカーデバイスの複数の所定部分の３次元位置を推定する工程を含む。また、本方法は、マルチモーダルマーカーデバイスのそれぞれの所定部分の推定された３次元位置と、少なくとも１つのトラッキングセンサーに対する、マルチモーダルマーカーデバイスの複数の所定部分の既知の空間位置とに基づいて、トラッキングシステムの座標系を、拡張現実デバイスの空間座標系にあるディスプレイの視覚空間に対応付けるように構成されたアフィン変換を計算する工程を含む。

【0006】

別の例として、システムは、それぞれの視野に対する画像を取得する複数のカメラを含む拡張現実デバイスを含む。１つ以上の非一過性のコンピュータ読み取り可能な媒体が、データと、プロセッサによって実行可能な命令と、を格納するように構成されている。データは、複数のカメラによって取得された画像に対する拡張現実画像データを含み、各カメラは、拡張現実デバイスの空間座標系に対して位置および向きが既知である。拡張現実画像データは、マルチモーダルマーカーデバイスの少なくとも１つのトラッキングセンサーに対する固定の空間位置が既知である、マルチモーダルマーカーデバイスの複数の所定部分を含んでもよく、少なくとも１つのトラッキングセンサーは、その３次元位置がトラッキングシステムの座標系で検出可能である。命令は、取得された拡張現実画像データと、拡張現実デバイスの空間座標系に対する複数のカメラの既知の位置および向きと、に基づいて、拡張現実デバイスの空間座標系に対するマルチモーダルマーカーデバイスの複数の所定部分の３次元位置を生成するためのコードを含む。また、命令は、マルチモーダルマーカーデバイスのそれぞれの所定部分の３次元位置と、少なくとも１つのトラッキングセンサーに対する、マルチモーダルマーカーデバイスの所定部分の既知の空間位置および向きと、に基づいて、トラッキングシステムの座標系を拡張現実デバイスの空間座標系にあるディスプレイの視覚空間に対応付けるためのアフィン変換を計算するコードをさらに含む。

【図面の簡単な説明】

【0007】

【図1】図１は、トラッキングシステムのセンサーを拡張現実ディスプレイの空間座標系に対応付ける方法の一例を示す流れ図である。

【図2】図２は、マーカーデバイスの一例を示す図である。

【図3A】図３Ａは、マルチモーダルマーカーデバイスの一例を示す図である。

【図3B】図３Ｂは、マルチモーダルマーカーデバイスの一例を示す図である。

【図4】図４は、視覚空間の２次元画像を取得するカメラを含む拡張現実デバイスの例を示す。

【図5】図５は、アフィン変換を生成するためのシステムの一例を示す。

【図6】図６は、１つ以上のアフィン変換の使用または修正を制御するレジストレーションマネージャの一例を示す図である。

【図7】図７は、解剖学的構造の位置同期されたモデルに隣接するマルチモーダルマーカーを含む拡張現実デバイスの各々のカメラからの画像である。

【図8】図８は、解剖学的構造の位置同期されたモデルに隣接するマルチモーダルマーカーを含む拡張現実デバイスの各々のカメラからの画像である。

【図9】図９は、図１に示す方法で実行されたレジストレーションに基づいて作り出された拡張現実の視覚化の一例を示す。

【発明を実施するための形態】

【0008】

本開示は、広義には、頭部装着ディスプレイなどのＡＲディスプレイデバイスに映し出される拡張現実（ＡＲ）の視野に、１つ以上のモデルの組とトラッキングシステムとを対応付けるための方法およびシステムに関するものである。この方法では、２以上のモダリティで検出可能なフィデューシャルマーカーを含むマーカーデバイス（例えば、マルチモーダルマーカー）を利用する。例えば、マーカーデバイスは、視覚空間（例えば、ＡＲ視野）に対して位置が固定された一組のカメラによって生成される画像で見えるパターンを提供するための第１のフィデューシャルマーカーと、３次元空間トラッキングシステムによって検出可能な１つ以上の別の一組のマーカーとを含む。

【0009】

一例として、ＡＲデバイスのフレームに沿って互いに離れた前向きのカメラとして、２台以上のカメラ（例えば、デジタルグレースケールカメラ）が取り付けられる。このため、カメラは、重なる視野についての２次元画像を提供するように構成されている。このように、カメラの視野はＡＲデバイスの視野を含み、マルチモーダルマーカーデバイスの１つ以上のフィデューシャルマーカーを含むことができる。人間の目には見えない場合もあるがカメラのスペクトルには見える１つ以上のフィデューシャルマーカーに加えて、マーカーデバイスは、３次元空間トラッキングシステムによって検出可能な１つ以上の第２のフィデューシャルマーカー（例えば、１つ以上のトラッキングセンサー）も含む。第２のフィデューシャルマーカーは各々、カメラによって取得されたそれぞれの画像（例えば、リアルタイム画像）で識別可能な第１のフィデューシャルマーカーに対して所定の空間位置および向きで配置されている。

【0010】

別の例として、カメラは各々、マーカーデバイスの第１のフィデューシャルマーカーに対応するマーカーパターンを含む視野を含む画像を取得する。それぞれの画像は、各画像に含まれるパターンの所定部分（例えば、長方形の印刷されたマークの角）の位置を特定して識別するように処理される。ＡＲデバイスに対する各カメラの既知の（例えば、固定された）位置を使用して、マーカーパターンの識別された部分（例えば、点または領域）を、ＡＲシステムの３次元空間座標系すなわち、ＡＲ視野内の対応する３次元位置に変換する。

【0011】

フィデューシャルマーカーに対する１つ以上のトラッキングセンサーの位置と向きが、さらにトラッキング位置データとしてメモリに格納される。また、１つ以上のアフィン変換を事前に計算し、トラッキングセンサーを座標系と整合させることが可能であり、これも（例えば、トラッキングからモデルシステムへの変換として）メモリに格納される。一例では、事前に計算された変換は、トラッキング座標系を先行する３次元（３Ｄ）画像スキャン（例えば、施術前のスキャン）に対応付けるために事前に計算された１つ以上のアフィン変換の組である。先行する３Ｄ画像スキャンは、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴イメージング（ＭＲＩ）などの高解像度のイメージング技術であってもよく、これらは、処置の数時間前、数日前あるいは数週間前に実施されることもある。管状の解剖学的構造の中心線モデルおよび／またはメッシュモデルなど、先行する３Ｄ画像スキャンから、１つ以上のモデルを作成し、この１つ以上のモデルを、先行する３Ｄ画像の座標系に空間的に対応付けることができる。本明細書では、事前に計算されるアフィン変換を計算して、各トラッキングセンサーの位置と向きを、先行する３Ｄ画像と共通の座標系に対応付けることができる。

【0012】

別のアフィン変換（本明細書では、ＡＲアライメント変換またはゼロ変換行列とも呼ばれる）を計算し、トラッキングシステムの座標系をＡＲ座標系に整合させる。例えば、ＡＲアライメント変換は、トラッキング位置データ、ＡＲ画像データおよびトラッキングセンサー変換に基づいて決定される。トラッキングセンサー変換は、トラッキングセンサーと、マルチモーダルマーカーデバイスに統合されて空間的なオフセットが固定された１つまたは複数のフィデューシャルとの間の所定の空間的関係を定義してもよく、トラッキングシステムの座標空間におけるマーカーの所定の空間位置部分を決定できるようにする。
よって、ＡＲアライメント変換は、システムおよび方法が、トラッキングシステムによって提供される、各トラッキングセンサーの位置および向きの情報と、ＡＲシステムモダリティの座標系とを対応付けられるようにする。本明細書で開示する追加の変換をさらに利用して、他の空間ドメインからＡＲ座標系に変換し、ＡＲディスプレイで同時にレンダリングするようにしてもよい。本明細書で開示するように、ＡＲディスプレイデバイスおよびトラッキングセンサーは、患者の身体に対して相対的に移動してもよく、システムは、そのような時間の経過とともに変化するＡＲ画像データおよびトラッキングセンサーデータに基づいて、連続的に（例えば、リアルタイムで）変換を再計算することができる。

【0013】

図１は、ＡＲデバイスのＡＲビジュアルディスプレイの座標系に３次元座標系を対応付けるための方法１００の一例を示す流れ図である。一例では、方法１００は、メモリ１０１に格納されたデータに基づいて当該方法を実行するプロセッサデバイスが実行可能な、一組の機械読取可能な命令である。文脈上、方法１００は、空間的な位置と向きが別の座標系で既知である１つ以上のオブジェクト（物理的および／または仮想的なオブジェクト）を、ＡＲディスプレイの座標系と整合させるのに使用される。オブジェクトには、ＡＲデバイスの視野内で見えないオブジェクト（例えば、センサーおよび／または解剖学的内部構造を表すモデル）が含まれていてもよい。例えば、１つ以上のセンサーが、３次元トラッキングシステムで検出可能な位置と向きを有する。これらのセンサーは患者の体内に配置されているなど視界から外れている場合もあれば、マーカーデバイスの一部となっている（例えば、マーカーに埋め込まれている）場合もある。また、ＡＲデバイスの視野内で見えるオブジェクトが、ＡＲディスプレイに含まれていてもよい。

【0014】

１１４で示すように、トラッキングセンサーをモデル座標系と整合させるための１つ以上の変換１１４を事前に計算し、メモリ１０１に（例えば、センサー／モデル空間変換として）格納しておくことができる。例えば、先行する３Ｄ医用画像（例えば、術前のＣＴスキャン）の３次元空間座標系と共通の座標系にトラッキング座標系を対応付けるようにプログラムされたセンサー／モデル空間アフィン変換を、変換１１４とすることができる。術前の医用画像から着目領域についての１つ以上の解剖学的モデルを作成し、先行する３Ｄ画像の共通座標系内に対応付けることができる。本明細書で開示するように、モデルには、血管系の中心線モデルおよび表面モデルならびに、着目される他の解剖学的構造が含まれていてもよい。

【0015】

別の例として、術前ＣＴスキャンを実施して、患者の着目領域（例えば、患者の胴体）の３次元画像データを生成する。この画像データを、ＤＩＣＯＭ画像または他の既知のフォーマットとしてメモリに格納することができる。画像データを処理（例えば、セグメンテーションおよび抽出）し、本明細書で開示するモデルなど、１つ以上のモデルを作成する対象となる着目領域を含むセグメント化画像ボリュームを提供することができる。例えば、所定の患者について、３次元医用イメージングモダリティで、先行する３次元画像を術前に取得することができる。一例として、術前画像データを、対応する手術の数週間または数ヶ月前に取得し得るなど、患者の着目領域についての術前動脈ＣＴスキャンに対応させることができる。また、ＭＲＩ、超音波検査、陽電子放出断層撮影など、他のイメージングモダリティを用いて３次元画像データを提供することもできる。このようなスキャンは、プロテーゼの大きさを決定し、手術やその他の介入について計画するための手術のワークフローにおける術前計画では一般的なことである。

【0016】

いくつかの例では、術前画像データに取り込まれた１つ以上の解剖学的構造を、術前画像の座標系におけるそれぞれの３次元モデルに変換してもよい。一例として、モデルは、管状の解剖学的構造（例えば、患者の血管）を数学的に記述する非明示的モデルであり、例えば、管状構造の中心線と表面とを含む。非明示的モデルは、細長い解剖学的構造に対するロフテッドＢスプライン（基底スプライン）関数に対応するなどの小さなパラメータセットを含むことができる。一例として、本明細書に援用する、発明の名称が「Automated Centerline Extraction Method and Generation of Corresponding Analytical Expression and Use Thereof」である米国特許公開第２０１１／００２６７９３号の開示内容に従って非明示的モデルデータを計算するように、解剖学的モデル作成装置をプログラムすることができる。管状の解剖学的構造に対する非明示的モデルを作成する別の例がAnalytical centerline extraction and surface fitting using CT scans for aortic aneurysm repair, Goel, Vikash R, Master's Thesis, Cornell University (2005)に開示されており、これも本明細書に援用する。他のタイプの幾何学表現を利用して、非明示的モデルを提供することも可能である。例えば、ロフト処理した楕円や三角メッシュを表すパラメータを生成し、３次元座標系で患者の着目される解剖学的構造を表す解剖学的モデルデータを提供することができる。（術前医用イメージングモダリティによって取得された３次元先行画像データに基づいて）生成された３次元メッシュを、術前イメージングモダリティによって取得された３次元画像に加えて、またはこれに代えて、メモリ１０１に格納してもよい。メッシュは、静的な（例えば、固定された）メッシュであってもよいし、例えば、被験者の心拍や呼吸に合わせて経時的に変化するものであってもよい。例えば、メッシュモデルは、呼吸や（例えば、ＥＫＧで検出される）心拍数などの生体機能に合わせるなどして経時的に変化する３次元構成を持つように、（モデル空間内で）４次元モデルとして生成される。

【0017】

取得された術中画像データに基づいて、術中レジストレーションフェーズが実行される。術中データは、処置前に取得されたものであっても処置中に取得されたものであってもよく、術中コーンビームＣＴ（ＣＢＣＴ）スキャンまたは他の術中放射線スキャン（例えば、先に援用した米国出願第６２／８２９３９４号に開示されている非ＣＢＣＴレジストレーション法など）で得られるものなど、２Ｄ画像データまたは３Ｄ画像データを含んでもよい。術中レジストレーション（例えば、ＣＢＣＴレジストレーションまたは非ＣＢＣＴレジストレーション）は、処置の直前または最中など、マーカーデバイス（例えば、トラッキングパッド）が患者に装着されている間に実行される。例えば、マーカーデバイスは、１つ以上のトラッキングセンサーに対する位置と向きが既知である１つ以上の放射線不透過性のオブジェクトをトラッキングパッドに含み、これを用いてレジストレーション空間でのトラッキングセンサーの位置を決定することができる。すなわち、マーカーデバイスは、トラッキングシステム空間を術中レジストレーション空間に空間的に整合させるための変換（例えば、トラッキングシステム／術中変換；本明細書では、第１の変換行列とも称する）を決定できるようにする。術中レジストレーション空間とは、処置がなされる際に患者が存在する座標系であり、処置の間にＡＲデバイスとトラッキングシステムがそれぞれＡＲデータとトラッキングデータを同時に取得するのに使用される座標系である。

【0018】

術中画像の座標系を術前ＣＴスキャンと空間的に整合させるために、別の変換が決定される（例えば、術中／術前変換；本明細書では、第２の変換行列とも称する）。例えば、ＣＢＣＴスキャンの骨を術前のＣＴスキャンの骨に合わせるために、手動でレジストレーションが行われる。あるいは、自動化または半自動化されたレジストレーション処理を行ってもよい。このように、術中／術前変換を行うことで、術中の画像空間と術前のＣＴ座標空間とを空間的にマッピングすることができる。術中／術前変換を（例えば、行列の乗法によって）トラッキングシステム／術中変換と組み合わせ、トラッキングシステムの座標系から術前画像の座標系への空間的なレジストレーションを可能にするトラッキングシステム／術前変換１１４を提供してもよい。例えば、トラッキングシステム空間内の任意のセンサーの位置と向き（例えば、トラッキングシステムからのトラッキングセンサーデータ１２０）を、まずは（例えば、トラッキングシステム／術中変換を使用して）トラッキングシステム空間から術中空間にマッピングし、次に（術中／術前変換を使用して）術中空間から術前空間にマッピングすることが可能である。上述したように、トラッキングシステム／術中変換と術中／術前変換を組み合わせ、トラッキングシステム／術前変換１１４を提供することができる。

【0019】

本明細書で開示するように、マルチモーダルマーカーデバイスは、共通の固定構造に統合された、１つ以上の「見える」フィデューシャルマーカー（例えば、図２参照）と、１つ以上のトラッキングセンサー（例えば、図３Ａおよび図３Ｂ参照）とを含む。マーカーデバイスの固定構造は、フィデューシャルマーカーとトラッキングセンサーとが３次元空間で既知の空間的関係と向き（例えば、固定の空間オフセット）になるようにするものである。この関係については、１１２で示したトラッキングセンサーデータとして、メモリに格納可能である。マルチモーダルマーカーのフィデューシャルマーカーは、ＡＲデバイスに対して位置が固定されたそれぞれのカメラ（例えば、図４参照）によって取得される画像で見える１つ以上のマーカーパターン（例えば、図２参照）を含む。これらの画像は、可視光スペクトルでのものであってもよいし、１０２でカメラが取得した画像にとらえることができる可視光スペクトル以外の別のスペクトル（例えば、赤外線）でのものであってもよい。ＡＲデバイスの座標に対する各カメラの位置と向きを、１０８で示されるカメラ位置データとして、メモリ１０１に格納可能である。一例として、カメラを、ＡＲデバイスのディスプレイのフレームのそれぞれの定位置（例えば、頭部装着ディスプレイの前面に沿って互いに離れた位置）に取り付けられた一組の前向きカメラとして実装することができる。

【0020】

別の例として、マーカーデバイスは、トラッキングシステムの座標系における３次元位置を示すように構成された１つ以上のセンサーを含む。例えば、トラッキングシステムは、電磁場を発生させる電磁トラッキングシステムである。各センサーは、電磁場に基づいてセンサー信号を提供し、このセンサー信号が各センサーの位置と向きの情報に変換される。電磁場トラッキングシステムの一例が、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されている。トラッキングシステムは、各センサーがセンサー位置を実質的にリアルタイムで決定する（例えば、センサーの位置と向きとを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータを提供することができる。このように、トラッキングシステムは、トラッキングデータの各フレームを、このトラッキングデータがトラッキングシステムで取得されるリアルタイムのトラッキングデータを同じように表すことができるような方法で、処理することができる。これは、本明細書で開示するようなイメージングシステムの座標系に対応付けることが可能なものである。いくつかの例では、各センサーをトラッキングシステムで検出し、センサーを５または６の自由度で追跡できるようにすることができる。他の例では、他のタイプのセンサーとトラッキングシステムを使用してもよい。

【0021】

この例示的な文脈では、１０２において、本方法は、ＡＲデバイス（例えば、ＡＲヘッドセット３０８）に取り付けられたカメラの各々から画像を取得することを含む。カメラは各々、重なり合った視野についてそれぞれの画像を取得するように構成されてもよい。
例えば、ＡＲデバイスが２つのカメラを含む場合、第１および第２の画像を取得する。カメラのネイティブサンプルレートまたはその倍数に相当するイメージングサンプルレートで、時間の経過とともに画像を取得し、継続的に更新してもよい。この例の目的のために、１０２で取得された画像には、マルチモーダルマーカーの少なくとも１つのフィデューシャルマーカーが含まれ、そのマーカーは、患者の身体に隣接して配置されているか、または取り付けられていると推定される。

【0022】

１０４では、１０２で取得された各々の画像でフィデューシャルマーカーを識別するために、（例えば、マーカー識別機能４４４によって）画像処理を実行する。サンプル時間ごとの画像の総数はいくつでもよく、各カメラ１つである。一例として、「見える」フィデューシャルマーカーは、ＡｒＵｃｏマーカー（例えば、Open Source Computer Vision Library: http://opencv.orgを参照のこと）の形態で、マーカーデバイスの表面に設けられる。このようなフィデューシャルマーカーの例を、図２、図３Ａ、図４に示す。このように、画像処理アルゴリズム（例えば、OpenCVライブラリのdetectMarkers()関数）をインプリメントし、１０４でそのようなフィデューシャルマーカーをそれぞれ検出して識別してもよい。異なるタイプのマーカーを使用する例では、他の画像処理技術を使用してマーカーの位置を特定してもよい。１０４でのマーカーの識別は、完全自動であってもよいし、マーカーを識別するユーザー入力に応答するユーザーインタラクティブなものであってもよい。識別されたマーカー（例えば、それぞれの画像におけるピクセル位置）を、後の処理のためにメモリ１０１に格納してもよい。

【0023】

１０６では、ＡＲデバイスの座標系に対して、フィデューシャルマーカーのそれぞれの所定部分の３次元位置を（例えば、マーカー点生成器４４６によって）推定する。３次元位置は、それぞれの画像（１０４で決定）におけるそのような所定部分の位置に基づいて、また、ＡＲカメラ位置データ１０８に基づいて決定される。なお、１０２でカメラから取得された画像に表現されるフィデューシャルマーカーは、長方形状（または他の識別可能な形状）でその辺同士が交わる箇所に角があるマーカー境界線を含むパターンであってもよい。また、カメラから見えるＡｒＵｃｏタイプのマーカーを含む組合せマーカーの例では、各マーカーの角のそれぞれについて、空間座標すなわち、各トラッキングセンサーを囲む一組の４つの点の座標を生成することができる。さらに、ＡｒＵｃｏタイプのフィデューシャルマーカーの表現を含む各画像でのそれぞれの角の位置を、本明細書で開示するようにして決定することができる（例えば、図４に関連する説明を参照のこと）。図４および対応する説明は、そのようなフィデューシャルマーカーのそれぞれの角の位置を、ＡＲ空間の３次元座標でどのように特定するかという一例を示すものである。

【0024】

１１０では、トラッキングシステムの座標系をＡＲ座標系に合わせるために、（例えば、ゼロ変換計算器４６２によって）アフィン変換を計算する。１１０で計算された変換を、（例えば、ゼロ変換行列４１０に対応する）メモリ１０１に格納してもよい。このように、１１０で生成されたアフィン変換を直接適用し、トラッキングシステム空間のトラッキングデータをＡＲ座標空間に対応付けるおよび／またはＡＲ座標空間のＡＲデータをトラッキングシステム空間に対応付けるようにしてもよい。１１０で決定されたアフィン変換は、１０６で決定されたマーカーの所定部分に対する推定位置と、トラッキングセンサーデータ１１２とに基づいて作成することが可能なものである。上述したように、トラッキングセンサーデータ１１２は、マーカーデバイスのトラッキングセンサーとマーカーの所定部分との間の固定された既知の３次元空間的関係を表すことができる。一例として、マーカーの所定部分とセンサーとの間の固定された関係を製造時に決定し、マーカーに印刷してもよい。別の例として、関係を測定し、１１０で変換を決定するようにプログラムされたコンピュータに（例えば、ユーザーインタフェースを介して）入力してもよい。

【0025】

１１６では、１１０で決定されたアフィン変換だけでなく１つ以上の他の変換１１４を１つ以上のモデル（例えば、３Ｄメッシュ構造）と（１つ以上のセンサーの）トラッキング位置データに適用し、そのようなモデルとセンサーをＡＲディスプレイの座標系に配置する。高解像度の術前ＣＴスキャンからモデルを得るときの例では、ＡＲデバイスで使用される各モデル（例えば、中心線モデル、表面メッシュモデル）は、当然に術前の座標空間で表現される。このようなモデルを、ＡＲディスプレイで現実世界のオブジェクトと重なるように適切な位置に配置するために、１１０で決定されたアフィン変換を１つ以上の他の変換１１４と組み合わせ、ＡＲデバイスが現在使用されているＡＲ座標系にマッピングする。他の変換１１４には、術中画像の座標系とトラッキングシステムの座標空間との間で対応付けを行うようにプログラムされた第１の変換（例えば、第１の変換行列４１２）を含んでもよい。これに加えてまたはこれに代えて、他の変換１１４には、術中画像の座標系と先行する３Ｄ画像の座標系（例えば、術前画像空間）との間で対応付けを行うようにプログラムされた第２の変換（例えば、第２の変換行列４１４）を含んでもよい。方法１００が１１６で変換１１０と１１４の各々を適用する（またはその逆）特定の方法は、最終的な視覚空間と、そのような視覚空間に位置同期されるデータのドメインとに依存する。ドメインは、ドメインを記述するデータまたはメタデータの種類に基づくなどして自動的に認識されてもよいおよび／またはユーザー入力に応答してユーザーが指定してもよい。以下の例では、視覚空間がＡＲ座標系であることを前提としている。

【0026】

１１８では、ＡＲ視野をＡＲディスプレイに表示する。これは、方法１００をモデルと他の入力データに適用することで決定された３Ｄ空間位置にある現実世界のオブジェクトと重なる（例えば、グラフィカルに重ね合わされる）位置にある、コンピュータが作成したモデルを含んでもよい。本方法は１１８から１０２に戻り、１０２で取得された画像の変化に基づいて１１０でアフィン変換を更新すべく繰り返される。このように、ＡＲ視野（例えば、ホログラム）がリアルタイムで継続的に更新されるため、患者の体内の解剖学的構造が実際には見えない場合であっても、ＡＲディスプレイで生成されるホログラムが、そのような構造と空間的および時間的に整合する。本明細書で開示するように、例えば、方法１００は、（現実世界では見えない）解剖学的内部構造を、患者の身体に対して移動している可能性があるＡＲディスプレイの空間座標系で、患者の身体と整合させるように動作する。好都合なことに、方法１００を実施することによって、１１０で計算された変換は、１０２で取得された画像の変化する情報に応じて変化するが、他の変換（変換１１４を含む）については、付随する計算をリアルタイムでより効率的に実行できるように変化させなくてもよい。

【0027】

一例として、１１８での出力の視覚化をＡＲ空間ドメインでレンダリングするにあたり、複数の変換（例えば、inv(T0)*inv(T1)*inv(T2)）を適用して骨と血管系のモデル（例えば、先行する３Ｄ画像空間から作られたもの）をＡＲディスプレイにレンダリングすることができる。ＥＭ空間で追跡されるもの（カテーテル、ガイドワイヤーなど）には、単一の変換（例えば、inv(T0)）が適用されることになろう。一例として、先行する３Ｄ画像空間で視覚化をレンダリングする場合、骨と血管系のモデル（術前のＣＴ画像空間にある）には変換を適用する必要がないのに対し、トラッキングシステム空間で追跡されるもの（例えば、カテーテル、ガイドワイヤーなど、１つ以上のトラッキングセンサーを有するオブジェクト）には、適用される変換が２つある（例えば、T1*T2）ことになろう。例えば、本明細書で開示するように、ある空間ドメインから別の空間ドメインにデータをマッピングするために、行列の乗法による変換を適用してもよい。

【0028】

別の例として、ＡＲデバイス（例えば、ＡＲデバイス３０８）を、ＡＲヘッドセット（例えば、Microsoft社のHololensまたはHololens2、あるいは他のスマートグラス）として実装しもよい。そのようなＡＲヘッドセットでは、ＡＲデバイスは、周囲の環境のマップを常に精緻なものとしている。その結果、ＡＲ視野で生成されるホログラムが元の位置から「ドリフト」する傾向がある。この「ドリフト」は、医療用途など、正確な位置合わせが必要な場合に問題となることがある。したがって、方法１００は、ＡＲヘッドセットの前向きのカメラから画像ストリームとして提供される１０２での取得画像に基づいて、１１０での変換を継続的に更新する。さらに、平行ではない２つのカメラを使用することで、計算効率の高い三角測量によって（ＣＰＵ負荷を低減して）マーカーの角の位置を正確に推定し、常に更新することができる。これによって、再レジストレーションを必要とせずに「ドリフト」を補正することができる。

【0029】

図２は、フィデューシャルマーカー２００の一例を示す。この例に示すように、このマーカーは黒と白の色（例えば、二値）を含み、周縁全体の各辺に沿って太くて黒い長方形（例えば、正方形）の境界線２０２を含む（例えば、ピクセル１つ以上の厚さなどの厚さ「ｔ」を有する）。マーカー２００には、内側に、ＡｒＵｃｏライブラリによるものなど、マーカーと関連付けられる向きおよび／または他の識別的な特徴を定義するのに使用できる白色の記号２０４および２０６が含まれる。

【0030】

図３Ａおよび図３Ｂは、マルチモーダルマーカーデバイス２５０の一例を示す。マルチモーダルマーカーデバイス２５０は、（例えば、１０２での）第１の画像および第２の画像の取得時に、患者の近く（例えば、患者の隣または患者の上）に配置することができるものである。例えば、マルチモーダルマーカーデバイス２５０を、施術時に、目視で邪魔にならない面（例えば、病院のベッドの上）に配置したり、患者の身体に取り付けたりすることが可能である。図３Ａは、フィデューシャルマーカー（例えば、図２のマーカー）２５４を白色の境界線２５６より内側に配置して、白い境界線とフィデューシャルマーカーの太くて黒い境界線２５８（例えば、点線と白い境界線２５６との間にある）との間にコントラストを持たせたマーカー２５０の一方の側面２５２を示している。記号２６０および２６２は、黒い境界線２５８から離れてフィデューシャルマーカー上にある。

【0031】

図３Ｂの例は、他の側面２６８を示す同じマーカー２５０からの図である。図３Ｂでは、１つ以上のトラッキングセンサー（例えば、電磁センサー）２７０が、フィデューシャルマーカー２５４の角２６４に対して既知の位置と向きで、マーカーデバイス２５０に取り付けられている。一例では、１つ以上のセンサー２７０は、それぞれ複数の自由度（ＤＯＦ）を空間的に検知することができる。例えば、１つ以上のセンサー２７０を、６つのＤＯＦを検知するように構成することができる。一例では、本明細書で開示するような電磁トラッキングシステムを使用して、センサー２７０の位置を特定することができる。トラッキングシステムを用いることで、電磁場に応答してセンサーからトラッキングシステムに提供されるものなどのセンサー信号に基づいて、各センサー２７０の位置と向きを決定することができるようになる。

【0032】

図４は、平行ではない複数の視野角からフィデューシャルマーカー３０２の２次元画像を取得するのに使用できるカメラシステム３００の概略例を示す。例えば、カメラシステム３００は、ＡＲヘッドセット３０８のフロントパネルに組み込まれた一対の前向きのカメラ３０４および３０６を含む。例えば、スペクトルの可視部分でオブジェクトの画像を取得するために、カメラ３０４および３０６をデジタルグレースケールカメラとして実装してもよい。他の例では、カメラ３０４および３０６が可視スペクトルの外側の画像を取得してもよく、フィデューシャルマーカー３０２は、ユーザーの目に見えなくてもよい。
カメラ３０４と３０６がヘッドセットまたは他のポータブルデバイス３０８に取り付けられているため、それぞれのカメラによって取得された画像が、ユーザーの動きに応じて時間の経過とともに変化する可能性がある。例えば、ＡＲヘッドセット３０８を装着したままユーザーの頭が動くと、視野角もそれに応じて動くため、それぞれの画像におけるフィデューシャルマーカーの位置が変化する。

【0033】

例として、レジストレーションは、カメラ３０４および３０６を各々理想的なピンホールカメラとしてモデリングすること（例えば、歪みがないと仮定するなど）によって行われる。このとき、以下のような透視変換を用いて３Ｄ点を画像平面に投影することによって、得られる画像の各ピクセルが形成される。
［数１］

ここで、Ｘ、Ｙ、Ｚは、共通座標系における３D点の座標である。
ｕおよびｖは、カメラ画像内の投影点の座標をピクセルで表したものである。
ｆｘおよびｆｙは、ピクセル単位での焦点距離である。
ｃｘおよびｃｙは、ピクセル単位での画像中心である。
ｒ＃＃およびｔ＃は、共通座標系におけるカメラの位置と向きをそれぞれ定義する。

【0034】

ベクトルｖ１またはｖ２を作成するために、フィデューシャルマーカー３０２（例えば、ＡｒＵｃｏタイプのマーカー）の角がｕおよびｖとして画像内に配置される。式の残りの値については、すでにわかっている空間位置に基づいて埋めることができ、焦点距離（例えば、カメラとそれぞれの角の位置との間の距離）でＸとＹについて式の解が求められる。その上で、この新しい位置からカメラの位置（ｐ１またはｐ２）を減算することで、ベクトルが計算される。例えば、点ｐ１およびｐ２は、ヘッドセット３０８の位置に基づいて定義される。カメラの焦点距離は、デバイスのキャリブレーション時に測定される。

【0035】

次に、２つのベクトルｖ１とｖ２の交点（または最接近）を見つけることで、マーカー３０２の角の３Ｄ位置を計算することができる。共通の座標系におけるＡｒＵｃｏマーカーの位置と向きについては、それぞれの画像でフィデューシャルマーカーに対して識別された４つの角の位置すべてについて、このプロセスを繰り返すことによって計算される。
例として、２つのベクトルの交点（または最接近）を、以下の擬似コードで計算することができる。
［数２］
vector ClosestPoint(vector p1, vector v1, vector p2, vector v2)
{
// 方向ベクトルを正規化
v1 = normalize(v1);
v2 = normalize(v2);

// ベクトルが一致しない（平行でない）ことを確認
float projDir = dot_product(v1, v2);
if (absolute_value(projDir) > 0.9999f)
{
// ベクトルがほぼ一致（平行）
return p1;
}

// 最も近い点を計算
float proj1 = dot_product(p2 - p1, v1);
float proj2 = dot_product(p2 - p1, v2);
float dist1 = (proj1 - (projDir * proj2)) / (1 - (projDir * projDir));
float dist2 = (proj2 - (projDir * proj1)) / ((projDir * projDir) - 1);
vector pointOnLine1 = p1 + (dist1 * v1);
vector pointOnLine2 = p2 + (dist2 * v2);
return linear_interpolate(pointOnLine1, pointOnLine2, 0.5f);
}

【0036】

このように、マーカーの角の推定位置（例えば、１０６で決定される）とそれぞれの変換（例えば、１１０で決定される）とを使用して、ＡＲの視野内で１つ以上の視覚化をレンダリングできるようにすることができる。

【0037】

一例として、本明細書で開示するように生成された変換を、レジストレーションエンジン（例えば、レジストレーションマネージャ４９４）によって実現し、１つ以上のトラッキングセンサーからのトラッキングデータをＡＲ視覚座標系に対応付けて、対応付けられたトラッキングデータを提供することができる。ＡＲデバイスまたはＡＲデバイスがリンクされているコンピュータで実行される出力生成器（例えば、出力生成器５１２）は、対応付けられたトラッキングデータとモデルデータとを使用して、ディスプレイ（例えば、ディスプレイ５１０）にグラフィカルにレンダリングされる対応した出力視覚化を提供することができる。その際、モデルは、患者の身体の上に位置するＡＲ視覚空間でホログラフィックオーバーレイとして視覚化される。

【0038】

図５は、アフィン変換を生成するためのシステム４００の一例を示す。この例では、アフィン変換は、本明細書で開示するように、トラッキングデータ、モデルおよび画像データを対応付けるための変換行列４１０、４１２および４１４として示されている。システム４００は、データおよび命令の文脈で説明されており、プロセッサは、データにアクセスし、命令を実行して、本明細書で開示する機能を実行することができる。このシステムを実装するために、すべての機能が必要になるとは限らないことを理解されたい。例えば、異なる変換行列をそれぞれ別に生成してもよい。これによって、イメージングモダリティが変更されたり、別の手段で置き換えられたりしたときに、システム全体を変更する必要がないという利点が得られる。

【0039】

図５の例では、システム４００は、ゼロ変換行列（Ｔ０）４１０を生成するプログラムコードを実行するように構成されている。変換行列Ｔ０は、トラッキングシステム４２４のトラッキングシステム座標系からＡＲデバイスのＡＲ座標系および／またはＡＲ座標系からトラッキング座標系へ変換するように構成されてもよい。本明細書で開示するように、ＡＲデバイスは、２台以上のＡＲカメラ４４０を含む。例として、ＡＲデバイスは、ＡＲヘッドセット、スマートフォン、タブレットコンピュータまたは他のモバイルデバイスとして実装されてもよい。カメラ４４０は、ＡＲデバイスに組み込まれていてもよいし、そうでなければ結合されていてもよいし、ＡＲデバイスに対して既知の位置にあってもよい。各カメラ４４０は、マルチモーダルマーカーデバイス（例えば、マーカーデバイス２５０）の少なくとも１つのＡＲマーカー４３６であってもよいなど、それぞれの視野４４３に対してＡＲ画像データを提供する。トラッキングシステム４２４は、１つ以上のマーカートラッキングセンサー４３４および／またはオブジェクトトラッキングセンサー４３８の位置と向きを表すトラッキングデータ４２６を提供するように構成されている。

【0040】

例えば、組合せマーカーシステム４３２（例えば、図３Ａ、図３Ｂまたは図４の１つ以上のマルチモーダルマーカーデバイスを含む）を、患者の身体４３０に取り付けるか、患者の身体の近くに配置することができる。図５の例では、組合せマーカーシステム４３２は、トラッキングシステム４２４の座標系で各々のマーカーデバイスの位置と向きを表すマーカートラッキングデータを提供する１つ以上のマーカートラッキングセンサー４３４を含むことができる。一例では、１つ以上のオブジェクトセンサー４３８を、患者の身体４３０の中で移動可能なオブジェクトに対して貼り付けて、トラッキングシステムの座標系における当該センサーの位置を識別することができる。例えば、各マーカートラッキングセンサー４３４は、トラッキングシステム４２４のフィールドジェネレータが発生させる電磁場に応答する信号（例えば、誘導電流）を提供する。このようなオブジェクトセンサー４３８を各々、患者の身体４３０の中で移動可能なオブジェクト（例えば、ガイドワイヤー、カテーテルなど）に貼り付けてもよい。このように、オブジェクトトラッキングセンサー４３８は、信号をトラッキングシステム４２４に提供することもでき、それに基づいて、トラッキングシステム４２４がトラッキングシステム座標系における当該センサー（およびそれが取り付けられているオブジェクト）の位置と向きを表す対応のトラッキングデータを計算することができる。上述したように、トラッキングデータ４２６は、マルチモーダルマーカーシステム４３２のマーカートラッキングセンサー４３４の位置と向きのみならず、それぞれのオブジェクトトラッキングセンサー４３８の位置と向きも表す。

【0041】

例として、トラッキングシステム４２４は、４２８で示される非電離場を提供する送信機（例えば、電磁場発生器）を含むことができる。この電磁場は、対応するセンサー信号をトラッキングシステムに提供するために、各センサー４３４および４３８によって検出される。例示的なトラッキングシステム４２４のひとつに、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されているＡＵＲＯＲＡ空間測定システムがある。トラッキングシステム４２４は、各センサーがセンサー位置を実質的にリアルタイムで決定できるようにする（例えば、センサーの位置と向きを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータ４２６を提供することができる。本明細書で開示するように、生成された変換４１０、４１２および／または４１４のうちの１つ以上を適用して所与の空間ドメインでグラフィカルな表現を作り出すことができるようにすることで、別の座標系に対応付けが可能なトラッキングシステムによって取得されるリアルタイムのトラッキングデータを、トラッキングデータによって同様に表すことができるように、トラッキングデータの各フレームをシステム４２４のトラッキング処理サブシステムによって処理することができる。トラッキングシステム４２４は、センサーが取り付けられているオブジェクトのみならず組合せマーカーシステムについても視覚化とリアルタイムの位置決めの計算を可能にするために、トラッキングデータ４２６を出力サンプルレートで提供することができる。

【0042】

ゼロセンサー変換４６０は、トラッキングデータ４２６を、本明細書で開示するようなそれぞれのマーカーデバイスに実装されたＡＲマーカー４３６の位置に変換するように構成されている。変換４６０は、各々の位置を、トラッキングシステムの座標空間における３Ｄ空間座標として提供し、マーカーデバイスがトラッキング空間で移動しない場合には固定のままであってもよく、マーカーデバイスがトラッキング空間で移動する場合には時間の経過とともに変化してもよい。例えば、トラッキング座標系において、所定のマーカーデバイスのＡＲマーカーは各々、マーカーシステム４３２の所定のマーカーデバイスの一部であるマーカートラッキングセンサー４３４の位置から、決まった既知のオフセット（例えば、３Ｄベクトル）のところにある。上述したように、マーカーシステムは、ＡｒＵｃｏタイプ（例えば、デバイス２５０）などの複数のマルチモーダルマーカーデバイス、あるいは本明細書で開示するような他のマーカー構成を含んでもよい。

【0043】

一例として、センサー変換４６０は、トラッキングデータ４２６と、所定のマーカー位置に対する各トラッキングセンサーの既知のオフセットとに基づいて、トラッキングシステム空間内の点（例えば、マーカー位置の３Ｄ座標）を計算するように構成されている。
ＡｒＵｃｏタイプのマルチモーダルマーカーデバイスの例では、本明細書で開示するような、マーカーの角にある一組の４つの点（例えば、emPoint_1, emPoint_2, emPoint_3, emPoint_4）をマーカー位置にすることができる。例えば、所定のマーカーデバイスに対して、以下のようにして、トラッキングセンサーの３Ｄ座標を含むセンサー変換（ＴＳ）とそれぞれのオフセットとを乗算することによって、トラッキングデータ４２６を提供するセンサーを有するＡｒＵｃｏタイプのマーカーデバイスの一組のマーカー位置について、トラッキングシステム空間内の点を計算すればよい。
［数３］
emPoint_1 = mult(TS, offset_1),
emPoint_2 = mult(TS, offset_2),
emPoint_3 = mult(TS, offset_3),
emPoint_4 = mult(TS, offset_4)
ＡＲマーカー４３６についてセンサー変換４６０によって決定された点を、それぞれのマーカーデバイス（複数のマーカーデバイスがある場合）についての一組の点に配置してもよいし、すべての点を含む単一の組として配置してもよい。

【0044】

上述したように、各ＡＲカメラ４４０は、ＡＲ視野４４３についてのＡＲカメラデータ４４２を提供する。例えば、ＡＲ視野４４３には、１つ以上のマーカートラッキングセンサー４３４も含むマルチモーダルマーカーデバイスの露出面にあるような、１つ以上のＡＲマーカー４３６が含まれていてもよい。このようにして、センサー変換４６０は、ＡＲカメラデータ４４２によって表される画像で見える同一のＡＲマーカー上の点について、トラッキング座標系における３Ｄ空間座標を提供する。

【0045】

別の例として、システム４００は、ＡＲ画像データ４４２で提供される各画像フレームにおける各マーカー（例えば、ＡｒＵｃｏマーカーまたは他のタイプのマーカー）の位置を特定するように構成されたマーカー識別機能４４４（例えば、１０４での識別に対応するような実行可能な命令）を含む。ＡｒＵｃｏタイプのマーカーを含む組合せマーカーの例では、機能４４４は、ＡｒＵｃｏ検出機能を呼び出して、それぞれのマーカーの位置を特定することができる。ＡｒＵｃｏタイプのマーカー以外のマーカーを含む組合せマーカーの例では、ＡＲ画像４４２の画像ピクセルに適用される画像閾値のみならず他の画像処理技術（例えば、特徴抽出）も用いて、当該マーカーの周辺または他の特徴の位置を特定すればよい。マーカー識別機能４４４は、完全自動であってもよい。識別されたマーカー（例えば、それぞれの画像内のピクセル位置）を、後の処理のためにメモリに格納してもよい。

【0046】

マーカー点生成器４４６は、画像データ４４２によって提供される（例えば、２つ以上の）画像で識別される各マーカーの部分に対する空間座標を生成するようにプログラムされている。ＡｒＵｃｏタイプのマーカーを含むマーカーデバイスの例では、各マーカーの角についての空間座標すなわち、一組の４つの（例えば、トラッキングセンサーに対して既知の相対的な位置を囲むか、そうでなければ有する）点の座標を生成することができる。一例として、例えばマーカー点生成器は、本明細書で開示するような最近接点関数（例えば、ClosestPoint()関数）を実行し、マーカーデバイスのそれぞれのトラッキングセンサーの周囲にある一組の点の位置を特定するようにプログラムされている。所与のＡＲマーカー４３６についての各組の点を、それぞれのマーカートラッキングセンサー４３４とリンクさせて関連付け、変換行列４１０の生成を容易にすることができる。

【0047】

ゼロ変換計算器４６２は、ＡＲ空間ドメインでマーカー点生成器４４６によって提供された点（空間座標）とトラッキング空間ドメインでゼロセンサー変換機能４６０によって提供された点（空間座標）とに基づいて、ゼロ変換行列４１０を計算するようにプログラムされている。このように、これらの点は、異なる座標系でＡＲマーカーの同一の部分を表す。例えば、変換計算器４６２は、空間座標系の各々で測定された複数組の点を位置合わせする（例えば、位置同期させる）ようにプログラムされている。それぞれのドメイン（例えば、トラッキングシステム座標系およびＡＲ座標系）の点を位置同期させるために変換計算器４６２によって実現されるそのような位置同期アルゴリズムの例には、誤差最小化関数または基底変換関数が含まれていてもよい。

【0048】

一例として、変換計算器４６２は、誤差最小化関数をインプリメントするようにプログラムされている。順序付けられた一組の点が与えられると、変換計算器４７８は、投影されるＡＲ位置と実測位置との間の距離を最小化する未知の変換Ｔ０を決定することになる。例えば、Ｔ１について、変換計算器４６２は、以下のように、点間の距離を最小化する変換を見つけるようにプログラムされている。
［数４］
sum(n = 1..i, distance(mult(T1, arPoint_n), emPoint_n)^2)
ここで、ｎは、ｉ個の点のうち、所与の１つを示す（ｉは、所与のマルチモーダルマーカーの点の数である）。
arPoint_nは、点ｎのＡＲ画像空間における空間座標である。
emPoint_nは、点ｎのトラッキング空間における空間座標である。
一例として、単一値分解または任意の数の誤差最小化アルゴリズムによって、誤差最小化の解を得ることができる。

【0049】

別の例として、変換計算器４６２は、基底変換関数をインプリメントしてゼロ変換行列４１０を導くようにプログラムされている。ＡＲマーカーがＡｒＵｃｏマーカーである例では、ＡＲマーカーの角は、一組の基底ベクトル（座標空間を定義するｘ，ｙ，ｚ単位のベクトル）を生成できるように配置されている。例えば、変換計算器４６２は、誤差を最小化するのではなく、両方の座標系で基底ベクトルを求め、これらを共通の点に適用するようにプログラムされている。これは、上述した誤差最小化手法よりも計算効率がよいが、点を特定の配置にしなければならない。

【0050】

例えば、基底ベクトルを明確に定めるのに必要な配置は、９０度の角度をなす３つの点であり、どの点がどれであるかを識別できる十分な追加情報（例えば、３つの点によって作られる三角形の辺の長さが異なるなど）が必要である。図２、図３Ａ、図４に示すＡｒＵｃｏタイプのマーカーには、このような基底変換関数を利用できるだけの点の配置がある。

【0051】

各座標系において、変換計算器４６２は、３つの点から基底ベクトルを構築する。例えば、point_1、point_2、point_3（例えば、直角三角形の頂点）が与えられると、point_2からpoint_1への１つのセグメントと、point_2からpoint_3への別のセグメントの２つのセグメントが提供される。これらのセグメントは、直角三角形の辺である。これらの点と線分から、以下の基底ベクトルが得られる。
［数５］
basis_z = normalize(point_1 - point_2)
basis_x = normalize(point_3 - point_2)
basis_y = cross(basis_x, basis_z)

【0052】

基底ベクトルから、変換計算器１６２は、point_2の位置と向きを定義する行列（例えば、４×４行列）を以下のように生成するようにプログラムされている。
［数６］
[ basis_x.x, basis_y.x, basis_z.x, point_2.x,
basis_x.y, basis_y.y, basis_z.y, point_2.y,
basis_x.z, basis_y.z, basis_z.z, point_2.z,
0, 0, 0, 1]

【0053】

各座標系でその行列が定義された状態で、変換計算器４６２は、２つの座標系の間の変換行列４１０を計算することができる。例えば、変換行列Ｔ０について、
ar_Matrixは、ＡＲ座標系の基底ベクトルから定義される行列であり、
em_Matrixは、トラッキング座標系の基底ベクトルから定義される行列である。
以上より、変換計算器４６２は、基底ベクトルのトラッキング行列（em_Matrix）と基底ベクトルのＡＲ行列の逆行列（inv(ar_Matrix)）とを乗算することで、例えば以下のように変換行列（Ｔ０）４１０を決定することができる。
［数７］
T0 = mult(em_Matrix, inv(im_Matrix))
変換行列４１０をメモリに格納し、トラッキングシステム空間からＡＲディスプレイ空間への変換に使用してもよい。例えば、トラッキングデータの位置と向きの情報に変換Ｔ０を適用することによって、トラッキングデータ４２６によって表される、患者の体内にあるオブジェクトセンサー４３８の位置を、ＡＲ空間に対応付けることができる。上述したように、変換Ｔ０については、ＡＲマーカーに対するＡＲカメラの視野の動きを補償するようにおよび／またはマルチモーダルマーカーが（例えば、患者の身体またはＡＲカメラに対して）移動した場合に、リアルタイムで継続的に更新することができる。いくつかの例では、システム４００は、追加の変換行列４１２および／または４１４を生成し、ＡＲディスプレイの座標系のみならず他の座標系でも追加のデータの位置同期と視覚化を可能にするように構成されてもよい。他の例では、他の変換行列４１２および／または４１４を事前に計算してもよいし、生成しなくてもよい。

【0054】

図５の例では、システムは、第１の変換行列（Ｔ１）４１２を生成するように構成されている。変換行列Ｔ１は、トラッキングシステム４２４のトラッキングシステム座標系から医用イメージングモダリティ４５６の座標系（例えば、フルオロスコピーやＸ線などの２Ｄイメージングシステム）へおよび／または医用イメージングモダリティの座標系からトラッキング座標系へと変換するように構成されてもよい。一例では、マーカーシステム４３２は、マーカートラッキングセンサー４３４を含む１つ以上のマーカーデバイスを含み、これを、トラッキングシステム４２４が当該トラッキングセンサーのトラッキングデータ４２６を計算し、トラッキングシステム４２４の座標系における患者の身体４３０の動きに対応することができるように患者の身体４３０に取り付けることができる。

【0055】

いくつかの例では、例えば変換行列４１０および／または変換行列４１２を生成する目的で、オブジェクトトラッキングセンサー４３８および対応するトラッキングデータ４２６を無視（または省略）してもよい。他の例では、オブジェクトトラッキングセンサー４３８を、患者の身体４３０に対して既知の位置（例えば、患者の体内または体外の既知の解剖学的ランドマーク）に配置し、（例えば、トラッキングデータ４２６によって提供される）トラッキングシステム空間ドメインと、（例えば、術中画像データ４７２の）１つ以上のイメージングモダリティの空間ドメインの両方で追加のデータポイントを提供してもよい。ただし、センサーが配置されている場所が、そのようなデータを生成するモダリティによって提供される生成された画像内で見える場合に限る。一例では、術中医用イメージングモダリティ（例えば、フルオロスコピーまたは他のＸ線）が、変換行列（Ｔ１）４１２の生成を容易にするのに使用できる画像データ４７２（例えば、オブジェクトトラッキングセンサー４３８の既知の位置を含む）を提供する。

【0056】

第１のセンサー変換４７０は、トラッキングデータ４２６を、本明細書で開示するようなそれぞれのマーカーデバイスに実装された放射線不透過性のオブジェクトの位置に変換するように構成されている。各々の位置は、トラッキングシステムの座標空間における３Ｄ空間座標であり、マーカーデバイスがトラッキング空間で移動しない場合には一定のままであってもよく、マーカーデバイスがトラッキング空間で移動する場合には時間の経過ととともに変化してもよい。例えば、トラッキング座標系において、所定のマーカーデバイスの放射線不透過性マーカーは各々、マーカーシステム４３２の所定のマーカーデバイスの一部であるトラッキングセンサー４３４の位置から、決まった既知のオフセット（例えば、３Ｄベクトル）のところにある。上述したように、マーカーシステムは、ＡｒＵｃｏタイプ（例えば、デバイス２５０）または本明細書で開示するような他のマーカー構成（例えば、ＡＲデバイス３０８）などの複数のマルチモーダルマーカーデバイスを含んでもよい。このように、マルチモーダルマーカーデバイスは、画像データ４７２で見える放射線不透過性の要素と、ＡＲ画像データ４４２で見えるＡＲ要素と、トラッキングシステムで検出可能なトラッキングセンサーとを含むことができる。放射線不透過性の要素は、放射線不透過性のＡｒＵｃｏタイプのマーカーの形態であってもよいおよび／または図３Ｂに示すような放射線不透過性の球体２７２としてもよい。

【0057】

このため、センサー変換４７０は、トラッキングデータ４２６と、所定のマーカー位置に対する各トラッキングセンサーの既知のオフセットとに基づいて、トラッキングシステム空間内の点（例えば、マーカー位置の３Ｄ座標）を計算するように構成されている。ＡｒＵｃｏタイプのマルチモーダルマーカーデバイスの場合、センサー変換４６０に関して本明細書で開示するような、マーカーの角にある一組の４つの点（例えば、emPoint_1, emPoint_2, emPoint_3, emPoint_4）をマーカー位置にすることができる。

【0058】

球状の放射線不透過性マーカーが配置されたマーカーデバイスの例（例えば、図３Ｂのマーカーデバイス２５０の場合）では、既知のオフセットの３つの球状マーカーが各トラッキングセンサー２７０の周りに分散している。したがって、センサー変換４７０によって、マーカーシステム４３２の各マーカーデバイスに対して３つの点が生成される。例えば、変換４７０は、以下のように、それぞれの変換をトラッキングセンサーの位置（例えば、３Ｄ点）とそれぞれの放射線不透過性オブジェクトとの間の既知のオフセット（例えば、３Ｄオフセットベクトル）と乗算することに基づいて、各々の球状マーカーの中心に位置する点（例えば、emPoint_1, emPoint_2, emPoint_3）にマーカー位置を決定することができる。
［数８］
emPoint_1 = mult(Ts, offset_1),
emPoint_2 = mult(Ts, offset_2),
emPoint_3 = mult(Ts, offset_3)
他の例では、放射線不透過性マーカーに関連する固定オフセットを有する他の確定的な位置を用いてもよい。いくつかの例では、点を、各マーカーデバイスについての一組の点に配置してもよいし、すべての点を含む単一の組として配置してもよい。

【0059】

画像データ４７２を、イメージングモダリティの視野４７５内のオブジェクトを表す２Ｄまたは３Ｄデータとして生成することもできる。例えば、イメージングモダリティは、コーンビームＣＴ、Ｘ線スキャナまたは他の医療イメージングモダリティを含んでもよい。一例では、画像データ４７２は、患者の身体４３０に対して異なる視野角で取得される少数（例えば、少なくとも２つ、３つまたは４つ）の２Ｄ投影画像の２Ｄ画像データである。いくつかの例では、患者の身体の領域は、外科手術の一部など、オブジェクトセンサー４３８が移動される着目領域であってもよい。

【0060】

マーカー識別機能４７４については、画像データ４７２における各々の放射線不透過性マーカー（例えば、ＡｒＵｃｏマーカーおよび／または他のオブジェクトマーカー）の位置を特定するように構成することができる。放射線不透過性マーカーは、イメージングモダリティ４５６によって放出される電離放射線を通さないため、画像では見えるようになる。ＡｒＵｃｏタイプのマーカーを含む組合せマーカーの例では、マーカー識別機能４７４は、ＡｒＵｃｏ検出機能を呼び出して、それぞれのマーカーの位置を特定することができる。ＡｒＵｃｏタイプのマーカー以外の放射線不透過性のオブジェクトを含む組合せマーカーの例では、画像ピクセルの値に適用される画像閾値のみならず他の画像処理技術も用いて、当該各マーカーの周辺の位置を特定すればよい。マーカー識別機能４７４は、完全自動であってもよいおよび／またはマーカーを識別するユーザー入力に応答するユーザーインタラクティブなものであってもよい。識別されたマーカー（例えば、それぞれの画像におけるピクセル位置）を、後の処理のためにメモリに格納してもよい。

【0061】

マーカー点生成器４７６は、マーカー識別機能４７４が画像データ４７２で識別した各マーカーに対する空間座標を生成するようにプログラムされている。放射線不透過性のＡｒＵｃｏタイプのマーカーを含む組合せマーカーの例では、各マーカーの角のそれぞれについての空間座標すなわち、各トラッキングセンサーを囲む一組の４つの点の座標を生成することができる。球状の放射線不透過性マーカーの場合、各マーカーの空間座標は、マーカーシステム４３２に対する視野４７５によって提供される視野角についての各２Ｄ画像における円形投影の中心（例えば、マーカー識別機能４７４によって識別される周縁）の２Ｄ座標として提供される。所与のマーカーデバイスに対して３つの球状マーカーが各々のトラッキングセンサーを囲む例では、マーカー点生成器４７６は、所与のマーカーデバイスに対する一組の３つの点の座標を提供するようにプログラムされている。放射線不透過性マーカーのタイプと構成にかかわらず、マーカー点生成器４７６は、例えば、本明細書で開示するような最近接点関数を実行し、マーカーデバイスに対する各々のトラッキングセンサーの周囲にある一組の点の位置を特定するようにプログラムされている。このようにして、各組の点を、それぞれ一緒にトラッキングセンサーの１つとリンクさせて関連付け、第１の変換行列４１２の生成を容易にすることができる。

【0062】

第１の変換計算器４７８は、マーカー点生成器４７６によって提供された点とセンサー変換機能４７０によって提供された点とに基づいて、第１の変換行列４１２を計算するようにプログラムされている。例えば、変換計算器４７８を適用し、空間座標系で測定された一組の点を整合させる。それぞれのドメイン（例えば、トラッキングシステム座標系および医用イメージング座標系）の点を位置同期させるためのそのような位置同期アルゴリズムの例には、本明細書で開示するような、誤差最小化関数または基底変換関数を含んでもよい。

【0063】

一例として、変換計算器４７８は、誤差最小化関数をインプリメントするようにプログラムされている。順序付けられた一組の点が与えられると、変換計算器４７８は、投影される位置と実測位置との間の距離を最小化する未知の変換Ｔ１を決定することになる。例えば、Ｔ１について、例えば以下のように、点間の距離を最小化する変換を求めたい。
［数９］
sum(n = 1..i, distance(mult(T1, imPoint_n), emPoint_n)^2)
ここで、ｎは、ｉ個の点のうち、所与の１つを示す（ｉは、所与のマルチモーダルマーカーの点の数である）。
imPoint_nは、点ｎの画像空間における空間座標である。
emPoint_nは、点ｎのトラッキング空間における空間座標である。
一例として、単一値分解または任意の数の誤差最小化アルゴリズムによって、誤差最小化の解を得ることができる。

【0064】

別の例として、変換計算器４７８は、変換計算器４６２に関して本明細書で開示するような基底変換関数をインプリメントするようにプログラムされている。上述したように、該当する場合、変換計算器４７８は、基底変換関数をインプリメントするようにプログラムされており、これは、上述した誤差最小化手法よりも計算面で効率的である。図３Ａおよび図３ＢのＡｒＵｃｏタイプのマーカーは、いずれもそのような基底変換関数を使用できるようにするのに十分な点の配置を有する。注意しなければならないのは、図３Ｂの放射線不透過性マーカーデバイスでは、各マーカーデバイスの３点の各組が別々に扱われることである。各々の座標系で定義されたその行列を用いて、変換計算器４７８は、２つの座標系間の変換４１２を計算することができる。例えば、変換行列Ｔ１の場合、次のようになる。
im_Matrixは、医用イメージング（例えば、術中）座標系の基底ベクトルから定義される行列である。
em_Matrixは、トラッキング座標系の基底ベクトルから定義される行列である。
以上より、変換計算器４７８は、基底ベクトルトラッキング行列（em_Matrix）と、基底ベクトルイメージング行列の逆行列（inv(im_Matrix)）とを乗算することによって、例えば以下のように変換行列（Ｔ１）４１２を決定することができる。
［数１０］
T1 = mult(em_Matrix, inv(im_Matrix))
この変換行列をメモリに格納し、トラッキングシステム空間から医用イメージング空間への変換に使用してもよい。例えば、トラッキングデータの位置と向きの情報に変換Ｔ１を適用することによって、トラッキングデータ４２６によって表される、患者の体内にあるオブジェクトセンサー４３８の位置を、医用イメージング空間に対応付けることができる。

【0065】

また、上述したように、システム４００は、術中画像データ４７２用の医用イメージング座標系と先行する３Ｄ画像データ４８０の座標系との間での変換に用いられる第２の変換（Ｔ２）４１４を生成するように構成されている。例えば、先行する３Ｄ画像データ４８０を、（例えば、ＤＩＣＯＭ画像セットとして）メモリに格納することができ、これには、医用イメージングモダリティ４５６がその画像データ４７２を生成するより前の時間（例えば、１０２および１０４で取得された画像に対応するような術中）に実行される、患者の身体４３０の術前スキャン（例えば、ＣＴスキャン）からの３Ｄ画像を含んでいてもよい。

【0066】

術中画像データが少数の２Ｄ画像投影として提供されるようないくつかの例では、システムは、投影計算器４８２を含む。投影計算器４８２は、２Ｄ画像データ４７２で提供される画像（例えば、２つの画像）各々について、３Ｄ画像データ４８０からそれぞれの投影を生成するようにプログラムされている。投影計算器４８２は、３Ｄ画像空間からの点を２次元平面にマッピングする機能を実現している。例えば、投影計算器は、２Ｄ画像データ４７２の画像の視野角に合わせた順投影を作成する。３Ｄ投影の各々に対する投影角度のレジストレーションは、手動で整合されてもよいおよび／または自動でなされてもよい。一例では、２Ｄ画像の各々の角度を記述する画像データ４７２の画像メタデータ（２Ｄ画像データ４７２から投影計算器４８２への矢印に含まれるものとして示される）に基づくなどして、自動で整合がなされてもよい。例えば、メタデータは、Ｃアームの角度から既知である場合があるおよび／またはイメージングモダリティ４５６が画像データ４７２を取得する際にユーザー入力に応じて提供される場合があるものなど、ＡＰ、ＬＡＯ、ＲＡＯなどの投影角度を指定するデータを含む。

【0067】

いくつかの例では、本明細書で開示するように、３Ｄ画像データは、血管の表面に対応する３Ｄメッシュの形などで、１つ以上の解剖学的構造のモデルを含んでもよい。本明細書で開示するように、術前画像４８０から生成されたメッシュに、３Ｄ投影行列（例えば、透視投影行列または平行投影行列）を適用してもよい。各々の術中画像についてＣアームの角度がわかっている場合、術中画像ごとにその角度に一致させてメッシュの１つを３Ｄ投影する。Ｃアームの角度がわからない場合、異なる角度で複数の３Ｄ投影を行うことができ、それぞれの３Ｄ投影とそれぞれの２次元画像との間の「ベストフィット」マッチを手動または自動で選択することができる。

【0068】

点生成器４８４は、（画像データ４７２によって提供される）２Ｄ画像および（投影計算器４８２によって提供される）３Ｄ画像の対応する投影の各々において空間点を生成するようにプログラムされている。球体またはマーカーの角を扱うのではなく、２Ｄ画像データ４７２と３Ｄ画像データ４８０の両方で見える特徴として、点が選択される。他の例では、術中画像データ４７２は、コーンビームＣＴまたは他の術中３Ｄイメージングモダリティによって取得されるものなどの３Ｄデータとして取得されてもよい。そのような例では、点生成器４８４が画像データセット４７２および４８０の両方から提供される３Ｄ空間内の点のそれぞれの組を識別して生成できるようにするために、投影計算器を省略してもよい。

【0069】

別の例として、特徴は、背骨上の骨のランドマーク、両方のタイプの画像で見える小さな石灰化、あるいは、両方の画像に造影剤を使用する例では血管上の点などの構造を含む。他の例では、他の特徴またはフィデューシャルポイントを使用してもよい。いくつかの例では、自動化された方法（例えば、特徴抽出）で、一組の共通の特徴の位置を特定してもよい。これに加えてまたはこれに代えて、１つ以上のそのような特徴を、点生成器に提供される各々の画像および投影と相互作用するグラフィカルユーザーインタフェースなどのユーザーインタフェース４８６を介して提供されるユーザー入力に応答して選択してもよい。例えば、ユーザーは、異なる断像から視認可能な共通の構造を見て、各断像でそれを（例えば、マウス、キーボード、ジェスチャーまたは他の入力によって）選択／タグ付けすることができる。よって、点生成器４８４は、所定の特徴および／またはユーザーが選択した特徴ごとに点を生成する。このように、点生成器は、異なる一組のランドマークを使用するだけで、マーカー点生成器４７６と同様に動作する。画像データ４８０は３Ｄであるので、いくつかの例では、ユーザーは、画像データ４８０の３Ｄ画像の一組の直交する断像（例えば、横断像、冠状断像、矢状断像）を使用して、選択された点を（ユーザーインタフェース４８６を介して）識別し、画像データ４８０の３Ｄ座標系におけるｘ，ｙ，ｚの位置を直接測定することができる。術中画像データが２Ｄ空間にある例では、これらの位置を各々２次元座標に変換し、そのようなものとして、投影計算器４８２によって提供される順投影で提供してもよい。点生成器４８４は、本明細書で開示する最近接点関数など、２Ｄ画像に適用されるベクトル交差関数を使用するなどして、２Ｄ画像データにおける同一の点の位置を特定するようにプログラムされている。術中画像データが３Ｄ空間にある他の例では、点生成器４８４は、自動的にまたはユーザーインタフェース４８６を介したユーザー入力の補助などにより、両方の画像群の３Ｄ座標で点の位置を特定することができる。

【0070】

それぞれの画像で得られた点は、変換行列４１４を生成するために第２の変換計算器４８８に提供される。変換計算器４８８は、点生成器４８４によって提供された共通の点に基づいて、画像データ４７２の画像を３Ｄ画像データ４８０と整合させるための変換行列を計算するようにプログラムされている。例えば、変換計算器４８８は、第１の変換計算器４７８に関して説明した単一値分解など、共通点の一組の点に関する誤差最小化関数をインプリメントすることによって、変換行列（Ｔ２）４１４を構築する。他の例では、他の誤差最小化関数を使用してもよい。

【0071】

いくつかの例では、システム４００は、補正ユーザーインタフェース４９２を介して提供される命令に基づいて１つ以上の変換行列を手動補正するようにプログラムされた、変換補正機能４９０を含む。手動補正は、Ｔ１またはＴ２変換の推定がすでに行われた場合であっても適用することができる。例えば、レジストレーションを実行するために機能する十分に定義された（例えば、背骨または他の解剖学的構造上の）一組の測定点が画像データ４８０および／または４７２に含まれていない場合、システムは、変換Ｔ２の初期推定値あるいは、いくつかの例では、任意のＴ２変換（例えば、「アイデンティティ」行列）を定義して、ユーザーが補正機能４９０によって補正を行い、最終的なＴ２変換４１４を生成できるようにしてもよい。

【0072】

別の例として、レジストレーションマネージャ４９４は、それぞれの変換行列４１０、４１２、および４１４の適用を選択および制御するようにプログラムされている。例えば、１つ以上の出力視覚空間のための空間ドメインを、自動的にまたはユーザー入力に応答して設定することができる。各出力視覚空間について、レジストレーションマネージャは、画像とモデルが各々の出力空間で適切にレンダリングされるようにするために適用する１つ以上の一組の変換を定義することができる。例えば、出力空間は、ＡＲディスプレイ、モバイルデバイスやコンピュータのディスプレイを含んでもよい。各ディスプレイには、トラッキングシステム、術中画像データ、ＡＲディスプレイまたは先行する３Ｄ画像のいずれかの空間ドメインを含む、異なる視覚化をそれぞれ表示できる複数のウィンドウ（例えば、スクリーンパーティション）が含まれていてもよい。したがって、レジストレーションマネージャ４９４は、一組の変換行列を定義し、それらを適用して、所望の空間ドメインで正しい出力画像をレンダリングすることができる。

【0073】

別の例として、図６を参照すると、レジストレーションマネージャ４９４を使用して、変換４１０、４１２および４１４のうちの１つ以上の適用を制御してもよく、そのような変換のうちの１つ以上に対するユーザー補正を制御してもよい。レジストレーションマネージャ４９４は、図示のように、図５のシステム４００の一部として実装されてもよいし、別個の機能として実装されてもよい。したがって、一貫性を保つために、図５で導入した機能とデータについては、同一の参照符号を使用して図６に示してある。そのような機能とデータに関する詳細な情報については、図５および対応する説明に戻って参照することができる。

【0074】

レジストレーションマネージャ４９４は、変換補正機能４９０と、第１の変換行列４１２および第２の変換行列４１４とを含む。この例では、変換行列４１２および４１４の一方または両方が補正を必要としている可能性があるとする。補正の必要性は、変換を適用して２つ以上のドメインを対応付け、得られる視覚化をディスプレイ５１０上で提供することによって、ユーザーに明らかにされてもよい。例えば、出力生成器５１２は、ＡＲデバイス４４０の座標系、トラッキングシステム４２４の座標系、術中画像データ４７２の座標系または先行する３Ｄ画像データ４８０の座標系であってもよいなど、選択されたドメインで視覚化をレンダリングするように構成されている。

【0075】

一例では、マネージャ４９４は、ユーザーインタフェース５２０を介して受信したユーザー入力命令に基づいて、出力の視覚化がレンダリングされているドメインを選択するようにプログラムされたドメインセレクタ５１４を含む。さらに、選択されたドメインに基づいて、レジストレーションマネージャは、それに応じて、変換Ｔ０、Ｔ１またはＴ２のうちの１つ以上を適用する。一例として、以下の表は、出力生成器５１２によって出力の視覚化がレンダリングされている選択されたドメインごとに、画像データ４７２、４８０またはトラッキングデータ４２６に、どの１つ以上の変換が適用されるかについての説明ならびに、それぞれの座標系で生成された可能性のあるモデルを提供する。さらに、表に記載したような行列の乗法で１つ以上の変換またはそのような変換の逆数を適用することなどにより、レジストレーションマネージャ４９４を使用してそれぞれの変換の適用を制御し、選択されたドメインで視覚化を提供することができる。

【表1】

【0076】

別の例として、変換４１２または４１４のいずれかに対する手動補正は、それぞれの変換行列Ｔ０、Ｔ１またはＴ２に、以下のような補正行列を乗じることによって提供することができる。
［数１１］
correctedT0 = mult(correctionMatrix, T0),
correctedT1 = mult(correctionMatrix, T1)または
correctedT2 = mult(correctionMatrix, T2)
一例として、サポートされている補正の種類には、以下のように行列の形で適用されるような、平行移動、回転および拡大縮小がある。
［数１２］
translationMatrix =
[ 1, 0, 0, translation.x,
0, 1, 0, translation.y,
0, 0, 1, translation.z,
0, 0, 0, 1]

scalingMatrix =
[ scale, 0, 0, 0,
0, scale, 0, 0,
0, 0, scale, 0,
0, 0, 0, 1]

rotationMatrix =（回転軸に依存）

【0077】

別の例として、ユーザーは、ユーザーインタフェース５１６を介して、マウスダウン／ドラッグ／マウスアップアクションまたは他のアクションを使用して、補正を開始する。
補正行列で使用される値は、ディスプレイ５１０にビューポートを表示するのに使用される投影行列に基づいて設定されてもよい。例えば、ＡＰビューから開始される平行移動では、ＸおよびＹのマウスの動きがtranslation.xおよびtranslation.zの値の設定に使用されることになる（translation.yは０となる）。このような変換により、ユーザーは、単一の画像のビューを変更したり、複数の画像の配置を変更したりすることができる。

【0078】

別の例として、例えば変換Ｔ２の補正を実施する場合、ドメインレジストレーションマネージャ４９４は、変換Ｔ２を画像データ４７２に適用し、出力生成器５１２は、変換Ｔ２に基づいて３Ｄ画像で対応付けられた２Ｄ画像を視覚化する。ディスプレイ５１０に表示されるように、ランドマークが適切に配置されている場合、補正が必要ない場合もある。しかしながら、２Ｄ画像内のランドマークの位置が３Ｄ画像内のそれぞれの位置と整合しない場合、Ｔ２に補正が必要な場合がある。したがって、ユーザーは、ユーザーインタフェース５１６を介して、３Ｄ画像（またはその順投影）に対する２Ｄ画像のアライメントを調整することができる。上述したように、この調整には、入力装置（例えば、マウスまたはキーボード）を用いてユーザーインタフェースを介して入力された命令に応答してなされる、２次元での平行移動、回転および／または拡大縮小を含んでもよい。出力生成器５１２は、（例えば、リアルタイムで）各々の調整に応答し、ディスプレイに表示される視覚化を更新して、画像の対応付けを示すようにしてもよい。所望のアライメントが視覚化されると、ユーザーは、ユーザーインタフェース５１６を用いて変換Ｔ２に補正を適用してこれを保存し、更新されたＴ２を後で適用するためにメモリに格納することができる。同様のタイプの調整を、第１の変換行列４１２に対して行ってもよい。

【0079】

図７および図８は、ＡＲヘッドセットの各々の前向きカメラから取得された画像６００および６０２の例を示す。この例では、マルチモーダルマーカー（例えば、対応するマーカー２５０、３０２）６０４が、シミュレートされた臓器６１０を含む患者の身体の物理的モデル６０８に隣接してテーブル６０６上に配置されている。実際の人間では、体内の臓器は見えないであろうが、本明細書で開示するシステムおよび方法に基づいて生成される変換の精度を示すのに役立つように臓器が示されていることが、理解される。図８では、画像６０２は、わずかに異なる視野角からのものであり、ＡＲマーカー６０４と、ユーザー（例えば、ＡＲデバイスを使用する個人）の手６１２とを含む。

【0080】

画像６００および６０２に示すように、マーカー６０４は、ＡＲディスプレイの座標系で（例えば、機能４４４および４４６によって）識別される部分（例えば、角）を含む。
本明細書で開示するように、時変変換行列（例えば、行列４１０）を生成できるようにマーカートラッキングセンサー（例えば、センサー４３４）によって生成されたセンサーデータに基づいて、トラッキング座標系でマーカー６０４の同一の点の位置が特定される。
本明細書で開示するように、他の変換行列（例えば、行列４１２および４１４）を生成し、他の座標系ならびにそのような他の座標系で生成された可能性のある画像および／またはモデルを整合させることができる。

【0081】

図９は、シミュレーションされた臓器６１０）に重ねられたメッシュモデル６５２のホログラフィックオーバーレイを含む、図７および図８に類似のＡＲ画像６５０を示す。図７および図８で用いたのと同一の参照符号を、図９でも同様の部分を示すのに使用する。
オーバーレイは、（例えば、図１の方法１００およびシステム４００に従って）メッシュモデル６５２に一組の変換を適用することに基づいて、ＡＲディスプレイ画像６５０内の患者のアナトミー（臓器６１０）と整合される。例えば、メッシュモデル６５２が３Ｄ先行画像の座標系で生成される場合、各変換Ｔ０、Ｔ１、Ｔ２の逆数（例えば、本明細書の表に示すようなinv(T0)*inv(T1)*inv(T2)）をメッシュモデルに適用することにより、モデルをＡＲ座標系で位置同期させてもよい。

【0082】

いくつかの例では、（例えば、オブジェクトトラッキングセンサー４３８が取り付けられている）オブジェクトからターゲットサイトまでの距離および投影された角度などの追加情報をユーザーに提供するために、出力の視覚化にアノテーション６５４が示されている。さらに、ユーザー入力（例えば、ユーザー入力デバイス、音声コマンドまたはジェスチャーコマンド）に応答してビューを変更（例えば、強調）してもよい。例えば、ＡＲディスプレイ上にホログラフによる視覚化を生成する出力エンジンが、患者の身体に重ねられている現在のビューを、実際の視野でズームまたは拡大してもよい。上記に加えてまたは上記に代えて、ユーザーがコマンドを入力して視野角を変更することもできる。いくつかの例では、イネーブルの場合など、出力の視覚化でマーカー６０４（またはその他の部分）の角に照明をあてるか、これを他の方法で区別して、マーカーのそのような部分が適切に対応付けられていることを確認してもよい。他の画像の強調も可能である。

【0083】

上述した構造的および機能的な説明を考慮すると、本明細書で開示するシステムおよび方法の一部を、方法、データ処理システムまたは非一過性のコンピュータ読み取り可能な媒体などのコンピュータプログラム製品として実現してもよいことを、当業者であれば理解するであろう。したがって、本明細書に開示する手法のこれらの部分は、完全にハードウェアの実施形態、（例えば、１つ以上の非一過性の機械読み取り可能な媒体において）完全にソフトウェアの実施形態またはソフトウェアとハードウェアを組み合わせた実施形態の形をとることができる。さらに、本明細書で開示するシステムおよび方法の一部は、コンピュータ読み取り可能なプログラムコードを有するコンピュータで利用できる記憶媒体に格納されたコンピュータプログラム製品であってもよい。静的記憶装置および動的記憶装置、ハードディスク、光学記憶装置および磁気記憶装置を含むがこれらに限定されるものではない、任意の適切なコンピュータ読み取り可能な媒体を用いることができる。

【0084】

以上、いくつかの実施形態について、方法、システムおよびコンピュータプログラム製品のブロック図を参照して、本明細書で説明してきた。図示のブロックおよび図示のブロックの組み合わせを、コンピュータで実行可能な命令によって実施できることが、理解されるであろう。これらのコンピュータで実行可能な命令を、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置（または装置と回路の組み合わせ）の１つ以上のプロセッサに提供し、このプロセッサを介して実行される命令が１つ以上のブロックで指定された機能を実現するようなマシンを作ることができる。

【0085】

これらのコンピュータで実行可能な命令を、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するように指示することができるコンピュータ読み取り可能なメモリに格納し、コンピュータ読み取り可能なメモリに格納された命令が、１つ以上のフローチャートブロックで指定された機能を実現する命令を含む製品となるようにすることもできる。また、コンピュータプログラム命令を、コンピュータまたは他のプログラム可能なデータ処理装置にロードし、コンピュータまたは他のプログラム可能な装置上で一連の動作ステップを実行させ、コンピュータ実装プロセスを生成して、コンピュータまたは他のプログラム可能な装置で実行される命令が、１つ以上のフローチャートブロックで指定された機能を実現するためのステップを提供するようにすることができる。

【0086】

以上説明したものは例である。もちろん、考えられるすべての構成要素または方法論の組み合わせを説明することは不可能であるが、当業者であれば、さらに多くの組み合わせや並べ替えが可能であることを認識するであろう。したがって、本発明は、添付の特許請求の範囲を含めて、本願の範囲内に包含されるそのような変更、改変および変形をすべて包含することを意図している。本明細書で使用する場合、「含む（includes）」という表現は、含むがこれに限定されるものではないことを意味する。「基づく」という表現は、少なくとも部分的に基づくことを意味する。さらに、本開示または特許請求の範囲に「a（１つの）」、「an（１つの）」、「a first（第１の）」、「another（別の）」要素またはそれらの等価物が記載されている場合、２以上のそのような要素を要求することも除外することもなく、１以上のそのような要素を含むと解釈されるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】