特許 6782754 高度な自動デバイス画像間の位置合わせのための自動画像クロップ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6782754

(24)【登録日】2020年10月22日

(45)【発行日】2020年11月11日

(54)【発明の名称】高度な自動デバイス画像間の位置合わせのための自動画像クロップ

(51)【国際特許分類】

   A61B 6/12 20060101AFI20201102BHJP

   A61B 34/20 20160101ALI20201102BHJP

   A61B 6/03 20060101ALI20201102BHJP

   A61B 6/00 20060101ALI20201102BHJP

   A61B 5/055 20060101ALI20201102BHJP

   G06T 7/33 20170101ALI20201102BHJP

【ＦＩ】

   A61B6/12

   A61B34/20

   A61B6/03 360G

   A61B6/03 360J

   A61B6/00 390C

   A61B5/055 390

   G06T7/33

   A61B6/03 377

【請求項の数】18

【外国語出願】

【全頁数】30

(21)【出願番号】特願2018-219511(P2018-219511)

(22)【出願日】2018年11月22日

(65)【公開番号】特開2019-195609(P2019-195609A)

(43)【公開日】2019年11月14日

【審査請求日】2019年3月22日

(31)【優先権主張番号】62/590,645

(32)【優先日】2017年11月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】596130705

【氏名又は名称】キヤノン ユーエスエイ，インコーポレイテッド

【氏名又は名称原語表記】ＣＡＮＯＮ Ｕ．Ｓ．Ａ．，ＩＮＣ

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】ダニエルズ バレット

(72)【発明者】

【氏名】加藤 貴久

【審査官】 安田 明央

(56)【参考文献】

【文献】 国際公開第２０１７／００３４５３（ＷＯ，Ａ１）

【文献】 特開２００５−１３６９８１（ＪＰ，Ａ）

【文献】 特表２０１８−５２９３９９（ＪＰ，Ａ）

【文献】 特開２０１７−０２３５１６（ＪＰ，Ａ）

【文献】 特表２０１７−５３０７５８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／００７４０６３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１７／００００５８１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

対象および医療デバイスの画像データを取得するステップであって、前記医療デバイスが基準マーカを含み、前記画像データが３次元画像データを含む、ステップと、
医療処置を実行するための計画挿入点に基づいて３次元形状を表す情報を生成するステップと、
皮膚平面を識別するステップと、
医療処置を実行するための計画針軌道を決定するステップと、
前記画像データにクロッププロセスを適用して、前記３次元形状に基づいてクロップ画像データを生成するステップであって、前記クロップ画像データが、少なくとも２つの前記基準マーカの画像データを含む、ステップと、
前記クロップ画像データ内で基準マーカオブジェクトを検出するステップと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせするステップと、
を含み、
前記３次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、方法。

【請求項2】

前記基準マーカは、前記医療デバイス上に基準フレームとして配置され、前記基準フレームは、実質的に平面状の配置で前記基準マーカを含む、請求項１に記載の方法。

【請求項3】

前記基準マーカは、前記医療デバイス上に基準フレームとして配置され、前記基準フレームは、リング状の配置で前記基準マーカを含み、前記基準マーカの前記配置が非対称である、請求項１に記載の方法。

【請求項4】

前記医療デバイスは、少なくとも３つの基準マーカを含む、請求項１に記載の方法。

【請求項5】

前記３次元形状は、球形である、請求項１に記載の方法。

【請求項6】

前記３次元形状は、直方体である、請求項１に記載の方法。

【請求項7】

前記３次元形状のサイズは、前記医療デバイスのサイズに基づく、請求項１に記載の方法。

【請求項8】

前記医療処置を実行するための前記計画挿入点を示す情報を取得するステップをさらに含む、請求項１に記載の方法。

【請求項9】

前記医療処置を実行するための前記計画挿入点を示す前記情報は、医療撮像コンピューティングシステムのディスプレイ上に前記画像データを提示するユーザインタフェースを介して受け取られる１つまたは複数の入力に基づく、請求項８に記載の方法。

【請求項10】

前記クロッププロセスは、
クロップを実行することによって中間クロップ画像データを生成することと、
前記中間クロップ画像データをクロップして前記クロップ画像データを生成することと
を含む反復プロセスである、請求項１に記載の方法。

【請求項11】

前記クロップ画像データは、前記画像データの一部分に対応し、前記画像データの前記一部分は、前記画像データの前記一部分内の中心に位置するアーチファクト画像データを含み、
前記アーチファクト画像データは、前記クロップ画像データにおいて除去される、請求項１に記載の方法。

【請求項12】

前記画像データは、磁気共鳴画像データおよびコンピュータ断層撮影画像データのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項13】

前記クロップ画像データ内で前記基準マーカオブジェクトを検出するステップは、前記クロップ画像データ内で、前記医療デバイスに含まれる全ての基準マーカを識別することを含む、請求項１に記載の方法。

【請求項14】

前記対象の前記画像データは、解剖学的構造に対応する解剖学的画像データを含み、前記クロップ画像データは、前記解剖学的構造に対応する前記解剖学的画像データを含まない、請求項１に記載の方法。

【請求項15】

前記対象の前記画像データは、人工構造に対応する構造画像データを含み、前記クロップ画像データが、前記人工構造に対応する前記構造画像データを含まない、請求項１に記載の方法。

【請求項16】

前記クロッププロセスは、追加の使用者の入力動作を必要とせずに、前記医療処置を実行するための前記計画挿入点に基づいて自動的に実行され、
前記クロップ画像データ内で前記基準マーカオブジェクトを検出するステップは、前記クロップ画像データに限定された検出プロセスを実行することを含む、請求項１に記載の方法。

【請求項17】

基準マーカを含む医療デバイスと、
実行可能プログラム命令を記憶したコンピュータ可読記憶媒体を含むコンピューティングシステムであって、前記実行可能プログラム命令が、前記コンピューティングシステムによって実行されたときに、前記コンピューティングシステムに、
対象および前記医療デバイスの画像データを取得することであり、前記画像データが３次元画像データを含む、ことと、
医療処置を実行するための計画挿入点に基づいて３次元形状を表す情報を生成することと、
皮膚平面を識別することと、
医療処置を実行するための計画針軌道を決定することと、
前記画像データにクロッププロセスを適用して、前記３次元形状に基づいてクロップ画像データを生成することであり、前記クロップ画像データが、少なくとも２つの前記基準マーカの画像データを含む、ことと、
前記クロップ画像データ内で基準マーカオブジェクトを検出することと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせすることと
を実行させる、コンピューティングシステムと、
を含み、
前記３次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、システム。

【請求項18】

実行可能プログラム命令を記憶したコンピュータ可読記憶媒体であって、前記実行可能プログラム命令が、１つまたは複数のプロセッサを備えたコンピューティングシステムによって実行されたときに、前記コンピューティングシステムに、
対象および医療デバイスの画像データを取得することであり、前記医療デバイスが基準マーカを含み、前記画像データが３次元画像データを含む、ことと、
医療処置を実行するための計画挿入点に基づいて３次元形状を表す情報を生成することと、
皮膚平面を識別することと、
医療処置を実行するための計画針軌道を決定することと、
前記画像データにクロッププロセスを適用して、前記３次元形状に基づいてクロップ画像データを生成することであり、前記クロップ画像データが、少なくとも２つの前記基準マーカの画像データを含む、ことと、
前記クロップ画像データ内で基準マーカオブジェクトを検出することと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせすることと
を実行させ、
前記３次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、参照によりその全体を本明細書に組み込む、２０１７年１１月２６日出願の米国仮出願第６２／５９０，６４５号の利益を主張するものである。

【0002】

本開示は、一般に、医療撮像のためのシステム、方法、およびデバイスに関し、さらに詳細には、基準マーカを用いたデバイス画像間の位置合わせの自動プロセスに関する。

【背景技術】

【0003】

医療画像は、内科医が処置の計画、実行、術後分析を行うのを支援する。有用ないくつかの撮像モダリティとしては、超音波撮像、コンピュータ断層撮影（ＣＴ）、および磁気共鳴撮像（ＭＲＩ）が挙げられる。医療画像は、処置を行う間に患者に関する様々な器具をナビゲートするのを支援するために使用することもできる。患者上で処置エリアに対してデバイスを正確に配置することは重要である。基準マーカを使用して、物理空間内で決定した基準点を基準マーカと相関させ、位置合わせすることができる。位置合わせデバイスは、正確なデバイス配置のために不可欠である。しかし、基準マーカの検出および位置合わせは、患者の解剖学的構造など、その他のソースからの雑音により、常に簡単に行うことができるとは限らない。さらに、画像を位置合わせする自動化された方法は、依然として制限があり、誤差が生じやすい。

【0004】

自動デバイス画像間の位置合わせのために医療画像（ＣＴ、ＭＲＩ）内で高強度の基準を検出することは、介入性器具誘導デバイスでは不可欠である。ＭＲＩでは、使用者は、制限された長方形の視野を選択することができるが、ＣＴでは、撮像視野を設定する際にそれほどの柔軟性はない（一般に５０ｃｍ）。したがって、ＣＴでは、介入器具誘導デバイス（ｉｎｔｅｒｖｅｎｔｉｏｎａｌ ｉｎｓｔｒｕｍｅｎｔ ｇｕｉｄａｎｃｅ）の位置に撮像を制約することができず、そのために、誤って基準として検出される可能性がある他の高強度の画像特徴（例えば患者のベッドの金属、患者の下のパッドの金属、骨などの密な解剖学的構造など）により、正確かつロバストな自動基準検出およびデバイス位置合わせが困難になる。従来のシステムでは、基準の位置特定は、通常は、候補基準マーカボクセルがないかどうか、画像ボリューム全体を探索することを含む。これは、時間がかかる可能性があり、基準の誤検出につながる可能性もあるので、場合によっては自動位置合わせの失敗につながる可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、上述の欠点が解消された画像解析および画像位置合わせを自動化するシステムおよび方法を提供することが望ましい。

【課題を解決するための手段】

【0006】

医療画像の検出および位置合わせのためのシステム、方法、およびコンピュータ可読媒体を開示する。例えば、本開示の実施形態は、高度な自動デバイス画像間の位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）のための自動画像クロップ（ａｕｔｏｍａｔｅｄ ｉｍａｇｅ ｃｒｏｐｐｉｎｇ）を提供する。

【0007】

いくつかの実施形態は、対象および医療デバイスの画像データを取得するステップを含み、医療デバイスは、基準マーカ（ｆｉｄｕｃｉａｌ ｍａｒｋｅｒ）を含み、画像データは、３次元画像データを含む。医療処置を実行するための計画挿入点（ｐｌａｎｎｅｄ ｉｎｓｅｒｔｉｏｎ ｐｏｉｎｔ）に基づいて、３次元形状を表す情報を生成する。画像データにクロッププロセスを適用して、３次元形状に基づいてクロップ画像データを生成する。いくつかの実施形態では、クロップ画像データは、上記の基準マーカのうちの少なくとも２つの画像データを含む。クロップ画像データ内で基準マーカオブジェクトを検出し、基準マーカのモデルを基準マーカオブジェクトとマッチングすることによって、基準マーカオブジェクトを位置合わせする。

【0008】

本開示のさらなる特徴は、全ての図面を通じて同じ参照番号が同じ、または同様の部分を指している添付の図面を参照して、以下の例示的な実施形態の説明を読めば、明らかになるであろう。

【0009】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の実施形態を例示するものであり、明細書と合わせて、本開示の原理を説明するのに役立つ。

【図面の簡単な説明】

【0010】

【図1】図１は、いくつかの実施形態による、ナビゲーションソフトウェア、針誘導ロボットのロボット制御サーバ、およびＭＲＩスキャナを含むＭＲＩシステムを含む針誘導ロボットシステムを示す例示的なシステム図である。

【図2】図２は、いくつかの実施形態による例示的なコンピューティングシステムを示す図である。

【図3】図３は、いくつかの実施形態による例示的なグラフィカルユーザインタフェース上に提示される医療画像を示す図である。画像は、患者の解剖学的構造の３Ｄ表現と、計画軌道およびターゲットを識別する情報とを含む。

【図4】図４は、いくつかの実施形態による例示的なグラフィカルユーザインタフェース上に提示される医療画像を示す図である。画像は、患者の解剖学的構造の３Ｄ表現と、患者に挿入されるプローブの画像とを含む。

【図5】図５は、いくつかの実施形態による基準マーカを含む例示的な基準フレームのＭＲ画像を示す図である。

【図6】図６は、いくつかの実施形態によるリング形を有し、非対称に配置された基準マーカを有する、例示的な基準フレームの構成を示す図である。

【図7】図７は、いくつかの実施形態による画像データの処理を示す流れ図である。

【図8】図８は、いくつかの実施形態による基準マーカを含む例示的な医療デバイスを示す図である。

【図9】図９は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図10】図１０（Ａ）〜図１０（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【図11】図１１は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図12】図１２（Ａ）〜図１１（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【図13】図１３は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図14】図１４（Ａ）〜図１４（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【図15】図１５は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図16】図１６（Ａ）〜図１６（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【図17】図１７は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図18】図１８（Ａ）〜図１８（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【図19】図１９は、いくつかの実施形態による画像データをクロップするプロセスを示す流れ図である。

【図20】図２０（Ａ）〜図２０（Ｃ）は、いくつかの実施形態による例示的な医療画像データおよびクロップ画像データを示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、例示的な実施形態について説明する。高度な自動デバイス画像間の位置合わせのための自動医療画像クロップを行うシステム、方法、およびデバイスについて述べる。いくつかの実施形態は、患者および基準マーカを含む医療デバイスの医療画像データを取得することと、医療画像データにクロッププロセスを適用してクロップ画像データを生成することと、クロップ画像データ内で基準マーカオブジェクトを検出することと、基準マーカのモデルを用いて基準マーカオブジェクトを位置合わせすることとを含む。患者および医療デバイスの画像データは、断層撮影デバイスの画像データである。いくつかの実施形態では、医療デバイスは、例えば患者に挿入する針を送る、または位置決めすることができる、患者装着型のデバイスである。

【0012】

実施形態によれば、自動医療画像クロッププロセスは、基準マーカを探索する領域を制限する。いくつかの実施形態では、医療画像データをクロップし、クロップした画像データ内で基準マーカを検出するプロセスを実行するが、画像データのクロップした領域に対して行われる基準マーカ検出プロセスは、クロップした領域の外部の画像データには適用されない。したがって、クロップした領域の外部に高強度の画像特徴がある場合に、この画像特徴を誤って基準マーカとして識別することを回避することができる。したがって、医療画像データ上で自動検出および位置合わせを行う前に、基準マーカ探索エリアを自動的に制限することによって、基準マーカの誤検出を低減させることができる。いくつかの実施形態では、医療画像をプレクロップすることにより、画像処理アルゴリズムが元の画像全体ではなく元の画像の一部にしか行われなくなるので、自動位置合わせが高速化される。

【0013】

いくつかの実施形態は、医療処置のための処置前計画に関連する情報を用いて、自動医療画像プロップを実行することを含む。さらに、いくつかの実施形態は、使用者との対話なしの自動クロップを実行することを含む。例えば、処置前計画に関連する情報を医療画像クロップのための入力として使用することによって、技術者または医師などの使用者が自動位置合わせを適用する画像の特定の部分を選択する必要なく、画像の一部分に対して自動位置合わせが適用される。技術者または医師は、自分の通常の計画を実行すればよく、この計画によって、自動位置合わせのための医療画像の自動クロップが駆動される。例えば、本明細書に記載するナビゲーションソフトウェアを使用して、使用者は、ターゲットと、針またはその他の医療器具を挿入すべき計画挿入点とを特定することができる。例えば、内科医が、ターゲットおよび皮膚侵入点（ｓｋｉｎ ｅｎｔｒｙ ｐｏｉｎｔ）を計画画像上で指定することによって、針配置の軌道を規定することもできる。いくつかの実施形態では、挿入点は、基準マーカを含む医療デバイスの所望の中心を与え、ターゲットは、球形またはボックス形などのクロップ形状を構築するための皮膚平面を探索するための軌道を与える。次いで、既に処置前ワークフローの一部である処置前計画に基づくクロップ形状を利用して、取得した医療画像を自動的にクロップすることができる。

【0014】

いくつかの実施形態によれば、医療デバイスの再位置合わせが実行される。例えば、医療デバイスの１回または複数回の事前位置合わせを、同じ処置内で位置合わせを実行するための入力として使用して、クロップエリアをさらに制限し、かつ／または誤って基準として検出される可能性がある金属針のアーチファクトを除去する。クロップエリアをさらに精細化することにより、基準の誤検出の可能性を低下させる助けになる。さらに、いくつかの実施形態によれば、クロッププロセスを使用して、クロップ医療画像から針などの金属アーチファクトを解消して、金属アーチファクトが偶発的に基準として検出されるのを防止する。いくつかの実施形態では、反復クロップが実行される。例えば、初期クロッププロセスを適用して、基準マーカを探索するための小さいクロップエリアを生成することができる。次いで、この探索の結果に基づいて、クロップエリアを拡大し、もう一度探索を実行する。クロップエリアの漸次拡大は、最適な結果が得られるまで続けることができる。

【0015】

Ｉ．撮像および医療デバイス
医療デバイスは、断層撮影に関連して使用される任意の医療デバイスとすることができる。断層撮影は、例えば、ＭＲＩ、ＣＴ、超音波、またはその他の撮像技術とすることができる。医療デバイスは、例えば針配置デバイスなど、患者装着型デバイスとすることができる。

【0016】

本明細書に記載するシステムと組み合わせて使用することができる医療デバイスの一例が、参照によりその全体を本明細書に組み込む米国特許公開第２０１４／０２７５９７９号に記載されている。この参考文献は、２重リング機構を備えたＭＲＩ適合性人体装着型針誘導デバイスを提供する。

【0017】

本明細書に記載する基準マーカ、システム、および方法を使用することができるその他の医療デバイスとしては、診断または手術を支援する際に針を配置する、またはツールを配置するための、その他の自立型または患者装着型医療デバイスがある。例えば、孔のグリッドからなる針誘導テンプレートは、画像誘導式の前立腺生体組織検査または小線源照射療法において焦点に針を送るために使用されることが多い。

【0018】

本明細書に記載する基準マーカ、システム、および方法を使用することができるさらに他の医療デバイスとしては、参照によりその全体を本明細書に組み込む米国特許公開第２０１８／００２２８５６８号に記載される針配置デバイスがある。さらに、米国出願第６２／７１４，５６６号、第６２／７６４，８４９号、第６２／７４６，８２０号、および第６２／７４７，９１３号に記載される医療デバイスも、本明細書に記載するシステムと組み合わせて使用することができる。

【0019】

ＩＩ．ロボット制御ソフトウェア
いくつかの実施形態では、ナビゲーションソフトウェア１００、論理制御層１０６、および物理制御インタフェース１０８の３つの構成要素の層を有するソフトウェアシステムが提供される（図１）。これらの構成要素は、独立ソフトウェアプロセスとして実装され、例えばイーサネットおよびユニバーサルシリアルバス（ＵＳＢ）を介して互いに通信する。ただし、他の実施形態では、これらの構成要素のうちの２つ以上が、１つのソフトウェアプロセスに一体化される。

【0020】

これら３つの構成要素の詳細は、以下の通りである。

【0021】

ナビゲーションソフトウェア
ナビゲーションソフトウェア１００は、システム内の最上位層の構成要素であり、図１に例示してある。ナビゲーションソフトウェア１００は、例えば、内科医および／またはオペレータのための１次ユーザインタフェースとして機能する。ナビゲーションソフトウェア１００は、本明細書に記載するように、３Ｄ Ｓｌｉｃｅｒ、オープンソース医療用画像計算ソフトウェアのプラグインモジュールとして実装され、このソフトウェア、またはその他のソフトウェアを介して、コンソール１１２およびＭＲＩスキャナを含むＭＲＩハードウェア１１４を含むＭＲＩシステム１０４から画像を受信する。ナビゲーションソフトウェア１００は、内科医が以下の作業を実行するのを支援する。

【0022】

針配置計画。
内科医は、計画画像上でターゲットおよび皮膚侵入点を指定することによって、針配置の軌道を規定することができる。ソフトウェアは、計画画像の一部分を任意の平面に沿って表示し、その上で内科医がマウスを用いてクリックすることによってこれらの点を指定できるようにする。軌道が規定されたら、ソフトウェアは、その軌道に沿った平面で３Ｄ画像を再スライスして、内科医がその経路の周りの任意の重要な構造および障害物を発見できるようにすることができる（図３）。規定された軌道は、ロボット制御サーバ１０２に転送される。ただし、アクチュエータを動かす最終判断は、ガントリの脇に立つ内科医によって行われることが好ましく、アクチュエータは、内科医がフットスイッチを踏んだときにしか給電することができない。

【0023】

デバイス画像間の位置合わせ。
ソフトウェアは、デバイスを画像座標系に対して位置合わせするために、較正画像においてデバイスに埋め込まれたマーカを自動的に検出することができる。いくつかの実施形態における基準マーカを検出して位置合わせするアルゴリズムの詳細については、以下で述べる。デバイスが位置合わせされたら、ソフトウェアは、デバイスおよびそのアクセス可能範囲のモデルを画像に重畳させて、オペレータが全てのターゲットがその範囲内にあることを確認できるようにする（図３）。一次変換行列は、例えばＯｐｅｎＩＧＴＬｉｎｋプロトコルを用いて、ネットワークを介してロボット制御サーバ１０２に転送される。

【0024】

プローブ配置の監視および確認。
ソフトウェアを使用して、処置中にはいつでも、画像に重畳した３Ｄモデルによってデバイスの現在位置および配向を視覚化することができる。さらに、ソフトウェアは、患者の体内に挿入されたプローブを計画軌道およびターゲットとともに示す確認画像を表示することもできる（図４）。これらの機能により、内科医は、デバイスを監視し、プローブ配置を確認することができる。

【0025】

論理制御層
論理制御層（ＬＣＬ）１０６は、システムの中間層にあり、ナビゲーションソフトウェア１００と下位レベルの物理制御層（ＰＣＬ）１０８とのインタフェースとなる。ロボット制御サーバ１０２のこの層は、デバイスのハードウェアおよび運動学的構造をカプセル化することができ、デバイスから独立したアプリケーションプログラムインタフェース（ＡＰＩ）を上位層に提供することができる。したがって、ＬＣＬ１０６は、以下のサブ構成要素からなる。

【0026】

上位層とのＴＣＰ／ＩＰネットワークインタフェース。
このインタフェースを介して、ＬＣＬ１０６は、ターゲット位置など、上位層からハードウェアへのコマンドを受信し、針ガイドの現在位置、およびデバイス状態など、ハードウェア（１１０）の現在状態を上位層に提供する。また、ＬＣＬ１０６は、運動学的計算（以下のキネマティクスエンジン参照）の結果として得られる所要針挿入深さも、上位層に提供する。いくつかの実施形態では、ＬＣＬ１０６は、基準フレームの構成を、基準に基づくデバイス画像間の位置合わせが行われる上位層に提供して、上位層をハードウェアから独立した状態に保つ。いくつかの実施形態では、ネットワークインタフェースは、ＯｐｅｎＩＧＴＬｉｎｋプロトコルに準拠しているので、ＯｐｅｎＩＧＴＬｉｎｋに適合するソフトウェアと通信することができる。

【0027】

キネマティクスエンジン（Ｋｉｎｅｍａｔｉｃｓ ｅｎｇｉｎｅ）。
いくつかの実施形態では、上位層から受信したハードウェア独立コマンドを、針誘導デバイスの運動学に基づいて個々のアクチュエータのターゲット位置に変換し、ＰＣＬ１０８に送信することができる。さらに、いくつかの実施形態では、ＰＣＬ１０８から受信した個々のアクチュエータの現在位置を、針ガイドの位置および配向に変換し、上位層に送信する。いくつかの実施形態によれば、針誘導デバイスは、手動操作型デバイスである。例えば、本明細書に記載するシステムと組み合わせて使用することができる針誘導デバイスは、ともに参照によりその全体を本明細書に組み込む米国特許第９，２２２，９９６号および米国特許公開第２０１８／００２２８，５６８号に記載されている。

【0028】

下位層とのシリアルインタフェース。
ＬＣＬ１０６は、ユニバーサルシリアルバス（ＵＳＢ）を介して下位層のサブ構成要素と通信する。この例示的なインタフェースを介して、個々のアクチュエータのターゲット位置およびその他のデバイス特有コマンドが、ＰＣＬ１０８に送信され、デバイスの現在状態および個々のアクチュエータのエンコーダの読みが、ナビゲーションソフトウェア１００に送信される。このインタフェースを介して交換される情報は、運動学的構造に依存しているが、物理ハードウェア（例えばモータドライバおよびエンコーダ）からは独立している。

【0029】

物理制御層
物理制御層（ＰＣＬ）１０８の役割は、物理入出力（Ｉ／Ｏ）からは独立しているが、運動学的構造には依存しているインタフェースを提供することである。いくつかの実施形態では、ＰＣＬ１０８は、ＬＣＬ１０６と通信するためのＵＳＢインタフェースと、エンコーダおよびフットスイッチからの入力を読み取り、個々のモータのターゲット速度をモータドライバに与えるデジタル入出力インタフェースとを備えた、Ｌｉｎｕｘベースの組込型コンピュータ上で動作する。制御装置は、個々のアクチュエータのターゲット位置を受信すると、個々のモータの閉ループＰＩＤ制御を実行して、２つのリングを指定された位置に位置決めする。このプロセスの間、ＰＣＬ１０８は、任意選択で、リングの現在位置およびその他のデバイス状態を送信し続けることもできる。

【0030】

コンピューティングシステム
図２は、例示的なコンピューティングシステム２００を示す図である。コンピューティングシステム２００は、ナビゲーションソフトウェア１００を含む。ナビゲーションソフトウェア１００の様々なプログラムおよびデータ、例えばソフトウェアモジュール、ライブラリ、ツール、ユーザインタフェース要素、またはその他の構成要素などが、様々な実施形態によれば、任意の適当な方法でコンピューティングシステム２００に常駐している。例えば、これらの構成要素は、１つまたは複数の記憶位置に常駐していることもある。ナビゲーションソフトウェア１００の構成要素は、単一のソフトウェアアプリケーションの部分として設けられることも、複数の独立ソフトウェアアプリケーションとして設けられることもある。コンピューティングシステム２００は、ナビゲーションソフトウェア１００へのアクセスを提供する。いくつかの実施形態では、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、本明細書に記載または例示する１つまたは複数の方法の１つまたは複数のステップを実行する、あるいは本明細書に記載または例示する機能性を提供する。例えば、ナビゲーションソフトウェア１００のプログラムは、１つまたは複数のプロセッサによって実行されたときに、コンピューティングシステム２００に、医療画像データに対する自動クロッププロセスを実行させて、クロップ画像データを生成させ、次いでクロップ画像データ内で基準マーカオブジェクトを検出させ、基準マーカのモデルを使用して基準マーカオブジェクトを位置合わせさせる命令を含むことがある。

【0031】

本明細書で使用する「コンピューティングシステム」という用語は、これらに限定されるわけではないが、協働して電子データに対して演算を実行する、１つまたは複数のソフトウェアモジュール、１つまたは複数のハードウェアモジュール、１つまたは複数のファームウェアモジュール、あるいはそれらの組合せを含む。モジュールの物理的レイアウトは異なることもある。コンピューティングシステムは、ネットワークを介して結合された複数のコンピューティングデバイスを含む可能性がある。コンピューティングシステムは、内部モジュール（メモリおよびプロセッサなど）が協働して電子データに対して演算を実行する単一のコンピューティングデバイスを含むこともある。いくつかの実施形態では、単一のコンピューティングシステム２００は、ナビゲーションソフトウェア１００を含み、また、（Ａ）論理制御層１０６の全てまたは一部分、および（Ｂ）物理制御層１０８の全てまたは一部分のうちの一方または両方を含む。一方、いくつかの実施形態では、論理制御層１０６および物理制御層１０８は、ナビゲーションソフトウェア１００を有するコンピューティングシステム２００から分離した別個の１つまたは複数のコンピューティングシステム上にある。

【0032】

いくつかの実施形態では、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ロボット制御サーバ１０２およびＭＲＩシステム１０４と対話する。コンピューティングシステム２００は、任意の適当なプロトコル、標準、データ交換フォーマット、またはそれらの組合せを使用して、本明細書に記載するシステムのうちの１つまたは複数と通信し、それらとの間で情報を送受信することができる。コンピューティングシステム２００は、ＯｐｅｎＩＧＴＬｉｎｋを用いて情報および要求を送信および受信することができる。コンピューティングシステム２００は、Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）のファイルおよびデータを受信、送信、および記憶することができる。例えば、コンピューティングシステム２００は、ＭＲＩシステム１０４から医療画像を受信することができる。さらに、コンピューティングシステム２００は、ＨＴＴＰ要求を送信し、ＨＴＴＰ応答を提供することができる。この応答は、ハイパーテキストマークアップ言語（ＨＴＭＬ）ファイル、またはその他の適当なファイル、ＪＡＶＡＳＣＲＩＰＴなどの実行可能コード、フォーム要素、画像、またはその他のコンテンツを含む可能性がある。コンテンツの１つまたは複数の要素は、コンピューティングシステム２００に格納されることもある。いくつかの実施形態では、コンピューティングシステム２００は、Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ（ＳＯＡＰ）を使用して、メッセージを受信および送信する。

【0033】

コンピューティングシステム２００は、１つまたは複数のプロセッサ２０１と、メモリ２０２と、記憶装置２０３と、入出力（Ｉ／Ｏ）インタフェース２０４と、通信インタフェース２０５と、バス２０６とを含む。コンピューティングシステム２００は、任意の適当な物理的形態を取ることができる。例えば、限定されるわけではないが、コンピューティングシステム２００は、埋込型コンピューティングシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えばコンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、ＰＤＡ、タブレットコンピュータシステム、１つまたは複数のサーバ、ワークステーション、あるいはこれらのうちの２つ以上の組合せとすることができる。いくつかの実施形態では、コンピューティングシステム２００は、ユニット型である。いくつかの実施形態では、コンピューティングシステム２００は、分散型である。コンピューティングシステム２００は、複数の位置にまたがっていることもある。コンピューティングシステム２００は、複数の機械にまたがっていることもある。

【0034】

プロセッサ２０１は、コンピュータプログラムを構成する命令など、命令を実行するハードウェアを含む。プロセッサ２０１は、は、メモリ２０２、記憶装置２０３、内部レジスタ、または内部キャッシュから命令を取り出すことができる。プロセッサ２０１は、次いで、それらの命令を復号して、実行する。次いで、プロセッサ２０１は、１つまたは複数の結果を、メモリ２０２、記憶装置２０３、内部レジスタ、または内部キャッシュに書き込む。プロセッサ２０１は、オペレーティングシステム、プログラム、ユーザインタフェースおよびアプリケーションインタフェース、ならびにコンピューティングシステム２００のその他の任意の機能を実行する処理機能を提供することができる。

【0035】

プロセッサ２０１は、中央処理装置（ＣＰＵ）、１つもしくは複数の汎用マイクロプロセッサ、特定用途向けマイクロプロセッサ、および／または専用マイクロプロセッサ、あるいはこれらの処理構成要素の何らかの組合せを含む可能性がある。プロセッサ２０１は、１つまたは複数のグラフィックスプロセッサ、ビデオプロセッサ、オーディオプロセッサ、および／あるいは関連するチップセットを含む可能性がある。

【0036】

いくつかの実施形態では、メモリ２０２は、プロセッサ２０１が実行する命令、またはプロセッサ２０１が操作するデータを記憶する主メモリを含む。例えば、コンピューティングシステム２００は、記憶装置２０３または別のソースからメモリ２０２に命令をロードすることもできる。命令の実行中または実行後に、プロセッサ２０１は、１つまたは複数の結果（中間結果であっても、最終結果であってもよい）をメモリ２０２に書き込むことができる。１つまたは複数のメモリバス（それぞれがアドレスバスおよびデータバスを含むことがある）が、プロセッサ２０１をメモリ２０２に結合することができる。１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ２０１とメモリ２０２との間に常駐して、プロセッサ２０１によって要求されたメモリ２０２へのアクセスを容易にすることができる。メモリ２０２は、１つまたは複数のメモリを含む可能性がある。メモリ２０２は、ランダム・アクセス・メモリ（ＲＡＭ）であってもよい。

【0037】

記憶装置２０３は、データおよび／または命令を記憶する。例えば、限定されるわけではないが、記憶装置２０３は、ハードディスクドライブ、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、ユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはそれらのうちの２つ以上の組合せを含む可能性がある。いくつかの実施形態では、記憶装置２０３は、取外し可能媒体である。いくつかの実施形態では、記憶装置２０３は、固定型媒体である。いくつかの実施形態では、記憶装置２０３は、コンピューティングシステム２００の内部にある。いくつかの実施形態では、記憶装置２０３は、コンピューティングシステム２００の外部にある。いくつかの実施形態では、記憶装置２０３は、不揮発性ソリッドステートメモリである。いくつかの実施形態では、記憶装置２０３は、読取り専用メモリ（ＲＯＭ）を含む。適切である場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つ以上の組合せである。記憶装置２０３は、１つまたは複数のメモリデバイスを含む可能性がある。記憶装置２０３は、アプリケーションデータ、プログラムモジュール、およびその他の情報を記憶することができる。記憶装置２０３に記憶された１つまたは複数のプログラムモジュールは、本明細書に記載する様々な動作およびプロセスを実行させるように構成される。いくつかの実施形態では、ナビゲーションソフトウェア１００は、記憶装置２０３に常駐し、コンピューティングシステム２００上で実行される。記憶装置２０３は、コンピューティングシステム２００の様々な機能、グラフィカルユーザインタフェース（ＧＵＩ）機能、および／またはプロセッサ機能を使用可能にする、その他のプログラムおよび／またはドライバをさらに記憶することもある。記憶装置２０３は、例えば画像データ、使用者データ、構成情報、グラフィカル要素またはテンプレートなどのＧＵＩ構成要素、あるいはコンピューティングシステム２００が必要とするその他のデータなどのデータファイルを記憶することもできる。

【0038】

入出力インタフェース２０４は、コンピューティングシステム２００と１つまたは複数の入出力デバイスとの間の通信のための１つまたは複数のインタフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。いくつかの実施形態では、コンピューティングシステム２００は、１つまたは複数の入出力デバイスを含む。ここれらの入出力デバイスのうちの１つまたは複数は、人とコンピューティングシステム２００の間の通信を可能にすることもある。例えば、限定されるわけではないが、入出力デバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、タッチパッド、スピーカ、スチールカメラ、スタイラス、タブレット、タッチ・スクリーン、トラックボール、ビデオカメラ、別の適当な入出力デバイス、またはこれらのうちの２つ以上の組合せを含む可能性がある。入出力デバイスは、１つ以上のセンサを含む可能性がある。いくつかの実施形態では、入出力インタフェース２０４は、プロセッサ２０１がこれらの入出力デバイスのうちの１つまたは複数を駆動することを可能にする、１つまたは複数のデバイスまたはソフトウェアドライバを含む。入出力インタフェース２０４は、１つまたは複数の入出力インタフェースを含む可能性がある。

【0039】

いくつかの実施形態では、コンピューティングシステム２００は、ディスプレイを含む。例えば、ディスプレイは、液晶ディスプレイ（ＬＣＤ）とすることができる。いくつかの実施形態では、コンピューティングシステム２００上で動作するナビゲーションソフトウェア１００は、このディスプレイ上にＧＵＩデータを提示する。いくつかの実施形態では、ＧＵＩデータは、医療画像データと関連付けて提示される。ディスプレイへの信号の出力に関しては、プロセッサ２０１は、ディスプレイに表示する画像をラスタ化し、ラスタ化した画像を入出力インタフェース２０４を介してディスプレイに転送する。次いで、ディスプレイが、ＧＵＩなどの画像を表示する。プロセッサ２０１は、さらに、ＭＲＩシステム１０４からの医療画像など、その他の種類の画像をディスプレイに表示させるように動作可能である。コンピューティングシステム２００は、ディスプレイにおける使用者入力に基づいて入力信号を受信することができる。例えば、いくつかの実施形態では、ディスプレイは、ディスプレイ上の１つまたは複数のインタフェース要素に触れることに基づいて使用者の入力またはコマンドを受け取るように動作可能なタッチセンス要素を含む。インタフェース要素は、ディスプレイに提示されたグラフィカルオブジェクトであることもある。使用者は、指、スタイラス、またはその他のツールによってタッチセンスディスプレイに触れて、使用者入力を提供することができる。使用者がタッチセンスディスプレイ上の特定の領域に触れると、入出力インタフェース２０を介して、プロセッサ２０１に、その領域の座標が通知される。プロセッサ２０１は、通知された座標、およびディスプレイ上の表示内容に基づいて使用者入力の内容を決定し、それらに基づいて処理を実行する。いくつかの実施形態では、ディスプレイ上に提示される情報と併せてマウスまたはタッチパッドを使用して、使用者の入力および選択を受け取る。例えば、カーソルを使用して、ディスプレイ上のＧＵＩに提示される１つまたは複数のインタフェース要素を選択することができる。様々な実施形態によれば、タッチセンスディスプレイ、カーソル、または入力を提供するその他の適当な方法を使用して、ディスプレイ上のＧＵＩに提示される医療画像上の１つまたは複数の位置を指定して、例えばターゲットと、針を患者の体内に挿入する計画挿入点とを示す。

【0040】

いくつかの実施形態では、コンピューティングシステム２００は、キーボード／キーパッドを含む。使用者入力は、キーボード／キーパッドを介して提供することもできる。使用者がキーボード／キーパッドのハードキーを押圧すると、入出力インタフェース２０４を介して、プロセッサ２０１に、使用者入力を示す情報が通知される。プロセッサ２０１は、この通知に基づいて処理を実行する。キーボード／キーパッドのハードキーおよび／またはボタンは、任意の適当な構成で配置することができる。さらに、入力構造は、個々の実装態様の要件に応じて、ボタン、キー、スイッチ、制御パッド、またはその他の適当な構造を含む可能性がある。

【0041】

通信インタフェース２０５は、コンピューティングシステム２００と１つまたは複数の他のコンピューティングシステムあるいは１つまたは複数のネットワークとの間の通信（例えばパケット通信など）のための１つまたは複数のインタフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。例えば、限定されるわけではないが、通信インタフェース２０５は、イーサネットまたはその他の有線ネットワークと通信するためのネットワークインタフェースカード（ＮＩＣ）またはネットワーク制御装置、あるいはＷｉ−Ｆｉネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含む可能性がある。本開示では、そのために任意の適当なネットワークおよび任意の適当な通信インタフェース２０５を企図している。例えば、限定されるわけではないが、コンピューティングシステム２００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうちの２つ以上の組合せと通信することができる。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、有線であっても、ワイヤレスであってもよい。例えば、コンピューティングシステム２００は、ワイヤレスＰＡＮ（ＷＰＡＮ）（例えばＢｌｕｅｔｏｏｔｈ ＷＰＡＮまたは超広帯域（ＵＷＢ）ネットワーク）、Ｗｉ−Ｆｉネットワーク、ＷＩ−ＭＡＸネットワーク、携帯電話網（例えばＧｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）ネットワーク）、またはその他の適当なワイヤレスネットワーク、あるいはこれらのうちの２つ以上の組合せと通信することができる。コンピューティングシステム２００は、適当である場合には、これらのネットワークのうちの任意のネットワーク用の任意の適当な通信インタフェース２０５を含む可能性がある。通信インタフェース２０５は、１つまたは複数の通信インタフェース２０５を含む可能性がある。

【0042】

バス２０６は、コンピューティングシステム２００の様々な構成要素を相互接続することにより、データの伝送、および様々なプロセスの実行を可能にする。バス２０６は、様々なバスアーキテクチャのうちのいずれかを使用する、メモリバスまたはメモリ制御装置、周辺バス、およびローカルバルを含む、１つまたは複数の種類のバス構造を含む可能性がある。

【0043】

ＩＩＩ．基準フレーム
基準フレームは、複数の基準マーカを含む。これらのマーカは、全て球形マーカにするなど、全て同じ形状およびサイズにしてもよいし、あるいは基準フレームが様々なサイズおよび／または形状を有する基準マーカを含んでいてもよい。いくつかの実施形態では、基準フレーム内の基準マーカの配置は、リング状になっている。いくつかの実施形態では、リング状に配置された基準フレームは、非対称に配置された基準マーカを含む。いくつかの実施形態、全ての基準マーカが、同じ平面内にある。基準フレームには、任意の適当な数の基準マーカが存在することができる。例えば、基準フレーム内に２個から１６個またはそれ以上の基準マーカがある可能性がある。様々な実施形態では、特に様々な形状の基準マーカを使用する実施形態では、複数の球形基準マーカを使用する。いくつかの実施形態によれば、基準フレームは、少なくとも３つの基準マーカを含む。

【0044】

いくつかの実施形態では、医療デバイスは、リングの周り、またはデバイスの各縁部において、等間隔または無作為な間隔で離間した複数のディボット（ｄｉｖｏｔ）または穴を有することがある。この場合には、デバイスの位置合わせが必要なときに、基準マーカをディボットまたは穴の中に配置する（穴の場合には、基準マーカは、穴に嵌合するピン状突起を有することがあるが、基準マーカを医療デバイスに取外し可能に固定するその他の方式も考えられる）。作成される基準マーカの数は、特定の用途で必要とされる位置合わせの質に基づいて規定することができる。図５は、リング形を有する、非対称に配置された基準マーカを有する基準フレームの例示的な実装態様のＭＲ画像である。このフレームは、円形テンプレートに取り付けられた１０個の同一の円筒形液体容器からなり、テンプレートは、直径１１０ｍｍの円に沿って６°ごとに６０個の穴を有していて、様々なマーカの構成を可能にしている。各液体容器は、３Ｄ印刷で作成され、ガドリニウムジエチレントリアミン五酢酸（Ｇｄ−ＤＴＰＡ）溶液で充填した直径１０ｍｍの球形空洞を有する。この溶液は、Ｔ１強調ＭＲ画像状で明るい球形オブジェクトとして見えるので、充填された容器がマーカとして働く。図５に示すように、フレームのＭＲ画像は、円に平行な平面に沿っている。それぞれのマーカの中心点は、本明細書に記載するマーカ検出アルゴリズムによって検出することができる。

【0045】

いくつかの実施形態では、基準フレームは、ＣＴスキャンに関連して使用される基準マーカを含む。ＣＴスキャンに使用される基準マーカは、ＣＴスキャンで生成される医療画像における効果的な基準の検出を可能にする任意の適当な基準マーカとすることができる。例えば、限定されるわけではないが、ＣＴスキャンで使用される基準マーカは、硫酸バリウム、三酸化ビスマス、次炭酸ビスマス、塩化酸化ビスマス、またはタングステンがドープされた高分子とすることができる。本明細書に記載して例示する基準フレームの構成は、ＣＴスキャンに使用される基準マーカに利用することができる。例えば、いくつかの実施形態は、ＣＴスキャンに関連して使用される基準マーカを有する基準フレームを含み、基準フレームは、基準フレーム内に少なくとも３つの基準マーカがある、基準マーカが球形を有する、基準マーカが実質的に平面状の配置になっている、基準マーカがリング状の配置になっている、および基準マーカが非対称な配置になっているという特徴のうちの１つまたは複数を含む。

【0046】

球形基準マーカ（Ｓｐｈｅｒｉｃａｌ ｆｉｄｕｃｉａｌ ｍａｒｋｅｒ）
いくつかの実施形態では、基準マーカは、球形基準マーカである。いくつかの実施形態では、検出アルゴリズムは、特定の直径ｄ_Mを有する個々の基準マーカの球形と、それらの基準マーカの円形構成（例えばリング状）とに依拠する。これを、図６に例示する。図６では、例示的な基準フレームは、実質的に平面状に配置された３つの球形基準マーカを含む。さらに、図６の基準マーカは、リング状にも配置されており、この基準マーカの配置は、非対称である。球形画像データは、画像処理によって容易に検出することができる。また、球形基準マーカは、容易に製造することができる。例示的な球形基準マーカは、Ｇｄ−ＤＴＰＡ溶液で充填した３Ｄ印刷した球形液体容器である。

【0047】

球形マーカは、既定の直径Ｄ_Fを有する２Ｄ円内に位置合わせされているが、構成が非対称になるように不規則な間隔になっている。つまり、基準フレームは、中心の周りに回転し、かつ／または円をひっくり返した後では、見た目が変化する。基準座標フレームの原点が円の中心に規定され、そのｚ軸が円に対して直交するものとすると、ｉ番目のマーカの座標は、以下のように定義することができる。

【数1】

ここで、Ｎ_Mは、球形マーカの数である。

【0048】

非対称要件を達成する簡単な方法は、以下の条件を満たすことである。
δ_i≠δ_j（０≦ｉ＜ｊ≦Ｎ_M）
ここで、δｉは、円の中心の周りのマークｉとｉ＋１の間の角度である。
δ_i＝θ_i+1−θ_i （１＜ｉ＜Ｎ_M−１）
δ_N＝２π−θ_N

【0049】

いくつかの実施形態の基準マーカは球形であるが、この用語は、完全な球形を意味するものではない。ただし、球形の誤差の量は、基準マーカが球形を有するものと規定してオブジェクトの強調を適用する本明細書の以下で述べるアルゴリズムの能力を損なうほど大きくはならないものとする。

【0050】

ＩＶ．クロッププロセス
いくつかの実施形態では、医療処置のための処置前計画に関連する情報を使用して、自動画像クロッププロセスを実行する。図７は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図７に示す動作は、処置前計画に関連する情報に基づいて実行される。

【0051】

ステップＳ７０１で、コンピューティングシステム２００は、対象の画像データを取得する。例えば、画像データは、患者の解剖学的構造の医療画像データであることもある。いくつかの実施形態では、画像データは、ＭＲＩデータを含む。例えば、患者がＭＲＩスキャナのガントリ内にいる間に、ＭＲＩスキャナが患者の体の少なくとも一部分をスキャンする。このスキャンに基づいて、ＭＲＩスキャナが、患者の解剖学的構造の画像を生成し、ＭＲＩシステム１０４が、その患者の解剖学的構造の３Ｄ画像データをコンピューティングシステム２００に送信する。いくつかの実施形態では、画像データは、ＣＴデータを含む。例えば、患者の体の一部分のＣＴスキャンを行い、ＣＴスキャンに基づいて画像データを生成することもできる。画像データを生成した後で、撮像システムは、画像データをコンピューティングシステム２００に送信する。

【0052】

いくつかの実施形態では、コンピューティングシステム２００は、画像データを生成した撮像システム以外のソースから画像データをファイルとして取得する。例えば、コンピューティングシステム２００は、コンピューティングシステム２００に接続されたＵＳＢフラッシュドライブまたはコンピューティングシステム２００がアクセス可能なその他の任意の適当な記憶媒体などの記憶デバイスから、ファイルを読み取る、または取り出すこともできる。いくつかの実施形態では、コンピューティングシステム２００は、ＬＡＮ、ＷＡＮ、その他の適当なネットワーク、またはネットワークの組合せなどのネットワークを介して画像データファイルを伝送するコンピューティングシステムから画像データを取得する。

【0053】

コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、したがって、コンピューティングシステム２００において、例えば画像データを生成した撮像システムから、記憶媒体から、またはネットワークを介して別のコンピューティングシステムから、画像データを取得する。

【0054】

ステップＳ７０２で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ７０１で取得した画像データを、ディスプレイ上のＧＵＩに提示する。いくつかの実施形態では、コンピューティングシステム２００は、ディスプレイを含み、画像データは、コンピューティングシステム２００のディスプレイ上のＧＵＩに提示される。いくつかの実施形態では、このディスプレイが出力デバイスであり、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、入出力インタフェース２０４を介してディスプレイに画像データを出力する。いくつかの実施形態では、ステップＳ７０２は、ＧＵＩに医療画像を提示することを含み、この医療画像は、患者の解剖学的構造の３Ｄ表現を含む。ＧＵＩに提示される医療画像は、医療処置の処置前計画のための計画画像として使用することができる。例えば、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、医師などの使用者がＧＵＩを介して入力を提供してＧＵＩに提示される医療画像上で１つまたは複数の位置を指定することを可能にするインタフェース要素および特徴を含むＧＵＩを提供する。いくつかの実施形態では、ＧＵＩは、任意の平面に沿って計画画像の一部分を表示し、内科医がターゲットおよび皮膚侵入点を指定できるようにする。したがって、内科医は、計画画像上でターゲットおよび皮膚侵入点を指定することによって、針配置の軌道を規定することができる。

【0055】

ステップＳ７０３で、コンピューティングシステム２００は、医療画像上での挿入点およびターゲットの指定を示す１つまたは複数の入力を受け取る。いくつかの実施形態では、ステップＳ７０３は、医療画像がディスプレイ上のＧＵＩに提示されている間に入力を受け取ることを含む。入力は、任意の適当な方法で受け取ることができる。例えば、限定されるわけではないが、使用者は、指、スタイラス、またはその他のツールによってタッチセンスディスプレイに触れること、マウスまたはタッチパッドによってカーソルを制御すること、キー、ボタン、またはその他の入力構造を押圧すること、ＧＵＩに含まれる１つまたは複数のインタフェース要素を操作または選択すること、入力を提供する別の技術、またはこれらのうちの２つ以上の組合せのうちの１つまたは複数によって、医療画像上の挿入点およびターゲットを指定する１つまたは複数の入力を提供することができる。計画挿入点は、針が患者の体内に挿入される皮膚侵入点である。ターゲットは、処置すべき位置、スポット、またはエリア、および／あるいはアクセスすべき解剖学的構造である。針配置の軌道は、計画挿入点とターゲットとを結ぶことによって規定される。

【0056】

ステップＳ７０４で、コンピューティングシステム上で実行されるナビゲーションソフトウェア１００は、規定した軌道をロボット制御サーバ１０２に送信する。いくつかの実施形態では、ステップＳ７０４は、ターゲットおよび計画挿入点を示す情報を送信することを含む。例えば、いくつかの実施形態によれば、ロボット制御サーバ１０２がターゲットおよび挿入点の情報を使用して、ロボット制御サーバ１０２において軌道を決定する。いくつかの実施形態では、ステップＳ７０４は、ナビゲーションソフトウェア１００が計画挿入点とターゲットを結ぶことによって針配置の軌道を決定することを含む。次いで、ナビゲーションソフトウェア１００は、規定した軌道をロボット制御サーバ１０２に転送する。

【0057】

ステップＳ７０５で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ディスプレイ上のＧＵＩに、規定した軌道に沿った平面による再スライス３Ｄ画像を提示することができる。例えば、軌道が規定されたら、ナビゲーションソフトウェア１００は、軌道に沿った平面によって３Ｄ画像を再スライスして、内科医が経路の周りで任意の重要な構造および障害物を発見できるようにすることができる。例えば、図３は、ナビゲーションソフトウェア１００の例示的なグラフィカルユーザインタフェースに提示される医療画像を示している。この画像は、患者の解剖学的構造の３Ｄ表現と、計画軌道およびターゲットを識別する情報とを含み、この画像は、規定された軌道に沿った平面でスライスされている。

【0058】

次いで、医療デバイスを、患者の手術部位の上に配置または固定することができる。図８は、いくつかの実施形態による基準マーカを含む例示的な医療デバイス８００を示す図である。図８は、８個の基準マーカ８０１が単一の平面上に円形レイアウトで非対称に配置された、位置合わせする対象の医療デバイス８００を示している。基準マーカを単一の平面上に配置することにより、位置合わせのためにクロップするフットプリントが最小限になる。さらに、基準マーカ８０１の非対称レイアウトにより、医療画像における医療デバイス８００の真の配向を決定できることが保証される。基準マーカ８０１は、上述の基準マーカとすることができ、基準フレームは、本明細書に記載する方法で配置することができる。医療デバイス８００の中心に位置するのは、医療デバイス８００が位置決めされた後で針、プローブ、またはその他のデバイスを挿入する物理的針挿入点８０２である。次に、医療デバイス８００および患者の医療画像データ１００５を取得する。この画像データ１００５は、例えば、ＭＲＩまたはＣＴデータである。基準マーカ８０１は、医療画像では基準マーカオブジェクトとして見えることがある。いくつかの実施形態では、医療画像は、医療デバイス８００の位置合わせを実行するためにコンピューティングシステム２００に送信される較正画像とすることもできる。

【0059】

図９は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図９に関連して説明する動作は、較正画像をＭＲＩシステム１０４から取得したときに実行される。図９の動作について、図１０（Ａ）から図１０（Ｃ）を参照して説明する。

【0060】

ステップＳ９０１で、コンピューティングシステム２００は、対象および医療デバイスの画像データを取得する。いくつかの実施形態では、ステップＳ９０１は、対象および医療デバイスの画像データを取得することを含み、この医療デバイスは、基準マーカを含み、画像データは、３次元画像データを含む。例えば、画像データは、図７の患者の解剖学的構造および医療デバイス８００の医療画像データであることもある。いくつかの実施形態では、画像データは、ＭＲＩデータを含む。例えば、患者がＭＲＩスキャナのガントリ内にいるときに、ＭＲＩスキャナが、患者の体の少なくとも一部分を、医療デバイス８００がその上に位置している間にスキャンする。このスキャンに基づいて、ＭＲＩスキャナが、患者の解剖学的構造および医療デバイス８００の画像を生成し、ＭＲＩシステム１０４が、その患者の解剖学的構造および医療デバイス８００の３Ｄ画像データをコンピューティングシステム２００に送信する。いくつかの実施形態では、画像データは、ＣＴデータを含む。例えば、患者の体の一部分および医療デバイス８００のＣＴスキャンを行い、ＣＴスキャンに基づいて画像データを生成することもできる。画像データを生成した後で、撮像システムは、画像データをコンピューティングシステム２００に送信する。

【0061】

いくつかの実施形態では、コンピューティングシステム２００は、画像データを生成した撮像システム以外のソースから画像データをファイルとして取得する。例えば、コンピューティングシステム２００は、コンピューティングシステム２００に接続されたＵＳＢフラッシュドライブまたはコンピューティングシステム２００がアクセス可能なその他の任意の適当な記憶媒体などの記憶デバイスから、ファイルを読み取る、または取り出すこともできる。いくつかの実施形態では、コンピューティングシステム２００は、ＬＡＮ、ＷＡＮ、その他の適当なネットワーク、またはネットワークの組合せなどのネットワークを介して画像データファイルを伝送するコンピューティングシステムから画像データを取得する。

【0062】

コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、したがって、コンピューティングシステム２００において、例えば画像データを生成した撮像システムから、記憶媒体から、またはネットワークを介して別のコンピューティングシステムから、患者および医療デバイス８００の画像データを取得する。

【0063】

ステップＳ９０２で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、計画挿入点に基づいて３次元形状を表す情報を生成する。ステップＳ９０３で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ９０２で生成した３次元形状に基づいて、ステップＳ９０１で取得した画像データにクロッププロセスを適用する。ステップＳ９０２およびＳ９０３について、図１０（Ａ）から図１０（Ｃ）を参照して説明する。

【0064】

図１０（Ａ）は、自動クロップが実行される例示的な医療画像データセット１００５を示す図である。医療画像データセット１００５は、２次元で示してあるが、このデータセットは、標準的な３Ｄ医療撮像データセットであり、自動クロップは３次元で行われる。患者ベッド１００６による医療画像内の金属アーチファクトが示されている。これらのアーチファクトは、自動位置合わせを実行する前に画像を事前クロップしないときには、基準マーカとして誤認されることが多い。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針挿入点１００１を選択する。自動画像クロップは、３Ｄ画像セット中に球形エリア１００２を構築することによって行われる。球形エリア１００２のサイズは、位置合わせする対象の医療デバイス８００の最大サイズに、内科医による患者上の医療デバイス８００の物理的配置と計画挿入点１００１の間の予想最大誤差を足した値に設定する。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、球形エリア１００８の３次元表現を、図１０（Ｂ）に示す。画像クロップキューブ１００９の３次元図に示すように、球形エリア１００２を完全に包囲する画像クロップキューブ１００３を計算する。次いで、この画像クロップキューブ１００３を使用して、画像データセットをクロップして、クロップ画像１００７を生じる（図１０（Ｃ））。次いで、基準マーカオブジェクト１００４がないかどうか、クロップ画像データセット１００７を探索する。いくつかの実施形態では、クロップ画像データセット１００７は、少なくとも２つの基準マーカを含む。

【0065】

本明細書に記載する様々な実施形態によれば、誤差情報は、所定値である情報であることもある。例えば、本明細書に記載する様々な実施形態で使用される誤差の量は、自動位置合わせの前に決定され、ナビゲーションソフトウェア１００に事前にプログラムされる値であることもある。いくつかの実施形態では、誤差は、医療デバイス８００のサイズの百分率として規定される。任意の適当な方法を利用して、含める誤差の量を決定することができる。

【0066】

ステップＳ９０４で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、クロップ画像データセット１００７内で基準マーカオブジェクト１００４を検出する。画像データ内での基準マーカオブジェクトの検出は、任意の適当な方法で実行することができる。基準マーカオブジェクトの検出については、以下の項でさらに説明する。

【0067】

ステップＳ９０５で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ９０４で検出した基準マーカオブジェクト１００４を位置合わせする。基準マーカオブジェクトの位置合わせは、任意の適当な方法で実行することができる。基準マーカオブジェクトの位置合わせについては、以下の項でさらに説明する。

【0068】

図１１は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図１１に関連して説明する動作は、較正画像をＭＲＩシステム１０４から取得したときに実行される。図１１の動作について、図１２（Ａ）から図１２（Ｃ）を参照して説明する。

【0069】

ステップＳ１１０１で、上述のステップＳ９０１に対応する方法で、動作が実行される。ステップＳ１１０２で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、計画挿入点に基づいて３次元形状を表す情報を生成する。ここで、３次元形状の配向は、計画針軌道に沿っている。ステップＳ１１０３で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ１１０２で生成した３次元形状に基づいて、ステップＳ１１０１で取得した画像データにクロッププロセスを適用する。ステップＳ１１０２およびＳ１１０３について、図１２（Ａ）から図１２（Ｃ）を参照して説明する。

【0070】

図１２（Ａ）は、自動クロップが実行される例示的な医療画像データセット１００５を示す図である。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針挿入点１００１を選択する。処置前計画中に、使用者は、計画針ターゲット１２０３を選択する。次いで、計画針挿入点１００１と計画針ターゲット１２０３とを結ぶ計画針軌道１２０２が、自動的に規定される。画像クロップ直方体キューブ１２０１を構築し、医療画像データセット１００５をクロップするために計画針軌道１２０２に沿って配向させる。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、画像クロップ直方体キューブの３次元表現１２０８を示す（図１２（Ｂ））。画像クロップ直方体キューブの長さ１２０７、および画像クロップ直方体キューブの奥行き１２０５は、それぞれ、患者の上に配置された位置合わせする対象の医療デバイス８００の最大長さおよび最大奥行きに、ある程度の誤差幅を足した値に設定される。誤差幅は、内科医による患者上での医療デバイス８００の物理的配置と計画挿入点１００１との間の予想最大固有ベクトル距離に設定される。画像クロップ直方体キューブの高さ１２０６は、患者の上に配置された医療デバイス８００の基平面から医療デバイス８００内の基準マーカ８０１までの最大距離に、ある程度の誤差幅を足した値に設定される。誤差幅は、患者の呼吸による医療デバイス８００の予想最大変位、または患者上に配置された医療デバイス８００の予想最大傾斜のうち、いずれか大きい方に設定される。

【0071】

画像クロップ直方体キューブ１２０１を用いて元の医療画像データセット１００５をクロップした後、より小さなクロップ画像データセット１２０４が得られる（図１２（Ｃ））。次いで、基準マーカオブジェクト１００４がないかどうか、このクロップ画像データセットを探索する。図１２（Ｃ）は、基準探索エリアを制限する1つの方法である画像の実際のクロップを示しているが、代わりに、実際には画像をクロップせずに、画像クロップ直方体キューブ１２０１を単純に基準探索ボックスとして使用することもできる。さらに詳細には、基準がないかどうか、例示的な医療画像データセット１００５の全体を探索してもよく、その場合には、画像クロップ直方体キューブ１２０１内で発見された基準のみが、有効な基準とみなされる。ただし、実際に画像をクロップすると、探索可能エリアが制限されるので、位置合わせアルゴリズムが高速化する。

【0072】

ステップＳ１１０４で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、クロップ画像データ１２０４内で基準マーカオブジェクト１００４を検出する。画像データ内での基準マーカオブジェクトの検出は、任意の適当な方法で実行することができる。基準マーカオブジェクトの検出については、以下の項でさらに説明する。

【0073】

ステップＳ１１０５で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ１１０４で検出した基準マーカオブジェクト１００４を位置合わせする。基準マーカオブジェクトの位置合わせは、任意の適当な方法で実行することができる。基準マーカオブジェクトの位置合わせについては、以下の項でさらに説明する。

【0074】

図１３は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図１３に関連して説明する動作は、例えば図１１によるプロセスが実行された後で実行される。図１３の動作について、図１４（Ａ）から図１４（Ｃ）を参照して説明する。

【0075】

図１４（Ａ）は、自動クロップが実行される医療画像データセット１００５を示す図である。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針挿入点１００１を選択する。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針ターゲット１２０３を選択する。次いで、計画針挿入点１００１と計画針ターゲット１２０３とを結ぶ計画針軌道１２０２が、自動的に規定される。医療画像データセット１００５を反復的にクロップするために、計画針軌道１２０２に沿って、３つの反復、すなわち画像クロップ直方体キューブ反復Ａ１４０１、画像クロップ直方体キューブ反復Ｂ１４０２、および画像クロップ直方体キューブ反復Ｃ１４０３を構築する（図１４（Ｂ））。画像クロップ直方体キューブＡ１４０１、Ｂ１４０２、およびＣ１４０３は、計画針挿入点１００１を中心としている（図１４（Ｃ））。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、画像クロップ直方体キューブ反復Ａの３次元表現１４０７、画像クロップ直方体キューブ反復Ｂの３次元表現１４０８、および画像クロップ直方体キューブ反復Ｃの３次元表現１４０９を示す。反復プロセスは、最適な位置合わせ結果が得られるまでクロップ画像エリアを反復的に拡大することによってクロップ画像エリアを狭くすることを意図したものである（ステップＳ１３０２、Ｓ１３０３、Ｓ１３０４）。反復プロセスにより、全ての基準マーカを含みながら最も小さいクロップエリアを識別することができる。ステップＳ１３０２における位置合わせ結果が所定の基準を満たすかどうかの判定（Ｓ１３０３のＹｅｓまたはＮｏ）は、任意の適当な基準に基づいていてよい。例えば、その基準は、発見された基準マーカの所定の量または割合であってもよい。基準を満たす場合には、位置合わせは、ステップＳ１３０４で終了する。基準が満たされない場合には、反復プロセスは継続する。いくつかの実施形態によれば、反復プロセスは、最適な位置合わせ結果が得られるまでクロップ画像エリアを反復的に拡大ではなく縮小することによって行われる。例えば、計画挿入点１００１を中心としたクロップ画像エリアの漸次縮小を行うことができる。クロップ画像エリアは、反復のたびに、所定のサイズまで、または所定の割合で、収縮することができる。このプロセスは、所定の結果が得られるまで、例えば発見された基準マーカが所定の量または割合になるまで、継続することができる。

【0076】

反復Ａに関しては、画像クロップ直方体ボックス反復Ａ１４０７の長さ１４１０および奥行き１４１１は、内科医による患者上の医療デバイス８００の物理的配置と計画挿入点１００１の間の予想最小誤差に等しい。画像クロップ直方体ボックス反復Ａ１４０７の高さ１４１２は、患者の呼吸による医療デバイス８００の予想最小変位、または患者上に配置された医療デバイス８００の予想最小傾斜のうちの大きい方に設定される。その結果得られる３次元クロップ画像データセット反復Ａは、１４０４で与えられる（図１４（Ｃ））。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する（ステップＳ１３０１）。

【0077】

反復Ｂに関しては、画像クロップ直方体ボックス反復Ｂ１４０８の長さ１４１３および奥行き１４１４は、画像クロップ直方体ボックス反復Ａ１４０７の長さ１４１０および奥行き１４１１に小さな誤差幅を足した値に等しい。画像クロップ直方体ボックス反復Ｂ１４０８の高さ１４１５は、画像クロップ直方体ボックス反復Ａ１４０７の高さ１４１２に大きな誤差幅を足した値に設定される（ステップＳ１３０５）。その結果得られる３次元クロップ画像データセット反復Ｂは、１４０５で与えられる（ステップＳ１３０６）。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する（ステップＳ１３０７）。

【0078】

反復Ｃに関しては、画像クロップ直方体ボックス反復Ｃ１４０９の長さ１４１６および奥行き１４１７は、画像クロップ直方体ボックス反復Ａ１４０７の長さ１４１０および奥行き１４１１に大きな誤差幅を足した値に等しい。画像クロップ直方体ボックス反復Ｃ１４０９の高さ１４１８は、画像クロップ直方体ボックス反復Ｂ１４０８の高さ１４１５に設定される。その結果得られる３次元クロップ画像データセット反復Ｃは、１４０６で与えられる。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する。

【0079】

第４のクロップ（反復Ｄ）が必要な場合には、画像クロップ直方体ボックス反復Ｄの長さ、奥行き、および高さは、反復Ｂおよび反復Ｃで得られた位置合わせ結果に基づいて設定される。例えば、反復Ｂで８個の基準のうち６個が発見され、反復Ｃでも８個の基準のうち６個しか発見されなかった場合には、残りの２つの基準を見つけるために、画像クロップ直方体ボックス反復Ｄの高さをさらに拡大する。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する。

【0080】

図１５は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図１５に関連して説明する動作は、較正画像をＭＲＩシステム１０４から取得したときに実行される。図１５の動作について、図１６を参照して説明する。

【0081】

ステップＳ１５０１で、上述のステップＳ９０１に対応する方法で、動作が実行される。ステップＳ１５０２で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、計画挿入点を中心とするベクトルに沿って画素値の大きさ（ｐｉｘｅｌ ｉｎｔｅｎｓｉｔｙ）をサンプリングすることによって、皮膚平面を探索する。皮膚平面が見つからない場合（ステップＳ１５０３でｎｏの場合）には、計画針軌道に沿って挿入点を移動させる（ステップＳ１５０４）。皮膚平面が見つかった場合（ステップＳ１５０３でｙｅｓの場合）には、プロセスは、ステップＳ１５０５に進み、ナビゲーションソフトウェア１００が、計画挿入点に基づいて３次元形状を表す情報を生成する。ここで、３次元形状の配向は、皮膚平面に基づいている。ステップＳ１５０６で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ１５０５で生成した３次元形状に基づいて、ステップＳ１５０１で取得した画像データにクロッププロセスを適用する。ステップＳ１５０２からＳ１５０６について、図１６（Ａ）から図１６（Ｃ）を参照して説明する。

【0082】

図１６（Ａ）は、自動クロップが実行される医療画像データセット１００５を示す図である。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針挿入点１００１を選択する。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローをしようして、計画針ターゲット１２０３を選択する。次いで、計画針挿入点１００１と計画針ターゲット１２０３とを結ぶ計画針軌道１２０２が、自動的に規定される。計画針挿入点１００１を中心とするベクトルに沿って、画素値の大きさのサンプリングを実行する。皮膚平面１６０２を発見するために、画素値の大きさのサンプリングベクトルを計画針挿入点１００１の周りで回転させる。皮膚平面サンプリングベクトルＡ１６０３および皮膚平面サンプリングベクトルＢ１６０４などの各配向で、そのベクトルに沿った各画素の強度をサンプリングする。サンプリングした全ての画素値の大きさが空気のハウンズフィールド単位（ＨＵ）に近いとき、すなわち値−１０００ＨＵに近いときに、皮膚平面１６０２を決定する。計画針挿入点１００１が体の直近の空気中ではなく体の中に選択される可能性もある。この場合には、強度サンプリングベクトルを回転させても空気のハウンズフィールド単位に近い強度が得られないので、皮膚平面を発見することができない。皮膚平面１６０２が発見されない場合には、このアルゴリズムは、計画挿入点を計画針軌道１２０２に沿って計画針ターゲット１２０３から遠ざけるように移動させ、皮膚平面１６０２を発見するために、新たな計画針挿入点１００１を中心とする回転するベクトルに沿って画素値の大きさを再度サンプリングする。このプロセスは、皮膚平面が識別されるまで繰り返される。

【0083】

画像クロップ直方体キューブ１６０１は、医療画像データセット１００５をクロップするために発見した皮膚平面１６０２に合わせて配向して構築する。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、画像クロップ直方体キューブの３次元表現１６０９を図１６（Ｂ）に示す。画像クロップ直方体キューブ１６０９の長さ１６０８、および画像クロップ直方体キューブ１６０９の奥行き１６０６は、それぞれ、患者の上に配置された位置合わせする対象の医療デバイス８００の最大長さおよび最大奥行きに、ある程度の誤差幅を足した値に設定される。誤差幅は、内科医による患者上での医療デバイス８００の物理的配置と計画挿入点１００１との間の予想最大誤差に設定される。画像クロップ直方体キューブ１６０９の高さ１６０７は、患者の上に配置された医療デバイス８００の平面からの医療デバイス８００内の基準マーカ８０１の最大高さに、ある程度の誤差幅を足した値に設定される。誤差幅は、患者の呼吸による医療デバイス８００の予想最大変位、または患者上に配置された医療デバイス８００の予想最大傾斜のうち、いずれか大きい方に設定される。画像クロップ直方体キューブ１６０１を用いて元の医療画像データセット１００５をクロップした後、より小さなクロップ画像データセット１６０５が得られる（図１６（Ｃ））。次いで、基準マーカオブジェクト１００４がないかどうか、このクロップ画像データセットを探索する。

【0084】

ステップＳ１５０７で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、クロップ画像データ１６０５内で基準マーカオブジェクト１００４を検出する。画像データ内での基準マーカオブジェクトの検出は、任意の適当な方法で実行することができる。基準マーカオブジェクトの検出については、以下の項でさらに説明する。

【0085】

ステップＳ１５０８で、コンピューティングシステム２００上で実行されるナビゲーションソフトウェア１００は、ステップＳ１５０７で検出した基準マーカオブジェクトを位置合わせする。基準マーカオブジェクトの位置合わせは、任意の適当な方法で実行することができる。基準マーカオブジェクトの位置合わせについては、以下の項でさらに説明する。

【0086】

図１７は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図１７に関連して説明する動作は、較正画像をＭＲＩシステム１０４から取得した後で実行される。図１７は、図１３の方法と図１５の方法の組合せを含み、これについて、図１８（Ａ）から図１８（Ｃ）を参照して説明する。

【0087】

図１８（Ａ）は、自動クロップが実行される医療画像データセット１００５（ステップＳ１７０１で取得される）を示す図である。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針挿入点１００１を選択する。処置前計画中に、使用者は、標準的な臨床処置前計画ワークフローを使用して、計画針ターゲット１２０３を選択する。次いで、計画針挿入点１００１と計画針ターゲット１２０３とを結ぶ計画針軌道１２０２が、自動的に規定される。計画針挿入点１００１を中心とするベクトルに沿って、画素値の大きさのサンプリングを実行する。皮膚平面１６０２を発見するために、画素値の大きさのサンプリングベクトルを計画針挿入点１００１の周りで回転させる（Ｓ１７０２）。皮膚平面サンプリングベクトルＡ１６０３および皮膚平面サンプリングベクトルＢ１６０４などの各配向で、そのベクトルに沿った各画素の強度をサンプリングする。図１６（Ａ）から図１６（Ｃ）を参照して述べたように、サンプリングした全ての画素値の大きさが空気のハウンズフィールド単位に近いときに、皮膚平面１６０２を決定する。計画針挿入点１００１が体の直近の空気中ではなく体の中に選択される可能性もある。この場合には、強度サンプリングベクトルを回転させても空気のハウンズフィールド単位に近い強度が得られないので、皮膚平面を発見することができない（ステップＳ１７０３でｎｏ）。皮膚平面１６０２が発見されない場合には、このアルゴリズムは、計画挿入点を計画針軌道１２０２に沿って計画針ターゲット１２０３から遠ざけるように移動させ、新たな計画針挿入点１００１を中心とする回転するベクトルに沿って画素値の大きさを再度サンプリングして、皮膚平面１６０２を発見することになる（Ｓ１７０４）。このプロセスは、皮膚平面が識別される（ステップＳ１７０３でｙｅｓ）まで繰り返される。

【0088】

医療画像データセット１００５を反復的にクロップするために、皮膚平面１６０２に沿って、３つの反復、すなわち画像クロップ直方体キューブ反復Ａ１８０２、画像クロップ直方体キューブ反復Ｂ１８０１、および画像クロップ直方体キューブ反復Ｃ１８０３を構築する。皮膚平面１６０２が識別されているので、クロップボックス１８１６の底縁部は、皮膚平面１６０２と同じになるように設定することができる。ただし、位置合わせは、まだ行われていないので、皮膚平面１６０２は、医療デバイス８００の平面の推定に過ぎず、実際には、医療デバイス８００が患者の湾曲によって傾斜している可能性がある。したがって、クロップボックス１８１６の底縁部は、皮膚平面１６０２と物理的な医療デバイス８００の平面との間の任意の誤差を補正するために、挿入点１００１の下方の既定距離に設定されるものとする。基準マーカオブジェクト１００４は患者の体外にあることが分かっているので、クロップの反復では、患者の解剖学的構造内部に向かってではなく、患者から離れるようにのみ、クロップボックスの高さ（例えば高さ５０８、高さ５１１、高さ５１４）を拡大するものとする。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、画像クロップ直方体キューブ反復Ａの３次元表現１８１７、画像クロップ直方体キューブ反復Ｂの３次元表現１８１８、および画像クロップ直方体キューブ反復Ｃの３次元表現１８１９を、図１８（Ｂ）に示す（ステップＳ１７０５）。反復プロセスは、最適な位置合わせ結果が得られるまでクロップ画像エリアを反復的に拡大することによってクロップ画像エリアを狭くすることを意図したものである（ステップＳ１７０６、Ｓ１７０９、Ｓ１７１０、Ｓ１８１１）。反復プロセスにより、全ての基準マーカを含みながら最も小さいクロップエリアを識別することができる（ステップＳ１７１０、図１８（Ｃ））。

【0089】

反復Ａに関しては、画像クロップ直方体キューブ反復Ａ１８１７の長さ１８０７および奥行き１８０９は、内科医による患者上の医療デバイス８００の物理的配置と計画挿入点１００１の間の予想最小誤差に等しい。画像クロップ直方体キューブ反復Ａ１８１７の高さ１８０８は、患者の呼吸によるデバイスの予想最小変位、または患者上に配置された医療デバイス８００の予想最小傾斜のうちの大きい方に設定される。その結果得られる３次元クロップ画像データセット反復Ａは、１８０４で与えられる（図１８（Ｃ））。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する（ステップＳ１７０７およびＳ１７０８）。

【0090】

反復Ｂに関しては、画像クロップ直方体キューブ反復Ｂ１８１８の長さ１８１０および奥行き１８１２は、画像クロップ直方体キューブ反復Ａ１８１７の長さ１８０７および奥行き１８０９に小さな誤差幅を足した値に等しい。画像クロップ直方体キューブ反復Ｂ１８１８の高さ１８１１は、画像クロップ直方体キューブ反復Ａ１８１７の高さ１８０８に大きな誤差幅を足した値に設定される（ステップＳ１７１１）。その結果得られる３次元クロップ画像データセット反復Ｂは、１８０５で与えられる（Ｓ１７０６からＳ１７０７）。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する（ステップＳ１７０８）。

【0091】

反復Ｃに関しては、画像クロップ直方体キューブ反復Ｃ１８１９の長さ１８１３および奥行き１８１５は、画像クロップ直方体キューブ反復Ａ１８１７の長さ１８０７および奥行き１８０９に大きな誤差幅を足した値に等しい。画像クロップ直方体キューブ反復Ｃ１８１９の高さ１８１４は、画像クロップ直方体キューブ反復Ｂ１８１８の高さ１８１１に設定される。その結果得られる３次元クロップ画像データセット反復Ｃは、１８０６で与えられる。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する。

【0092】

第４のクロップ（反復Ｄ）が必要な場合には、画像クロップ直方体キューブ反復Ｄの長さ、奥行き、および高さは、反復Ｂおよび反復Ｃで得られた位置合わせ結果に基づいて設定される。例えば、反復Ｂで８個の基準のうち６個が発見され、反復Ｃでも８個の基準のうち６個しか発見されなかった場合には、残りの２つの基準を見つけるために、画像クロップ直方体キューブ反復Ｄの高さをさらに拡大する。次いで、基準マーカオブジェクト１００４を探索することによって、このデータセットに対して自動位置合わせを実行する。

【0093】

図１９は、ナビゲーションソフトウェア１００を実行するコンピューティングシステム２００における例示的な動作の流れを示す図である。いくつかの実施形態では、図１９に関連して説明する動作は、較正画像をＭＲＩシステム１０４から取得したときに実行される。図１９の動作について、図２０を参照して説明する。

【0094】

ステップＳ１９０１からＳ１９０５は、ステップＳ１１０１からＳ１１０５に対応する。ステップＳ１９０６で、針を、図８に示す針挿入点８０２に部分的に挿入する。ステップＳ１９０７からＳ１９１１について、図２０（Ａ）から図２０（Ｃ）を参照して説明する。

【0095】

図２０（Ａ）は、自動クロップが実行される例示的な医療画像データセット１００５を示す図である。図２０（Ａ）では、医療デバイス８００は、（図８に示すように）物理的針挿入点８０２を中心にして円形レイアウトで配置された基準マーカ８０１を有するものと仮定している。医療撮像によって誘導される介入性処置は反復プロセスであるので、デバイス位置を、取得した全ての画像データセット（Ｓ１９０７）を用いて再位置合わせすることが一般的である。画像におけるデバイス位置の第１の位置合わせ（Ｓ１９０１からＳ１９０５）の後で、画像クロップ直方体キューブ２００１を、基準探索エリアをさらに制限し、基準の誤検出を低減するためにデバイス位置に患者の動きおよび呼吸を見込むためのある程度の誤差幅を足したものだけを含むように縮小して、再位置合わせ（Ｓ１９１１）を行うことができる。（２次元だけでなく）３次元でのクロップであることが再度認識され分かりやすいように、画像クロップ直方体キューブの３次元表現２００２を、図２０（Ｂ）に示す（Ｓ１９０８）。基準は物理的針挿入点９０２を中心とする円形レイアウト内にあるので、画像クロップ直方体キューブの中心から、円筒形クロップエリア２００３を取り除くこともできる（Ｓ１９０９）。この手法により、基準マーカオブジェクト１００４の探索に使用されるクロップ画像データセット２００６内の高強度針アーチファクト２００５が除去される（図２０（Ｃ））。これは、基準マーカとして誤って検出される可能性がある針アーチファクトを除去する助けになる。

【0096】

ステップＳ１９１０で、クロップ画像データ２００６における基準の検出を行う。次いで、ステップＳ１９１１で、ステップＳ１９１０で識別した基準を位置合わせする。

【0097】

検出および位置合わせ
検出および位置合わせは、任意の適当な位置合わせ方法によって行うことができる。例えば、基準の検出および位置合わせは、参照によりその全体を本明細書に組み込む米国特許公開第２０１７／００００５８１号に記載の方法で実行することもできる。医療画像データの基準マーカオブジェクトを検出する。そのために、最初に、微分に基づく演算などの特徴強調をデータに適用することができる。次に、特徴抽出を適用することができる。次いで、代表点を規定する。次のステップは、基準マーカオブジェクトを位置合わせすることを含む。基準がリング状に配置される実施形態では、リングを回転させる、またはひっくり返す。これは、一回転または部分回転、あるいは１８０°の反転としてもよい。次いで、２点間マッチングを適用する。２点間マッチングのデータから、画像上のターゲットを規定する。この位置合わせに基づいて、デバイスに対するターゲットの座標を計算する。次いで、針をターゲットに誘導するようにデバイスを調節する。

【0098】

以上の説明は、本開示の原理を説明するのに役立つものであるが、本開示は、上述の例に限定されないものとする。例えば、様々な動作のうちのいくつかの順序および／またはタイミングは、本開示の範囲を逸脱することなく、上記に与えた例とは異なることもある。さらに、例えば、ネットワークおよび／またはコンピューティングシステムの種類は、本開示の範囲を逸脱することなく、上記に与えた例とは異なることもある。上記に与えた例とのその他の変形例も、本開示の範囲を逸脱することなく、存在する可能性がある。ＧＵＩの特定の例を例示したが、ＧＵＩのその他の様々な実装態様も本開示の範囲内であることは理解されるであろう。例えば、本開示の範囲を逸脱することなく、例示した例の様々な特徴を、修正、再配置、または除去することもできるし、あるいは１つまたは複数の特徴を追加することもできる。

【0099】

本開示の範囲は、１つまたは複数のプロセッサによって実行されたときに、その１つまたは複数のプロセッサに本明細書に記載する１つまたは複数の実施形態を実行させる命令を記憶したコンピュータ可読媒体を含む。コンピュータ可読媒体は、ハードディスク、フロッピーディスク、光磁気ディスク（ＭＯ）、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、書き込み可能なコンパクトディスク（ＣＤ−Ｒ）、書き換え可能なＣＤ（ＣＤ−ＲＷ）、デジタル汎用ディスクＲＯＭ（ＤＶＤ−ＲＯＭ）、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性メモリカード、およびＲＯＭを含む。コンピュータ実行可能命令は、ネットワークを介してダウンロードすることによってコンピュータ可読記憶媒体に供給得することもできる。

【0100】

例示的な実施形態を参照して本開示について説明したが、本開示は記載した例示的な実施形態に限定されないことを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】