(58)【調査した分野】(Int.Cl.,DB名)
前記プロセッサは、1つ以上のユーザ入力デバイスから、前記画像における前記少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、前記少なくとも1つの挿入点の前記位置とを取得する、請求項1に記載の画像処理装置。
少なくとも1つのユーザ入力を受け取って、前記画像における少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、前記少なくとも1つの挿入点の位置とを取得することを更に含む、請求項10に記載の方法。
3次元画像セットを取得することは、治療される対象の超音波画像セット、コンピュータ断層撮影(CT)画像セット及び磁気共鳴(MR)画像セットのうちの少なくとも1つを取得することを含む、請求項10に記載の方法。
【背景技術】
【0003】
低侵襲医療処置は、入院期間の短縮及び患者の生活の質の向上を理由に、医学界においてますます人気が高まっている。例えば、インターベンショナル・オンコロジーの分野では、処置の低侵襲性と、その結果としての患者の回復期間の短縮を理由に、外科的切除よりも経皮的アブレーションが好まれることが多い。
【0004】
医用画像は、医師が低侵襲処置や他の処置の計画、実行及び術後分析を行うときの助けとなる。有用である一部のイメージングモダリティとしては、超音波イメージング、コンピュータ断層撮影法(CT)及び磁気共鳴画像法(MRI)が挙げられる。医用画像は、処置の実行中に患者に対して様々な器具を誘導する際の助けとなるように使用することもできる。
【0005】
計画時、低侵襲画像誘導式針インターベンション(生検、アブレーション療法等)では、通常、CTやMRI等のモダリティの医用画像において、目標の病変又は解剖学的構造が特定される。針軌道の計画を立てるために、通常、皮膚表面上の挿入点も、医用画像において特定される。計画軌道に沿って針を向けるときの助けとなるように、誘導デバイスが使用され、患者の皮膚上又はその近くに位置付けられることがある。針の長さに加えてデバイスの幾何学的形状により、到達可能エリアが制限されることになるので、選ばれた挿入点から目標が到達可能であるかどうかを決定するために、デバイスの知識、経験及び画像データ上の測定値に基づいて心象(mental picture)が形成される。誘導デバイスを用いた処置の間、デバイスが患者に配置され、新しい画像が取得され、それに基づいてデイバスを特定し、画像空間に対してレジストレーションすることができる。そして、目標が到達可能であるかどうかを確認することができる。
【0006】
しかしながら、医用画像は、一般に、患者の解剖学的構造に対して断面でスキャンされ(例えば、患者はCT又はMRIのボア内のガントリに横たわる)、目標病変と皮膚進入点との相対位置を考慮することなく、断面画像が得られる。よって、スクリーンで2次元画像を見るとき、目標病変と、皮膚進入点と、インターベンションに影響を及ぼす可能性のある任意の重要構造又は他の特徴との関係を可視化し理解することが、難しいことがある。
【0007】
よって、従来のシステムでは、目標到達可能性の評価の計画時に、イメージングソフトウェアにおいてデバイス配置をシミュレーションする準備をすることなく、十分な単純さと正確性で処置を計画し、実行し、かつその有効性を分析する能力には、限界がある。よって、針誘導デバイスが患者に配置され、撮像され、画像空間に対してレジストレーションされる前に、デバイスを用いて選ばれた挿入点から目標点が到達可能であることを確かめることは、困難である。
【0008】
米国特許第9,710,146号、米国特許出願公開第2011/0007071号当は、3次元データセットの中から関心画像を選択する際にユーザをサポートする画像表示制御のためのシステム及び方法を提供しているが、それは、針誘導に関して低侵襲処置を計画し実施する単純で直観的な方法を考慮していない。
【0009】
よって、上述した問題を解決するためのデバイス、システム及び方法が必要である。
【発明を実施するための形態】
【0019】
以下、図面を参照して、例示的な実施形態について説明する。本発明は、画像データの可視化の向上をもたらし、画像データは、3次元(3D)画像セットの2次元スライスである。多くの臨床医は、難なく様々なスライスに目を通して、関心領域及び周辺組織を理解するが、計画及び/又は処置が複雑になるにつれて、2次元(2D)画像を見る際に3D画像セットからの情報を可視化する能力が重要になる。
【0020】
例えば、実施形態によっては、臨床医が作業を計画し、実行し、かつ/又は評価する。
図1は、表示画像データ100と、モデルシステム及びカート110と、デバイスモデル120と、表示画像データ100にオーバーレイすることのできるレジストレーションされたデバイスモデル130とを備えるシステムを示す。実施形態によっては、計画画像データ100は、イメージングシステム(CT、MRI等)140から得られる3次元画像セットである。いくつかの好適な実施形態では、3次元画像セットは、診断及び/又は治療を要するオブジェクトの医用画像データセットである。画像ソフトウェアは、目標位置及び挿入点位置を設定することにより針軌道を定めることによって、診断及び/又は治療処置における計画と補助又は自動化を可能にすることができる。更に、イメージングソフトウェアは、針軌道及び表示画像データ100に基づき、挿入深さを計算してよい。実施形態によっては、イメージングソフトウェアは、デバイスモデル120を含む。デバイスモデル120は、処置で用いられる物理的誘導デバイスの3Dモデル表現である。物理的誘導デバイスは、処置の準備中又は実行中に、針、プローブ又は他の医療デバイスを誘導するのに適した任意のデバイスであってよい。針は、処置に適したサイズ又は長さの任意の針であってよい。実施形態によっては、複数の針の各針又は他の医療デバイスに対応するデータが、イメージングソフトウェアに含まれるそれぞれのデバイスモデルとして、コンピュータシステムに記憶される。
【0021】
画像データ100は、臨床医200に提示される2D画像と、概して患者のベッドに対応するアキシャル方向220に沿って延びる3Dデータセット210とを備える(
図2)。
【0022】
図3(A)及び
図3(B)は、患者300の2D CT画像を提供する。この画像では、目標点310と挿入点320の両方が特定されている。プローブ軌道340は、目標点310と挿入点320との間の線として定められる。破線は、他の2Dスライス340におけるプローブ軌道を提供する。
【0023】
画像2D画像300の横にインジケータバー350が提供され、3D画像データセットにおけるスライス画像の位置が示される。可視化されたスライス360の位置を太線(又は異なる色、マーク、点滅線等)で示すのに加えて、複数のスライスを通る関心領域370の深さもサイドバーに示される。これにより、特に深さ情報の描写に関して、容易な視認、計画及び処置が促される。なぜなら、医師又は技術者が2D画像スライスを連続して見ることによって3D画像セットを見るとき、2D画像では、画像内の様々な特徴の深さの容易な理解が促されないからである。
図3(A)のCT画像スライスでは、スライスの厚さは、インジケータバー350上の線の間隔によって示される。3次元画像セット内のスライスの数は、ステータスバーにおける横線の数によって示される。
【0024】
よって、イメージング装置及びソフトウェアは、例えば、1つ以上の生検プローブ又はアブレーションプローブの挿入の計画、実行及び評価を可能にする。ソフトウェアは、イメージングシステム140(例えばCTスキャナ)によってスキャンされた画像をロードし、それをディスプレイ100に示すことができる。医師又は技術者等の臨床医は、計画情報(例えば挿入点、目標点)を設定することができる。
【0025】
スライス画像300を表示するために、イメージングソフトウェアは、イメージングシステム140によってスキャンされたアキシャルスライスのうちの1つをディスプレイに描画する。また、イメージングソフトウェアは、どのアキシャルスライスが表示されるかについての情報を提供するインジケータバー350も描画する。この実施形態では、バー350は、スライスの左側にオーバーレイされる。しかしながら、他の実施形態では、インジケータバー350は、例えばスライス画像の上、下又は右側に位置してよい。更に、実施形態によっては、インジケータバー350の位置は、入力デバイスを介して(例えば、インジケータバーをクリック又はドラッグすることによって)、ユーザによって移動されてよい。他の実施形態では、バーの長さ全体を大きく又は小さく(すなわち、3次元画像セットのより広い範囲又はより狭い範囲を)見るために、インジケータバー350の中身がズームイン又はズームアウトされてよい。
【0026】
表示されている画像300は、入力デバイスを用いてユーザによって制御されてよい。インジケータバー350は、インジケータバー350によって示された3次元画像セット全体の中でスライス360をマークすることによって、イメージングシステム140によって提供された3D画像データ内のスライス360の位置を提供する。この特徴により、ユーザは、どの画像スライス300がディスプレイに示されているかを知ることができる。また、ソフトウェアは、
図3(A)の左上に示されるように、スライス情報380(例えば厚さ、スライスの数)を示してもよい。入力デバイスは、例えばマウス、タッチスクリーン、キーボード、キーパッド、マイクロフォン、モニタ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、又は他の動作センサ等であってよい。
【0027】
使用時、ユーザが様々なスライス画像300をスクロールする、又は他の方法で進むのに従って、可視化されたスライス360の位置はインジケータバー350に沿って動いて、そのスライスが他のスライス画像に対してどこにあるかを示す。ユーザが入力デバイスを用いてインジケータバー350に沿ってスクロールするのに従って、スライド画像300は、可視化されたスライス360としてインジケータバー350上に示されたスライスのスライス画像に対応するように変わる。同様に、追加の2次元画像が表示される場合、表示されている画像は、インジケータバー350上に示されたスライスのスライス画像に対応するように変わってよい。
【0028】
参照により本明細書に組み込まれる米国特許出願公開第2019/0008591号に記載のイメージングソフトウェア等のイメージングソフトウェアにより、ユーザは、腫瘍等の目標位置を指定することができる。ユーザが例えばそれぞれの関連スライス内の腫瘍をクリックした後、イメージングソフトウェアは、指定されたゾーンを表示されているスライス画像300にオーバーレイし、ステータスバー350を更新して、腫瘍の深さを示す。この情報は、ユーザが、生検又は治療のために計画を立て、1つ以上の軌道を定めるために使用することができる。
【0029】
治療又は生検に2つ以上の針が用いられる場合、例えばアブレーション療法に用いられる針の各々に対応するように、2つ以上の目標点又は2つ以上の挿入点の表示が存在してよい。ユーザは、例えば、ポインタ要素でスライス画像をクリックすることによって、又は、タッチ機能を有するディスプレイスクリーンにタッチすることによって、軌道の挿入点及び目標点を設定することができる。ソフトウェアは、挿入点と、目標点と、必要に応じて両点間の経路とを、任意のスライスにオーバーレイする。曲線状のプローブが用いられるとき、経路は曲線状であってよい。
【0030】
イメージングソフトウェアは、1つ以上の挿入を計画する際に目標点310及び挿入点320を定めるのに加えて、又はその代わりとして、関心領域370全体を定めてもよい。これは、ユーザが3D画像データ内の2D画像のいずれかに情報を入力して、腫瘍領域又は関心領域を定めることを要求することによって、実現することができる。
【0031】
実施形態によっては、目標点、挿入点及び必要に応じて関心領域を定める情報の全ては、ユーザによって具体的に定義される。他の実施形態では、このような情報の一部は、アルゴリズムを通して取得することができる。例えば、ユーザは、1つのスライス上に腫瘍を示すことができ、アルゴリズムは、腫瘍境界に基づき、関心領域の寸法を定める。別の例では、ユーザは、単一の目標点と、複数のプローブのためのフォーマット(例えば、3つのプローブのためのフォーマットは、選択された目標点を中心とする三角形パターンである)とを定める。この例では、表示は、単一の目標点か、又は、三角形とプローブ間の距離とによって定められた3つの別個の点かのいずれかであってよい(米国特許出願公開第2019/0008591号参照)。
【0032】
処置がアブレーションであるとき、ユーザは、プローブのタイプ、サイズ、長さ、パワー、時間及びプローブ数を選択することができる。次いで、ソフトウェアは、予測アブレーションゾーンをスライス画像にオーバーレイすることもできる。ユーザは、各スライスにおいて、予測アブレーションゾーンと指定された腫瘍とを比較することができる。
【0033】
本発明は、経皮的処置において1つ以上の針を誘導するのに用いられる針誘導デバイスと併せて用いることができる。デバイスは基準マーカを含み、基準マーカは、ディスプレイにおいて可視であってよい。基準マーカは3D座標に一意に置かれるので、ソフトウェアは、デバイスを、例えばCT画像においてレジストレーションことができる。本ソフトウェアは、バーを更新して、基準マーカが存在するスライスを示す。ソフトウェアは、ユーザがデバイスを使用するときに、到達可能エリアをオーバーレイすることができる。
【0034】
実施形態によっては、インジケータバー350の有する情報は、より多くてもより少なくてもよく、また、インジケータバー350は様々な方式で示されてよい。例えば、3D画像データセット360におけるスライス画像の位置は、
図4(A)では矢印で示され、
図4(B)では太線で示される。目標点310及び挿入点320のインジケータと共に、関心領域370の深さも示される。
【0035】
図4(B)によって例示される実施形態では、インジケータバー350は、2つの別個の目標点310を有する。これらの目標点は、楕円及び数字ラベルによって示される。同様に、
図4(C)は、本実施形態では同じスライスに生じた2つの別個の目標点310を描写する。2つの別個の目標は、2つの別個の挿入点320と相関する。また、本実施形態は、ユーザによって定めることのできる「お気に入り」又は興味深いスライス380の表示を提供する。
【0036】
現在のスライス360、目標点310、挿入点320、関心領域370、お気に入りスライス380、基準マーカ390等の様々な識別手段と同様に、他の手段も均等に適用可能とすることができる。例えば、色を使用して、インジケータバー350における様々な特徴を区別し、それについての情報を提供することができる。
【0037】
スライス画像300において提供される情報は、挿入点、関心領域、関心領域、アブレーションゾーン、到達可能ゾーン(例えば、定められた挿入点からシステムを介して専用針によって到達可能な組織のボリューム)を含んでよい。また、計画されたとおり又は実行されたとおりのプローブ(例えば針)軌道も示されてよい。自動又は手動で検出された基準マーカも提供されてよい。
【0038】
実施形態によっては、表示されていないスライスに関する情報も、スライス画像300において提供されてよい。例えば、プローブ軌道は、複数のスライス(
図4(A)では3つ、
図4(B)では8つ)にわたって続いてよい。これは、例えば、表示スライスにおけるプローブ軌道については実線で示され、プローブ軌道が非表示スライスを通って移動するときのプローブ軌道については、透明、灰色又は破線で示されてよい。更に、曲線状のプローブが使用される場合、曲線状の軌道が同様の手段で示されてよい。
【0039】
更に他の実施形態では、3次元画像セット内の基準マーカ390の位置が、インジケータバー350に表示されてよい。インジケータバーに含まれ得る他の情報として、格子、グリッド線等が挙げられる。
【0040】
図5は、2D画像スライス300及びインジケータバー350を示す、イメージングソフトウェアシステムの出力のスクリーンショットである。計画及び手術のための追加情報だけでなく、スライス画像の追加のビュー400(例えば挿入平面ビュー、3Dビュー及び/又はサジタルビュー)も表示される。この場合、治療される対象(すなわち肝臓)における腫瘍として、目標点310が、アブレーション療法の針進入のための提案された挿入点320とともに表示される。実施形態によっては、ユーザは、例えば、視認されるスライスを示すインジケータバー350の位置をポインティングデバイスでクリックすることによって、様々なスライス画像に目を通す。この場合、異なるスライスが選択されたとき、表示された画像スライス300と、表示された画像スライスの追加のビュー400の両方が、インジケータバー上の位置によって示されるスライスである。代替として、ユーザは、メインビューウィンドウ300又は追加のウィンドウビュー400の中からの2次元画像スライスの画像をスクロールすることができる。
【0041】
図5に示されるインジケータバー上の横線は、3次元画像セット内の各画像スライスを示す。3次元画像セット内の2次元画像のスライス幅は、インジケータバー内の横線の間隔によって示される。例えば、5mmスライスの代わりに2mmスライスを有する画像セットが作成される場合、2次元画像スライスの数を示す横線の数は多くなる。
【0042】
図6に記載の例示的なアブレーション処置では、臨床医は、アブレーションの計画及び実行のステップを含むプロセスにイメージングソフトウェアシステムを用いることができ、プロセスは、限定ではないが、(i)画像をロードすること(例えばスキャナ、PACS若しくはその他のスキャンデバイス/システムから、又は、新規の画像若しくは新たにスキャンされた画像を用いて)(
図6のステップS1を参照)、(ii)画像を可視化すること(例えば複数のペイン(アキシャル、コロナル、サジタル、3次元(3D)等のビュー)(例えば各ビューは画像(例えばCT DICOM画像)の異なる側面を表し得る)を表示すること、画像の少なくとも1つのペインを表示すること、画像(例えばCT DICOM画像)をロードし、可視化のためにコンピュータに表示すること、本明細書に記載のインジケータバーを用いて、視覚的に3Dデータセットを進み、再フォーマットされたスライスを3Dビューに表示することによって、ユーザが1つ以上のペインに表示された画像と相互作用することを可能にすること、等により)(
図6のステップS2を参照)、(iii)関心領域(アブレーションでは、治療ゾーン又は目標(例えば病変又は腫瘍)とすることができる)を特定すること(
図6のステップS3を参照)、(iv)目標点、挿入点又は進入点、及び目標点と挿入点の間の軌道を定めること(
図6のステップS4を参照)(ステップS4bに示されるように、ステップS4は、腫瘍又は病変の特性に応じて、1つの軌道がある場合又は複数の軌道(及び複数の目標点)がある場合に、プロセスを繰り返すことを含んでよい)、及び(v)特定の画像の進入点を患者の体の進入点に対応させること(
図6のステップS5を参照)、のうちの1つ以上を含んでよい。
【0043】
関心領域又は目標点及び挿入点が決定されると、インジケータバーは、3次元画像セット内のこれらの特徴の位置を表示する。その結果、臨床医は、インジケータバーに提供された情報を用いて、例えば、画像上のこれらの特徴の位置の正確性を検証し、又は、マージンが許容可能であるかどうかを判定し、又は、軌道(又は複数の軌道)を視認し、又は、他の重要な特徴(例えば血管又は胆管)の位置について画像を調べ、又は、必要とされる針の数及び/又はアブレーション療法のサイズを決定することにより、自由に3次元画像セットを進むことができる。
【0044】
目標点(及び目標点の数)の決定は、1つ以上の実施形態において臨床医の裁量で行われてよく、又は、病変又は腫瘍等の目標生体オブジェクトの特性(例えば病変又は腫瘍のサイズ、病変又は腫瘍の形状等)に依存してよい。目標点の配置のためのアルゴリズムを介して、臨床的(例えば数学的、統計的等)に最良の選択である目標点が選択されてよい。1つ以上の実施形態では、目標点は、目標又は治療ゾーンの中間軸(medial axis)又は中心線を見つける又は決定することによって、決定されてよい(
図6のステップS4を参照)。
【0045】
図7は、いくつかの実施形態による、イメージングソフトウェアと、針ガイドデバイスのロボット制御サーバと、MRIスキャナを含むMRIシステムとを含む針ガイドデバイスについての例示的なシステム図を示す。
図7は、針ガイドデバイスのためのシステムの一例を表すが、本開示は、このようなシステムに限定されない。例えば、いくつかの実施形態によれば、針ガイドデバイスは、手動操作式のデバイスである。例えば、本明細書に記載のシステムとの組合わせで用いることのできる針ガイドデバイスは、米国特許第9,222,996号及び米国特許出願第15/808,703号(その両方が参照により全体として本明細書に組み込まれる)に記載されている。本開示の実施形態と併せて、任意の適切な針ガイドデバイスを用いることができる。以下の
図7の説明は、本明細書に記載のシステム及び方法と併せて使用することのできる針ガイドシステムの例にすぎない。
【0046】
ロボット制御ソフトウェア
実施形態によっては、画像誘導ソフトウェア400、論理制御層406及び物理制御インタフェース408を含む3層のコンポーネントを有するソフトウェアシステムが提供される(
図7)。それらのコンポーネントは、独立したソフトウェアプロセスとして実装され、例えばイーサネット及びユニバーサルシリアルバス(USB)を介して互いに通信する。ただし、他の実施形態では、これらのコンポーネントのうちの2つ以上が、単一のソフトウェアプロセスに統合される。
【0047】
これら3つのコンポーネントの詳細は、以下のとおりである。
【0048】
画像誘導ソフトウェア
画像誘導ソフトウェア400は、システムにおける最上位層コンポーネントであり、
図7に例示される。画像誘導ソフトウェア400は、例えば、医師及び/又はオペレータのための1次ユーザインタフェースとして機能する。該ソフトウェアは、本明細書に記載されるように、3D Slicer(オープンソース医用画像コンピューティングソフトウェア)用のプラグインモジュールとして実装され、このソフトウェア又は他のソフトウェアを通して、コンソール412と、MRIスキャナを含むMRIハードウェア414とを含むMRIシステム404から画像を受信する。画像誘導ソフトウェア400は、以下のタスクを実行する際に医師を支援する。
【0049】
針配置計画。医師は、計画画像上で目標及び皮膚進入点を指定することによって、針配置の軌道を定めることができる。ソフトウェアは、計画画像のセクションを任意の平面に沿って表示し、医師が、例えばマウスを用いてそれをクリックすることによって、点を指定できるようにする。軌道が定められると、ソフトウェアは、軌道に沿った平面で3D画像を再スライスすることができ、結果として、医師は、経路の周りの重要構造や障害物を見つけることができる(
図1参照)。定められた軌道は、ロボット制御サーバ402に転送される。ただし、アクチュエータを動かす最終判断は、ガントリの近くに立っている医師によってなされてよく、医師がフットスイッチを踏むと、アクチュエータの電源が入るようにすることができる。
【0050】
デバイス対画像レジストレーション。ソフトウェアは、画像座標系に対して針ガイドデバイスを自動的にレジストレーションすることができる。レジストレーションされたデバイスモデルは計画画像データにオーバーレイされ、その接近可能範囲/到達可能ゾーンが画像上に提示され、結果として、オペレータは、全ての目標が範囲にあることを確認することができる(
図1、項目103参照)。情報は、例えばOpenIGTLinkプロトコルを用いて、ネットワークを介してロボット制御サーバ402に転送される。
【0051】
プローブ配置のモニタリング及び確認。ソフトウェアを用いて、処置の計画中又は実行中に、画像にオーバーレイされた3Dモデルにより、デバイスの現在の位置及び向きを可視化することができる。更に、ソフトウェアは、患者の体内に挿入されたプローブを計画軌道及び目標とともに示す確認画像を表示することもできる(
図1参照)。これらの特徴により、医師は、デバイスをモニタリングし、プローブ配置を確認することができる。
【0052】
論理制御層
論理制御層(Logical Control Layer;LCL)406は、システムの中間層にあり、画像誘導ソフトウェア400と下位レベルの物理制御層(Physical Control Layer;PCL)408とのインタフェースとなる。ロボット制御サーバ402のこの層は、デバイスのハードウェア及び運動学的(kinematic)構造をカプセル化することができ、デバイス非依存アプリケーションプログラムインタフェース(API)を上位層に提供することができる。したがって、LCL406は、以下のサブコンポーネントから成る。
【0053】
上位層へのTCP/IPネットワークインタフェース。このインタフェースを通して、LCL406は、目標位置を含むハードウェアへのコマンドを上位層から受信し、針ガイドの現在の位置及びデバイスの状態を含むハードウェア(410)の現在の状態を上位層に提供する。また、LCL406は、運動学的計算(以下のキネマティクスエンジン参照)の結果として、所要の針挿入深さを上位層に提供する。実施形態によっては、ネットワークインタフェースはOpenIGTLinkプロトコルに準拠するので、ネットワークインタフェースは、OpenIGTLink対応のソフトウェアと通信することができる。
【0054】
キネマティクスエンジン。実施形態によっては、上位層から受信されたハードウェア非依存コマンドは、針ガイドデバイスのキネマティクスに基づいて個々のアクチュエータの目標位置に変換され、PCL408に送信される。更に、実施形態によっては、PCL408から受信された個々のアクチュエータの現在の位置は、針ガイドの位置及び向きに変換され、上位層に送信される。
【0055】
下位層へのシリアルインタフェース。LCL406は、ユニバーサルシリアルバス(USB)を通して下位層のサブコンポーネントと通信する。この例示的なインタフェースを通して、個々のアクチュエータの目標位置及び他のデバイス特有のコマンドがPCL408に送信される一方、デバイスの現在の状態及び個々のアクチュエータのエンコーダの読み値(reading)が、画像誘導ソフトウェア400に送信される。このインタフェースを通して交換される情報は、運動学的構造に依存するが、物理的ハードウェア(例えばモータドライバ及びエンコーダ)には依存しない。
【0056】
物理制御層
物理制御層(PCL)408の役割は、物理的な入出力(I/O)には依存しないが運動学的構造に依存するインタフェースを提供することである。実施形態によっては、PCL408は、LCL406との通信のためのUSBインタフェースと、エンコーダ及びフットスイッチからの入力を読み取り、かつ個々のモータの目標速度をモータドライバに与えるためのデジタル入出力インタフェースとを備えた、Linuxベースの組込型コンピュータ上で動作する。コントローラは、個々のアクチュエータについての目標位置を受信すると、個々のモータの閉ループPID制御を実行する。このプロセス全体を通して、PCL408は、必要に応じて、現在の位置及びその他のデバイス状態を送信し続けることができる。
【0057】
コンピュータシステム
図8は、本明細書に記載のデバイス及びソフトウェアのためのコンピュータシステムを示す。実施形態によっては、コンピュータシステム500は、本明細書に記載の画像誘導ソフトウェアを含む。例えば、実施形態によっては、コンピュータシステム500は、
図7の画像誘導ソフトウェア400を含んでよく、そのコンポーネントは本明細書において詳細に説明される。画像誘導ソフトウェアの様々なプログラム及びデータ、例えばソフトウェアモジュール、ライブラリ、ツール、ユーザインタフェース要素又は他のコンポーネントは、様々な実施形態によれば、任意の適切な方式でコンピュータシステム500に常駐する。例えば、これらのコンポーネントは、1つ以上の記憶位置に常駐してよい。画像誘導ソフトウェアのコンポーネントは、単一のソフトウェアアプリケーションの一部として提供されてよく、又は、複数のスタンドアロンのソフトウェアアプリケーションとして提供されてよい。コンピュータシステム500は、画像誘導ソフトウェアへのアクセスを提供する。実施形態によっては、コンピュータシステム500上で実行される画像誘導ソフトウェアは、本明細書に記載又は図示される1つ以上の方法の1つ以上のステップを実行するか、又は、本明細書に記載又は図示される機能を提供する。例えば、画像誘導ソフトウェアのプログラムは、1つ以上のプロセッサによって実行されたときにコンピュータシステム500に本明細書に記載のプロセスを実行させる命令を含んでよい。
【0058】
本明細書で使用する際の「コンピュータシステム」という用語は、協働して電子データに対して演算を実行する、1つ以上のソフトウェアモジュール、1つ以上のハードウェアモジュール、1つ以上のファームウェアモジュール又はそれらの組合わせを含むが、これに限定されない。モジュールの物理的レイアウトは様々であってよい。コンピュータシステムは、ネットワークを介して結合された複数のコンピュータデバイスを含んでよい。コンピュータシステムは、内部モジュール(メモリ及びプロセッサ等)が協働して電子データに対して演算を実行する単一のコンピュータデバイスを含んでよい。実施形態によっては、単一のコンピュータシステム500は、画像誘導ソフトウェアを含む。
【0059】
実施形態によっては、コンピュータシステム500上で実行される画像誘導ソフトウェアは、ロボット制御サーバ402と相互作用し、MRIシステム404と相互作用する。コンピュータシステム500は、任意の適切なプロトコル、規格、データ交換フォーマット又はそれらの組合わせを用いて、本明細書に記載のシステムのうちの1つ以上と通信し、それらとの間で情報を送受信してよい。コンピュータシステム500は、OpenIGTLinkを用いて、情報及び要求を送受信してよい。コンピュータシステム500は、DICOM(Digital Imaging and Communications in Medicine)ファイル及びデータを受信し、送信し、かつ記憶することができる。例えば、コンピュータシステム500は、MRIシステム404から医用画像を受信してよい。更に、コンピュータシステム500は、HTTP要求を送信し、HTTP応答を提供してよい。応答は、ハイパーテキスト・マークアップ・ランゲージ(HTML)ファイル、又は他の適切なファイル、JAVASCRIPT等の実行可能コード、フォーム要素、画像、又は他のコンテンツを含んでよい。コンテンツの1つ以上の要素が、コンピュータシステム500に記憶されてよい。実施形態によっては、コンピュータシステム500は、Simple Object Access Protocol(SOAP)を用いて、メッセージを送受信する。
【0060】
図8に示されるコンピュータシステム500は、1つ以上のプロセッサ501と、メモリ502と、記憶装置503と、入出力(I/O)インタフェース504と、通信インタフェース505と、バス506とを含む。コンピュータシステム500は、任意の適切な物理的形態をとってよい。例えば、限定としてではなく、コンピュータシステム500は、埋込型コンピュータシステム、システムオンチップ(SOC)、シングルボードコンピュータ(SBC)システム(例えばコンピュータオンモジュール(COM)又はシステムオンモジュール(SOM))、デスクトップコンピュータシステム、ラップトップ又はノートブック型コンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、PDA、タブレットコンピュータシステム、1つ以上のサーバ、ワークステーション、又はこれらのうちの2つ以上の組合わせであってよい。実施形態によっては、コンピュータシステム500はユニタリーである。実施形態によっては、コンピュータシステム500は分散型である。コンピュータシステム500は、複数の位置にまたがってよい。コンピュータシステム500は、複数の機械にまたがってよい。
【0061】
プロセッサ501は、コンピュータプログラムを構成する命令等の命令を実行するためのハードウェアを含む。プロセッサ501は、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュから、命令を読み出すことができる。プロセッサ501は、次に、命令を復号して実行する。次に、プロセッサ501は、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュに、1つ以上の結果を書き込む。プロセッサ501は、オペレーティングシステム、プログラム、ユーザインタフェース及びアプリケーションインタフェース、並びにコンピュータシステム500の任意の他の機能を実行する処理能力を提供することができる。
【0062】
プロセッサ501は、中央処理装置(CPU)、1つ以上の汎用マイクロプロセッサ、特定用途向けマイクロプロセッサ及び/又は専用マイクロプロセッサ、又は当該の処理コンポーネントの何らかの組合わせを含んでよい。プロセッサ501は、1つ以上のグラフィックスプロセッサ、ビデオプロセッサ、オーディオプロセッサ及び/又は関連チップセットを含んでよい。
【0063】
実施形態によっては、メモリ502は、プロセッサ501が実行する命令又はプロセッサ501が作用するデータを記憶するためのメインメモリを含む。例として、コンピュータシステム500は、記憶装置503又は別のソースからメモリ502に命令をロードしてよい。命令の実行中又は実行後に、プロセッサ501は、1つ以上の結果(中間結果であっても最終結果であってもよい)をメモリ202に書き込んでよい。1つ以上のメモリバス(それぞれアドレスバス及びデータバスを含んでよい)は、プロセッサ501をメモリ502に結合してよい。1つ以上のメモリ管理ユニット(Memory Management Unit;MMU)は、プロセッサ501とメモリ502との間に常駐して、プロセッサ501によって要求されたメモリ502へのアクセスを容易にすることができる。メモリ502は、1つ以上のメモリを含んでよい。メモリ502は、ランダムアクセスメモリ(RAM)であってよい。
【0064】
記憶装置503は、データ及び/又は命令を記憶する。限定としてではなく例として、記憶装置503は、ハードディスクドライブ、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ若しくはユニバーサルシリアルバス(USB)ドライブ、又はこれらのうちの2つ以上の組合わせを含んでよい。実施形態によっては、記憶装置503は、取外し可能な媒体である。実施形態によっては、記憶装置203は、固定された媒体である。実施形態によって、記憶装置503は、コンピュータシステム500の内部にある。実施形態によっては、記憶装置503は、コンピュータシステム500の外部にある。実施形態によっては、記憶装置503は、不揮発性のソリッドステートメモリである。実施形態によっては、記憶装置503は、読取り専用メモリ(ROM)を含む。該当する場合、このROMは、マスクプログラムROM、プログラム可能ROM(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、電気的書換え可能ROM(Electrically Alterable ROM;EAROM)若しくはフラッシュメモリ、又はこれらのうちの2つ以上の組合わせであってよい。記憶装置503は、1つ以上のメモリデバイスを含んでよい。記憶装置503は、アプリケーションデータ、プログラムモジュール及び他の情報を記憶してよい。記憶装置503に記憶された1つ以上のプログラムモジュールは、本明細書に記載の様々な動作及びプロセスを実行させるように構成される。実施形態によっては、画像誘導ソフトウェアは、記憶装置503に常駐し、コンピュータシステム500上で実行される。記憶装置503は更に、コンピュータシステム500の様々な機能、グラフィカルユーザインタフェース(GUI)機能及び/又はプロセッサ機能を有効にする他のプログラム及び/又はドライバを記憶してよい。また、記憶装置503は、例えば画像データ、ユーザデータ、構成情報、グラフィカル要素又はテンプレート等のGUIコンポーネント、又はコンピュータシステム500によって要求される他のデータを含むデータファイルを記憶してよい。
【0065】
I/Oインタフェース504は、コンピュータシステム500と1つ以上のI/Oデバイスとの間の通信のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。実施形態によっては、コンピュータシステム500は、1つ以上のI/Oデバイスを含む。このようなI/Oデバイスのうちの1つ以上は、人とコンピュータシステム500との間の通信を可能にすることができる。1つのI/Oデバイスは、インジケータバーに沿ってスクロールするための入力デバイスである。限定としてではなく例として、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、タッチパッド、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なI/Oデバイス、又はこれらのうちの2つ以上の組合わせを含んでよい。I/Oデバイスは、1つ以上のセンサを含んでよい。実施形態によっては、I/Oインタフェース504は、プロセッサ501にこのようなI/Oデバイスのうちの1つ以上を駆動することを可能にさせる、1つ以上のデバイス又はソフトウェアドライバを含む。I/Oインタフェース504は、1つ以上のI/Oインタフェースを含んでよい。
【0066】
実施形態によっては、コンピュータシステム500はディスプレイを含む。例えば、ディスプレイは、液晶ディスプレイ(LCD)であってよい。実施形態によっては、コンピュータシステム500上で動作する画像誘導ソフトウェアは、ディスプレイ上にGUIデータを提示する。実施形態によっては、GUIデータは、医用画像データと併せて提示される。ディスプレイへの信号の出力に関して、プロセッサ501は、ディスプレイに表示される画像をラスタライズし、ラスタライズされた画像をI/Oインタフェース504を介してディスプレイに転送する。次に、ディスプレイは、GUI等の画像を表示する。プロセッサ501は更に、MRIシステム404からの医用画像等の他のタイプの画像をディスプレイに表示させるように動作可能である。コンピュータシステム500は、ディスプレイにおけるユーザ入力に基づいて、入力信号を受信してよい。例えば、実施形態によっては、ディスプレイは、ディスプレイ上の1つ以上のインタフェース要素にタッチすることに基づいて、ユーザ入力又はコマンドを受け取るように動作可能なタッチセンサ要素を含む。インタフェース要素は、ディスプレイ上に提示されたグラフィカルオブジェクトであってよい。ユーザは、指、スタイラス又は他のツールを用いてタッチセンサ式ディスプレイにタッチして、ユーザ入力を提供することができる。ユーザがタッチセンサ式ディスプレイ上の特定の領域にタッチすると、I/Oインタフェース504を介して、プロセッサ501に領域の座標が通知される。プロセッサ501は、通知された座標とディスプレイ上の表示内容とに基づいて、ユーザ入力の内容を決定し、それらに基づいて処理を実行する。実施形態によっては、ユーザの入力及び選択を受け取るために、ディスプレイ上に提示される情報と併せてマウス又はタッチパッドが用いられる。例えば、ディスプレイ上のGUIに提示された1つ以上のインタフェース要素を選択するために、カーソルが使用されてよい。様々な実施形態によれば、ディスプレイ上のGUIに提示された医用画像上の1つ以上の位置を指定して、例えば目標と、針を患者に挿入するための計画された挿入点とを示すために、タッチセンサ式ディスプレイ、カーソル、又は入力を提供するのに適した他の方法が用いられる。
【0067】
実施形態によっては、コンピュータシステム500は、キーボード/キーパッドを含む。ユーザ入力は、キーボード/キーパッドを介して提供されてもよい。ユーザがキーボード/キーパッドのハードキーを押圧すると、I/Oインタフェース504を介して、プロセッサ501に、ユーザ入力を示す情報が通知される。プロセッサ501は、通知に基づいて処理を実行する。キーボード/キーパッドのハードキー及び/又はボタンは、任意の適切な構成で配置されてよい。更に、入力構造は、個々の実装要件に応じて、ボタン、キー、スイッチ、コントロールパッド、又は他の適切な構造を含んでよい。
【0068】
通信インタフェース505は、コンピュータシステム500と1つ以上の他のコンピュータシステム又は1つ以上のネットワークとの間の通信(例えばパケットベースの通信等)のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。限定としてではなく例として、通信インタフェース505は、イーサネット又は他の有線ネットワークと通信するためのネットワークインタフェースカード(NIC)若しくはネットワークコントローラ、又は、WI−FIネットワーク等の無線ネットワークと通信するためのワイヤレスNIC(WNIC)若しくは無線アダプタを含んでよい。本開示は、それについて、任意の適切なネットワーク及び任意の適切な通信インタフェース505を企図している。限定としてではなく例として、コンピュータシステム500は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、若しくはインターネットの1つ以上の部分、又はこれらのうちの2つ以上の組合わせと通信してよい。このようなネットワークのうちの1つ以上のうちの1つ以上の部分は、有線であっても無線であってもよい。例として、コンピュータシステム500は、無線PAN(WPAN)(例えばBluetooth WPAN又は超広帯域(Ultra-Wideband;UWB)ネットワーク)、WI−FIネットワーク、WI−MAXネットワーク、携帯電話ネットワーク(例えばGSM(Global System for Mobile Communications)ネットワーク)若しくは他の適切な無線ネットワーク、又はこれらのうちの2つ以上の組合わせと通信してよい。コンピュータシステム500は、該当する場合、このようなネットワークのうちのいずれかについて、任意の適切な通信インタフェース505を含んでよい。通信インタフェース505は、1つ以上の通信インタフェース505を含んでよい。
【0069】
バス506は、コンピュータシステム500の様々なコンポーネントを相互接続し、それにより、データの伝送と様々なプロセスの実行を可能にする。バス506は、様々なバスアーキテクチャのうちのいずれかを用いる、メモリバス又はメモリコントローラ、周辺バス及びローカルバスを含む、1つ以上のタイプのバス構造を含んでよい。
【0070】
以上の説明は、本開示の原理を説明するのに役立つものであるが、本開示は、上記の例に限定されるべきではない。例えば、様々な動作のうちの一部の順序及び/又はタイミングは、本開示の範囲を逸脱することなく、上に挙げた例とは異なることができる。更に、例として、ネットワーク及び/又はコンピュータシステムのタイプは、本開示の範囲を逸脱することなく、上に挙げた例とは異なることができる。本開示の範囲を逸脱することなく、上に挙げた例以外の変形も存在することができる。GUIの特定の例を図示したが、GUIの様々な他の実装が本開示の範囲内にあることが理解されるであろう。例えば、本開示の範囲を逸脱することなく、図示された例の様々な特徴を修正、再配置又は排除することができ、又は、1つ以上の特徴を追加することができる。
【0071】
本開示の範囲は、1つ以上のプロセッサによって実行されると1つ以上のプロセッサに本明細書に記載の1つ以上の実施形態を実行させる命令を記憶したコンピュータ可読媒体を含む。コンピュータ可読媒体の例として、ハードディスク、フロッピーディスク、光磁気(magneto-optical;MO)ディスク、コンパクトディスク読取り専用メモリ(CD−ROM)、CD−R(compact disk recordable)、CD−RW(CD-Rewritable)、デジタル汎用ディスクROM(Digital Versatile Disk ROM;DVD−ROM)、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性メモリカード及びROMが挙げられる。コンピュータ実行可能命令は、ネットワークを介してダウンロードされることによって、コンピュータ可読記憶媒体に供給されることもできる。
【0072】
例示的な実施形態に関連して本開示を説明したが、記載された例示的な実施形態に本開示が限定されないことを理解されたい。
【0073】
本明細書の開示は特定の実施形態を参照して説明されたが、これらの実施形態は本開示の原理及び用途の例示にすぎない(そしてそれに限定されない)ことを理解されたい。したがって、例示的な実施形態に対して多数の修正を行うことができ、本開示の主旨及び範囲から逸脱することなく他の構成を考案することができることを理解されたい。添付の特許請求の範囲は、そのような全ての修正並びに均等の構造及び機能を包含するように、最も広い解釈が与えられるべきである。