▶ ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッドの特許一覧
特許7483271テンプレート化されターゲット化されたバイオプシと処置のためのガイダンス及びトラッキングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】テンプレート化されターゲット化されたバイオプシと処置のためのガイダンス及びトラッキングシステム
(51)【国際特許分類】
A61B 34/20 20160101AFI20240508BHJP
【ＦＩ】
A61B34/20
【請求項の数】
20
(21)【出願番号】P 2021554731
(86)(22)【出願日】2020-03-13
(65)【公表番号】
(43)【公表日】2022-05-02
(86)【国際出願番号】 US2020022713
(87)【国際公開番号】W WO2020186198
(87)【国際公開日】2020-09-17
【審査請求日】2023-02-03
(31)【優先権主張番号】62/817,726
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507371168
【氏名又は名称】ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】ランポタン，サムスン
(72)【発明者】
【氏名】リズダス，デイビッド エリック
【審査官】近藤 裕之
(56)【参考文献】
【文献】国際公開第２０１６／００７７１７（ＷＯ，Ａ１）
【文献】特開２０１７－０８０５０１（ＪＰ，Ａ）
【文献】米国特許出願公開第２００３／０１３５１１５（ＵＳ，Ａ１）
【文献】特開２００６－２０１０９２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／２０
(57)【特許請求の範囲】
【請求項1】
トラッキング及びガイダンスシステムにおいて、身体器官電磁トラッキングセンサと、
追跡される医療用撮像デバイスと、
電磁気的に追跡されるバイオプシの又は処置のデバイスと、並びに、
内部のメモリに格納されたプログラム命令を含む少なくとも一つのコンピューティングデバイスであって、前記プログラム命令は、実行時には、
前記身体器官電磁トラッキングセンサ、前記追跡される医療用撮像デバイス、および前記電磁気的に追跡されるバイオプシの又は処置のデバイスの、位置および方向を取得するステップと、
前記身体器官電磁トラッキングセンサに相対する、前記追跡される医療用撮像デバイスの位置および方向に、少なくとも基づいて、前記身体器官電磁トラッキングセンサによって追跡される身体器官の複数の画像を生成するステップと、
前記複数の画像と、前記追跡される医療用撮像デバイスの夫々の位置および方向とを用いて、前記身体器官又はそれに関連する特徴の少なくとも一つの３次元再構成を生成するステップと、
（ａ）前記身体器官又はそれに関連する特徴の少なくとも一つの３次元再構成と、（ｂ）前記追跡される医療用撮像デバイスと、（ｃ）前記電磁気的に追跡されるバイオプシの又は処置のデバイスとを含む、３次元パースペクティブビジュアライゼーションを、提供するステップと、及び、
組織を収集するための前記３次元パースペクティブビジュアライゼーションを介するガイダンスを提供するステップと
を、前記少なくとも一つのコンピューティングデバイスに指示する、少なくとも一つのコンピューティングデバイスと
を含む、システム。
【請求項2】
前記複数の画像は複数の２次元超音波画像である、請求項１に記載のシステム。
【請求項3】
前記プログラム命令は、更に、
前記複数の２次元超音波画像のうちの少なくとも一つを、前記３次元パースペクティブビジュアライゼーションにて、前記身体器官又はそれに関連する特徴の、前記３次元再構成と同時に、表示するステップ
を、前記少なくとも一つのコンピューティングデバイスに指示する、
請求項２に記載のシステム。
【請求項4】
前記医療用撮像デバイスは経直腸超音波プローブであり、前記身体器官が前立腺を含み、前記組織を収集するためのガイダンスが前立腺バイオプシ手順の間に行われる、
請求項３に記載のシステム。
【請求項5】
前記３次元再構成は、前記身体器官を有する患者の身体の外部に配置される、前記身体器官電磁トラッキングセンサを用いて生成される、請求項１に記載のシステム。
【請求項6】
前記身体器官電磁トラッキングセンサは、６自由度（６－ＤＯＦ）を有するトラッキングセンサである、請求項１に記載のシステム。
【請求項7】
前記身体器官を有する患者に、前記身体器官電磁トラッキングセンサが、配置される、請求項１に記載のシステム。
【請求項8】
前記３次元再構成は、前記身体器官にて検出された、又は前記身体器官にインポートされた、病変、空洞、膿瘍、又は関心領域の、３次元再構成を含む、請求項１に記載のシステム。
【請求項9】
前記少なくとも一つのコンピューティングデバイスが、前記身体器官又はそれに関連する特徴の前記３次元再構成を、少なくとも一つの３次元コアを含む仮想テンプレートにフィットするように、及び、
コア及びテンプレートの位置及び方向を調整すること、コアの数を調整すること、または、コアの順序を変更することのうち、少なくとも一つを実行することにより、前記仮想テンプレートからカスタムテンプレートを作成するように、
更に指示される、請求項１に記載のシステム。
【請求項10】
前記組織を収集するためのガイダンスが、前記少なくとも一つの３次元コアに関連する少なくとも一つのサンプリング領域にて、撮像モダリティなしで、提供され、前記撮像モダリティは、前記３次元再構成を使用して適用される、バイオプシの又は処置の間に、必要とされない、
請求項９に記載のシステム。
【請求項11】
少なくとも一つのコンピューティングデバイスにより、身体器官電磁トラッキングセンサと、医療用撮像デバイスと、電磁気的に追跡されるバイオプシの又は処置のデバイスとの、位置及び方向を取得して、前記身体器官電磁トラッキングセンサに相対して決定される前記医療用撮像デバイスの位置及び方向に基づいて、前記身体器官電磁トラッキングセンサにより追跡される身体器官の複数の画像を生成するステップと、前記少なくとも一つのコンピューティングデバイスにより、前記複数の画像と、前記複数の画像が生成されたときの前記医療用撮像デバイスの夫々の位置及び方向とを、用いて、前記身体器官又はそれに関連する特徴の３次元再構成を生成するステップと、
前記少なくとも一つのコンピューティングデバイスにより、（ａ）前記身体器官又はそれに関連する特徴の少なくとも一つの前記３次元再構成と、（ｂ）追跡される前記医療用撮像デバイスと、（ｃ）前記電磁気的に追跡されるバイオプシの又は処置のデバイスとを、含む、３次元パースペクティブビジュアライゼーションを提供するステップと、並びに、
前記少なくとも一つのコンピューティングデバイスにより、組織若しくは流体を収集する又は処置するための前記３次元パースペクティブビジュアライゼーションを介するガイダンスを提供するステップと
を含む、方法。
【請求項12】
前記複数の画像は複数の２次元超音波画像である、請求項１１に記載の方法。
【請求項13】
更に、
前記少なくとも一つのコンピューティングデバイスにより、前記複数の２次元超音波画像のうちの少なくとも一つを、前記電磁気的に追跡されるバイオプシの又は処置のデバイスの前記３次元パースペクティブビジュアライゼーションにおいて前記身体器官の前記３次元再構成と同時に表示するステップを
含む、請求項１２に記載の方法。
【請求項14】
前記医療用撮像デバイスは経直腸超音波プローブであり、前記身体器官は前立腺を含み、前記組織若しくは流体を収集する又は処置するためのガイダンスは、前立腺バイオプシ手順の間に実行される、
請求項１３に記載の方法。
【請求項15】
前記身体器官又は身体の一部の前記３次元再構成は、前記身体器官を有する患者の身体の内部に配置される前記身体器官電磁トラッキングセンサを用いて生成される、請求項１１に記載の方法。
【請求項16】
前記身体器官電磁トラッキングセンサは、６自由度（６－ＤＯＦ）を有する、請求項１１に記載の方法。
【請求項17】
前記身体器官電磁トラッキングセンサが、前記身体器官を有する患者に配置される、請求項１１に記載の方法。
【請求項18】
前記身体器官又は身体の一部の前記３次元再構成は、前記身体器官にて検出された、又は前記身体器官にインポートされた、病変、空洞、又は関心領域の３次元再構成を含む、請求項１１に記載の方法。
【請求項19】
前記少なくとも一つのコンピューティングデバイスにより、前記身体器官又はそれに関連する特徴の前記３次元再構成を、少なくとも一つの３次元コアを含む仮想テンプレートにフィットするステップと、及び、
前記少なくとも一つのコンピューティングデバイスにより、コア及びテンプレートの位置及び方向を調整すること、コアの数を調整すること、または、カスタムテンプレート内のコアの順序を変更することのうち、少なくとも一つを実行することにより、前記仮想テンプレートからカスタムテンプレートを作成するステップと
を含む、請求項１１に記載の方法。
【請求項20】
前記組織若しくは流体を収集する又は処置するためのガイダンスが、前記少なくとも一つの３次元コアに関連する少なくとも一つの領域にて、撮像モダリティなしで、提供され、前記撮像モダリティは、前記３次元再構成を使用して適用される、バイオプシの又は処置の間に、必要とされない、
請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年３月１３日出願の発明の名称「ＧＵＩＤＡＮＣＥ ＡＮＤ ＴＲＡＣＫＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＴＥＭＰＬＡＴＥＤ ＡＮＤ ＴＡＲＧＥＴＥＤ ＢＩＯＰＳＹ ＡＮＤ ＴＲＥＡＴＭＥＮＴ」の米国仮特許出願第６２／８１７７２６号の利益及び優先権を主張するものであり、その内容は参照により全体として本明細書に組み込まれる。
【背景技術】
【0002】
バイオプシとは、生体から組織を取り出し、取り出した（バイオプシした）組織を検査することで、病気の存在、原因、程度を発見することである。例えば、乳房や前立腺のバイオプシは、組織を分析してガン細胞の存在を確認するために行われる。ニードルバイオプシでは、注射針を用いて、筋肉、骨、並びに、肝臓、肺、臀部、及び前立腺などの他の器官から、組織や液体サンプルを採取し、検査を行いう。一般的なニードルバイオプシには、細針吸引法（例えば、羊水穿刺法）やコアニードル（例えば、前立腺）のバイオプシ等がある。このように、バイオプシは診断ツールであり、処置ツールとは異なる。処置とは、（診断ではなく）治療のためのものであり、放射性シードや他のシード、局所麻酔薬やステロイドなどの薬物、熱、電気、放射線などを、体内の特定のターゲットに当てることを含む。また、処置には、膿瘍にアクセスするためにニードルの先端を膿瘍に入れ、そこから液体を排出することも含まれる。
【0003】
バイオプシと処置の両方において、精度が重要である。精度が低いと、ガン組織ではなく健康な組織がバイオプシされ、偽陰性、言い換えれば、ガンは存在するがサンプリング（バイオプシ）されず、ガンは存在しないという偽陰性診断が出されることとなる。精度が低いと、処置が行われたり、誤った位置に配置されたりする、可能性がある。他のタイプのガイド付き介入手順では、イメージングを使用して、少なくとも一つのツールをターゲット又はテンプレートの位置にガイドする。このような手順の例としては、アブレーション、穿刺などの膿瘍ドレナージ、吸引（例えば、細針吸引）、バイオプシ、ブロック（例えば、局所麻酔薬ブロック）、静脈アクセス（例えば、中心静脈アクセス及び末梢静脈アクセス）などが挙げられる。本明細書で用いる「サンプリング」は、動作又は位置を参照する場合、サンプリング及び／又は処置を指し得る。
【0004】
前立腺ガン（ＰＣａ）は、男性において最も一般的なタイプのガンの一つである。２０１８年現在、前立腺ガンは、米国における男性のガンによる死亡原因の第２位である。ほとんどの場合、医師やその他の医療従事者は、前立腺から得られるガン組織／細胞を含むバイオプシサンプルの病理検査によって陽性診断が得られるまで、前立腺ガンの処置を開始しない。しかしながら、バイオプシのサンプル採取には欠陥があることが多く、その結果、従来のTRUS（経皮的超音波検査）ガイド下の前立腺バイオプシ（ＰＢｘ）では、４７％もの高い発生率又は割合となる偽陰性が懸念されている。Ｈａｎらは、“Geometric Evaluation of Systematic Transrectal Ultrasound Guided Prostate Biopsy”, J Urol. 188:2404-2409 (2012年12月)（非特許文献１）にて、経験豊富な泌尿器科医がシステマティックな前立腺バイオプシを行う際に、テンプレートの偏差が大きいことを示している。Ｌａｍｐｏｔａｎｇらは、“Baseline Prevalence and Magnitude of Spatial Deviations in a Simulator from the Transrectal Ultrasound Prostate Biopsy Template”、Journal of Urology、Vol.201、No.4S、Supplement（2019年5月）（非特許文献２）にて、研修医も経験豊富な泌尿器科医と同様にテンプレートの偏差が大きいことを示している。Ｈａｎｎａらは、“Multiparametric MRI/Ultrasound Fusion Biopsy Improves but Does Not Replace Standard Template Biopsy for the Detection of Prostate Cancer”, Journal of Urology、202(5):944-951（2019年11月）（非特許文献３）にて、ｆＰＢｘが利用可能になったにもかかわらず、ｓＰＢｘが依然として有用であることを示している。ｆＰＢｘ後のｓＰＢｘでは、ｆＰＢｘで見逃されたであろうＰＣａを１６％多く検出した。Ｌａｍｐｏｔａｎｇらは、テンプレートの偏差がＰＢｘＦＮに関係することを示しており、頂点にて直径１ｃｍの球状病変の場合、テンプレートの偏差が、Ｌａｍｐｏｔａｎｇらが提案している閾値の、５ｍｍ以下であれば、ＰＢｘＦＮが解消されることを示している。
【0005】
従来のＴＲＵＳバイオプシの欠陥の一例として、実際のバイオプシサンプルが、テンプレートを使用した場合に推奨される位置では採取されていなかった可能性がある。テンプレートは、バイオプシサンプルの空間分布をマッピングして、サンプルが均一に分布し、ＰＣａが存在する可能性が最も高い領域が確実にサンプリングされるようにしようとする。米国では、偽陰性の場合、ＰＣａ処置の開始が必ず６カ月以上遅れる。なぜなら、現在の診療慣行では、バイオプシ後少なくとも６カ月間は、最新のＰＳＡ値が高いままか増加した場合に再バイオプシを促すようなＰＳＡ検査を受ける前に、待つことになっているからである。したがって、偽陰性の場合、診断されていない前立腺ガン患者の処置が６～９カ月以上遅れることになる。この間、前立腺ガンは成長して広がる可能性があり、治療又は治癒される確率は低くなる。更に、従来のＴＲＵＳ ＰＢｘを繰り返しても、また偽陰性にならないという保証はない。ＰＢｘによる早期のＰＣａ診断は、処置や治癒のためのより多くの選択肢を提供する。
【0006】
システマティック前立腺バイオプシ（ｓＰＢｘ）は、テンプレートを使用し、病変の有無や位置はわからない。ターゲットは存在しない。ｓＰＢｘのテンプレートの位置はターゲットではない。テンプレートの配置は、バイオプシコアを前立腺の周りに均等に分布させるのに役立ち、最悪の場合、非サンプリング領域に臨床的に重要な前立腺ガン（ｃｓＰＣａ）の病変が含まれ、前立腺バイオプシ偽陰性（ＰＢｘＦＮ）に繋がる、前立腺領域全体をサンプリングしないリスクを低減することができる。融合前立腺バイオプシ（ｆＰＢｘ）などのターゲットＰＢｘでは、病変や影、関心領域（ＲＯＩ）がＭＲＩで特定され、セグメント化（例えば、３次元的に再構成）されている。標的型ＰＢｘでは、その名が示すように、ｓＰＢｘとは異なり、ターゲット（ＲＯＩなど）が存在する。
【0007】
注目すべきことに、前立腺バイオプシにおける偽陰性は、泌尿器科医又は他の医療従事者によって前立腺の健康な領域のみがサンプリングされた場合に生じる。言い換えれば、前立腺にはガン領域が存在するが、ガン領域の外側からのみ組織が採取された場合（即ち、健康な組織のみが採取された場合）、前立腺バイオプシでは、実際にはそうではないにもかかわらず、患者にガンがないことを示す偽陰性が返される可能性がある。処置は、前立腺バイオプシによる陽性診断があって初めて行われるため、偽陰性の場合、不必要に処置を遅らせることになり、その結果、局所的な前立腺ガンが転移して、生殖器や骨に影響を与える神経束に広がる時間を与えることになり、選択肢が減り、処置が複雑になり、患者やサバイバのＱＯＬに影響を与えることになる。
【0008】
最近では、ＵｒｏＮａｖのような正確なＰＢｘ技術は、融合ＰＢｘの前（一般的には１週間前）にＭＲＩを必要とし、ＭＲＩを解釈するための放射線科医の料金、追加のクリニック訪問の経済的負担（別の欠勤による賃金の損失、交通費、及び地方の患者の場合には宿泊費の可能性）を必要とし、さらに重要なことには、バイオプシ未実施の患者、又はメディケア／メディケイドのような支払者によってカバーされない可能性がある（ＨＤ患者に精密ＰＢｘを拒否することによって健康格差（ＨＤ）を悪化させる）。Ｒｏｓｅｎｋｒａｎｔｚらによる、“Evolving Use of Prebiopsy Prostate Magnetic Resonance Imaging in the Medicare Population”、Journal of Urology 200:89-94、（2018年7月)（非特許文献４）は、ＨＤを示すメディケア患者のＰＢｘ前のＭＲＩにおける実質的な人種的及び地理的な差異を示した。
【0009】
Ｇｌｏｓｓｏｐに対する米国特許第８９４８８４５号（特許文献１）は、「患者空間」を、強化尿道カテーテルのポジションセンサから得られる座標系と定義する。「画像空間」は、尿道カテーテルに内蔵されたＭＲＩイメージングコイルの使用を含む、通常は磁気共鳴イメージング（ＭＲＩ）の、撮像モダリティの座標系として定義される。内部の術前診断画像及び外部の術前診断画像の両方は、「画像空間データ」と称されるが（即ち、画像空間データを得るのに用いられ得るが）、ここで、内部とは、内部ＭＲＩコイルを意味する。画像空間データを患者空間データに併置する（「登録する」）方法は、強化尿道カテーテルが患者に挿入されている間に画像空間データ（ＭＲＩデータ）が収集され、カテーテルの少なくとも一部がＭＲＩ撮像モダリティで可視化されることを、必要とする。臨床現場において論理的に重要である実用的な観点から、Ｇｌｏｓｓｏｐアプローチでは、セグメンテーションを含むバイオプシは、泌尿器科クリニックへの１回の訪問で１人の泌尿器科医によって行われることは不可能である。Ｇｌｏｓｓｏｐの特許は、その説明によれば、市販のＭＲＩ／ＵＳ融合型前立腺バイオプシシステムに類似しており、それによって、患者は実際のバイオプシの１週間ほど前にＭＲＩを取得しなければならず、ＭＲＩを解釈する放射線技師の費用が必要となる。参考までに、ＵｒｏＮａｖ融合バイオプシシステムでは、バイオプシ時に、ＭＲＩスキャンと超音波画像を手動で融合させるために、かなりの時間（３０～４５分以上）が必要である。
【0010】
Ｌａｍｐｏｔａｎｇに対する米国特許第９６２６８０５号（特許文献２）は、サイドファイア、エンドファイア、コグニティブフュージョン、トランスペリネアル、フュージョンバイオプシなどの様々なＰＢｘ技術をサポートする混合現実前立腺バイオプシ（ＰＢｘ）シミュレータに現在適用される混合現実シミュレータ技術について述べている。ＰＢｘシミュレータでは、（６－ＤＯＦトラッキングセンサなどの）電磁センサを前立腺の内部に挿入することで、柔らかい筐体／クレードルの中に浮かぶ物理的な３Ｄの前立腺を追跡する。移動可能器官のこのトラッキング技術は、前立腺に限らず、超音波プローブやニードル、手動操作などで力を加えると、押されることに応じて、動く他の器官にも適用できる。
【先行技術文献】
【特許文献】
【0011】
【文献】米国特許第８９４８８４５号明細書
【文献】米国特許第９６２６８０５号明細書
【非特許文献】
【0012】
【文献】Ｈａｎらによる“Geometric Evaluation of Systematic Transrectal Ultrasound Guided Prostate Biopsy”, J Urol. 188:2404-2409 (2012年12月)
【文献】Ｌａｍｐｏｔａｎｇらによる“Baseline Prevalence and Magnitude of Spatial Deviations in a Simulator from the Transrectal Ultrasound Prostate Biopsy Template”、Journal of Urology、Vol.201、No.4S、Supplement（2019年5月）
【文献】Ｈａｎｎａらによる“Multiparametric MRI/Ultrasound Fusion Biopsy Improves but Does Not Replace Standard Template Biopsy for the Detection of Prostate Cancer”, Journal of Urology、202(5):944-951（2019年11月）
【文献】Ｒｏｓｅｎｋｒａｎｔｚらによる“Evolving Use of Prebiopsy Prostate Magnetic Resonance Imaging in the Medicare Population”、Journal of Urology 200:89-94、（2018年7月)
【発明の概要】
【0013】
テンプレート化され又はターゲット化されたバイオプシ及び／又は処置を含むガイド付き介入のための、ガイダンス及びトラッキングシステムについて、様々な実施形態が開示される。より具体的には、幾つかの実施形態において、前立腺バイオプシ及び高周波（ＲＦ）アブレーションを夫々使用することができる、精密バイオプシ及び精密処置のための３次元トラッキング、ガイダンス、及びビジュアライゼーションシステムが記載される。 一実施形態では、非融合型トラッキング及びガイダンスシステムは、前立腺トラッキングセンサなどの身体器官トラッキングセンサと、超音波プローブなどの追跡される医療用撮像プローブと、トラッキングされたバイオプシガンなどの、前立腺及び撮像プローブと関連してバイオプシ若しくは処置デバイスを追跡するための、追跡されるバイオプシ若しくは処置デバイスと、並びに、少なくとも一つのコンピューティングデバイスとを、含む。
【0014】
少なくとも一つのコンピューティングデバイスは、内部のメモリに格納されたプログラム命令を含むことができ、そのプログラム命令は、実行されると、少なくとも一つのコンピューティングデバイスに以下のステップを指示する：器官の複数の画像を生成するために、追跡される医療用撮像プローブの位置及び方向に関連するガイダンスを提供するステップ、ここで、追跡される医療用撮像プローブ（例えば、経直腸超音波プローブ）の位置及び方向は、身体器官トラッキングセンサを用いて決定される；複数の画像を用いて器官又は身体の一部の３次元再構成を生成するステップ；器官又は身体の一部の３次元再構成と、一つ又は複数のサンプリング領域を含む仮想テンプレートとを器官に重ね合わせて３Ｄビジュアライゼーションとして含むディスプレイデバイスに表示させるステップ；並びに、（システマティックの又はテンプレート化されたＰＢｘの場合）テンプレート化されたもの、又は（融合型ＰＢｘの場合）ターゲット化されたものの、いずれであっても、複数のサンプリング領域の一つ又は各々における組織の収集のためのガイダンスを提供するステップ。
【0015】
複数の画像は、幾つかの実施形態において、２次元超音波画像を含み得る。複数の２次元超音波画像のうちの少なくとも一つは、器官の３次元再構成、テンプレート、及び、ＴＲＵＳプローブの３Ｄビジュアライゼーションとバイオプシデバイスの３Ｄビジュアライゼーションとを含む前立腺空間の３Ｄビジュアライゼーションと同時に、ディスプレイデバイスに表示し得る。器官は前立腺を含み得、組織の収集のためのガイダンスは、前立腺バイオプシ手順の間に実行され、仮想テンプレートは、概略円筒形の３Ｄオブジェクトとしての前立腺バイオプシコア、又は、３Ｄポイント若しくは球としての前立腺バイオプシコアの中心を、含み得る。
【0016】
幾つかの実施形態では、器官又は身体の一部の３次元再構成は、器官を有する患者の身体の外部に配置される追跡センサを用いて生成される。身体器官トラッキングセンサは、６自由度（６－ＤＯＦ）を有する電磁トラッキングセンサを含み得る。器官の複数の画像を生成するための、追跡される医療用撮像プローブの位置及び方向に関連するガイダンスは、少なくとも部分的に、器官を有する患者に配置されるカテーテルの追跡、又は、患者の皮膚上、若しくは、患者のアクセス可能なオリフィス及びキャビティを含む、患者の外部に配置されるセンサのトラッキングに基づいて提供され得る。器官若しくは身体の一部の３次元再構成は、器官若しくは身体の一部上又はその周辺で検出される一つ若しくは複数の病変若しくは関心領域（ＲＯＩ）の３次元再構成を含み得る。
【0017】
少なくとも一つのコンピューティングデバイスは、コア若しくはテンプレートの（コアの中心の）位置及び方向を調整すること、コアの数を調整すること、及び、カスタムテンプレート内のコアの順序を変更することのうち、少なくとも一つを実行するように更に指示され得る。複数のサンプリング領域の一つ又は各々における組織の収集のためのガイダンスは、幾つかの実施形態では、撮像モダリティなしで提供され得る。例えば、３Ｄ再構成、及び３Ｄ再構成された器官へのテンプレートの適合が、行われると、３次元ビジュアライゼーションを使用して適用されるバイオプシ又は処置の間、撮像モダリティは必要とされない。
【図面の簡単な説明】
【0018】
本開示の多くの態様は、以下の図面を参照することで、より良く理解できる。図面内のコンポーネントは必ずしもスケール通りではなく、代わりに、本開示の原理を明確に示すことに重点が置かれている。さらに、図面では、同じ参照数字は、複数の図を通して、対応する部分を示している。
【0019】
【図3A】図３Ａは、ＴＲＵＳ画像と、ＴＲＵＳ画像を補強して正確なバイオプシを促進にするように設計された、登録された仮想認知補助のオーバレイとを含む、混合現実のグラフィカルユーザインタフェースの一例である。
【図9A】図９Ａ及び図９Ｂは、本開示の様々な実施形態に係る、回転していないサジタルＴＲＵＳ画像（図９Ａ）と、ＴＲＵＳ画像がユーザの視点からプローブのインソネーション平面と整列するように回転した同じＴＲＵＳ画像（図９Ｂ）とを示す。
【図9B】図９Ａ及び図９Ｂは、本開示の様々な実施形態に係る、回転していないサジタルＴＲＵＳ画像（図９Ａ）と、ＴＲＵＳ画像がユーザの視点からプローブのインソネーション平面と整列するように回転した同じＴＲＵＳ画像（図９Ｂ）とを示す。
【図10】図１０は、本開示の様々な実施形態に係る、バイプレーンＴＲＵＳプローブからの２つのビュー（サジタル及びインバース）の隣にレンダリングされた３次元可視化（パースペクティブ）とのユーザインタフェースを示す図である。
【図11】図１１は、本開示の様々な実施形態に係る、患者の例示的な体位（リソトミ）と、表示されたインソネーション平面に対する情報を容易に且つ直感的に解釈するための視点とを示す、ユーザインタフェースアイコンを含む。
【図12】図１２は、本開示の様々な実施形態に係る、患者の別の例の体位（左側臥位）と、表示されたインソネーション平面の情報を容易に且つ直感的に解釈するための視点とを示す、別のユーザインタフェースアイコンである。
【図14】図１４は、本開示の様々な実施形態に係る、ニードル、プローブ、又は他のデバイスのテンプレート又はコアの位置を適切に調整することを容易にするために、ユーザインタフェースでオーバレイすることができる、前立腺前部バイオプシ計画のためのユーザ調整可能なテンプレートを作成するためのユーザインタフェースの一例を含む。
【発明を実施するための形態】
【0020】
本開示は、テンプレート化されターゲット化されたバイオプシ及び処置、並びにガイド付き介入のためのガイダンス及びトラッキングシステム、並びにそれに関連する関連装置及び方法に関するものである。アフリカ系アメリカ人男性などの複数のグループは、高リスクの前立腺ガン（ＰＣａ）率を有する傾向があり、他のグループのそれと比較して、アウトカムが悪くなる可能性があり、例えば、黒人の２０１７年の年齢調整ＰＣａ死亡率は白人の２．４である（Ｔａｋｓｌｅｒ ２０１２）。従来の経直腸超音波（ＴＲＵＳ）による前立腺バイオプシ（ＰＢｘ）では、ＰＢｘの偽陰性率は４７％と高いとされている。ＰＣａの処置は、前立腺バイオプシによって得られる陽性診断に基づいてのみ処方されるため、ＰＢｘの偽陰性は、処置若しくは治癒を遅らせることになり、その結果、図５に見られるように、局所的なガンが潜在的に転移し、神経束に広がり、効力に影響を与え、骨に広がり、治癒若しくは処置の選択肢を減少させ、生存者の転帰及びＱＯＬを悪化させることになる。
【0021】
前立腺バイオプシには、幾つかの高度な技術が存在する。融合ＰＢｘのような技術では、前立腺バイオプシの約１週間前に患者にＭＲＩを実施する必要がある。理解され得るように、ＭＲＩでは、患者は、ＭＲＩを解釈するための放射線技師の料金を支払い、病院、クリニック、若しくは医療画像処理施設への別の旅を行い、病院若しくは他の医療施設への別の旅に関連する追加の費用を支払う必要がある。更に、患者は仕事を休むことで賃金を失うかもしれず、地方からの交通手段を手配する手間が掛かり得る。更に重要なことは、旅やＭＲＩは様々な種類の健康保険プランでカバーされない可能性がある、ということである。支払者のうちには、従来のバイオプシを最初に受けることを必要とする、融合ＰＢｘのためのバイオプシ未実施の患者への、払い戻しを拒否するものがある。
【0022】
従って、テンプレート化され若しくはターゲット化されたバイオプシ及び／又は処置、並びにガイド付き介入のための、ガイダンス及びトラッキングシステムについて、様々な実施形態が開示される。より具体的には、幾つかの実施形態において、前立腺バイオプシ及び高周波（ＲＦ）アブレーションを夫々使用することができる、精密バイオプシ及び精密処置のための、３次元トラッキング、ガイダンス、及び視覚化システムが、記載されている。本明細書に記載の実施形態は、様々なタイプの診断：サイドファイア、エンドファイアＴＲＵＳ ＰＢｘ、経会陰ＰＢｘ、及び、ブラキセラピ（ニードルを介して病変の隣に放射性シードをステアリングして堆積させる）などの処置、並びに、その他の希望される他のガイド付き介入のために、稼働し得る。
【0023】
一実施形態では、ガイダンス及びトラッキングシステムは、トラッキングセンサ、例えば、ＮＤＩ社のＭｏｄｅｌ９０や加速度計／ジャイロスコープアレンジメントなどの、６自由度（６－ＤＯＦ）電磁トラッキングセンサをその中に配置したカテーテルを含んでもよく、カテーテルは、身体器官、好ましくは、身体又は器官の既存の通路、例えば、患者の前立腺の尿道通路などに、配置され固定されるように適合されてもよい。トラッキングセンサ、トラッキングトランスミッタ（例えば、ＮＤＩ ＳＲＴ又はＭＲＴ）、トラッキングエレクトロニクスユニット（例えば、ＮＤＩ ＤｒｉｖｅＢＡＹ）、コンピューティングデバイス（例えば、Ｍｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ Ｐｒｏなどのラップトップ）、及び本明細書に記載の他のコンポーネントを使用して、処置又は診断手順及びガイド付き介入などの、医療手順の間に、器官及び医療器具の位置（ｘ、ｙ、ｚ）及び方向（ヨー、ピッチ、ロール）を追跡することができる。本明細書で使用する「ポジション」という用語は、位置と方向を指し得る。同様に、尿道カテーテルは、尿道に配置された尿道カテーテルのようなチューブを含むことができ、ここでは、尿道カテーテルのカフを前立腺尿道内で意図的に膨張させて、カテーテルを前立腺に固定し、それによって前立腺を追跡する。用語「身体センサ空間」、又は幾つかの実施形態では「前立腺センサ空間」又は「器官センサ空間」は、身体センサ、前立腺、器官などを原点とするローカル座標系（例えば、６自由度でのトラッキングを可能にする座標系）を含むことができる。
【0024】
代替的に、座標系の原点は、ＮＤＩ ＳＲＴトランスミッタなどのトラッキングトランスミッタにて在り得る。前立腺バイオプシの特定のケースでは、「身体センサ空間」という用語は、「前立腺センサ空間」を指すことがある。前立腺センサ空間は、トラッキングトランスミッタが動くことができ（例えば、手順中に誤ってぶつかる）、患者も動くことができるので、好ましくあり得る。前立腺トラッキングセンサを座標系の原点又は基準点として使用することにより、前立腺センサ空間を使用することは、システムをロバストにし、患者又はトランスミッタの動きに影響されないようにするものである。用語「システマティックの」、「テンプレート化された」、又は「ランダムの」バイオプシは、テンプレートに従って器官をサンプリングすることに関連する同義語である。更に、コンピューティングデバイスは、関心のある器官に対する医療機器の相対的なポジションを決定し得る。カテーテルにてエコー源となる液体を使用してもよいし、バイオプシの間に、カテーテル若しくはトラッキングセンサの、意図しないサンプリングを防ぐべく、カテーテルが医療画像で明確に可視化されるように、超音波検査又は透視検査等の医療画像を使用する際に容易に可視化されるカテーテルの材料が、選択されてもよい。
【0025】
ガイダンス及びトラッキングシステムは、３次元可視化ツールの一部として、器官、病変（例えば、当該器官内の病変）、他の関連する特徴、及び、他の３次元オブジェクトの、実在する３次元再構成を準リアルタイム（例えば、約２分以下）で迅速に生成するように構成された粗いセグメンテーション機能を組み込むグラフィカルユーザインタフェース（ＧＵＩ）を、更に含んでもよい。ＴＲＵＳにおける前立腺の尿道通路など、撮像モダリティで可視化される内部通路や、膀胱や精嚢などの他の解剖学的ランドマークも、３次元的に再構成された前立腺内に、３次元で再構成することもできる。本明細書に記載の実施形態に従って行われた実験では、前立腺の３次元再構成が２分未満で行われたが、これは、本明細書に記載のシステムの様々な実施形態が合理化され、臨床ワークフローに過度の遅延なく統合できることを保証する、成果である。
【0026】
「リアルの３次元」又は「リアルの３Ｄ」は、本明細書で使用される用語であり、単に３次元であるような印象を与えるものではなく、真に３次元である３次元環境を指す。例えば、ネイティブ３Ｄでは、奥行きの「次元」を介した３Ｄの錯覚が、立体撮影、すなわち、２つのカメラを使用し、隣り合って配置し、それによって、人間の各眼を模倣するために同時に撮影することによって得られる。リアルの３Ｄ環境及びリアルの３Ｄビジュアライゼーションでは、前立腺などのオブジェクトは、３Ｄ座標系内の実際の３Ｄオブジェクトであり、カメラや見物人の視点（ポジション）に関係なく、すなわち、３Ｄオブジェクトが正面、背面、側面、上面、下面などの任意の視点から見られているかどうかに関係なく、また、同じ３Ｄ座標系内のＴＲＵＳプローブなどの他の３Ｄオブジェクトとの相対的な関係で、正しく表現される。
【0027】
幾つかの実施形態では、３次元再構成は、経直腸超音波（ＴＲＵＳ）プローブ又は他の撮像技術を用いて得られる、器官の複数の２次元（２Ｄ）画像（スライス）について、（肉眼で識別可能な）器官のアウトライン若しくは周囲を手動でトレースすることによって、生成されてもよい。器官の手動でのトレースは、タッチセンシティブディスプレイ、マウス、トラックボール、ペンなどの、ポインティングデバイスやトレーシングデバイスを介して行うことができる。テンプレート化された（システマティックな）バイオプシが行われる実施形態では、ガイダンス及びトラッキングシステムは、テンプレート位置若しくはコアを、３Ｄ前立腺の周りに均等に配置するデフォルトの３Ｄテンプレートを重ね合わせることができ、又は、バイオプシ領域、関心領域（ＲＯＩ）、又はテンプレート位置若しくはコアを構成することもできる器官の３次元再構成上のカスタマイズされた仮想３Ｄテンプレート上に、ユーザが、ｎ個（二重六分儀スキーマではｎは１２個）のテンプレート位置若しくはコアを重ね合わせて調整することを支援することができる。
【0028】
仮想テンプレートは、ディスプレイに表示の器官に相対的に配置することができ、仮想テンプレートは、幾つかの実施形態では、処置部位と同様に、器官からの組織の収集のための理想的な部位若しくは位置、及び方向を含むことができる。幾つかの実施形態では、仮想テンプレートは、異なるタイプのバイオプシニードルで得られる実際のコア（異なるコアの長さ、異なるコアの断面など）の細長い３Ｄ形状を表す仮想コアを含むことができる（図１４参照）。
【0029】
左側の縦棒は、ユーザがテンプレートの位置を調整する際に作成される認知補助であり、ユーザにより調整可能なテンプレート内の所望のテンプレートの位置を達成するために（円で示す）ニードルガイドの出口をどこに配置する必要があるかを示すハッシュマークと共に、ＴＲＵＳプローブの直腸への挿入深さを示しており、実際のバイオプシ時に使用することができる。プローブ挿入深さライン上のハッシュマークは、サイドファイアニードルガイド軸とＴＲＵＳプローブ軸との間の既知の角度（例えば、１９度）に基づいて、（テンプレートの位置がユーザによって調整されると）逆計算されて表示される。粗視化された前立腺に対するテンプレートの事前調整とフィッティングの際に作成されるハッシュマークを含む挿入深さラインは、実際のバイオプシの際の使用のために図１４に転送される。ユーザは、テンプレートを前立腺にフィットさせるために、３Ｄビュー（図１５には示されていない）、サジタル、コロナル、トランザバースなどの異なるビューを選択することができる。
【0030】
コアの方向は、所定のサイドファイアニードルガイドに対してニードルが前立腺に入る予想される角度、又は、ＴＲＵＳプローブ長手方向軸に対するニードルガイドの角度、例えば、ＢＫ８８１８ ＴＲＵＳプローブサイドファイアーニードルガイドの場合は１９度に一致する、デフォルトの方向を有することができる。ユーザは、仮想コアの方向と形状が実際に得られるコアを代表するように、ＴＲＵＳプローブの種類とモデル、ニードルガイドの種類とモデル、バイオプシ器具の種類とモデルなどを、選択することができる。「バイオプシ器具」という用語は、バイオプシデバイス、バイオプシガン、若しくはニードルガンとしても知られる、ハンドル付きのバイオプシニードルを指し得る。調整可能なｓＰＢｘテンプレート上の、ユーザにより調整可能な仮想コアは、バイオプシニードルの先端が発射されたときの最大トラベル又はエクスカーションを示す、赤線（又は他の適切なインジケータ）などの、インジケータも含むことができる。このインジケータは、例えば、ニードルの先端が前立腺の境界を越えて膀胱に当たるかどうかを判定するのに役立ち得る。
【0031】
同様に、赤いライン若しくは他のインジケータは、発射するときにニードルが望ましくない形で尿道に当たるかどうかを示すことができ、ユーザは、膀胱、尿道、若しくは他の避けるべき領域に当たらないように仮想コアを調整することができる。テンプレートが前立腺に対して大き過ぎる場合など、ユーザがテンプレート内のコアの位置や方向を調整したい場合には、マウスなどのポインティングデバイスでクリックしてドラッグしたり、タッチスクリーンで選択してドラッグしたりすることで、テンプレートのコアの位置や方向を手動で調整することができる（図１４及び図１８参照）。前立腺がテンプレートに対して大きすぎる場合など、ユーザがテンプレートにコアを追加する必要がある状況では、ユーザが追加のコアを作成して配置することができる。また、ユーザは、テンプレートの位置の順序、すなわち、サンプルコアを取得する順序を選択することもできる（図１９参照）。ユーザは、所望の順序でコアをタッチするだけで、実際のバイオプシ手順の間にサンプリングのためにコアが提示され、強調表示される順序を確立することができる。コアには、図１９に示すように、タッチされた順序で番号が付けられる。ユーザが選択した順序は、図７に示す標準的な順序とは異なり、時間と動作の点でより効率的であることに留意されたい。このように、提案されるガイダンス及びトラッキングシステムは、前立腺の前部領域を含む、テンプレートで指定される位置でのサンプルの収集を容易にするガイダンスを提供することができる。前立腺前部は、現在、テンプレート化されたＴＲＵＳ ＰＢｘの間、特に、サイドファイアＴＲＵＳ ＰＢｘでは、バイオプシニードルが前立腺の直腸表面に対して斜めに入るため、エンドファイアＴＲＵＳ ＰＢｘと比較してニードルが前方にあまり貫通しないサイドファイアＴＲＵＳガイド経直腸ＰＢｘの間、知っている限りではサンプリングされない。例えば、本明細書に記載のガイダンス及びトラッキングシステムは、仮想テンプレートで指定される領域での組織サンプルの収集を容易にするために、又は、処置を提供するために、バイオプシ器具若しくは他の医療器具のポジション（位置及び方向）の軌道及び調整を提供することができる。
【0032】
実際のバイオプシニードルは、ニードルガイドに挿入された状態で、ＴＲＵＳ画像で見ることができる。ニードルガンがトリガされると、半円筒状の凹部が側面に切り込まれた内側バイオプシニードルが、例えば２２ｍｍ飛び出し、続いて外側バイオプシニードルが、前立腺から略半円筒状の長さ１８ｍｍのコアバイオプシを切断するために、飛び出してくる。その後、バイオプシニードルを患者から外してバイオプシを採取する。発射して前に飛び出す際に、ニードルの先端が膀胱に入ってしまうことがあ（り、これにより血尿が出ることがあ）るが、これは、発射時に内側ニードルの先端がどのくらい伸びるかをユーザが適切に考慮していなかったためである。ユーザがコアをサンプリングする場所を視覚化して予測するのを容易にするために、仮想コア（例えば、長さ１８ｍｍ、幅１ｍｍのコアを描いた細線で、ＴＲＵＳ画像で見た未発射のニードルの先端からコアの中心が８ｍｍ離れている）をＴＲＵＳ画像に重ねて表示したり、拡張現実又は複合現実環境に配置したりして、仮想コア若しくは他の仮想テンプレートの位置を器官との相対的な関係で示すことができる（図３Ａ参照）。
【0033】
例えば、仮想コアの中心は、ＴＲＵＳ画像内のオーバレイにおいて、コアの中央の円などのインジケータによって視覚的に表示することができる。また、発射されたニードルの先端の最大エクスカーションは、未発射のニードルの先端から２２ｍｍ離れたところ、又は他の適切な距離にある、赤い線などのインジケータによって、ＴＲＵＳ画像内に表示することができる。この視覚的補助により、ユーザはコアの中心を、意図した前立腺サンプリング位置に配置することが容易になり、更に、仮想コア又は最大ニードル深さラインが混合現実ＴＲＵＳ画像において膀胱に衝突する場合に、ニードルの先端が膀胱を貫通することを認識することが容易になる（図３Ａ参照）。注目すべきは、本明細書に記載のシステムは、単一の撮像モダリティ（超音波のみ；ＭＲＩは必要ない）のみを必要とするに過ぎず、一回の患者の訪問で達成することができる。
【0034】
本明細書に記載のシステムを使用した処置の一例は、例えば、ガン性腫瘍の高周波（ＲＦ）アブレーションであり、これは現在、腫瘍内にニードルを配置すべく透視イメージング（ライブＸ線）を用いて行われている。ガンに対するＲＦアブレーションは、電気エネルギーと熱を用いてガン細胞を破壊する低侵襲性の手順です。放射線科医が画像検査を用いて、皮膚又は切開部からガン組織内に細いニードルをガイドする。高周波エネルギーがニードルを通過して周囲の組織を加熱し、近傍の細胞を死滅させる。透視検査では、電離放射線であるＸ線を使用するため、臨床医の手が繰り返し照射されることが懸念される。そのため、臨床医がニードルをターゲットにガイドするために手動で調整しているときには、透視法をオフにして断続的に透視ガイダンスが行われる。
【0035】
複数のスライス若しくは平面（例えば、４～５矢状面及び３横断面）で、超音波画像上で前立腺のアウトライン（又は周囲）をトレースすることと同様に、本明細書に記載の実施形態では、腫瘍又は標的領域のリアルの３次元再構成を得ることを目的として、透視画像上で腫瘍若しくは標的空間のアウトライン又は周囲を手動でトレースすることができる。これは、例えば、前立腺の尿道通路を用いて行うような、器官内にセンサを配置するのに用いられ得る、内部通路を、器官が有していない場合に、実行される。患者に取り付けられる１つ又は複数のトラッキングセンサ（例えば、心電図電極のような粘着性のあるパッドで患者の皮膚に接着されている）は、患者のトラッキングセンサに対する腫瘍の座標を決定することができ、したがって、センサをトラッキングしているトランスミッタに対する座標を、好ましくは６自由度で決定することができる。ＲＦアブレーションニードル／プローブやそれらのホルダにセンサを取り付けてトラッキングすることで、焼灼する腫瘍に対するＲＦニードルの先端や加熱コイル、プローブのポジションを、決定できる。ツールをトラッキングする別の方法としては、ニードルなどのツールの内部にスタイレットを導入し、スタイレットにトラッキングセンサを取り付け、理想的には先端部又は切除に使用する加熱コイルの中央部などの関連する位置に取り付けることができる。トランスミッタは、患者の皮膚に取り付けられるトラッキングセンサを介して、トラッキングされたプローブ、トラッキングされたニードル、ツール、又はスタイレット、及び腫瘍の位置及び方向を、トラッキングする（図１７参照）。
【0036】
最初の透視画像が得られ、リアルの３次元再構成が生成されると、透視画像とそれに伴うものによる、臨床医の手や前腕への電離放射線のリスクを、オフにすることができる。前立腺バイオプシの場合と同様に、臨床医は、リアルの３Ｄグラフィカルユーザインタフェース（ＧＵＩ）内で、仮想的に再構成された３Ｄ腫瘍と追跡されるニードルとを使用して、リアルタイムのリアルの３Ｄビジュアライゼーションインタフェースで腫瘍内にニードルをガイドすることができる。重要なことは、透視の必要性がさらにないため、臨床医は、画像を得るために透視装置の電源を入れるたびに、現在の技術のように継続的に停止する必要がないということである。臨床医は、混合現実３Ｄトラッキング及びガイダンスシステムを使用して、ＲＦアブレーションニードルをターゲットに向けて操縦しながら、継続的かつ安全に作業を行うことができる。また、プロセス全体をリアルタイムでリアルの３Ｄビジュアライゼーションで観察してガイドすることは、特に空間的に困難な臨床医にとって、透視画像や２次元画像を解釈することに比べて、より容易である。
【0037】
新しいデバイスが導入されたときの顕著なギャップは、新しいデバイス及び新しいデバイスに関連する技術を適切に使用するための適切なトレーニングが省略されていることである。デバイスにおけるもう一つの設計上の欠陥は、直感的でないユーザインタフェースである。アイコンや他のユーザインタフェース要素の形をした認知補助は、情報、位置、方向、視点を処理する際の補助となり、ユーザが素早く方向を定め、ユーザが方向を見失った結果としてのミスを防ぐことができる。
【0038】
既存システムの別のギャップには、（前立腺などの）スキャンされるオブジェクトの（ＴＲＵＳを含む）超音波画像における方向が物理的なオブジェクトの実際の方向と一致しないために、ユーザが空想上の回転や他の幾何学的及び空間的な空想上の操作を行うことを余儀なくされることが含まれる。例えば、前立腺は、矢状のＴＲＵＳ画像において、患者が（ａ）仰向けに寝ているかのように、また（ｂ）ＴＲＵＳプローブが右から左へ直腸内に滑り込んでいるかのように表示されるが、実際には患者は通常、左側臥位である（図９Ａ）。ＴＲＵＳ画像がユーザの視点からプローブのインソネーション平面と一致するように、すなわち、システム内で時計回りに約９０度、矢状のＴＲＵＳ画像全体を回転させることにより、矢状のＴＲＵＳ画像及びＴＲＵＳプローブの動きを解釈する際に、空想上の回転の必要性を低減することができる（図９Ｂ）。同様に、横方向のＴＲＵＳ画像は、現在、頭側－尾側の方向から表示されている。提示されている方向アイコン／認知補助に示されているように、表示方向を尾側－頭側に変更すると、ユーザは一般的な尾側－頭側の方向で患者を見ているので、より直感的となる。
【0039】
本明細書に記載のユーザインタフェースのための更に別の提案される実施形態は、ユーザの方向付けを助けるために実際のＴＲＵＳ画像に情報を重ねることを含む。例えば、ＴＲＵＳ撮像中に二重インソネーション平面を使用する場合、両方のインソネーション平面のエッジをカラーコード化することができ、横方向面及び矢状面は互いに直交しているので、それらは互いのインソネーション平面に線として表示される。各エッジは、関連する固有の色を持つことができる。各インソネーション平面は、ＴＲＵＳ画像において２つの直線のエッジを持つことができる。例えば、２つのＴＲＵＳ挿入面（矢状面及び横方向面）がある場合、夫々が固有の色を持つ、４つの直線エッジが存在し得る。エッジのカラーリングスキームは、ＴＲＵＳ画像と３Ｄビジュアライゼーションの両方で、一貫して使用される。本明細書に記載の実施形態によれば、表示されるインソネーション平面に直交するインソネーション平面のエッジを表す線は、一貫してカラーコード化されており、ユーザを更に方向付けるのに役立つ。同様に、本明細書に記載の実施形態では、矢状のＴＲＵＳ画像のニードルパスの点線と横方向のインソネーション平面との交点は、横方向の平面のドットとして表される（図１０参照）。
【0040】
ＴＲＵＳプローブのピッチは、飛行に例えれば人工的な地平線に似ていると考えることができる（図２５参照）。プローブのピッチが水平でもニュートラルでも無い場合（ＴＲＵＳプローブの遠位先端は、ニュートラル若しくは水平のポジションにあるとき、ノーズアップにもノーズダウンにもならない）、ユーザが方向感覚を失って、サンプル又はバイオプシコアを前立腺の両方の半分（半球）に均等かつ均一に分配するのではなく前立腺の半分（片方）に全てのサンプル若しくはバイオプシコアを採取してしまう、危険性が少なくなる。ピッチがニュートラルであるかどうかをユーザが判断することは困難であり、それは、偽陰性のリスクを防ぐためにコアを均等に分配する際の一般的なエラーの原因となる。本明細書に記載の実施形態では、小型（長さ２９ｍｍのスモールブロック）のバブルウォータレベル（「バブルレベル」）を、例えば、自己接着剤でＴＲＵＳプローブのハンドルに取り付けて、ピッチをニュートラルに保つのを助けることができる。ピッチがノーズアップの場合、バブルは上に浮いてユーザから離れていき、ピッチがノーズダウンの場合、バブルも上に浮くがユーザに近づいていく。ユーザは、ピッチをニュートラルに保つために、バブルを中央に維持すればよい。このバブルレベルは、シミュレートされたＰＢｘと実際のＰＢｘの両方に適用できる。バブルレベルは、ＴＲＵＳプローブセンサクリップ１６０ｂ若しくはＴＲＵＳプローブ１２０に組み込むことができる。
【0041】
（患者のケア又はシミュレータでの使用の両方のための）６－ＤＯＦセンサで追跡されるプローブの場合、ピッチを表す線を、先に説明した物理的なバブルレベルに加えて、若しくは、その代わりとして、用いることができる。追跡されるプローブのピッチを表す線は、ピッチがニュートラルのときは水平で、プローブのノーズ（先端部）がアップのときは上を向き、プローブのノーズがダウンのときは下を向くが、これに加えて、他の線はロールとヨーを表す（図１３参照）。ロールとは、ＴＲＵＳプローブがその長手方向の軸を中心に回転することである。左側臥位の患者で右の前立腺を挿入するために反時計回り（ＣＣＷ）に回転させると、ロールラインインジケータが同等のＣＣＷ回転をすることを示している。ニュートラルポジションでは、ロールラインは水平であり、ロールがないことを示している。
【0042】
ＴＲＵＳプローブの自由度を図２５に示す。挿入深さ（押し－引き矢印）とロールは粗い調整であり、ヨーは細かい調整である。ピッチは、ピッチニュートラル技術を使用する場合、ニュートラル（水平、０°）に保つ必要がある。その他の自由度も可能である。テンプレートフィッティングの際に決定されるプローブ挿入ライン上のハッシュマーク（図１５）は、実際のバイオプシ（図１４）の際に使用され、プローブをどこまで挿入するかを容易に決定することができる。プローブの移動に伴ってニードルガイド出口がプローブ挿入線に対して相対的に移動し、ニードルガイド出口が意図したテンプレートの位置のハッシュマークにあるときに、ユーザはプローブの押し引きを停止する。ハッシュマークは、個々のテンプレートの位置ごとに作成することができ、意図したテンプレートの位置のハッシュマークは、乱雑さを最小限にするために唯一のものとして表示されるように強調される。
【0043】
更なる実施形態では、ヨーラインは、ＴＲＵＳプローブの横方向の動き、即ち、プローブ先端が右に傾斜しているか左に傾斜しているかを示す。ヨーラインは、ヨーがゼロの場合は垂直である。ＴＲＵＳのハンドルが左に移動した場合、垂直のヨーラインの上端は右を向き、その逆も同様である。更に、ＴＲＵＳプローブがどこまで挿入されているかを示すＴＲＵＳ挿入深さ線がある。この深さ線には、プローブを挿入する深さに対応するハッシュマークがあり、ニードルガイドにニードルを挿入したときのニードルの軌道が、ヨーの使用を最小限に抑えながら、既に基部、中腺、頂部などの前立腺領域に向けられているように、ニードルガイドのニードルの出口ホールが最適に配置されている。挿入深さ線上のハッシュマークは、バイオプシ手順に先立ってテンプレート又はコアの位置をテンプレート内で調整しつつ作成できる。また、ピッチ、ロール、ヨーの数値量を度数で表示している。色は、ピッチ、ロール、ヨーが適切であるか不適切であるかを示す。例えば、ＴＲＵＳプローブのピッチがゼロ（水平方向、ゼロピッチ）から離れすぎている場合には、ピッチラインと表示された数字若しくは文字とが赤くなる。左上の縦棒は、ＴＲＵＳプローブの直腸への挿入深さを示す認知補助であり、ユーザ調整可能なテンプレート内の所望のテンプレートの位置を達成するように、（円で示す）ニードルガイド出口をどこに配置する必要があるかを示すハッシュマークが付いている。
【0044】
ユーザは、一般的に（３Ｄ超音波は存在するが、一般的には使用されていない）３Ｄオブジェクトの２Ｄ断面である超音波画像をどのような観点から解釈すべきかをよく尋ねる。超音波画像の隅にドットや他の適切なアイコンを配置して、オリエンテーションマーカとして超音波プローブ上の触覚的な物理的マーカに対応させることができる。しかしながら、異なる医療分野（例えば、心臓病学と麻酔学）では、慣例的にドットの位置が異なる（右上と左上）ため、メーカは、ユーザがオリエンテーションドットの位置を選択できるようにすることで、これらの慣例に対応している。このようにユーザが選択できるモードは、「モードの混乱」を引き起こす可能性があり、所定の手順のために誤ってドットを不適切な位置に置いてしまうと、方向感覚が失われる可能性がある。更に、２次元超音波画像は、２つの反対側から直交して見ることができる。例えば、ＴＲＵＳ画像における前立腺の横方向のビューは、観察者が患者の頭部（頭側から尾側の方向）にいる状態で、又は患者の足元から（尾側から頭側の方向）見ることができる。本明細書に記載の実施形態では、添付の図のように、挿入面が身体に対してどこに位置しているか、挿入面をどのような視点から見ているかをユーザに知らせると共に、特に患者がドレープされていて見えない場合には（図１１及び図１２）患者のポーズをユーザに知らせる、直感的なアイコンを採用することができる。
【0045】
画像やスライスを見るとき、ユーザは、画像をどの方向から見るべきか（例えば、頭からつま先か、つま先から頭か）と考えることが多い。アイコンは、ユーザを正しい視点に容易に方向付ける直感的なアイコンの例である。図１１のアイコンは、経会陰バイオプシに使用されるリソトミ体位の患者を示している。アイコンは、リソトミ体位の患者の体を表したり、他のガイド付き介入のための他の体位を表したりする。図１１は、横方向のビューがｃａｕｄａｄ－ｃｅｐｈａｌａｄ、すなわち、足から頭までであることを示している。図１２は、矢状図が左－右であることを示しており、即ち、ユーザが患者の左側にいて、左側臥位の患者の右側を見ているかのように、画像を読むことができる。Ａの文字のようなアイコン４１５が目を表している。視点の方向は、視野線４２５の他端にある矢印４２０によって補強される。
【0046】
前立腺の前部ゾーン（直腸から更に離れた領域）は、現在、システマティックな（テンプレート化された）バイオプシの間にサンプリングされていない。そうしない理由には、前部帯病変の発生率が（ゼロではないが）小さいこと、膀胱又は尿道を穿刺するリスクを保証するものではないこと、及び、コアがより深い前部ゾーンに到達するためには、ニードルが発射される前に前立腺を予め貫通しなければならないため、より多くの患者の不快感を生じさせるリスクがあることが、ある。本明細書に記載の様々な実施形態によれば、方法及び認知補助装置は、実際のＴＲＵＳ ＰＢｘ及びシミュレートされたＴＲＵＳ ＰＢｘの両方において、前部ゾーンのテンプレート化されたバイオプシを実行することができる。新しいテンプレートは、前部ゾーンにある少なくとも４つの追加の位置をサンプリングするために作成することができるだけでなく、前立腺の異なるサイズ及び形状を考慮して、ＧＵＩを介して全てのテンプレート化されたポジションの配置をユーザが実際にドラッグして移動させる能力を提供することができる。言い換えれば、ユーザは、必要に応じてテンプレートの位置を追加して、非常に大きな前立腺の場合も含めて、より多くのカバレッジを提供することができる。
【0047】
ニードルの先端が挿入されてＴＲＵＳ画像に表示されるとき、ニードルの先端の前に動的認知補助を線として配置することができる。Ｂａｒｄ ＭＣ１８２５バイオプシ器具のようなバイオプシニードルでは、発射時にニードルの先端が（例えば、２２ｍｍ）前方に跳ね上がる一方、１８ｍｍのコアの中心の位置はニードルの先端からおよそ８ｍｍである。ニードルを発射したときに、ニードルの先端がどこに到達するかを、小さい赤い線などの、認知補助で示すことができる。赤い線が膀胱や尿道にかからないようにすることで、目で見て距離を推測するという作業が不要になる。赤い線が膀胱に触れなければ、膀胱への穿刺は起こらない。言い換えれば、ユーザは、赤い線が膀胱や尿道の外側にあることを確認すればよい。同様に、黄色の線は、予測されるバイオプシコアを示し、黄色の点は、予測されるバイオプシコアを示す線上のバイオプシコアの中心がどこになるかを示す。ユーザは、バイオプシコアの中心をできるだけテンプレートの位置に近づけるために、緑の円／球（例えば、半径５ｍｍ、許容できる偏差を示す）の中央にある黒い円／球（例えば、テンプレートの位置を示す直径２．５ｍｍ）と一致するように、黄色のドットを並べることができる。この機能は、異なるコアの長さ及びサイズに適応され、ＴＲＵＳ画像オーバレイ及び３Ｄビジュアライゼーションの両方で使用される。
【0048】
次に図１を参照すると、（ＴＲＵＳ患者ケアシステムとも称される）ガイダンス及びトラッキングシステム１００は、カテーテル１０５と、カテーテル１０５内に配置されるトラッキングセンサ（例えば、ＮＤＩモデル９０）を追跡するための６自由度（６－ＤＯＦ）トラッキングシステム１１０とを含むことができる。カテーテル１０５は、６－ＤＯＦトラッキングシステム１１０によって追跡することができるので、カテーテル１０５は、幾つかの実施形態では、追跡されるカテーテルと呼ばれ得る。カテーテル１０５は、幾つかの例では、前立腺の尿道通路に配置され、固定されるように構成され得る。カテーテル１０５に配置される電磁トラッキングセンサを使用して、コンピューティングデバイス１１５は、本明細書に記載の様々な実施形態に従って他の器官を追跡することができるが、図１に示されるような前立腺のような器官の位置及び方向を追跡することができる。図１は後付けの実施形態に特有のものであるが、（後付けではなく、内蔵型の）別の実施形態は、トラッキングセンサ１６０ａ及び１６０ｂを夫々のツールに埋め込むこと、及び、ＴＲＵＳマシン１３０のディスプレイにオーバレイをインポーズすることを、含み得、コンピューティングデバイス１１５及びその関連ソフトウェアは、ＴＲＵＳマシン１３０の全て又は一部であってもよい。
【0049】
ガイダンス及びトラッキングシステム１００のコンピューティングデバイス１１５は、幾つかの実施形態では、タッチスクリーン又はスタイラス対応のディスプレイを有するタブレット、スマートフォン、ラップトップ、又は同様のパーソナルコンピューティングデバイスを含み得る。更なる実施形態では、コンピューティングデバイス１１５は、サーバを含み得る。ＴＲＵＳ超音波プローブ１２０（若しくはＴＲＵＳトラッキングクリップ１６０ｂ）及び／又はバイオプシガン１２５（若しくはバイオプシデバイスクリップ１６０ａ）などの、医療器具にトラッキングセンサを取り付ける又は埋め込むことにより、トラッキングアプリケーション２１５（図２）、ガイダンスアプリケーション２２０（図２）、又は他のアプリケーションを使用して、処置又は診断手順の間に医療器具をトラッキングすることができる。幾つかの実施形態では、バイオプシガン１２５は、別の電磁センサによって追加的に追跡され得る、バネ式バイオプシニードル（例えば、Ｔｒｕ－Ｃｕｔバイオプシニードル）を含む。
【0050】
前立腺トラッキングセンサ、ＴＲＵＳプローブトラッキングセンサ５４０、及びニードルガントラッキングセンサ５３０の位置及び方向は、トランスミッタのトラッキング体積が器官及び器具の予想される臨床的に関連する移動範囲を包含するように、例えば、患者が左側臥位で右腰の上に配置された、ＮＤＩ ＳＲＴ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）又はＭＲＴ（Ｍｅｄｉｕｍ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）追跡機（トランスミッタ）などの、磁気追跡機（トランスミッタ）１５５によって検出することができる。更に、コンピューティングデバイス１１５は、追跡される器官に対する一つ又は複数の医療器具の位置及び方向を決定し得る。医療器具は、バイオプシのためのバイオプシガン１２５又はアブレーション処置のためのＲＦニードルを含むことができる。
【0051】
様々な実施形態において、コンピューティングデバイス１１５のディスプレイ上に示される超音波画像においてカテーテル１０５が明確に可視化されるように、カテーテル１０５内又はカテーテルの材料にエコー源性液体を使用してもよく、これにより、カテーテル又は電磁トラッキングセンサの意図しないサンプリングを防止することができる。
【0052】
さらに、ガイダンス及びトラッキングシステム１００は、超音波マシン１３０、取り外し自在アウトプット１３５（例えば、取り外し自在ＨＤＭＩ（登録商標）アウトプット）、ビデオキャプチャデバイス１５０、磁気追跡機１５５、並びに、一つ又は複数のスナップオンレトロフィット１６０ａ、１６０ｂを含むことができる。コンピューティングデバイス１１５は、以下で説明するように、３次元ビジュアライゼーションガイダンスオーバレイで使用することができる、前立腺などの器官の３次元再構成（例えば、リアルの３次元モデル）を生成するための手動のセグメンテーションを提供するように構成することができる。
【0053】
さらに、前立腺のバイオプシ（図２４）などの医療手順を容易にする器官及び／又は器官の３次元再構成に関連して、様々なユーザインタフェースコンポーネントを示すことができる。一つの実施形態では、予測されるバイオプシコアをテンプレート内の意図されるコアに適切に配置することをガイドする、器官のライブビュー若しくは３次元再構成にコアテンプレートが視覚的にオーバレイされて示される。例えば、コンピューティングデバイス１１５は、理想的で適切なバイオプシを最小限の偏差で実行できるように、予測されるコアをテンプレート内の意図されるコアに一致させるために、オペレータがバイオプシガン１２５を動かすことを支援する通知を生成することができる。認知補助には、３Ｄビジュアライゼーションにおける前立腺の断面でテンプレートの位置と交差する予測されるバイオプシコアや、テンプレートの位置、ニードル停止線、最大ニードル先端貫通線、バイオプシコア中心、予測されるバイオプシなどの、ＴＲＵＳ画像のオーバレイが含まれる。
【0054】
同様に、トラッキングセンサを医療器具に取り付ける又は埋め込む（例えば、バイオプシニードルガイドを有する若しくは有しないＴＲＵＳプローブ１２０に６自由度電磁センサを取り付ける）ことにより、図２に示すように、トラッキングアプリケーション２１５、ガイダンスアプリケーション２２０、又は他のアプリケーションを使用して、処置、診断、又はガイド付き介入手順の間に、医療器具をトラッキングすることができる。しかしながら、図１に戻って参照すると、バイオプシガン１２５、又はバネ式バイオプシニードル（例えば、Ｂａｒｄ Ｔｒｕ－Ｃｕｔバイオプシニードル）を含む他のタイプのニードルガンが、別の電磁センサによって追加的に追跡され得る。前立腺トラッキングセンサ、並びに、ＴＲＵＳプローブ及びニードルガントラッキングセンサの、位置及び方向は、ＮＤＩ ＳＲＴ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）又はＭＲＴ（Ｍｅｄｉｕｍ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）などのトランスミッタによって追跡することができる。幾つかの実施形態では、トランスミッタは、例えば、左側臥位の患者の右腰の上に、配置することができ、これにより、トランスミッタのトラッキング体積は、器官及び器具の、予想される臨床的に関連する動きの範囲を包含する。更に、コンピューティングデバイス１１５は、アプリケーション２１５と一緒に、追跡される器官に対する一つ以上の医療器具の位置及び方向を決定できる。
【0055】
医療器具は、撮像装置、バイオプシのためのバイオプシニードルガン、アブレーション処置のためのＲＦニードル、又は任意の他のガイド付き介入ツールを含むことができる。様々な実施形態では、カテーテル１０５が超音波画像又は他の医療画像モダリティで明確に可視化されるように、カテーテル１０５又はカテーテルの材料にエコー源性液体を使用することができ、これにより、カテーテル又は電磁トラッキングセンサの意図しないサンプリングを防止することができる。
【0056】
実施形態は、複数の点で先行技術と異なる。多くの相違点の中でも、本開示の実施形態は、（ａ）必ずしも２つの撮像モダリティ（例えば、ＭＲＩ及び超音波）を必要とせず、所望であれば、他の撮像モダリティから従前に得られた撮像データを含むことができる（すなわち、本明細書に記載の技術は、２つの異なるソースからの画像を融合する融合バイオプシ技術を必要としない）；（ｂ）「第１の撮像モダリティ」、例えば、ＭＲＩ撮像の間に、強化されたカテーテルデバイスが存在することを必要としない；（ｃ）「イメージスペース」を必要とせず、「イメージスペース」を「患者スペース」に併置する必要があり；（ｄ）テンプレート化された位置若しくはコア、又は再構成された可視病変が３Ｄ再構成されて登録された後は、ＴＲＵＳなどの撮像モダリティを全く必要とせず、（ｅ）カテーテル内のセンサが画像空間で見えること、即ちＭＲＩ画像により見えることを必要としない。むしろ、器官トラッキングセンサの位置と方向は、センサを追跡するトランスミッタによって決定される。幾つかの実施形態では、トランスミッタは、患者の体外に配置することができ、例えば、６つの自由度（ｘ、ｙ、ｚ、ヨー、ピッチ、ロール）で、カテーテル内のセンサを追跡するように構成することができる。これにより、センサは、ＴＲＵＳ画像又は他の画像上に正確に配置され、ＴＲＵＳ画像又は他の画像上に仮想センサとしてオーバレイされ得る。本明細書に記載の実施形態では、ユーザは、２次元のＴＲＵＳ画像と、２Ｄフレームから３Ｄフレームに移行する際のユーザの空間能力とに、依存する代わりに、３次元ビジュアライゼーションモードで作業するオプションを有する。
【0057】
結果として、本明細書に記載の実施形態は、従来技術で周知の既存の融合バイオプシシステムのように、ＭＲＩのコストと時間、及びＭＲＩを解釈するための放射線技師の料金を排除することにより、より合理的で手頃なものとなっている。また、本明細書に記載の実施形態は、空間能力又は断面リテラシー（２Ｄ断面から３Ｄオブジェクトを仮想的に視覚化する能力）が限られているユーザであっても、より直感的に使用することができる。ＴＲＵＳ画像は、前立腺などの３Ｄ器官の２Ｄ断面又はスライスである。本明細書に記載の実施形態は、空間能力や断面リテラシーの欠如や、２Ｄ ＴＲＵＳイメージングの限界を、補うことができるリアルの３Ｄグラフィカルユーザインタフェースとして、リアルタイム３Ｄビジュアライゼーションを提供するので、現在のＰＢｘ技術よりも直感的なユーザインタフェースを提供することができる。
【0058】
医療器具は、経直腸超音波プローブ又は他の撮像デバイス１３５などの、撮像デバイスを含むことができる。更に、医療器具は、サンプルを収集するためのバイオプシニードルガン、又は治療的処置を提供するための他のデバイスを含み得る、バイオプシ、又はガイド付き介入処置デバイスを含み得る。医療器具は、医療器具を追跡するための幾つかの実施形態における（内蔵、又は取り外し自在に取り付けられている）センサを含むことができる。コンピューティングデバイス１１５は、ディスプレイデバイス２１０（図２）と相互作用して、以下で説明するように、ガイダンスインタフェースにもなり得るユーザインタフェースを生成し得る。
【0059】
ここで図２を参照すると、様々な実施形態に係るガイダンス及びトラッキングシステム１００の概略図が示されている。ここでも、ガイダンス及びトラッキングシステム１００は、幾つかの実施形態では、その中に配置された電磁トラッキングセンサ２０５を有するカテーテル１０５を含むことができる。ガイダンス及びトラッキングシステム１００は、コンピュータモニタ又はタッチスクリーンディスプレイデバイスなどの、ディスプレイデバイス２１０を含むことができ、これは、幾つかの例では、コンピューティングデバイス１１５の一部又はコンピューティングデバイス１１５とは別個のものとすることができる。コンピューティングデバイス１１５は、カテーテル１０５だけでなく、前立腺などの器官に関する、データの追跡及び収集を容易にするプログラム命令を含むことができる。このように、コンピューティングデバイス１１５は、トラッキングアプリケーション２１５、ガイダンスアプリケーション２２０、並びに、他のアプリケーション、サービス、エンジン、又は他のコンピュータ実装されたプログラム命令を、含むことができる。
【0060】
ガイダンス及びトラッキングシステム１００の医療器具は、ＴＲＵＳプローブ１２０又は他の撮像装置などの、撮像装置を含むことができる。更に、医療器具は、収集又は処置デバイスを含むことができ、これは、サンプルを収集するためのバイオプシニードルガン１２５を含むことができ、又は治療的処置を提供するためのデバイスを含むことができる。医療器具は、医療器具を追跡するための幾つかの実施形態におけるセンサを含むことができる。コンピューティングデバイス１１５は、以下で説明するように、ユーザインタフェースを生成するために、ディスプレイデバイス２１０と相互作用することができる。
【0061】
図３Ａに移ると、ユーザインタフェース２００の一例が示されており、ユーザインタフェース２００は超音波画像２０５を含む。上述のように、ガイダンス及びトラッキングシステム１００は、器官の３次元再構成（セグメンテーション）を生成するのに使用し得る器官の複数の画像をキャプチャするように構成された撮像装置を含むことができる。幾つかの実施形態では、ＴＲＵＳプローブ１２０又は他の撮像技術を用いて得られる器官の複数の２次元画像に基づいて、３次元再構成４００（図６）を生成することができる。病変又は関心領域がＴＲＵＳ画像で見える（即ち、超音波撮像で病変が見える）場合には、異なる２次元スライスでの病変部のアウトラインを手動でトレースして、病変４０３の３次元再構成を形成することができ、そのプロセスの例が図８に示されている。そして、３次元的に再構成された病変４０３は、バイオプシの際にターゲット化され得、即ち、ガイダンス及びトラッキングシステム１００は、テンプレート化されるバイオプシに加えて、ターゲット化されるバイオプシにも使用することができる。
【0062】
図３Ａの円は、テンプレートの位置を示す。停止線又はニードル停止線は、円筒形バイオプシコアの白色の中心が灰色の円の中心にあるように、発射する前に、ニードルの先端がどの程度挿入される必要があるかを示すための視覚的認知補助オーバレイである。図３Ａに示す停止線は、ニードルが、意図した場所やターゲットに適切に配置されていない場合には存在しない。消えていく停止線は、ニードルの狙いが必要な場所からずれていることを思い出させるという二重の役割を果たしている。幾つかの実施形態では、ニードルが、意図した位置やターゲットにある程度揃っている場合、停止線は灰色で表示される。更に、停止線は、ニードルが、意図した位置又はターゲットに適切に揃ったときには、緑色になり得る。投影された半円筒形のバイオプシコアと、バイオプシコアの中心を表すドットも、ライブ超音波画像に重ねて表示される。バイオプシニードルデバイスの先端が発射されたときに到達する最大エクスカーション（深さ）を表す線（例えば、赤い線）も表示される。最大ニードル深度線は、ニードルが発射された場合、前立腺の後ろの解剖学的構造を損傷することをユーザに警告するために、色を変えたり、点滅させたりすることができる。最大ニードル先端エクスカーションラインと、投影されたバイオプシコア及び中心ドットとは、追跡されるニードルがニードルガイドを越えて挿入されると、ニードルパスに沿ってリアルタイムで一緒に移動する。
【0063】
テンプレート２２５は、一連のテンプレート位置であり、例えば、二重六分儀スキーマでは１２である。前立腺又は他の器官のバイオプシが行われている実施形態では、ガイダンス及びトラッキングシステム１００は、図８に示すように、器官の３次元再構成４００に仮想テンプレート２２５を重ねることができる。図３Ａに戻って、注目すべきことに、仮想テンプレート２２５は、器官からの組織の収集のための、又は処置のためのテンプレートの位置又は理想的な部位を含むことができる。あるいは、図３Ａに示すように、超音波画像内に一度に一つのテンプレートの位置２２６又はコアのみを表示して、視覚的な乱雑さを減らし、ユーザがサンプリングされる位置に集中することを容易にすることができる。
【0064】
このように、ガイダンス及びトラッキングシステム１００は、仮想テンプレート２２５で指定された位置でのサンプルの収集を容易にするガイダンスを提供することができる。泌尿器科トレーニング教材における１２コアテンプレートの現在のメンタルモデルは、前立腺が２Ｄではなく３Ｄの器官であることを無視しているような定性的な２Ｄモデルである。言い換えれば、現在の１２コアテンプレートは、所定のテンプレートにおけるテンプレート位置の提案を描いた円（又は球）がどのように前方に配置されているかを指定していない。本明細書に記載の実施形態では、定性的な２Ｄのバイオプシテンプレートではなく、定量的な３Ｄのバイオプシテンプレートに、前方を含めてテンプレート位置を配置し、そのテンプレートの位置にバイオプシニードルを誘導することができる。
【0065】
更に、サイドファイアテンプレートバイオプシのために教示されている現在の技術は、ＴＲＵＳ画像において、ニードルの先端が前立腺の直腸側の前立腺カプセルをテントすることが観察されるまでニードルを挿入し、ニードルガンを発射することである。このカプセルテント法は、前立腺を事前に貫通していないため、特にサイドファイアニードルガイドを使用した場合、病変が発生する前立腺の前方領域をサンプリングすることはできない。つまり、現行のテンプレートバイオプシでは、故意に前方の前立腺を採取しないため、既存の前方の病変を見逃してしまい、偽陰性となってしまうのである。前立腺の前方をシステマティックにサンプリングしない理由としては、バイオプシニードルで膀胱や尿道を不用意に当たってしまうことへの懸念が挙げられている。本明細書に記載の実施形態では、前立腺の前方領域にテンプレートの位置を配置し、膀胱及び尿道を回避しながらそれらの位置でサンプルを収集することができる。
【0066】
様々な実施形態では、仮想テンプレート２２５は、１２コアのテンプレートを含むことができるが、他の実施形態では、他の適切な量のコア、又は経直腸及び経会陰のテンプレートスキーマを含む他のテンプレートスキーマが、採用されてもよい。本明細書に記載の実施形態は、サイドファイア経直腸、エンドファイア経直腸、及び経会陰のテンプレート化されたＴＲＵＳガイドＰＢｘの間に、前立腺の前部領域をサンプリングする、標準又はカスタマイズされた３Ｄテンプレートの作成を容易にし、ニードルガンを発射する前の、ニードルの先端による前立腺への適切な事前浸透量に関するガイダンスを提供する。更に、選択された事前設定されたテンプレートが、患者の前立腺に適合しない場合、又は、ユーザがサンプリングしたい領域をカバーしない場合、ユーザは、再構成された３Ｄ前立腺とテンプレートとの間の、より良い適合又はカバーを得るために、テンプレートの位置又はコアの、位置及び方向を手動により及び視覚的に調整する能力を有する。更に、様々な実施形態において、ガイダンス及びトラッキングシステム１００は、テンプレート化されたサイドファイアＴＲＵＳ ＰＢｘの中に現在サンプリングされていない前部ゾーンを含む、仮想テンプレート２２５内で指定された領域における組織サンプルの収集を容易にするべく、バイオプシ器具又は他の医療器具のポジション（位置及び方向）に対する、軌道及び調整を提供してもよい。
【0067】
ディスプレイデバイス２１０でレンダリングされる一つ又は複数のユーザインタフェース２００を使用して、泌尿器科医又は他の医療従事者は、以下で説明するように、器官の複数の２次元画像を収集することによって、前立腺又は他の器官を手動でセグメント化して、実際の３次元再構成を生成することができる。リアルの３Ｄ環境又は再構成は、３Ｄのように見えるが実際にはそうではない描写、例えば、３Ｄのように錯覚させるが実際には３Ｄではない、わずかにオフセットした二つのカメラからの立体視などではなく、本当の３Ｄである。幾つかの実施形態では、器官の２次元画像は、経直腸超音波プローブ１２０又は他の撮像デバイスを使用して収集され得る。
【0068】
様々な実施形態において、仮想テンプレート２２５は、器官の３次元再構成に重ね合わせられ得る。例えば、泌尿器科医又は他の医療従事者は、テンプレートライブラリ又はメニューから、１２個のコア（若しくは、他の適切な量のコア）を有する仮想テンプレートを、結果として得られる器官の３次元再構成上にドラッグアンドドロップし得る（図１８Ａ）。テンプレートライブラリは、コンピューティングデバイス１１５のメモリからアクセスされ得る。テンプレートの位置を示す、又はセグメント化された３Ｄ病変やニードル停止線などのターゲットを包囲する、円盤、円若しくは球などの認知補助は、図３Ａ及び図２４に示すように、テンプレート化された位置又はターゲットがニードルパス（点線）に入るまで、泌尿器科医が経直腸超音波プローブを手動で（フリーハンドで）操作するのをアシストするべく、ＴＲＵＳ画像若しくは２次元画像及び／又はリアルの３次元ビジュアライゼーションに正確に重ね合わせ得る。
【0069】
図３Ｂは、本明細書に記載の現行のシステムを使用せずに行われる組織収集部位（黒円２３５）と、１２コアのテンプレート（グレー円２２５）との間の変動を更に示している。注目すべきは、組織収集部位が、テンプレートと一致していないことである。しかしながら、本明細書に記載のシステム及び方法に従って行われる組織収集部位（白円２４０）は、テンプレートとの整合性の改善を示し、その結果、より理想的な器官バイオプシが行われ、潜在的に偽陽性が大幅に減少する。
【0070】
図３Ｂでは、グレー円２２５は、１２コアのテンプレートに対する、均等に配置されたテンプレートバイオプシの位置を示す。黒円２３５は、従来のＴＲＵＳ ＰＢｘを用いるバイオプシサンプルを示している。白円２４０は、本明細書に記載のガイダンス及びトラッキングシステム１００を用いる実際のバイオプシサンプルである。したがって、白円２４０と黒円２３５とを比較すると、１２コアのテンプレートに対する、組織サンプルの収集が大幅に改善されていることがわかる。
【0071】
テンプレート偏差とは、サンプルされたコアの中心とその意図されたテンプレートの位置との間の最短距離（ｍｍ）のテンプレート内の、ｎ個のコアにわたる平均である。ベースラインのテンプレート偏差を評価し、コンピテンシーベースのトレーニングを実施するために、後述するようにシミュレータを使用した。シミュレータベースのトレーニングの前の、ベースラインでは、泌尿器科医のテンプレート偏差は５ｍｍを超えており、初心者と経験豊富な泌尿器科医のベースラインでのテンプレート偏差は９～１２ｍｍの範囲に収まっている。今回、既にシミュレータを使ってコンピテンシ（テンプレート偏差５ｍｍ以下）のトレーニングを受けた泌尿器科医が、新しい高精度ＰＢｘツールを評価したところ、１２個のサンプルにおける偏差（平均±標準偏差、範囲）は、５．２±６．３（３．１～２４．５）から１．６±１．８（１．３～６．６）ｍｍに減少した。また、従来のＰＢｘを使用した３人の泌尿器科医の実際のコアは、ＰＣａ病変がよく存在する前立腺の頂点をサンプリングしていなかった。理想的な、所望の、又はテンプレート化された部位でのバイオプシの収集に加えて、本明細書に記載のシステム及び方法は、器官、病変、又は哺乳類の身体の他の部分への放射線又は医薬品の送達を目的とするために、又は病変若しくは器官に放射性シードを配置するために、又は、他のガイド付き介入のために、採用され得る。
【0072】
これまでに説明した実施形態は、概略、経直腸の、サイドファイアの、テンプレート化の、又はターゲット化の、バイオプシに関する。本明細書に記載の実施形態及び認知／照準補助は、矢状及び横方向のインソネーション平面（矢状のみ、横方向のみ、又は矢状及び横方向の両方を一緒に）を使用するエンドファイアＴＲＵＳバイオプシ、並びに、ＴＲＵＳガイド付き経会陰前立腺バイオプシを含む経会陰前立腺バイオプシにも、同様に機能することが、十分に企図され理解される。本明細書に記載の特徴及び設計は、他のガイド付き介入に適用可能であることが企図されている。
【0073】
テンプレート化されたＴＲＵＳ ＰＢｘは、システマティックＰＢｘとも称されるにもかかわらず、現在はランダムバイオプシとして特徴付けることができ（、実際にはランダムバイオプシとも呼ばれてい）る。本明細書に記載の実施形態は、ｓＰＢｘをよりシステマティックにし、ランダムでなくすることを目的とする。更に、本明細書に記載の実施形態は、テンプレート化されターゲット化されたＰＢｘを真にシステマティックなものにする方法を提供する。テンプレートの位置は、病変や関心領域（ＲＯＩ）を表すものではなく、その意味では、ユーザが、コアをテンプレートの位置にできるだけ近くするべく、意図したテンプレート位置を狙っても、ターゲットではない。テンプレートの位置は、バイオプシが均等に分布するようにサンプリングされるべき箇所を示しているため、病変がある場合にはサンプリングの確率が高くなる。最悪のケースとして、６個のコアが右基底部に集まり、他の６個のコアが左基底部に集まるような、非常に偏ったコアの分布を想像されたい。このようなパターンは実際に観察されている。このようなコアの偏在は、尖端部がサンプリングされていないことを意味する。尖端部に病変があった場合、好ましくない偽陰性が発生する。したがって、コアの分布が均一であればあるほど、偽陰性の可能性は低くなる。
【0074】
次に図４を参照すると、様々な実施形態によるフローチャート３００が示されている。 注目すべきは、図４のフローチャート３００は、本明細書に記載のガイダンス及びトラッキングシステム１００の例示的な使用方法を示していることである。まず、ステップ３０３において、経直腸超音波プローブ又は他の撮像デバイスが矢状にてインソネーションしている状態で、カテーテルが前立腺尿道通路に挿入されて固定され、カテーテルはその中に６自由度を持つ電磁トラッキングセンサが埋め込まれている。トラッキングの必要性に応じて、（１自由度など）６自由度未満を追跡する他のセンサが企図される。
【0075】
次に、ステップ３０６において、センサ又はセンサを保持するカテーテルは、経直腸超音波プローブによって生成される画像上で取得され得、及び／又は、前立腺追跡センサの位置がＳＲＴ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）又はＭＲＴ（Ｍｅｄｉｕｍ Ｒａｎｇｅ Ｔｒａｎｓｍｉｔｔｅｒ）などのトランスミッタによって独立して検出されことから、仮想記号としてＴＲＵＳ画像上に重ねられ得る。幾つかの実施形態では、カテーテルセンサの正中線を視覚的に通る線が、前立腺長軸と称されることもあるカテーテル長軸と最もよく適合する。
【0076】
ステップ３０９では、前立腺の頂部及び基部などの、器官における長軸に２つのハッシュマークを配置され得る。ハッシュマークは、例えば、タッチスクリーンタイプのディスプレイデバイス１４５にマーキングしたり、マウスやトラックボールなどのポインティングデバイスを使用したりして、配置され得る。コンピューティングデバイス１１５上のアプリケーションは、次に、前立腺の頂部及び基部を示す、又は前立腺の頂部エッジ及び基部エッジにおける尿道を示す、ハッシュマークの間の中点を計算し得る。中間点マークは、手動で又は自動的に追加されてもよく、３つのマーク（前立腺の正中線又は長軸に沿った、頂点、中間点、基部）全てが、ディスプレイデバイス１４５に表示されてもよい。
【0077】
ステップ３１２では、センサ中間点が、所定の矢状の断面における前立腺の頂点と基部との間の中間点マークに位置するように、必要に応じて、カテーテル１０５を調整し得る。センサの中間点は、後で使用するために手動で又は自動でマークされる。センサは、ＴＲＵＳ又は他の撮像モダリティで可視化され得、撮像モダリティでも可視化される等間隔のバンドが、カテーテルに沿った距離を容易に評価するように用いられ得る。
【0078】
ステップ３１５において、アプリケーションは、矢状のインソネーション平面が、例えば、尿道が見える中間の矢状の平面で前立腺長軸を含み、更に基部及び頂部のハッシュマークを含む、前立腺トラッキングセンサに対する経直腸超音波プローブの位置及び方向を記録して格納し得る。経直腸超音波プローブは、横方向のインソネーション平面に切り替え得る。事前に矢状図で取得したセンサとセンサ中間点マークを横方向平面に表示する。センサ中間点は、横方向平面において、異なる色のドット又は他の形状としてセンサ本体と区別される。ＴＲＵＳプローブによる前立腺の背側（直腸側）のスイープは、経直腸超音波プローブの位置と方向を記録しつつ水平に行うことができる。横方向平面は、センサの中間点を通過するまで手動で調整される。６自由度トラッキングシステムは、横方向平面がセンサの中間点に達したときに、ソフトウェアがユーザに所望の横方向平面が得られたことを通知する。センサの中間点を通る中間横方向平面が記録され、前立腺の長軸と略直交して表示される。横方向平面の中央部は、後述するように、センサのスリップを検出するのに用いられ得る。保存された横方向平面の中でセンサの中間点を通り、長軸に直交する線が、前立腺の短軸である。上記の説明に基づいて、多数の線が短軸として認定され得る。短軸は、前立腺の直腸表面に概ね平行に走る線、即ち、理想的には９０°の若しくは９０°近くの、「ロール」角度として、表記及び表示され得る。
【0079】
ステップ３１８では、経直腸超音波プローブ（横方向のインソネーション平面）を頭側により深く押して、最も外側の頭側のエッジを決定し得る。エッジは、短軸平面に平行な頭側平面としてマークされ表示され得る。
【0080】
ステップ３２１では、経直腸超音波プローブ（横方向のインソネーション平面）をより浅く引いて、最も尾側のエッジを決定し得る。この場合も、エッジは、短軸平面及び頭側平面に平行な尾側平面としてマーク及び表示され得る。
【0081】
ステップ３２４では、例えば、患者が通常の左側臥位（即ち、患者が左側に横たわっている状態）で、ＴＲＵＳプローブを再配置し、矢状のインソネーション平面に切り替え得る。オペレータは、前立腺の最左エッジを取得するために、経直腸超音波プローブを扇形にしたり、（時計回りに）ロールダウンしたりして、前立腺左エッジとして格納して表示し得る。経直腸超音波プローブが矢状のインソネーションモードのままで（即ち、患者が通常の左側臥位、言い換えれば、患者が左側に横たわっている状態で）、前立腺の最右エッジを取得するために、経直腸超音波プローブを扇形にしたり、（反時計回りに）ロールアップしたりして、前立腺右エッジとして格納して表示し得る。
【0082】
明らかではあるが、５つの平面（尾側、頭側、短軸、左端、右端）が生成され、２つの線（前立腺長軸、前立腺短軸）が格納されて表示され得る。更に、長軸（矢状インソネーションモード）及び短軸（横方向インソネーションモード）に合わせて、センサに対する２つのＴＲＵＳの位置及び方向が表示され得る。４つの平面（尾側、頭側、右、左）により、前立腺の「箱」又は器官の箱が形成される。経直腸超音波プローブを横方向インソネーションモードにした場合、横方向平面は、短軸平面に平行に示され得る。幾つかの実施形態では、短軸平面の両側に、５ｍｍ（又は他の適切な寸法）の間隔を空けて表示し得る。ユーザは、経直腸超音波プローブを順次移動（押したり引いたり）して、横方向インソネーション平面が間隔を空けた平面の各々と一致するように、指示され得る。各平面を一致させた後、ユーザは、その横方向平面に対する、ＴＲＵＳ画像上の前立腺の最も外側の右エッジ及び左エッジを識別するように指示され得、これらはマークされて保存される。
【0083】
様々な実施形態において、前立腺の右エッジ及び左エッジをマークして識別した後、アプリケーションは、前立腺の平面図、即ち、後前（ＰＡ）図（ユーザは患者の背面から前立腺を見る）を表示し得、これは、均一に間隔を空けた横方向平面上で従前にマークされた前立腺の右エッジ及び左エッジを示すドットを有する。ドットは、ＰＡビューにおいて前立腺のアウトラインを作成するべく、自動的又は手動で接続できる。前立腺のＰＡ冠状アウトラインは、格納され、ディスプレイデバイス１４５に表示され得る。
【0084】
別の実施形態では、ステップ３０６～３２４の代わりに、プロセスは、ステップ３４０に進むことができ、ここでユーザは、理想的には矢状平面と横方向平面の両方を使用して、多数の超音波プローブの位置及び方向から複数の平面でタッチスクリーン又はポインティングデバイスを使用して、超音波スクリーン上の前立腺のアウトラインをトレースできる。図４を参照して、トレースされるアウトラインは、３Ｄオブジェクトとして保存され、前立腺センサ空間に登録され得る。言い換えれば、トレースされるアウトラインは、前立腺センサ空間に取り付けられ、その結果、ＴＲＵＳプローブによって加えられる圧力及び力に応じて前立腺センサが動くと、動く。ユーザが前立腺を複数の平面でトレースすると、前立腺のワイヤメッシュ状の形状が、コンピューティングデバイス１１５内に構築され得る。一実施形態では、トレースされるアウトラインを作成するのに使用されるポイントは、入力としての３Ｄポイントのセットを与えられた出力として３Ｄオブジェクトを作成する、点群からメッシュへのアルゴリズムを使用して、３Ｄオブジェクトに変換される。一つの実施形態の実践への還元では、Ｕｎｉｔｙ３Ｄソフトウェアを使用して、点群からメッシュへの変換をリアルタイムで実行した。
【0085】
各トレースの前に超音波画像をフリーズする「フリーズ」機能を有効にすることができるので、ユーザは（トレース中にＴＲＵＳプローブが動く場合）動くターゲットをトレースするのに苦労する必要がなく、必要に応じて（アシスタントなしで）単独で使用するために両手を解放することができる。すなわち、手動トレースが行われている間、ＴＲＵＳプローブを直腸内の所定の位置に保持する必要はない。コンピューティングデバイス１１５は、バイオプシ手順の間に臨床で発生し、コアの実際のサンプリングに先行する、前立腺の粗いセグメント化である３Ｄ形状を生成する、すべての手動トレースに適合する近似３Ｄボリュームを表示し得る。この３Ｄ形状は、図６に示すように、新しいトレースが追加されるにつれて、より正確になる。「元に戻す」機能により、ユーザは、最初からやり直すことなく、誤ったトレースを拒否することができる。
【0086】
一実施形態では、コンピューティングデバイスは、３次元モデルの疎らにトレースされた領域を検出し、特定の超音波プローブの位置及び／又は方向からトレースを追加することによって、ユーザがギャップを埋めることを、要求し得る。別の実施形態では、３Ｄモデルは、ニューラルネットワーク、又はエッジ検出アルゴリズムなどの他のソフトウェアを使用して、超音波画像内の前立腺又は他のランドマーク若しくは器官の境界を認識するソフトウェアアルゴリズムによって、自動的に構築することができ、人間のユーザがＴＲＵＳ画像上のアウトラインを手動でトレースする必要性及び時間を置き換えることができる。また、作成した３Ｄモデルはライブラリに保存し、後から使用することも可能である。３Ｄボリュームが十分に構築されると、追加のコアをサンプリングするためのテンプレートの位置の、配置、シーケンス、及び、必要に応じて、追加のために、新たに粗くセグメント化された前立腺への仮想３Ｄテンプレートの適合及び調整に、使用される。
【0087】
ステップ３２７では、例えばＰＡビューの間に、ユーザは、前立腺上に予め配置された仮想テンプレート２２５をドラッグアンドドロップするように指示され得る。上述したように、幾つかの実施形態では、仮想テンプレート２２５は、１２コアのテンプレートを含み得る。幾つかの実施形態では、オペレータは、前立腺の外部に落ちる可能性のある、コアと称される、テンプレートの位置の各々（例えば、一般的に使用される二重六分儀スキーマでは１２）を、前立腺又は他の器官上に手動でスライドさせ得る。テンプレートの位置を表すのに円を使用する代わりに、３Ｄコアを表示するオプションが選択された場合、コアが非前立腺組織をサンプリングするかどうか（即ち、コアの一部が前立腺の外にあるかどうか、又は、望ましくは無いがコアの全てが前立腺の外にあるかどうか）を決定するタスクが容易になる。 様々な実施形態において、テンプレートの位置（例えば、１２）は、円柱、球体、アイコン、又は他の適切な視覚的インジケータとして表示され得、前立腺の前部領域に手動で配置し得る。また、ユーザは、必要に応じて多くのテンプレートの位置を選択することができ、一般的に使用されるテンプレートスキーマで指定されるテンプレートの位置の数に限定されない。ユーザは、テンプレートの位置の順序を変更してもよいし、デフォルトのテンプレート位置の順序を受け入れてもよい。
【0088】
テンプレート編集プロセスの一例を図１８に示す。図１８のＡ行を参照すると、テンプレートのメニューから所定のテンプレートスキーマを選択するための例示的なユーザインタフェース２００が示されている。図１８は、冠状（ＰＡ；後方－前方）及び矢状のビューを示しているが、本明細書に記載の実施形態は、前部ゾーンのテンプレートの位置を目指す際に尿道及び膀胱を避けるのに役立つ横方向のビューの使用も企図している。図１８のＢ行は、ユーザがテンプレートをリアルの３Ｄ再構成された前立腺上にドラッグして所定のポジションに移動させる様子を示している。冠状平面や矢状平面などの異なる平面に対してテンプレートセット全体を回転させるオプションがある。
【0089】
図１８のＣ行は、ユーザが個々のコア又はテンプレートの位置を移動する様子を示している。ユーザは、まず、「Ｍｏｖｅ Ｃｏｒｅ」ボタンをクリックし、次に、（図の右側の）冠状のビューでコアを選択した。ユーザはコアをわずかに前方と尾側にドラッグした（図）。サイドファイアニードルガイドに対する、投影されたコアとニードルの先端の最大侵入距離が、矢状ビューに重ねて表示される。テンプレート修正に使用される矢状ビューは、ＴＲＵＳプローブ長手方向軸に対する前立腺の姿勢と、ＴＲＵＳプローブ長手方向軸に対するサイドファイアニードルガイドの角度（例えば、～１９°）を考慮している。ＴＲＵＳプローブの長手方向軸は、図４０に示すユーザインタフェースでは垂直に描かれている。ＴＲＵＳプローブ軸（縦線）に対する粗分割された前立腺の姿勢は、粗分割中にＴＲＵＳプローブと前立腺との間で、従前に取得されて保存された空間関係に基づいて、複製される。図１８のＤ行は、新しいテンプレートの位置を追加するプロセスを示している。ユーザは「Ａｄｄ Ｃｏｒｅ」をクリックし、冠状ビューでクリックしてカーソルのポジション（図示）にて新しいコアを追加した。サイドファイアニードルガイドに対する、投影されたコアと最大ニードル貫通距離が、新しいコア若しくはテンプレートの位置のための矢状の（又は横方向の）ビューに重ねられている。新たに追加されたテンプレートの位置にバイオプシニードルを完全に合わせた場合、ニードルの先端は前立腺の遥か外側に配置され、ユーザにグラフィックと音声による警告が発せられることに、留意されたい。ユーザの次の行動は、前立腺の反対側での損傷や非前立腺組織のサンプリングを防ぐために、新しいテンプレートの位置を頂点に向かって移動させることである。幾つかの実施形態では、セグメント化された３Ｄ膀胱若しくは３Ｄ尿道又は３Ｄ精嚢を使用し、セグメント化し、計画されたニードルパス又はコアのための「ノーゴー」の３Ｄ領域として表示することができる。
【0090】
ステップ３３０では、オペレータは、任意の病変若しくは疑わしい影、又は関心領域（ＲＯＩ）のアウトラインを、手動でトレースし得る。更に、オペレータは、病変の粗い３Ｄセグメント化を行って、ガイダンスのために、３Ｄビジュアライゼーションにて、及びＴＲＵＳ画像のオーバレイとして、使用される３Ｄ病変又はＲＯＩを、生成することができる（ＴＲＵＳインソネーション平面と３Ｄ病変又はＲＯＩとの交点をオーバレイとして表示する）。オペレータは、膀胱、尿道、精嚢、追跡される尿道カテーテルや尿道カフなど、回避すべき禁忌領域の粗い３Ｄセグメンテーションを作成することもできる。あるいは、テンプレートの適合及び調整は、既存のオブジェクトがインポートされて前立腺センサ空間に登録された後の、ＭＲＩスキャンからのセグメント化された３Ｄ前立腺のような、第三者又は別のソースから得られたオブジェクトの既存の撮像データであってもよい。
【0091】
最後に、ステップ３３３では、バイオプシの間、又は本明細書に記載の他の医療手順又はガイド付き介入の間、ガイダンス及びトラッキングが提供され得る。より具体的には、医療機器及び前立腺（又は他の器官）がリアルタイムで表示され得、例えば、経直腸超音波プローブが手動で動かされると、認知補助は、バイオプシコア（すなわち、組織サンプル）が採取される場所を表示し、それがテンプレートの位置とどのように比較されるかを表示し、予測されたコアを所望のテンプレートの位置、又はターゲットの病変若しくはＲＯＩに誘導するためのガイダンスを提供する。認知補助のオーバレイは、ＴＲＵＳ画像と３Ｄビジュアライゼーションの両方で行われる。様々な実施形態において、３つの直交するプリセットカメラビューがディスプレイデバイス１４５に表示され、緑色のコアを伴うグレーのコアのように、一つの３Ｄ視点からオブジェクトを整列させる際に発生し得る「視差」エラーを回避することができる。ＴＲＵＳプローブは、黄色の円柱がテンプレート又はコアの位置（即ち、幾つかの実施形態では、コア中心のための緑色のドット又はコアのための緑色の円柱）と一致するまで、オペレータによって再配置され得る。一致すると、オペレータは、理想的又は所望の位置及び方向で組織サンプルを採取するために、バイオプシ器具をトリガし得る。この手順は、与えられたテンプレートスキーマ又はユーザが変更したテンプレートスキーマにおける、テンプレート化された位置の他の１１個（又は他の量）について、繰り返してもよい。様々な実施形態では、既にサンプリングされたテンプレートの位置にチェックマークやその他の視覚的なインジケータが表示されたり、その位置が表示されなくなったりして、まだサンプルされていない位置のみが表示され、最小限のインタフェースと表示が実現される。また、既にサンプリングされたコアは、テンプレート、ＴＲＵＳ、３Ｄビジュアライゼーションに尚表示されるが、まだサンプリングされていないコアとは異なる色で表示される。既にサンプリングされたコアを表示することで、同じテンプレートの位置を２回以上サンプリングすることを防ぐことができる。本明細書に記載のシステム及び方法は、医療手順中の患者に関して使用されるだけでなく、死体や、ＴＲＵＳ ＰＢｘシミュレータを利用するシミュレーションでも使用することができる。
【0092】
ガイダンス中、スクリーン上のデフォルトの超音波画像の方向は、インソネーション平面のリアルの世界のポジションを模倣していない（矢状平面を示す図９Ａを参照）。患者の直腸内でＴＲＵＳプローブを保持しているときに、ユーザの視点からリアルのインソネーション平面のポジションを模倣するように超音波画像を回転させるオプションを利用可能にすることができる（図９Ｂ参照）。
【0093】
本明細書に記載の様々な実施形態によると、器具を所望の位置及び方向又はターゲットにマッピング及びガイドするための、仮想の、リアルタイムの、リアルの３次元（リアルの３Ｄ）ビジュアライゼーションシステムが提供される。このように、オペレータ（例えば、泌尿器科医又は他の医療従事者）に提供される任意のフィードバック又はガイダンスは、視覚的、音声的、触覚的、及び３次元的であってよい。
【0094】
様々な実施形態では、器官の複数のビューが提供され得る。複数のビューは、２次元及び／又は３次元のビューを含み得る。このように、視差誤差は、複数のビューを用いて対処され得る。幾つかの実施形態では、複数のビューは、直交するビューでもよい。前立腺又は他の器官は、幾つかの実施形態では、カテーテルを使用して患者の尿道に配置され得るセンサによって追跡され得る。
【0095】
幾つかの実施形態では、トラッキングセンサは電磁的であり、トランスミッタによって追跡され得る。本明細書に記載の実施形態のいくつかは前立腺バイオプシに関するものであるが、本明細書に記載のシステム及び方法は、放射線治療、放射線手術、アブレーション、ＨＩＦＵ、薬剤投与、（胸部傍椎又は硬膜外空間などの）空間及び（中心静脈アクセスのための内頸静脈などの）血管へのアクセス、並びに、処置が付随的な損傷を防ぐために正確に狙いを定められなければならない、及び、周囲の健康な組織が照射されないように又は他の方法で害されないように適切に狙いを定められなければならない、他のガイド付き介入及び治療手順の間に、実行されることもある。
【0096】
様々な実施形態において、ニードル、ツール、又は撮像プローブを所望の位置及び方向、又はターゲットにマッピング及びガイドするための、仮想の３次元のリアルタイムビジュアライゼーションシステムが記載される。上述のように、幾つかの実施形態では、ニードル又はプローブは、トランスミッタによって追跡されるセンサを含み得る。更に、追跡されるニードルは、局所麻酔又は中心静脈アクセスのほか、注射、バイオプシ、モニタリング、アブレーション、膿瘍ドレナージ、細針吸引又は他の医療手順及びガイド付き介入に使用され得る。
【0097】
幾つかの実施形態では、追跡されるニードルは、バイオプシ器具の一部である可能性があるバイオプシニードルである。ニードルの追跡は、例えば、バイオプシ器具がトリガされた場合に、バイオプシコアがサンプリングされる場所の正確な計算及び予測をリアルタイムで提供し得る。予測されるコアは、グラフィカルなアイコンとして表示され、ニードルガンが空間及び時間で調整されると、リアルタイムでリアルの３次元の仮想的なビジュアライゼーションで、更新され得る。幾つかの実施形態では、ターゲット又はテンプレートの位置及び方向は、アイコン又は他の視覚的インジケータとして描写され得る。
【0098】
明らかではあるが、オペレータは、３次元ビジュアライゼーションを使用して、予測されるコアを（テンプレート化された又はターゲット化された）所望のコアの位置に一致させるために追跡されるニードルを移動させ、両者が重なる又は近接しているときに、ニードルガンを発射し得る。幾つかの実施形態では、バイオプシ器具のトリガは、例えば、予測されるコアが所望のコアと一致したときに、自動的に実行され得る。
【0099】
予備データ：経直腸超音波ＰＢｘシミュレータを作成し、ＭＲＩや放射線科医を必要としない精密ＰＢｘツールを設計した。１２個のサンプルにわたる偏差は、５．２±６．３ｍｍから１．６±１．８ｍｍに低下した。図２３はその好例であり、この試みのテンプレートの偏差は０．７ｍｍである。従来のＰＢｘを使用した３人の異なる泌尿器科医の実際のコアは、ＰＣａ病変が一般的に存在する前立腺の頂点をサンプリングしていなかった。その他の予備データとしては、（１）前立腺バイオプシの偽陰性はテンプレートの偏差（ｐ＝０．００１５）に関連する－２０１９／１１／１のＡＵＡ ２０２０ミーティングに提出されたアブストラクト、（２）テンプレートの偏差はＴＲＵＳプローブのピッチ（ｐ＝０．０００１６７）に関連する－２０１９／１１／１のＡＵＡ ２０２０ミーティングに提出されたアブストラクト、（３）ピッチニュートラルの手法を記載の論文がＪｏｕｒｎａｌ ｏｆ Ｕｒｏｌｏｇｙに提出された、（４）２０１９年７月以降を目処にカダバー実験を行う、などがある。ＮＤＩ社のモデル９０ ６－ＤＯＦ電磁センサを、２．０ｍｍのＰＴＦＥチューブを介して、１４ＦｒのＢａｒｄ Ｆｏｌｅｙカテーテルのボアに装着した。カダバーテストプロトコルは、尿道カテーテルのカフを前立腺の尿道内で膨らませた状態で、９０型電磁センサを埋め込んだ尿道カテーテルを押したり引いたりして、カテーテル（したがって埋め込んだセンサも）が前立腺に対して滑るかどうかを（超音波画像で）視覚的に判定するというものであった。その結果、センサは前立腺に対して滑らず、望ましい結果が得られた。超音波マシンのモデルは、ＳｏｎｏＳｉｔｅ Ｍ－Ｔｕｒｂｏ ＴＲＵＳ Ｐｒｏｂｅ又はＳｏｎｏＳｉｔｅ ＩＣＴｘ／８－５ＭＨｚを含むことができる。
【0100】
約１．５～２ｍｌの生理食塩水でフォーリ尿道カテーテルカフを膨らませている様子がＴＲＵＳ画像で観察された。また、膨らませたカフをＴＲＵＳ画像で観察することができた。カフ内の生理食塩水の気泡がかすかな影を作っている。
【0101】
カフを前立腺の尿道内で膨らませても、フォーリ尿道カテーテルは前立腺に固定されたままであった。わずか１．５～２ｃｃの生理食塩水で、周囲の組織がフォーリ導尿カテーテルと一緒に、つまりフォーリ導尿カテーテルに追従して動き、確実に固定されていることがわかる。少量の生理食塩水は、患者に過度の不快感を与えることなく、尿道又は尿道カテーテルを固定するのに十分であろう。
【0102】
尿道カテーテルは、死体実験中のＴＲＵＳ画像で容易に見ることができた。ＴＲＵＳマシンのビデオ出力（ＧＥ ＬＯＧＩＱ Ｓ７、ＢＫ Ｍｅｄｉｃａｌ ＦｌｅｘＦｏｃｕｓ ４００）のラップトップ（Ｍｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ Ｐｒｏ）へのライブリアルタイムフィードは、目立った遅延もなく、アスペクト比ワーピングもなく発生した。これは、ＴＲＵＳ画像のリアルタイムで歪みのないビデオ転送に依存することが、レトロフィットキットの実施形態で実現可能であることを示している。
【0103】
前立腺に対するトラッキングセンサのスリップの検出。
本明細書に記載の粗いセグメント化プロセスは、尿道に挿入されたカテーテル１０５内の前立腺トラッキングセンサが、前立腺又はカテーテル１０５に対して動かないことに依存し得る。前立腺トラッキングセンサがスリップする場合（例えば、追跡される尿道カフが前立腺尿道に対してスリップする場合）、３次元仮想前立腺をＴＲＵＳ画像に表示される物理的前立腺と整合するように戻すか、３次元仮想前立腺を再び再構成するか、のいずれかによって、スリップを補償するようにオペレータに警告しなければならない。尿道カテーテル１０５は、尿道の長手方向軸に沿った軸方向、又は、尿道内部で回転する回転方向の、２つの主要な方法で前立腺に対して相対的にスリップし得る。また、センサが、カテーテル１０５に対して相対的にスリップすることもあり、これも前立腺トラッキングを狂わせることになる。スリップ検出機能は、上記のすべてのタイプのスリップを検出する。
本明細書に記載の粗いセグメント化プロセスは、尿道に挿入されたカテーテル１０５内の前立腺トラッキングセンサが、前立腺又はカテーテル１０５に対して動かないことに依存し得る。前立腺トラッキングセンサがスリップする場合（例えば、追跡される尿道カフが前立腺尿道に対してスリップする場合）、３次元仮想前立腺をＴＲＵＳ画像に表示される物理的前立腺と整合するように戻すか、３次元仮想前立腺を再び再構成するか、のいずれかによって、スリップを補償するようにオペレータに警告しなければならない。尿道カテーテル１０５は、尿道の長手方向軸に沿った軸方向、又は、尿道内部で回転する回転方向の、２つの主要な方法で前立腺に対して相対的にスリップし得る。また、センサが、カテーテル１０５に対して相対的にスリップすることもあり、これも前立腺トラッキングを狂わせることになる。スリップ検出機能は、上記のすべてのタイプのスリップを検出する。
【0104】
図２０は、システムを準備して使用するために必要なステップのフローチャートを、経験豊富なユーザが各ステップに掛かり得る予想時間（手順全体で約２０分以下）と共に示している。また、精嚢や膀胱などの前立腺外部のランドマーク、射精管と尿道の接合部や前立腺内の尿道の入口と出口などの前立腺内部のランドマークを使用して、前立腺トラッキングセンサが前立腺に対して相対的に移動したかどうかをリアルタイムで判定する品質コントロールプロセスについても説明する。このプロセスでは、トラッキングされる尿道カテーテルが配置されて固定された後の、手動によるセグメンテーションと同様に、ユーザがＴＲＵＳ画像内の参照ランドマークを識別してマークする必要がある。一実施形態では、ユーザは、前立腺の基部における尿道入口と前立腺の頂点における尿道出口との間の中間点において、ＴＲＵＳ画像内に（カフを膨らませることによる）アンカ及び前立腺センサを、視覚的に配置する。別の実施形態では、中間点は、ユーザが手動で視覚的に行うのではなく、自動的に生成され得る。通常、前立腺尿道全体を含む正中矢状のＴＲＵＳ画像において、ユーザは、タッチスクリーンとＴＲＵＳ画像を使用して、前立腺の基部における尿道の入口と前立腺の頂点における尿道の出口とを識別してマークする。これらの２つの点の間の中間点は、トラッキングアプリケーション２１５又はガイダンスアプリケーション２２０によって計算され、ＴＲＵＳ画像上に表示される。
【0105】
前立腺センサの中間点がＴＲＵＳ画像の中間点に整列するまで、尿道カテーテル１０５を前進させる。参照ランドマークは、ライブＴＲＵＳ画像でオーバレイとして視認できる仮想の３次元オブジェクトである。スリップ検出機能を設定するために、尿道カテーテル１０５が配置された後、ユーザはまず、前立腺センサ及び尿道カテーテルを用いて、前立腺尿道の出入口を含む正中矢状図を取得する。常にではないが、一般的には、正中矢状平面では、尿道がその全長でＴＲＵＳ画像に見えるようになり、したがって、尿道カテーテルもその全長に沿って見えるようになる。また、前立腺トラッキングセンサがＴＲＵＳ画像内に表示され、センサが前立腺に対してスリップしているかどうかをユーザが視覚的に検出する助けにもなり得る。正中矢状平面を取得した後、ユーザはタッチスクリーンを介してＴＲＵＳ画像上に前立腺尿道の入口と出口をマークし、仮想ランドマークと呼ばれる参照ランドマークとして使用する。入口と出口の基準となる仮想ランドマークは、ＴＲＵＳプローブのポジションと同様に、前立腺のセンサ空間に保存される。軸方向のスリップ（センサが前立腺を通る尿道を上下に移動する不要な動き）は、センサが前立腺の矢状正中線の頂点と基部との間の中間点に留まっていることを確認することで、モニタされて検出される。ランドマークの取得及び粗いセグメンテーションに使用されるすべてのＴＲＵＳプローブの位置は、自動的に前立腺センサスペースに保存される。
【0106】
次に、ユーザはＴＲＵＳプローブのポジションを調整し、（デュアルインソネーション平面を伴うＴＲＵＳプローブにて）横方向のＴＲＵＳ画像を使用し、精嚢や膀胱などの外部ランドマーク、射精管や射精管と尿道の接合部などの前立腺の内部ランドマークの、エッジをマークし、又は、前立腺の横方向の平面のアウトラインをトレースする。これらの横方向の仮想ランドマークは、この新しいランドマークのセットを取得したときのＴＲＵＳプローブの新しいポジションと同様に、前立腺センサ空間にも保存される。トラッキングセンサと前立腺との間の回転スリップは、上述の横方向のランドマークがＴＲＵＳ画像内のリアルの対応するランドマークと重なっていることを確認することにより、モニタされ検出される。粗いセグメンテーションの間にトレースされる矢状及び横方向のプロファイル（前立腺のエッジ）は保存され、前立腺に対するトラッキングセンサのスリップを検出するためのランドマークとして使用される。保存されるアウトラインは、ＴＲＵＳ画像上に表示され、ＴＲＵＳプローブがその前立腺プロファイルに対して従前に保存されたポジションにあるときに、ＴＲＵＳ画像における前立腺の実際のアウトラインと比較される。
【0107】
保存されるプロファイルと実際のプロファイルが一致すれば、スリップは発生しない。 不一致であれば、スリップが発生したことになる。これらの比較は、視覚的にも、エッジ検出ソフトウェアやニューラルネットワークを用いて自動的にも、行うことができる。一実施形態では、タイマは、設定された時間間隔で前立腺のアラインメントをチェックするようユーザに思い出させることができ、必要に応じて、ランドマークを保存するのに使用された正確なＴＲＵＳプローブのポジションにユーザをガイドすることができる。ＴＲＵＳプローブのポジションが物理的に再現できない場合は、前立腺に対してセンサの著しいスリップが発生したことを示していると考えられる。別の実施形態では、軸方向及び回転方向のスリップの検証は、前立腺の境界、射精管、精嚢、膀胱などの超音波画像内のランドマークを認識するように訓練されたニューラルネットワークを使用する、ＴＲＵＳ画像内のランドマークの特徴認識ソフトウェアを介して、自動的に行うことができる。自動スリップ検出ルーチンは、上述にて説明した手動タスクを再現することができる。一実施形態では、ソフトウェアルーチンが前立腺センサのスリップの可能性を検出する場合、仮想ランドマークに関連する保存されたプローブのポジションにユーザをガイドし、ＴＲＵＳ画像内に仮想ランドマークを表示することによって、前立腺センサがスリップしていないことを視覚的に検証するようにユーザに警告することができる。仮想ランドマークは、ＴＲＵＳ画像内の対応するランドマークに重ねることができる。ユーザは、仮想ランドマークとＴＲＵＳ画像内の対応するランドマークとが一致していることを視覚的に検証することができる。一致していない場合は、前立腺センサがスリップしたことになり、ユーザは上述のようにスリップを補償することができる。１４ＦｒのＢａｒｄ尿道カテーテルとＩＣＴｘ／８－５ＭＨｚ ＴＲＵＳプローブを搭載したＳｏｎｏＳｉｔｅ Ｍ－Ｔｕｒｂｏ ＴＲＵＳマシンとを使用して死体で行われた予備実験によると、スリップの可能性は低い。
【0108】
自動化された患者固有のテンプレート。
バイオプシ前の計画段階の、テンプレートのユーザによる手動調整を説明した。異なる実施形態では、個々の前立腺に固有の仮想３次元テンプレートが自動的に作成される。ソフトウェアルーチンは、前立腺の３次元再構成を入力とし、所定の形状（例えば、球形）及びサイズ（例えば、１ｃｍ径の球形）の仮想病変がサンプリングされない確率を最小化する、特定の前立腺に最適化された３次元テンプレートを、出力することができる。直径１ｃｍの球状の病変を想定した場合、コアと同心円状にカプセル（両端が半球状の直径１ｃｍの円柱）がある。ユーザは、カプセルの直径を、前立腺の異なる部分又は領域を含む他の値に変更することができる。ソフトウェアルーチンは、カプセルの外部の前立腺ボリュームを決定し、カプセルの外部の前立腺ボリュームを最小にするようにコアの位置を自動的に移動させることができる。
バイオプシ前の計画段階の、テンプレートのユーザによる手動調整を説明した。異なる実施形態では、個々の前立腺に固有の仮想３次元テンプレートが自動的に作成される。ソフトウェアルーチンは、前立腺の３次元再構成を入力とし、所定の形状（例えば、球形）及びサイズ（例えば、１ｃｍ径の球形）の仮想病変がサンプリングされない確率を最小化する、特定の前立腺に最適化された３次元テンプレートを、出力することができる。直径１ｃｍの球状の病変を想定した場合、コアと同心円状にカプセル（両端が半球状の直径１ｃｍの円柱）がある。ユーザは、カプセルの直径を、前立腺の異なる部分又は領域を含む他の値に変更することができる。ソフトウェアルーチンは、カプセルの外部の前立腺ボリュームを決定し、カプセルの外部の前立腺ボリュームを最小にするようにコアの位置を自動的に移動させることができる。
【0109】
ユーザは、許容されるカプセルの外部の最大前立腺ボリュームの閾値を選択し、閾値を超えた場合には、ボリュームを閾値以下にするべくコアを追加することができる。また、ユーザは、病変の直径などの仮想病変のサイズを選択することができる。別の実施形態では、ソフトウェアルーチンは、バイオプシコアの配置をモニタし、テンプレートの位置にコアを配置する際のユーザのエラーを考慮する。すなわち、ＰＢｘ手順の間、ソフトウェアルーチンは、既に収集されたコアにおけるテンプレートの偏差を計算する。既にサンプリングされた各テンプレートの位置に対して、ソフトウェアルーチンは、既にサンプリングされたバイオプシのコアの偏差に基づいて、依然サンプリングされるべきテンプレートの位置を自動的に調整する。この調整は、まだサンプリングする必要があるテンプレート位置のポジションを調整して、カプセルの外部の前立腺ボリュームを最小化することによって行われる。
【0110】
追跡されるニードルガイドを介してフリーハンドニードルを追跡する。
レトロフィットキットのための実施形態では、トラッキングセンサは、バイオプシガン１２５などの、ニードルバイオプシ器具のハンドルにスナップする取り外し自在のクリップにある。非レトロフィットの実施形態では、トラッキングセンサは、コアチャンバ（例えば、サンプルを掴むニードルのセクション）の近くに配置される。レトロフィットの実施形態では、バイオプシニードルがコアセクションの近くではなく、バイオプシ器具のハンドルから追跡されるため、フリーハンドの経会陰バイオプシ中にニードルを追跡することは困難である。バイオプシニードルは長くて柔軟性がある（曲がる）ため、曲がりが生じると、ハンドル内のセンサはコア切断セクションを確実に追跡できなくなる。「フリーハンド」経会陰ＰＢｘでは、ニードルをＴＲＵＳ矢状インソネーション平面と本質的に機械的にアラインメントするＴＲＵＳプローブニードルガイドを使用しない。したがって、ニードルには制約がなく、ニードルをＴＲＵＳ画像で見えるようにＴＲＵＳインソネーション平面にアラインメントさせるのは難しい。
レトロフィットキットのための実施形態では、トラッキングセンサは、バイオプシガン１２５などの、ニードルバイオプシ器具のハンドルにスナップする取り外し自在のクリップにある。非レトロフィットの実施形態では、トラッキングセンサは、コアチャンバ（例えば、サンプルを掴むニードルのセクション）の近くに配置される。レトロフィットの実施形態では、バイオプシニードルがコアセクションの近くではなく、バイオプシ器具のハンドルから追跡されるため、フリーハンドの経会陰バイオプシ中にニードルを追跡することは困難である。バイオプシニードルは長くて柔軟性がある（曲がる）ため、曲がりが生じると、ハンドル内のセンサはコア切断セクションを確実に追跡できなくなる。「フリーハンド」経会陰ＰＢｘでは、ニードルをＴＲＵＳ矢状インソネーション平面と本質的に機械的にアラインメントするＴＲＵＳプローブニードルガイドを使用しない。したがって、ニードルには制約がなく、ニードルをＴＲＵＳ画像で見えるようにＴＲＵＳインソネーション平面にアラインメントさせるのは難しい。
【0111】
これらの問題を解決するために、（電磁トラッキング用のコバルトクロムやチタンなど）トラッキングに干渉しない材料で作られるニードルやカテーテルのような剛性の高いニードルシースを、経会陰領域にて、前立腺を貫通するほど深くなく、配置することができる。剛性の高いニードルシースは、ニードルハブ内の６自由度センサを介して追跡される。バイオプシニードルはシースに挿入され、ニードルパスとポジションは剛性の高いシースのハブにおけるセンサから推測される。別の実施形態では、電磁トラッキングのための非強磁性金属のようなトラッキングを妨げない材料で作られるニードルシースは、ＴＲＵＳプローブに機械的かつ剛性的に結合されており、ＴＲＵＳプローブが動いても、ニードルシースはＴＲＵＳプローブの矢状のインソネーション平面とアラインメントしたままとなる。この機械的な結合により、経会陰バイオプシの際にＴＲＵＳ画像内でニードルを見やすくすることができる。そして、ニードルシースは、経直腸ニードル刺しのためのニードルガイドとして機能するが、経会陰バイオプシのためのニードルガイドとしても機能する。前述のように、ニードルシースはＴＲＵＳプローブに機械的に固定されているため、６自由度のセンサで追跡する必要はない。ニードルの挿入深さを判別する１－ＤＯＦセンサで十分であり、ニードルシースをＴＲＵＳプローブに固定し、ニードルをＴＲＵＳプローブのインソネーション平面に維持するクリップに、取り付けることができる。
【0112】
バイオプシ器具のトリガと同時に、サンプリングされたバイオプシコアに自動的に仮想マーキングを行う。
既存の融合バイオプシシステムは、バイオプシコアをサンプリングした後、アシスタントがユーザインタフェース上のボタンをクリックすることを要求することによって、バイオプシコアをマーキングする。つまり、バイオプシ器具が作動し、バイオプシニードルが前進してサンプルを採取した後、ソフトウェアにバイオプシが現行のシステムにて行われたことを伝えるために、ユーザインタフェースのボタンをクリックしなければならないのである。ユーザインタフェースのボタンがクリックされないと、コアはマークされない。コアをマークするためにユーザインタフェースボタンを押すのが遅れると、バイオプシニードルがドリフトしたり、バイオプシニードルの動きに反応して患者が動いたりして、既にサンプリングされたコアのポジションが誤ってマークされてしまう。
既存の融合バイオプシシステムは、バイオプシコアをサンプリングした後、アシスタントがユーザインタフェース上のボタンをクリックすることを要求することによって、バイオプシコアをマーキングする。つまり、バイオプシ器具が作動し、バイオプシニードルが前進してサンプルを採取した後、ソフトウェアにバイオプシが現行のシステムにて行われたことを伝えるために、ユーザインタフェースのボタンをクリックしなければならないのである。ユーザインタフェースのボタンがクリックされないと、コアはマークされない。コアをマークするためにユーザインタフェースボタンを押すのが遅れると、バイオプシニードルがドリフトしたり、バイオプシニードルの動きに反応して患者が動いたりして、既にサンプリングされたコアのポジションが誤ってマークされてしまう。
【0113】
図２１の左上部分は、Ｂａｒｄ Ｍａｘ－Ｃｏｒｅ Ｄｉｓｐｏｓａｂｌｅ Ｃｏｒｅ Ｂｉｏｐｓｙ Ｉｎｓｔｒｕｍｅｎｔに適合するように設計された、６－ＤＯＦトラッキングセンサ及びトリガ起動センサ（スイッチ）を有する、バイオプシ器具クリップを示す。図２１の右上部分は、Ｂａｒｄ Ｍａｘ－Ｃｏｒｅ Ｄｉｓｐｏｓａｂｌｅ Ｃｏｒｅ Ｂｉｏｐｓｙ Ｉｎｓｔｒｕｍｅｎｔ上の所定の位置にあるバイオプシ器具クリップを示す。図２１の中央左部分は、ＢＫ Ｍｅｄｉｃａｌ Ｐｒｏｓｔａｔｅ Ｔｒｉｐｌａｎｅ ８８１８超音波プローブに適合するように設計された６－ＤＯＦトラッキングセンサを伴うＴＲＵＳプローブクリップを示す。図２１の中央右部分は、ＢＫ Ｍｅｄｉｃａｌ Ｐｒｏｓｔａｔｅ Ｔｒｉｐｌａｎｅ ８８１８超音波プローブの所定の位置にあるトラッキングセンサ付きＴＲＵＳプローブクリップを示す。図２１の下の部分は、上に示したバイオプシ器具とＴＲＵＳプローブ（両方とも３次元的に印刷された追跡クリップ付き）を、ｓＰＢｘトレーニングの実施に使用されるシミュレータで使用している写真である。 様々な実施形態において、クリップは、クリップを廃棄する前にトラッキングセンサをクリップから取り外した後、使い捨て又は単回使用することができる。その後、高価なセンサを新しい清潔なクリップに挿入して、センサを再利用する。更に別の実施形態では、センサは使い捨てである。
【0114】
レトロフィットキットの一実施形態では、バイオプシ器具クリップ５１５（図２１参照）は、バイオプシコアがちょうどサンプリングされたことを示す、バイオプシ器具トリガスライドが押された、若しくは活性化された瞬間に、ガイダンスアプリケーション２２０を実行しているコンピューティングデバイス１１５に自動的かつ即座に信号を送信するセンサ５３０又はスイッチを含む。トリガ活性化センサは、バイオプシ器具トリガスライドが前方に押されて器具を発射するときに活性化される、バイオプシ器具クリップ５１５内の物理的スイッチを含むことができる。トリガスイッチは、スイッチがユーザの指の邪魔にならないように形成された、ハウジング内に配置することができる。言い換えれば、ハウジングの形状は、ユーザが実際にバイオプシ器具トリガを押さずにトリガスイッチを誤って作動させることを防止する。スイッチハウジングは、実際にはサンプリングされていないコアをサンプリングしたと誤ってマーキングすることを防止する。別の実施形態では、バイオプシ器具のトリガスライドは、トリガスイッチを物理的に作動させず、代わりに、トリガボタンセンサがバイオプシ器具の発射の独特の音又は振動を検出する。レトロフィットキットではない更に別の実施形態では、トリガスイッチはバイオプシ器具に内蔵されている。
【0115】
１－ＤＯＦニードルエクスカーションセンサ。
６－ＤＯＦセンサは、現在、１－ＤＯＦセンサ５６０よりも高価である。ニードルガイド入口ホールに１－ＤＯＦセンサ５６０を伴う剛性的に取り付けられたニードルガイドを有する追跡型ＴＲＵＳプローブの実施形態を、図２２に示す。この実施形態では、バイオプシニードルはトラッキングセンサを有しておらず、任意の市販のニードルバイオプシ器具を使用することができる。ニードルのポジションは、追跡型ＴＲＵＳプローブ１２０に剛性的に取り付けられるニードルガイドと、ニードルがどれだけ１－ＤＯＦセンサ５６０を通過したかを測定する追跡型ＴＲＵＳプローブ１２０上の１－ＤＯＦセンサ５６０とを用いて推測され、即ち、ニードルの挿入の深さが測定されて、ＴＲＵＳ画像上にニードル及びニードルの先端をリアルタイムで重ね合わせることができる。１－ＤＯＦセンサ５６０（例えば、回転ポジションセンサ、回転ポテンショメータ、又は光学マウスで使用されるような光学センサ）は、一実施形態（図２１）では、ＴＲＵＳプローブクリップ５２５に取り付けられており、他の実施形態では、ＴＲＵＳプローブ１２０自体に組み込まれ得る。レトロフィットキットの特徴を詳細に説明したが、それらの特徴は、一般に、新しいシステム及びデバイスにも組み込まれることが企図されていることを理解されたい。
６－ＤＯＦセンサは、現在、１－ＤＯＦセンサ５６０よりも高価である。ニードルガイド入口ホールに１－ＤＯＦセンサ５６０を伴う剛性的に取り付けられたニードルガイドを有する追跡型ＴＲＵＳプローブの実施形態を、図２２に示す。この実施形態では、バイオプシニードルはトラッキングセンサを有しておらず、任意の市販のニードルバイオプシ器具を使用することができる。ニードルのポジションは、追跡型ＴＲＵＳプローブ１２０に剛性的に取り付けられるニードルガイドと、ニードルがどれだけ１－ＤＯＦセンサ５６０を通過したかを測定する追跡型ＴＲＵＳプローブ１２０上の１－ＤＯＦセンサ５６０とを用いて推測され、即ち、ニードルの挿入の深さが測定されて、ＴＲＵＳ画像上にニードル及びニードルの先端をリアルタイムで重ね合わせることができる。１－ＤＯＦセンサ５６０（例えば、回転ポジションセンサ、回転ポテンショメータ、又は光学マウスで使用されるような光学センサ）は、一実施形態（図２１）では、ＴＲＵＳプローブクリップ５２５に取り付けられており、他の実施形態では、ＴＲＵＳプローブ１２０自体に組み込まれ得る。レトロフィットキットの特徴を詳細に説明したが、それらの特徴は、一般に、新しいシステム及びデバイスにも組み込まれることが企図されていることを理解されたい。
【0116】
ニードルインニードルガイド検出。
バイオプシニードルの位置（例えば、停止線、予測コアなど）に関連するＴＲＵＳ画像上の認知補助オーバレイは、ニードルがニードルガイド内にあることが知られていない限り、有効にすべきではない。同様に、ガイダンスアプリケーション２２０は、バイオプシニードルが患者の外部にあった場合、例えばバイオプシ間のハンドリング中に、バイオプシ器具トリガが押されたという信号を無視すべきである。したがって、トラッキングアプリケーション２１５及び／又はガイダンスアプリケーション２２０は、通常の取り扱い中に時折発生するように、ニードルがＴＲＵＳプローブ１２０の横又はニードルガイドの近くに保持されるのではなく、ニードルがＴＲＵＳプローブのニードルガイドに配置されたときを知る必要がある。バイオプシニードルが柔軟で長く、トラッキングセンサがニードルの先端ではなくバイオプシ器具のハンドルやクリップにある場合、バイオプシニードルが本当にＴＲＵＳプローブのニードルガイド内にあるかどうかを判定するのは複雑になる可能性がある。ガイダンスアプリケーション２２０は、矢状の又は横方向のＴＲＵＳ画像の特徴分析を用いて、バイオプシニードルがニードルガイド内に挿入されたことを検証することができる。一実施形態では、超音波画像中のニードルを認識するように訓練されたニューラルネットワークを使用して、ニードルがニードルガイドに挿入されたかどうかを自動的に検出する。別の実施形態では、ソフトウェアルーチンは、ニードルが最初に現れるであろうＴＲＵＳ画像内の領域（すなわち、ニードルガイド出口の隣のＴＲＵＳ画像の部分）のピクセルを検査することによって、矢状平面又は横方向平面の超音波撮像内のニードルを探すことができる。
バイオプシニードルの位置（例えば、停止線、予測コアなど）に関連するＴＲＵＳ画像上の認知補助オーバレイは、ニードルがニードルガイド内にあることが知られていない限り、有効にすべきではない。同様に、ガイダンスアプリケーション２２０は、バイオプシニードルが患者の外部にあった場合、例えばバイオプシ間のハンドリング中に、バイオプシ器具トリガが押されたという信号を無視すべきである。したがって、トラッキングアプリケーション２１５及び／又はガイダンスアプリケーション２２０は、通常の取り扱い中に時折発生するように、ニードルがＴＲＵＳプローブ１２０の横又はニードルガイドの近くに保持されるのではなく、ニードルがＴＲＵＳプローブのニードルガイドに配置されたときを知る必要がある。バイオプシニードルが柔軟で長く、トラッキングセンサがニードルの先端ではなくバイオプシ器具のハンドルやクリップにある場合、バイオプシニードルが本当にＴＲＵＳプローブのニードルガイド内にあるかどうかを判定するのは複雑になる可能性がある。ガイダンスアプリケーション２２０は、矢状の又は横方向のＴＲＵＳ画像の特徴分析を用いて、バイオプシニードルがニードルガイド内に挿入されたことを検証することができる。一実施形態では、超音波画像中のニードルを認識するように訓練されたニューラルネットワークを使用して、ニードルがニードルガイドに挿入されたかどうかを自動的に検出する。別の実施形態では、ソフトウェアルーチンは、ニードルが最初に現れるであろうＴＲＵＳ画像内の領域（すなわち、ニードルガイド出口の隣のＴＲＵＳ画像の部分）のピクセルを検査することによって、矢状平面又は横方向平面の超音波撮像内のニードルを探すことができる。
【0117】
外部から取得したターゲットをセンサ空間にインポートして登録する。
前立腺バイオプシは、外部から取得したターゲットをセンサ空間にインポート及び登録する例として使用される。一実施形態では、システム１００は、システマティックなテンプレートバイオプシに加えて、ターゲット化されたバイオプシを行うことができる。Ｍａｓｓ Ｇｅｎｅｒａｌ社の研究では、ＭＲＩ／ＵＳガイド下融合前立腺バイオプシの後に（テンプレート化された）システマティックバイオプシを行った場合、１６％多くのガンが検出され、一つのバイオプシシステムでターゲット化されたバイオプシとシステマティックバイオプシとの両方を実行できることの利点が示された。システム１００がｓＰＢｘに加えてターゲット化されたＰＢｘを実行できるようにするためのアプローチが記載されている。システム１００は、既存の撮像データを有する患者に対して、ＭＲＩやＣＴなどの他の画像スキャンからデータをインポートし、ターゲット（病変やＲＯＩ）の形状、大きさ、位置、方向などのデータを、前立腺センサ空間の座標系、３次元再構成（例えば、３Ｄビジュアライゼーションにおいて、３次元の病変やＲＯＩを３Ｄで可視化する）、及び、認知補助（例えば、ＴＲＵＳ画像内の認知補助として、３Ｄの病変やＲＯＩを２Ｄの断面で表示する）に登録することができる。インポートレーション及びレジストレーションは、３つのステップで達成される。ステップ１は、ＭＲＩスキャンにアクセスし、必要に応じて、セグメンテーションがまだ行われていない場合には、前立腺及び／又はターゲットを３Ｄオブジェクトにセグメンテーション化（前述の粗いセグメンテーションを含む）することを含み得る。セグメンテーション化は、ＰＢｘ手順の前に行うことがでるが、必須ではない。ＭＲＩスキャンから３次元オブジェクトを作成するソフトウェアパッケージもある（ＩｎＶｅｓａｌｉｕｓ，ＩＴＫ－ＳＮＡＰ）。理想的には、ターゲット又はＲＯＩだけでなく、前立腺全体を３次元オブジェクトにセグメント化することができる。
前立腺バイオプシは、外部から取得したターゲットをセンサ空間にインポート及び登録する例として使用される。一実施形態では、システム１００は、システマティックなテンプレートバイオプシに加えて、ターゲット化されたバイオプシを行うことができる。Ｍａｓｓ Ｇｅｎｅｒａｌ社の研究では、ＭＲＩ／ＵＳガイド下融合前立腺バイオプシの後に（テンプレート化された）システマティックバイオプシを行った場合、１６％多くのガンが検出され、一つのバイオプシシステムでターゲット化されたバイオプシとシステマティックバイオプシとの両方を実行できることの利点が示された。システム１００がｓＰＢｘに加えてターゲット化されたＰＢｘを実行できるようにするためのアプローチが記載されている。システム１００は、既存の撮像データを有する患者に対して、ＭＲＩやＣＴなどの他の画像スキャンからデータをインポートし、ターゲット（病変やＲＯＩ）の形状、大きさ、位置、方向などのデータを、前立腺センサ空間の座標系、３次元再構成（例えば、３Ｄビジュアライゼーションにおいて、３次元の病変やＲＯＩを３Ｄで可視化する）、及び、認知補助（例えば、ＴＲＵＳ画像内の認知補助として、３Ｄの病変やＲＯＩを２Ｄの断面で表示する）に登録することができる。インポートレーション及びレジストレーションは、３つのステップで達成される。ステップ１は、ＭＲＩスキャンにアクセスし、必要に応じて、セグメンテーションがまだ行われていない場合には、前立腺及び／又はターゲットを３Ｄオブジェクトにセグメンテーション化（前述の粗いセグメンテーションを含む）することを含み得る。セグメンテーション化は、ＰＢｘ手順の前に行うことがでるが、必須ではない。ＭＲＩスキャンから３次元オブジェクトを作成するソフトウェアパッケージもある（ＩｎＶｅｓａｌｉｕｓ，ＩＴＫ－ＳＮＡＰ）。理想的には、ターゲット又はＲＯＩだけでなく、前立腺全体を３次元オブジェクトにセグメント化することができる。
【0118】
ステップ２は、セグメント化されたデータ又はセグメント化されていないデータをソフトウェアの３次元環境、即ち、前立腺センサ空間の座標系にインポートすることを含み得る。ステップ２は、ＰＢｘ手順の前に実行することもできる。トラッキングトランスミッタでカバーされる追跡ボリュームへの大まかなレジストレーションは、患者のポジション（例えば、左側臥位、リソトミなどのポジション）を予想して行われる。これも必須のステップではないが、望ましい。
【0119】
ステップ３では、ＴＲＵＳ画像からの前立腺の手動による粗いセグメンテーション化が完了した後、レジストレーションが行われる。インポートされた３Ｄ前立腺は、手動の粗いセグメンテーション化から作成される３Ｄ前立腺と一致するようにアラインメントされる。これは、インポートされた３Ｄオブジェクトを６自由度で動かすためのユーザインタフェースを介して、３Ｄビジュアライゼーションの中で手動で視覚的に行うこともできるし、粗いセグメンテーション化から作成される３Ｄ前立腺に対して、インポートされた３Ｄ前立腺の位置と方向の最適な適合性を検索するソフトウェアルーチンを介して自動的に行うこともできる。病変やＲＯＩを含むインポートされた３Ｄオブジェクトは、インポートされた３Ｄ前立腺と共に移動する。インポートされた前立腺全体が３Ｄオブジェクトにセグメント化されていない場合は、前立腺全体ではなく、インポートされた画像やＴＲＵＳで見える少なくとも３つ以上のランドマークをレジストレーションに使用することができる。例えば、インポートされた前立腺と粗くセグメント化された前立腺の両方の基部と頂部における尿道ポートをマークしてレジストレーションに使用することができ、第３の容易に識別できるランドマーク（おそらく精嚢のエッジ）をレジストレーションに使用することができる。レジストレーションステップの最後に、インポートされたオブジェクトが追加され、前立腺センサ空間に埋め込まれる。インポートされたオブジェクトは、ＴＲＵＳプローブから追跡される物理的な前立腺に力が加えられたときに、インポートされたオブジェクトが物理的な前立腺と共に動くように、前立腺センサ空間で追跡される。
【0120】
シミュレーションモードの患者ケアシステム。
新しい技術や機器を使うトレーニングは、往々にして短絡的であり、又は後回しにされがちである。我々の新しい技術を使用するトレーニングを積極的に計画するために、一実施形態では、ケアシステムは、トレーニング目的のために患者の代わりにプラスチック製の解剖学的ブロック及び弾道ゲルを含み得るＰＢｘシミュレータ５５０と連携する。解剖学的ブロックは、図２６に示すように、肛門、直腸、及び／又は前立腺をシミュレートしており、その中にＴＲＵＳプローブ１２０が挿入され、左側方脱腸位（写真４６０ａ）及びリソトミ位（写真４６０ｂ）で方向付けられている。シミュレータ５５０は、リアルのＴＲＵＳプローブ１２０と、ケアシステムで使用される前立腺トラッキングセンサと同一又は類似のセンサ（ＮＤＩモデル９０ ６－ＤＯＦ電磁センサ）によって追跡される弾道ゲルで作られた前立腺とを用いて、使用可能なＴＲＵＳ画像を作成する、合理的に現実的な超音波を発することができる弾道ゲルを含む。システム１００は、患者ケアモードと機能的に同一であることを維持しつつ、シミュレーションモードが部屋の反対側から明確に認識できるように、異なるボーダカラー及びフォントを含む、システム１００がシミュレーションモードにあることを明確に警告及び表示するための、ユニークで視認性の高いラベルを表示することによって、システム１００が患者ケアモードと混同されないように、シミュレーションモードで、実行することができる。
新しい技術や機器を使うトレーニングは、往々にして短絡的であり、又は後回しにされがちである。我々の新しい技術を使用するトレーニングを積極的に計画するために、一実施形態では、ケアシステムは、トレーニング目的のために患者の代わりにプラスチック製の解剖学的ブロック及び弾道ゲルを含み得るＰＢｘシミュレータ５５０と連携する。解剖学的ブロックは、図２６に示すように、肛門、直腸、及び／又は前立腺をシミュレートしており、その中にＴＲＵＳプローブ１２０が挿入され、左側方脱腸位（写真４６０ａ）及びリソトミ位（写真４６０ｂ）で方向付けられている。シミュレータ５５０は、リアルのＴＲＵＳプローブ１２０と、ケアシステムで使用される前立腺トラッキングセンサと同一又は類似のセンサ（ＮＤＩモデル９０ ６－ＤＯＦ電磁センサ）によって追跡される弾道ゲルで作られた前立腺とを用いて、使用可能なＴＲＵＳ画像を作成する、合理的に現実的な超音波を発することができる弾道ゲルを含む。システム１００は、患者ケアモードと機能的に同一であることを維持しつつ、シミュレーションモードが部屋の反対側から明確に認識できるように、異なるボーダカラー及びフォントを含む、システム１００がシミュレーションモードにあることを明確に警告及び表示するための、ユニークで視認性の高いラベルを表示することによって、システム１００が患者ケアモードと混同されないように、シミュレーションモードで、実行することができる。
【0121】
また、安価なダミーのＴＲＵＳプローブ１２０（例えば、実際のＴＲＵＳプローブのシェルだけ）を用いて、ＴＲＵＳプローブクリップで追跡することができる。そして、上述のように、ソフトウェアルーチンによってＴＲＵＳ画像を生成することができる。シミュレータモードの安価なダミーＴＲＵＳプローブ１２０は、リアルのＴＲＵＳマシンの使用及び洗浄に関連するコストを削減し、リアルのＴＲＵＳマシンを臨床使用のために解放する。
【0122】
トレーニング用スタンドアローンシミュレータ。
ケアシステムを使用するトレーニングのための別の実施形態は、患者ケアシステムから独立して動作し、実際のＴＲＵＳマシンを必要としないスタンドアローンシミュレータである。トレーニング用のシミュレータ５５０にも適用可能な本明細書に記載の全ての特徴は、例えば、患者ケアアプリケーションとは異なる、シミュレーション技術のアプリケーション領域において、本明細書に記載の実施形態でも企図される。一つの違いは、前立腺トラッキングセンサが、（例えば、弾道ゲルやシリコンで作られている）前立腺の物理的な３Ｄモデルに直接埋め込まれていることである。
ケアシステムを使用するトレーニングのための別の実施形態は、患者ケアシステムから独立して動作し、実際のＴＲＵＳマシンを必要としないスタンドアローンシミュレータである。トレーニング用のシミュレータ５５０にも適用可能な本明細書に記載の全ての特徴は、例えば、患者ケアアプリケーションとは異なる、シミュレーション技術のアプリケーション領域において、本明細書に記載の実施形態でも企図される。一つの違いは、前立腺トラッキングセンサが、（例えば、弾道ゲルやシリコンで作られている）前立腺の物理的な３Ｄモデルに直接埋め込まれていることである。
【0123】
（ピッチ、ヨー、ロール、挿入深さ、テンプレート修正、ニードル先端の最大エクスカーション、ニードル停止線、テンプレート位置照明、投影されたバイオプシコアなどの）患者ケアのための、上述のトラッキングクリップや認知補助は、シミュレーショントレーニングにも使用できる。２Ｄのインソネーション平面と仮想３Ｄオブジェクトとの交点をリアルタイムで計算することにより、合成ＴＲＵＳ画像を生成することができる。また、６自由度の、追跡される有形のユーザインタフェースを使用して、３Ｄビジュアライゼーションのパースペクティブを作成する仮想カメラのポジションを手動で制御することもできる。シミュレータには、リアルタイムで更新されるスコアリングアルゴリズムが含まれており、テンプレートの偏差を測定し、仮想コアの配置、従前に配置したコアやコアセットを異なる形状、サイズ、及びポジションの、病変のセットで再生し、前立腺バイオプシの偽陰性を計算することができる。シミュレータは、過去の患者のスキャンから他の３Ｄ前立腺をインポートすることもできる。
【0124】
デブリーフィング、アフターアクションレビュー、及びパフォーマンス分析のために、シミュレータは、各コアにおける病変、前立腺組織、及び非前立腺組織（膀胱、尿道、精嚢など）の量又は割合を計算することができる。シミュレータの一実施形態では、トラッキングセンサは、改良されたバイオプシニードルの先端にあり、長くて柔軟なバイオプシニードルの、ニードルの先端をより確実に追跡することができる。物理的に追跡される前立腺は、ＴＲＵＳプローブ１２０又はデジタル直腸検査によって圧力が加えられたときに、前立腺が外接的な体積内で動くことができるクレードルの内部に配置される。クレードルは標準的なサイズであり、異なるサイズ及び形状の前立腺を含むクレードルを、前立腺バイオプシ解剖ブロックの対応する標準的なレセプタクルに容易に挿入することができる。シミュレータ５５０は、図２６に示すように、経直腸（エンドファイア、サイドファイア）及び経会陰ニードルバイオプシに使用することができる。
【0125】
直腸を表す解剖学的ブロックの一つ以上の側面を物理的に除去することにより、ＴＲＵＳプローブ１２０が直腸空間にあり、直腸壁を介して前立腺と接触している間、ＴＲＵＳプローブ１２０を直接目視することができる。ユーザは、この機能が有用であると感じている。シミュレータ５５０は、ケアシステムにも使用可能な、トレーニーのための仮想コーチを含むことができる。仮想コーチは、追跡されるＴＲＵＳプローブ１２０、追跡されるバイオプシニードル、及び、定義されたテンプレート又はコアのポジションから、発生するであろう偏差を予測することができる。その予測を利用して、仮想コーチは、トレーニー又は実践的な臨床医に、例えば、ＴＲＵＳプローブ１２０のピッチ又はロールを変更するように指導することができる。仮想コーチは、ルールベース（例えば、ピッチニュートラルな技術を教える）でも、機械学習に基づくものでもよい。後者の場合、ニューラルネットワークは、ＴｅｎｓｏｒＦｌｏｗの下で動作するＫｅｒａｓを用いて開発される。
【0126】
テンプレートの位置からのコアの偏差を予測し、偏差を減らすためのコーチングのために、深層学習ニューラルネットワーク（ＮＮｓ）ルーチンが開発されている。深層学習ＮＮ以外のニューラルネットワークも使用可能である。二つのＮＮ（ＮＮＡ１、ＮＮＡ２）は、図２６に示すようなＰＢｘシミュレータ５５０の既存データを使用する。ＮＮＡとＮＮＡ２の両方は、ＴｅｎｓｏｒＦｌｏｗ上で動作するＫｅｒａｓで実装されたフィードフォワード多層パーセプトロン（ＭＬＰ）である。
【0127】
ＮＮＡ１は、発射されようとしている模擬バイオプシコアが、許容可能なテンプレート偏差である５ｍｍの範囲内にあるか範囲外にあるかを予測するバイナリ分類モデルである。バイオプシ偏差、意図されたテンプレートの位置、追跡されるＴＲＵＳプローブのピッチ、ヨー、ロール、挿入深さ、及び追跡される前立腺のポジションを含む、３２１６個の模擬バイオプシコア記録が使用された。訓練／テストの分割は０．２、検証の分割は０．２を用いることができる。つまり、８０％のデータでＮＮを訓練し、残りの２０％のデータでＮＮの予測精度をテストすることができる。レコードは、ｐａｎｄａｓデータフレームにインポートし、ｓｃｉｋｉｔ－ｌｅａｒｎの前処理ライブラリを使用してスケーリングすることができる。テンプレートの偏差は、ターゲット変数として使用できる。ＴＲＵＳプローブのポジション、追跡される前立腺のポジション、及び意図されたテンプレートの位置のみが与えられた場合、ＮＮＡ１は、バイオプシコアが良いか（テンプレートの偏差＜＝５ｍｍ）悪いか（テンプレートの偏差＞５ｍｍ）を、７２％の精度で、顕著な遅延なしにリアルタイムで予測することができる。二値分類システムの診断能力を説明するために、受信者動作特性（ＲＯＣ）曲線とともに、混同行列が生成された。
【0128】
ＮＮＡ２は、ＮＮＡ１と同じ入力を使用し、ターゲットの偏差を３．４６ｍｍ以内に予測する回帰モデルである。Ｔｅｎｓｏｒｆｌｏｗ上で動作するＫｅｒａｓを用いたＮＮはいずれも、Ｐｙｔｈｏｎ ３．７．４（Ｐｙｔｈｏｎ Ｓｏｆｔｗａｒｅ Ｆｏｕｎｄａｔｉｏｎ， Ｗｉｌｍｉｎｇｔｏｎ， ＤＥ）とｐａｎｄａｓ １．０．１（ＮｕｍＦＯＣＵＳ， Ａｕｓｔｉｎ ＴＸ）及びｓｃｉｋｉｔ－ｌｅａｒｎ ０．２２．１（Ｐｅｄｒｅｇｏｓａ ｅｔ ａｌ）を用いて、実装された。ＮＮの精度は、より多くのトレーニングデータ、追加の入力、及び最適化によって向上させることができる。このようなＮＮは、シミュレータ５５０上でのコーチングに使用できるだけでなく、実際の患者をバイオプシする際の臨床使用中にも使用できる。ニューラルネットワークは、他のガイド付き介入をコーチするために訓練されて再利用され得る。
【0129】
バイオプシコアの端部をマークする。
リアルのバイオプシコアの端部は、剪断された、歪んだ、潰れた、又は欠損した組織を含むことがある。この場合、バイオプシコアの端部は、病理検査のための信頼できる又は有用な組織を含むとは信用できないかもしれない。バイオプシコアの一方又は両方の端部に低品質のゾーンがある場合、ユーザインタフェース上の仮想バイオプシコアの表示された長さに沿って、ユーザが調整可能なハッシュマークを提供することができる。ハッシュマークは、ユーザが調整可能ではなく、コアの両端からｘｍｍ、又はコアの（最初にカットされる）先頭エッジでｘｍｍ、コアの（最後にカットされる）後続エッジでｙｍｍなどの、デフォルト設定を持つこともできる。２つのハッシュマークの間の領域は、バイオプシの良好なゾーン又は使用可能なゾーンの寸法を表す、病理検査に確実に使用できる組織を提供するようにより信頼され得る領域を示す。また、コアの両端ではなく片方だけが疑わしい場合には、コアのハッシュマークを一つだけにすることもできる。また、予測される仮想コア上で、良好な領域を異なる色で示すこともできる。これらのハッシュマークは、３Ｄビジュアライゼーション、（ＴＲＵＳ画像などの）イメージングデバイスの出力上のオーバレイ、並びに、ユーザインタフェースをフィッティングし、調整し、及びプランニングするバイオプシテンプレートで、見ることができる。コアの中心部は、コアを表す線上に異なる色のハッシュマークで表示することもできる。一般的に、コアの中心部は端部よりも状態が良いため、病変又は病変が疑われる部位に優先的に配置すべきである。例えば、長さ１８ｍｍのバイオプシコアの先頭エッジ及び後続エッジの２ｍｍが病理医にとって疑わしい場合、ユーザは、コア配置を計画する際及び治療中に、長さ１８ｍｍのバイオプシの代わりに長さ１４ｍｍのバイオプシを考慮し得る。
リアルのバイオプシコアの端部は、剪断された、歪んだ、潰れた、又は欠損した組織を含むことがある。この場合、バイオプシコアの端部は、病理検査のための信頼できる又は有用な組織を含むとは信用できないかもしれない。バイオプシコアの一方又は両方の端部に低品質のゾーンがある場合、ユーザインタフェース上の仮想バイオプシコアの表示された長さに沿って、ユーザが調整可能なハッシュマークを提供することができる。ハッシュマークは、ユーザが調整可能ではなく、コアの両端からｘｍｍ、又はコアの（最初にカットされる）先頭エッジでｘｍｍ、コアの（最後にカットされる）後続エッジでｙｍｍなどの、デフォルト設定を持つこともできる。２つのハッシュマークの間の領域は、バイオプシの良好なゾーン又は使用可能なゾーンの寸法を表す、病理検査に確実に使用できる組織を提供するようにより信頼され得る領域を示す。また、コアの両端ではなく片方だけが疑わしい場合には、コアのハッシュマークを一つだけにすることもできる。また、予測される仮想コア上で、良好な領域を異なる色で示すこともできる。これらのハッシュマークは、３Ｄビジュアライゼーション、（ＴＲＵＳ画像などの）イメージングデバイスの出力上のオーバレイ、並びに、ユーザインタフェースをフィッティングし、調整し、及びプランニングするバイオプシテンプレートで、見ることができる。コアの中心部は、コアを表す線上に異なる色のハッシュマークで表示することもできる。一般的に、コアの中心部は端部よりも状態が良いため、病変又は病変が疑われる部位に優先的に配置すべきである。例えば、長さ１８ｍｍのバイオプシコアの先頭エッジ及び後続エッジの２ｍｍが病理医にとって疑わしい場合、ユーザは、コア配置を計画する際及び治療中に、長さ１８ｍｍのバイオプシの代わりに長さ１４ｍｍのバイオプシを考慮し得る。
【0130】
図２７を参照すると、本開示の一実施形態によるコンピューティングデバイス１１５の概略ブロック図が示されている。コンピューティングデバイス１１５は、例えば、プロセッサとメモリとを有する、少なくとも一つのプロセッサ回路を含み、これらのプロセッサ回路は両方ともローカルインタフェースに結合されている。このため、コンピューティングデバイス１１５は、例えば、少なくとも一つのサーバコンピュータ、パーソナルコンピューティングデバイスなどのデバイスで、構成され得る。ローカルインタフェースは、例えば、付随するアドレス／制御バス又は理解し得る他のバス構造を有するデータバスで構成され得る。
【0131】
メモリには、データと、プロセッサによって実行可能な幾つかのコンポーネントとの両方が格納される。更に、オペレーティングシステムがメモリに格納され、プロセッサによって実行可能である。当然ながら、メモリに格納され、プロセッサによって実行可能な他のアプリケーションもある。本明細書で説明する任意のコンポーネントがソフトウェアの形態で実装される場合、例えば、Ｃ、Ｃ＋＋、Ｃ＃、オブジェクトＣ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｕｎｉｔｙ ３Ｄ、若しくは他のプログラミング言語などの、多数のプログラミング言語のいずれかを採用することができる。
【0132】
多数のソフトウェアコンポーネントがメモリに格納されており、プロセッサによって実行可能である。この点において、「実行可能」という用語は、最終的にプロセッサによって稼働可能な形式のプログラムファイルを意味する。実行可能なプログラムの例としては、例えば、メモリのランダムアクセス部にロードされてプロセッサによって実行され得るフォーマットのマシンコードに翻訳され得るコンパイルされたプログラム、メモリのランダムアクセス部にロードされてプロセッサによって実行され得るオブジェクトコードなどの適切なフォーマットで表現され得るソースコード、又は、他の実行可能なプログラムによって解釈されてメモリのランダムアクセス部にプロセッサによって実行されるべき命令を生成し得るソースコードなどが、挙げられる。実行可能プログラムは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカード、コンパクトディスク（ＣＤ）やデジタルバーサタイルディスク（ＤＶＤ）などの光ディスク、フロッピーディスク、磁気テープ、又は他のメモリコンポーネントを含むメモリの任意の部分又はコンポーネントに格納され得る。
【0133】
本明細書において、メモリは、揮発性及び不揮発性のメモリとデータストレージコンポーネントとの両方を含むものとして定義される。揮発性コンポーネントは、電力の損失時にデータ値を保持しないコンポーネントである。不揮発性コンポーネントは、電力の損失時にデータを保持するコンポーネントである。したがって、メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、適切なテープドライブを介してアクセスされる磁気テープ、及び／又は、他のメモリコンポーネント、あるいはこれらのメモリコンポーネントの任意の２つ以上の組み合わせで、構成され得る。また、ＲＡＭは、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され得る。また、ＲＯＭは、例えば、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリデバイスで構成され得る。
【0134】
また、プロセッサは複数のプロセッサ及び／又は複数のプロセッサコアを、メモリは並列処理回路で動作する複数のメモリを、夫々表し得る。このような場合、ローカルインタフェースは、複数のプロセッサのうちの任意の２つのプロセッサ間、任意のプロセッサと任意のメモリとの間、又は任意の２つのメモリ間などの通信を容易にする適切なネットワークであり得る。ローカルインタフェースは、例えばロードバランシングを行うことを含め、この通信を調整するように設計された追加のシステムで構成され得る。プロセッサは、電気的なものであってもよいし、他の利用可能な構造のものであってもよい。
【0135】
本明細書に記載の様々なシステムは、上述のように、汎用ハードウェアによって実行されるソフトウェア又はコードで具現化され得るが、代替として、同じものが専用ハードウェア、又はソフトウェア／汎用ハードウェアと専用ハードウェアとの組み合わせで具現化され得る。専用ハードウェアで具現化する場合は、幾つかの技術のいずれか、又は組み合わせを採用する、回路又はステートマシンとして実装され得る。これらの技術には、一つ以上のデータ信号の印加により様々な論理機能を実装するための論理ゲートを有するディスクリート論理回路、適切な論理ゲートを有するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他のコンポーネントなどが含まれるが、これらに限定されない。
【0136】
図４、１６、及び２０のフローチャートは、コンピューティングデバイス１１５の一部の実装の機能及び動作を示すものである。ソフトウェアで具現化される場合、各ブロックは、指定された論理機能を実装するためのプログラム命令を構成するコードのセグメント又は部分を表し得る。プログラム命令は、プログラミング言語で書かれた人間が読めるステートメントからなるソースコードの形で、又は、コンピュータシステムや他のシステムでのプロセッサなどの適切な実行システムによって認識可能な数値命令からなるマシンコードの形で、具現化され得る。マシンコードは、ソースコードなどから変換されたものでもよい。ハードウェアで具現化する場合、各ブロックは、指定された論理機能を実装するための回路又は相互接続された複数の回路を表し得る。
【0137】
図４、１６、及び２０のフローチャートは、特定の実行順序を示しているが、当然ながら、実行順序は描かれているものとは異なる場合があり得る。例えば、二つ以上のブロックの実行順序は、示された順序に対してスクランブルされてもよい。また、図４、１６、２０に連続して示されている二つ以上のブロックは、同時に実行されてもよいし、部分的に一致して実行されてもよい。さらに、幾つかの実施形態では、図４、１６、及び２０に示されたブロックのうちの一つ又は複数がスキップ又は省略されてもよい。更に、任意の数のカウンタ、状態変数、警告セマフォ、又はメッセージが、ユーティリティの強化、アカウンティング、パフォーマンス測定、又はトラブルシューティング補助の提供などの目的で、本明細書に記載の論理フローに追加される可能性がある。そのような変形の全ては、本開示の範囲内であることが理解される。
【0138】
また、ソフトウェア又はコードを構成する本明細書に記載の任意のロジック又はアプリケーションは、例えばコンピュータシステム又は他のシステム内のプロセッサなどの命令実行システムによって又はそれに関連して使用するために、任意の非一時的なコンピュータ可読媒体に具現化することができる。この意味で、ロジックは、例えば、コンピュータ可読媒体からフェッチされ、命令実行システムによって実行され得る命令及び宣言を含むステートメントで構成され得る。本開示の文脈では、「コンピュータ可読媒体」は、命令実行システムによって又はそれに関連して使用するために、本明細書に記載のロジック又はアプリケーションを含み、保存し、又は維持することができる任意の媒体であり得る。
【0139】
コンピュータ可読媒体は、例えば、磁気媒体、光学媒体、又は半導体媒体などの多くの物理媒体のいずれか一つで構成することができる。適切なコンピュータ可読媒体のより具体的な例としては、磁気テープ、磁気フロッピーディスク、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、又は光ディスクが挙げられるが、これらに限定されない。また、コンピュータ可読媒体は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）やダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含むランダムアクセスメモリ（ＲＡＭ）、又は、磁気ランダムアクセスメモリ（ＭＲＡＭ）であってもよい。更に、コンピュータ可読媒体は、読取専用メモリ（ＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、又は他のタイプのメモリデバイスであってもよい。
【0140】
さらに、本明細書に記載の任意のロジック又はアプリケーションは、様々な方法で実装及び構造化することができる。例えば、記載された一つ以上のアプリケーションは、単一のアプリケーションのモジュール又はコンポーネントとして実装されてもよい。更に、本明細書に記載の一つ又は複数のアプリケーションは、共有の又は別個のコンピューティングデバイス、又はそれらの組み合わせで、実行されてもよい。例えば、本明細書で説明する複数のアプリケーションは、同じコンピューティングデバイス１１５で実行されてもよいし、同じコンピューティング環境の複数のコンピューティングデバイスで実行されてもよい。さらに、「アプリケーション」、「サービス」、「システム」、「エンジン」などの用語は交換可能であってもよく、限定することを意図していないことを理解されたい。
【0141】
「Ｘ、Ｙ、又はＺのうちの少なくとも一つ」というフレーズのような分岐型言語は、特に別段の記載がない限り、項目、用語などがＸ、Ｙ、又はＺのいずれか、あるいはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、及び／又はＺ）である可能性があることを提示するために一般的に使用されるものとして、文脈とともに理解される。したがって、そのような分岐型言語は、一般的に、特定の実施形態が、Ｘの少なくとも一つ、Ｙの少なくとも一つ、又はＺの少なくとも一つが夫々存在することを必要とすることを意図するものではなく、またそのようにすべきではない。
【0142】
本開示の上述の実施形態は、本開示の原理を明確に理解するために定められた、単なる可能な実施例であることを強調しておく。本開示の精神及び原理から実質的に乖離することなく、上述の実施形態に多くの変形及び変更を加えることができる。そのような変更及び変形の全ては、本開示の範囲内で本明細書に含まれることが意図され、以下のクレームによって保護される。
【0143】
条項１．非融合型トラッキング及びガイダンスシステムにおいて、身体器官トラッキングセンサと、器官に関連して撮像デバイスを追跡するための、追跡される医療用撮像プローブと、前記器官に関連してバイオプシ又は処置デバイスを追跡するための、追跡されるバイオプシ又は処置デバイスと、内部のメモリに格納されるプログラム命令を含む少なくとも一つのコンピューティングデバイスであって、前記プログラム命令は、実行時には、器官の複数の画像を生成するために、前記追跡される医療用撮像プローブの位置及び方向に関連するガイダンスを提供するステップであって、前記医療用撮像プローブの前記位置及び方向は前記身体器官トラッキングセンサを使用して決定される、提供するステップと、前記複数の画像を用いて、前記器官の３次元再構成を生成するステップと、前記器官の３次元再構成と、前記器官に重ね合わされた少なくとも一つのサンプリング領域からなる仮想テンプレートとを、ディスプレイデバイスに表示させるステップと、及び、前記少なくとも一つのサンプリング領域にて組織を採取するためのガイダンスを提供するステップとを、前記少なくとも一つのコンピューティングデバイスに指示する、コンピューティングデバイスと、を備えるシステム。
【0144】
条項２．前記複数の画像は複数の２次元超音波画像である、条項１に記載のシステム。
【0145】
条項３．前記複数の２次元超音波画像のうちの少なくとも一つが、身体センサ空間内の追跡されるツールの３次元ビジュアライゼーションにおいて、前記器官の３次元再構成と同時に前記ディスプレイデバイスに表示される、条項１～２に記載のシステム。
【0146】
条項４．前記医療用撮像プローブは経直腸超音波プローブであり、前記器官が前立腺を含み、前記組織を収集するためのガイダンスが前立腺バイオプシ手順の間に行われ、及び、前記仮想テンプレートは前立腺バイオプシコアテンプレートを含む、条項１～３に記載のシステム。
【0147】
条項５．前記器官若しくは身体の一部の３次元再構成は、前記器官を有する患者の身体の外部に配置されるトラッキングセンサを用いて生成される、条項１～４に記載のシステム。
【0148】
条項６．前記身体器官トラッキングセンサは、６自由度（６－ＤＯＦ）を有するトラッキングセンサである、条項１～５に記載のシステム。
【0149】
条項７．前記器官の前記複数の画像を生成するための前記追跡される医療用撮像プローブの位置及び方向に関連する前記ガイダンスが、少なくとも部分的に、前記器官を有する患者に配置されるトラッキングセンサのトラッキングに基づいて提供される、請求項１～６に記載のシステム。
【0150】
条項８．前記器官又は身体の一部の３次元再構成は、前記器官上で検出された、又は前記器官にインポートされた、病変、又は関心領域の３次元再構成を含む、条項１～７に記載のシステム。
【0151】
条項９．前記少なくとも一つのコンピューティングデバイスが、コア及びテンプレートの位置及び方向を調整すること、コアの数を調整すること、並びに、カスタムテンプレート内のコアの順序を変更することのうち、少なくとも一つを実行するように更に指示される、条項１～８に記載のシステム。
【0152】
条項１０．前記複数のサンプリング領域の一つ又は各々における組織を収集するためのガイダンスは、撮像モダリティ無しで提供され、前記撮像モダリティは、身体センサ空間における追跡されるツールの実際の３次元ビジュアライゼーションにおける前記器官の３次元再構成を使用して適用される、バイオプシ又は処置の間に、必要とされない、条項１～９に記載のシステム。
【0153】
条項１１．身体器官トラッキングセンサと、追跡される医療用撮像プローブと、器官に関連してバイオプシ若しくは処置デバイスを追跡するための、追跡されるバイオプシ若しくは処置デバイスと、少なくとも一つのコンピューティングデバイスとを提供するステップと、前記器官の複数の画像を生成するために、前記追跡される医療用撮像プローブの位置及び方向に関連するガイダンスを提供するステップであって、前記医療用撮像プローブの位置及び方向は、前記身体器官トラッキングセンサに相対して決定されるステップと、前記複数の画像を用いて、前記器官若しくは身体の一部の３次元再構成を生成するステップと、前記器官若しくは身体の一部の３次元再構成と、前記器官に重ね合わされた一つ又は複数のサンプリング領域からなる仮想テンプレートとを、ディスプレイデバイスに表示させるステップと、並びに、前記複数のサンプリング領域の一つ又は各々において、組織を収集するためのガイダンスを提供するステップと、を含む、方法。
【0154】
条項１２．前記複数の画像は複数の２次元超音波画像である、条項１１に記載の方法。
【0155】
条項１３．前記複数の２次元超音波画像のうちの少なくとも一つが、身体センサ空間内の追跡されるツールの３次元ビジュアライゼーションにおいて、前記器官の３次元再構成と同時に前記ディスプレイデバイスに表示される、条項１１～１２に記載の方法。
【0156】
条項１４．前記医療用撮像プローブが経直腸超音波プローブであり、前記器官は前立腺を含み、前記組織を収集するためのガイダンスは、前立腺バイオプシ手順の間に実行され、及び、前記仮想テンプレートは、前立腺バイオプシコアテンプレートを含む、条項１１～１３に記載の方法。
【0157】
条項１５．器官又は身体の一部の３次元再構成は、前記器官を有する患者の身体の外部に配置されるトラッキングセンサを用いて生成される、条項１１～１４に記載の方法。
【0158】
条項１６．前記身体器官トラッキングセンサは、６自由度（６－ＤＯＦ）を有するトラッキングセンサである、条項１１～１５に記載の方法。
【0159】
条項１７．前記器官の複数の画像を生成するための前記追跡される医療用撮像プローブの位置及び方向に関連するガイダンスが、少なくとも部分的に、前記器官を有する患者に配置されるトラッキングセンサのトラッキングに基づいて提供される、条項１１～１６に記載の方法。
【0160】
条項１８．前記器官若しくは身体の一部の３次元再構成は、前記器官上で検出された、又は前記器官にインポートされた、病変、又は関心領域の３次元再構成を含む、条項１１～１７に記載の方法。
【0161】
条項１９．前記少なくとも一つのコンピューティングデバイスが、コア及びテンプレートの位置及び方向を調整すること、コアの数を調整すること、並びに、カスタムテンプレート内のコアの順序を変更することのうち、少なくとも一つを実行するように更に指示される、条項１１～１８に記載の方法。
【0162】
条項２０．前記複数のサンプリング領域の１つ又は各々における組織を収集するためのガイダンスが、撮像モダリティ無しで提供され、前記撮像モダリティは、身体センサ空間における追跡されるツールの実施の３次元ビジュアライゼーションにおける前記器官の３次元再構成を用いて適用される、バイオプシ又は処置の間に、必要とされない、条項１１～１９に記載の方法。
【0163】
条項２１．ユーザが、病変や膿瘍などの、追跡される器官やオブジェクトと、ニードル、切除ツール、若しくはバイオプシニードルなどの、少なくとも一つの追跡されるツールとを、リアルの３次元で観察することができるリアルタイムの、リアルの３Ｄビジュアライゼーショングラフィカルユーザインタフェースを表示するように構成された、コンピューティングデバイス。
【0164】
条項２２．ユーザは、追跡される有形のユーザインタフェースを使用して、前記リアルの３次元ビジュアライゼーションを制御することができる、条項２１に記載のコンピューティングデバイス。
【0165】
条項２３．撮像ツールは追跡もされ、前記３Ｄビジュアライゼーションにおいてリアルタイムで表示される、条項２１～２２に記載のコンピューティングデバイス。
【0166】
条項２４．前記器官若しくはオブジェクトの近くに配置されるトラッキングセンサを使用して、前記器官若しくはオブジェクトの内部から、又は前記器官の外部から、前記器官若しくはオブジェクトが追跡される、条項２１～２３に記載のコンピューティングデバイス。
【0167】
条項２５．再構成された、リアルの３次元の器官若しくは（利用可能な場合）それに関連する病変内の、カスタムテンプレートにおける、コア及びテンプレートの位置及び方向、コアの数、コアの順序を調整することを含む、方法。
【0168】
条項２６．レンダリングされた３Ｄ身体センサ空間にオーバレイされた認知補助に基づいて、器官若しくは病変などの３次元再構成された生体構造を使用してコアをバイオプシするステップ、又は、身体に処置を施すステップを、含み、リアルの３次元ビジュアライゼーションで示される３Ｄコア若しくはターゲットを伴う追跡されるニードル若しくはツールを使用して、バイオプシ若しくは処置の間に、撮像モダリティが最早必要とされない、方法。
【0169】
条項２７．バイオプシコアの精度及び実際の位置と方向に関する、リアルタイムのフィードバックを提供するステップを含み、ここで、既にサンプリングされたコアは、３次元ビジュアライゼーションにおいて３次元オブジェクトとして表示され、ＴＲＵＳ画像において３次元コアとインソネーション平面との交点として、オーバレイされる、方法。
【0170】
条項２８．コアセット全体のサンプリングの終了時に、サンプリングされていない所定のボリュームの領域がある場合に、追加のバイオプシコアをサンプリングするためのアラートを生成するステップと、サンプリングされたときにアラートを除去する、追加のコアのための位置及び方向を表示するステップとを、更に含む、条項２７に記載の方法。
【0171】
条項２９．精確なツールのアラインメントが検出されるとき、バイオプシ器具、又は類似の若しくは処置デバイスを用いてバイオプシ若しくは処置を自動的にトリガするステップを、更に含む、条項２７～２８に記載の方法。
【0172】
条項３０．粗いセグメンテーション技術を用いて、リアルの３次元の器官、病変、解剖学的構造、又は他の３次元オブジェクトをリアルタイムで再構成するステップと、前記器官、病変、解剖学的構造、又はランドマークを、患者空間にマッピングするステップと、前記器官若しくは前記病変、若しくは他の解剖学的構造、又はランドマークの、アウトラインをトレースするステップと、処置すべき領域の処置、又はサンプルを収集すべき領域からの組織の収集のための、ガイダンスを提供するステップとを、含む方法。
【0173】
条項３１．器官トラッキングセンサが器官の物理的な複製部分に直接挿入される、明細書に記載の様々な実施形態を使用して、ガイド付き介入を訓練するシミュレータを備える、システム。
【0174】
条項３２．患者を撮像モダリティで撮像可能なゲルを伴う解剖学的ブロックに置き換えることで、患者ケア装置でのトレーニングを容易にするシミュレータモードを有するシミュレータであって、撮像モダリティが超音波検査を含む、シミュレータを備える、患者ケア装置。
【0175】
条項３３．３次元器官及びその周辺の再構成における複数のランドマークを、従前に取得された３次元病変、又は、関心領域及びその周辺における、対応するランドマークと照合することによって、従前に取得された３次元病変、又は、関心領域を３次元器官の再構成にインポートして登録するステップを、含む方法。
【0176】
条項３４．（ａ）内部に配置される埋め込み型トラッキングシステム、（ｂ）図１のクリップ１６０ａなどの、取り外し自在のトラッキングシステム、又は、（ｃ）５６０などのセンサ（図２２）を介してニードル若しくはツールの挿入の深さを追跡する、ＴＲＵＳプローブなどの撮像デバイスで使用するためのニードルガイド、を備えるシステム。システムは、ニードルの挿入深さ追跡センサが内蔵された、又は取り外し自在に取り付けられた、ニードルガイドを含み得る。
【0177】
条項３５．（ａ）身体センサ空間に仮想解剖学的ランドマークを設定するステップと、（ｂ）仮想解剖学的ランドマークが取得されたときに撮像デバイスの位置と方向を保存するステップと、及び（ｃ）前記仮想解剖学的ランドマークが最初に取得された位置と方向に前記撮像デバイスが戻されたときに、前記仮想解剖学的ランドマークを、撮像出力の対応するランドマークと比較するステップと、によって、器官に対する器官トラッキングセンサの滑りや移動を検出する滑り止め検出のシステム又は方法。
【0178】
条項３６．複数の仮想バイオプシコアの長さに沿って、バイオプシコアの良好なゾーン又は使用可能なゾーンの寸法を表す、病理検査に確実に使用できる組織を提供すると信頼されているコアの領域を示す、デフォルト設定のユーザ調整可能なハッシュマークを表示する工程を含む、方法。
【0179】
条項３７．ディスプレイデバイスにおいて器官若しくは身体の一部の少なくとも一つの画像を提供することにより、リアルタイムセグメンテーション技術を実行するステップと、前記ディスプレイデバイスから前記器官、空洞、病変、膿瘍、身体の一部若しくは他の３Ｄオブジェクトの、アウトラインのトレースのフォームでユーザ入力を受信するステップと、前記アウトラインの前記トレースを３次元患者空間に相関させるステップと、及び、前記器官又は身体の一部に関連する処置のためのガイダンスを提供するステップとを含む、方法。
【0180】
条項３８．処置のためのガイダンスを提供するステップは、複数のコアを含む仮想テンプレートを表示することと、及び、前記コアの追加のものがサンプリングされるべき場所及び方向を示すアラートを生成することと、を含む、条項３７に記載の方法。
【0181】
条項３９．バイオプシ器具と、及び、バイオプシ器具クリップとを含み、前記バイオプシ器具クリップは容器若しくはスイッチを含み、前記容器若しくはスイッチは前記バイオプシ器具に相対して配置され、前記バイオプシ器具は、前記バイオプシ器具クリップを使用して前記バイオプシ器具のトリガを検出し、バイオプシコアがサンプリングされたことを示す前記バイオプシ器具トリガスライドが押された又は作動した瞬間に、ガイダンスアプリケーションを実行するコンピューティングデバイスに信号を送信するように、構成されている、システム。
【0182】
条項４０．前記スイッチは、前記バイオプシ器具のトリガスライドが前記バイオプシ器具を発射するために前方に押されたときに作動する、前記バイオプシ器具クリップ内の物理的なスイッチを含む、条項３９に記載のシステム。
【0183】
条項４１．前記トリガスイッチは、発射中に前記スイッチがオペレータの指に干渉しないような形状のハウジングに配置される、条項３９～４１に記載のシステム。
【0184】
条項４２．経直腸超音波プローブなどの、処置若しくはバイオプシツールに取り付けられ、前記ツールの方向の表示を提供する、バブルレベル。
【0185】
条項４３．身体内に導入することができ、（電磁トラッキングのためのコバルトクロムやチタンなど）トラッキングを妨げない材料で作られたツール若しくはニードルを受け取る剛性の高いニードルシースは、シースに取り付けられた６自由度（６－ＤＯＦ）センサを介してトラッキングされ、導入されたツールやニードルの位置及び方向を推測する。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A-9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
