IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイオセンス・ウエブスター・(イスラエル)・リミテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-17
(45)【発行日】2025-02-26
(54)【発明の名称】3D経路探索の可視化
(51)【国際特許分類】
   A61B 6/12 20060101AFI20250218BHJP
   A61B 6/03 20060101ALI20250218BHJP
   A61B 6/46 20240101ALI20250218BHJP
【FI】
A61B6/12
A61B6/03 560G
A61B6/46 536Q
【請求項の数】 22
(21)【出願番号】P 2022538967
(86)(22)【出願日】2020-11-25
(65)【公表番号】
(43)【公表日】2023-03-02
(86)【国際出願番号】 IB2020061127
(87)【国際公開番号】W WO2021130572
(87)【国際公開日】2021-07-01
【審査請求日】2023-10-04
(31)【優先権主張番号】16/726,661
(32)【優先日】2019-12-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・(イスラエル)・リミテッド
【氏名又は名称原語表記】Biosense Webster (Israel), Ltd.
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】レヴィ・モラン
(72)【発明者】
【氏名】グリナー・バディム
(72)【発明者】
【氏名】ボウメンディル・アロン
(72)【発明者】
【氏名】パルティ・ヤイル
(72)【発明者】
【氏名】ベッタン・レミ
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2018-183589(JP,A)
【文献】特表2018-532467(JP,A)
【文献】特開2017-006671(JP,A)
【文献】特表2002-538915(JP,A)
【文献】米国特許出願公開第2008/0118117(US,A1)
【文献】米国特許出願公開第2005/0272999(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
医療装置であって、
患者の身体内の導管内で移動するように構成されている、医療機器と、
前記身体内の前記医療機器の座標を追跡するように構成されている、位置追跡システムと、
ディスプレイスクリーンと、
プロセッサであって、
前記位置追跡システムと、前記身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
所与の開始点から所与の終点まで前記導管を通る前記医療機器の3D経路を見出すことと、
前記3D経路のセグメントを計算することと、
前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記医療機器の前記追跡された座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、前記ディスプレイスクリーン上にレンダリングし、表示することと、を行うように構成されている、プロセッサと、を備え、
前記プロセッサが、閾値転回を上回る前記3D経路内の転回点を見出すことと、前記見出された転回点に応答して、前記3D経路の前記セグメント及び前記それぞれの仮想カメラの前記3D経路に沿った前記それぞれの異なる場所を計算することと、を行うように構成されている、装置。
【請求項2】
前記プロセッサが、限界を超える前記仮想カメラのうちの隣接するカメラの間の距離に応答して、前記セグメントのうちの1つの中央に前記仮想カメラのうちの少なくとも1つを位置決めすることを行うように構成されている、請求項1に記載の装置。
【請求項3】
前記プロセッサが、前記仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、前記見通し線が遮断されていることに応答して、前記2つの隣接する仮想カメラ間に前記仮想カメラのうちの少なくとも1つを位置決めすることと、を行うように構成されている、請求項1に記載の装置。
【請求項4】
前記プロセッサが、n次元ポリラインの単純化に基づいて、前記セグメントを計算することを行うように構成されている、請求項1に記載の装置。
【請求項5】
前記n次元ポリラインの単純化が、Ramer-Douglas-Peuckerアルゴリズムを含む、請求項4に記載の装置。
【請求項6】
前記プロセッサが、
前記仮想カメラのうちのそれぞれ1つに関してそれぞれの二等分線を計算することと、
前記医療機器の前記追跡された座標が、前記追跡された座標に最も近い前記仮想カメラのうちのそれぞれ1つの前記二等分線に関してどちら側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、を行うように構成されている、請求項1に記載の装置。
【請求項7】
前記プロセッサが、前記3D経路上の前記仮想カメラのうちのそれぞれ1つの前記場所において、前記3D経路に対して垂直なそれぞれの平面として、前記それぞれの二等分線を計算することを行うように構成されている、請求項6に記載の装置。
【請求項8】
前記プロセッサが、
前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つから、前記3D経路に沿った異なる点までベクトルの平均方向を計算することと、
前記計算された平均方向に応答して、前記仮想カメラのうちの前記それぞれ1つの前記配向を計算することと、を行うように構成されている、請求項1に記載の装置。
【請求項9】
前記プロセッサが、前記仮想カメラのうちの前記それぞれ1つの前記場所を、前記計算された平均方向と反対方向にシフトさせることを行うように構成されている、請求項8に記載の装置。
【請求項10】
前記プロセッサが、前記仮想カメラのうちの2つのカメラの間に配設された複数の追加の仮想カメラのそれぞれの場所から視認された、前記身体内の前記導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、前記仮想カメラのうちの前記2つのカメラの前記仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、前記ディスプレイスクリーン上にレンダリングし、表示することを行うように構成されていて、前記2つのカメラは、現在の仮想カメラと、次の仮想カメラである、請求項1に記載の装置。
【請求項11】
前記位置追跡システムが、前記身体の前記一部の周囲に位置決めされた1つ又は2つ以上の磁場発生器、及び前記医療機器の遠位端部における磁場センサを含む、電磁追跡システムを含む、請求項1に記載の装置。
【請求項12】
医療装置の作動方法であって、
前記医療装置のプロセッサが、前記医療装置の位置追跡システムと患者の身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
前記プロセッサが、所与の開始点から所与の終点まで前記身体内の導管を通る前記医療装置の医療機器の3D経路を見出すことと、
前記プロセッサが、前記3D経路のセグメントを計算することと、
前記プロセッサが、前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記プロセッサが、前記医療装置の前記位置追跡システムを使用して追跡された患者の身体内の前記医療機器座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記プロセッサが、前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記プロセッサが、前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、前記医療装置のディスプレイスクリーン上にレンダリングし、表示することと、を含み、
前記プロセッサが、閾値転回を上回る前記3D経路内の転回点を見出すことを更に含み、前記セグメントを前記計算することが、前記見出された転回点に応答して、前記3D経路の前記セグメント及び前記それぞれの仮想カメラの前記3D経路に沿った前記それぞれの異なる場所を計算することを含む、医療装置の作動方法。
【請求項13】
前記プロセッサが、限界を超える前記仮想カメラのうちの隣接するカメラの間の距離に応答して、前記セグメントのうちの1つの中央に前記仮想カメラのうちの少なくとも1つを位置決めすることを更に含む、請求項12に記載の方法。
【請求項14】
前記プロセッサが、前記仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、前記見通し線が遮断されていることに応答して、前記2つの隣接する仮想カメラの間に前記仮想カメラのうちの少なくとも1つを位置決めすることと、を更に含む、請求項12に記載の方法。
【請求項15】
前記プロセッサが、n次元ポリラインの単純化に基づいて、前記セグメントを計算することを更に含む、請求項12に記載の方法。
【請求項16】
前記n次元ポリラインの単純化が、Ramer-Douglas-Peuckerアルゴリズムを含む、請求項15に記載の方法。
【請求項17】
前記プロセッサが、前記仮想カメラのうちのそれぞれ1つに対するそれぞれの二等分線を計算することを更に含み、前記選択することは、前記医療機器の前記追跡された座標が、前記追跡された座標に最も近い前記仮想カメラのうちのそれぞれ1つの前記二等分線に関してどちらの側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することを含む、請求項12に記載の方法。
【請求項18】
前記それぞれの二等分線を前記計算することが、前記3D経路上の前記仮想カメラのうちのそれぞれ1つの前記場所において、前記3D経路に対して垂直なそれぞれの平面として、前記それぞれの二等分線を計算することを含む、請求項17に記載の方法。
【請求項19】
前記プロセッサが、前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つから、前記3D経路に沿った異なる点までベクトルの平均方向を計算することを更に含み、前記それぞれの配向を計算することが、前記計算された平均方向に応答して、前記仮想カメラのうちの前記それぞれ1つの前記配向を計算することを含む、請求項12に記載の方法。
【請求項20】
前記プロセッサが、前記仮想カメラのうちの前記それぞれ1つの前記場所を、前記計算された平均方向と反対方向にシフトさせることを更に含む、請求項19に記載の方法。
【請求項21】
前記仮想カメラのうちの2つのカメラの間に配設された複数の追加の仮想カメラのそれぞれの場所から視認された、前記身体内の前記導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、前記仮想カメラのうちの前記2つのカメラの前記仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、前記ディスプレイスクリーン上にレンダリングし、表示することを更に含み、前記2つのカメラは、現在の仮想カメラと、次の仮想カメラである、請求項12に記載の方法。
【請求項22】
プログラム命令が記憶されている非一時的なコンピュータ可読媒体を含むソフトウェア製品であって、前記命令が、中央処理装置(CPU)によって読み取られると、前記CPUに、
位置追跡システムを使用して、患者の身体内の医療機器の座標を追跡することであって、前記医療機器が、前記患者の前記身体内の導管内で移動するように構成されている、追跡することと、
前記位置追跡システムと、前記身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
所与の開始点から所与の終点まで前記導管を通る前記医療機器の3D経路を見出すことと、
前記3D経路のセグメントを計算することと、
前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記医療機器の前記追跡された座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された、前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、閾値転回を上回る前記3D経路内の転回点を見出すことと、前記見出された転回点に応答して、前記3D経路の前記セグメント及び前記それぞれの仮想カメラの前記3D経路に沿った前記それぞれの異なる場所を計算することと、を行わせる、ソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療システムに関し、具体的には、非限定的に、経路の可視化に関する。
【背景技術】
【0002】
画像誘導手術(image-guided surgery、IGS)において、医療専門家は、外科処置の最中に器具の位置及び/又は配向が患者の解剖学的構造の画像上に提示され得るように、身体内にリアルタイムで追跡される器具を使用する。多数のIGSシナリオでは、患者の画像は、磁気共鳴画像法(magnetic resonance imaging、MRI)又はコンピュータ断層撮影法(computerized tomography、CT)などの1つのモダリティで作成され、器具による追跡では、電磁気追跡などの異なるモダリティが使用される。その追跡が効果的となるために、2つのモダリティの基準フレームが、互いに対して位置合わせされる。
【0003】
Bronsteinらの米国特許出願公開第2011/0236868号は、画像誘導手技のコンピュータ化されたシミュレーションを実施する方法を記載する。この方法は、特定の患者の医療画像データを受信することを含み得る。特定の患者の解剖学的構造の患者固有のデジタル画像ベースのモデルは、医療画像データに基づいて生成され得る。画像誘導手技のコンピュータ化されたシミュレーションは、デジタル画像ベースのモデルを使用して実施され得る。医療画像データ、画像ベースのモデル、及び模擬医療器具モデルが、同時に表示され得る。
【0004】
Walkerらの米国特許出願公開第2017/0151027号は、解剖学的空間内の標的にロボット支援により可撓性医療機器を駆動するためのシステム及び方法を記載する。可撓性器具は、内部に埋め込まれた追跡センサを有し得る。関連するロボット制御システムが提供され得、これは、追跡センサからのデータを使用して、可撓性器具を解剖学的画像に位置合わせし、識別された標的に向かって器具をナビゲートするために好適な1つ又は2つ以上の移動を識別するように構成される。いくつかの実施形態では、ロボット制御システムは、可撓性器具を標的へと駆動する、又は可撓性器具を標的へと駆動することを支援する。
【0005】
Averbuchらの米国特許出願公開第2016/0174874号は、センサベースのアプローチを使用して、初期位置合わせを確立し、内視鏡のナビゲーションの開始時に、内視鏡の場所と事前に入手された画像との間の位置合わせをより正確に維持するために、画像ベースの位置合わせ方法が使用される、位置合わせ方法を記載する。6自由度位置特定センサが、内視鏡から取得されたリアルタイム画像と比較しなければならない、事前に入手された画像の数を低減させるために、プローブ上に設置される。
【0006】
Bitterらの米国特許出願公開第2005/0228250号は、解剖学的領域の対応する二次元及び三次元画像を視認するために複数のビューに分割された画像領域を含む、ユーザインターフェースを記載する。ツール制御ペインは、同時に開かれ、アクセス可能であり得る。セグメント化ペインは、ユーザ指定の強度範囲内の、又は所定の強度に基づいて、表示された画像の構成要素の自動セグメント化を可能にする。
【0007】
Dachilleらの米国特許出願公開第2007/0276214号は、医療画像の自動化されたセグメント化及び可視化のための撮像システムを記載し、システムは、画像データ内の標的オブジェクトを識別し、かつ特定されたプロトコルに従って画像データを処理するための一組の指令を使用して画像データを自動的に処理するための画像処理モジュールと、1つ又は2つ以上の指令に基づいて、標的オブジェクトの1つ又は2つ以上の画像を自動的に生成するためのレンダリングモジュールと、1つ又は2つ以上の生成された画像を記憶するためのデジタルアーカイブと、を含む。画像データは、DICOMフォーマット画像データ)であってよく、画像処理モジュールは、画像データのDICOMフィールド内のメタデータを抽出及び処理して、標的オブジェクトを識別する。画像処理モジュールは、1つ又は2つ以上の指令によって指定された処理パラメータを使用して、標的オブジェクトをセグメント化するようにセグメント化モジュールに指示する。
【0008】
Yanofらの米国特許第5,371,778号は、対象の体積領域を非侵襲的に検査し、それを示す体積画像データを生成するCTスキャナを記載する。オブジェクトメモリは、体積領域の各ボクセルに対応するデータ値を記憶する。アフィン変換アルゴリズムは、体積領域の可視面上で動作して、画像空間内の視認平面上へ、オブジェクト空間からの面を面の投影に並進させる。オペレータ制御コンソールは、視認平面、すなわちビデオ表示の平面に対する体積領域の投影画像の角度配向を選択するためのオペレータ制御部を含む。カーソル位置決めトラックボールは、画像空間内にi-及びj-座標の場所を入力し、これが投影画像上のカーソル十字表示に変換される。視認平面と視認平面に対して垂直な視認方向における体積領域との間の深さ寸法kが、判定される。カーソルの(i,j,k)画像空間の場所は、選択された変換の逆に動作して、対応する(x,y,z)カーソル座標をオブジェクト空間内で識別する。オブジェクト空間内のカーソル座標は、体積領域を通る横方向、冠状、及び矢状平面のためのオブジェクトメモリの対応するアドレスに変換される。
【0009】
Glinerらの米国特許第10,188,465号は、患者の身体の少なくとも一部のコンピュータ断層撮影スキャンを受信することと、内部に挿入されたプローブによって横断可能である、身体内の領域に対応するスキャンのボクセルを識別することと、を含む方法を記載する。この方法はまた、スキャンをスクリーン上に表示することと、プローブ用の選択された開始点及び終了点をその上にマーキングすることと、を含む。プロセッサは、開始点から、識別されたボクセルの接続された組からなる終点までの経路を見つける。プロセッサはまた、スキャンを使用して、身体の外面の表現を生成し、スクリーン上にその表現を表示する。次いで、プロセッサは、経路を取り囲む外面の領域を、表示された表現内で局所的に透明化するようにレンダリングし、経路の近くにおいて身体の内部構造をスクリーン上で可視にする。
【0010】
Altmannらの米国特許出願公開第2018/0303550号は、共通の基準フレーム内に、位置追跡システムと、患者の身体の少なくとも一部の三次元(three-dimensional、3D)コンピュータ断層撮影(CT)画像とを位置合わせすることを含む方法を記載する。少なくとも1つの仮想カメラの場所及び配向が、共通の基準フレーム内で指定される。身体内の導管内で移動する医療器具の座標は、位置追跡システムを使用して追跡される。指定された場所及び配向からの、身体内の導管の、3D CT画像に基づく仮想内視鏡画像が、追跡された座標に従って仮想内視鏡画像中に位置決めされた医療用具の動画による表示を含めて、レンダリングされ表示される。
【発明の概要】
【課題を解決するための手段】
【0011】
本開示の一実施形態によれば、患者の身体内の導管内で移動するように構成されている、医療機器と、身体内の医療機器の座標を追跡するように構成されている、位置追跡システムと、ディスプレイスクリーンと、プロセッサであって、位置追跡システムと、身体の少なくとも一部の三次元(three-dimensional、3D)コンピュータ断層撮影(computerized tomography、CT)画像とを共通の基準フレーム内で位置合わせすることと、所与の開始点から所与の終点まで導管を通る医療機器の3D経路を見出すことと、3D経路のセグメントを計算することと、計算されたセグメントに応答して、それぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算することと、医療機器の追跡された座標及び共通の基準フレーム内のそれぞれの仮想カメラのそれぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするためのそれぞれの仮想カメラを選択することと、それぞれの仮想カメラのそれぞれの配向を計算することと、追跡された座標に従ってそれぞれの仮想内視鏡画像内に位置決めされた医療機器の動画表現を含む、3D CT画像に基づく、それぞれの仮想カメラのそれぞれの場所及びそれぞれの配向から視認された身体内の導管のそれぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、を行うように構成されている、プロセッサと、を含む医療装置が提供される。
【0012】
更に、本開示の一実施形態によれば、プロセッサは、閾値転回を上回る3D経路内の転回点を見出すことと、見出された転回点に応答して、3D経路のセグメント及びそれぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算することと、を行うように構成されている。
【0013】
また更に、本開示の一実施形態によれば、プロセッサは、限界を超える仮想カメラのうちの隣接するカメラの間の距離に応答して、セグメントのうちの1つの中央に仮想カメラのうちの少なくとも1つを位置決めすることを行うように構成されている。
【0014】
加えて、本開示の一実施形態によれば、プロセッサは、仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、見通し線が遮断されていることに応答して、2つの隣接する仮想カメラの間に仮想カメラのうちの少なくとも1つを位置決めすることと、を行うように構成されている。
【0015】
その上、本開示の一実施形態によれば、プロセッサは、n次元ポリラインの単純化に基づいてセグメントを計算することを行うように構成されている。
【0016】
更に、本開示の一実施形態によれば、n次元ポリラインの単純化は、Ramer-Douglas-Peuckerアルゴリズムを含む。
【0017】
また更に、本開示の一実施形態によれば、プロセッサは、仮想カメラのうちのそれぞれ1つに関してそれぞれの二等分線を計算することと、医療機器の追跡された座標が、追跡された座標に最も近い仮想カメラのうちのそれぞれ1つの二等分線のうちのそれぞれ1つに関してどちら側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするためのそれぞれの仮想カメラを選択することと、を行うように構成されている。
【0018】
加えて、本開示の一実施形態によれば、プロセッサは、3D経路上の仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つにおいて、3D経路に対して垂直なそれぞれの平面として、それぞれの二等分線を計算することを行うように構成されている。
【0019】
更に、本開示の一実施形態によれば、プロセッサは、仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つから、3D経路に沿った異なる点までベクトルの平均方向を計算することと、計算された平均方向に応答して、仮想カメラのうちのそれぞれ1つの配向のうちのそれぞれ1つを計算することと、を行うように構成されている。
【0020】
更に、本開示の一実施形態によれば、プロセッサは、仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つを、計算された平均方向と反対方向にシフトさせることを行うように構成されている。
【0021】
また更に、本開示の一実施形態によれば、プロセッサは、仮想カメラのうちの2つのそれぞれの隣接するカメラの間に配設されたそれぞれの追加の仮想カメラのそれぞれの場所から視認された、身体内の導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、仮想カメラのうちの2つのそれぞれの隣接するカメラの仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、ディスプレイスクリーン上にレンダリングし、表示することを行なうように構成されている。
【0022】
加えて、本開示の一実施形態によれば、位置追跡システムは、身体の一部の周囲に位置決めされた1つ又は2つ以上の磁場発生器、及び医療機器の遠位端部における磁場センサを含む、電磁追跡システムを含む。
【0023】
また、本開示の別の実施形態によれば、医療方法であって、位置追跡システムを使用して患者の身体内の医療機器の座標を追跡することであって、医療機器が、患者の身体内の導管内で移動するように構成されている、追跡することと、位置追跡システムと身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、所与の開始点から所与の終点まで導管を通る医療機器の3D経路を見出すことと、3D経路のセグメントを計算することと、計算されたセグメントに応答して、それぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算することと、医療機器の追跡された座標及び共通の基準フレーム内のそれぞれの仮想カメラのそれぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするためのそれぞれの仮想カメラを選択することと、それぞれの仮想カメラのそれぞれの配向を計算することと、追跡された座標に従ってそれぞれの仮想内視鏡画像内に位置決めされた医療機器の動画表現を含む、3D CT画像に基づく、それぞれの仮想カメラのそれぞれの場所及びそれぞれの配向から視認された身体内の導管のそれぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、を含む、方法が提供される。
【0024】
更に、本開示の一実施形態によれば、本方法は、閾値転回を上回る3D経路内の転回点を見出すことを含み、セグメントを計算することは、見出された転回点に応答して、3D経路のセグメント及びそれぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算することを含む。
【0025】
更に、本開示の一実施形態によれば、本方法は、限界を超える仮想カメラのうちの隣接するカメラの間の距離に応答して、セグメントのうちの1つの中央に仮想カメラのうちの少なくとも1つを位置決めすることを含む。
【0026】
また更に、本開示の一実施形態によれば、本方法は、仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、見通し線が遮断されていることに応答して、2つの隣接する仮想カメラの間に仮想カメラのうちの少なくとも1つを位置決めすることと、を含む。
【0027】
加えて、本開示の一実施形態によれば、方法は、n次元ポリラインの単純化に基づいて、セグメントを計算することを含む。
【0028】
その上、本開示の一実施形態によれば、n次元ポリラインの単純化は、Ramer-Douglas-Peuckerアルゴリズムを含む。
【0029】
更に、本開示の一実施形態によれば、本方法は、仮想カメラのうちのそれぞれ1つに対するそれぞれの二等分線を計算することを含み、選択することは、医療機器の追跡された座標が、追跡された座標に最も近い仮想カメラのうちのそれぞれ1つの二等分線のうちのそれぞれ1つに関してどちらの側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするためのそれぞれの仮想カメラを選択することを含む。
【0030】
また更に、本開示の一実施形態によれば、それぞれの二等分線を計算することは、3D経路上の仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つにおいて、3D経路に対して垂直なそれぞれの平面として、それぞれの二等分線を計算することを含む。
【0031】
加えて、本開示の一実施形態によれば、本方法は、仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つから、3D経路に沿った異なる点までベクトルの平均方向を計算することを含み、それぞれの配向を計算することは、計算された平均方向に応答して、仮想カメラのうちのそれぞれ1つの配向のうちのそれぞれ1つを計算することを含む。
【0032】
更に、本開示の一実施形態によれば、本方法は、仮想カメラのうちのそれぞれ1つの場所のうちのそれぞれ1つを、計算された平均方向と反対方向にシフトさせることを含む。
【0033】
更に、本開示の一実施形態によれば、本方法は、仮想カメラのうちの2つのそれぞれ隣接するカメラの間に配設されたそれぞれの追加の仮想カメラのそれぞれの場所から視認された、身体内の導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、仮想カメラのうちの2つのそれぞれ隣接するカメラの仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、ディスプレイスクリーン上にレンダリングし、表示することを含む。
【0034】
また、本開示の更に別の実施形態によれば、プログラム命令が記憶されている非一時的なコンピュータ可読媒体を含むソフトウェア製品であって、命令は、中央処理装置(central processing unit、CPU)によって読み取られると、CPUに、位置追跡システムを使用して、患者の身体内の医療機器の座標を追跡することであって、医療機器が、患者の身体内の導管内で移動するように構成されている、追跡することと、位置追跡システムと、身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、所与の開始点から所与の終点まで導管を通る医療機器の3D経路を見出すことと、3D経路のセグメントを計算することと、計算されたセグメントに応答して、それぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算することと、医療機器の追跡された座標及び共通の基準フレーム内のそれぞれの仮想カメラのそれぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするためのそれぞれの仮想カメラを選択することと、それぞれの仮想カメラのそれぞれの配向を計算することと、追跡された座標に従ってそれぞれの仮想内視鏡画像内に位置決めされた医療機器の動画表現を含む、3D CT画像に基づく、それぞれの仮想カメラのそれぞれの場所及びそれぞれの配向から視認された、身体内の導管のそれぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、を行わせる、非一時的なコンピュータ可読媒体を含む、ソフトウェア製品が提供される。
【図面の簡単な説明】
【0035】
本発明は、添付の図面と併せて、以下の詳細な説明から理解されよう。
図1】本発明の一実施形態に従って構築され動作する医療システムの部分絵画部分ブロック図である。
図2】本発明の一実施形態による、図1の装置で使用するための三次元経路可視化の方法における工程を含むフローチャートである。
図3図1の装置を使用して導管を通る経路を見出す方法の工程を含むフローチャートである。
図4図3のフローチャートがある場合の方法の工程を例解する概略図である。
図5図3のフローチャートがある場合の方法の工程を例解する概略図である。
図6図3のフローチャートがある場合の方法の工程を例解する概略図である。
図7図3のフローチャートがある場合の方法の工程を例解する概略図である。
図8図3のフローチャートがある場合の方法の工程を例解する概略図である。
図9図3のフローチャートがある場合の方法の工程を例解する概略図である。
図10】経路のセグメントを計算し、図1の装置における使用のための経路に沿った仮想カメラの場所を計算する方法における工程を含むフローチャートである。
図11図10のフローチャートの方法の工程を例解する概略図である。
図12図10のフローチャートの方法の工程を例解する概略図である。
図13図1の装置における使用のためのカメラを選択する方法における工程を含むフローチャートである。
図14図13のフローチャートの方法の工程を例解する概略図である。
図15図13のフローチャートの方法の工程を例解する概略図である。
図16図1の装置における使用のための、配向を計算し、仮想カメラの場所をシフトする方法における工程を含むフローチャートである。
図17図16のフローチャートの方法の工程を例解する概略図である。
図18図16のフローチャートの方法の工程を例解する概略図である。
図19図1の装置における使用のための遷移をレンダリングする方法における工程を含むフローチャートである。
図20図19のフローチャートの方法の工程を例解する概略図である。
図21図1の装置によってレンダリング及び表示された概略仮想内視鏡画像である。
図22図1の装置によってレンダリング及び表示された概略仮想内視鏡画像である。
図23図1の装置によってレンダリング及び表示された概略仮想内視鏡画像である。
【発明を実施するための形態】
【0036】
概論
鼻腔形成術(sinuplasty)の手術などの鼻腔内での医療手技中に、洞内に内視鏡を挿入することなく、発生していることを直接可視化することは不可能である。しかしながら、内視鏡の挿入は、狭い空間が関わるため、及び内視鏡に追加費用がかかるために、問題がある。更に、鼻腔中で使用するための内視鏡は、通常、柔軟性に乏しい器具であり、この器具は、回転したり、洞腔から洞の開口部への逆方向の画像を提供したりすることができない。
【0037】
本明細書に記載される本発明の実施形態は、鼻腔内の仮想カメラの場所に位置決めされた実際の内視鏡によって見られ得るものと同様に、仮想カメラからの手技の仮想内視鏡ビューを生成することによって、この問題に対処する。仮想内視鏡ビューは、解剖学的構造、並びに解剖学的構造を通って移動する医療機器を示す。医療機器が導管に沿って移動する際、仮想内視鏡ビューを生成するために使用される仮想カメラは、医療機器の追跡された座標に応答して、1つの仮想カメラから他の仮想カメラに移る。
【0038】
これらの仮想内視鏡ビューは、例えば、解剖学的構造に対するガイドワイヤ、並びに吸引器具又は剃毛器具(デブリーダ)などの他の機器の場所及び配向の可視化に使用され得る。
【0039】
1つの仮想カメラから他の仮想カメラに移動することは、仮想カメラを医療機器の遠位先端部上に設置するよりも安定した解剖学的構造のビューを提供する。というのも、遠位先端部に仮想カメラを設置するとカメラは常に「移動」するため、解剖学的構造のビデオは激しく揺れたり不安定になったりして、追うことが非常に難しい。
【0040】
更に、本明細書の以下に開示されている実施形態は、鼻腔内での可視化を特に対象としているが、本発明の原理は、身体内、特に、実際の光学内視鏡が利用できないか又は使用が困難な狭い通路における、別の空間内にも同様に適用されてもよい。
【0041】
医療手技の前に、鼻洞を含む患者の頭部のCT画像が入手され、電磁追跡システムなどの位置追跡システムが、CT画像と位置合わせされる。位置センサは、ガイドワイヤ又は他の機器の遠位端部に取り付けられており、遠位端部は、それゆえ、鼻洞に挿入される際、位置合わせされたCT画像に対して、場所及び配向が追跡される。頭部のCT画像は、鼻腔の3D体積の画像を生成して表示するために加工される。
【0042】
この3D体積の内部で、鼻腔形成術手技を実施する外科医などの撮像システムのオペレータは、医療機器をそれに沿ってナビゲートする3D経路の開始点及び終点を選択することができる。開始点から終点までの好適な3D経路は、例えば、経路探索アルゴリズム及びどのCT画像のボクセルが、空気又は液体などの横断に好適な物質を含むかを示す、CT画像からのデータを使用して計算される。
【0043】
計算された3D経路は、セグメント間の転回点が閾値転回の値を上回るセグメントに自動的に分割される。仮想カメラは、これらの転回点の周囲に位置決めされる。転回点に位置決めされた仮想カメラの間に見通し線がない場合、及び/又は転回点間の距離が所与の値を超える場合、追加の仮想カメラが、転回点間に自動的に位置決めされ得る。
【0044】
各仮想カメラの光軸の配向が、計算される。配向は、任意の好適な方法を使用して計算され得る。いくつかの実施形態では、配向は、仮想カメラから次の仮想カメラまでの経路に沿った場所へのベクトルの平均方向に基づいて、計算され得る。他の実施形態では、配向は、それぞれの仮想カメラの場所における経路に対して平行な方向として計算され得る。仮想カメラの視野は、例えば、90度若しくは任意の好適な値に固定され得るか、又は経路からの逸脱を可能にするために追加の許容範囲を有するそれぞれの仮想カメラによって提供される経路の関連するセグメントの外側限界に従って設定され得る。
【0045】
いくつかの実施形態では、仮想カメラの場所は、計算された平均方向と反対方向に後方にシフトされ得る。仮想カメラは、例えば、カメラが組織又は骨などの固体物質に対して後ろにシフトされるまで、任意の好適な距離だけ後ろにシフトされ得る。仮想カメラを後ろにシフトさせることにより、特に医療機器がそれぞれの仮想カメラに非常に近いときに、それぞれの仮想内視鏡画像内の医療機器のより良好なビューをもたらし得、かつ周辺の解剖学的構造のより良いビューをもたらし得る。
【0046】
医療ツールが導管を通って移動する際、それぞれの仮想カメラは、カメラ選択方法に従って、それぞれの仮想内視鏡画像をレンダリングして表示するために選択される。いくつかの実施形態では、カメラ選択方法は、医療機器の追跡された座標に最も近いカメラを見出すこと、次いで、追跡された座標が、最も近いカメラと関連付けられた二等分線(平面)のどちらの側に当てはまるかを見出すことを含む。追跡された座標が、最も近いカメラからの(医療機器の進行方向における)計算された経路の更に下で二等分線の側に当てはまる場合、最も近いカメラが、レンダリングのために選択される。追跡された座標が、現在の仮想カメラに最も近い二等分線の側に当てはまる場合、現在の仮想カメラは、その内視鏡画像を提供し続ける。最も近いカメラと関連付けられた二等分線は、最も近いカメラの点で計算された経路に対して垂直な平面として画定される。他の実施形態では、導管は、追跡された座標が配設される領域に従って、仮想カメラが選択されているセグメントに基づいて、領域に分割され得る。
【0047】
2つの仮想カメラの間の遷移、したがって関連する仮想内視鏡画像の間の遷移は、平滑な遷移であっても、又は鋭い遷移であってもよい。いくつかの実施形態では、2つのそれぞれの仮想カメラの間の平滑な遷移は、2つの仮想カメラの間の経路上の追加の仮想カメラの場所を見出し、次いで、追加の仮想カメラの場所から視認されたそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることによって実施され得る。
【0048】
システムの説明
ここで、本発明の実施形態に従って構築され、動作可能である、医療装置20の部分描写、部分ブロック図である、図1を参照する。以下の説明では、装置20の医療機器21は、患者22に対して医療手技を実施するために使用されることが想定される。医療機器21は、患者22の身体における導管内を移動するように構成される。
【0049】
医療装置20は、身体内の医療機器21の座標を追跡するように構成されている、位置追跡システム23を含む。いくつかの実施形態では、位置追跡システム23は、身体の一部の周囲に位置決めされた1つ又は2つ以上の磁場発生器26、及び医療機器21の遠位端部における1つ又は2つ以上の磁場センサ32を備える、電磁追跡システム25を備える。一実施形態では、磁場センサ32は、磁場センサとして機能し、手技中に電磁追跡システム25によって追跡される、単軸コイル及び二軸コイルを備える。追跡を有効にするため、装置20において、患者22のCT(コンピュータ断層撮影)画像の基準フレームと電磁追跡システム25とが位置合わせされ、図2及び図3を参照してより詳細に説明される。CT画像は、典型的には、磁気共鳴撮像(MRI)画像又は透視画像を含むことができるが、本明細書の説明では、画像は、一例として、透視CT画像を含むことが想定されている。いくつかの実施形態では、位置追跡システム23は、例えば、身体表面電極上の電流若しくはインピーダンス分布に基づいて、又は超音波トランスデューサに基づいて、任意の好適な追跡方法を使用して、医療機器21の座標を追跡し得る。
【0050】
鼻腔手技の前及び手技中に、電磁追跡システム25内に備えられる、磁気放射体アセンブリ24が、患者の頭部の下に位置決めされる。磁気放射体アセンブリ24は、定位置に固定されており、かつ患者22の頭部が位置付けられる領域30に交番磁場を送信する、磁場発生器26を備える。磁場に応答して、領域30内の磁場センサ32の単軸コイルによって生成された電位により、その位置及びその配向を磁気追跡システムの基準フレーム内で測定することを可能にする。位置は、3つの線寸法(3D)で測定することができ、配向は、単軸コイルの対称軸に直交する2つの軸に対して測定することができる。しかしながら、単軸コイルのその対称軸に対する配向は、コイルによって生成された電位から判定することはできない。
【0051】
磁場センサ32の二軸コイルの2つのコイルの各々についても同じである。すなわち、各コイルに関して、3Dの位置は、コイル対称軸に直交する2つの軸に対する配向と同様に測定することができるが、その対称軸に対するコイルの配向を判定することはできない。
【0052】
例として、アセンブリ24の放射体26は、患者22の頭部の周りに、ほぼ蹄鉄形に配置される。しかしながら、アセンブリ24の放射体に関する代替的な構成は当業者には明らかであり、そのような全ての構成は本発明の範囲内に含まれると想定される。
【0053】
手技に先立って、画像の既知の位置(例えば、患者の鼻の先端など)に磁気センサを位置決めすることによって、磁気追跡システムの基準フレームとCT画像との位置合わせが行われてもよい。しかしながら、基準フレームの位置合わせのための任意の他の便利なシステムが、図2を参照してより詳細に説明されるように使用され得る。
【0054】
放射体26及び磁場センサ32を含む、装置20の要素は、システムプロセッサ40の全体的な制御の下にある。プロセッサ40は、コンソール50に装着されてもよく、このコンソールは、マウス又はトラックボールなどのキーパッド及び/又はポインティングデバイスを通常、含む、操作制御部58を備えている。コンソール50は、1つ又は2つ以上のケーブル60を介して及び/又は無線で放射体に及び磁場センサ32に接続する。医師54は、装置20を使用して医療手技を実施しながら、動作制御部58を使用してプロセッサ40と相互作用する。手技を実施している間、プロセッサは、ディスプレイスクリーン56上に手技の結果を提示し得る。
【0055】
プロセッサ40は、メモリ42内に記憶されているソフトウェアを使用して、装置20を動作させる。ソフトウェアは、例えば、ネットワーク上で、プロセッサ40に電子形態でダウンロードすることができ、代替的に若しくは追加的に、ソフトウェアは、磁気メモリ、光学メモリ、若しくは電子メモリなどの、非一時的な有形媒体で提供される、かつ/又は保存することができる。
【0056】
ここで、本発明の一実施形態による、図1の装置20で使用するための三次元経路可視化の方法における工程を含むフローチャート70である、図2を参照する。
【0057】
位置追跡システム23(図1)は、身体内の医療機器21(図1)の遠位端部の座標を追跡するように構成される(ブロック72)。プロセッサ40(図1)は、位置追跡システム23と、身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせするように構成される(ブロック74)。位置合わせは、任意の好適な位置合わせ技術によって実施され得る。例えば、限定されるものではないが、位置合わせ方法は、米国特許出願公開第2017/0020411号、又は同第2019/0046272号に記載される。後者の特許公開物内で記載されるように、例えば、プロセッサ40は、CT画像を解析して、画像内の患者の目のそれぞれの場所を識別してもよく、それにより、これらのそれぞれの場所をつなげる線分を画定する。更に、プロセッサ40は、第1の線分に平行な第2の線分、及び第1の線分に垂直な第3の線分に沿って、頭部の骨区域に重なり合う、CT内のボクセルサブセット(voxel subset)を特定する。医師54は、骨区域付近にプローブを位置決めし、それにより、骨区域に重なり合う頭部の表面上の位置を測定する。プロセッサ40は、CT画像中のこれらの測定された位置とボクセルサブセットとの間の対応を計算し、こうして磁気追跡システム25とCT画像とを位置合わせする。
【0058】
プロセッサ40は、所与の開始点から所与の終点まで導管を通る医療機器21の3D経路を見出すように構成される(ブロック76)。ブロック76の工程は、図3図9の経路探索方法を参照してより詳細に説明される。
【0059】
プロセッサ40は、計算された3D経路のセグメントを計算するように構成される(ブロック78)。プロセッサ40は、計算されたセグメントに応答して、それぞれの仮想カメラの3D経路に沿ったそれぞれの異なる場所を計算するように構成される(ブロック80)。ブロック78及び80の工程は、図10図12を参照してより詳細に説明される。
【0060】
プロセッサ40は、医療機器21の追跡された座標及び共通の基準フレーム内のそれぞれの仮想カメラのそれぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするために、それぞれの仮想カメラを選択するように構成される(ブロック82)。医療機器21が3D経路に沿って移動する際(医療機器21が経路に係止されていないときに経路のいずれかの側にいくらか距離があり得る)、仮想内視鏡画像を提供する仮想カメラは、医療機器21の追跡された座標に従って選択され、制御は、医療機器21が経路に沿って移動する際に1つの仮想カメラから別の仮想カメラに連続して渡される。ブロック82の工程は、例えば、新しい追跡された座標が、10~100ミリ秒の範囲内、例えば、50ミリ秒などで受信されるたびに、断続的に繰り返され得る。ブロック82の工程は、図13図15を参照してより詳細に説明される。
【0061】
プロセッサ40は、それぞれの仮想カメラのそれぞれの配向を計算するように構成される(ブロック84)。カメラの配向は、概して3D配向であり、それぞれの仮想カメラのそれぞれの光軸に対して画定される。換言すると、カメラの配向は、カメラが光学用途のために面する方向の尺度である。仮想カメラの場所はまた、図16及び図18を参照してより詳細に説明されるように、後ろにシフトされてもよい。配向及び/又は後ろへのシフトは、カメラを選択するプロセスの一部として、又は医療機器21が仮想内視鏡画像を現在提供する仮想カメラの視野を離れるときに、カメラが選択される前に計算され得る。
【0062】
プロセッサ40は、3D CT画像に基づく、追跡された座標に従ってそれぞれの仮想内視鏡画像内に位置決めされた医療機器21の動画表現を含む、それぞれの仮想カメラのそれぞれの場所及びそれぞれの配向から視認された身体内の導管のそれぞれの仮想内視鏡画像をディスプレイスクリーン56(図1)にレンダリングし、表示することを行うように構成される(ブロック86)。換言すると、医療機器21の場所及び配向並びに事前に入手したCTデータに基づいて、プロセッサ40は、ブロック86の工程において、それぞれの仮想カメラによって捕捉される際にそれぞれの画像をレンダリングし、ディスプレイスクリーン56上に画像を提示する。所与の任意の選択された仮想カメラによってレンダリングされた画像は、カメラの場所からカメラの仮想画像平面上に可視であり得る3D体積の一部分の投影である。ブロック86の工程は、図21図23を参照してより詳細に説明される。
【0063】
ここで、図1の装置20を使用して導管を通る経路を見出す方法の工程を含むフローチャート90である、図3を参照する。図4図9は、図3のフローチャートの方法の工程を例解する概略図である。フローチャート90を参照して説明される事前計画構成要素は、典型的には、患者22(図1)への侵襲的手術手技の実施前に実装され、手技における侵襲的医療機器21(図1)が通る最適な経路を判定する。事前計画は、医師54(図1)によって実施されると想定される。
【0064】
初期工程(フローチャート90のブロック100)では、患者22の副鼻腔のコンピュータ断層撮影(CT)X線スキャンが実施され、スキャンからのデータは、プロセッサ40によって入手される。当該技術分野で知られているように、スキャンは、患者22の二次元X線「スライス」を含み、スライスのコンビネーションは、三次元ボクセルを生成し、各ボクセルは、CTスキャンによって判定された、放射線密度の尺度であるハウンスフィールド単位(Hounsfield unit)を有する。
【0065】
画像生成工程(ブロック102)では、医師54(図1)は、ディスプレイスクリーン56(図1)上でスキャンの結果を表示する。当該技術分野で知られているように、結果は、典型的には、患者22の矢状平面、冠状平面、及び/又は横断平面に対して平行な平面に沿って、一連の二次元(2D)スライスとして表示され得るが、他の平面も可能である。平面の方向は、医師54によって選択され得る。
【0066】
表示された結果は、典型的には、グレースケール画像であり、一例が図4に提供されるが、これは、患者22の冠状平面に対して平行なスライスである。黒色から白色までのグレースケールの値は、対応するボクセルのハウンスフィールド単位(HU)と相関させることができ、その結果、図4の画像に適用されるように、HU=-1000を有する空気は黒になるように割り当てされ得、HU=3000を有する高密度の骨は、白になるように割り当てられ得る。
【0067】
当該技術分野で知られているように、それぞれ、-1000及び0であるという定義の空気及び水の値は別として、高密度骨などの任意の他の物質又は種のハウンスフィールド単位の値は、とりわけ、本明細書で言及されるCTスキャンを生成するために使用される放射X線のスペクトルに依存する。次に、X線のスペクトルは、X線発生器に印加されるキロボルト(kilovolt、kV)の電位、並びに発生器のアノードの組成を含む、多数の要因に依存する。本開示を明確にするために、特定の物質又は種のハウンスフィールド単位の値は、以下の表Iに示すとおりであると仮定される。
【0068】
【表1】
【0069】
しかしながら、表Iに示される特定の種(空気及び水以外)に対するHUの数値は、純粋に例示的であると理解されるべきであり、当業者は、本明細書で参照されるCT画像を生成するために使用される種及びX線マシンに従って、過度の実験を行うことなく、これらの例示的な値を修正することができよう。
【0070】
典型的には、HU値とグレースケール値との間の変換は、所与のCTマシンからのCTスキャン出力であるDICOM(Digital Imaging and Communications in Medicine)ファイルにエンコードされる。明瞭化のために、以下の説明では、HU=-1000が黒、及びHU=3000が白の相関、並びに対応する中間グレーレベルに対する中間HU値の相関が使用されるが、この相関は純粋に任意であることが理解されるであろう。例えば、相関は「逆」であってもよく、すなわち、HU=-1000は、白色に割り当てられてもよく、HU=3000は、黒に割り当てられ、中間HU値は、対応する中間グレーレベルに割り当てられる。それゆえ、当業者は、ハウンスフィールド単位とグレーレベルとの間の他の相関に対応するために本明細書の説明を適合させることができ、そのような全ての相関は、本発明の範囲内に含まれると想定される。
【0071】
マーキング工程(ブロック104)では、医師54(図1)は、自分が医療機器21(図1)を患者22(図1)に挿入することになる、意図された開始点、及び医療機器21の遠位端部が終端する意図された終点をマークする。2つの点は、同じ2Dスライス上にあってもよい。代替的に、各点は、異なるスライス上にあってもよい。典型的には、必ずしもそうではないが、両方の点は、空気中にあり、すなわち、HU=-1000であり、終点は、多くの場合、必ずしもそうではないが、スライスに示される液体又は組織と空気との接合部である。終点がそのような接合部にない例は、点が空気充填チャンバの中央にあり得るときである。
【0072】
図5は、医師によって同じ2Dスライス上にマークされた開始点150及び終了点152を例解し、明瞭化のために、これらの点は、別様に述べられている場合を除いて、フローチャートの残りの説明で使用される点であることが想定される。典型的には、開始点及び終点は、グレースケールの色ではなく、例えば、赤で表示される。
【0073】
許容可能経路画定工程(ブロック106)では、医師が、以下に言及される経路探索アルゴリズムが、開始点150から終点152までの経路を見出す際に許容可能なボクセル値として使用する、ハウンスフィールド単位の範囲を定義する。定義された範囲は、典型的には、経路内の空気又は空隙に対応する、-1000に等しいHUを含み、定義された範囲はまた、-1000より大きいHUを含み得、例えば、範囲は、式(1)によって与えられるように定義され得る。
{HU│-1000≦HU≦U} (1)
式中、Uは、医師によって選択された値である。
【0074】
例えば、Uは、+45に設定されてもよく、その結果、取得された経路は、水、脂肪、血液、軟組織、並びに空気又は空隙を含み得る。いくつかの実施形態では、範囲は、医師の介入なしにプロセッサ40(図1)によって設定されてもよい。
【0075】
定義された値の範囲が連続範囲であるという要件はなく、範囲は、1つ又は2つ以上のサブ範囲を含む、ばらばらなものであってもよい。いくつかの実施形態では、サブ範囲は、特定のタイプの物質を含むように選択され得る。非同一範囲の一例は、式(2)によって与えられる。
{HU│HU=-1000又はA≦HU≦B} (2)
式中、A、Bは、医師によって選択された値である。
【0076】
例えば、A及びBは、それぞれ-300及び-100に等しくなるように設定されてもよく、その結果、取得される経路は、空気又は空隙並びに軟質組織を含み得る。
【0077】
HUの範囲の選択の方法は、限定されるものではないが、数、及び/又は物質の名称、及び/又はグレースケールを含む、任意の好適な方法を含み得る。例えば、グレースケールによる選択の場合、医師54(図1)は、CT画像の1つ又は2つ以上の領域を選択し得、選択された領域のグレースケール値のHU等価物は、経路探索アルゴリズムによって判定される経路のボクセルに関するHUの許容範囲内に含まれる。
【0078】
名称による選択の場合、命名された種の表が、医師に表示され得る。表示された表は、典型的には、表Iと同様であるが、ハウンスフィールド単位の値を提供する列はない。医師は、表から1つ又は2つ以上の命名された種を選択することができ、その場合、選択された命名された種のHU等価物は、経路探索アルゴリズムによって判定される経路のボクセルに関するHUの許容可能範囲に含まれる。
【0079】
経路探索工程(ブロック108)では、プロセッサ40(図1)は、開始点150と終点152との間に1つ又は2つ以上の最短経路を見出すための経路探索アルゴリズムを実施し、その経路を医療機器21(図1)が通る。アルゴリズムは、経路内の横断可能なボクセルが、ブロック106の工程において定義されたHU範囲内のHUを有する任意のボクセルを含み、この画定された範囲外のHU値を有するボクセルが、見出された任意の経路における障壁として機能することを想定する。使用される経路探索アルゴリズムは、三次元迷路内の最短経路を判定することができる任意の好適なアルゴリズムであり得るが、本発明者らは、フラッドフィルアルゴリズム、ダイクストラのアルゴリズム、又はA*アルゴリズムなどの拡張機能が、フロイドのアルゴリズム又はその変形などの他のアルゴリズムよりも、計算の速度及び最短経路の判定の精度の点でより良好な結果をもたらすことを見出した。
【0080】
いくつかの実施形態では、経路探索工程は、医療機器21(図1)の機械的特性及び寸法を考慮することを含む。例えば、開示された実施形態では、医療機器21は、屈曲するときには、可能な曲率半径の範囲に制限され得る。医療機器21が通る可能性のある経路を判定することにおいて、プロセッサ40(図1)は、経路のどの部分もこの半径範囲未満の半径を画定しないことを確実とする。
【0081】
更に開示された実施形態では、プロセッサ40(図1)は、医療機器21の異なる部分が異なる曲率半径の範囲を可能にする医療機器21(図1)の機械的特性を考慮に入れる。例えば、可能な経路の端部は、医療機器21の近位部分の可能な曲率半径よりも小さい曲率半径を有することがある。しかしながら、医療機器21の遠位端部は、近位部分よりも可撓性が高いことがあり、かつより小さい曲率半径に対応するために十分に可撓性であることがあり、そのため、その可能な経路が、許容可能となる。
【0082】
医療機器21(図1)の可能な曲率半径及び可能な経路の異なる曲率半径を考慮することにおいて、プロセッサ40(図1)は、医療機器21の異なる部分によって横断される必要がある経路の部分、及び医療機器21の遠位端部が開始点150から終点152まで移動する際、医療機器21によって達成可能な曲率半径を考慮に入れる。
【0083】
更に開示された実施形態では、プロセッサ40(図1)は、経路直径Dが、医療機器21の測定された直径dよりも常に大きいことを確実とする。この確認は、例えば、当該技術分野で知られているように、ブロック106の工程において定義された範囲内のボクセルを見出すために、侵食/拡張アルゴリズムを使用して、プロセッサ40によって少なくとも部分的に実装され得る。
【0084】
重ね合わせ工程(ブロック110)では、ブロック108の工程において見出された最短経路は、ディスプレイスクリーン56上に表示される画像上に重ね合わされる。図6は、開始点150と終点152との間の最短経路154を例解し、図5の画像上に重ね合わされている。典型的には、経路154は、グレースケールではない色で表示され、開始点及び終点と同じ色であってもよく、又は同じ色でなくてもよい。ブロック108の工程が2つ以上の最短経路を見出す場合、全てのかかる経路が、典型的には、異なる非グレースケール色で画像上に重ね合わされ得る。
【0085】
典型的には、見出された経路は、2つ以上の2Dスライスを横断し、その場合、重ね合わせは、関連する、すなわち、経路が横断する全ての2Dスライスに、見出された経路を組み込むことによって実施され得る。代替的に、又は追加的に、少なくとも部分的に透明な3D画像は、スキャンの2Dスライスから生成され得、見出された経路は、3D画像上に重ね合わされ得る。以下でより詳細に説明されるように、少なくとも部分的に透明な3D画像は、患者22の外面の表現上に形成され得る。
【0086】
図7は、本発明の一実施形態による、患者22の外面180の表現である。プロセッサ40(図1)は、ブロック100の工程において入手されたCTスキャンデータを使用して、空気が-1000のHU値を有し、一方で皮膚がこれと顕著に異なるHU値を有するという事実を使用することによって、外面の表現を生成する。例として、表現180は、患者22の冠状平面に対して平行な平面上に、すなわち、患者22によって画定された基準フレーム184のx-y平面に対して平行である平面上に形成されることが想定され、その軸はまた、図7及び図8内に描画される。
【0087】
図8は、本発明の一実施形態による、境界平面190及び境界領域192を概略的に例解する。医師54(図1)からの指示の下で、プロセッサ40(図1)は、任意選択的に、透明にレンダリングされる表現180の領域、及び「そのまま」残される領域を描く。描写を実施するために、医師は、領域192のための境界周辺部194を使用して、境界平面190、及び境界平面内の境界領域192を画定する。
【0088】
明瞭化のために、以下の説明は、図8に概略的に例解されるように、境界平面が基準フレーム184のx-y平面に対して平行であることを想定し、以下に与えられる等式を有すると仮定する。
z=zbp (3)
【0089】
以下で説明されるように、プロセッサ40は、境界平面及び境界領域192を使用して、表面180のどの要素が局所的に透明にレンダリングされるべきであり、どの要素がそのようにレンダリングされるべきではないのかを判定する。
【0090】
プロセッサ40は、z軸に沿って投影されたときに、境界領域192内にある、z≧zbpの値を有する表面180(図7)の要素を判定する。次いで、プロセッサ40は、要素を透明にレンダリングし、そのため、その結果として、これらの要素は、表面180内で可視ではなくなる。例えば、図8では、患者22の鼻の先端部196は、値z≧zbpを有し、その結果、患者の鼻の先端部付近の破線198は、表面の画像がディスプレイスクリーン56(図1)上に提示されるときには見えなくなる外面180の部分を例解する。
【0091】
上記で定義された要素が透明にレンダリングされる結果、z<zbpの値を有し、及びz軸に沿って投影されたときに境界領域192内にある表面180の要素がここで可視であり、画像内に表示される。局所透明レンダリングの前は、「現在可視」の要素は、表面要素によって隠されるため、可視ではなかった。現在可視の要素は、図9に例解されるように、最短経路154の要素を含む。
【0092】
図9は、境界領域192(図8)内の表面の要素の局所的な透明度レンダリング後に、ディスプレイスクリーン56(図1)上に表示される表面180を概略的に例解する。明瞭化のために、境界周辺部194(図8)に対応する破線の円194Aは、画像上に重ね合わされ、基準フレーム184もまた図内に描画される。円194A内の要素の透明なレンダリングのために、円内の領域200は、ブロック100の工程において受信されたCT断層撮影データから導出された、患者22(図1)の内部構造を示す。
【0093】
最短経路154もまた、図9に描画されている。円194A内の要素の透明なレンダリングのために、経路の一部分が、ここで表面180の画像内で可視であり、白の実線202として描画されている。不可視である経路の部分は、透明にレンダリングされていない表面180の要素によって隠されているため、白の破線204として示される。
【0094】
図7及び図9に例解される場合、ディスプレイスクリーン56上に示される画像は、x-y平面のz軸に沿って視認されるような患者22のビューであることが理解されよう。
【0095】
上記の説明は、断層撮影データから導出された最短経路を視認するための局所透明性の適用の一例を提供し、この場合の局所透明性は、患者22の冠状平面に平行な平面に対して形成される。断層撮影データの三次元性質により、本発明の実施形態が、患者22を通る実質的に任意の平面に対して形成された局所透明性を使用して最短経路154を視認することができ、基準フレーム184内に画定され得るように、データを操作することができることが理解されよう。
【0096】
局所透明性を形成することにおいて、境界平面190及び境界領域192の寸法及び位置は、医師54(図1)が、最短経路154及び経路154付近の内部構造を視認することもまたできるように変更されてもよい。
【0097】
医師54は、例えば、特定の内部構造の可視性を高めるために、境界平面190の方向を変更してもよい。境界平面190は、典型的には、ディスプレイスクリーン56上に提示された画像の平面に平行であるが、これは必須要件ではなく、そのため、例えば、医師54が特定の構造の更なる詳細を見たい場合、境界平面190を回転させてもよく、こうすると、境界平面は画像平面と平行でなくなる。
【0098】
一部の場合では、ブロック106の工程において選択されたHU値/グレースケールの範囲は、空気以外の領域、例えば、軟組織及び/又は粘液に対応する領域を含む。ブロック108の工程において見出される経路154は、かかる領域を含むことがあり、この場合、医療機器21(図1)が経路154を通るために、これらの領域は、例えば、創傷清拭によって、きれいにされなくてはならない場合がある。任意選択的な警告工程(ブロック112)では、医師54(図1)は、例えば、経路154の関連するセクションをハイライトすることによる、及び/又は他の視覚的若しくは聴覚的手がかりによる、空気中にない経路154の領域が存在する通知を受ける。
【0099】
上記の説明は、CTスキャンがX線スキャンであることを想定したが、本発明の実施形態は、MRI(磁気共鳴画像法)断層撮影画像を使用して、最短経路を見出すことを含むことが理解されよう。
【0100】
それゆえ、フローチャート90に戻って参照すると、MRI画像の場合、ハウンスフィールド値は、直接適用可能ではない場合があり、工程106において、医師54(図1)は、経路探索アルゴリズムが、開始点150から終点152までの経路を見出す際に許容可能なボクセル値として使用する(MRI画像の)グレースケール値の範囲を定義する。ブロック108の工程において、経路探索アルゴリズムは、経路内の横断可能なボクセルが、ブロック106の工程において定義されたグレースケール範囲内のグレースケールを有する任意のボクセルを含み、この定義された範囲外のグレースケール値を有するボクセルが、見出された任意の経路における障壁として機能することを想定する。X線CT画像ではなくMRI画像を使用することに対応するために、上の説明に対する他の変更は、当業者には明らかであり、かかる全ての変更は、本発明の範囲内に含まれるとみなされるべきである。
【0101】
ここで、図10図12を参照する。図10は、経路154のセグメントを計算し、図1の装置20における使用のための経路154に沿った仮想カメラ320の場所を計算する方法における工程を含むフローチャート300である。図11及び図12は、図10のフローチャート300の方法の工程を例解する概略図である。
【0102】
プロセッサ40(図1)は、閾値回転を上回る3D経路154内の転回点324を見出し(ブロック302)、図11内に示されるように、見出された転回点324に応答して、3D経路154のセグメント322及びそれぞれの仮想カメラ320の3D経路154に沿ったそれぞれの異なる場所を計算するように構成される。
【0103】
ここでブロック302の工程のサブ工程を以下で説明する。
【0104】
プロセッサ40(図1)は、n次元ポリラインの単純化に基づいて、セグメント322を計算するように構成される(ブロック304)。いくつかの実施形態では、n次元ポリラインの単純化は、例として、Ramer-Douglas-Peuckerアルゴリズム、Visvalingam-Whyattアルゴリズム、又はReumann-Witkamを含む。n次元ポリラインをより小さい寸法のポリラインに単純化する任意の好適なアルゴリズムが使用されてもよい。アルゴリズムは、典型的には、より大きい転回点324が、転回点324間のセグメント322を画定するように、より大きい転回点を残しながら、小さい転回点を除去する経路154を分析する。経路154から除去される、転回点に対応する閾値転回の値は、使用されているアルゴリズムのパラメータを構成することによって設定され得る。例えば、Ramer-Douglas-Peuckerアルゴリズムの入力パラメータは、約0.08に設定され得る。
【0105】
他の実施形態では、プロセッサ40は、閾値転回の値を下回る転回点が除去されるように、任意の好適なアルゴリズムを使用してセグメント322を計算するように構成される。
【0106】
プロセッサ40(図1)は、セグメント322の間の転回点324に、又はその周りに、並びに経路154の開始点150に、及び任意選択的に終点152に、仮想カメラ320を位置決めするように構成される(ブロック306)。図11は、導管328内の経路154が、1つの転回点324及び2つのセグメント322で単純化されていることを示す。3つの仮想カメラ320は、経路154上の開始点150、転回点324、及び終点152にそれぞれ設置されている。経路154上の(点線の楕円形状326を使用して示される)小さい転回点は、転回点324を残すために、n次元ポリラインの単純化によって除去される。
【0107】
プロセッサ40は、2つの隣接する仮想カメラ320の間の見通し線を確認し、見通し線が遮断されていることに応答して、2つの隣接する仮想カメラ320の間に1つ又は2つ以上の仮想カメラ320を位置決めするように構成される(ブロック308)。見通し線は、3D CT画像のボクセルを検査して、隣接する仮想カメラ320の間の見通し線を遮断する物質が存在するかどうかを判定することによって確認され得る。見通し線を遮断する又は可能にすると考えられる物質のタイプは、図3のブロック106の工程を参照して説明したように、経路154を計算するときに使用されるものと同じであり得る。いくつかの実施形態では、異なる判定基準が使用されてもよい。例えば、医師54は、見通し線を遮断する物質を、骨及び硬組織として設定し得、それによって、空気、液体、及び軟質組織を、見通し線を遮断しない物質として定義する。一部の場合では、医師54は見通し線を遮断する物質を、骨、硬組織、及び軟組織として設定し得る。代替的に、医師54は、見通し線を遮断する物質を指定する代わりに、空気又は液体などの見通し線を遮断しない物質を設定してもよい。いくつかの実施形態では、プロセッサ40は、2つの隣接する仮想カメラ320の間の直接の見通し線が遮断されないことの確認をするように構成される。他の実施形態では、プロセッサ40は、2つの仮想カメラ320の間の見通し線の周囲の所与の許容範囲が遮断されないことの確認を含む、2つの隣接する仮想カメラ320の間の直接の見通し線が遮断されないことの確認をするように構成され得る。見通し線の周囲の所与の許容範囲は、任意の好適な値を有し得る。例えば、図11は、セグメント322-2に沿った仮想カメラ320-2と仮想カメラ320-3との間の見通し線が、組織330の一部分によって遮断されることを示す。図12は、別の仮想カメラ320-4が仮想カメラ320-2と320-3との間に追加されていることを示す。図11はまた、仮想カメラ320-1と320-2との間の直接見通し線は遮断されないが、見通し線周囲の所与の許容範囲を考慮に入れたときに、所与の許容範囲によって拡張された見通し線が、組織332の一部分によって遮断されることを示す。図12は、別の仮想カメラ320-5が、仮想カメラ320-1と320-2との間に追加されていることを示す。追加の仮想カメラ320が追加されると、プロセッサ40は、初期仮想カメラ320プラス追加の仮想カメラ320に基づいて、隣接する仮想カメラ320の間の見通し線(又は拡張された見通し線)を確認し得る。
【0108】
プロセッサ40は、任意選択的に、限界を超える既存の仮想カメラ320の間の距離に応答して、セグメント322のうちの1つ又は2つ以上の中央に1つ又は2つ以上の追加の仮想カメラ320を位置決めするように構成される(ブロック310)。図12は、仮想カメラ320-6及び320-7が、限界を超える既存の仮想カメラ32の0間の距離に応答して、セグメント322-1内に追加されたことを示す。限界は、例えば、限定されるものではないが、4mmなどの、1mm~20mmの範囲内の任意の好適な限界であり得る。追加のカメラ320は、典型的には、既存の仮想カメラ320の間で均一に離間される。
【0109】
ここで、図13図15を参照する。図13は、図1の装置20における使用のためのカメラを選択する方法における工程を含むフローチャート340である。図14及び図15は、図13のフローチャート340の方法の工程を例解する概略図である。
【0110】
プロセッサ40(図1)は、仮想カメラ320のうちのそれぞれ1つについて、それぞれの二等分線350(図14)を計算するように構成される(ブロック342)。いくつかの実施形態では、プロセッサ40は、3D経路154上のそれぞれの仮想カメラ320のそれぞれの場所において、3D経路154に垂直なそれぞれの平面としてそれぞれの二等分線350を計算するように構成される。図14は、仮想カメラ320の各々についての二等分線350を示す。以下のブロック344の工程において説明されるように、二等分線350は、医療機器21がそれぞれの仮想カメラ320に近接する時間まで、経路154が計算された後の任意の時間を計算することができる。
【0111】
プロセッサ40は、医療機器21の追跡された座標及び仮想カメラ320の既知の場所に応答して、医療機器21(図1)の遠位端部に最も近い仮想カメラ320(例えば、仮想カメラ320-7)を見出すように構成される(ブロック344)。プロセッサ40は、最も近い仮想カメラ320(例えば、仮想カメラ320-7)の二等分線350のどちらの側に、追跡された座標が当てはまるかを見出すように構成される(ブロック346)。プロセッサ40は、医療機器21の追跡された座標が、最も近い仮想カメラ320(例えば、仮想カメラ320-7)の二等分線350に関してどちらの側に当てはまるかに基づいて、仮想内視鏡画像のレンダリングに使用するために、仮想カメラ320のうちの1つを選択するように構成される(ブロック348)。追跡された座標が、現在の仮想カメラ320(例えば、仮想カメラ320-6)により近い二等分線350の側に当てはまる場合、現在の仮想カメラ(例えば、仮想カメラ320-6)が依然として使用される。追跡された座標が、現在の仮想カメラ320(例えば、仮想カメラ320-6)から更に離れた二等分線350の側に当てはまる場合、経路に沿った次の仮想カメラ320(すなわち、最も近い仮想カメラ320(例えば、仮想カメラ320-7))が、新しい仮想カメラ320として選択される。ブロック344~ブロック346の工程が断続的に繰り返される。
【0112】
ブロック344~ブロック348の工程が図15に例解される。図15は、2つの仮想カメラ320-6及び320-7を示す。仮想カメラ320-6は、導管328の仮想内視鏡画像をレンダリングして表示するために使用される現在の仮想カメラである。仮想カメラ320-7は、仮想カメラ320-6よりも医療機器21の進行方向に関して経路154の更に下方にある。換言すると、仮想カメラ320-7は、仮想カメラ320-6よりも終点152(図11)により近い。図15は、医療機器21の遠位端部の様々な可能な例示的位置352を示す。全ての位置352は、仮想カメラ320-6よりも仮想カメラ320-7により近い。したがって、図15に示される全ての位置352について、仮想カメラ320-7は、ブロック344の工程において最も近い仮想カメラ320であることが見出される。最も近い仮想カメラ320-7が見出されると、最も近い仮想カメラ320-7の二等分線350に関する医療機器21の遠位端部の位置が、ブロック346の工程において検査される。図15の例では、位置352-6は、仮想カメラ320-6(現在の仮想カメラ)に最も近い二等分線350の側(矢印354で示される)に位置付けられ、位置352-7は、現在の仮想カメラ320-6から更に離れた二等分線350の他方の側(矢印356で示される)にある。図15の例では、ブロック348の工程に従って、医療機器21の遠位端部の追跡された座標が、位置352-6又は同様の位置のいずれかにある場合、現在の仮想カメラ320-6が、選択された仮想カメラとして残る。医療機器21の遠位端部の追跡された座標が位置352-7又は同様の位置のいずれかにある場合、仮想カメラ320-7が、新しい仮想カメラとして選択される。
【0113】
したがって、プロセッサ40は、医療機器21(図1)の追跡された座標(位置352)が追跡された座標に最も近いそれぞれの仮想カメラ320のそれぞれの二等分線350に関してどちらの側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするためにそれぞれの仮想カメラ320を選択するように構成される。
【0114】
他の実施形態では、導管は、追跡された座標が配設される領域に従って、仮想カメラ320が選択されているセグメント322に基づいて、領域に分割され得る。
【0115】
ここで、図1の装置20における使用のための配向を計算し、1つの仮想カメラ320の場所をシフトする方法における工程を含むフローチャート360である、図16を参照する。図17及び図18もまた参照すると、これは、図16のフローチャート360の方法の工程を例解する概略図である。
【0116】
各仮想カメラ320の光軸の配向が計算される。配向は、仮想カメラ320の場所が計算された後、任意の時間で計算され得る。いくつかの実施形態では、仮想カメラ320の配向は、医療機器21(図1)が経路154に沿って移動している際に、各仮想カメラ320が使用のために選択されるように計算され得る。ここで、1つの仮想カメラ320の配向を計算するための1つの方法を以下に説明する。
【0117】
プロセッサ40(図1)は、図17に示されるように、1つの仮想カメラ320-2から別の仮想カメラ320-4への経路154上の場所370を選択するように構成される(ブロック362)。場所370は、仮想カメラ320-4の場所を包括的又は排他的にするように選択され得る。場所370は、セグメント322を仮想カメラ320-2と仮想カメラ320-4との間でサブセグメントに分割することによって選択され得る。代替的に、場所370は、仮想カメラ320-2から各場所370まで経路154に沿った所与の距離を測定することによって選択され得る。いくつかの実施形態では、場所370は、経路154が生成されたときに経路154を画定する点を使用して選択されてもよい。プロセッサ40(図1)は、仮想カメラ320-2から場所370にベクトル372を画定し、図17に示されるように、ベクトル372の平均方向374を計算するように構成される(ブロック364)。したがって、プロセッサ40は、仮想カメラ320-2の場所から、3D経路154に沿った異なる点(例えば、場所370)までのベクトルの平均方向を計算するように構成される。プロセッサ40(図1)は、計算された平均方向374に応答して、仮想カメラ320-2の配向を計算するように構成される(ブロック366)。換言すると、仮想カメラ320の光軸の配向は、平均方向374として計算される。他の実施形態では、配向は、それぞれの仮想カメラ320-2の場所における経路に対して平行な方向として計算され得る。
【0118】
いくつかの実施形態では、それぞれの仮想カメラ320(例えば、仮想カメラ320-2)のそれぞれの場所は、例えば、図18に示されるように、それぞれの仮想カメラ320のそれぞれの平均方向374に対して反対方向376に後ろにシフトされてもよい。特に医療機器21がそれぞれの仮想カメラ320に非常に近いときに、仮想カメラ320を後ろにシフトさせることにより、それぞれの仮想内視鏡画像内の医療機器21のより良好なビューをもたらし得、かつ周辺の解剖学的構造のより良いビューをもたらし得る。したがって、プロセッサ40(図1)は、図18に示されるように、仮想カメラ320-2の場所を、新しい場所380へ、計算された平均方向374に対して反対方向376にシフトするように構成される(ブロック368)。シフトの程度は、例えば、0.2~2mmの範囲内、例えば、1.3mmなどの所定の数のミリメートルで固定され得る。代替的に、シフトの程度は、周辺の解剖学的構造378によって制限されることもあり、そのため、カメラ320-2は、医師54によって画定される際に、骨又は組織に押圧されない可能な限りの大きさで後ろにシフトされる。「周辺の解剖学的構造」とみなされる物質のタイプは、図3のブロック106の工程を参照して説明したように、医療機器21の経路を遮断する物質を定義するために使用されるものと同じ又は異なる判定基準であり得る。
【0119】
それぞれの仮想カメラ320の視野は、任意の好適なそれぞれの値に設定され得る。各仮想カメラ320の視野は、例えば、25~170度の値の範囲内、例えば、90度で固定され得る。任意の1つの仮想カメラ320の視野は、その仮想カメラ320が、その仮想カメラ320に対して(Xが、例えば、5~90度の範囲内の任意の好適な値であり得る、例えば、外側限界上にX度を追加することによる、所与の角度許容範囲などの)追加の許容範囲で、(例えば、図17のベクトル372から導出されるか、又はセグメント322の外側限界を見出すことによって)対象にする、経路254のセグメント322の外側限界に従って設定され得る。いくつかの実施形態では、視野は、セグメント322の周囲の周辺の解剖学的構造378を分析することにより、次の仮想カメラまでのセグメント322内の全ての解剖学的構造を包含するように設定されてもよい。「周辺の解剖学的構造」とみなされる物質のタイプは、図3のブロック106の工程を参照して説明したように、医療機器21の経路を遮断する物質を定義するために使用されるものと同じ又は異なる判定基準であり得る。
【0120】
ここで、図1の装置20における使用のための遷移をレンダリングする方法における工程を含む、フローチャート390である、図19を参照する。図20もまた参照すると、これは図19のフローチャート390の方法の工程を例解する概略図である。
【0121】
2つの仮想カメラ320の間の遷移、したがって関連する仮想内視鏡画像の間の遷移は、平滑な遷移又は鋭い遷移であり得る。いくつかの実施形態では、2つのそれぞれの仮想カメラの間の平滑な遷移は、以下の工程を実施することによって実施され得る。遷移は、例として仮想カメラ320-2と仮想カメラ320-4との間で説明される。
【0122】
プロセッサ40(図1)は、図20に示されるように、現在の仮想カメラ320-2と次の仮想カメラ320-4との間に追加される、追加の仮想カメラ396の場所を見出すように構成される(ブロック392)。追加の仮想カメラ396の場所は、図16及び図17を参照して説明された場所370の選択と同様の様式で見出され得る。任意の好適な数の追加の仮想カメラ396が選択され得る。追加の仮想カメラ396の数が大きくなると、概して、より平滑な遷移をもたらす。
【0123】
プロセッサ40(図1)は、2つの隣接する仮想カメラ320-2、320-4の間に配設されたそれぞれの追加の仮想カメラ396のそれぞれの場所から視認された身体内の導管328(図20)のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、2つのそれぞれの隣接する仮想カメラ320-2、320-4の2つのそれぞれの仮想内視鏡画像の間の遷移を、ディスプレイスクリーン56(図1)上にレンダリングし、表示するように構成される(ブロック394)。遷移仮想内視鏡画像の各々は、任意の好適な持続時間、例えば、20~40ミリ秒の範囲内の持続時間にわたってディスプレイスクリーン56上に表示され得る。
【0124】
ここで、図1の装置20によってレンダリングされ表示された概略仮想内視鏡画像398である、図21図23を参照する。図2を参照して前述したように、プロセッサ40(図1)は、3D CT画像に基づく、医療機器21(図1)の追跡された座標に従ってそれぞれの仮想内視鏡画像398内に位置決めされた医療機器21の動画表現400を含む、それぞれの仮想カメラ320(図11)のそれぞれの場所及びそれぞれの配向から視認された身体内の導管328の、それぞれの仮想内視鏡画像398を、ディスプレイスクリーン56(図1)上にレンダリングし、表示するように構成される。
【0125】
図21図22は、1つの仮想カメラ320の場所から視認された仮想内視鏡画像398-1を示す。医療機器21の表現400は、図21では、経路154に沿った導管328内の1つの位置で、及び図22では、経路154に沿った導管328内のより前進した位置で、示される。横断されるべき箇所が依然として残っている経路154は、医療機器21が経路154に沿って移動する際に消える矢印を使用して示される。任意の好適な線又は記号を使用して、経路154を表現してもよい。図23は、別の仮想カメラ320の場所から視認された仮想内視鏡画像398-2を示す。
【0126】
仮想内視鏡画像398は、関連する仮想カメラ320の場所から外向きに投影する円錐などの3D視野体積で、(例えば、3D CTスキャンのボクセルのHUに基づいて)組織画像データから仮想内視鏡画像398を生成する体積可視化技術を使用してレンダリングされ得る。画像398は、組織の既知の色に基づいて、レンダリングされ得る。液体又は更に軟質組織などの特定の物質は、透明であるように選択されてもよく、一方、他の全てのより密度の高い物質は、より密度の高い物質の天然色に従ってレンダリングされ得る。代替的に、液体及び軟質組織であっても、より密度の高い物質と共にそれぞれの物質の天然色に従ってレンダリングされてもよい。いくつかの実施形態では、医師54(図1)は、上で考察された仮想内視鏡画像398のレンダリングパラメータを設定し得る。いくつかの実施形態では、周辺の解剖学的構造378は、レンダリングされ得るが、一方で他の解剖学的構造は、無視され得る。「周辺の解剖学的構造」とみなされる物質のタイプは、図3のブロック106の工程を参照して説明したように、経路154が通過することができない物質を定義するために使用されるものと同じ又は異なる判定基準であり得る。
【0127】
上記の画像398は、例解目的で提示されているに過ぎず、本発明の原理によって、他の種類の画像も同様に、レンダリング及び表示されてもよい。
【0128】
本明細書で使用される場合、任意の数値又は数値の範囲に対する「約」又は「およそ」という用語は、構成要素の部分又は構成要素の集合が、本明細書において説明されるその意図された目的に沿って機能することを可能にする、好適な寸法の許容誤差を示すものである。より具体的には、「約」又は「およそ」は、列挙された値の±20%の値の範囲を指してもよく、例えば「約90%」は、72%~108%の値の範囲を指してもよい。
【0129】
明確性のために別個の実施形態の文脈において記載されている本発明の様々な特徴は、また単一の実施形態においてコンビネーションで提供されてもよい。逆に、簡潔にするために単一の実施形態の文脈において記載されている本発明の様々な特徴が、別々に又は任意の好適なサブコンビネーションで提供されてもよい。
【0130】
上述の実施形態は、例として引用されており、本発明は、上記の明細書に具体的に図示及び記載されているものに限定されない。むしろ、本発明の範囲は、上記の明細書に記載された様々な特徴のコンビネーション及びサブコンビネーションの両方、並びに前述の記載を読むと当業者が思い付くであろうが、先行技術に開示されていないその変形及び修正を含む。
【0131】
〔実施の態様〕
(1) 医療装置であって、
患者の身体内の導管内で移動するように構成されている、医療機器と、
前記身体内の前記医療機器の座標を追跡するように構成されている、位置追跡システムと、
ディスプレイスクリーンと、
プロセッサであって、
前記位置追跡システムと、前記身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
所与の開始点から所与の終点まで前記導管を通る前記医療機器の3D経路を見出すことと、
前記3D経路のセグメントを計算することと、
前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記医療機器の前記追跡された座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、前記ディスプレイスクリーン上にレンダリングし、表示することと、を行うように構成されている、プロセッサと、を備える、医療装置。
(2) 前記プロセッサが、閾値転回を上回る前記3D経路内の転回点を見出すことと、前記見出された転回点に応答して、前記3D経路の前記セグメント及び前記それぞれの仮想カメラの前記3D経路に沿った前記それぞれの異なる場所を計算することと、を行うように構成されている、実施態様1に記載の装置。
(3) 前記プロセッサが、限界を超える前記仮想カメラのうちの隣接するカメラの間の距離に応答して、前記セグメントのうちの1つの中央に前記仮想カメラのうちの少なくとも1つを位置決めすることを行うように構成されている、実施態様2に記載の装置。
(4) 前記プロセッサが、前記仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、前記見通し線が遮断されていることに応答して、前記2つの隣接する仮想カメラ間に前記仮想カメラのうちの少なくとも1つを位置決めすることと、を行うように構成されている、実施態様2に記載の装置。
(5) 前記プロセッサが、n次元ポリラインの単純化に基づいて、前記セグメントを計算することを行うように構成されている、実施態様2に記載の装置。
【0132】
(6) 前記n次元ポリラインの単純化が、Ramer-Douglas-Peuckerアルゴリズムを含む、実施態様5に記載の装置。
(7) 前記プロセッサが、
前記仮想カメラのうちのそれぞれ1つに関してそれぞれの二等分線を計算することと、
前記医療機器の前記追跡された座標が、前記追跡された座標に最も近い前記仮想カメラのうちのそれぞれ1つの前記二等分線のうちのそれぞれ1つに関してどちら側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、を行うように構成されている、実施態様1に記載の装置。
(8) 前記プロセッサが、前記3D経路上の前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つにおいて、前記3D経路に対して垂直なそれぞれの平面として、前記それぞれの二等分線を計算することを行うように構成されている、実施態様7に記載の装置。
(9) 前記プロセッサが、
前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つから、前記3D経路に沿った異なる点までベクトルの平均方向を計算することと、
前記計算された平均方向に応答して、前記仮想カメラのうちの前記それぞれ1つの前記配向のうちのそれぞれ1つを計算することと、を行うように構成されている、実施態様1に記載の装置。
(10) 前記プロセッサが、前記仮想カメラのうちの前記それぞれ1つの前記場所のうちの前記それぞれ1つを、前記計算された平均方向と反対方向にシフトさせることを行うように構成されている、実施態様9に記載の装置。
【0133】
(11) 前記プロセッサが、前記仮想カメラのうちの2つのそれぞれの隣接するカメラの間に配設されたそれぞれの追加の仮想カメラのそれぞれの場所から視認された、前記身体内の前記導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、前記仮想カメラのうちの前記2つのそれぞれの隣接するカメラの前記仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、前記ディスプレイスクリーン上にレンダリングし、表示することを行うように構成されている、実施態様1に記載の装置。
(12) 前記位置追跡システムが、前記身体の前記一部の周囲に位置決めされた1つ又は2つ以上の磁場発生器、及び前記医療機器の遠位端部における磁場センサを含む、電磁追跡システムを含む、実施態様1に記載の装置。
(13) 医療方法であって、
位置追跡システムを使用して患者の身体内の医療機器の座標を追跡することであって、前記医療機器が、前記患者の前記身体内の導管内で移動するように構成されている、追跡することと、
前記位置追跡システムと前記身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
所与の開始点から所与の終点まで前記導管を通る前記医療機器の3D経路を見出すことと、
前記3D経路のセグメントを計算することと、
前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記医療機器の前記追跡された座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、を含む、医療方法。
(14) 閾値転回を上回る前記3D経路内の転回点を見出すことを更に含み、前記セグメントを前記計算することが、前記見出された転回点に応答して、前記3D経路の前記セグメント及び前記それぞれの仮想カメラの前記3D経路に沿った前記それぞれの異なる場所を計算することを含む、実施態様13に記載の方法。
(15) 限界を超える前記仮想カメラのうちの隣接するカメラの間の距離に応答して、前記セグメントのうちの1つの中央に前記仮想カメラのうちの少なくとも1つを位置決めすることを更に含む、実施態様14に記載の方法。
【0134】
(16) 前記仮想カメラのうちの2つの隣接するカメラの間の見通し線を確認することと、前記見通し線が遮断されていることに応答して、前記2つの隣接する仮想カメラの間に前記仮想カメラのうちの少なくとも1つを位置決めすることと、を更に含む、実施態様14に記載の方法。
(17) n次元ポリラインの単純化に基づいて、前記セグメントを計算することを更に含む、実施態様14に記載の方法。
(18) 前記n次元ポリラインの単純化が、Ramer-Douglas-Peuckerアルゴリズムを含む、実施態様17に記載の方法。
(19) 前記仮想カメラのうちのそれぞれ1つに対するそれぞれの二等分線を計算することを更に含み、前記選択することは、前記医療機器の前記追跡された座標が、前記追跡された座標に最も近い前記仮想カメラのうちのそれぞれ1つの前記二等分線のうちのそれぞれ1つに関してどちらの側に当てはまるかに応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することを含む、実施態様13に記載の方法。
(20) 前記それぞれの二等分線を前記計算することが、前記3D経路上の前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つにおいて、前記3D経路に対して垂直なそれぞれの平面として、前記それぞれの二等分線を計算することを含む、実施態様19に記載の方法。
【0135】
(21) 前記仮想カメラのうちのそれぞれ1つの前記場所のうちのそれぞれ1つから、前記3D経路に沿った異なる点までベクトルの平均方向を計算することを更に含み、前記それぞれの配向を計算することが、前記計算された平均方向に応答して、前記仮想カメラのうちの前記それぞれ1つの前記配向のうちのそれぞれ1つを計算することを含む、実施態様13に記載の方法。
(22) 前記仮想カメラのうちの前記それぞれ1つの前記場所のうちの前記それぞれ1つを、前記計算された平均方向と反対方向にシフトさせることを更に含む、実施態様21に記載の方法。
(23) 前記仮想カメラのうちの2つのそれぞれの隣接するカメラの間に配設されたそれぞれの追加の仮想カメラのそれぞれの場所から視認された、前記身体内の前記導管のそれぞれの遷移仮想内視鏡画像を連続的にレンダリングすることに基づいて、前記仮想カメラのうちの前記2つのそれぞれの隣接するカメラの前記仮想内視鏡画像のうちの2つのそれぞれの画像の間の遷移を、前記ディスプレイスクリーン上にレンダリングし、表示することを更に含む、実施態様13に記載の方法。
(24) プログラム命令が記憶されている非一時的なコンピュータ可読媒体を含むソフトウェア製品であって、前記命令が、中央処理装置(CPU)によって読み取られると、前記CPUに、
位置追跡システムを使用して、患者の身体内の医療機器の座標を追跡することであって、前記医療機器が、前記患者の前記身体内の導管内で移動するように構成されている、追跡することと、
前記位置追跡システムと、前記身体の少なくとも一部の三次元(3D)コンピュータ断層撮影(CT)画像とを共通の基準フレーム内で位置合わせすることと、
所与の開始点から所与の終点まで前記導管を通る前記医療機器の3D経路を見出すことと、
前記3D経路のセグメントを計算することと、
前記計算されたセグメントに応答して、それぞれの仮想カメラの前記3D経路に沿ったそれぞれの異なる場所を計算することと、
前記医療機器の前記追跡された座標及び前記共通の基準フレーム内の前記それぞれの仮想カメラの前記それぞれの場所に応答して、それぞれの仮想内視鏡画像をレンダリングするための前記それぞれの仮想カメラを選択することと、
前記それぞれの仮想カメラのそれぞれの配向を計算することと、
前記追跡された座標に従って前記それぞれの仮想内視鏡画像内に位置決めされた前記医療機器の動画表現を含む、前記3D CT画像に基づく、前記それぞれの仮想カメラの前記それぞれの場所及び前記それぞれの配向から視認された、前記身体内の前記導管の前記それぞれの仮想内視鏡画像を、ディスプレイスクリーン上にレンダリングし、表示することと、を行わせる、ソフトウェア製品。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23