特許 7050733 光学形状検出装置の視点を伴う仮想画像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-31

(45)【発行日】2022-04-08

(54)【発明の名称】光学形状検出装置の視点を伴う仮想画像

(51)【国際特許分類】

   A61B 8/12 20060101AFI20220401BHJP

   A61B 8/14 20060101ALI20220401BHJP

【ＦＩ】

A61B8/12

A61B8/14

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2019178921

(22)【出願日】2019-09-30

(62)【分割の表示】P 2016547083の分割

【原出願日】2015-01-04

(65)【公開番号】P2020028718

(43)【公開日】2020-02-27

【審査請求日】2019-10-30

(31)【優先権主張番号】61/930,974

(32)【優先日】2014-01-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】ハール クリストフェル ステフェン

(72)【発明者】

【氏名】ラマチャンドラン バラット

(72)【発明者】

【氏名】フレクスマン モリー ララ

(72)【発明者】

【氏名】ポポヴィク アレクサンドラ

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２００１－０３７７５６（ＪＰ，Ａ）

【文献】特開２０１１－１５６２８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００９７８０５（ＵＳ，Ａ１）

【文献】特開２０１２－２５４２７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ａ６１Ｂ ８／００ － ８／１５

(57)【特許請求の範囲】

【請求項1】

仮想画像に視点を与えるためのシステムであって、
領域に対する画像データセットを生成するように構成されるトランスデューサを持つ術中イメージングシステムと、
形状検出可能装置であって、当該形状検出可能装置の少なくとも一部を前記領域に対してポジショニングするように構成され、前記術中イメージングシステムの座標系とレジストレーションされる座標系を持つ、形状検出可能装置と、
前記画像データセットを用いて前記領域の少なくとも一部に対する仮想画像をレンダリングするように構成される画像生成モジュールであって、当該仮想画像は前記形状検出可能装置上の位置に対するバンテージポイントを含み、前記仮想画像は前記画像データセットをリサンプリングすることによって作成される、前記画像生成モジュールと
を有し、
前記術中イメージングシステムは、最高解像度サンプリングが前記仮想画像と同一面内で同一方向になるように又は最高解像度方向が前記仮想画像と同一面内になるように調節される、
システム。

【請求項2】

前記仮想画像が、横向き画像、円周画像、及び前向き画像のうち少なくとも一つを含む、請求項１に記載のシステム。

【請求項3】

前記仮想画像が一つ以上の二次元画像スライスを含む、請求項１に記載のシステム。

【請求項4】

前記術中イメージングシステムが超音波イメージングシステムを含み、前記トランスデューサがイメージング対象の内部に留置されるか若しくはイメージング対象上に外部に取り付けられる一つ以上の超音波トランスデューサを含む、請求項１に記載のシステム。

【請求項5】

術中に前記形状検出可能装置に対して画像を維持するために前記術中イメージングシステムと前記形状検出可能装置の間で動作を調整するように構成されるロボットをさらに有する、請求項１に記載のシステム。

【請求項6】

前記術中イメージングシステムと前記形状検出可能装置との間のレジストレーションが、形状に基づくレジストレーション、画像に基づくレジストレーション、及びトラッキング技術レジストレーションのうち少なくとも一つを含む、請求項１に記載のシステム。

【請求項7】

仮想画像に視点を与えるためのシステムであって、
領域に対する画像データセットを生成するように構成されるトランスデューサを持つ術中イメージングシステムと、
形状検出可能装置であって、当該形状検出可能装置の少なくとも一部を前記領域に対してポジショニングするように構成され、前記術中イメージングシステムの座標系とレジストレーションされる座標系を持つ、形状検出可能装置と、
前記画像データセットを用いて前記領域の少なくとも一部に対する仮想画像をレンダリングするように構成される画像生成モジュールであって、当該仮想画像は前記形状検出可能装置上の位置に対するバンテージポイントを含み、前記仮想画像は前記画像データセットをリサンプリングすることによって作成される、画像生成モジュールと、
ロボットが術中に前記形状検出可能装置に対して画像を維持するように、前記術中イメージングシステムと前記形状検出可能装置の間で動作を調整するように構成されるロボットと
を有し、
前記術中イメージングシステムは、最高解像度サンプリングが前記仮想画像と同一面内で同一方向になるように又は最高解像度方向が前記仮想画像と同一面内になるように調節される、
システム。

【請求項8】

前記仮想画像が、横向き画像、円周画像、及び前向き画像のうち少なくとも一つを含む、請求項７に記載のシステム。

【請求項9】

前記術中イメージングシステムが超音波イメージングシステムを含み、前記トランスデューサがイメージング対象の内部に留置される若しくはイメージング対象上に外部に取り付けられる一つ以上の超音波トランスデューサを含む、請求項７に記載のシステム。

【請求項10】

前記術中イメージングシステムと前記形状検出可能装置との間のレジストレーションが、形状に基づくレジストレーション、画像に基づくレジストレーション、及びトラッキング技術レジストレーションのうち少なくとも一つを含む、請求項７に記載のシステム。

【請求項11】

前記仮想画像が一つ以上の二次元画像スライスを含む、請求項７に記載のシステム。

【請求項12】

仮想イメージングのためのシステムの作動方法であって、前記システムが、術中イメージングシステム、形状検出可能装置、レジストレーションモジュール及び画像生成モジュールを有し、前記方法は、
前記術中イメージングシステムが、対象の領域をイメージングして、前記領域に対する画像データセットを生成するステップと、
前記レジストレーションモジュールが、前記形状検出可能装置の座標系を前記術中イメージングシステムの座標系とレジストレーションするステップであって、前記形状検出可能装置の一部が前記領域に対してポジショニングされている、ステップと、
前記画像生成モジュールが、前記画像データセットを用いて前記領域の少なくとも一部に対する仮想画像を生成するステップであって、当該仮想画像は前記形状検出可能装置上の位置からのバンテージポイントを含み、前記仮想画像は前記画像データセットをリサンプリングすることによって作成される、ステップと
を有し、
前記術中イメージングシステムは、最高解像度サンプリングが前記仮想画像と同一面内で同一方向になるように又は最高解像度方向が前記仮想画像と同一面内になるように調節される、
方法。

【請求項13】

仮想画像を生成するステップが、横向き画像、円周画像、及び前向き画像のうち少なくとも一つを含む仮想画像を生成するステップを含む、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は医療機器に、より具体的には形状検出可能な器具のバンテージポイントからポジショニングされる画像ボリューム内の仮想画像の生成に関する。

【背景技術】

【0002】

血管内医療機器（カテーテルなど）の先端における小型超音波トランスデューサは有用な臨床情報を提供し得る。例えば、心腔内心エコー（ＩＣＥ）画像は心臓の構造などの解剖学的情報を理解するために使用され得る。血管内超音波法（ＩＶＵＳ）は血柱、内皮、及び血管内部からの血小板の画像を提供する。ＩＶＵＳ及びＩＣＥの現在の実施に対して不都合がある。例えば、ＩＶＵＳイメージングシステムは非常に高価である（例えば数万ドル）。ＩＶＵＳカテーテルが使い捨てであることによって生じる追加コストもある。術中のＩＶＵＳの使用は手術に時間とリスクを追加し得る。他の装置（ステント留置装置又はバルーンカテーテルなど）にＩＶＵＳ技術を組み込む要望もあるが、サイズと複雑さがこれを極めて困難にしている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の原理によれば、仮想画像に視点を与えるためのシステムは、領域に対する画像データセットを生成するように構成されるトランスデューサを持つ術中イメージングシステムを含む。形状検出可能装置は、形状検出可能装置の少なくとも一部を領域に対してポジショニングするように構成される。形状検出可能装置は術中イメージングシステムの座標系とレジストレーションされる座標系を持つ。画像生成モジュールは画像データセットを用いて領域の少なくとも一部の仮想画像をレンダリングするように構成され、仮想画像は形状検出可能装置上の位置に対するバンテージポイントを含む。

【課題を解決するための手段】

【0004】

仮想画像に視点を与えるための別のシステムは、領域に対する画像データセットを生成するように構成されるトランスデューサを持つ術中イメージングシステムを含む。形状検出可能装置は、形状検出可能装置の少なくとも一部を領域に対してポジショニングするように構成され、形状検出可能装置は術中イメージングシステムの座標系とレジストレーションされる座標系を持つ。画像生成モジュールは画像データセットを用いて領域の少なくとも一部の仮想画像をレンダリングするように構成され、仮想画像は形状検出可能装置上の位置からのバンテージポイントを含む。ロボットが術中に領域に対して形状検出可能装置を維持するように、ロボットが術中イメージングシステムと形状検出可能装置の間で動作を調整するように構成される。

【0005】

仮想イメージングのための方法は、領域に対する画像データセットを生成するために術中イメージングシステムで被検者の領域をイメージングするステップ；形状検出可能装置の少なくとも一部を領域に対してポジショニングするステップ；形状検出可能装置の座標系を術中イメージングシステムの座標系とレジストレーションするステップ；画像データセットを用いて領域の少なくとも一部の仮想画像を生成するステップであって、仮想画像は形状検出可能装置上の位置からのバンテージポイントを含む、ステップを含む。

【0006】

本開示のこれらの及び他の目的、特徴及び利点は、添付の図面と関連して読まれるその実施形態例の以下の詳細な記載から明らかとなるだろう。

【0007】

本開示は以下の図面を参照して好適な実施形態の以下の記載を詳細に提示する。

【図面の簡単な説明】

【0008】

【図1】一実施形態にかかる、画像ボリュームにおいて提供される仮想画像にバンテージポイントを与える形状検出システムを示すブロック／フロー図である。

【図2A】一実施形態にかかる、横向きボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ画像ボリュームの透視図である。

【図2B】一実施形態にかかる、円周ボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ画像ボリュームの透視図である。

【図2C】一実施形態にかかる、前向きボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ画像ボリュームの透視図である。

【図3】一実施形態にかかる、プルバックイメージングのためのバンテージポイントを与える形状検出可能装置を持つ画像ボリュームの透視図である。

【図4】一実施形態にかかる、ボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ内部に留置されたトランスデューサを示す被検者の断面図である。

【図5】一実施形態にかかる、ボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ外部に留置されたトランスデューサを示す被検者の断面図である。

【図6】一実施形態にかかる、ボリュームをイメージングするためのバンテージポイントを与える形状検出可能装置を持つ複数の外部に留置されたトランスデューサを示す被検者の断面図である。

【図7A】本発明の原理にかかる、プローブによる可動域を示すための開始画像を示す図である。

【図7B】本発明の原理にかかる、プローブによる可動域を示すためのターゲット画像を示す図である。

【図8】本発明の原理にかかる、カテーテルの正確な面における仮想ビューの生成を示す図である。

【図9】実施形態例にかかる仮想イメージングのための方法を示すフロー図である。

【発明を実施するための形態】

【0009】

本発明の原理によれば、プローブの先端上にトランスデューサ（例えば超音波）を置くことの代替アプローチを提供し、代わりに、プローブがその上に超音波トランスデューサを持つとしたら見られるものと同様の画像を再現するために、個別の超音波イメージングプローブと一緒に光学形状検出カテーテル若しくは他の装置を利用する、システム、装置、及び方法が記載される。このように、光学形状検出（ＯＳＳ）カテーテル若しくは他の装置が超音波イメージングプローブを追加してＩＣＥ若しくはＩＶＵＳカテーテルに変えられることができるように、仮想心腔内心エコー（ＩＣＥ）画像若しくは仮想血管内超音波（ＩＶＵＳ）画像が提供される。これらの仮想画像は多くの異なる手術における使用を拡張することができ、例えば光学形状検出若しくは超音波によって生成される仮想画像の使用は、経食道心エコー検査（ＴＥＥ）プローブの使用ケースを構造的心臓修復の異なるエリアへ拡張し得る。

【0010】

本発明の原理は仮想超音波画像を作り出すために光学形状検出を利用する。これは超音波画像をリフォーマットするために超音波プローブとカテーテル若しくは形状検出可能装置との間の既知の変換を用いてなされ得るので、画像はカテーテル若しくは装置上にトランスデューサアパーチャがあるかのように見える。そして光学形状検出カテーテルは、仮想アパーチャが超音波データセット内にとどまる限り、アパーチャがカテーテルまわりに又はカテーテルに対して平行移動及び回転されることを可能にし得る。また、超音波ボリューム内のカテーテルの位置に基づいて、超音波送信シーケンスが仮想超音波画像を最適化するように適応され得る。カテーテルを超音波イメージングボリューム内に、又は超音波イメージングボリュームに対してある位置に維持するために、超音波イメージングプローブはオペレータによって手動で、又は形状検出カテーテルから既知の位置を用いてロボットで制御されることができる。ロボット制御はイメージングボリュームを装置にアラインし、仮想ボリュームの生成のためにプローブの再ポジショニングを可能にすることによって、仮想画像の生成を改良し得る。

【0011】

可能性のある超音波画像ソースはＴＥＥ、経直腸超音波（ＴＲＵＳ）などといった内部超音波プローブ；単一面プローブ（例えばリニア、カーブ、セクター、マトリクス）；多面プローブ（同時又は順次又はその両方）；などを含み得る。超音波プローブ（例えばヘッド位置）と形状検出可能装置（例えばカテーテル）の間の可能性のあるレジストレーションは、超音波プローブの形状に基づく検出（留置前の形状対形状レジストレーション）；例えばＥｃｈｏＮａｖ（登録商標）、モデルベースアプローチ、形状検出された装置のｘ線ベースレジストレーションなどを用いる、超音波プローブ（例えばＴＥＥプローブヘッド）の画像に基づくレジストレーション；例えばＴＥＥプローブヘッドの電磁トラッキング（留置前のＥＭ対形状レジストレーション）、ハンドヘルドプローブの光学トラッキング、超音波画像ベース識別などの技術を用いるプローブの代替トラッキングを含み得る。

【0012】

装置の既知の位置及び面が（マニュアル若しくはロボットメカニカルポジショニング又はビームステアリングを通じて）超音波送信プロファイルを変更するために使用され得る。代替的に、超音波画像は視覚化／標的化されている方向へ向かって装置を駆動する入力として使用され得る（例えばＩＶＵＳプルバックのため）。本発明の原理は任意の形状検出可能装置が外部超音波プローブを追加してＩＣＥ若しくはＩＶＵＳ装置に変えられることを可能にする。ナビゲーション目的で既に光学形状検出可能な任意の装置が、標準超音波イメージングプローブを追加して仮想ＩＶＵＳを実行する目的のために再利用されることができる。

【0013】

本発明の原理は、トランスデューサアパーチャ位置が光学形状検出を用いて定義される仮想画像を作成する超音波ボリューム若しくはスライスの任意のリフォーマットに当てはまる。これは主にガイドワイヤとカテーテル（マニュアル及びロボット）に当てはまるが、内視鏡、気管支鏡、及び他のかかる装置若しくはアプリケーションに拡張され得る。

【0014】

本発明は医療機器に関して記載されるが、本発明の教示はより広範であり、いかなる光ファイバ器具にも適用可能であることが理解されるべきである。一部の実施形態において、本発明の原理は複雑な生物学的若しくは機械的システムのトラッキング若しくは解析に利用される。特に、本発明の原理は生物学的システムの内部トラッキング手順、肺、胃腸管、排泄器官、血管、心臓などといった、体の全領域における手術に適用可能である。図中に描かれる要素はハードウェア及びソフトウェアの様々な組み合わせで実現され、単一要素若しくは複数要素に組み合わされ得る機能を提供し得る。

【0015】

図に示す様々な要素の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を通じて提供され得る。プロセッサによって提供されるとき、機能は単一専用プロセッサによって、単一共有プロセッサによって、又はその一部が共有され得る複数の個別プロセッサによって提供され得る。さらに、"プロセッサ"又は"コントローラ"という語の明示的使用はソフトウェアを実行可能なハードウェアを排他的にあらわすものと解釈されるべきではなく、デジタル信号プロセッサ（"ＤＳＰ"）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（"ＲＯＭ"）、ランダムアクセスメモリ（"ＲＡＭ"）、不揮発性記憶装置などを非明示的に含み得るが、これらに限定されない。

【0016】

さらに、本発明の原理、態様、及び実施形態、並びにそれらの特定の実施例を列挙する本明細書の全記述は、その構造的及び機能的均等物の両方を包含することが意図される。付加的に、かかる均等物は現在既知の均等物だけでなく将来開発される均等物（すなわち構造にかかわらず同じ機能を実行する、開発される任意の要素）の両方を含むことが意図される。従って、例えば、本明細書に提示されるブロック図は本発明の原理を具体化する例示的なシステムコンポーネント及び／又は回路の概念図をあらわすことが当業者によって理解される。同様に、任意のフローチャート、フロー図などは、実質的にコンピュータ可読記憶媒体にあらわされ、コンピュータ若しくはプロセッサによってそのように実行され得る様々なプロセスを、かかるコンピュータ若しくはプロセッサが明示的に示されるかどうかにかかわらず、あらわすことが理解される。

【0017】

さらに、本発明の実施形態はコンピュータ若しくは任意の命令実行システムによる又はそれらに関連した使用のためのプログラムコードを提供するコンピュータ使用可能若しくはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形をとり得る。この記載の目的で、コンピュータ使用可能若しくはコンピュータ可読記憶媒体とは、命令実行システム、装置若しくはデバイスによる又はそれらに関連した使用のためのプログラムを、包含、記憶、通信、伝搬、若しくは輸送し得る任意の装置であり得る。媒体は電子、磁気、光学、電磁、赤外線、又は半導体システム（若しくは装置若しくはデバイス）又は伝搬媒体であり得る。コンピュータ可読媒体の実施例は半導体若しくはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、剛性磁気ディスク及び光ディスクを含む。光ディスクの現在の実施例はコンパクトディスク‐リードオンリーメモリ（ＣＤ‐ＲＯＭ）、コンパクトディスク‐リード／ライト（ＣＤ‐Ｒ／Ｗ）、Ｂｌｕ‐Ｒａｙ（登録商標）及びＤＶＤを含む。

【0018】

図面において同様の数字は同一若しくは同様の要素をあらわし、最初に図１を参照すると、形状検出可能装置を用いる仮想画像生成のためのシステム１００が実施形態例に従って例示される。システム１００はワークステーション若しくはコンソール１１２を含み、ここから手術が監視及び／又は管理される。ワークステーション１１２は好適にはプログラムとアプリケーションを記憶するためのメモリ１１６と一つ以上のプロセッサ１１４を含む。メモリ１１６は形状検出装置若しくはシステム１０４からの光学フィードバック信号を解釈するように構成される光学検出モジュール１１５を記憶し得る。光学検出モジュール１１５は光学信号フィードバック（及び任意の他のフィードバック、例えば電磁（ＥＭ）トラッキング、超音波など）を使用して、医療機器若しくは器具（形状検出可能装置若しくは器具）１０２及び／又はその周辺領域に関する変形、偏向、及び他の変化を再構成するように構成される。医療機器１０２（及び／又は１０２'）はカテーテル、ガイドワイヤ、プローブ、内視鏡、ロボット、電極、フィルタ装置、バルーン装置、若しくは他の医療用部品などを含み得る。

【0019】

装置１０２（及び／又は１０２'）上の形状検出システム１０４は一つ又は複数のセットパターンで装置１０２に結合される一つ以上の光ファイバ１２６を含む。光ファイバ１２６はケーブル１２７を通じてワークステーション１１２に接続する。ケーブル１２７は必要に応じて光ファイバ、電気接続、他の器具などを含み得る。

【0020】

光ファイバを伴う形状検出システム１０４は光ファイバブラッググレーティングセンサに基づき得る。光ファイバブラッググレーティング（ＦＢＧ）は特定波長の光を反射しその他は全て透過する光ファイバの短セグメントである。これはファイバコアに屈折率の周期的変動を加えることによって実現され、これは波長特異的誘電体鏡を生成する。ファイバブラッググレーティングは従って特定波長をブロックするインライン光学フィルタとして、又は波長特異的反射体として使用され得る。

【0021】

ファイバブラッググレーティングの動作の背景にある基本的原理は、屈折率が変化している界面の各々におけるフレネル反射である。一部の波長では、様々な周期の反射光が同相であるため、反射について強め合う干渉が存在し、その結果、透過について弱め合う干渉が存在する。ブラッグ波長はひずみ及び温度に敏感である。これはブラッググレーティングが光ファイバセンサにおいて検出素子として使用されることができることを意味する。ＦＢＧセンサにおいて、測定量（例えばひずみ）はブラッグ波長においてシフトを生じる。

【0022】

この技術の一つの利点は、様々なセンサ素子がファイバの長さにわたって分散され得ることである。構造の中に埋め込まれるファイバの長さに沿って様々なセンサ（ゲージ）を持つ三つ以上のコアを組み込むことは、かかる構造の三次元形状が正確に、典型的には１ｍｍ以上の精度で決定されることを可能にする。ファイバの長さに沿って、様々な位置において、多数のＦＢＧセンサが位置付けられ得る（例えば３以上のファイバ検出コア）。各ＦＢＧのひずみ測定から、その位置において構造の曲率が推測されることができる。多数の測定位置から、全体の三次元形状が決定される。

【0023】

光ファイバブラッググレーティングの代替案として、従来の光ファイバにおける固有後方散乱が利用され得る。かかるアプローチの一つは標準単一モード通信ファイバにおいてレイリー散乱を使用することである。レイリー散乱はファイバコア内の屈折率のランダム変動の結果として生じる。これらのランダム変動はグレーティング長に沿って振幅と位相のランダム変動を伴うブラッググレーティングとしてモデル化され得る。単一長のマルチコアファイバ内を走る三つ以上のコアにおいてこの効果を用いることによって、関心面の３Ｄ形状とダイナミクスが追跡され得る。

【0024】

光学形状検出（ＯＳＳ）は外科的介入中の装置の位置確認及びナビゲーションのためにマルチコア光ファイバに沿って光を使用する。関与する原理は固有のレイリー後方散乱若しくは制御されたグレーティングパターンを用いる光ファイバ内のひずみ分布測定を利用する。光ファイバに沿った形状は発射領域１５６又はｚ＝０として知られるセンサに沿った特定点で開始し、後続の形状位置及び配向はその点に相対的である。カテーテル及びガイドワイヤなどの医療機器に組み込まれる光学形状検出ファイバは、低侵襲手術中の装置のライブガイダンスを提供し、装置１０２全体の位置と配向を提供し得る。

【0025】

一実施形態において、ワークステーション１１２は検出装置１０４が被検者１６０内のどこにあるか又はあったかについて、形状検出装置１０４からのフィードバック（位置データ）を受信するように構成される画像生成モジュール１４８を含む。画像ボリューム（若しくはデータセット）１３１は超音波イメージングシステムなどのイメージングシステム１１０を用いて被検者１６０内でイメージングされるが、他の術中イメージングシステムが利用されてもよい。データセットの一つ若しくは複数の画像１３４が、画像ボリューム１３１をマップアウトするために一つ以上の内部若しくは外部プローブ若しくはトランスデューサ１４６を用いてイメージングシステム１１０から収集される。画像１３４は表示装置１１８上に表示され得る。画像１３４は他の術前若しくは術中画像上にオーバーレイされるか、それらと融合されるか、又はそれらと一緒に他の方法で描かれ得る。

【0026】

ワークステーション１１２は被検者（患者若しくは他のオブジェクト）１６０若しくはボリューム１３１の内部画像を見るためのディスプレイ１１８を含む。ディスプレイ１１８はユーザがワークステーション１１２及びそのコンポーネントと機能若しくはシステム１００内の任意の他の素子と相互作用することも可能にし得る。これはインターフェース１２０によってさらに促進され、これはワークステーション１１２からのユーザフィードバック及びワークステーション１１２とのユーザインタラクションを可能にする、キーボード、マウス、ジョイスティック、触覚装置、又は任意の他の周辺機器若しくは制御を含み得る。

【0027】

従来の血管内超音波法（ＩＶＵＳ）は血管系の超音波イメージングを実行するためにカテーテルの遠位端における小型超音波トランスデューサを使用する。ＩＶＵＳイメージングは血管の横向き（若しくは同心）イメージング又は前向きイメージングのいずれかを実行するために異なる方法でカテーテルに組み込まれ得る。ＩＶＵＳは血管内皮を視覚化するために通常使用される。これは典型的には所与の血管における血小板の量又は狭窄の程度を決定するために使用される。ＩＶＵＳの最も一般的な使用は心臓アプリケーション、例えば冠動脈のイメージングである。従来の心腔内心エコー（ＩＣＥ）カテーテルはリアルタイムの解剖学的イメージングのために心臓に導入され得る。ＩＣＥは解剖学的構造、装置の位置を特定するため、及びアブレーション中の高周波エネルギー配給をモニタリングするために電気生理学手術において通常使用される。

【0028】

本発明の原理によれば、仮想ＩＶＵＳ及び／又はＩＣＥ（及び他の手術）が形状検出可能装置１０２（及び／又は１０２'）と超音波プローブ若しくはトランスデューサ１４６を用いて実行され得る。超音波プローブ１４６はコンソール１１２の一部であり得るか又は別のユニットであり得る超音波イメージングシステム１１０に結合され得る。装置１０２の光学形状検出は仮想超音波ボリューム１４４から仮想超音波画像１５２を作成するために超音波データセットをリサンプルするために利用される。これは、トランスデューサアパーチャが装置１０２若しくはカテーテル上にあるか又はそれらに対し既知の変換を持つかのように見えるように、仮想画像１５２を形成するように超音波画像をリフォーマットするために超音波プローブ１４６と光学形状検出ファイバ１２６（カテーテルなどの装置１０２に、又はその中に結合される）との間の既知の変換（レジストレーションモジュール１５８に記憶されるか又はメモリ１１６内のどこかに記憶される変換１５４）を用いてなされる。仮想画像１５２は形状検出可能装置１０２の既知の位置のバンテージポイントから生成される。形状検出可能装置１０２は仮想画像１５２を生成するために利用される画像ボリューム１４４の内側若しくは外側にあり得る。形状検出可能装置１０２は仮想画像ボリューム（スライス若しくは面）１４４内に存在しなくてもよいが、画像ボリューム１４４に対してポジショニングされることができ、画像ボリューム１４４の外側であってもよい。

【0029】

仮想画像ボリューム１４４は超音波データセットボリューム１３１内に生成される。仮想画像ボリューム１４４は複数の方法で選択若しくは生成され得る。これらは以下の一つ以上を含み得る。仮想画像ボリューム１４４はプリセット構成（例えば形状とサイズ）を含み得る。形状とサイズはＩＶＵＳ、ＩＣＥ又は他の手術若しくはアプリケーションの要件に従って選択され得る。画像１５２の特性は奥行、視野（ＦＯＶ）、二次元（２Ｄ）、３Ｄ、円周、カテーテルに沿った距離などを含みユーザ設定可能であり得、画像ボリューム１４４は然るべく構成される。仮想画像ボリューム１４４は形状検出された装置１０２の形状に基づく自動スライス選択を含み得る。

【0030】

仮想画像ボリューム１４４は画像中で検出される特徴（心臓アプリケーションの場合、例えば心腔など）に基づく自動ボリューム選択を持ち得る。一実施形態では、ユーザが装置１０２に沿って様々な位置へドラッグし、装置まわりに回転させ、（例えばマウスをスクロールすることによって）スケールすることなどができるインタラクティブボリュームがディスプレイ１１８上に表示され得る。仮想画像ボリューム１４４はボリューム若しくはスライス内で二つ（以上）の装置（１０２、１０２'）をキャプチャするようにサイズ指定若しくは最適化され得るか、或いは二つの装置では、一方の装置１０２'がバンテージポイントとなり、他方の装置が仮想画像ボリューム１４４内で視覚化されるように最適化され得る。装置１０２及び／又は１０２'は画像ボリューム１４４の内側若しくは外側であり得る。

【0031】

一実施形態では、マルチＯＳＳ装置１０２、１０２'などが利用され得る。装置１０２、１０２'は各装置が仮想画像ボリューム１４４の一部に寄与する複合仮想画像ボリューム１４４を作成するために利用され得る。装置１０２'は仮想画像ボリューム１４４内で視覚化され得る他の装置に対するバンテージポイントとして使用され得る。別の実施形態では、弁若しくはステント留置のためのイメージングが提供され得、ここで形状検出可能装置１０２は堅いワイヤとして機能し、弁若しくはステントは堅いワイヤを渡って運ばれる。仮想画像ボリューム１４４は弁を持つＯＳＳワイヤ１０２から既知のオフセットにおいて選択され得る。この場合、画像ボリューム１４４内にあるＯＳＳ装置１０２の部分はないが、仮想画像ボリューム１４４内の仮想スライス、面若しくはボリュームへの既知の変換がわかる。

【0032】

レジストレーションモジュール１５８はイメージング装置１１０及び／又はイメージングトランスデューサ若しくはプローブ１４６の座標系と、形状検出可能装置１０２若しくは形状検出ファイバ１２６の座標系とをレジストレーションするように構成される。変換１５４はこれらの座標系間の座標変換を提供する。変換１５４は本明細書でより詳細に記載される通り仮想画像１５２を生成するために画像生成モジュール１４８によって利用され得る。ロボット１４２はプローブ若しくはトランスデューサ１４６と形状検出可能装置１０２との間で操作とレジストレーションを調整するために利用され得る。

【0033】

図２Ａ‐２Ｃを参照すると、ＴＥＥ若しくは外部プローブからの画像を仮想ＩＣＥ若しくはＩＶＵＳ画像へ変換する超音波画像リサンプリングの実施例として、元の超音波画像ボリューム２０２からリサンプルされた、可能な仮想イメージングボリューム２０４、２０６及び２０８が示される。イメージングボリューム２０４、２０６及び２０８はＩＣＥのような横向き画像ボリューム（図２Ａ）、ＩＶＵＳのような円周画像（図２Ｂ）、若しくは前向き画像ボリューム（図２Ｃ）を含み得る。前向き画像（図２Ｃ）は腔内ビューを与えるために使用され得、器具１０２とイメージングされている解剖学的構造の超音波画像両方の"一人称"視点を与えるために装置１０２のまさに先端から後退されていてもよい。上記画像ボリュームの代わりに若しくは加えて画像面若しくはスライス（二次元）画像も利用され得ることが理解されるべきである。

【0034】

一実施形態において、光学形状検出カテーテル１０２は、仮想アパーチャと画像視野が超音波データセット（例えばボリューム２０２）内にとどまる限り、仮想超音波アパーチャがカテーテル１０２に沿って平行移動されカテーテル１０２まわりに回転されることを許可する。

【0035】

図３を参照すると、別のＵＳボリューム２０２が形状検出可能カテーテル１０２を含み、これは仮想画像ボリューム２１６の第１の位置２１０から矢印２１４の方向に画像ボリューム２１６の第２の位置２１２へ動かされる。図３は仮想ＩＶＵＳプルバックを示し、オペレータは仮想アパーチャをカテーテル１０２若しくは他の装置に沿ってスライドすることができる。

【0036】

超音波画像は単一トランスデューサ、例えば経食道心エコー検査（ＴＥＥ）トランスデューサ、鼻ＴＥＥプローブ、若しくは外面プローブ（Ｃ５‐２プローブなど）から生成され得る。さらに、より大きな領域にわたってカテーテル１０２をトラックするためにマルチトランスデューサも利用され得る。これらの実施形態は図４‐６を参照して示される。マルチトランスデューサ／ソースはＯＳＳファイバの位置を用いてどのプローブをイメージングソースとして使用するかを選択するために利用され得る。さらに、各トランスデューサの視野間の画像を縫い合わせるためにマルチソースが利用され得る。ＯＳＳファイバの位置は関心領域（装置の場所）における画像合成を向上させるために超音波プローブのビームステアリングにも使用され得る。

【0037】

図４を参照すると、断面図はＴＥＥプローブ３０６上にＴＥＥトランスデューサ３０４を持つ患者３０２を示す。トランスデューサ３０４は患者３０２の食道を通過され、患者３０２内の超音波イメージングボリューム３０８を作り出す。イメージングボリューム３０８は、形状検出可能装置３１４（例えばカテーテル）が中に光学形状検出ファイバ３１２を持つ一つ若しくは複数の領域と重なる。装置３１４は患者における自然開口を通して若しくはポートを通して設けられ得る。仮想画像ボリューム３１０（例えば仮想ＩＣＥ若しくは仮想ＩＶＵＳ装置）はイメージングボリューム３０８のデータセットの少なくとも一部を用いて得られる。仮想画像ボリューム３１０は装置３１４に沿った及びイメージングボリューム３０８内の選択された場所と配向においてアンカーされる。仮想画像ボリューム３１０の仮想画像は形状検出可能装置３１４上のバンテージポイントから提供され得る。

【0038】

図５を参照すると、断面図は患者３０２内の超音波イメージングボリューム３０８を生成するための単一外部トランスデューサ３２０（プローブ）とともに患者３０２を示す。イメージングボリューム３０８は形状検出可能装置３１４（例えばカテーテル）が中に光学形状検出ファイバ３１２を持つ一つ若しくは複数の領域と重なる。仮想画像ボリューム３１０（例えば仮想ＩＣＥ若しくは仮想ＩＶＵＳ装置）はイメージングボリューム３０８のデータセットの少なくとも一部を用いて得られる。仮想画像ボリューム３１０は装置３１４に沿った及びイメージングボリューム３０８内の選択された場所と配向においてアンカーされる。

【0039】

図６を参照すると、断面図は患者３０２内の超音波イメージングボリューム３０８に対するマルチ超音波アパーチャ（ウィンドウ）３１８を生成するための複数の外部トランスデューサ３２２とともに患者３０２を示す。イメージングボリューム３０８は形状検出可能装置３１４（例えばカテーテル）が中に光学形状検出ファイバ３１２を持つ一つ若しくは複数の領域と重なる複合ウィンドウ３０８の領域を含む。仮想画像ボリューム３１０（例えば仮想ＩＣＥ若しくは仮想ＩＶＵＳ装置）はイメージングボリューム３０８のデータセットの少なくとも一部を用いて得られる。仮想画像ボリューム３１０は装置３１４に沿った及びイメージングボリューム３０８内の選択された場所と配向においてアンカーされる。

【0040】

仮想画像ボリューム３１０を得るために超音波画像をリサンプルするには、画像ボリューム３０８に対する超音波トランスデューサアパーチャと仮想画像ボリューム３１０に対する仮想アパーチャとの間の変換を知る必要がある。特に有用な実施形態において、この変換を得るために以下の方法が利用され得る。一実施形態において、形状検出されたトランスデューサ（内部若しくは外部）と形状検出されたカテーテルが提供され得る。この場合、二つの形状検出座標系をレジストレーションする一つの方法は、手術の前に、二つの形状検出された装置の発射器具が、点に基づくレジストレーション若しくは形状に基づくレジストレーションを用いて一緒にレジストレーションされるものである。

【0041】

別の実施形態において、蛍光透視法に基づくレジストレーションが実行され得る。例えば、ＴＥＥプローブヘッドがｘ線画像にレジストレーションされ得（例えばＥｃｈｏＮａｖ（登録商標）のように）、ＯＳＳカテーテルが同様にｘ線画像にレジストレーションされ得、ＴＥＥプローブヘッドとＯＳＳ装置との間の変換を提供する。ＴＥＥプローブヘッドはｘ線を介して動的にトラックされる必要があり得るが、ＯＳＳ装置は一度ｘ線画像にレジストレーションされれば十分である。さらに別の実施形態において、代替的にトラックされたトランスデューサと形状検出されたカテーテルが利用され得る。トランスデューサヘッドは他のトラッキング技術（例えば外部トランスデューサの場合電磁トラッキング若しくは光学トラッキング）を用いてトラックされ得、光学形状検出装置の発射器具はその代替トラッキング法にレジストレーションされ得る。他のレジストレーション技術及び方法も可能であり、本発明の原理に従って検討される。

【0042】

上記実施形態は仮想ＩＣＥ／ＩＶＵＳカテーテルのロボット制御された超音波トラッキングを含み得る。仮想ＩＣＥ／ＩＶＵＳカテーテルは、仮想画像が超音波視野内にあるときに機能する。従って、超音波オペレータはカテーテルの正確な部分が視野内にあるように超音波プローブを位置付ける必要がある。臨床ワークフローへの影響を減らすために、超音波プローブ（３０４、３２０、３２２）は超音波データセット内にカテーテル位置を維持するようにロボット制御され得る。超音波トランスデューサヘッドと表面（画像処理若しくはマニュアル観察を介して検出される）との間の結合若しくは圧力の欠如に起因して超音波品質が低下するか若しくは失われる場合、ロボットはこれを検出して補正し（例えば面への圧力を増すこと若しくは面にゲルを放出することによって）、そしてイメージングの実行を続けることができる。ロボット制御は同時に超音波データセット３０８内に仮想イメージングボリューム３１０を維持することができ、トランスデューサ３０４、３２０若しくは３２２の物理的位置を仮想画像解像度について最適化することができ、患者３０２にかかる力を最小化しながら、イメージングのために組織と適切な接触を維持するように臨床アプリケーションの物理的制約の範囲内で作用することができる。ロボット制御されるＴＥＥプローブ３０６の場合、ロボットの制御は曲面プローブ先端の位置を変える二つのダイヤルの制御を含み得る。

【0043】

図７Ａと７Ｂを参照すると、ダイヤル（不図示）で制御されるときのＴＥＥプローブ先端の可動域を示す実験結果が示される。ＴＥＥプローブのハンドル上のダイヤルを制御するシステムは操縦可能なプローブ先端の位置をロボット制御する。ロボット制御されるＴＥＥプローブの場合、ロボットの制御（１４２、図１）は曲面プローブ先端５１０の位置を変更するための二つのダイヤルの制御を含み得る。

【0044】

ＴＥＥプローブによって可能な可動域、及び開始画像（図７Ａ）からターゲット画像（図７Ｂ）へ動くために必要な動きの図が示される。球５０２上の全ての点は対応する画像ボリューム５０４を伴うプローブヘッド５１０の固有配向を持つことになる。球５０２の点とこれらの点に関連するボリューム配向はプローブ５１０に特有であり、ロボット制御系においてルックアップテーブル若しくは変換に保存され得る。ターゲット５１４がロボットの座標フレーム５０６において選択されると、ターゲット５１４がボリューム５０４の中央になるように超音波（ＵＳ）ボリュームの理想配向５１２が計算される。この配向５１２は、プローブ５１０の位置にマッチされるルックアップテーブル中の最も近い配向にマッチされる。ロボットは組織への力を制限しながら制御ダイヤルを制御することによってその位置に達しようと試みる。動きにおいて過度の力が加えられない場合ロボットはターゲット５０４を見るために最適な位置に達することになる。力の限界に達する場合、イメージング装置の視点は準最適となるが、制約を踏まえると最適化される。

【0045】

イメージング装置のロボット制御は超音波プローブの制御にとって多数の実施例を持ち得る。例えば、ＴＥＥプローブのハンドル上のダイヤルを制御し、操縦可能なプローブ先端の位置をロボット制御するシステムだけでなく、他のロボットシステムと方法も利用され得る。

【0046】

図８を参照すると、カテーテルの正確な面における仮想ビューの適切な生成を可能にするために、ＵＳプローブ５１０がカテーテル５１６の近位端の形状からガイドされるように制御スキームが修正され得る。この実施形態において、カテーテル５１６の形状は面５１８にフィットされる。プローブ作業空間中の点に対する面５１８の配向は、仮想画像面５２０と物理的画像面５１８の間の角度が最小化され、仮想画像ボリューム５２０のサイズが最大化されるように最適化される。

【0047】

さらなる実施形態において、ロボットは仮想超音波ボリュームを生成するために最適位置へ移動し、そして何らかの他の特徴（例えば別の装置若しくは弁）を視覚化するために元の位置に戻ることができる。最適面はプローブヘッド５１０の最適位置を決定するために装置５１６の遠位部を通して決定され得る。この動きはロボットエンコーダとロボット作業空間からわかるので、物理的（５１８）及び仮想（５２０）ボリューム間の関係もわかり、同じ基準フレームにおいて視覚化されることができる。新たなプローブ位置において見える仮想ボリュームの部分は物理的ボリュームからアップデートされ、"オフライン"ボリューム視覚化の背景で示され得る。ロボットはボリューム全体をアップデートするために二つの異なる位置間で動かされることができる。

【0048】

仮想ＩＣＥ／ＩＶＵＳ画像は元の超音波画像と同じ配向で整列されない可能性がある。結果として、リサンプル画像の解像度は準最適になり得る。超音波収集の最適化は以下の項目の一つ以上によって対処され得る。最高解像度サンプリングが仮想画像と同一面内で同一方向になるように超音波トランスデューサの位置が物理的に調節され得る。これはオペレータへ視覚フィードバックを与えることによって、又は上記の通りロボット制御を利用することによってなされ得る。別の方法は最高解像度方向が仮想ＩＣＥ若しくは仮想ＩＶＵＳ画像と同一面内になるようにトランスデューサ送信プロファイルを適応させること、又はビーム形成スキーム若しくは複合スキームを用いることを含む。より良い解像度は、フレームレートが増大され得るか若しくはマルチビーム角度が使用され得るように必要な３Ｄ超音波ボリュームのみへ視野を削減することによっても実現されることができる。解像度を最適化するために上記方法の組み合わせも利用され得る。

【0049】

図９を参照すると、本発明の原理にかかる仮想イメージングのための方法が例示的に描かれる。ブロック６０２において、被検者の領域が術中イメージングシステムでイメージングされ、その領域に対する画像データセットを生成する。ブロック６０６において、形状検出可能装置の少なくとも一部が、領域内若しくは領域の外側のバンテージポイントとしてポジショニングされる。一つ若しくは複数の形状検出可能装置は光ファイバを含んでもよく、術中イメージングシステムは超音波イメージングシステムを含み得る。超音波イメージングシステムはイメージングされる被検者内に内部に若しくは外部に留置される一つ以上の超音波トランスデューサを含み得る。

【0050】

ブロック６１０において、形状検出可能装置の座標系が術中イメージングシステムの座標系とレジストレーションされる。レジストレーションは：形状に基づく（例えば形状対形状）レジストレーション、画像に基づくレジストレーション、及びトラッキング法レジストレーションのうち少なくとも一つを含み得る。他のレジストレーション技術も利用され得る。

【0051】

ブロック６１４において、画像データセットを用いて領域の少なくとも一部の仮想画像が生成され、仮想画像は形状検出可能装置の位置からのバンテージポイントを含む。ブロック６１８において、仮想画像は：横向き画像、円周画像、及び前向き画像のうち少なくとも一つを含む形状を持つ、仮想画像ボリューム、面若しくはスライスを含み得る。他の幾何学的形状も仮想画像ボリュームに与えられ得る。これらはユーザ設定され、プリセットされる、スライスなどであり得る。

【0052】

ブロック６２０において、仮想画像は画像データセット（若しくは領域）を仮想画像へ変換するように構成される一つ若しくは複数の変換を利用することによって生成され得る。ブロック６２２において、ロボットを用いて術中イメージングシステムと形状検出可能装置の間で操作が調整され得る。例えば、ロボットはシステム間の調整を確保するためにＵＳトランスデューサをカテーテル若しくは他の装置に対して動かし得る。ロボットはイメージングトランスデューサを、これがＯＳＳ装置に従い、必要な若しくは望ましい仮想画像を維持するようにポジショニングする。

【0053】

添付の請求項を解釈するに当たり、以下のことが理解されるべきである：
ａ）"有する"という語は所与の請求項に列挙されるもの以外の要素若しくは動作の存在を除外しない。
ｂ）ある要素に先行する"ａ"若しくは"ａｎ"という語はかかる要素の複数の存在を除外しない。
ｃ）請求項における任意の参照符号はその範囲を限定しない。
ｄ）複数の"手段"は、同じ項目又はハードウェア若しくはソフトウェア実施構造若しくは機能によってあらわされ得る。
ｅ）特に指定されない限り特定の動作順序が要求されることを意図しない。

【0054】

光学形状検出装置の視点を伴う仮想画像について好適な実施形態を記載したが（これらは例示であって限定ではないことが意図される）、上記教示に照らして修正及び変更が当業者によってなされ得ることが留意される。従って添付の請求項によって概説される通り本明細書に開示の実施形態の範囲内にある変更が開示の実施形態の特定の実施形態においてなされ得ることが理解されるものとする。特許法によって要求される特徴と詳細をこのように記載したが、特許証による保護を望まれる特許請求の範囲は添付の請求項に定義される。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】