特許 6907247 光学的位置感知を使用する医療用ナビゲーション・システム及びその操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6907247

(24)【登録日】2021年7月2日

(45)【発行日】2021年7月21日

(54)【発明の名称】光学的位置感知を使用する医療用ナビゲーション・システム及びその操作方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20210708BHJP

   A61B 8/12 20060101ALI20210708BHJP

【ＦＩ】

   A61B34/20

   A61B8/12

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2018-568808(P2018-568808)

(86)(22)【出願日】2017年6月28日

(65)【公表番号】特表2019-521768(P2019-521768A)

(43)【公表日】2019年8月8日

(86)【国際出願番号】EP2017065946

(87)【国際公開番号】WO2018002109

(87)【国際公開日】20180104

【審査請求日】2020年6月26日

(31)【優先権主張番号】62/356,566

(32)【優先日】2016年6月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ティエンファラパ ポール

(72)【発明者】

【氏名】ラマチャンドラン バーラット

(72)【発明者】

【氏名】フレックスマン モリー ララ

(72)【発明者】

【氏名】カーヤ ネリマン ニコレッタ

【審査官】 宮下 浩次

(56)【参考文献】

【文献】 特開２００９−５６１２５（ＪＰ，Ａ）

【文献】 特表２００８−５４１９９０（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１１０８８２（ＷＯ，Ａ１）

【文献】 特表２０１７−５０８５０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ８／１２

(57)【特許請求の範囲】

【請求項1】

メモリと、表現装置と、超音波プローブと、前記超音波プローブに関連づけられた形状感知装置であって前記超音波プローブに対して所定の位置及び向きを有する形状感知装置と、前記メモリ、前記表現装置及び前記形状感知装置に結合されたコントローラとを含む外科用誘導システムであって、前記コントローラは、
前記超音波プローブの場所及び向きのうちの少なくとも一方を、前記形状感知装置から受信した位置センサ情報に基づいて決定し、
前記メモリに記憶されたワークフローの複数のビューの中から１つのビューを選択し、
選択されたビューに対するビュー設定情報であって、それぞれのビューに対する前記超音波プローブの位置及び向きのうちの少なくとも一方とパラメータとを含む前記ビュー設定情報を前記メモリから取得し、
前記超音波プローブの決定された場所及び向きと前記選択されたビューに対する前記超音波プローブの位置及び向きのうちの前記少なくとも一方との比較に基づいて、誘導情報を決定し、
決定された前記誘導情報を前記表現装置上に表現し、前記選択されたビューに対する前記ビュー設定情報の前記パラメータに基づいて超音波プローブ・パラメータを設定する、
外科用誘導システム。

【請求項2】

前記形状感知装置は、少なくとも１つの位置センサを備えていて、前記コントローラはさらに、前記少なくとも１つの位置センサに問い合わせて前記位置センサ情報を取得し、前記位置センサ情報は、ワークスペースに対する前記少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示す、請求項１に記載の外科用誘導システム。

【請求項3】

前記コントローラはさらに、決定された前記誘導情報を、前記選択されたビューに対する前記超音波プローブの位置及び向きのうちの少なくとも一方まで前記超音波プローブを誘導するための方向指示として表現する、請求項１に記載の外科用誘導システム。

【請求項4】

前記コントローラはさらに、前記ワークフローの前記複数のビューのうちの２つ以上のビューを前記表現装置上に同時に表示する、請求項１に記載の外科用誘導システム。

【請求項5】

前記コントローラはさらに、前記２つ以上のそれぞれのビューに対する指示を前記表現装置上に表示する、請求項４に記載の外科用誘導システム。

【請求項6】

前記コントローラはさらに、前記２つ以上のビューを、前記２つ以上のビューが解剖学的に配置された単一のビューとして前記表現装置上に表示する、請求項４に記載の外科用誘導システム。

【請求項7】

設定された前記超音波プローブ・パラメータを使用して超音波画像情報を取得するために、前記コントローラが、前記超音波プローブの少なくとも１つの変換器に結合されている、請求項１に記載の外科用誘導システム。

【請求項8】

前記コントローラはさらに、設定された前記超音波プローブ・パラメータに従う前記超音波画像情報に基づいて画像を再構成する、請求項７に記載の外科用誘導システム。

【請求項9】

前記コントローラはさらに、前記選択されたビューに関連した前記超音波プローブの現在のパラメータ、場所、向き及び超音波情報のうちの２つ以上を関連づけて、記憶する、請求項１に記載の外科用誘導システム。

【請求項10】

前記コントローラはさらに、前記複数のビューのうちのどのビューが、決定された前記超音波プローブの場所及び向きのうちの少なくとも一方に最も近いのかを判定し、最も近いと判定されたビューに基づいてビューを選択する、請求項１に記載の外科用誘導システム。

【請求項11】

超音波情報を取得するために超音波プローブを誘導する方法であって、前記方法は、少なくとも１つのコントローラによって実行され、
前記超音波プローブの場所及び向きのうちの少なくとも一方を位置センサ情報に基づいて決定するステップと、
メモリに記憶されたワークフローの複数のビューの中から１つのビューを選択するステップと、
選択されたビューに対するビュー設定情報であって、それぞれのビューに対する前記超音波プローブの位置及び向きのうちの前記少なくとも一方とパラメータとに関する情報を含むビュー設定情報を取得するステップと、
前記超音波プローブの場所及び向きと前記選択されたビューに対する前記超音波プローブの位置及び向きのうちの前記少なくとも一方との比較に基づいて、誘導情報を決定するステップと、
決定された前記誘導情報を出力し、前記選択されたビューに対する前記ビュー設定情報の前記パラメータに基づいて超音波プローブ・パラメータを設定するステップとを有する、
方法。

【請求項12】

プロセッサによって実行されたときに、
超音波プローブの場所及び向きのうちの少なくとも一方を位置センサ情報に基づいて決定するステップと、
ワークフローの位置合せされた少なくとも１つのビューの中から１つのビューを選択するステップと、
選択されたビューに対するビュー設定情報であって、位置合せされたそれぞれのビューに対するパラメータ及びそれぞれのビューに対する前記超音波プローブの位置及び向きのうちの少なくとも一方に関する情報を含むビュー設定情報を取得するステップと、
前記超音波プローブの場所及び向きと前記選択されたビューに対する前記超音波プローブの位置及び向きのうちの前記少なくとも一方との比較に基づいて、誘導情報を決定するステップと、
決定された前記誘導情報を出力し、前記選択されたビューに対する前記ビュー設定情報の前記パラメータに基づいて超音波プローブ・パラメータを設定するステップとを
実施するためのコンピュータ命令を含む、非一時的コンピュータ可読媒体。

【請求項13】

前記プロセッサはさらに、形状感知装置の少なくとも１つの位置センサに問い合わせて前記位置センサ情報を取得するステップを実施し、前記位置センサ情報が、ワークスペースに対する前記少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示す、請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記プロセッサはさらに、前記ワークフローの複数のビューのうちの２つ以上のビューを同時に表示するステップを実施する、請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記プロセッサはさらに、前記複数のビューのうちの前記２つ以上のビューを、前記２つ以上のビューが解剖学的に配置された単一のビューとして同時に表示するステップを実施する、請求項１４に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明のシステムは、光学的形状感知（ｏｐｔｉｃａｌ−ｓｈａｐｅ−ｓｅｎｓｉｎｇ：ＯＳＳ）法などの形状感知法を使用して外科的介入中に外科用器具の追跡を実行する医療用ナビゲーション・システムに関し、より詳細には、Ｆｉｂｅｒ Ｏｐｔｉｃ ＲｅａｌＳｈａｐｅ（商標）（ＦＯＲＳ）追跡法を使用して外科的介入中に外科用器具を追跡する医療用ナビゲーション・システム、及びその操作方法に関する。

【背景技術】

【0002】

患者などの物体の解剖学的構造を超音波を使用して画像化するための最適な位置及びビューを見つけることは難しく、外科的介入などの手技中ではなおさらである。例えば、器質的心疾患手技などの手技中には、超音波プローブの一型である経食道エコー（ＴＥＥ）プローブが、患者の心臓の特定のビューが得られるような態様で配置される。しかしながら、ＴＥＥプローブによる２つ以上のビューが望ましいことがあり、そのためには、臨床医が、それらのビューに対する他の所望の位置及び／又は向きまでＴＥＥプローブを操作し、それらのそれぞれのビューに対する超音波パラメータを調整することが必要となる。残念なことに、ＴＥＥプローブの位置及び／又は向きを操作すること並びに超音波パラメータを変更することは、特に外科的介入中に貴重な時間を消費することになる。さらに、時間の浪費に加えて、手技中に以前のビューに戻ることは、不可能ではないとしてもしばしば困難である。したがって、優れた超音波臨床医であっても、外科的介入中にＴＥＥプローブを用いて作業することは難しいと感じる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、本発明のシステムの実施形態は、従来の画像化システムのこれらの欠点及びその他の欠点を解決する。

【0004】

本明細書に記載されたシステム、装置、方法、配置、ユーザ・インタフェース、コンピュータ・プログラム、プロセスなど（以後、コンテキストに反しない限り、これらはそれぞれシステムと呼ばれる）は、先行技術のシステムの課題に対処する。本発明のシステムの実施形態は、形状感知位置合せ法を使用する。この方法は、同時サンプル点の不連続セット又は連続体とみなされるものなどのサンプル点を使用し、これらのサンプル点は、異なる座標系が位置合せされるように、座標系の位置に関する情報を提供する。

【課題を解決するための手段】

【0005】

本発明のシステムの実施形態によれば、本発明のシステムの一態様として、外科用誘導システムが開示される。この外科用誘導システムは、メモリと、表現装置と、超音波プローブと、超音波プローブに関連づけられた形状感知装置（ＳＳＤ、shape-sensing-device）であって超音波プローブに対して所定の位置及び向きを有する形状感知装置（ＳＳＤ）と、メモリ、表現装置及びＳＳＤに結合されたコントローラとを含み、コントローラは、超音波プローブの場所と向きのうちの少なくとも一方を、ＳＳＤから受信した位置センサ情報（ＰＳＩ）に基づいて決定し、メモリに記憶されたワークフローの複数のビューの中から１つのビューを選択し、選択されたビューに対するビュー設定情報（ＶＳＩ）であって、それぞれのビューに対する超音波プローブの位置及び向きのうちの少なくとも一方とパラメータとを含むＶＳＩをメモリから取得し、超音波プローブの決定された場所及び向きと選択されたビューに対する超音波プローブの位置及び向きのうちの少なくとも一方との比較に基づいて、誘導情報を決定し、決定された誘導情報を表現装置上に表現し、選択されたビューに対するＶＳＩのパラメータに基づいて超音波プローブ・パラメータを設定するように構成されている。

【0006】

本発明のシステムの実施形態によれば、ＳＳＤは、少なくとも１つの位置センサを備えていてもよく、コントローラは、少なくとも１つの位置センサに問い合わせてＰＳＩを取得するように構成されていてもよく、ＰＳＩは、ワークスペース（ｗｏｒｋｓｐａｃｅ）に対する少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示す。さらに、コントローラがさらに、決定された誘導情報を、選択されたビューに対する超音波プローブの位置及び向きのうちの少なくとも一方まで超音波プローブを誘導するための方向指示として表現するように構成されることが想定される。コントローラはさらに、ワークフローの複数のビューのうちの２つ以上のビューを表現装置上に同時に表示するように構成されていてもよい。コントローラはさらに、２つ以上のそれぞれのビューに対する指示を表現装置上に表示するように構成されていてもよい。コントローラがさらに、２つ以上のビューを、２つ以上のビューが解剖学的に配置された単一のビューとして表現装置上に表示するように構成されることも想定される。

【0007】

本発明のシステムの実施形態によれば、設定された超音波プローブ・パラメータを使用して超音波画像情報を取得するために、コントローラが、超音波プローブの少なくとも１つの変換器に結合されていてもよい。さらに、コントローラがさらに、設定された超音波プローブ・パラメータに従う超音波画像情報に基づいて画像を再構成するように構成されることが想定される。コントローラはさらに、選択されたビューに関連した超音波プローブの現在のパラメータ、場所、向き及び超音波情報のうちの２つ以上を関連づけて、記憶するように構成されていてもよい。コントローラがさらに、複数のビューのうちのどのビューが、決定された超音波プローブの場所及び向きのうちの少なくとも一方に最も近いのかを判定し、最も近いと判定されたビューに基づいてそのビューを選択するように構成されることも想定される。

【0008】

本発明のシステムの実施形態によればさらに、超音波情報を取得するために超音波プローブを誘導する方法が開示される。この方法は、少なくとも１つのコントローラによって実行され、超音波プローブの場所及び向きのうちの少なくとも一方を位置センサ情報（ＰＳＩ）に基づいて決定するステップと、メモリに記憶されたワークフローの複数のビューの中から１つのビューを選択するステップと、選択されたビューに対するビュー設定情報（ＶＳＩ）であって、それぞれのビューに対する超音波プローブの位置及び向きのうちの少なくとも一方とパラメータとに関する情報を含むＶＳＩを取得するステップと、超音波プローブの場所及び向きと選択されたビューに対する超音波プローブの位置及び向きのうちの少なくとも一方との比較に基づいて、誘導情報を決定するステップと、決定された誘導情報を出力し、選択されたビューに対するＶＳＩのパラメータに基づいて超音波プローブ・パラメータを設定するステップとを有する。この方法はさらに、形状感知装置（ＳＳＤ）の少なくとも１つの位置センサに問い合わせてＰＳＩを取得するステップを含んでもよく、ＰＳＩは、ワークスペースに対する少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示す。

【0009】

さらに、決定された誘導情報を出力するステップが、決定された誘導情報に対応する誘導命令を生成するステップ、及び生成された誘導命令をシステムの表現装置上に表現するステップを含むことが想定される。決定された誘導情報を出力するステップは、超音波プローブの位置及び向きのうちの少なくとも一方を制御するために、誘導情報を少なくとも１つのロボット・アクチュエータに送信するステップを含んでもよい。出力するステップが、決定された誘導情報を、選択されたビューに対する超音波プローブの位置及び向きのうちの少なくとも一方まで超音波プローブを誘導するための方向指示として出力するステップを含むことも想定される。さらに、この方法が、ワークフローの複数のビューのうちの２つ以上のビューを表現装置上に同時に表示するステップを含むことが想定される。

【0010】

本発明のシステムの別の態様では、ユーザ・インタフェースが、決定されたＶＳＩ若しくはプローブ・パラメータ又はワークフローの選択に対応する誘導命令及び誘導情報を提示する。

【0011】

本発明のシステムの実施形態によればさらに、コンピュータ命令を含む非一時的コンピュータ可読媒体が開示される。このコンピュータ命令は、プロセッサによって実行されたときに、超音波プローブの場所及び向きのうちの少なくとも一方を位置センサ情報（ＰＳＩ）に基づいて決定するステップと、ワークフローの位置合せされた少なくとも１つのビューの中から１つのビューを選択するステップと、選択されたビューに対するビュー設定情報（ＶＳＩ）であり、位置合せされたそれぞれのビューに対するパラメータ及びそれぞれのビューに対する超音波プローブの位置及び向きのうちの少なくとも一方に関する情報を含むＶＳＩを取得するステップと、超音波プローブの場所及び向きと選択されたビューに対する超音波プローブの位置及び向きのうちの少なくとも一方との比較に基づいて、誘導情報を決定するステップと、決定された誘導情報を出力し、選択されたビューに対するＶＳＩのパラメータに基づいて超音波プローブ・パラメータを設定するステップとをプロセッサが実施。このコンピュータ命令が、形状感知装置（ＳＳＤ）の少なくとも１つの位置センサに問い合わせてＰＳＩを取得するステップをプロセッサが実施し、ＰＳＩが、ワークスペースに対する少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示すことも想定される。さらに、このコンピュータ命令が、ワークフローの複数のビューのうちの２つ以上のビューを同時に表示するステップを実行するようにプロセッサを構成することが想定される。さらに、このコンピュータ命令によって、プロセッサが、複数のビューのうちの２つ以上のビューを、２つ以上のビューが解剖学的に配置された単一のビューとして同時に表示するステップを実行するように構成されてもよい。

【0012】

以下の例示的な実施形態では、図を参照して本発明をさらに詳細に説明する。それらの図では、同一の要素又は類似の要素が、部分的に、同じ参照符号又は類似の参照符号によって示されている。さまざまな例示的な実施形態の特徴は組み合わせることができる。

【図面の簡単な説明】

【0013】

【図1】本発明のシステムの実施形態に従って動作する超音波医療用ナビゲーション・システムの一部分の正面斜視図である。

【図2】本発明のシステムの実施形態に基づくプロセスによって実行される機能的流れ図である。

【図3】本発明のシステムの実施形態に基づく、複数のそれぞれのＰＴに対するワークフロー表を示す図である。

【図4A】本発明のシステムの実施形態に基づく、第１の選択されたビューに対応する最適な第１の場所まで操縦された超音波プローブのスクリーンショットの一部分を示す図である。

【図4B】本発明のシステムの実施形態に基づく、第２の選択されたビューに対応する最適な第２の場所まで操縦された図４Ａの超音波プローブのスクリーンショットの一部分を示す図である。

【図5】本発明のシステムの実施形態に基づく、第２の選択されたビューに対応する最適な第２の場所まで操縦された図４Ａの超音波プローブのスクリーンショットであり、円などの任意選択の場所指示子を含むスクリーンショットの一部分を示す図である。

【図6】本発明のシステムの実施形態に基づく、選択されたビューに対応する最適な場所まで操縦された超音波プローブのスクリーンショットであり、円などの任意選択の場所指示子を含むスクリーンショットの一部分を示す図である。

【図7】本発明のシステムの実施形態に基づくシステムの一部分を示す図である。

【発明を実施するための形態】

【0014】

以下の説明は、図面とともに検討したときに上述の特徴及び利点並びに追加の特徴及び利点を示す例示的な実施形態の説明である。以下の説明では、限定のためではなく説明のために、アーキテクチャ、インタフェース、技法、要素属性などの例示的な詳細が示される。しかしながら、当業者には、それらの詳細から逸脱する他の実施形態も添付の特許請求の範囲に含まれることが依然として理解されることが明らかである。さらに、分かりやすくするため、本発明のシステムの説明を不明瞭にすることがないように、よく知られている装置、回路、ツール、技法及び方法の詳細な説明は省かれている。図面は、例示のために含まれているのであって、本発明のシステムの完全な範囲を表すものではないことを特に理解すべきである。添付図面では、異なる図面の同様の参照符号が同様の要素を示していることがある。用語「及び／又は」等は、特許請求の範囲及び本発明のシステムの１つ又は複数の実施形態に従って、（例えば、列挙された１つの要素だけが存在する、列挙された要素のうちの２つの要素が存在する、列挙された全ての要素が存在するなど）列挙された要素のうちの１つ又は複数の要素だけがシステム内に適切に存在すればよいことを意味すると理解すべきである。

【0015】

次に、分かりやすくするため、ＦＯＲＳ法などを使用して利用される形状感知ファイバなどの形状感知装置（ＳＳＤ）に関して本発明のシステムの実施形態を示し、説明する。しかしながら、本発明のシステムの実施形態が、多数のデータ点を逐次的に又は同時にサンプリングするＥＭ追跡法などの他の追跡システムと両立することも想定される。さらに、本発明のシステムのＳＳＤは単独で使用され、又はカテーテルなどのシース、ガイドワイヤ、外科用器具、画像化用器具（例えば超音波プローブ）などと一緒に使用されると考えるべきである。

【0016】

図１は、本発明のシステムの実施形態に従って動作する超音波医療用ナビゲーション・システム１００（以後、分かりやすくするためシステム１００と称する）の一部分の正面斜視図を示す。システム１００は、ＳＳＤ１０２、超音波プローブ１０４、ベース１０８、支持プラットホーム１１０、コントローラ１２２、ロボット・コントローラ１４０、ネットワーク１２０、メモリ１２４、センサ１３２及びユーザ・インタフェース（ＵＩ）１２６のうちの１つ又は複数を含む。コントローラ１２２は、システム１００の全体動作を制御し、ＳＳＤ１０２、超音波プローブ１０４、ベース１０８、支持プラットホーム１１０、メモリ１２４、センサ１３２、ロボット・コントローラ１４０及びＵＩ１２６のうちの１つ又は複数と、適当な有線及び／又は無線通信法を使用して通信する。例えば、コントローラ１２２は、ネットワーク１２０を介して超音波プローブ１０４と通信する。ロボット・コントローラ１４０は、超音波プローブ１０４などの本発明のシステムの１つ又は複数の外科用器具を、所望の位置及び／又は向きまでロボットにより操作するように動作可能である。これに応じて、ロボット・コントローラ１４０は、１つ若しくは複数の軸（例えば７つなど多数の軸）に沿って又は１つ若しくは複数の軸の周りで超音波プローブ１４０を操作するために、１つ又は複数のアクチュエータ、アームなどを含む。

【0017】

ネットワーク１２０は、ワイドエリア・ネットワーク（ＷＡＮ）、ローカルエリア・ネットワーク（ＬＡＮ）、インターネット、システム・バス、プロプリエタリ・バス、インターネット、イントラネット、有線バス、無線バスなど、適当な通信リンクを含む。これに応じて、ユーザは、局所及び／又は遠隔通信法を使用してシステムと通信する。メモリ１２４は、オペレーティング命令などの情報、システムによって生成された情報、ユーザ入力及び／又は設定、履歴情報、オペレーティング設定及び／又はパラメータ、識別情報、ユーザ情報、患者情報などが記憶された適当な不揮発性メモリを含む。

【0018】

センサ１３２は、対応するセンサ情報を取得し、そのセンサ情報をさらなる処理のためにコントローラ１２２に提供するセンサを含む。コントローラ１２２は、センサ情報に関して１つ又は複数のセンサ１３２に問い合わせる。例えば、センサ１３２は、ＳＳＤ１０２の形状を感知し、その情報をコントローラ１２２に提供する光学的形状センサを含み、コントローラ１２２は、本発明のシステムの実施形態に従ってＳＳＤ１０２の１つ又は複数の部分の位置及び／又は向きを決定する。センサ１３２は、システム１００の全体にわたって分布しており、センサ１３２はさらに、それを用いてユーザがシステムに情報を入力するタッチ・センサ、キーボードなどのセンサを含む。センサ１３２はさらにＥＭ追跡センサを含む。さらに、センサ１３２は、台１１０、患者１０１、ベース１０８、ＥＭ追跡装置などの位置／向きに関する位置／向き情報を提供する位置センサを含む。

【0019】

ＵＩ１２６は、システムによって生成されたグラフィカル・ユーザ・インタフェース（ＧＵＩ）及び／又は画像情報などユーザの便益のための情報を表現する適当なユーザ・インタフェースを含む。これに応じて、ＵＩ１２６は、スピーカ（ＳＰＫ）、ディスプレイ１２８（例えばタッチスクリーン・ディスプレイなど）、触覚装置（例えばバイブレータなど）を含んでもよい。支持プラットホーム１１０は、介入手技などの手技のために患者１０１などの物体を所望の位置及び／又は向きに支持する適当な支持プラットホームである。支持プラットホーム１１０は、コントローラ１２２の制御の下で支持プラットホームを移動させるアクチュエータを含んでもよい。

【0020】

ベース１０８は、超音波プローブ１０４及びＳＳＤ１０２のうちの１つ又は複数のための発出固定具として機能する（物理的な又は仮想の）１つ又は複数の適当な装置ベースを含む。これに応じて、超音波プローブ１０４及びＳＳＤ１０２のうちの１つ又は複数の少なくとも一部分の位置及び／又は向きが、基準フレーム１０５に対して決定される。ベース１０８は複数のベースを含んでもよい。基準フレーム１０５は、支持プラットホーム１１０の基準フレーム、患者１０１の基準フレーム、共通基準フレームなど、適当な基準フレームを含む。しかしながら、分かりやすくするため、基準フレーム１０５は患者１０１の基準フレームを指すと仮定する。このようにすると、基準フレーム１０５は、患者１０１の解剖学的構造に対応する。これに応じて、システム１００は、分かりやすくするために患者１０１によって画定されたワークスペースを使用する。このワークスペースを患者ワークスペースと呼ぶ。ベース１０８は、Ｃアーム、支持プラットホーム１１０などの適当な固定具に結合されている。

【0021】

超音波プローブ１０４は、実行されている手技のための適当な超音波プローブを含む。例えば、本発明の実施形態では、超音波プローブ１０４が、１つ又は複数のビュー（例えばビューポイント）に対する患者１０１の心臓の画像を構成するための超音波画像情報を取得する経食道エコー（ＴＥＥ）プローブを含むと仮定する。さらに、超音波プローブ１０４の位置、向き、設定及び／又はパラメータはビューごとに異なると仮定する。超音波プローブ１０４は、それぞれのビューに対する超音波画像情報を捕捉するための超音波センサ（例えば変換器）アレイ１０６を含む。超音波センサ・アレイ１０６は、超音波プローブ１０４の遠位端１０７に位置し、又は遠位端１０７に隣接して位置する。超音波プローブ１０４は、例えば超音波プローブ１０４の一部分、例えば超音波センサ・アレイ１０６の位置及び／又は向きが容易に決定されるようにＳＳＤ１０２を受け取るのに適した開口を含む。しかしながら、限定はされないが、要望に応じて、この開口は、ＳＳＤ１０２の一部分を受け取るのに適した切欠き又はタブを含んでもよいことを理解すべきである。この切欠き又はタブは、超音波プローブ１０４の遠位端１０７又は遠位端１０７の近くなど、超音波プローブ１０４上の所望の位置に配置される。この開口は、開口に対するＳＳＤ１０２の位置及び向きが規定されるような態様でＳＳＤ１０２を受け取るように構成される。例えば、この開口は、超音波プローブ１０４に対するＳＳＤ１０２の位置及び／又は向きが決定されるような単一の位置でだけＳＳＤ１０２を受け取るように調節される。ＳＳＤ１０２の位置及び／又は向きは、位置及び／又は向きベクトルを使用して決定される。しかしながら、他の実施形態では、超音波プローブ１０４が、ＳＳＤ１０２から既知の距離のところに固定される（例えば図３〜図６を参照されたい）。

【0022】

超音波プローブ１０４は、シース１０５の遠位端に配置される。シース１０５は、その長さに沿って１つ又は複数の開口を含み、この開口を通して、ＳＳＤ１０２が、超音波プローブ１０４に到達するために挿入される。同様に、超音波プローブ１０４も、同じ開口又は別の開口を通して挿入される。したがって、超音波プローブ１０４とＳＳＤ１０２は、シース１０５内に同時に配置される。しかしながら、他の実施形態によれば、超音波プローブ１０４とＳＳＤ１０４が異なる管孔を通して挿入される。

【0023】

超音波プローブ１０４は、適当な有線及び／又は無線通信法を使用してコントローラ１２２と通信する。例えば、超音波プローブ１０４は、ネットワーク１２０を介してコントローラ１２２と通信する。コントローラ１２２は、所望のビュー（例えば所望のビューポイント）の超音波画像を生成するのに適した超音波情報を生成するように超音波センサ・アレイ１０６を制御する。超音波プローブ１０４は、Ｘ線画像などのシステムの１つ又は複数の画像の中で認識される識別ランドマークを含み、超音波プローブ１０４の対応する位置及び／又は向きが決定される。その後に、超音波プローブ１０４から取得された画像をＸ線画像などに対して位置合せする位置合せが実行され、超音波プローブ１０４のＸ線画像に基づいて、超音波プローブ１０４の位置及び／又は向きが決定される。適当な位置合せ法は、Ｘ線と超音波との位置合せを示している米国特許出願公開第２０１２／０２４５４５８号、並びにＦＯＲＳと超音波との位置合せを示している国際特許公開第ＷＯ２０１４／０５３９３４Ａ１号及びＦＯＲＳとＸ線との位置合せを示している同第ＷＯ２０１５０１０８５９号の中で論じられている。これらのそれぞれの文献の内容は参照によって本明細書に組み込まれている。すぐに理解されることだが、他の適当な画像位置合せ法も、本発明のシステムの部分の位置合せに適当に適用される。

【0024】

ＳＳＤ１０２は、患者１０１の基準フレーム（例えば患者ワークスペース）などの所望の基準フレームに対するＳＳＤ１０２の少なくとも一部分の位置及び／又は向きを決定するのに適したＳＳＤ情報を提供する少なくとも１つのセンサを含む。分かりやすくするため、ＳＳＤ１０２は、ＳＳＤ１０２の遠位端１０３が超音波プローブ１０４のところに位置するような態様で超音波プローブ１０４の開口の少なくとも一部分を通過すると仮定される。例えば、ＳＳＤ１０２は超音波プローブに結合されている。しかしながら、他の実施形態では、希望する場合に、超音波プローブ１０４から既知の距離のところにＳＳＤ１０２が位置し、超音波プローブ１０２の位置及び／又は向きを決定するために、既知のオフセット距離及び／又は向きが使用される。ＳＳＤ１０２はさらに、（例えばベース１０８に既知の位置及び／又は向きで結合された）既知の経路１１１などの既知の経路を通過し又は既知の経路内にあり、その既知の経路が、位置合せのためにシステム１００によって認識される。超音波プローブ１０４は既知の経路を含み、例えば、その結果、超音波プローブ１０４がこの既知の経路内に位置しているときに、この既知の経路が（例えばＳＳＤ情報を解析することによって）認識され、超音波プローブ１０４の位置及び／若しくは向き、又は超音波プローブ１０４の部分の位置及び／若しくは向き、例えば超音波プローブ１０４のこの既知の形状のところの部分の位置又は超音波プローブ１０４のこの既知の形状に隣接する部分の位置及び／若しくは向きが決定される。

【0025】

コントローラ１２２を再び参照する。コントローラ１２２は、システム１００の全体動作を制御し、プロセッサ１３０（例えばマイクロプロセッサ（μＰ）など）などの１つ又は複数の論理装置を含み、この論理装置は、トランジスタ、ゲート、インピーダンス装置、メタライゼーション接続など、離散及び／若しくは分散型の論理ゲート及びスイッチング装置、並びに／又は他の同様の装置などの相互接続された多数の半導体装置を有する。コントローラ１２２は、問合せモジュール１３４及び／又は位置合せモジュール１３６を含み、これらのモジュールは、ハードウェア、ソフトウェア及び／又はファームウェア装置を含み、これらの装置は、そのメモリ及び／又はメモリ１２４に記憶された命令を有し、これらの命令は、プロセッサによって実行されたときに、１つ又は複数の所望の機能をプロセッサに実行させる。

【0026】

問合せモジュール１３４は、時間の経過に伴ってＳＳＤ１０２が移動する経路及び／又はＳＳＤ１０２の１つ若しくは複数の部分の形状を示すＳＳＤ情報（ＳＳＤＩ）（後述）などの情報を（例えば問合せプロセスを介して）ＳＳＤ１０２から取得するように動作可能である。この経路は、逐次的に（例えば経時的に）及び／又は同時に（例えば一時に）決定される。次いで、超音波プローブ１０４の場所及び／又は向きを決定するためにＳＳＤＩが処理される。既知の経路又は１つ若しくは複数の既知の経路（例えば１１１）を通して、又は既知の経路又は１つ若しくは複数の既知の経路（例えば１１１）内にＳＳＤが配置されているとき、ＳＳＤは、対応する１つ又は複数の既知の経路の形状を呈し、対応するＳＳＤＩを形成する。コントローラ１２２は、この既知の経路を（例えばＳＳＤＩを解析することによって）認識し、この対応して認識された既知の経路に対するＳＳＤ１０２の１つ又は複数の部分の位置及び／又は向きを決定する。しかしながら、このＳＳＤＩに基づいて、既知の経路（例えば超音波プローブ１０４内の既知の経路）の位置及び／又は向きが決定されることも想定される。

【0027】

位置合せモジュール１３６は、この実施形態で使用される患者１０１のワークスペース（例えば患者１０１の解剖学的構造を反映した患者ワークスペース）などの１つ又は複数の基準座標系に対して、ＳＳＤ１０２及び／又はプローブ１０４の位置及び／又は向きを位置合せするように動作可能である。例えば、位置合せモジュール１３６は、ＥＭ追跡システム（例えばＥＭ発生装置及び／又はＥＭセンサ）、Ｘ線撮像素子、ＳＳＤ及び超音波プローブ１０４などシステムの１つ又は複数の部分（及び／又はそれらの部分から取得された情報）を、例えば患者１０１のワークスペースに対して位置合せする。位置合せモジュール１３６はさらに、要望に応じてベース１０８、既知の形状（例えば既知の形状１１１）などのシステム１００の１つ又は複数の部分を、患者ワークスペースなどの既知のワークスペースに対して位置合せする。例えば、位置合せモジュール１３６が、（例えばリアルタイムで取得された）Ｘ線画像、超音波画像（例えば超音波ビュー）などのシステムの１つ又は複数の画像化様式から取得された画像、患者の解剖学的構造、（例えばＳＳＤ情報による）ＳＳＤ１０２の位置、１つ又は複数のワークスペースなどを位置合せすることが想定される。例えば、Ｘ線画像が、超音波ビュー及び／又はＳＳＤに対して位置合せされ、超音波ビュー及び／又はＳＳＤは最終的に、患者１０１（例えば分かりやすくするために患者の解剖学的構造）のワークスペースに対して位置合せされる。或いはこの逆が実施される。位置合せの順序はさまざまである。システム１００は、エコー・ナビゲータなど、位置合せを実行するソフトウェアを含む。

【0028】

ＳＳＤ１０２は、装置ベース１０８から所与の長さ（Ｌ_ｓｓｄ）だけ延び、その長さ（Ｌ_ｓｓｄ）の少なくとも一部分に沿ったＳＳＤ１０２の位置及び／又は向きを示すＳＳＤＩなどの信号を提供する。希望する場合、ＳＳＤＩはさらに、ＳＳＤ１０２の１つ又は複数の場所におけるＳＳＤ１０２の形状に関する情報を含んでもよい。ＳＳＤ１０２は、ＳＳＤ１０２の長さＬ_ｓｓｄに沿った複数の場所の位置及び／又は向きを示す複数のセンサからのセンサ情報（例えばＳＳＤＩ）を提供する、Ｆｉｂｅｒ Ｏｐｔｉｃ Ｒｅａｌ Ｓｈａｐｅ（商標）（ＦＯＲＳ）ファイバなどの適当な形状感知装置を使用して形成される。センサはそれぞれ、例えば対応するセンサの位置（例えばｘ，ｙ，ｚ座標など）及び／又は向き（例えば対応するファイバのねじれ）に関する情報を提供する。要望に応じて、これらの複数の形状感知場所は、場所の連続体に近くてもよい。しかしながら、一般に、これらの複数の形状感知場所は、４０μｍ又は他の適当な距離などの所望の距離だけ互いから離れて設定される。適当なＳＳＤ１０２には例えば、Ｒａｍａｃｈａｎｄｒａｎ他の米国特許出願公開第２０１３／０３１７３５６号に記載されているものなどの形状感知ファイバ（ＳＳＦ）、ＥＭセンサなどの少なくとも１つのＥＭセンサが先端に位置するＥＭベースの追跡装置など、及び／又はこれらの組合せが含まれる。この文献はその全体が参照によって本明細書に組み込まれている。本発明のシステムの実施形態によれば、位置及び／又は向きセンサは、能動発光ダイオード、球面などの受動反射器、光学及び／若しくはＥＭコイル、並びに／又はＸ線及び／若しくは原子核ベースの画像化などの画像化に基づいて識別可能な放射性若しくは放射線不透過性マーカである。光学センサと同様に、ＥＭセンサ及び／若しくは他のセンサ／マーカも、要望に応じて、互いに離れた１つ若しくは複数の場所に位置し、又は、ＳＳＤを経路に通したときの位置の履歴を累積することにより、単一の点センサから形状が再構成される。

【0029】

動作中に、ＳＳＤ１０２に問い合わせることによってＳＳＤＩが取得される。この問合せは、システムが使用するＳＳＤのタイプに対応する光学的及び／又はＥＭ問合せ技法を使用する。例えば、ＳＳＦは、Ｆｉｂｅｒ Ｏｐｔｉｃ Ｒｅａｌ Ｓｈａｐｅ（商標）（ＦＯＲＳ）問合せ技法を使用してＳＳＦの位置及び／又は向きを決定し、ＥＭベースの追跡装置は、ＥＭ問合せ法を使用してＳＳＤＩを取得する。しかしながら、これらの問合せ技法は、互いに排他的であっても又は排他的でなくてもよい。例えば、これらの技法のうちの２つ以上の技法が一緒に利用されてもよい。さらに、光学的問合せ技法が、ＳＳＤの少なくとも１つの光学センサに同時に問い合わせ、ＥＭ問合せ技法が、ＳＳＤの少なくとも１つのＥＭセンサに逐次的に問い合わせてもよく、且つ／又はこの逆であってもよい。

【0030】

問合せ技法のタイプに関わらず、この問合せによってＳＳＤＩを取得する。次いで、ＳＳＤ１０２と基準ワークスペース座標系（例えば患者ワークスペース）との位置合せを本出願に記載されたとおりに実行するため、及び／又はＳＳＤ１０２の遠位端１０３などＳＳＤ１０２の１つ若しくは複数の部分の場所及び／若しくは向きを決定するために、ＳＳＤＩが処理される。ＳＳＤ１０２に対して問合せがなされるように、コントローラ１２２は、（電子的方法、光学的方法などの適当な方法を使用して）ＳＳＤ１０２に通信可能に結合されている。分かりやすくするため、患者１０１のワークスペースを基準ワークスペースと呼ぶと仮定する。しかしながら、本発明のシステムの実施形態に従って動作するシステム内にはいくつかの基準ワークスペースがあることを理解すべきである。本発明のシステムの実施形態によれば、ＥＭ型のＳＳＤを使用しているとき、コントローラ１２２は、ＳＳＤ１０２からＥＭ場情報を取得するＥＭ場発生装置を駆動する。

【0031】

図２は、本発明のシステムの実施形態に基づくプロセス２００によって実行される機能的流れ図を示す。プロセス２００は、ネットワークを介して通信する１つ又は複数のプロセッサ、コンピュータ、コントローラなどを使用して実行される。プロセス２００は、１つ若しくは複数のメモリから情報を取得し、且つ／又は１つ若しくは複数のメモリに情報を記憶する。この１つ若しくは複数のメモリは、互いに局所メモリであってもよく、且つ／又は互いに遠隔メモリであってもよい。プロセス２００は、以下のステップのうちの１つ又は複数のステップを含む。本発明のシステムの実施形態によれば、プロセス２００のステップは、本発明のシステムの実施形態に従って動作する１つ又は複数の適当な座標位置合せシステムを使用して実行される。さらに、要望に応じて、これらのステップのうちの１つ若しくは複数のステップは組み合わされ、且つ／又はサブステップに分割される。さらに、設定によっては、これらのステップのうちの１つ又は複数のステップが省略される。分かりやすくするため、単一の超音波プローブに関してこのプロセスを説明する。しかしながら、限定はされないが、このプロセスは、サブワークフローなどの別個のワークフローをそれぞれが含む複数の超音波プローブを使用することができることを理解すべきである。動作時、このプロセスはステップ２０１から始まり、次いでステップ２０３に進む。さらに、超音波プローブは既知の経路を含むと仮定する。

【0032】

ステップ２０３中に、プロセスは、現在の手技のためのワークフローを取得する。このワークフローを現在のワークフローと呼ぶ。ワークフローは、既知の場合に現在の手技又はワークフローに対応する情報を含むワークフロー情報（ＷＩ）から取得する。ワークフローは、そのワークフローに関連づけられた、位置合せされた複数のビュー（例えばビューポイント）を有し、それらのビューはそれぞれ、情報及び対応する場所（例えばｘ，ｙ，ｚなど）、向き情報（例えばα，β，γなど）、及び／又は超音波パラメータ設定を画像化する。本発明のシステムの実施形態によれば、これらのビューは、それぞれのワークフローに対するビュー・ライブラリとして記憶される。このワークフローは、実行中の手技タイプ（ｐｒｏｃｅｄｕｒｅ−ｔｙｐｅ：ＰＴ）に対応する。このワークフローは、実行中のＰＴに従ってシステムのメモリから取得され、且つ／又はユーザによって指定される。したがって、ワークフローは、手技タイプ（ＰＴ）及び／又は（手技を実行している）ユーザに従って定義される。例えば、本発明のシステムの実施形態によれば、１つのＰＴに対するワークフローは、システム及び／又はユーザによって設定された所望の順序で実行される１つ又は複数の手技（例えばサブ手技）を含む。例えば、図３は、本発明のシステムの実施形態に基づく、複数のそれぞれのＰＴ３０１ｘに対するワークフロー表３００を示す。図３を参照する。Ｍ個の手技タイプ３０１Ａから３０１Ｍがあると仮定する。Ｍは整数（一般に３０１ｘ）であり、手技タイプ（例えば心耳切除術、心臓アブレーションなど）はそれぞれ、その手技タイプに関連した対応するワークフロー３０３Ａから３０３Ｍ（例えばワークフロー１からＭ。Ｍは整数）を有する。ワークフローはそれぞれ、位置合せされたビュー（ＲＶ）３０３及び座標情報（ＣＩ）、向き情報（ＯＩ）などの関連情報、（例えば要望に応じてビューを取得するのに適した順序に関する情報を含む）ビュー順序情報３０７、並びに位置合せされたそれぞれのビューに対する（例えば超音波プローブのパラメータを設定するための）パラメータ情報のうちの１つ又は複数の情報など、そのワークフローに関連した対応する情報を有する。例えば、位置合せされたビュー３０３−１に対しては、座標情報（ＣＩ）（ｘ，ｙ，ｚ）、向き情報（ＯＩ）（α、β、γ）及びパラメータ情報（Ｐａｒａｍ）などの情報を含む対応するビュー設定情報（ＶＳＩ）がある。パラメータ情報は、本発明のシステムが使用する超音波プローブが超音波画像を取得するためのパラメータ及び／又は他の設定に関する情報を含む。ワークフロー表３００はシステムのメモリに記憶されており、システム及び／又はユーザによって設定／再設定される。例えば、システムは、ユーザがＰＴを選択したり、対応するワークフローを見たりことができるように、ワークフロー表３００を表現する。さらに、ワークフローはそれぞれ、システムのワークスペースに対して位置合せされる。さらに、位置合せされたビューはそれぞれ、要望に応じた１つ又は複数のランドマークを含む。

【0033】

さらに、位置合せされた複数のビューがシステムのメモリに記憶されており、実行中の手技タイプに基づいて選択されることが想定される。例えば、タイプＩの手技は、割り当てられた５つのビューを含むワークフローを有し、（タイプＩとは異なる）タイプＩＩの手技は、割り当てられた６つのビューを含むワークフローを有する。例えば、本発明のシステムの実施形態によれば、左室狭窄トラック（Ｌｅｆｔ Ｖｅｎｔｒｉｃｕｌａｒ Ｏｂｓｔｒｕｃｔｉｏｎ Ｔｒａｃｋ：ＬＶＯＴ）設定が、例えば左室狭窄トラックを決定するための予め決められた位置合せされたビューを含むワークフローを含む。他の手技は、例えば経中隔穿刺、僧帽弁ナビゲーション、ＬＡＡ閉鎖の展開などに対応する。このようにして、初期セットアップ中に手技のタイプが決定される。手技のタイプは例えば、記憶された患者データに基づきプロセッサによって自動的に決定され、且つ／又はユーザによって選択される。決定された手技に基づいて１つ又は複数のビューが選択される。さらに、ビューは、ユーザ及び／又は手技タイプによって定義される。したがって、手技のタイプに関わらず、ユーザＡは、ユーザＢとは異なる記憶されたビューを有する。ステップ２０３を完了した後、プロセスはステップ２０５へ進む。

【0034】

ステップ２０５中に、システムは、ＳＳＤの遠位端などのＳＳＤの少なくとも一部分の位置及び／又は向きを示す位置センサ情報（ＰＳＩ）を取得する。ＰＳＩは、ＳＳＤ情報（ＳＳＤＩ）を含み、このＳＳＤＩは、ＳＳＤに問い合わせて、ＳＳＤの対応する場所にそれぞれが位置する複数の形状感知センサからＳＳＤＩを取得することによって取得され、このセンサ情報は、ＳＳＤの長さＬ_ｓｓｄに沿った対応する複数の場所の位置及び／又は向きを示す。例えば、システムは、ＦＯＲＳ法を使用して、ＳＳＤに問い合わせてＳＳＤＩを取得する。さらに、要望に応じて、これらの複数の形状感知場所は場所の連続体に近くてもよい。したがって、問合せ中に、システム（例えばシステムの適当にプログラムされたプロセッサ）は、ＳＳＤの少なくとも１つのセンサに、時間を追って逐次的に及び／又は同時に問い合わせて、少なくとも１つのセンサから位置情報を取得し、対応するＳＳＤＩを形成する。次いで、このＳＳＤＩは、ＳＳＤの経路（Ｐ）を決定するため、並びにＳＳＤの遠位端などのＳＳＤの少なくとも一部分の位置及び／又は向きを決定するために、プロセッサによって再構成される。

【0035】

適当なＳＳＤには例えば、Ｒａｍａｃｈａｎｄｒａｎ他の米国特許出願公開第２０１３／０３１７３５６号に記載されているものなどの形状感知ファイバ（ＳＳＦ）、ＥＭセンサなどの少なくとも１つのＥＭセンサが先端に位置するＥＭベースの追跡装置など、及び／又はこれらの組合せが含まれる。位置及び／又は向きセンサは、能動発光ダイオード、球面などの受動反射器、光学及び／若しくはＥＭコイル、並びに／又はＸ線及び／若しくは原子核ベースの画像化などの画像化に基づいて識別可能な放射性若しくは放射線不透過性マーカを含む。光学センサと同様に、ＥＭセンサ及び／若しくは他のセンサ／マーカも、要望に応じて、互いに離れた１つ若しくは複数の場所に位置し、又は、ＳＳＤを基地の経路に通したときの位置の履歴を累積することにより、単一の点センサから形状が再構成される。これに応じて、このステップ中に、（例えば１つ又は複数のハードウェア装置、プロセッサの一部分をプログラミングするソフトウェア部分及び／又は専用プロセッサの形態の）問合せモジュールが、時間の経過に伴ってＳＳＤ１０２が移動する経路及び／又はＳＳＤ１０２の１つ若しくは複数の部分の形状を示すＳＳＤＩなどの情報を（例えば問合せプロセスを介して）ＳＳＤから取得するように動作可能である。ステップ２０５を完了した後に、システムはステップ２０７に進む。

【0036】

ステップ２０７中に、システムは、超音波プローブ（又は複数の超音波プローブが要望された場合には特定の超音波プローブ）の位置及び向きのうちの少なくとも一方を、位置センサ情報（ＰＳＩ）に基づいて決定する。ＰＳＩは、ワークスペースに対するＳＳＤの少なくとも１つの位置センサの位置及び向きのうちの少なくとも一方を示す。ＳＳＤは、超音波プローブに対して既知の関係（例えば既知のオフセット）で配置されているため、超音波プローブの位置及び／又は向きは、ＰＳＩに従って、及び／又は例えば既知のオフセットを仮定したＳＳＤから超音波プローブへの変換に従って決定される。この既知のオフセットは前もって決定され、後の使用のためにシステムのメモリに記憶されており、且つ／又は使用中に決定若しくは確認される。

【0037】

分かりやすくするため、ワークスペースは、システムのワークスペースと定義され、ワークスペースは一般的なワークスペースであり、又は患者など走査されている物体に対して定義されたワークスペースである。したがって、分かりやすくするため、ワークスペースは患者のワークスペースと定義され、したがって、ワークスペースは、患者などの患者の解剖学的構造に対応し、及び／又は（例えば本発明のシステムの装置に共通の）共通ワークスペースと定義される。さらに、Ｘ線撮像素子、ＳＳＤ及び超音波プローブのうちの１つ又は複数をシステムのワークスペースに対して位置合せする位置合せプロセスは、既に実行されており、且つ／又は使用中に実行されると仮定する。

【0038】

さらに、システムが、（例えば捕捉した超音波画像の）画像解析を使用して、システムのメモリ内で位置合せされた位置合せされたビューなどの既知のビューに対する超音波プローブの場所を決定することが想定される。これに応じて、システムは、超音波プローブから超音波情報を取得し、この超音波情報に基づき、超音波情報の画像解析を使用するなど適当な方法を使用して、超音波プローブの対応する位置及び／又は向きを決定し、それによって、患者の既知の解剖学的構造、したがって患者ワークスペースに対する対応するＰＳＩを形成する。その後に、プロセスは、これに応じて、この情報を含むようにＰＳＩを更新する。例えば、超音波画像情報は、ワークスペースに対して位置合せされたビューの中の既知のランドマークに対応する１つ又は複数のランドマークを含む。これに応じて、既知のランドマークの場所及び／又は向きと超音波画像情報中の対応する情報との差情報を決定し、その後、この差情報を使用して、ワークスペースに対する超音波プローブの位置及び／又は向きを決定する。

【0039】

それに加えて、１つ又は複数の追加の超音波装置、カテーテル、アブレーション装置などの介入装置の位置情報及び／又は向きを、ＳＳＤを使用して、又はこのような情報を取得する本明細書に記載されたものなどの他の装置／システムを使用して獲得する。さらに、これらの介入装置の１つ又は複数の画像を獲得する。これらの画像は保存され、呼び出され、表現される。例えば、この介入装置の１つ又は複数の画像は、超音波器具、ワークフローのビューなどを含む、図４Ａ、図４Ｂ、図５及び図６に例示的に示されたものなどの画像中に表現される。ステップ２０７を完了した後、システムはステップ２０９に進む。

【0040】

ステップ２０９中に、システムは、現在のワークフローの位置合せされた複数のビューの中から位置合せされた１つのビューを適当な方法を使用して選択する（以後、選択されたビューと呼ぶ）。例えば、本発明のシステムの実施形態によれば、選択されたビューは、位置合せされた複数のビューの中から、ビュー順序情報（例えばビュー順序１、３、４、５、７など）、ユーザ選択（例えば位置合せされたビュー３などを選択する。そのビューは、タッチスクリーン、キーボード、マイクロホンなどのシステムのユーザ入力装置を使用して選択される）に基づいて選択される。しかしながら、位置合せされた複数のビューの順序がデフォルトの選択から選択されることも想定される。したがって、現在のワークフローに対する以前に定義された位置合せされた５つの連続したビューがある場合、システムは、位置合せされたこれらのビューを、システム及び／又はユーザによって設定された適当な順序で（例えば最初から最後へ、最後から最初へ、ランダムに、超音波プローブの場所に基づいて（最も近いものから最も遠いものへ））取得する。

【0041】

本発明のシステムの実施形態によれば、選択されたビューは、超音波プローブの決定された場所及び向きに基づいて選択される。例えば、超音波プローブの決定された位置が、位置合せされた１つのビュー（例えば複数のビューの中の１つのビュー）のしきい距離Δ_ＤＩＳ内にあると判定された場合、システムは、そのビューを選択されたビューとして設定する。同様に、超音波プローブの決定された向きが、１つのビュー（例えば複数のビューの中の所与の１つのビュー）のしきい向きΔ_{ＯＲＩＥＮＴ}内にあると判定された場合、システムは、そのビューを選択されたビューとして設定する。

【0042】

本発明のシステムの実施形態によれば、超音波プローブの決定された位置が、１つのビューのしきい距離Δ_ＤＩＳ内にあり、同時に、超音波プローブの決定された向きが、そのビューのしきい向きΔ_{ＯＲＩＥＮＴ}内にあるときに、システムが、複数のビューの中から１つのビューを選択することが想定される。システムは、超音波プローブの位置及び／又は向きをベクトルなどを使用して定義する。本発明のシステムの実施形態によれば、それぞれのビューが、定義されたしきい向きΔ_{ＯＲＩＥＮＴ}（例えば定義された向き＋／−Δ_{ＯＲＩＥＮＴ}）及びしきい距離Δ_ＤＩＳ（例えば定義された位置＋／−Δ_ＤＩＳＴ）などの定義されたしきい値を有する。

【0043】

他の実施形態によれば、このビューが、超音波ベースの画像化手技を実行している臨床医などのユーザによって選択される。これに応じて、プロセスは、位置合せされた複数のビューの中から位置合せされた１つのビューを（例えば切り換えることなどによって）選択するためにユーザが選ぶ１つ又は複数のキー（例えばハード、ソフトなど）、メニュー項目などを提供する。例えば、システムは、ビューを表す画像上に１つ又は複数のメニュー項目（例えば円）を表現する。ユーザは次いで、これらのメニュー項目のいずれかを選択して、対応する位置合せされたビューを選択し、システムは、そのビューを選択されたビューとして設定する。これらのメニュー項目は、関心領域（ＲＯＩ）の画像の上に重ねられる。したがって、図３に関して、プロセスは、現在のワークフローに対する位置合せされたビューを表現し、ユーザは、これらの位置合せされたビューのうちの１つのビューを、例えば対応する位置合せされたビューに触れることによって選択する。ステップ２０９を完了した後、システムはステップ２１１に進む。

【0044】

ステップ２１１中に、システムは、選択されたビューに対するビュー設定情報（ＶＳＩ）を取得する。ＶＳＩは、位置合せされたそれぞれのビューに関する情報を含む。例えば、ＶＳＩは、ビューの場所及び／若しくは向き、並びに／又はそのビューを取得する（例えばそのビューを画像化する）超音波プローブの場所及び／又は向き、並びに焦点、深度、走査角などのうちの１つ又は複数など、超音波プローブに対するビューごとのパラメータ及び／又は設定（例えば、分かりやすくするため、以後、これらをともにパラメータと呼ぶ）などの情報を含む。これらのパラメータは、位置合せされたそれぞれのビューに関連づけて記憶される。ＶＳＩは、システムのメモリに記憶される。ステップ２１１を完了した後、システムはステップ２１３に進む。

【0045】

ステップ２１３中に、システムは、誘導情報を決定する。誘導情報は、システムによって決定され、現在の位置から選択されたビューに対応する位置まで超音波プローブを（例えば直線的に、非直線的に及び／又は回転により）移動させるための誘導を提供する。したがって、例えば、システムは、超音波プローブの現在の位置及び／又は向きと超音波プローブの所望の位置及び／又は向きとの間の差情報を決定する。超音波プローブの所望の場所及び／又は向きは、選択されたビューの位置及び／又は向きに対応する位置及び／又は向きと定義される。したがって、誘導情報は例えば差情報（例えばビューの所望の位置及び／又は向きと超音波プローブの現在の位置及び／又は向きとの差）に基づく。しかしながら、誘導情報を決定する適当な任意の方法を使用してもよい。ステップ２１３を完了した後、システムはステップ２１５に進む。

【0046】

ステップ２１５中に、システムは、決定された誘導情報を出力する。例えば、本発明のシステムの実施形態によれば、システムは、決定された誘導情報に対応する誘導命令を形成し、決定された誘導情報に基づくこれらの誘導命令を含むグラフィカル・ユーザ・インタフェース（ＧＵＩ）を使用するなどによって命令を生成する。システムは次いで、ディスプレイ、スピーカなどのシステムの表現装置上にそのＧＵＩを表現する。この誘導命令は、システムが使用する表現法に基づく。例えば、いくつかの実施形態によれば、システムは、前進、後退、右折、左折などの命令及び／又はそれらの命令の図形表示を生成し、それらの命令をシステムのディスプレイ上に表示する。

【0047】

例えば、他の実施形態によれば、システムは、点灯するハード又はソフト・キー、発光ダイオード（ＬＥＤ）、（例えば超音波プローブの柄などに提供された）触覚装置の駆動など適当な誘導法を使用して、決定された誘導情報に関する情報を表現する。さらに、システムが、ユーザ（例えば超音波臨床医）の向きを判定し、それに従って誘導情報を変換して、ユーザが、システムによって表現された誘導情報に従って超音波プローブの制御を操作することにより、所望の位置及び／又は向きまで超音波プローブを移動させることができるようにすることが想定される。

【0048】

システムが、ロボット・コントローラ（例えばロボット・アクチュエータなど）を使用して、超音波プローブを所望の位置及び／又は向きまでロボットにより操作することも想定される。例えば、システムが、超音波プローブのロボット・コントローラに誘導情報を提供し、次いで、ロボット・コントローラがその誘導情報を処理し、対応する情報を、超音波プローブの１つ又は複数のアクチュエータに提供して、超音波プローブの対応する移動を達成する。例えば、アクチュエータは、誘導情報によって示された決定された位置及び／又は向きまで超音波プローブを移動させるような超音波プローブの直線及び／又は回転運動を、選択されたエリアの位置及び／又は向きに対応する所望の位置及び／又は向きまで超音波プローブが操作されるような態様で提供する。ステップ２１５を完了した後、システムはステップ２１７に進む。

【0049】

ステップ２１７中に、システムは、超音波プローブが、選択されたビューの位置及び／若しくは向きにある（例えば選択されたビューの最終的なしきい距離Δ_Ｄ及び／若しくは最終的なしきい向きΔ_Ｒ内にある）のかどうか、又は実質的にあるのかどうかを判定する。これに応じて、超音波プローブが、選択されたビューの場所及び／若しくは向きにある（例えば最終的なしきい距離Δ_Ｄ及び／若しくは最終的なしきい向きΔ_Ｒ内にある）、又は実質的にあると判定された場合、プロセスはステップ２１９に進む。しかしながら、超音波プローブが、選択されたビューの位置及び／若しくは向きにない（例えば最終的なしきい距離Δ_Ｄ及び／若しくは最終的なしきい向きΔ_Ｒ内にない）、又は実質的にないと判定された場合、システムはステップ２１３を繰り返す。超音波プローブが、選択されたビューの場所及び／若しくは向きにあるのかどうか、又は実質的にあるのかどうかを判定するために、プロセスは、超音波プローブの現在の位置及び／又は向きに関する情報を取得し、差情報を更新し、この更新された差情報をそれぞれ、最終的なしきい距離Δ_Ｄ及び／又は最終的なしきい向きΔ_Ｒと比較する。これに応じて、更新された差情報の対応する部分が、最終的なしきい距離Δ_Ｄ及び／又は最終的なしきい向きΔ_Ｒよりも大きい場合、システムは、超音波プローブが、選択されたビューの位置及び／若しくは向きにない（例えば最終的なしきい距離Δ_Ｄ及び／若しくは最終的なしきい向きΔ_Ｒ内にない）、又は実質的にないと判定する。しかしながら、更新された差情報の対応する部分が、最終的なしきい距離Δ_Ｄ及び／又は最終的なしきい向きΔ_Ｒよりも小さいか又は等しい（例えば最終的なしきい距離Δ_Ｄ及び／又は最終的なしきい向きΔ_Ｒよりも大きくない）場合、システムは、超音波プローブが、選択されたビューの位置及び／若しくは向きにある（例えば最終的なしきい距離Δ_Ｄ及び／若しくは最終的なしきい向きΔ_Ｒ内にある）、又は実質的にあると判定し、それによりシステムはステップ２１９に進む。

【0050】

ステップ２１９中に、システムは、超音波プローブが所望の位置にある（例えば選択されたビューの位置及び／若しくは向きにある、又は実質的にある）ことを示す。言い換えると、超音波プローブは、選択されたビューに対して配置されている。これに応じて、システムは、このことを示す情報を、システムの表現装置上に表現する。例えば、超音波プローブが所望の位置にあることを臨床医に示すため、システムは、緑色の強調表示を使用して超音波プローブのオーバレイを強調表示する。システムはさらに、このことを示す情報を、運動を停止させるため、並びに／又は（例えば望ましくない移動を防ぐために）超音波プローブを現在の位置及び／若しくは向きにロックするために、ロボット・コントローラなどのシステムの１つ又は複数のアプリケーションに提供し、並びに／又は、超音波画像捕捉アプリケーションに提供する。超音波画像捕捉アプリケーションはこの情報を使用して、ステップ２２１に関して以下で説明する超音波画像捕捉プロセスを開始する。他の実施形態では、超音波プローブの不注意による移動を防ぐために、システムがブレーキをかけ、且つ／又はブレーキをかけるよう求める命令を臨床医に提供する。ステップ２１９を完了した後、システムはステップ２２１に進む。

【0051】

ステップ２２１中に、システムは、選択されたビューに対応する場所で、且つ／又は選択されたビューに対応するパラメータを用いて超音波情報を捕捉する。この捕捉した超音波情報は次いで、システムのディスプレイ上に表現するのに適した超音波画像情報を生成するために処理される。ステップ２２１を完了した後、システムはステップ２２３に進む。

【0052】

ステップ２２３中に、システムは、捕捉した超音波情報を、システムのメモリに、選択されたビューに関連づけて、適当なフォーマットで（例えば未処理のまま及び／又は処理した後に）記憶する。これに従って、システムは後に、要望に応じ、選択されたビューに関連づけて、この超音波情報を呼び出すことができる。超音波情報は、パラメータ及び／又は対応する選択されたビューに関連づけられた静止及び／又はビデオ画像情報として記憶される。パラメータに対する調整を含むパラメータも同様に、対応する選択されたビューに関連づけて記憶される。このようにすると、どのビューがアクセス及び／又は調整されたのかを含む履歴情報が取得される。この履歴情報は、所与のワークフローに対する一組のデフォルトのビュー及び対応するパラメータを生成するためにどのビュー及び／又はパラメータが使用されたのかを判定する目的に利用される。例えば、所与のワークフローに関して、デフォルトとして記憶されたパラメータからの時間の半分を超えてパラメータが調整される場合には、パラメータを新たなデフォルトに調整するのに、調整の平均を利用してもよい。当然ながら、ビュー及び／又はそれらのビューのうちの１つ若しくは複数のビューに関係した所与の患者に対するパラメータも、要望に応じて保存され、呼び出される。ステップ２２３を完了した後、システムはステップ２２５に進む。

【0053】

ステップ２２５中に、プロセスは、捕捉すべき他のビューが現在のワークフロー中にあるかどうかを判定する。これに従い、捕捉すべき別のビューがあると判定された場合、プロセスは、次のビューに対してステップ２０９を繰り返す。しかしながら、捕捉すべきビューが他にないと判定された場合、プロセスはステップ２２７に進み、プロセスは終了となる。

【0054】

さらに、ユーザからの要求に応じて、システムが、超音波画像情報、対応する位置、向き及び／又は超音波プローブに関するパラメータ情報を、１つのビューに関連づけて記憶することが想定される。システムは次いで、ビューを示すメニューを生成及び表現する。次いで、ユーザがビューを選択し、システムが、捕捉したビュー及び／若しくは（現在の超音波場所から）所望のビューまでの誘導情報、並びに／又はそのビューに関するパラメータ情報を、ユーザの要望及び／又はシステムの設定に従って表現する（例えばデフォルト設定が、システムが表現するものを決める）。

【0055】

本発明のシステムの実施形態によれば、ユーザが、位置合せされたビューの選択／選択解除を切り換える。さらに、ユーザが手技を実行したときに、学習プロセスがその手技を学習してもよく、この学習プロセスが、ビュー、パラメータなどを決定してもよい。

【0056】

図４Ａは、カテーテル４０５の端に位置するＦＯＲＳ ＴＥＥなどの超音波プローブ４０４のスクリーンショット４００Ａの一部分を示す。このスクリーンショットは、ディスプレイなどによって提供される。超音波プローブ４０４は、画像ボリューム４０７などの所望のビューを捕捉するように配置され、本発明のシステムの実施形態に従って第１の選択されたビューに対応する最適な第１の場所まで操縦される。患者（分かりやすくするためこの図には示されていない）は、手術台などの支持構造体４１０上に置かれている。システムは、ＦＯＲＳ追跡法を使用してＦＯＲＳ ＳＳＤを追跡するなど適当な方法を使用して、本明細書に記載されたとおりに超音波プローブ４０４の位置を決定する。要素４０２は、ビュー内に存在するカテーテル、アブレーション器具などの外科用器具を表す。超音波プローブ４０４の場所及び／又は向きを所望のビュー場所及び／又は向きに制御するようにユーザを誘導するため、矢印４８０などの誘導メッセージが表現される。所望の運動を示すために、矢印４８０は黒べたで強調表示されている。さらに、例えば超音波プローブ４０４が所望の場所に到達したと判定されたときに、緑色を使用して矢印４８０を強調表示してもよい。さらに、２つ以上の超音波プローブが使用される場合には、１つの超音波プローブ又は複数の（例えばそれぞれの）超音波プローブに対する誘導情報が、対応する超音波プローブに関連づけて決定及び表現される。図４Ｂは、本発明のシステムの実施形態に基づく、第２の選択されたビューに対応する最適な第２の場所まで操縦された図４Ａの超音波プローブ４０４のスクリーンショット４００Ｂの一部分を示す。超音波プローブ４０４の場所を決定するため、本明細書に記載されたＳＳＤへの問合せがなされる。

【0057】

図５は、本発明のシステムの実施形態に基づく、第２の選択されたビューに対応する最適な第２の場所まで操縦された図４Ａの超音波プローブ４０４のスクリーンショット５００であり、円５９０などの任意選択の場所指示子を含むスクリーンショット５００の一部分を示す。超音波プローブ４０４が、対応するビュー（例えばこの実施形態では第２のビュー）にある、又は実質的にあると判定されたとき、システムは、超音波プローブ４０４が対応する場所にあることを示す指示子５９０などの指示子を表現する。しかしながら、他の実施形態では、指示子５９０が強調表示（例えば超音波プローブ４０４が適切な場所にあることを示す緑色、選択されたエリアに対応する適切な場所にないことを示す赤色など）を含む。さらに、それらの色は、深度、焦点などの超音波パラメータ設定も示す。他の実施形態では、システムが、画像ボリューム４０７を捕捉するために対応するビューの所望のエリア（場所）に到達するように超音波プローブを移動させる方向及び／又は向きを示す矢印を生成することが想定される。超音波プローブ４０４の場所を決定するため、本明細書に記載されたＳＳＤへの問合せがなされる。

【0058】

図６は、本発明のシステムの実施形態に基づく、選択されたビューに対応する最適な場所まで操縦された超音波プローブ４０４のスクリーンショット６００であり、円６９０などの任意選択の場所指示子を含むスクリーンショット６００の一部分を示す。円６９０は、異なるビューに対する最適な場所を示し、これらの異なるビューのそれぞれに対する超音波パラメータ設定を示すために円６９０は着色され、又は他の方法で強調表示される。例えば、円の色は深度、焦点などの超音波パラメータ設定を示す。異なるビューは、以前に操縦された位置からのものか、又はモデル若しくはデータベースから構築されたものである。超音波プローブ４０４が対応するビューを捕捉することができるよう超音波プローブ４０４の場所を決定するため、ＳＳＤへの問合せがなされる。

【0059】

これに応じて、本発明のシステムの実施形態は、１つのビューに対する超音波プローブの場所及び場所に対する対応する超音波パラメータ情報（例えば超音波プローブの位置及び／又は向き）を記録し、且つ／又は呼び出すためにＦＯＲＳ法が超音波画像診断と組み合わされた方法を提供する。例えば、心エコー技師（ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｅｒ）などの臨床医が所望の場所まで操縦し、焦点、深度、走査角などの超音波パラメータを調整する。システムはこれらの設定を、後の使用のために所望の場所（例えばビュー）に関連づけて記憶する。さらに、本発明のシステムの実施形態が、後の使用のために選択されたビューに関連づけて記憶したい設定を選択するオプションをユーザに提供することが想定される。

【0060】

さらに、本発明のシステムの実施形態が、最適な位置及び／又はビューがいつ取得されたのかを、システムのメモリに記憶された任意選択の位置及び／又はビューの比較に基づいて自動的に検出することが想定される。最適な位置が取得されたと判定されたとき、システムは、そのことをユーザに知らせ、対応するビューの超音波情報を取得するために超音波プローブによって使用された設定及び／又はパラメータを記憶する。さらに、（例えばそれぞれが１つのビューに対応する）いくつの位置及び／又は向きをシステムのメモリに記憶するのかを、ユーザが、患者の解剖学的構造及び／又は実行中の手技に応じて定義することが想定される。

【0061】

ビュー及び関連情報がシステムのメモリに記憶された後、ユーザ（例えば臨床医、医師など）が、ＬＶＯＴなどの以前に保存された（例えば位置合せされたビューと考えられる）ビューに戻りたいとき、システムは、ユーザが超音波プローブを以前に保存されたビューまで再び誘導するのに適当な誘導情報（例えば矢印などの図形、音声情報（右へ行ってくださいなど）、触覚フィードバックなど）を表現する誘導機能を提供する。次いで、視診のため、超音波情報（例えば画像）が、保存された対応するビューに関連づけて以前に記憶された関連パラメータを使用して捕捉され、且つ／又はメモリから呼び出される。さらに、ユーザが、以前に保存されたビューを選択し、システムが、最適な画像を生成する対応するパラメータに従って、自動的に超音波プローブを所望の位置まで移動させ、超音波パラメータなどのパラメータを設定するように、閉ループ・ロボット・コントローラを制御することが想定される。

【0062】

本発明のシステムの実施形態が、経中隔穿刺の実行、僧帽弁までの操縦、左心耳（ＬＡＡ）閉鎖装置の展開、僧帽弁クリップなどの異なる手技及びこれらの異なる手技の異なる部分に対して最適なビューを生成するために使用することができる最適な位置及び対応する超音波設定を記憶することも想定される。これらの手技中に、システムは、対応する手技のワークフローが単純化及び短縮されるような誘導を提供する。このことは特に、難しい解剖学的構造内で手技を実行するとき、及び／又は良好な画像を取得することが難しいときに言える。

【0063】

さらに、本発明のシステムの実施形態が、手技の１つのワークフローにおいて、異なるそれぞれの超音波プローブに対する動作パラメータ、場所及び／又は向きを含む超音波プローブの組合せ（例えば２つ以上の超音波プローブ）を支援し、そのワークフローの異なる段階中にそれらの異なるパラメータ、場所及び／又は向きに自動的に戻ることが想定される。さらに、本発明のシステムの実施形態が、手技のそのワークフローにおいて、これらの異なるそれぞれの超音波プローブの場所及び／若しくは向きまでの誘導を支援し、且つ／又は、異なる超音波プローブを対応する場所及び／若しくは向きに自動的に戻すための誘導をロボット誘導システムに提供することが想定される。これらのプローブのうちの１つ又は複数のプローブは、１つ又は複数のビューに対する異なる場所及び／又は向きを有する。さらに、誘導システム（例えばＧＰＳ）の働きをし、手技のワークフロー中の１つ又は複数の超音波プローブの操縦及び再操縦を単純にするために、ＦＯＲＳに加えて又はＦＯＲＳとともに、電磁的追跡（ＥＭ）、ＩｎＳｉｔｕ、光学的追跡などの代替追跡様式が使用されることが想定される。

【0064】

これに応じて、本発明のシステムの実施形態は、手術シーン（ｓｕｒｇｉｃａｌ ｓｃｅｎｅ）の（例えば標準化された及び／又は患者に合わせて個人化された）突出したビューを見つけ、再生することが実行されるシステム及び方法を提供する。ユーザが、所望の位置及び／又は向きにおいて超音波情報を取得するために超音波プローブをその所望の位置及び／又は向きに直ちに且つ容易に配置することができるように、システムは、直観的な命令をユーザに提供する。システムは、視覚化パラメータを単純にし、超音波プローブの位置、向き、超音波画像利得、深度などのこれらのパラメータを呼び出し、ディスジョイントなサブシステム及び／又はプローブ間であってもこれらのパラメータを設定する。これに応じて、本発明のシステムの実施形態はＯＳＳ法などを使用して、超音波誘導手技において所望のビューを記録し、且つ／又は呼び出す。

【0065】

１つ又は複数の実施形態の超音波関連部分の例
臨床医が装置を操縦し手術部位において治療を実施しようとするときには、適切な治療を保証するために、多数のビューポイントから周囲の手術部位を見る必要がある。例えば、最適な画像品質を得るために、利得、圧縮、コントラスト、深度などの超音波設定及び／又はパラメータをビューごとに調整する必要がある。本発明のシステムの実施形態は、超音波法とＯＳＳ法の組合せを組み込んで、超音波設定の記録及び呼び出しの際に、以下の変形実施形態を用いて臨床医を支援することができる。ユーザがコマンドを開始する（例えばボタンをクリックする）と、システムは、関連する全ての超音波設定（例えばパラメータ）を、例えばＯＳＳによる関連プローブ位置及び／又は向きとともに読み取り、記憶する。本発明のシステムの実施形態によれば、これらの設定は次いで、保存されたビューを臨床医が後に復元することができるように呼び出される。システムはさらに、１つ又は複数のビューに対する適切な位置及び／又は向きを示す仮想の超音波プローブのオーバレイを、例えば関心のエリアの記憶された画像の上に生成する。

【0066】

さらに、超音波画像中の突出したビューの自動検出の後、本発明のシステムの実施形態は、このことを臨床医に通知し、例えば、必要に応じて臨床医がプローブ位置及び／又は向き並びに超音波設定及び／又はパラメータを微調整するためのユーザ・インタフェースを提供する。このような通知は、超音波画像が患者解剖学的構造に位置合せされており、そのため、超音波のビューの中にある解剖学的構造の部分が概ね分かっているためである。この知識は、画像セグメント化技法と組み合わせて使用される。画像セグメント化技法は当技術分野で知られており、分かりやすくするため、この技法についてここでさらに論じることはしない。次いで、本明細書で論じたとおりに、動作パラメータ、場所などの１つ又は複数の部分が保存され、続いて呼び出される。

【0067】

手術シーンを評価する際に臨床医を支援するため、超音波プローブの位置を変更したり、又は超音波設定及び／若しくはパラメータをさらに調整したりする必要なしに、記録された２つ以上のビュー（例えば所与の手技に対する多数のビュー、例えば２つ、３つ、４つ、５つ、．．．、全てのビューの記憶された超音波画像）を同時に提示することも想定される。画像及び超音波プローブはともに患者の解剖学的構造に対して（例えば患者ワークスペースに対して）位置合せされているため、画像は、別個のビューとして示され、且つ／又は適切な解剖学的関係で単一の画像中に（例えばそれぞれのビューによって提供された解剖学的配置に基づく配置で単一の画像内に）一緒に提供される。さらに、手技に対してビューの配列が十分に確立されている場合、システムは、全ての所望のビューを獲得するまでの段階で臨床医を支援し、臨床医に指示を出す。これらのビューは、ビューのライブラリとして記憶されており、又は臨床医によって術前に生成される。これらのビューは次いで記憶され、手技のためのワークフローの部分を形成し、要望があったときにシステム及び／又はユーザによって呼び出される。

【0068】

１つ又は複数の実施形態の手技関連部分の例
外科的手技は、共通の解剖学的ビューポイントの獲得を必然的に伴う。特定の外科的手技中に超音波プローブを追跡するＯＳＳ法の組合せは以下のように利用される。システムは、超音波プローブが所望のビューに（例えば適切な位置及び／又は向きに）あるかどうかを、ＯＳＳ法を使用して超音波プローブを追跡することによって判定する。（例えば所望のビューにおいて）所望の超音波プローブ位置及び／又は向きが自動検出されると、システムは、（臨床医などの）ユーザにそのことを通知し、ユーザが超音波設定及び／又はパラメータを手動で調整することを提供する。このような通知が可能なのは、ＯＳＳ法が患者の解剖学的構造に対して位置合せされており、多くの場合に、所望のビューが演繹的に分かっているためである。次いで、本明細書で論じたとおり、それぞれのビューに対するパラメータ及び／又は設定の完全セットと対応する超音波情報とが、プロセス・ワークフローのビュー・ライブラリとしてシステムのメモリに記憶され、続いてプロセス・ワークフロー中に呼び出される。さらに、本発明のシステムの実施形態では、プロセス・ワークフローに対する記憶された所望の標準的なビューが、拡張現実視覚的表現として表示され、将来のプロセス・ワークフロー中に手術シーンの適切な評価のために集められる全てのビュー（例えば単一の画像にまとめられた複数のビュー又は他のやり方で適切な解剖学的位置に配置された複数のビュー）をユーザに示すことが想定される。実施形態によれば、それらのビューは、手技ワークフローに従った順序で提示され、且つ／又は要望に応じて順序づけ／再順序づけされる。

【0069】

１つ又は複数の実施形態の形状感知関連部分の例
１つ又は複数の実施形態によれば、外科的手技を実行するために望まれる／必要なビューを獲得するために超音波プローブをどこにおくべきかをユーザ（例えば臨床医など）に示すため、プローブの仮想オーバレイが表現される。例えば、超音波プローブの連続した１つ又は複数の部分（例えばプローブの全体までの部分又は挿入された部分）の形状を表現し、それによって、所望の１つ又は複数のビューを獲得するために超音波プローブの位置及び／又は向きをどのようにすべきかに関してより有益な情報をユーザに提供する。

【0070】

（例えば挿入された部分の）完全な形状情報が表現され、このような情報は、超音波プローブの手動誘導が使用されるときに特に有用である。所望の位置及び／又は向きまで超音波プローブを直ちに操作するロボット・マニピュレータとは違い、人間オペレータ（例えば臨床医など）は、ディスジョイントな座標系を認知的にマップしなければならないことによって生じる手及び眼の非直観的な協調のため、同じ作業を難しいと感じる。これに応じて、超音波プローブの完全な形状情報の表現は、場合によっては冗長であることもあるが、プローブ位置及び／又は向きの関係に関する情報を（例えば図形表示などを使用して）人間オペレータに提供する。さらに、プローブはＯＳＳ法を使用して追跡されるため、画像又はプローブ座標系は、ユーザの視点に対して位置合せされ、したがって、ディスジョイントな座標系を統一し、プロセス・ワークフロー中の超音波プローブの手動誘導を単純にする。ロボット手技では、最終的にユーザが、ロボット手技によって取得された位置及び／又は向きを必要に応じて最終的な位置及び／又は向きに調整する。

【0071】

図７は、本発明のシステムの実施形態に基づくシステム７００の一部分を示す。例えば、本発明のシステムの一部分は、プロセッサ７１０（例えばコントローラ）を含み、プロセッサ７１０は、メモリ７２０、ディスプレイ７３０などの表現装置を含むユーザ・インタフェース（ＵＩ）、形状感知装置（ＳＳＤ）などのセンサ７４０、１つ又は複数の超音波プローブ７５０、及びユーザ入力装置７７０に動作可能に結合されている。メモリ７２０は、アプリケーション・データ及び説明した動作に関する他のデータを記憶する任意のタイプの装置である。このアプリケーション・データ及び他のデータは、本発明のシステムに基づく動作ステップを実行するようにプロセッサ７１０を構成する（例えばプログラムする）ためにプロセッサ７１０によって受信される。このように構成されたプロセッサ７１０は、本発明のシステムの実施形態に従って実行するのに特に適した特殊目的機械になる。動作ステップは、例えばシステム設定に基づく位置合せシステムによってシステムを構成することを含む。動作ステップはさらに、所望のビュー及び関連パラメータを含むメモリ７２０からワークフローを取得するプロセッサ７１０を含み、この関連パラメータは、ＳＳＤ７４０の位置を超音波プローブ７５０に関して相関させる（例えばＳＳＤ７４０の位置を超音波プローブ（７５０）の位置に関係づけるオフセット情報を提供する）相関情報を含む、例えば１つ又は複数の超音波プローブ７５０及びＳＳＤ７４０に対する設定に関するパラメータなどである。

【0072】

ＦＯＲＳ追跡法を利用して、ＳＳＤ７４０の場所を示すセンサ情報信号が生成されるようにするなど、プロセッサ７１０は、１つ又は複数の追跡システム（例えばＳＳＤ７４０）を制御する。プロセッサ７１０は、センサ情報などの受信信号を処理し、これらの信号を場所信号に変換し、内容を生成する。この内容は、画像情報（例えば超音波画像情報を含む静止及び／又はビデオ画像）、データ、パラメータ、位置、向き、誘導情報及び／又はグラフを含み、例えばディスプレイ７３０、スピーカなどのシステムのＵＩ上に表現される。この内容は、本発明のシステムの医療用画像化システムによって生成された画像情報、誘導情報などを含む。さらに、この内容は次いで、後の使用のためにメモリ７２０などのシステムのメモリに記憶される。したがって、動作ステップは、内容を要求すること、提供すること、及び／又は表現することを含む。プロセッサ７１０は、ビデオ情報などの内容を、システムのディスプレイなどシステムのＵＩ上に表現する。プロセッサ７１０は、システムのＵＩを決定し、例えばシステムのディスプレイ上に表現する。

【0073】

ユーザ入力７７０は、キーボード、マウス、トラックボール又は他の装置、例えばタッチセンシティブ・ディスプレイを含み、これらは、独立型の装置であり、或いはパーソナル・コンピュータ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、移動電話（例えばスマートホン）、モニタ、スマート若しくはダム端末、又は有線及び／若しくは無線通信リンクなどの動作可能なリンクを介してプロセッサ７１０と通信する他の装置の部分など、１つのシステムの部分である。ユーザ入力装置７７０は、本明細書に記載されたＵＩ内での対話を可能にすることを含め、プロセッサ７１０と対話するように動作可能である。明らかに、プロセッサ７１０、メモリ７２０、ディスプレイ７３０及び／又はユーザ入力装置７７０は、全体として又は部分的に、クライアント及び／又はサーバなどのコンピュータ・システム又は他の装置の一部分である。

【0074】

本発明のシステムの方法は、コンピュータ・ソフトウェア・プログラムによって実行されるのに特に適しており、このようなプログラムは、本発明のシステムによって記述及び／又は想定される個々のステップ、ステップ、モジュールなどのうちの１つ又は複数に対応するモジュールを含む。言うまでもなく、このようなプログラムは、集積チップ、周辺装置又はメモリ、例えばメモリ７２０又はプロセッサ７１０に結合された他のメモリなどのコンピュータ可読媒体の中に実施される。

【0075】

メモリ７２０に含まれるプログラム及び／又はプログラム部分は、プロセッサ７１０を、本明細書に開示された方法、動作ステップ及び機能を実施するように構成する。メモリは、例えばクライアント及び／若しくはサーバ間に分散していても、又は局所メモリであってもよく、追加のプロセッサが提供されてもよいプロセッサ７１０も、分散していても、又は単独であってもよい。メモリは、電気、磁気若しくは光学メモリとして、又はこれらのタイプの記憶装置若しくは他のタイプの記憶装置の組合せとして実施される。さらに、用語「メモリ」は、プロセッサ７１０がアクセスできるアドレス指定可能空間内のアドレスから読み取り、又はそのようなアドレスに書き込むことができる任意の情報を包含するように十分に広く解釈されるべきである。この定義によれば、ネットワークを介してアクセス可能な情報もメモリ内にあることになる。これは例えば、プロセッサ７１０は、本発明のシステムに従って動作するためにネットワークから情報を取り出すことができるためである。

【0076】

プロセッサ７１０は、ユーザ入力装置７７０からの入力信号に応答して、及びネットワークの他の装置に応答して、制御信号を提供し、且つ／又は動作を実行するように、並びにメモリ７２０に記憶された命令を実行するように動作可能である。プロセッサ７１０は、マイクロプロセッサ、特定用途向け集積回路、汎用集積回路、論理装置などのうちの１つ又は複数を含む。さらに、プロセッサ７１０は、本発明のシステムに従って実行する専用プロセッサであり、又は、本発明のシステムに従って実行するために多くの機能のうちの１つの機能だけが機能する、特にプログラムされた汎用プロセッサである。プロセッサ７１０は、プログラム部分、多数のプログラム・セグメントを利用して動作し、且つ／又は、プロセッサ７１０は、専用若しくは多目的集積回路を利用するハードウェア装置である。本発明のシステムの実施形態は、画像を獲得及び／又は再構成する画像化法を提供する。適当なアプリケーションは、超音波画像などの画像化システムを含む。しかしながら、限定はされないが、本発明のシステムの実施形態はさらに、ＭＲＩ、コンピュータ支援断層撮影（ＣＡＴ）、光学、Ｘ線画像化システム、及び／又はこれらの組合せなどの画像化システムを含んでもよいことを理解すべきである。さらに、本発明のシステムの実施形態は、異なる座標系を有する１つ又は複数の画像化システム（例えば超音波、ＣＴスキャン、ＭＲＩなど）から画像及び／又はセンサ情報を生成及び表現する外科的介入術式に理想的に適しており、結果（例えば画像、位置及び／又は向き情報）は、統一された座標系を用いてリアルタイムで提供される。

【0077】

当業者には、本発明のシステムのさらなる変更がすぐに思い浮かぶであろう。このような本発明のシステムのさらなる変更は以下の特許請求の範囲によって包含される。最後に、以上の議論の目的は単に、本発明のシステムを例示することであり、以上の議論が、添付の特許請求の範囲を、特定の実施形態又は一群の実施形態に限定すると解釈すべきではない。したがって、例示的な実施形態に関して本発明のシステムを説明したが、以下の特許請求の範囲に記載された本発明のシステムのより幅広い意図された趣旨及び範囲を逸脱しない多数の変更及び代替実施形態が当業者によって考案される可能性があることも理解すべきである。加えて、本明細書に含まれる項見出しは、再検討を容易にすることを意図したものであり、本発明のシステムの範囲を限定することを意図したものではない。したがって、本明細書及び図面は、例示のためのものであるとみなすべきであり、本明細書及び図面が、添付の特許請求の範囲を限定することは意図されていない。

【0078】

添付の特許請求の範囲を解釈する際には、以下のことを理解しておくべきである。
ａ）語「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の請求項に記載された要素又はステップ以外の要素又はステップの存在を排除しない。
ｂ）要素の前の語「ａ」又は「ａｎ」は、そのような要素が複数存在することを排除しない。
ｃ）請求項中の参照符号は、その請求項の範囲を限定しない。
ｄ）同じアイテムによって、又はハードウェア若しくはソフトウェアで実施された同じ構造若しくは機能によって、いくつかの「手段」が表現されることがある。
ｅ）開示された要素は、ハードウェア部分（例えば別々の電子回路及び集積電子回路を含む）、ソフトウェア部分（例えばコンピュータ・プログラミング）、及びこれらの任意の組合せからなることがある。
ｆ）ハードウェア部分は、アナログ部分とディジタル部分のうちの一方又は両方からなることがある。
ｇ）特段の記載なしに、開示された装置又は開示された装置の部分が、一体に結合されたり、又はさらなる部分に分割されたりすることがある。
ｈ）特段の言及がない限り、ステップ又はステップの特定の順序が必須となることは意図されていない。
ｉ）用語「複数の」要素は、記載された２つ以上の要素を含み、特定の要素数範囲を暗示しない。すなわち、複数の要素は、２つの要素でしかなくてもよく、計り知れない数の要素を含んでもよい。
ｊ）用語「及び／又は」並びにその形式素は、特許請求の範囲及び本発明のシステムの１つ又は複数の実施形態に従って、列挙された要素のうちの１つ又は複数の要素だけがシステム内に適切に存在すればよいことを意味すると理解すべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】