特許 6882458 インターベンショナルツールを検出する機器および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6882458

(24)【登録日】2021年5月10日

(45)【発行日】2021年6月2日

(54)【発明の名称】インターベンショナルツールを検出する機器および方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20210524BHJP

【ＦＩ】

   A61B8/14

【請求項の数】19

【全頁数】25

(21)【出願番号】特願2019-514123(P2019-514123)

(86)(22)【出願日】2017年9月18日

(65)【公表番号】特表2019-528881(P2019-528881A)

(43)【公表日】2019年10月17日

(86)【国際出願番号】EP2017073425

(87)【国際公開番号】WO2018050885

(87)【国際公開日】20180322

【審査請求日】2020年9月15日

(31)【優先権主張番号】62/395,597

(32)【優先日】2016年9月16日

(33)【優先権主張国】US

(31)【優先権主張番号】17175503.6

(32)【優先日】2017年6月12日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】キューネン，マールテン ペトリュス ヨゼフ

(72)【発明者】

【氏名】ミハイロヴィチ，ネナド

(72)【発明者】

【氏名】プールタヘリアン，アーラシュ

【審査官】 門 良成

(56)【参考文献】

【文献】 特開２０１４−１００５５６（ＪＰ，Ａ）

【文献】 特開２０１２−２１３６０６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０３２１１５４（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／１７４３０５（ＷＯ，Ａ２）

【文献】 特開２０１５−０４３８２４（ＪＰ，Ａ）

【文献】 特表２０１５−５０３３８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１９８０９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００

(57)【特許請求の範囲】

【請求項1】

体積領域において先端を含むツールの配置を検出する機器であって、
超音波アレイから、前記体積領域の超音波画像データを受信するように適合された画像処理ユニットを有し、
該画像処理ユニットは、先端ツール検出モジュールを有し、
該先端ツール検出モジュールは、
前記超音波画像データから、第1のツール影領域を有する第1の超音波画像、および第2のツール影領域を有する第2の超音波画像を再構築し、ここで、
前記第1の超音波画像は、前記超音波アレイの表面に対する超音波ビームの第1のステアリング角度に対応し、
前記第2の超音波画像は、前記超音波ビームの前記第1のステアリング角度とは異なる、第2のステアリング角度に対応し、
前記第1および第2のツール影領域の間の相対差に基づいて、前記体積領域内の差分影領域を同定し、
前記差分影領域に基づいて、前記ツールの前記先端の配置を決定するように構成される、機器。

【請求項2】

前記先端ツール検出モジュールは、さらに、
第3のツール影領域を有する第3の超音波画像を再構築し、ここで、前記第3の超音波画像は、前記第2のステアリング角度とは異なる、前記超音波ビームの第3のステアリング角度に対応し、
前記第3のツール影領域と前記第1および第2のツール影領域のいずれかとの間の相対差に基づいて、前記体積領域内の第2の差分影領域を同定し、
前記差分影領域を前記第2の差分影領域と関連付けるように構成され、
前記ツールの前記先端の配置のさらなる決定は、前記差分影領域と前記第2の差分影領域との関連付けに基づく、請求項1に記載の機器。

【請求項3】

前記先端ツール検出モジュールは、前記第1および第2の超音波画像から、それぞれの画素の強度を減算することにより得られた減算画像において、前記差分影領域を同定するように配置される、請求項1または2に記載の機器。

【請求項4】

前記減算画像内の前記差分影領域は、閾値強度値を超える強度値を有する画素を含む、請求項3に記載の機器。

【請求項5】

前記減算画像内の前記差分影領域は、閾値強度値未満の強度値を有する画素を含む、請求項3に記載の機器。

【請求項6】

前記受信された超音波画像データは、前記体積領域の3D超音波画像データを有する、請求項1乃至5のいずれか一つに記載の機器。

【請求項7】

前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像は、複数の画像面に属し、前記体積領域の3D超音波画像を形成する、請求項2に記載の機器。

【請求項8】

前記先端ツール検出モジュールは、さらに、前記ツールの前記先端の定められた配置に基づいて、前記3D超音波画像データ内のツール面区画の配置を定めるように構成され、
前記ツール面区画は、前記ツールの全長が存在する、前記体積領域の3D超音波画像内の平面を表す、請求項6に記載の機器。

【請求項9】

前記先端ツール検出モジュールは、さらに、前記ツールの短軸と、前記ツールの前記先端の定められた配置とを含む短軸面を再構築するように構成される、請求項8に記載の機器。

【請求項10】

前記先端ツール検出モジュールは、さらに、前記複数の画像面に存在する暗領域を検出し、前記暗領域が前記ツールの影に対応するかどうかを定めることにより、複数のツール影領域を同定するように構成され、
前記第1、前記第2、および前記第3のツール影領域は、前記複数のツール影領域に属する、請求項7に記載の機器。

【請求項11】

前記超音波画像データは、複数の3D超音波画像フレームを有し、
前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像の各々は、前記複数とは異なる3D超音波フレームから再構築される、請求項2に記載の機器。

【請求項12】

前記超音波画像データは、複数の2D超音波画像面を有し、
前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像の各々は、前記複数とは異なる2D超音波画像から再構築される、請求項2に記載の機器。

【請求項13】

さらに、第2のツール検出モジュールを有し、
該第2のツール検出モジュールは、第2のツール検出手順を実行するように構成され、
前記第2のツール検出手順は、
好ましくは、強度および／または頻度（frequency）に基づくアルゴリズムを使用して、前記超音波画像における前記ツールの描画に基づいて、前記ツールを検出するステップ
を有する、請求項1乃至12のいずれか一つに記載の機器。

【請求項14】

超音波システムであって、
請求項1乃至13のいずれか一つに記載の機器と、
前記超音波ビームを前記体積領域に向かって誘導し、前記画像処理ユニットに前記超音波画像データを提供するように配置された超音波アレイと、
を有する、超音波システム。

【請求項15】

さらに、超音波画像を表示する表示ユニットを有し、
前記画像処理ユニットは、前記ツール面区画の先端および／または前記ツール面区画の画像を、前記表示ユニットに伝送するように構成される、請求項8または9に記載の機器。

【請求項16】

体積領域において先端を含むツールを検出する方法であって、
前記体積領域の超音波画像データを取得するステップと、
前記超音波画像データから、第1のツール影領域を有する第1の超音波画像、および第2のツール影領域を有する第2の超音波画像を再構築するステップであって、ここで、
前記第1の超音波画像は、超音波アレイの表面に対する超音波ビームの第1のステアリング角度に対応し、
前記第2の超音波画像は、前記第1のステアリング角度とは異なる前記超音波ビームの第2のステアリング角度に対応する、
ステップと、
前記第1および前記第2のツール影領域の間の相対差に基づいて、前記体積領域内の差分影領域を同定するステップと、
前記差分影領域に基づいて、前記ツールの前記先端の配置を決定するステップと、
を有する、方法。

【請求項17】

前記差分影領域を同定するステップは、
前記第1および前記第2の超音波画像から、それぞれの画素の強度を減算するステップ
を有し、これにより、減算画像が得られる、請求項16に記載の方法。

【請求項18】

前記体積領域の得られた超音波画像データは、3D超音波画像であり、
当該方法は、さらに、
前記ツールの前記先端の定められた配置に基づいて、3D超音波画像内のツール面区画の配置を定めるステップ
を有し、
前記ツール面区画は、前記ツールの全長が存在する、前記3D超音波画像内の平面を表す、請求項16または17に記載の方法。

【請求項19】

コンピュータプログラムであって、
当該コンピュータプログラムがコンピュータ上でランされた際に、請求項16乃至18のいずれか一つに記載の方法を実行するように適合されたコード手段を有する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ツールの先端を含むツールを検出する機器および方法、特に、超音波結像法により得られた画像を用いてインターベンショナルツールを結像する機器および方法に関する。

【背景技術】

【0002】

超音波結像法は、ツール誘導用途の最も一般的な結像システムの一つである。超音波結像法は、ニードル、腹腔鏡、ステント、および近接照射療法に使用される放射線シードのようなツールの結像に使用され得る。例えば、麻酔におけるニードル誘導、組織切除、またはバイオプシー誘導のために、超音波結像法が使用される。ニードルは、組織サンプルを採取し、患者の体内の被対象組織に医薬または電気エネルギーを供給するために使用されるからである。患者へのリスクを最小化し、健康アウトカムを改善する上で、これらの処置の間のニードルおよびその先端の可視化は、極めて重要である。

【0003】

通常、処置が実施された状態で、2D超音波誘導が使用され、インターベンショナルツールが可視化される。しかしながら、この結像のモードには多くの欠点がある。特に、2D結像法は、視野が限られ、超音波画像内でのツールの適正な位置合わせや局在化の後、およびツールの移動またはターゲットの評価の間、処置を行う人の好ましくない任意の手の動きにより、ツールおよび超音波トランスジューサの調整ミスが生じ、ツールの一部が超音波画像から除外されてしまう。これは、ツールの不適切な配置につながる。また、処置の間、超音波画像におけるツールの探索で、彼らの気が散るため、オペレータの関心が処置からずれる可能性がある。

【0004】

また、外部ツール追跡システムにも多くの問題がある。これらには追加の設備が必要となり、これは、超音波結像システムのコストに追加される。また、追加センサを有する特殊な専用ニードルが必要となる。医師が専用ニードルを使用することが制限されると、処置のコストの上昇につながる。

【0005】

方向検知スペクトル変換に基づく3D超音波において、ツール検出技術が提案されている。これは、ノイズに対してよりロバストであり、厳しい状況においてニードルを検出可能であることが示されている（例えば、A．Pourtaherian，et al．，"Gabor-Based Needle Deteetion and Tracking in Three-Dimensional Ultrasound Data Volumes," in Proc. IEEE ICIP, pp 3602-6,2014）。また、大部分の検出技術は、ニードルの軸の同定に基づいて、超音波画像内におけるツールの上部の配置を得るが、これは、常に高い精度で可能となる訳ではない。

【0006】

しかしながら、これらの提案では、ツールの挿入角度（入射超音波放射線とツールの間の角度）が大きい場合、ツールを検出できないことがある。これらの場合、入射ビームは、大きな角度で反射され、その結果、超音波結像システムでは検出されなくなる。従って、ツールは、取得データセットにおいてほとんど視認することができない。

【0007】

図1Aおよび1Bには、典型的な超音波結像システムを示す。ツール1の挿入角度とともに、ツール1の対応する超音波画像が示されている。超音波エミッタ（超音波アレイ）およびイメージセンサを有する超音波機器3は、対象に向かって超音波の波5を放射するように配置される。これらは、患者に対する入射超音波放射線を形成する。超音波機器3は、反射された超音波放射線に基づいてデータセットを取得し、これがツール1の結像に使用される。この例では、放射された超音波放射線は、超音波機器3の超音波アレイの放射表面7に対して略垂直な方向に伝播する。

【0008】

ツール1は、超音波アレイの放射表面7に対してある角度で挿入され、本例では、これは、超音機器3の表面と一致すると仮定される。ツールの挿入角度は、超音波機器3の放射表面7とツール1の間の角度であり、超音波アレイの放射表面は、入射超音波放射線5の伝播方向に垂直な平面である。

【0009】

図1Aにおいて、ツールは、小さな挿入角度で示されており、ツールは、超音波アレイの放射表面7に対して略平行に配置される。この場合、ツール1の挿入角度は、約0°である。超音波放射線5は、ツール1の表面により反射され、超音波アレイに向かって逆向きに伝播し、ここでイメージセンサ（超音波アレイに含まれている超音波トランスジューサ）により検出される。ツールは、入射超音波放射線を強く反射するため、超音波画像データにおいて、明るい領域として視認される。

【0010】

図1Bでは、ツール1および超音波機器3は、ツール1の挿入角度が大きくなる、異なる配置で提供される。この場合、超音波アレイの放射表面7とツール1の間の角度は、約45°である。超音波放射線5は、ツール1に向かって伝播し、ツール1の反射性表面に入射される。超音波放射線の一部は、大きな角度で反射され、これにより超音波アレイから遠ざかるように誘導される。その結果、ツール1は、超音波機器3により生成された超音波画像においてほとんど視認されない。また、組織内でツールが前進する間、ツールの先端が、超音波アレイの表面からより遠ざかるため、超音波アレイから遠ざかるように誘導される反射超音放射線の確率が高まる。

【発明の概要】

【発明が解決しようとする課題】

【0011】

従って、ツールが超音波機器の放射表面に対して大きな角度で挿入された場合であっても、改善された2Dまたは3D超音波結像技術により、ツールさらにはその先端を検出する機器および方法が必要である。

【課題を解決するための手段】

【0012】

本発明は、特許請求の範囲により定められる。

【0013】

本発明のある態様では、先端を含むツールの配置を検出する機器が提供され、当該機器は、
超音波アレイから、体積領域の超音波画像データを受信するように適合された画像処理ユニットを有し、
該画像処理ユニットは、先端ツール検出モジュールを有し、
該先端ツール検出モジュールは、
前記超音波画像データから、第1のツール影領域を有する第1の超音波画像、および第2のツール影領域を有する第2の超音波画像を再構築し、ここで、
前記第1の超音波画像は、前記超音波アレイの表面に対する超音波ビームの第1のステアリング角度に対応し、
前記第2の超音波画像は、前記超音波ビームの前記第1のステアリング角度とは異なる、第2のステアリング角度に対応し、
前記第1および第2の影領域の間の相対差に基づいて、前記体積領域内の差分影領域を同定し、
前記差分影領域に基づいて、前記ツールの前記先端の配置を決定するように構成される。

【0014】

本実施例は、超音波アレイの放射表面に対して異なる角度（超音波照射角度としても知られている）で誘導される超音波ビームにより取得された超音波画像データは、体積領域に対する異なるステアリング角度に対応する超音波画像を提供し、従って、インターベンショナルツールの軸が維持されるという発想に基づくものである。各超音波画像は、異なる角度下でツールに向かって誘導された超音波ビーム（放射線）により形成されるため、各超音波画像内のツールの影領域は、ビームとツールの主軸との間の入射角度に応じて異なる。機器の画像処理ユニットは、異なるステアリング角度を含む超音波データを処理し、前記データから、異なる画像フレームにおいて観測された2つの異なる影領域の間の相対差に基づいて、少なくとも一つの差分影領域を取得するように配置される。超音波データから再構築された対応する超音波画像内の各影領域の位置およびエリアは、前記画像のステアリング角度により定められる。超音波データは、同じ生体構造を有する同じ体積領域に対して取得されるため、2つの再構築された超音波画像は、それらの影領域において実質的に異なっている。従って、画像処理ユニットは、さらに、2つの異なる再構築画像の影領域における相対差を解析するように配置され、体積領域内の領域に対応する差分影領域が取得される。一つの画像内のツールの影領域は、別の画像内のツールの影領域とは異なる。体積領域内の差分影領域の同定された配置に基づいて、画像処理ユニットは、ツールの挿入角度とは独立に、高い精度で、体積領域内のツールの配置を定めることができる。この実施例は、2次元（2D）結像および3次元（3D）結像の両方に適用できる。本願において、再構築された超音波画像は、2Dまたは3D超音波画像を起源としてもよい。

【0015】

本発明の別の態様では、前記先端ツール検出モジュールは、さらに、
第3のツール影領域を有する第3の超音波画像を再構築し、ここで、前記第3の超音波画像は、前記第2のステアリング角度とは異なる、前記超音波ビームの第3のステアリング角度に対応し、
前記第3の影領域と前記第1および第2の影領域のいずれかとの間の相対差に基づいて、前記体積領域内の第2の差分影領域を同定し、
前記第1の差分影領域を前記第2の差分影領域と関連付けるように構成され、
前記ツールの前記先端の配置のさらなる決定は、前記差分影領域の前記相関関係に基づく。

【0016】

本発明では、再構築された超音波画像の2つの異なる組から得られる異なる差分影領域を比較することにより、ツールの配置検出の精度をさらに改善することができる。これらの領域の相互の相関関係により、すなわち、エリア、サイズ、およびその共通座標系内の配置のような領域パラメータ、ならびにこれらの領域が同定される、それぞれの超音波画像のステアリング角度に対する相関関係により、画像処理ユニットは、さらに改善された精度で、体積領域内のツールの配置を定めることができる。

【0017】

本発明の別の態様では、前記先端ツール検出モジュールは、前記第1および第2の超音波画像から、それぞれの画素の強度を減算することにより得られた減算画像において、前記差分影領域を同定するように配置される。

【0018】

この実施例は、影領域の外側の非影画像エリアは、同じ体積領域の再構築された他の超音波画像における非影アリアからの画素と同様の強度（異なるスパークルパターンを除く）の画素を有することに基づく。また、全ての再構築超音波画像が空間的に一致する影領域を有するエリアは、同様の特徴の画素を有する。しかしながら、第1の角度下では影領域が存在するが、第2の角度下では影領域が存在しないエリアでは、再構築画像を形成する画素の強度に顕著な差異がある。従って、共通の座標系（空間的に整列された超音波画像）において、異なる超音波画像から、それぞれの画素の強度を減算することで、減算画像が提供され、差分影領域は、識別された強度に基づいて容易に同定され得る。

【0019】

別の実施例では、前記受信された超音波画像データは、前記体積領域の3D超音波画像データを有してもよい。ここで、前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像は、複数の画像面に属し、前記体積領域の3D超音波画像を形成する。

【0020】

3D超音波画像において、3D超音波結像機器は、超音波アレイを制御して、対象に向かって超音波放射線（換言すれば、誘導ビーム）を放射し、対象により反射される放射線を検出するように配置され、対象の3D容積を表す3D超音波画像容積データ組が生成される。この方法では、3D結像機器は、3D容積の画像を生成する。取得された3D超音波画像データに基づいて、画像処理ユニットは、複数の画像面を有する3D超音波画像を再構築するように配置される。先端ツール検出モジュールは、さらに、前記複数の平面から、異なるステアリング角度に対応する少なくとも2つの画像面を選定するように配置されてもよい。ここで、平面の各々は、ツール影領域を有する。従って、一つの3D超音波画像を取得することにより、ツールの先端が検出され、これにより、インターベンショナルなワークフローが単純化される。

【0021】

さらに別の実施例では、先端ツール検出モジュールは、さらに、ツールの先端の定められた配置に基づいて、3D超音波画像データ内のツール面区画の配置を定めるように構成される。ここで、ツール面区画は、ツールの全長が存在する体積領域の3D画像内の平面を表す。

【0022】

画像処理ユニットは、3D超音波画像データを処理して、3D画像のどの平面が、ツールの先端を含むツールの全長を含む3D容積の平面を表すかを定めるように適合される。この平面は、ツール面区画と称される。ツール面区画の位置を検出することにより、ツールの長軸視野の視覚化が可能となる。先端ツール検出モジュールは、ツールの影を表す3D超音波データ組の領域に基づいて、ツール面区画を配置する。この方法では、ツールの影が挿入角度に無関係に同定できるため、ツールの配置は、ツールの挿入角度が大きい場合であっても検出可能である。また、ツールの他の視野も、ツール面区画に対して定めることができる。例えば、ツールの短軸を含む平面が同定できる。これは、ツール面区画に実質的に垂直な平面であり、ツールの先端の位置に配置されるからである。また、画像処理ユニットは、通常の3D超音波画像を処理し、ツール面区画の位置を定めるため、機器は、システムのいかなる他の素子の修正も必要とせずに、通常の3D超音波画像システムに組み込むことができる。

【0023】

本発明別の態様では、前記先端ツール検出モジュールは、さらに、前記複数の平面区画に存在する暗領域を検出し、前記暗領域が前記ツールの影に対応するかどうかを定めることにより、複数のツール影領域を同定するように構成され、前記第1、前記第2、および前記第3の影領域は、前記複数のツール影領域に属する。

【0024】

ツール影領域は、ツールの影に対応する暗領域である。先端ツール検出モジュールは、少なくとも一つの平面区画において、検出された暗領域を解析し、例えば、暗領域のサイズ、幅、および／または形状を検査し、これをツールの影の予測サイズ、幅、および／または形状と比較することにより、暗領域がツールの影を表すかどうかを定める。先端ツール検出モジュールは、ツール影領域の位置に基づいて、体積領域に存在するツールの全長、またはツールの先端を含む、3D超音波データ内の平面区画の位置を計算する。この3D容積データの区画は、「ツール面区画」である。

【0025】

機器は、さらに、第2のツール検出モジュールを有し、これは、第2のツール検出手順を実施するように構成され、第2のツール検出手順は、好ましくは、強度および／または頻度に基づくアルゴリズムを用いて、超音波画像におけるツールの描画に基づいて、ツールを検出するステップを有する。

【0026】

浅い挿入角度では、ツールは、再構築超音波画像においてよく視認でき、従ってツールは、前記画像から直接同定される。ツールは、画像センサに向かって、入射超音波放射線を強く反射し、このためツールの位置は、超音波画像内に明るい領域として表され、これは、適切なアルゴリズムを用いて検出できる。浅い挿入角度および急角度でのツール検出の機能を提供することにより、当該機器を用いて、挿入角度の範囲にわたって、ツールを検出することができるため、これは多くの異なる用途に適する。

【0027】

この第2のツール検出手順は、ツールと超音波アレイの放射表面の間の角度が小さい場合、ツールの位置の同定に好適であり、超音波画像データからツールを直接同定することができる。ツールを直接検出するのに十分な視認性が得られる挿入角度の範囲は、3D結像機器の正確な配置に依存する。しかしながら、通常の配置では、ツールは、30°よりも大きな挿入角度では視認されなくなる。

【0028】

別の実施例では、前記超音波画像データは、複数の3D超音波画像を有し、前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像の各々は、前記複数とは異なる3D超音波画像から再構築される。

【0029】

本実施例では、画像処理ユニットは、超音波アレイから、複数の3D超音波画像を有する画像データを受信するように適合され、先端ツール検出モジュールは、体積領域の3D超音波画像を再構築するように構成され、これにより、3次元において差分影領域の同定が実行される。アレイの表面に対して異なるビームステアリング角度で取得された少なくとも2つの3D超音波画像のデータを受信することにより、先端ツール検出モジュールにより、本実施例では3D領域である差分影領域に基づいて、ツールの先端の配置を定めることができる。この方法では、より正確な先端ツール検出を行うことができる。

【0030】

別の実施例では、前記超音波画像データは、複数の2D超音波画像面を有し、
前記第1の超音波画像、前記第2の超音波画像、および前記第3の超音波画像の各々は、前記複数とは異なる2D超音波画像から再構築される。

【0031】

本発明は、複数の2D超音波画像データに対して、実施することができる。好適実施例では、少なくとも一つの画像は、ツールの全長を含み、これにより、より識別された処理用の影領域が提供される。

【0032】

ある実施例では、先端を含むツールの配置を検出する機器は、体積領域に向かって超音波ビームを誘導するように配置された超音波アレイと組み合わされ、画像処理ユニットに超音波画像データが提供されてもよい。

【0033】

本実施例では、機器は、画像処理ユニットの機能を実行することに適した外部装置に組み込まれ、前記装置に結合された超音波アレイを使用して、超音波画像データが取得される。

【0034】

機器は、さらに、超音波画像を表示する表示ユニットを有してもよい。画像処理ユニットは、表示ユニットにツールの先端の画像を通信するように構成される。画像処理ユニットにより、いったんツール面の先端の配置が取得されると、これは、先端（ツール）の画像を表示ユニットに送信する。このようにして、ツールが可視化され、誘導に使用される。

【0035】

本発明のある態様では、体積領域において先端を含むツールを検出する方法であって、
前記体積領域の超音波画像データを取得するステップと、
前記超音波画像データから、第1のツール影領域を有する第1の超音波画像、および第2のツール影領域を有する第2の超音波画像を再構築するステップであって、ここで、
前記第1の超音波画像は、前記超音波アレイの表面に対する超音波ビームの第1のステラリング角度に対応し、
前記第2の超音波画像は、前記第1のステアリング角度とは異なる前記超音波ビームの第2のステラリング角度に対応する、
ステップと、
前記第1および前記第2の影領域の間の相対差に基づいて、前記体積領域内の差分影領域を同定するステップと、
前記差分影領域に基づいて、前記ツールの前記先端の配置を決定するステップと、
を有する、方法が提供される。

【0036】

この方法を実施することにより、容積内で前進するツールの先端を速やかに同定し、オペレータに対して迅速なツールの可視化を行うことが可能になる。また、当該方法は、ノイズに対する感度が低く、従って、様々な状況においてツールの配置を検出する、信頼性のある方法を提供できる。また、高いノイズ環境でも、当該方法を使用してツールを検出することができる。当該方法は、超音波画像を処理することに関し、医療の専門家からいかなるインプットを要求することなく実施される。

【0037】

また本発明では、コンピュータプログラムであって、当該コンピュータプログラムがコンピュータ上でランされた際に、前述の方法を実行するように適合されたコード手段を有する、コンピュータプログラムが提供される。

【0038】

コンピュータプログラムを提供することにより、既存の画像処理ユニットの機能性を変更して、3D超音波結像に使用されるいかなる既存の通常の機器も変更することなく、ツールを検出し、ツール面区画を配置することが可能になる。

【図面の簡単な説明】

【0039】

【図1A】インターベンショナルツールの小さな挿入角度で設置されたツールを含む超音波結像機器を示した図である。

【図1B】インターベンショナルツールの大きな挿入角度で設置されたツールを含む超音波結像機器を示した図である。

【図2】本発明の一態様による、ブロックダイアグラムの形態における、超音波誘導結像システムを示した図である。

【図3】インターベンショナルツールを有する体積領域の3D視野を示した図である。

【図4】本発明の一実施例を示した図である。

【図5A】本発明の実際の適用を示した図である。

【図5B】本発明の実際の適用を示した図である。

【図5C】本発明の実際の適用を示した図である。

【図5D】本発明の実際の適用を示した図である。

【図5E】本発明の実際の適用を示した図である。

【図6A】正面方向において取得された複数のセクター面を示した図である。

【図6B】正面方向において取得された複数の直線で構成されたスライスを示した図である。

【図6C】正面方向における異なる角度増分での複数のスライスを示した図である。

【図6D】正面方向および方位方向における異なる角度増分での複数のスライスを示した図である。

【図7】一例によるツールを検出する方法を示した図である。

【図8A】超音波結像法により得られた容積の3D画像を示した図である。

【図8B】図4Bの容積の平面区画を示した図である。

【図9】3D容積の一例の平面画像の組を示した図である。ニードルは、小さな挿入角度で配置されている。

【図10】3D容積の一例の平面画像の組を示した図である。ニードルは、大きな挿入角度で配置されている。

【図11】一例による、ツールを検出する機器の概略的な図である。

【図12】機器により実行される処置の実施に適したコンピュータを示した図である。

【発明を実施するための形態】

【0040】

本発明の機器では、2Dまたは3Dの超音波結像システムおよびプローブが使用される。図2には、超音波結像システム9の概略的なブロック図を示す。これは、本発明の機器11と組み合わせて使用され得る。超音波結像システム9は、プローブ10を有し、プローブ10は、体積領域にわたる破線の矩形および平行四辺形により表された異なる角度で、超音波ビームを誘導（伝送）するように配置された超音波トランスジューサアレイ12を有する。この例では、I、II、IIIの符号で、複数の超音波画像を形成する走査線の3つのグループが図中に示されている。各グループは、プローブに対して異なる角度で誘導され、またはアレイ12の表面を放射する。これらの超音波画像データは、機械的な誘導アレイ、または電子超音波ビーム誘導手段のいずれかを用いて取得される。ビームの伝播は、トランスミッタ14により制御され、これは、各ビームが所定の起源から、アレイに沿って所定の角度で伝送されるように、アレイトランスジューサの素子の各々の位相および取得時間を制御する。

【0041】

本発明の適用は、集束ビーム結像法、発散または平面波結像法等の、特定の超音波結像方法に限定されないことを理解する必要がある。例えば、図6Aには、ツールの先端を含むツールの配置が検出できる体積領域が、斜視図で示されている。この例では、体積領域は、セクター状であり、複数の平坦なセクタ形エリアを含む。このエリアは、本願において体積スライスと称される。この例では、4つのスライス52-56が示されている。スライスは、高さ方向において、相互に平行に配向され、その方位および高さの次元は、図の右側に示されている。各スライスは、体積領域の上に配置されたトランスジューサアレイ12によって、方位方向においては、スライス12-16にわたって一連の走査線を伝送することにより、および高さ方向においては、スライスからスライスに伝播させることにより、走査される。図6Bには、直線で構成された体積領域を示す。これも、高さ方向において平行に配向された複数のスライスを有する。図にはそのようなスライス72-78が示されている。これらのスライスは、体積領域の上部に配置されたトランスジューサアレイにより、図6Bのスライスと同じ方法で走査されてもよい。この例では、スライスは、図6Aの例の場合のような、共通の起源からの角度的に漸増する走査ラインではなく、方位方向において平行な走査ラインにより走査される。図6Cには、体積領域のスライスの別の例が示されている。これらのスライスは、容積の上部に頂点84を有するピラミッド状の体積領域のものである。この例では、「真横からの」視野における、4つのセクター状スライスS1-S4が示されている。すなわち、スライスの高さ方向は、矢印82で示されており、方位方向は、図の紙面に入る方向である。アレイに対する方位方向および高さ方向は、トランスジューサアレイの上部に示されている。この例では、隣接する高さスライスは、角度増分Δφによって分離される。図6Dには、高さ方向（角度増分Δφで示されている）、および方位方向（角度増分Δθで示されている）において、異なる角度増分で複数のスライスが取得される方法を示す。体積領域の頂点は、84で示されている。

【0042】

図2を参照すると、各走査ラインから戻るエコーは、アレイの素子（トランスジューサ）によって受信され、アナログ-デジタル変換により2値化され、デジタルビーム形成器16に結合される。デジタルビーム形成器は、アレイ素子からのエコーを遅延させ合計し、各走査ラインに沿って、集束されたコヒーレントなデジタルエコーサンプルのシーケンスを形成する。トランスミッタ14およびビーム形成器16は、システム制御器18の制御下で作動され、これは、本発明の機器と組み合わされた超音波システムのユーザによって操作される、ユーザインターフェース20における制御の設定に応答する。システム制御器は、トランスミッタを制御し、所望の角度、伝送エネルギーおよび周波数で、所望の数の走査線グループが伝送される。また、システム制御器は、デジタルビーム形成器を制御し、適切な遅延により、機器の受信エコー信号と使用される画像深さを組み合わせる。走査線のエコー信号は、プログラム化デジタルフィルタ22によりフィルタ処理され、これは、関心周波数のバンドを定める。高調波コントラスト剤の結像、または組織の高調波結像処理の実施の際、フィルタ22のパスバンドは、伝送バンドの高調波を通すように設定される。次に、フィルタ化信号は、検出器24により検出される。好適実施例では、フィルタおよび検出器は、複数のフィルタおよび検出器を含み、受信信号は、複数のパスバンドに分離され、個々に検出され再結合され、周波数複合により画像のスパークルが抑制されてもよい。Bモード結像処理では、検出器24は、エコー信号エンベロープの振幅の検出を実施する。エコーのドップラー結像集合は、画像内の各点でまとめられ、ドップラー処理され、ドップラーシフトまたはドップラーパワー強度が評価される。

【0043】

図3および図4には、本発明の概念の2つの適用例を示す。図3では、インターベンショナルツール1を含む体積領域が、超音波ビームを電子的に誘導されるように配置された2D超音波アレイ12を用いて、視野61内で結像される。3D超音波データ取得の誘導方法は、図6Dに示したように実現され得る。そのような2Dアレイ12を有するプローブは、高さ次元Zおよび／または方位次元に沿って取得された体積領域の複数の断面（スライス）に対応する超音波画像データを提供するように配置される。高さ（および／または方位）方向において漸次取得された、各得られた超音波スライスは、超音波アレイ（エミッタ）の表面の法線ベクトルに対して、異なる傾斜角を有する。また、複数のこれらの超音波スライスは、1Dアレイを用いて取得することができる。この場合、体積領域の断面は、高さ次元Zに沿った、アレイの機械的な移動により調査される。取得された超音波画像データは、3D画像データユニット32によりさらに処理され、体積領域の3D超音波画像が再構築され得る。

【0044】

図3に示すように、ツールは、視野61内に影19を投影し、この影の視野内の配置は、超音波データ取得のために使用される超音波ビームのステアリング角度により定められる。ステアリング角度は、超音波ビームの方向と、アレイ表面に対する法線ベクトルの間の角度として定められる。この図において、視野は、アレイの放射表面の下に、直接配置される。

【0045】

体積領域の超音波画像データまたは3D超音波画像は、画像処理ユニット15により受信される。画像処理ユニット15は、先端ツール検出モジュール17を有し、これは、受信された超音波画像データから、第1のツール影領域を有する第1の超音波画像、および第2のツール影領域を有する第2の超音波画像を再構築するように構成される。ここで、第1の超音波画像は、超音波アレイの表面に対する、超音波ビームの第1のステアリング角度に対応し、第2の超音波画像は、第1のステアリング角度とは異なる、超音波ビームの第2のステアリング角度に対応する。

【0046】

図4には、2D表示における本発明の原理を示す。ここには、2つの超音波画像面63および62が示されている。平面63は、アレイの法線ベクトルに対して正の傾斜角度に対応するように再構築され、平面62は、法線ベクトルに対して負の傾斜角度に対応するように再構築される。それぞれの平面に対応する超音波ビームの間での異なる傾斜角度、およっびインターベンショナルツール1のため、このツールの影の領域は、一つの面から別の面に変化する。いかなる影も有さない画像領域（影なし画像領域）は、スパークルパターンが異なることを除き、強度のような、同様の画像パラメータを有する。また、全ての画像が空間的に一致する影の領域を有する場合、画像エリアは、同様の特徴を有する。ただし、第1の角度の下では影の領域が存在し、第2の角度の下では影の領域が存在しないエリアでは、第1と第2の再構築画像の間で、画像特性に大きな差異が生じる。例えば、超音波平面62では、第1の影領域の2D断面は、平行六面体ABB’Dにより定められるが、超音波平面63では、ツールは、平行六面体ACEA’により定められる第2の影領域を投影する。2つの影領域は、空間的に重複するエリアを共有し、これは平行六面体ACB’Dで定められる。従って、相互の間での両方の影領域、および画像の共通の座標系内でのこれらの相対的な位置を比較することにより、ツールの先端の配置を正確に定めることが可能となる。この比較は、差分影領域（ABC）の走査線に沿って：差分影ツール領域の走査線ACおよびABに沿って、実施された強度の合計に基づいてなされ得る。この場合、平面63の影領域は、平面62の影領域とは異なる。これにより、異なるオフセットレベルに対する合計強度の1次元のアレイが提供される。これは、所望のオフセットでのジャンプを特徴とする。オフセットレベルにわたるこの合計強度の微分の計算により、このジャンプは、容易に検出することができる。両方の影の走査線（ACおよびAB）のオフセットが既知の場合、ツールの先端は、2つの影の走査線の交点に認められる。

【0047】

この概念は、カテーテルまたはニードルのような、先端を有するいかなる意図的なツールにおいても機能することに留意する必要がある。また、この原理は、3D超音波画像にも利用可能であり、この場合、各3D超音波画像は、異なるビームステアリング角度で取得された3D超音波画像データから再構築される。これは、3D超音波結像が可能な超音波システムを提供することにより可能となってもよい。これは、図3に示した位置から側面までの視野61の誘導を制御するように配置され、体積領域内の異なる視野配向の複数の3D画像フレームが取得される。また、3D画像データユニット32は、画像メモリユニットを有し得る。画像メモリは、フレーム貯蔵バッファであり、書き込みと読み出しが同時にできる、ジュアルポートメモリとして実施できる。そのようなメモリの使用により、トランスジューサアレイおよびビーム形成器による新たな超音波画像フレームを取得することが可能となり、過去にメモリ内に保管された他の画像フレームのデータを読み出し、解析したまま、メモリの一つのエリアに書き込むことが可能となる。

【0048】

この実施例では、先端ツール検出モジュール17は、受信された3D超音波画像データから3D超音波画像を再構築するように構成され、この場合、同定された差分影領域は、3次元となり、ツールの先端の配置が3D空間内に定められる。

【0049】

別の実施例では、先端ツール検出モジュール17は、3D超音波画像データから2D画像面を再構築するように構成される。この実施例では、第1の超音波画像および第2の超音波画像は、視覚化に適した3D超音波画像を形成する複数の2D画像面に属する。先端ツール検出モジュール17は、前記複数の平面において、超音波ビームの異なるステアリング角度に対応する少なくとも2つの画像面を同定するように配置されてもよい。この場合、平面の各々は、影領域を有する。この場合、機器9がツールの先端の配置を定める上で、一つの3D超音波画像のみが取得されれば十分であり、従って、インターベンショナルなワークフローが簡略化される。

【0050】

本発明のさらに別の実施例では、先端ツール検出モジュール17は、第1の超音波ビーム伝播イベントで取得された3D超音波画像データ（第1の3D超音波画像フレーム）から、および第2の超音波ビーム伝播イベントで取得された3D超音波画像データ（第2の3D超音波画像フレーム）から、第1の超音波画像面を再構築する。従って、異なるビームステアリング角度で取得されることが好ましい、2つの異なる3D超音波画像フレームを起源として、2つの超音波画像面が提供される。

【0051】

画像処理ユニット15は、複数の2D超音波画像面の形態の超音波画像データを受信するように配置されてもよい。ここで、第1の超音波画像、第2の超音波画像、および第3の超音波画像の各々は、前記複数からの異なる2D超音波画像から再構築される。先端ツール検出ユニット17は、さらに、これらの超音波画像面を再構築するように配置されてもよい。ここで、ツールの全長は、ツールの影領域に基づいて検出される。

【0052】

再度図2を参照すると、ツールの先端の配置を検出する機器11は、超音波結像システム9の残部から任意に分離されたユニットとして示されている。機器は、画像処理ユニット15を有し、これは、体積領域の超音波画像データを受信するように適合される。機器は、さらに、先端ツール検出モジュール17を有し、これは、再構築される超音波画像におけるツールの影領域を同定するステップと、体積領域内の先端の位置を計算するステップと、を含む検出手順を実施するように構成される。処理手順は：第1および第2の影領域の間の相対差に基づいて、体積領域内の差分影領域を同定するステップを含む。これは、例えば、2つの異なる超音波画像の画素を共通の座標系に記録し、別の画像から一つの画像の画素強度を減算することにより、行うことができ、これにより差分画像が形成される。先端ツール検出モジュール17は、さらに、差分画像を解析して、そこに配置された差分影領域（例えばACB）を検出するように配置される。共通座標系内の差分影領域の配置および形状に基づいて、ツールの先端の配置が定められる。

【0053】

先端ツール検出モジュール17は、追加で、第3のツール影領域を有する第3の超音波画像を再構築し、ここで第3の超音波画像は、超音波ビームの第2のステアリング角度とは異なる第3のステアリング角度に対応し、第3の影領域と第1または第2の影領域の間の相対差に基づいて、体積領域内の第2の差分影領域を同定し、第1の差分影領域を第2の差分影領域と関連付けるように構成され、ツールの先端の配置のさらなる決定は、差分影領域の相関関係に基づいてもよい。

【0054】

本発明では、さらに、再構築された超音波画像の2つの異なる組から得られた、異なる差分影領域を比較することにより、先端の配置の検出精度が高められる。これらの領域の相互の相関関係により、すなわち、エリア、サイズ、およびその共通座標系内の配置のような領域パラメータ、ならびにこれらの領域が同定される、それぞれの超音波画像のステアリング角度に対する相関関係により、画像処理ユニットは、より高い精度で、体積領域内のツールの配置を定めることができる。相関関係は、ツール検出のより高い精度を提供するため、より多くの再構築された超音波画像に基づいて行うことができる。ツールの先端の配置に続き、前記ツールの主軸が容易に定められ、これにより、機器11により、体積領域において前進するツールの軌跡を評価することが可能となる。ツール検出モジュール17は、再構築された2D超音波画像から、および再構築された3D超音波画像から、ツール影領域を関連付けるように配置され、後者の場合、体積影領域が相互に比較される。本例では、モジュール17は、機器11の分離ユニットとして示されているが、別の実施例では、モジュール17は、画像処理ユニット15の一部であってもよい。また、超音波画像は、走査変換器40により、2Dまたは3D超音波画像表示フォーマットに変換されてもよい。超音波画像は、予測または表示画素の形態で、Cineloop（登録商標）メモリ42に保管されてもよい。予測形態で保管された場合、画像は、表示用のCineloopメモリから再生された際に走査変換されてもよい。走査変換に続き、画像は、ビデオプロセッサ44により、表示用に処理され、画像ディスプレイ16に表示される。また超音波システムは、機器11に結合されたシステム制御器18を介し、ツール同定プロセスへのユーザインプットの可能性を提供し得る。

【0055】

先端ツール検出モジュール17は、超音波画像データを処理して、超音波画像がいくらかの暗領域を有するかどうかを検出してもよい。検出された暗領域は、ツールの影とは無関係な暗領域を含んでもよい。次に、異なる超音波画像における検出された暗領域の相対位置が解析され、暗領域の組は、全体的なツール影を形成するサブセットまで、さらに狭められる。従って、先端ツール検出モジュールは、他の検出された暗領域の相対位置に基づいて、暗領域がツール影に対応するかどうかを定めてもよい。相互に最も一致する暗領域の組は、全体的なツール影を形成する、ツール影領域として同定されてもよい。

【0056】

図5には、第1のツール検出モジュール17により実施される、相関ステップおよび検出ステップの一例を示す。図5Aおよび5Bには、それぞれ、0°および10°の傾斜フレーム角度により取得されたBモード画像が示されている。図5Cには、相互から差し引かれた2つの超音波画像により得られる差分Bモード画像の結果が示されており、明るい（図4における三角形ABCと同様の）三角形状領域は、一つのステアリング角度の下でのみ影が観察される、画像の一部に対応する。2つの画像の減算の順番により、差分影領域は、減算された画素強度の反対の符号の画素を有し得ることに留意する必要がある。すなわち、先端検出ユニットは、差分影領域の同定の間、差分画像の強度を閾値強度値と比較するように構成されてもよい。図5Dには、差分画像における、閾値および形態のような、平滑化およびノイズ除去のポスト処理ステップの結果を示す。前述のステップにおいて検出された三角形領域の境界を同定するため、第1の検出モジュール17は、HoughまたはGabor変換等のライン検出器に引き続き、端部検出アルゴリズムを実施する。影領域に基づき、完全なニードル軌跡を予測し、これを超音波画像に表示することが可能になる。

【0057】

画像処理ユニット15が3D超音波画像データを受信する場合、ツール検出モジュール17は、さらに、3D超音波画像データ内のツール面区画の配置を検出するように構成されてもよい。ツール面区画は、ツールの検出された先端に基づいて、ツールの全長が示された、3D画像内の平面を表す。これにより、その後、システムのユーザに最も効果的な方法で、ツールを可視化することができる。ツール面検出は、ツールの先端の定められた配置に基づいて、3D画像データ内のツールの影を同定するステップと、ツール全長が表された3D画像の「ツール面区画」の位置を計算するステップと、を有する。ツール検出手順により、ツール面区画の迅速な配置が可能となる。この方法では、画像処理ユニットは、ノイズに対してロバスト性のまま、ツール区画面を効率的に検出できる。この情報を取得することにより、ディスプレイ16上で、迅速で正確なツールの可視化が可能となる。

【0058】

機器11は、超音波結像機器の他の部材の修正を必要とせずに、超音波誘導システム9に組み込むことができる。また機器11は、携帯式表示装置および異なる超音波プローブで実行されるように配置された別個のモジュールとして販売し得る。機器11は、超音波結像システム9、またはこれ結合され得る携帯式表示装置と通信可能に構成される。機器11の別の利点は、これを用いて、挿入角度の広い範囲にわたってツールを検出できることである。通常の超音波誘導手順では、ツールは、ツールを表す、超音波画像の明るい領域を検出することにより配置される。しかしながら、3D容積は、反射放射線を検出することにより結像されるため、ツールの挿入角度が大きい状況では、ツールを検出することは難しい。これは、超音波放射線は、ツールによって大きな角度で反射され、従って、画像センサ（図1Bに示されている）では検出されないためである。従って、大きな挿入角度では、超音波画像において、ツールの視認性は低下し得る。

【0059】

画像処理ユニット15は、体積領域内の差分影領域を同定することにより、ツールの先端を検出する。これにより、ツールの視認性が低下するように、例えば、45°と90°の間でツールが配向されている場合であっても、ツールの先端を検出することが可能となる。ニードルの視認性は、挿入角度の増加とともに、大きく低下する。従って、挿入角度が30°を超えると、（特殊な、またはエコー発生式ではない）通常のニードルの検出は、極めて難しく、あるいは実現不可能になる。

【0060】

画像処理ユニットは、さらに、ツール面区画を検出するように配置されてもよい。ツールの外表面は、入射超音波放射線を大きく反射し、従って、ツールに入射する大部分の超音波放射線は、ツールの配向とは無関係に反射される。入射放射線の一部は透過するが、透過ビームの強度は、反射ビームに比べて大きく低下する。従って、ツールの超音波放射線が入射する側とは反対の側を表す画像の領域は、比較的暗くなる。この影響は、ツールの挿入角度が大きいときに、特に顕著になる。入射放射線ビームの大部分は、画像センサから遠ざかるように反射されるからである。従って、挿入角度の広い範囲にわたって、ツールの先端に隣接するツールの影を検出することができる。

【0061】

図7には、本発明の一例による画像処理ユニットにより実施される、ツール検出手順を示す。

【0062】

ツール検出手順の第1のステップ（18A）では、超音波ツールの先端の配置が検出される。また、超音波アレイにより形成された3D超音波画像データから、複数の2D平面が再構築される。2D平面は、結像された3D容積の区画を表し、これは、超音波結像システムにより放射される超音波放射線の伝播方向に垂直である。ツールの影は、これらの3D画像の平面区画において、最もよく視認できる。従って、ツールの配置にこれらの平面区画を用いることにより、迅速で正確なツールの影の同定が可能となる。平面区画の組の場合、平面区画は、3D画像の異なる深さにおいて得られる。

【0063】

次に、ステップ18Bでは、ステップ18Aで得られた2D平面が解析され、ツールの影を表す可能性のある2D平面の暗領域が検出される。解析では、評価される2D平面の数を抑制するため、入力として、既に定められた先端配置が使用される。ニードルの下側の平面では、ニードルの影は、楕円塊（blob）として見え、これは、3D画像の隣接領域に対して比較的暗い。従って、画像のノイズ除去後、および負の閾値化（negative thresholding）、ライン検出またはセグメント化技術のような解析技術を実行した後、ツール影の一般的な特性を有する暗領域が同定される。暗領域のサイズ、幅、および形状を検査することにより、さらなる改善が実施される。ニードルのサイズ、幅、および形状は、既知であり、従って、影の予測サイズ、幅、および形状が計算できるためである。ただし、平面区画に存在する全ての暗領域が、ツールの影に対応する訳ではない。すなわち、検出された暗領域の一部は、ツール影の一部を形成しない。

【0064】

次に、ステップ18Cでは、ステップ18Bで検出された暗領域が処理され、どの暗領域がツール影に対応するかが同定される。少なくとも一つのツール影領域を同定することにより、容積の長手軸に沿った、ニードルの全長を表す3D画像の平面の配置を定めることが可能となる。本願に記載のツール影解析技術は、差分影領域同定に使用される影領域検出、およびツール面検出に使用される影領域検出、の両方に適用可能であることに留意する必要がある。

【0065】

ツール区画面の配置は、単一の検出されたツール影領域、またはいずれも検出された全体的な影を形成する、異なる2D平面からの複数のツール影領域の位置に基づいて、定められてもよい。

【0066】

超音波画像を処理して、ツール影である暗領域同定するための異なる方法がある。これらのツール影領域は、検出暗領域のサブセットである。このサブセットを同定するため、データ組において、ランダムなサンプルコンセンサスアルゴリズム（RANSAC）が実施される。RANSAC法では、フィッティングモデルが定められ、データセットの要素がチェックされ、どの要素がフィッティングモデルと一致するかが定められる。ツール影領域サブセットは、最小の外れ値を有するデータ組のサブセットである。

【0067】

ある例では、ツール影領域サブセットを配置するため、想定されるツール面が選定され、想定されるツール面区画に一致するツール面区画に垂直な、2D平面における検出暗領域の数がカウントされる。これとは別に、またはこれに加えて、想定されるツール面に一致する暗領域を含む、超音波結像システムにより放射される超音波放射線の伝播方向に垂直な平面の数がカウントされる。

【0068】

このプロセスは、最大数のインライア（inlier）を有する想定ツール面が同定されるまで複数回繰り返され、これが実際のツール面となる。ツール面区画と交差する暗領域は、ツール影全体を形成するツール影領域である。従って、ツール影全体を含む平面を同定することにより、ツール影領域に基づいて、ツール面区画の配向が定められる。

【0069】

ステップ18Dでは、検出された影全体の全長および先端の定められた配置を有する、超音波ビームに平行な容積の平面が計算され、ユーザに視覚化される。この区画は、ツール面であり、これは、ニードルの全長および先端を含む。ツール面区画の位置に基づいて、ニードルの他の視野が配置されてもよい。

【0070】

図8Aには、ニードルの影19を含む、ニードル1の3D超音波画像の一例を示す。

【0071】

図8Bには、図8Aの画像の平面区画を示す。平面区画は、ニードルの下側に配置されている。平面区画は、画像処理ユニット15により得られ、その後ノイズ抑制画像処理に供される。暗領域が検出、解析され、暗領域がツールの影を表すかどうかが定められる。また、平面区画は、画像の形成に使用される入射超音波ビームの方向に垂直である。この配向の平面区画は、ツールの影19の最も際立った特徴を提供するためである。

【0072】

図9には、3D画像内の平面区画の一例を示す。ニードル1は、超音波放射線の伝播方向に対して小さな角度で配置される。ニードル1は、トランスジューサの面に対して約20°の相対角を有する。この場合、影が強くなるが、ニードル1も依然として視認できる。従って、強度に基づく検出技術と、影に基づく検出技術の両方の結果により、正確な長軸ニードル面が得られる。従って、いずれかの技術を使用して、ニードルを検出することができる。

【0073】

左側の画像の組は、3D容積の断面であり、上部の画像は、超音波ビームの伝播方向に平行な断面であり、下側の画像は、超音波ビームの伝播方向に垂直な断面である。下側の画像における破線は、上側の画像の断面を示す。下側の画像では、2つの明るい円として、ニードル1の小さな区画が視認できる。円は、平面とニードルの下側壁および上側壁との交点を表す。また影19の小さな部分も視認できる。上部の画像には、ニードルおよびニードルの影のいずれも視認できない。これは、上側の画像は、ニードルまたはニードルの影と交差しない3D容積の断面であるためである（下側の画像において、ニードル／影と破線の間の分離によって示されている）。

【0074】

画像の中心の組は、3D容積の断面であり、下側の画像は、ニードルの下側に配置された超音波ビームに垂直な断面である。ニードル影が領域19として視認できる。上部の画像は、超音波ビームに平行な断面である。また、下側画像の破線は、上部の画像の断面を示す。従って、上側の画像は、ニードルと交差しない3D容積の断面である。断面は、ニードルから離れて配置されている。破線の位置は、左と中央の下側の図で、同じであることに留意する必要がある。従って、左と中央の上側の図は、同じである。

【0075】

右側の画像の組は、検出されたニードル区画面を示しており、上部の画像は、超音波ビームと平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。

【0076】

上側の画像の断面は、ニードルが全体的に面内に入るように回転されている。これは、破線がニードル影19に沿って描かれた下側の画像から、確認することができる。これが、他の2つの画像に比べて、本画像が時計回りに回転されている理由である。右の上側の図において、ニードル1は、全体が画像の面内にある。これは、垂直なスライス（すなわち、伝播方向に平行なスライス）の回転角度を制御することにより、行うことができる。

【0077】

従って、「ツール面区画」は、ツールの先端を含む平面であって、さらに超音波放射線の伝播の方向に平行なベクトル、およびツールの長手軸に平行なベクトルの両方を含む平面である。ツール面区画は、ツールと交差する。平面は、常にこれらの2次元ベクトルと交差するものとして定められる。従って、伝播の方向に平行な軸の回りで、画像面の位置および回転を制御することにより、ツールの全身軸方向が配置された、「ツール面区画」が形成される。ニードルは、2次元ベクトルにより明確に表される。ただし、本手法は、細長い全身軸を有する3次元ツールに対しても利用可能である。この細長い全身軸を「ツール面区画」に配置することにより、ツールは、できるだけ視認可能になる。

【0078】

また、ツール面区画を配置することにより、ニードルの区画を含む他の平面を配置することが可能となる。また、ツール面区画の配置に基づいて、ツール全体を含む画像の非平面区画が構築できる。

【0079】

図10には、一例としての3D体積の2D超音波画像面を示す。図において、ニードルは、超音波放射線の伝播方向に対して大きな角度で配置される。ニードルは、約45°の傾斜角度で挿入される。図に示すように、ニードルの視認性は低いものの、影19は、極めて強く、これを使用して、効率的かつ正確に、3D画像内にツール面区画を配置することができる。

【0080】

左側の画像の組は、3D容積の平面区画である。上側の画像は、超音波ビームの伝播方向に平行な断面であり、下側の画像は、超音波ビームの伝播方向に垂直な断面である。下側の断面は、画像では視認できないニードルの上部に配置される。左下側の画像の底部右における明るい白いラインは、柔らかい組織を表すことに留意する必要がある。患者の臨床超音波画像において、骨、脂肪性構造、神経、および血管のような、他の明るい構造物も存在する。

【0081】

画像の中心の組は、3D容積の断面である。上側の画像は、超音波ビームに平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。ここでは、影19が視認できる。

【0082】

右側の画像の組は、検出されたニードル区画面を示す。上側の画像は、超音波ビームに平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。

【0083】

図9の例に関し、上側画像の断面は、ニードルが完全に面内に入るように、配置、回転されている。これは、破線がニードル影19に沿って描かれている下側の画像から確認される。

【0084】

右側上部の画像において、今度はニードル1は、画像の平面において十分に視認できる。これは、垂直スライス（すなわち伝播方向に垂直なスライス）の位置および回転角度を制御することにより、行うことができる。

【0085】

図11には、画像プロセッサとしての機器11の別の例を示す。この例では、画像処理ユニット15は、第2のツール検出モジュール21を有し、これは、先端検出モジュール17と協働し、3D超音波容積における長軸ニードル面が効率的かつロバストに検出される。また第2のツール検出モジュール21は、図2の例にも示されている。ここでは、第2のモジュールは、図11からの例と同じ機能を実施するように配置される。

【0086】

先端ツール検出モジュールは、ツールの影を表す超音波画像の暗領域の容積を検査する。この方法は、大きな挿入角度の場合、最も有益であるが、小さな挿入角度でのツールの検出にも使用できる。従って、影に基づくツール検出は、いかなる挿入角度でのツールの検出にも適する。

【0087】

第2のモジュールは、ニードルが小さな角度で配向された際に、その3D外観に基づいて、ニードルを検出するように適合される。例えば、第2のモジュールは、強度および頻度（frequency）に基づくアルゴリズムを用いて、ツールを検出するように構成されてもよい。そのようなアルゴリズムは、例えば、H．H．M．Korsten，P．H．N．de With，and J．W．M．Bergmans，“医療用画像データにおけるニードル検出”2012、およびA．Pourtaherian，S．Zinger，P．H．N．de With，H．H．M．Korsten，N．Mihajlovic，“3次元超音波データ容積におけるGabor系ニードル検出およびトラッキング”Proc．IEEE Int．Conf．Image Processing(ICIP)，2014，pp．3602-6において検討されている。前述のように、影に基づく検出を使用して、任意の挿入角度のニードルを同定することができる。いずれかの方法により、ツール検出が可能な機器11を提供することにより、ノイズに対する高いロバスト性、および高い検出信頼性で、ツールを検出することができる。

【0088】

また機器11は制御器を有し、この制御器は、先端および第2のツール検出モジュールを制御して、それらの対応するツール検出手順を実行するように構成される。制御器は、画像処理ユニットを制御して、ツールが超音波画像データ内で視認されるかどうかを定めるように構成されてもよい。ツールが視認される場合、制御器は、第2のツール検出ユニットに指令を出し、第2のツール検出手順が実行されてもよい。ある例では、機器は、超音波画像を表示する表示ユニットを有する。画像処理ユニットがいったんツール面区画の配置を定めると、これは、表示ユニットに画像を伝送し、ツール面区画がユーザに可視化される。

【0089】

機器は、画像プロセッサであってもよい。あるいは、ある実施例では、機器は、超音波画像を形成する超音波結像システムを有し、画像処理ユニットは、超音波結像システムと通信し、3D超音波結像システムにより形成された超音波画像データを受信して、受信データに対して先端ツール検出手順を実行するように構成される。

【0090】

機器は、超音波放射線により結像され得るいかなる種類のツールに対しても、好適に使用されてもよい。例えば、金属ツールまたは反射性コーティングを有するツールがある。ツールは、例えば、ニードル、カテーテル、電極または腹腔鏡であってもよい。ツールの視認性にわたる角度範囲は、ツールの種類に依存してもよい。

【0091】

前述のように、画像処理は、制御器により実施されてもよい。制御器は、図8に示したようなコンピュータ30を有してもよい。

【0092】

コンピュータ30は、これに限られるものではないが、PC、ワークステーション、ラップトップ、PDA、掌（palm）装置、サーバ、ストレージ等を有する。通常、ハードウェアアーキテクチャに関し、コンピュータ30は、1または2以上のプロセッサ31、メモリ32’、およびローカルインターフェース（図示されていない）を介して通信可能に結合された、1または2以上のI/O装置33を有してもよい。ローカルインターフェースは、例えば、これに限られるものではないが、1もしくは2以上のバス、または従来から知られる他の有線もしくは無線の接続とすることができる。ローカルインターフェースは、制御器、バッファ（キャッシュ）、ドライバ、リピータ、および受信器のような、通信可能な追加の素子を有してもよい。また、ローカルインターフェースは、アドレス、制御、および／またはデータ接続を有し、前述の部材の間で、適切な通信が可能となってもよい。

【0093】

プロセッサ31は、メモリ32内に保管されたソフトウェアを実行するハードウェア装置である。プロセッサ31は、事実上、任意の特注のまたは市販のプロセッサ、中央処理ユニット（CPU）、デジタル信号プロセッサ（DSP）、またはコンピュータ30に関連するいくつかのプロセッサの中の補助プロセッサであり、プロセッサ31は、半導体系マイクロプロセッサ（マイクロチップの形態）、またはマイクロプロセッサであってもよい。

【0094】

メモリ32’は、揮発性メモリ素子（例えば、ダイナミックランダムアクセスメモリ（DRAM）、スタティックランダムアクセスメモリ（SRAM）のようなランダムアクセスメモリ（RAM））、および不揮発性メモリ素子（例えば、ROM、消去可能型プログラム化読み出し専用メモリ（EPROM）、電子的消去可能型プログラム化読み出し専用メモリ（EEPROM）、プログラム化読み取り専用メモリ（PROM）、テープ、コンパクトディスク読み取り専用メモリ（CD-ROM）、ディスク、ディスケット、カートリッジ、カセット等）の、いかなる1または2以上の組み合わせを有してもよい。また、メモリ32は、電子的、磁気的、光学的、および／または他の種類のストレージ媒体を内蔵してもよい。メモリ32は、各種部材が相互に遠隔に配置されているものの、プロセッサ31によるアクセスが可能な、分散アーキテクチャを有し得ることに留意する必要がある。

【0095】

メモリ32’内のソフトウェアは、1または2以上の分離ブログラムを有しても良く、各々は、ロジカル機能を実行するための、実行可能な指令の順序づけられたリストを有する。メモリ32内のソフトウェアは、一実施例による、好適なオペレーティングシステム（O/S）34、コンパイラ35、ソースコード36、および1または2以上のアプリケーション37を有する。

【0096】

アプリケーション37は、計算ユニット、ロジック、機能ユニット、プロセス、作動、バーチャルエンティティ、および／またはモジュールのような、多くの関数成分を有する。

【0097】

オペレーティングシステム34は、コンピュータプログラムの実行を制御し、スケジュリング、入力-出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御関連サービスを提供する。

【0098】

アプリケーション37は、ソースプログラム、実行プログラム（オブジェクトコード）、スクリプト、または被実行指令組を有する他の任意のエンティティであってもよい。ソースプログラムの場合、プログラムは、通常、（コンパイラ350のような）コンパイラ、アセンブラ、解釈プログラム等を介して翻訳される。これは、メモリ320に含まれても、含まれなくてもよく、オペレーティングシステム340とともに適切に協働される。また、アプリケーション37は、データのクラスおよび方法を有する、オブジェクト配向プログラム言語として、あるいはルーチン、サブルーチン、および／または機能を有する手順プログラム言語、例えば、これに限られるものではないが、C、C++、C#、Pascal、BASIC、API calls、HTML、XHTML、XML、ASPスクリプト、 JavaScript（登録商標）、FORTRAN、COBOL、Perl、Java（登録商標）、ADA、NETなどとして、記録される。

【0099】

I/O装置33は、例えば、これに限られるものではないが、マウス、キーボード、スキャナ、マイクロフォン、カメラなどのような入力装置を有してもよい。また、I/O装置33は、これに限られるものではないが、例えば、プリンタ、ディスプレイ等の出力装置を有してもよい。さらに、I/O装置33は、例えば、これに限られるものではないが、ネットワークインターフェース制御器（NIC）、または（遠隔装置、他のファイル、装置、システム、またはネットワークにアクセスする）モジュレータ／デモジュレータ、無線周波数（RF）もしくは他の送受信器、テレフォンインターフェース、ブリッジ、ルータ等の入力および出力の両方と通信する装置を有してもよい。また、I/O装置33は、インターネットまたはイントラネットのような、各種ネットワークにわたって通信する部材を有する。

【0100】

コンピュータ30が作動されると、プロセッサ31は、メモリ32’に保管されたソフトウェアを実行するように構成され、メモリ32’との間でデータが通信され、ソフトウェアに従って、コンピュータ30の作動が通常制御される。アプリケーション37およびオペレーティングシステム34は、おそらくプロセッサ310内にバッファ化されたプロセッサ31により、全体または一部が読み取られ、その後実行される。

【0101】

ソフトウェアにおいてアプリケーション37が実行される場合、アプリケーション37は、任意のコンピュータ可読媒体に事実上保管され、任意のコンピュータ関連システムもしくは方法により、またはこれに関連して使用されることに留意する必要がある。本願の明細書において、コンピュータ可読媒体は、コンピュータプログラムを保有し、あるいは保管することが可能な、電子的、磁気的、光学的、または他の物理的装置もしくは手段であってもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】