知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-20
(45)【発行日】2022-04-28
(54)【発明の名称】画像に基づく追跡と慣性プローブ追跡との結合
(51)【国際特許分類】
A61B 8/14 20060101AFI20220421BHJP
A61B 8/12 20060101ALI20220421BHJP
【ＦＩ】
A61B8/14
A61B8/12
【請求項の数】
12
(21)【出願番号】P 2020533852
(86)(22)【出願日】2018-12-11
(65)【公表番号】
(43)【公表日】2021-02-22
(86)【国際出願番号】 EP2018084255
(87)【国際公開番号】W WO2019121127
(87)【国際公開日】2019-06-27
【審査請求日】2021-10-12
(31)【優先権主張番号】62/607395
(32)【優先日】2017-12-19
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】メラル，ファイク ジャン
(72)【発明者】
【氏名】クリュッカー，ヨッヒェン
【審査官】冨永 昌彦
(56)【参考文献】
【文献】国際公開第２０１７／１３２３４５（ＷＯ，Ａ１）
【文献】特開２０１７－００６３７０（ＪＰ，Ａ）
【文献】特表２０１７－５３２１３１（ＪＰ，Ａ）
【文献】国際公開第２０１７／１０２７６１（ＷＯ，Ａ１）
【文献】国際公開第２００６／１２７１４２（ＷＯ，Ａ２）
【文献】米国特許第０６１２２５３８（ＵＳ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ － ８／１５
(57)【特許請求の範囲】
【請求項1】
拡張超音波画像プローブ追跡を備える超音波画像システムであって、画像平面上で連続画像フレームの画像データストリームを提供する超音波画像プローブと、
前記超音波画像プローブに固く固定され、慣性データストリームを提供する、慣性追跡ユニットと、
前記画像データストリーム及び前記慣性データストリームを受信し処理して、連続画像フレームの画像超音波プローブ姿勢を推定するリアルタイム姿勢推定ユニットであって、
連続画像フレームを初期画像フレームに位置合わせすることにより、前記画像データストリームからの前記連続画像フレームと前記初期画像フレームとの間の平面内平行移動及び回転を推定し、
前記初期画像フレームと前記位置合わせした連続画像フレームとをサブ平面のマトリクスに分割し、
スペックル非相関分析を用いて、各サブ平面について平面外距離を推定し、
前記慣性データストリームからの連続画像フレーム間の平面外回転を推定し、
平面外オフセットを変化させることにより前記推定した平面外回転を有する平面を繰り返し選択し、前記推定した平面外回転について各サブ平面及び前記選択した平面の動きを計算し、スペックル分析により計算したサブ平面距離と、慣性データから導出した回転及び選択した平面から計算した平面距離との間の差を計算し、全ての選択した平面について差の二乗平均根を最小化することにより、連続画像フレーム間の平面外平行移動を決定する、
ことを特徴とするリアルタイム姿勢推定ユニットと、
を含む超音波画像システム。
【請求項2】
前記慣性追跡ユニットは、３個の互いに直交する線形加速度センサと３個の互いに直交するジャイロスコープセンサとを有する慣性測定ユニットであり、前記慣性データストリームは、前記線形加速度センサからの線形加速度データ、前記ジャイロスコープセンサからの方向、又は両者の組み合わせを有する、請求項１に記載の超音波画像システム。
【請求項3】
前記リアルタイム姿勢推定ユニットは、ワークステーション内に実現される、請求項１に記載の超音波画像システム。
【請求項4】
前記ワークステーションは、適用ユニットであって、前記推定した超音波プローブ姿勢を適用して、画像ボリュームを有する各姿勢の画像データを融合して融合画像を生成し、前記融合画像をディスプレイ上に表示する適用ユニットを更に有する、請求項３に記載の超音波画像システム。
【請求項5】
超音波画像プローブ追跡を備える超音波画像システムの作動方法であって、前記超音波画像システムは、超音波画像プローブと、前記超音波画像プローブに固く固定された慣性追跡ユニットと、リアルタイム姿勢推定ユニットと、を含み、前記作動方法は、
前記リアルタイム姿勢推定ユニットが、前記超音波画像プローブからの連続画像フレームを有する画像データストリームと、前記慣性追跡ユニットからの慣性データストリームと、を受信し処理して、連続画像フレームの画像超音波プローブ姿勢を推定するステップを有し、以下：
連続画像フレームを初期画像フレームに位置合わせし、
前記画像データストリームからの前記連続画像フレームと前記初期画像フレームとの間の平面内平行移動と回転とを推定し、
前記初期画像フレーム及び前記位置合わせした連続画像フレームを、サブ平面のマトリクスに分割し、
スペックル非相関分析を用いて、各サブ平面について平面外距離を推定し、
前記慣性データストリームから回転の平面外角度を推定し、
平面外オフセットを変化させることにより前記推定した平面外回転を有する平面を繰り返し選択し、前記推定した平面外回転の各サブ平面及び前記選択した平面の動きを計算し、スペックル分析により計算したサブ平面距離と、慣性データから導出した回転及び選択した平面から計算した平面距離との間の差を計算し、全ての選択した平面についての差の二乗平均根を最小化することにより、連続画像フレーム間の平面外平行移動を決定する、
ことを特徴とする方法。
【請求項6】
前記リアルタイム姿勢推定ユニットが、差の最小二乗平均根を有する平面を最終姿勢推定として指定するステップと、前記リアルタイム姿勢推定ユニットが、前記最終姿勢推定を適用して、画像化手順の間に表示するために連続画像を融合するステップと、
を更に有する請求項５に記載の方法。
【請求項7】
拡張超音波画像プローブ追跡を備える超音波画像システムであって、連続画像平面の画像データストリームを提供する超音波画像プローブと、
前記超音波画像プローブに固く固定され、慣性データストリームを提供する慣性追跡ユニットであって、前記慣性追跡ユニットは、３個の互いに直交する軸について加速度及び回転速度を測定する、慣性追跡ユニットと、
前記画像データストリーム及び前記慣性データストリームを受信し及び処理して、超音波プローブ姿勢を推定するリアルタイム姿勢推定ユニットであって、
前記画像データストリームを用いて、平面内回転角度を推定し、
前記慣性データストリームを用いて慣性追跡を実行し、前記画像データストリームから推定した前記平面内回転角度を前記慣性データストリームを用いて推定した回転角度の代わりに用いる、
ことを特徴とするリアルタイム姿勢推定ユニットと、
を有する超音波画像システム。
【請求項8】
前記慣性追跡ユニットは、３個の互いに直交する線形加速度センサと３個の互いに直交するジャイロスコープセンサとを有する慣性測定ユニットであり、前記慣性データストリームは、前記線形加速度センサからの加速度データと、前記ジャイロスコープセンサからの回転速度と、を有する、請求項７に記載の超音波画像システム。
【請求項9】
前記リアルタイム姿勢推定ユニットは、ワークステーション内に実現される、請求項７に記載の超音波画像システム。
【請求項10】
前記ワークステーションは、適用ユニットであって、前記推定した超音波プローブ姿勢を適用して、画像ボリュームを有する各姿勢の画像データを融合して融合画像を生成し、前記融合画像をディスプレイ上に表示する適用ユニットを更に有する、請求項９に記載の超音波画像システム。
【請求項11】
超音波画像プローブ追跡を備える超音波画像システムの作動方法であって、前記超音波画像システムは、超音波画像プローブと、前記超音波画像プローブに固く固定された慣性追跡ユニットと、リアルタイム姿勢推定ユニットと、を含み、前記作動方法は、
前前記リアルタイム姿勢推定ユニットが、記超音波画像プローブからの連像画像平面を有する画像データストリームと、前記慣性追跡ユニットからの慣性データストリームと、を受信するステップを有し、以下：
前記画像データストリームを用いて、平面内回転角度を推定し、
前記慣性データストリームを用いて慣性追跡を実行し、前記画像データストリームから推定した前記平面内回転角度を前記慣性データストリームを用いて推定した回転角度の代わりに用いる、
ことを特徴とする方法。
【請求項12】
前記画像データストリームから推定した前記回転角度は、補間により慣性センサデータサンプリングレートに適合させるために、アップサンプリングされる、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波プローブ追跡の分野に関し、特に、統合された画像に基づく及び慣性追跡データを用いる超音波プローブ追跡に関する。
【背景技術】
【0002】
医療手順では、医療装置の空間位置及び方向（つまり「姿勢」）に関するリアルタイム情報が必要なことがある。標準的に、このような情報は、光学、電磁気、又は超音波追跡システムを用いて取得される。このようなシステムは、高価であり、有意な設定時間及び努力を要することがある。幾つかの手順では、追跡されるべき装置は、画像装置（例えば、超音波プローブ）であり、装置位置追跡の精度についての要件はあまり厳重ではなく、いかなる誤りも容易に認識されオペレータにより相互作用的に修正できる。このような手順の一例は、超音波誘導前立腺生検、特にPhilips Invivo UroNav（登録商標）システムを用いる超音波ＭＲＩ融合生検である。このような手順では、容易に設定され手順の適度の精度要件を満たす低コストの空間追跡システム及び方法を使用することが望ましい。
【0003】
超音波画像に基づく追跡方法は、従来知られている。超音波に基づく追跡の説明は、Housden, R. J.他 “Sensorless reconstruction of unconstrained freehand ３D ultrasounddata”, Ultrasound in Medicine and Biology ３３(３), ４０８－４１９ (２００７)に見られる。
【0004】
超音波画像に基づく追跡方法は、画像面内の平面内動き（画像ｘ及び画像ｙ内の平行移動、及び画像面に垂直な軸の周りの回転）、並びに画像面外の動きを推定するために使用できる。平面内推定は、画像位置合わせ（registration）の問題と同じである。平面外動き推定は、より複雑なスペックル非相関方法を使用する。本方法では、２つの画像館の平面外距離は、知られているフレーム間隔を有する前に取得した画像セットからの較正に基づき推定できる。
【0005】
ＭＥＭＳ（Micro electro－mechanical）慣性追跡センサ（３軸加速度計及び３軸ジャイロスコープの部品）又は慣性測定ユニット（inertial measurement unit：IMU）が近年出現した。これらは、極めて低コストで大量生産でき、ミリｇ（つまり、１０mm/s２）程度の精度レベル、及び時間当たり数度の回転の安定性に達している。
【0006】
超音波プローブ追跡及び超音波画像のボリューム再構成のためにジャイロスコープ及び加速度計センサ（慣性測定ユニット又はＩＭＵセンサ、又はＭＥＭＳ）を使用することは魅力的である。しかしながら、これらの慣性センサに関連するバイアス及びノイズは、それらの精度を制限する。ＩＭＵセンサ及び基準としての重力加速度を使用するセンサ融合方法は、姿勢推定について有意な向上を実証している。しかしながら、これらの方法は、地磁場のような信頼できる２次基準の欠如により、劣決定され（underdetermined）。これは、大きな歪みのために、屋内又は臨床環境における基準として使用するための理想的な候補ではない。
【0007】
超音波画像に基づく追跡の、超音波プローブに取り付けられた慣性センサ（ＩＭＵ、ジャイロスコープ、ＭＥＭＳ）との結合は、「低コスト追跡」のために、つまり電磁気（electromagnetic：EM）追跡のようなプローブ位置の空間位置特定のために、従来の追跡方法より遙かに低いコストで使用可能である。
【発明の概要】
【0008】
画像に基づく追跡は、特に平面外方向では、フリーハンド走査で複雑になる。この場合、プローブの動きは、６軸の自由度（degrees of freedom：DOF）、つまり３つの平行移動と３つの回転を有し得る。これらの複雑な走査の幾何学形状は、不正確且つ信頼できない追跡性能をもたらす。画像に基づく追跡に伴う最も困難な問題のうちの１つは、未確定である非相関に基づく距離推定の方向性（つまり、現在画像平面の「前」又は「後ろ」に向かう平面外動き）に関連する。平面外方向性の問題の特に複雑なケースは、２つの画像平面が、初期画像平面を通過する初期画像平面に対する最終画像平面の回転軸と交差するときに生じる。
【0009】
本発明の第１の実施形態の第１の態様によると、拡張超音波画像プローブ追跡を有する超音波画像システムが提供される。超音波画像システムは、連続画像フレームの画像データストリームを提供する超音波画像プローブと、超音波プローブに堅く固定され、慣性センサデータストリームを提供する慣性追跡ユニットと、画像データストリーム及び慣性データストリームを受信し及び処理して、連続画像フレームについて超音波プローブ姿勢を推定するリアルタイム姿勢推定ユニットと、を含む。超音波プローブ姿勢を推定するために、姿勢推定ユニットは、初期画像フレームと連続画像フレームとの間の平面内位置合わせを計算して、画像データから平面内平行移動及び平面内回転を決定し、初期画像フレーム及び位置合わせした連続画像フレームをサブ平面のマトリクスに分割し、スペックル非相関分析を用いて各サブ平面について平面外絶対距離を推定し、慣性データから平面外回転を推定し、平面外オフセットを変化することにより推定した平面外回転を有する平面を繰り返し選択し、推定した平面外回転の各サブ平面及び選択した平面の動きを計算し、スペックル分析により計算したサブ平面絶対距離と慣性データから導出した回転及び選択した平面から計算した絶対距離との間の差を計算し、全ての選択した平面について差の平均平方根を最小化する。
【0010】
好適な一実施形態では、慣性追跡ユニットは、３個の互いに直交する角加速度センサと３個の互いに直交するジャイロスコープセンサとを有する慣性測定ユニット（ＩＭＵ）であり、慣性データストリームは、加速度センサからの角加速度データと、ジャイロスコープセンサからの方向と、を有する。
【0011】
好適な一実施形態では、姿勢推定ユニットはワークステーション内に実現される。
【0012】
ワークステーションは、適用ユニットであって、推定した超音波プローブ姿勢を適用して、画像ボリュームを有する各姿勢の画像データを融合して融合画像を生成し、融合画像をディスプレイ上に表示する適用ユニットを更に有してよい。別の態様によると、超音波画像プローブを追跡する方法が提供される。方法は、連続画像フレームを有する画像データストリームを超音波プローブから、及び慣性センサデータストリームを超音波画像プローブに堅く取り付けられた慣性センサユニットから受信するステップと、初期画像フレームと連続画像フレームとの間の平面内位置合わせを計算して、画像データから平面内平行移動及び平面内回転を決定するステップと、初期画像フレーム及び位置合わせした連続画像フレームをサブ平面のマトリクスに分割するステップと、スペックル非相関分析を用いて各サブ平面について平面外絶対距離を推定するステップと、慣性データから平面外回転を推定するステップと、平面外オフセットを変化することにより推定した平面外回転を有する平面を繰り返し選択し、推定した平面外回転の各サブ平面及び選択した平面の動きを計算し、スペックル分析により計算したサブ平面絶対距離と慣性データから導出した回転及び選択した平面から計算した絶対距離との間の差を計算し、全ての選択した平面について差の平均平方根を最小化するステップと、を有する。
【0013】
方法の好適な一実施形態では、差の最小二乗平均根を有する平面を最終姿勢推定として指定するステップと、最終姿勢を適用して、画像化手順の間に表示するために連続画像を融合するステップと、を更に有する。
【0014】
慣性センサ融合アルゴリズムは、重力及び地磁場を基準として使用して、ジャイロスコープ角度のドリフトを考慮する。しかしながら、地磁場は、屋内用途又は臨床的設定にとっては信頼できる基準ではない。これらのアルゴリズムは、グローバルナビゲーション及び航空用途のために設計された。屋内臨床設定では、近くの金属物体及びそれらの自体の電磁場を有する電子装置は地磁場をゆがませる。その結果、基準として使用するために信頼できない。重力は、依然として画像オブジェクトのピッチ及びロール回転のための有用な基準を提供する。水平面における基準が欠如すると、画像プローブの正確な姿勢を取得するには、重力だけでは十分ではない。センサバイアスの蓄積は、次に、長期のデータ取得期間にわたり、垂直軸の周りの有意なドリフトを生じ得る。慣性センサが、超音波画像プローブのような画像装置に取り付けられる場合、画像に基づく追跡からのロバストな情報、特に画像平面内の回転が、センサ融合の前に、対応する慣性（ジャイロスコープ）データのために代用できる。これは、融合後のより正確な推定をもたらす。
【0015】
本発明の別の実施形態によると、拡張された超音波画像プローブ追跡を有する別の超音波画像システムが提供される。この超音波画像システムは、連続画像平面の画像データストリームを提供する超音波画像プローブと、超音波プローブに堅く固定され、慣性センサデータストリームを提供する慣性追跡ユニットと、３つの相互に直交する軸の角加速度及びチルトを測定する慣性追跡ユニットと、画像データストリーム及び慣性データストリームを受信し及び処理して、超音波プローブ姿勢を推定するリアルタイム姿勢推定ユニットと、を含む。姿勢推定ユニットは、超音波画像データストリームを用いて平面内回転角度を推定し、慣性追跡データストリームを用いて慣性追跡を実行し、超音波画像データストリームから推定した平面回転角度を慣性データストリームを用いて推定した回転角度の代わりに用いることにより、超音波プローブ姿勢を推定する。
【0016】
好適な一実施形態では、慣性追跡ユニットは、３個の互いに直交する線形加速度センサと３個の互いに直交するジャイロスコープセンサとを有する慣性測定ユニット（ＩＭＵ）であり、慣性データストリームは、加速度センサからの角加速度データと、ジャイロスコープセンサからの方向と、を有する。
【0017】
好適な一実施形態では、姿勢推定ユニットはワークステーション内に実現される。ワークステーションは、適用ユニットであって、推定した超音波プローブ姿勢を適用して、画像ボリュームを有する各姿勢の画像データを融合して融合画像を生成し、融合画像をディスプレイ上に表示する適用ユニットを更に有してよい。
【0018】
別の態様によると、超音波画像プローブを追跡する方法が提供される。方法は、超音波プローブからの連像画像平面を有する画像データストリームと、慣性センサユニットからの慣性データストリームと、を受信するステップと、超音波画像データストリームを用いて、平面内回転角度を推定するステップと、慣性追跡データストリームを用いて慣性追跡を実行し、超音波画像データストリームから推定した平面回転角度を慣性データストリームを用いて推定した回転角度の代わりに用いるステップと、を含む。
【0019】
好適な一実施形態によると、超音波画像データから推定した回転角度は、補間により慣性センサデータサンプリングレートに一致するよう、アップサンプリングされる。
【図面の簡単な説明】
【0020】
本発明の特徴及び利点は、添付の図面と関連して読むとき、好適な実施形態の以下の詳細な説明から一層明確に理解される。図面には以下の図が含まれる。
【0021】
【図1】本発明の一実施形態に従う超音波システムのブロック図である。
【0022】
【図2】本発明の一実施形態に従う姿勢推定及び適用ユニットを組み込むワークステーションのブロック図である。
【0023】
【図3】本発明の一実施形態に従う、画像平面シーケンスの平面外回転、及びサブ平面の生成を示す図である。
【0024】
【図4】実際の平面外回転と非拡張スペックル非相関を用いて推定した平面外回転との間の差を示す図である。
【0025】
【図5】画像平面が交差し及び回転軸が初期画像平面を通じて伸びる画像平面の、実際の初期姿勢及び最終姿勢を示す図である。
【0026】
【0027】
【図7】本発明の一実施形態に従う、画像平面が交差し及び回転軸が初期画像平面を通じて伸びる画像平面の初期姿勢、及び慣性センサデータを用いて決定した平面外回転角度を有する可能性のある最終姿勢のシリーズを示す図である。
【0028】
【図8】本発明の一実施形態に従う、最終姿勢を最適化するために慣性データを用いる画像に基づく追跡の方法のフロー図である。
【0029】
【図9】本発明の一実施形態に従う、Ｚｓｅｎｓｏｒ軸の周りを回転する超音波画像プローブ、及び関連する平面内回転を示す図である。
【0030】
【図10】画像に基づく追跡により及び慣性センサ追跡により決定された画像の平面相回転角度のプロットである。
【0031】
【図11】３つのオイラー角の３つのセットを示すプロットであり、各オイラー角について以下を表す曲線が与えられる：（１）３つの回転を推定するために慣性センサを用いる追跡、（２）ジャイロスコープｚ軸測定値を、本発明の一実施形態による画像に基づく平面内回転で代用することによる、慣性を用いる追跡及び画像に基づく追跡、（３）グラウンドトゥルースＥＭ追跡。
【0032】
【図12】ＥＭ追跡と比較した、慣性追跡を用いる超音波画像位置のワイヤフレーム再構成の画像である。
【0033】
【図13】ＥＭ追跡と比較した、本発明の一実施形態に従う、２つの軸の慣性追跡及び平面内回転の画像に基づく追跡を使用するワイヤフレーム再構成の画像である。
【0034】
【図14】画像に基づく平面内回転角度がジャイロスコープ軸のうちの１つからの測定値を置換している、慣性センサを用いる追跡の方法のフロー図である。
【発明を実施するための形態】
【0035】
図１は、本発明の一実施形態による、拡張超音波画像プローブ追跡を有する超音波画像システムを示す。ハンドヘルド超音波画像プローブ１０は、従来知られているように超音波画像平面６０の２Ｄ走査を実行するトランスデューサである超音波スキャナ１２を有する。連続超音波画像平面のシーケンスを生成するために、動きが超音波画像プローブ１０に適用される。これらの連続画像平面又は「フレーム」は、超音波画像プローブにより画像データストリーム２として送信される。
【0036】
慣性追跡センサ２０は、超音波画像プローブ１０に固く固定される。慣性追跡センサは、いかなる適切な固定技術（例えば、結合する、機械的締め付け具、ストラップ、プローブに統合的に埋め込まれる、等）を用いて固定されてよい。望ましくは、慣性追跡センサは、線形加速度及び傾き／回転の両方を測定可能な、慣性測定ユニット（inertial measurement unit：IMU）又は微小電子機械システム（micro electro－mechanical system：MEMS）ナビゲーションセンサであってよい。互いに直交する軸の周りの回転角度を有する慣性センサデータストリーム１は、慣性センサ２０により送信される。
【0037】
好適な一実施形態では、慣性追跡センサ２０は、センサ軸が超音波画像プローブの画像軸と揃えられるように、固定される。代替として、慣性追跡センサ２０の軸は、追跡の前に、画像軸に較正され得る。
【0038】
超音波画像プローブ１０及び慣性追跡センサ２０は、姿勢推定ユニット３２に動作可能に接続される。姿勢推定ユニットは、Philips Invivo UroNav（登録商標）システムのようなワークステーション３０と統合されてよい。ここで、図２に示すように、姿勢推定ユニット３２は、ワークステーション３０内のプロセッサ３５上で実行されるソフトウェアで実現される。代替として、姿勢推定ユニット３２は、ファームウェア、統合ソフトウェア、又は従来知られている遠隔に格納された若しくはいかなる他の適切な構成のソフトウェアプログラムを実行するスタンドアロン形プロセッサ、で実現されてよい。
【0039】
超音波画像プローブ１０及び慣性追跡センサ２０の姿勢推定ユニット３２との動作可能な結合は、センサデータを伝送するイーサネットケーブルのような物理ケーブル及び関連するコネクタであってよいインタフェース３１を通じて実現される。代替として、インタフェース３１は、超音波画像データ及び慣性センサデータを、ＲＦ、ＩＲ、又は他の無線通信技術を用いて無線で送信するよう構成されてよい。
【0040】
姿勢推定ユニット３２は、画像データストリーム２を用いて、初期画像フレームに対する、画像データストリームからの連続又は最終画像フレームの平面内動きを推定する。平面内動き推定は、従来知られているように、連続画像フレームを初期画像フレームに位置合わせする（registering）ことにより実行される。初期画像フレーム及び位置合わせされた連続画像フレームは、次に、従来知られているように、サブ平面のマトリクスに分割される。絶対平面外距離は、従来知られているように、スペックル非相関（speckle decorrelation）を用いて各サブ平面について推定される。
【0041】
姿勢推定ユニットは、平面内動き推定及び平面外距離推定と並列して、慣性センサデータからの平面外回転角度を推定する。
【0042】
次に、姿勢推定ユニットは、連続画像フレーム間の平面外平行移動を、平面外オフセットを変化させることにより推定した平面外回転を有する平面を繰り返し選択することにより、決定する。平面外オフセットは、平面外平行移動の推定である。次に、姿勢推定ユニットは、推定した平面外回転及び選択した平面について、各サブ平面の動きを計算し、スペックル分析により計算したサブ平面絶対距離と回転及び選択した平面から導出した慣性データから計算した距離との間の差を計算する。最後に、姿勢推定ユニットは、差の平均二乗根を全部の選択した平面について最小化する。
【0043】
本発明の例示的な一実施形態によると、適用ユニット３４は、画像フレームのシーケンスの姿勢を使用して、画像平面内の画像データを適用して、画像化手順を実行する。例えば、姿勢は、従来知られているようにディスプレイ３６上で提示するために、画像データを画像空間の３Ｄモデルと融合するために使用できる。代替として、姿勢は、従来知られているようにディスプレイ３６上の超音波画像上に見えない特徴に位置合わせされた画像データを提供するために使用できる。
【0044】
本発明の一実施形態によると、姿勢推定ユニット３２は、画像に基づく追跡データ２及び慣性センサデータ１を受信し、画像に基づく追跡データからの画像平面シーケンスに対して姿勢推定を実行する。ここで、画像平面は交差し、初期画像平面の周りの最終画像平面の回転軸は、初期画像平面を通過する。
【0045】
図３及び４を参照すると、超音波画像データからの初期画像平面ＩＩＰが示される。初期画像平面は、図３にサブ平面ＳＰ１１～ＳＰ３３として示される、サブ平面の（ｎ×ｍ）マトリクスに分割できる。個々のサブ平面の回転軸（axis of rotation：AOR）の周りの平面外動きは、距離Ｄ１１～Ｄ３３として示される。ここで、回転軸の左側の距離Ｄ１１、Ｄ１２、Ｄ２１、Ｄ２２、及びＤ３１は、紙面の中に（画像面の裏側へ）向かい、回転軸の右側の距離は紙面から（画像面の前へ）出てくる。図３に示すように、画像プローブ１０が初期画像面を通過して軸の周りに回転されると、サブ平面の距離又は変位は、異なる方向である。スペックル非相関分析のために得られた距離推定は、しかしながら、方向性がない。これらの種類の回転は、回転軸が初期が象面を通過し、臨床的に共通であり、例えば「軸上」から「矢状（sagittal）」に視野を変更するとき必須である。この場合、全体画像平面の平面外動きの単一の方向を発見することに依存する方法は、平面の部分が一方向に動き、平面の他の部分が反対方向に動いているので、機能しない。
【0046】
図４の１次元の画像平面ＩＩＰを見ると、平面ＩＩＰは、初期画像平面上のピボット点の周りを回転角ＲＯＴだけ回転される。その結果、幾つかの距離Ｄ１、Ｄ３は上方向又は正の方向であり、幾つかの距離Ｄ４～Ｄ６は反対の下方向または負の方向である。回転のピボット点はこの簡略化した図では平面上に示されるが、当業者は、回転軸が標準的にその全長に沿って初期画像面上にないことを理解する。スペックル分解分析は、しかしながら、全ての距離が正であると仮定する。したがって、正の動きＤ１～Ｄ３の推定された距離は、実際の距離と同じであるが、反対方向Ｄ４Ｅ～Ｄ６Ｅの動きの推定された距離は実際の距離と同じではない。
【0047】
回転軸ＡＯＲが初期画像平面を通過する又は交差するとき、姿勢のペアの中で最終姿勢をより正確に推定するために、本発明の一実施形態は、超音波プローブ１０に固く取り付けられた慣性センサ２０からのデータを使用して、以下のように画像に基づく追跡を拡張する。
【0048】
初期画像平面ＩＩＰ上の画像関心領域（region of interest：ROI）は、画像の異なる位置における平面外動きを推定するために、複数のサブ画像又はサブ平面ＳＰ１１～ＳＰ３３に分割される。絶対距離は、スペックル非相関を用いて、各サブ平面について推定される。最終平面の推定された傾きの平面は、方向性を繰り返し割り当てられるサブ平面ＳＰ１１～ＳＰ３３からのこれらの個々の推定に適合される。
【0049】
この平面適合の間、回転軸ＡＯＲが導入される。ここで、回転軸の片側は、回転軸の他方の側に関して反対の平面外変位方向を有する。回転軸は、知られている傾きを有するが、初期画像平面との交差点は分からない。この平面適合の間に計算されるＲＭＳ誤りは、回転軸との最良の適合を得るために最小化される。
【0050】
本発明の一実施形態によると、姿勢推定ユニット３２は、画像データストリーム２及び慣性センサデータストリーム１を同時に処理する。画像に基づく追跡処理は、最後のｉ個の画像フレームをメモリ３３にバッファリングし、平面内及び平面外動き推定のために、これらの画像フレームを処理する。望ましくは、ｉは１０より小さく、例えばｉ＝８である。平面内追跡は、最後のＩ個のフレームの間で実行される。次に、ログデコンプレッション（log decompression）及びスペックルフィルタが適用されて、非鏡面反射体から画像領域をマスクする。
【0051】
前のｉ－１個のフレームの各々は、ｉ番目のフレームに関して揃えられる。つまり、フレームは互いに位置合わせされる。２つの連続するフレームは、最適化により互いに位置合わせされる。ここで、目的は、基準フレーム（例えば、フレーム１）と変換されたテンプレートフレーム（例えば、フレーム２）との間の差を最小化すること、rigid、affine、elasticであり得る変換Ｔを受けること、等である。変換行列のパラメータは、いかなる非線形ソルバを用いて繰り返し解くことができる。この位置合わせは、初期画像フレームに対する連続画像フレームの平面内平行移動及び平面内回転を提供する。
【0052】
非相関計算は、ｉ番目のフレームとｉ－ｊ個のフレーム対との間で実行され、ここで（ｊ＝１、．．．、（ｉ－１））。非相関計算は、サブ画像（つまりサブ平面）の（ｍ×ｎ）行列の各サブ画像に対して実行される。サブ画像は、各画像平面内で重なり合い又は重なり合わなくてよい。
【0053】
変位（又は平面外距離）推定は、知られているフレーム間隔で取得された前に得られた較正走査に基づき行われる。較正走査は、位置決め台に画像プローブを取り付け、新しい画像フレームが取得される各位置において、知られている増分、例えば０．１ｍｍで移動することにより、実行される。較正画像は、また、複数のサブ画像に分割され、それらの間の非相関が計算される。Ｎ個のフレームのセットについて、Ｎ－１ １ｌａｇ非相関、Ｎ－２ ２ｌａｇ非相関、等が計算される。ｎ－ｌａｇ非相関のうちの全部が、フレーム間隔に関してガウス較正曲線を定めるために使用される。
【0054】
知られている平面適合最適化方法は、画像に基づく追跡にだけ依存する。結果として、平面適合最適化は不正確である。本発明の実施形態では、平面外平行移動は、慣性追跡からの知られている角度姿勢と共に、繰り返し推測される。回転軸も、繰り返し推測される。次に、回転軸の片側（左側）のサブ平面の変位は正であると推定され、回転軸の反対側のサブ平面上の変位は、負であると推定される。スペックル非相関分析に基づき計算された平面と比べて、最小ＲＭＳ差を有する平面外動き候補、及び繰り返し割り当てられた方向性が、選び取られる。
【0055】
図５及び６を参照すると、初期画像姿勢ＩＩＰ及び最終画像姿勢は、図５に示すように交差する。図６に示す画像に基づく追跡データにのみ基づく推定された最終画像姿勢ＥＦＩＰは、不正確である。最終画像平面（姿勢）が分からない場合、画像に基づく追跡のみを使用する最適化方法では、最適化は、３度の自由度問題である（２つの平面外回転、及び１つの平面外平行移動）。この問題は、計算上高価であり、あまりロバストではない。
【0056】
本発明の一実施形態では、最終画像平面ＦＩＰの傾きは、慣性センサデータを通じて分かる。特に、超音波プローブに固く取り付けられた慣性センサからの特定のジャイロスコープ測定値は、超音波プローブの方向、及び超音波プローブに垂直な画像平面を計算するために使用される。これは、最適化を１度の自由度の問題にまで低減し、平面外平行移動を決定する（つまり、知られている回転角を有する平行な平面のシリーズのうちの１つを決定する）。
【0057】
画像平面の姿勢は、各サブ平面について、個々の絶対平面外変位Ｄ１１～Ｄ３３に平面を適合させることにより、推定される。最終画像平面ＦＩＰの勾配（平面外回転角）は知られている。回転軸と初期画像面との区切り（intercept）は、平面外平行移動の関数であり、反復的に解かれる。最小ＲＭＳ誤りを有する最終画像平面ＦＩＰは、平面外平行移動を定め、画像に基づく平面内平行移動及び平面内回転並びに慣性センサに基づく平面外回転角と一緒に使用されて、最終姿勢を定める。
【0058】
本発明の実施形態によると、姿勢推定ユニット３２からの姿勢推定は、適用ユニット３４に提供される。適用ユニットは、姿勢推定を適用して、画像化手順の間に使用するために、ディスプレイ３６において画像を提供する。例えば、適用ユニット３４は、姿勢推定を使用して、予め取得されたＸ線走査などのように、画像データ２からの２Ｄ画像フレームを３Ｄ画像ボリュームへと融合してよい。
【0059】
代替として、これらの姿勢推定は、関心領域、例えば前立腺、胸部、等の３Ｄボリュームデータセットを再構成するために使用できる。現在のUronav製品と同様の方法で、３Ｄ前立腺ボリュームは、電磁気ＥＭ追跡を通じて取得された姿勢情報を用いて生成される。
【0060】
図８を参照して、本発明の一実施形態による超音波画像プローブを追跡する方法が説明される。姿勢推定ユニット３２は、連続画像平面を有する画像データストリーム２を超音波プローブ１０から、慣性データストリーム１を慣性センサユニット２０から、受信する（ステップ１０１）。
【0061】
平面内平行移動及び平面内回転は、姿勢推定ユニットにより、画像データから推定される（ステップ１０２）。これらの平面内の動きは、従来知られているように、画像位置合わせ（registration）を用いて推定される。
【0062】
姿勢推定ユニット３２は、画像データストリームの初期画像フレーム、及び画像データストリームの連続又は最終画像フレームを、サブ画像又はサブ平面ＳＰ１１～ＳＰ３３のマトリクスに分割する（ステップ１０３）。次に、姿勢推定ユニット３２は、各サブ平面について、画像データストリームのスペックル非相関分析を用いて、絶対平面外距離を推定し、絶対平面外距離に方向性を反復的に割り当てることにより、平面外距離を推定する（ステップ１０４）。
【0063】
画像平面をサブ平面に分割し及び平面外距離を推定するのと同時に、姿勢推定ユニット３２は、慣性データストリームからの連続又は最終画像フレームの平面外回転角を推定し（ステップ１０５）、回転軸から最終平面の傾きを計算する（ステップ１０６）。
【0064】
回転軸の傾きは、図９の角度に関して定められる。プローブがＹセンサの周りにのみ回転される場合、対応するＡＯＲは０度である。Ｚセンサの周りの回転は、ＡＯＲの傾きを定める（つまり、ｔａｎ（χ）、ここでχはＺセンサにより測定される回転角である）。
【0065】
次に、姿勢推定ユニット３２は、連続画像フレーム間の平面外平行移動を、平面外オフセットを変化させることにより推定した平面外回転を有する平面を繰り返し選択することにより、決定する。平面外オフセットは、平面外平行移動の推定である。次に、姿勢推定ユニットは、推定した平面外回転及び選択した平面について、各サブ平面の動きを計算し、スペックル分析により計算したサブ平面絶対距離と回転及び選択した平面から導出した慣性データから計算した距離との間の差を計算する。最後に、姿勢推定ユニットは、差の平均二乗根を全部の選択した平面について最小化する。
【0066】
この平面外平行移動は、画像データから推定された平面内平行移動及び平面内回転、並びに、慣性センサデータから推定された平面外回転角と結合されて、初期画像フレームに対する連続又は最終画像フレームについての姿勢を提供する。
【0067】
本発明の別の実施形態によると、慣性センサ２０は、超音波プローブ１０に固く固定され、超音波プローブ及びセンサの両者は、姿勢推定ユニット３２に動作可能に取り付けられて、それぞれ図１に示されるように慣性データ及び画像データを提供する。
【0068】
本実施形態では、超音波プローブは、画像データを用いてえ推定され慣性データに代入された平面内回転角Θを有する慣性データを用いて追跡される。慣性センサ２０は、画像平面に関していかなる相対位置において、超音波プローブ１０に固定され得る。しかしながら、以下の説明の目的のため、画像軸ｘｉｍａｇｅ及びｙｉｍａｇｅがセンサ軸ｘｓｅｎｓｏｒ及びｙｓｅｎｓｏｒに平行である場合が検討される。
【0069】
画像データ２及び慣性センサデータ１の両者は、姿勢推定ユニット３２へ送信される。画像データは、連続画像フレーム又は２Ｄ超音波画像平面のストリームを有する。画像フレームは、平面内平行移動及び回転を計算するために、互いに関して位置合わせされる。
【0070】
図９～１４を参照すると、画像データ２は、姿勢推定ユニット３２により、連続画像又は画像フレームのストリームとして受信される。これらの画像フレームは、フレームｋとｋ－１との間の平面内平行移動Δｘｉｍａｇｅ及びΔｙｉｍａｇｅ並びに平面内回転ΔΘを計算するために、互いに関して位置合わせされる。従来知られているいかなる位置合わせ方法が、連続画像フレームを位置合わせするために使用されてよい。また、rigid、affine、又はelasticのような、媒体のいかなる変形可能性前提が本発明と共に使用されてよい。フレームｋとｋ－１との間の画像回転ΔΘが画像データから取得されると、画像回転は、慣性センサデータからのセンサのＺ軸の周りの回転を置き換えるために使用される。センサのＺ軸の周りの回転は、平行軸の想定される場合では、画像のＺ軸の周りの慣性回転でもある。
【0071】
本実施形態では、慣性センサ２０は、ジャイロスコープ及び加速度計（ＩＭＵ又はＭＥＭＳ）を有する。標準的に、慣性センサは、約１００Ｈｚの取得レートを有し、一方、画像取得レートは約２０Ｈｚである。ジャイロスコープデータは、画像データが利用可能になるまで、バッファリングされる。慣性センサのサンプリングレートが高いほど、センサ融合アルゴリズムの性能を向上するので、既存のジャイロスコープ及び加速度計データを画像フレームレートにダウンサンプリングする代わりに、超音波画像から取得された回転角データが、慣性センササンプリングレートへとアップサンプリングされる。画像に基づくΔΘが計算され利用可能になると、それは、慣性センササンプリングインスタンスの間の対応するｄΘを推定するために、補間される。代用の角速度は、次に、ωｉｍａｇｅ＝ｄΘ／ｄｔとして計算される。図１０は、画像に基づく計算の蓄積２０１に対する、ジャイロスコープデータ１０の直接統合から計算された角度位置２０２を示す。ジャイロスコープ曲線２０２は画像に基づく角度２０１から次第に離れて行くので、ジャイロスコープのバイアスは積分後に明らかになる。
【0072】
代用角Θ（画像データから計算された平面内回転）は、次に、画像平面姿勢を推定するために、融合アルゴリズムで使用される。図１１に、融合アルゴリズムの結果を示す。ジャイロスコープデータを部分的に置き換えるために画像情報を用いる曲線（実線として示される本実施形態）２１１ａ、２１２ａ、２３１ａは、ジャイロスコープデータのみを使用する曲線（点線）２１１ｃ、２１２ｃ、２１３ｃ、及び電磁追跡からのグランドトルース曲線（破線）２１１ｂ、２１２ｂ、２１３ｂと共に示される。図１１に示すように、超音波画像データからの平面内角度がジャイロスコープデータからの１つの回転軸の代わりに使用されるとき、オイラー角の追跡は、グランドトルースＥＭに基づくオイラー角により近付く。
【0073】
本実施形態では、平面内回転角についての画像に基づく推定を用いる姿勢推定は、適用ユニット３４に提供される。適用ユニットは、画像フレーム及び推定した姿勢を用いてワイヤフレーム３Ｄボリューム再構成を実行し、次にワイヤフレーム再構成をディスプレイ３６において表示する。画像に基づく平面内回転の推定を用いる姿勢は、グランドトルースＥＭ追跡フレームと比べて、良好なＲＭＳ誤差を与える。姿勢を推定するために慣性センサデータのみを使用するＲＭＳ誤差は、２．９６ｍｍである。本実施形態の、画像データから推定された平面内回転角の代用は、ＲＭＳ誤差を２．７６ｍｍにまで低減する。図１２及び１３に示すように、慣性センサデータのみから推定された姿勢を用いる再構成３０２は、ＥＭグランドトルース３０１との角度不一致を有する（図１２）。一方で、平面内回転が超音波画像データを用いて推定された姿勢を用いる再構成３０３は、ＥＭグランドトルース３０１との少ない不一致を有する（図１３）。
【0074】
本発明は、コンピュータ又はいかなる命令実行システム若しくは装置と関連して又はそれによる使用のためにプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からのアクセス可能なコンピュータプログラムプロダクトの形式を取ってよい。この説明の目的で、コンピュータ使用可能又はコンピュータか独媒体は、命令実行システム、機器、又は装置と関連して又はそれによる使用のためにプログラムを含み、格納し、通信士、伝搬し、又は輸送できるいかなる機器であってよい。
【0075】
前述の方法は、コンピュータのような機械により実行されると方法のステップを実行する命令の機械実行可能プログラムを有する機械可読媒体を含むプログラムプロダクトにより実現されてよい。このプログラムプロダクトは、限定ではないが、コンパクトディスク、フロッピーディスク、ＵＳＢメモリ装置、等を含む種々の知られている機械可読媒体のうちのいかなるものに格納されてよい。
【0076】
媒体は、電子、磁気、光、電磁気、赤外線、又は半導体システム（又は機器若しくは装置）であり得る。コンピュータ可読媒体の例は、半導体または個体メモリ、磁気テープ、取り外し可能コンピュータディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、堅い磁気ディスク、光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスクリード／ライト（ＣＤ－Ｒ／Ｗ）及びＤＶＤを含む。
【0077】
前述の説明及び添付の図面は、説明を意図しており、本発明の限定ではない。本発明の範囲は、以下の請求項の完全な範囲の均等な変形及び構成を包含することを意図する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】