知財求人 - 知財ポータルサイト「IP Force」
特許7104155画像融合における運動誘発性誤整列を補正する超音波システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-11
(45)【発行日】2022-07-20
(54)【発明の名称】画像融合における運動誘発性誤整列を補正する超音波システム及び方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20220712BHJP
【ＦＩ】
A61B8/14
【請求項の数】
14
(21)【出願番号】P 2020536842
(86)(22)【出願日】2019-01-04
(65)【公表番号】
(43)【公表日】2021-04-08
(86)【国際出願番号】 EP2019050143
(87)【国際公開番号】W WO2019134959
(87)【国際公開日】2019-07-11
【審査請求日】2021-05-11
(31)【優先権主張番号】18305004.6
(32)【優先日】2018-01-04
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】デュフール セシル
(72)【発明者】
【氏名】タン トーマス シュ イン
(72)【発明者】
【氏名】ウン ゲイリー チェン‐ハウ
【審査官】門 良成
(56)【参考文献】
【文献】特開２０１０－０５１８１７（ＪＰ，Ａ）
【文献】国際公開第２０１７／０４６６７４（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１６９７５９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００
(57)【特許請求の範囲】
【請求項1】
被検体をリアルタイムに撮像するための超音波プローブと該超音波プローブに接続された位置追跡センサとに動作的に関連した超音波撮像システムであって、前記超音波撮像システムは、前記超音波プローブと、以前に取得された画像データのソースとに通信的に結合されたプロセッサであって、前記以前に取得された画像データが前記被検体の撮像ボリュームに対応する３Ｄデータセットを有する、プロセッサ
を有し、前記プロセッサが、
リアルタイム超音波画像データを受信し、
前記リアルタイム超音波画像データの現画像フレームに基づいてリアルタイム超音波画像を生成し、
前記リアルタイム超音波画像データから運動モデルを導出し、
前記運動モデルを前記被検体の解剖学的特徴構造の運動に再同期させ、
前記位置追跡センサからの位置情報及び前記運動モデルに基づいて、前記撮像ボリュームにおける動き補正された画像面を識別して、動き補償された術前画像を生成し、
前記リアルタイム超音波画像を前記動き補償された術前画像と融合させて合成画像を生成する、
超音波撮像システムにおいて、
前記プロセッサは、
前記リアルタイム超音波画像データの複数の到来フレームの各々に対して長期相関（ＬＴＣ）データを生成し、
各到来フレームに関連するＬＴＣデータに対応したＬＴＣ曲線の少なくとも２つの極小を識別することにより、各到来フレームに関連する周期周波数及び位相を決定する、
超音波撮像システム。
【請求項2】
前記運動モデルは、前記撮像ボリュームにおける解剖学的特徴構造の運動の周期周波数、位相及び振幅に少なくとも部分的に基づいて定義され、前記プロセッサは、１運動サイクルより大きい期間にわたり受信されたリアルタイム超音波画像データから、前記周期周波数、位相、振幅又はこれらの組合せを決定する、請求項１に記載の超音波撮像システム。
【請求項3】
前記プロセッサは、更に、前記運動モデルを動的に再同期させるために前記ＬＴＣデータに対して誤差最小化を実行する、請求項１に記載の超音波撮像システム。
【請求項4】
前記プロセッサは、前記位置追跡センサからの前記位置情報に基づいて、前記超音波プローブが静止しているかを判定すると共に、前記超音波プローブが静止していると判定された場合にのみ前記運動モデルを動的に更新する、請求項１から３の何れか一項に記載の超音波撮像システム。
【請求項5】
前記プロセッサは、少なくとも２運動サイクル以上の期間にわたりリアルタイムに受信された連続する画像フレームに対して動き推定を実行することにより、前記運動モデルを導出する、請求項１から４の何れか一項に記載の超音波撮像システム。
【請求項6】
前記プロセッサは、更に、同期期間の開始及び終了を示すユーザ入力を受信し、該プロセッサが前記同期期間にわたり受信された画像フレームに対して動き推定を実行する、請求項１から５の何れか一項に記載の超音波撮像システム。
【請求項7】
前記運動モデルは、前記被検体の呼吸運動の呼吸レート、位相及び振幅に基づいて、前記被検体の頭尾方向に沿う解剖学的特徴構造の時間の関数としての呼吸誘発性運動を推定するように構成される、請求項１から６の何れか一項に記載の超音波撮像システム。
【請求項8】
前記超音波プローブは３Ｄプローブであり、前記プロセッサは、頭尾方向を自動的に決定し、前記３Ｄプローブのビームが該頭尾方向に整列されるように前記３Ｄプローブのビームをステアリングする、請求項１から７の何れか一項に記載の超音波撮像システム。
【請求項9】
前記以前に取得された画像データは、磁気共鳴（ＭＲ）撮像法、コンピュータトモグラフィ（ＣＴ）撮像法又は超音波（ＵＳ）撮像法を用いて取得された３Ｄデータセットを有する、請求項１から８の何れか一項に記載の超音波撮像システム。
【請求項10】
ディスプレイユニットを更に有し、前記プロセッサは、前記位置情報及び前記運動モデルに基づいて、前記リアルタイム超音波画像データの各到来フレームを前記以前に取得された画像データに自動的に位置合わせし、前記ディスプレイユニット上に各到来フレームに関連する合成画像をリアルタイムで表記する、請求項１から９の何れか一項に記載の超音波撮像システム。
【請求項11】
プローブにより被検体に向けて送信される超音波に応答してリアルタイム超音波画像データを受信するステップであって、前記プローブが位置追跡センサに関連付けられているステップと、前記リアルタイム超音波画像データの現画像フレームに基づいてリアルタイム超音波画像を生成するステップと、
前記リアルタイム超音波画像データから運動モデルを導出するステップと、
前記運動モデルを前記被検体の解剖学的特徴構造の運動に再同期させるステップと、
前記被検体の撮像ボリュームに対応する以前に取得された画像データセットにアクセスするステップと、
前記位置追跡センサからの位置情報及び前記運動モデルに基づいて、前記撮像ボリュームにおける動き補正された画像面を識別して、動き補償された術前画像を生成するステップと、
前記リアルタイム超音波画像を前記動き補償された術前画像と融合させて合成画像を生成するステップと、
を有する、撮像の方法において、
前記運動モデルは、前記撮像ボリュームにおける解剖学的特徴構造の運動の周期周波数、位相及び振幅に少なくとも部分的に基づいて定義され、
前記リアルタイム超音波画像データから運動モデルを導出するステップは、１運動サイクルより大きい期間にわたり受信されたリアルタイム超音波画像データから、前記周期周波数、位相、振幅又はこれらの組合せを決定するステップを有し、
当該方法が、更に、
前記リアルタイム超音波画像データの複数の到来フレームの各々に対して長期相関（ＬＴＣ）データを生成するステップ、及び
各到来フレームに関連するＬＴＣデータに対応したＬＴＣ曲線の極小に基づいて、各到来フレームに関連する前記周期周波数及び位相を決定するステップ、
を有する、方法。
【請求項12】
前記運動モデルを動的に再同期させるために前記ＬＴＣデータに対して誤差最小化を実行するステップと、前記プローブの動きを検出し、前記プローブの検出された動きに応答して、前記運動モデルの再同期を一時停止するステップと、
を更に有する、請求項１１に記載の方法。
【請求項13】
前記プローブの動きに関連する期間の間におけるリアルタイム画像フレームと前記以前に取得された画像データとの間の位置合わせを、前記運動モデルの前記プローブの動きが検出される前のバージョンに基づいて維持するステップを更に有する、請求項１１又は１２に記載の方法。
【請求項14】
医療撮像システムの１以上のプロセッサにより実行された場合に該１以上のプロセッサに請求項１１から１３の何れか一項に記載の方法を実行させる、プロセッサ実行可能な命令を有する、非一時的コンピュータ読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、広くは、画像融合（画像フュージョン）を実行する場合、例えばリアルタイム画像（例えば、リアルタイム超音波術の間における）と術前画像（例えば、磁気共鳴（ＭＲ）若しくはコンピュータトモグラフィ（ＣＴ）等の異なる撮像方式（モダリティ）を用いて得られる、又は術前３Ｄ超音波（ＵＳ）データ）とを融合する場合に運動誘発性誤整列を補正する超音波システム及び方法に関する。
【背景技術】
【0002】
患者の生の超音波画像の、同じ患者のものであるが他の方式（限定されるものではないが、通常は、ＭＲ又はＣＴ）の術前３Ｄボリュームとの融合（フュージョン）は、空間的校正を必要とする。このような目的のために、超音波プローブには、典型的に、位置追跡（例えば、電磁（ＥＭ）追跡）センサが装備される。１つの斯様な医療撮像システムが、米国特許出願公開第2011/028843号に記載されている。２つの方式（モダリティ）からの画像を空間的に整列（位置合わせ）するために、先ず追跡システムが校正される。該校正ステップは、空間的同期が自動的に維持されるように、生の超音波データと術前データセットとの間の剛体変換を提供する。しかしながら、該校正ステップが非常に正確に実行されたとしても、融合された画像は、リアルタイム追跡条件では患者の運動により（例えば、呼吸又は心臓運動により）誤整列（位置合わせ誤差）の影響を受け得る。このような融合エラーを低減するために、当該融合のために使用されるべき“デフォルトの”術前２Ｄ面を、異なる呼吸状態を表す他の面Ｐにより置換することができる。しかしながら、このようにするためには、この解決策を適用するために異なる呼吸状態に関連する術前データの複数のデータセットが利用可能にされねばならないであろう。単一組の術前データしか利用可能でないケースは、より頻繁である。このように、単一の利用可能な術前データセットから代替面Ｐを選択することが一層頻繁に必要であり、既存のシステムは、使用されるべき該代替面Ｐを識別する方法が様々である。例えば、既知の或るシステムにおいて、生の超音波画像及び術前ＣＴ画像は、当該２組の画像データにおける特徴構造を合致させるように該生及びＣＴ画像に対して実行される画像処理を介して整列される。他の既知のシステムは、呼吸誘発性誤整列を補正するためのモデルを導出するために患者の胸部に配置されたセンサを備える追加の呼吸追跡システムを使用する。
【0003】
ヨーロッパ特許出願公開第3056151号は、少なくとも１つの超音波画像とＣＴ又はＭＲ画像等の事前記憶モダリティ画像とを融合するための方法に関するものである。該超音波融合撮像方法は、選択ステップ、位置合わせステップ及び融合ステップを含む。上記選択ステップは、少なくとも１つの面において目標被検体を取得することにより得られた超音波画像及び各超音波画像に対応する位置指示情報を含む、超音波ビデオデータの少なくとも１つの以前に記憶された部分から少なくとも１つの超音波画像を選択するためのものである。上記位置情報は、超音波プローブに固定された位置センサにより生成される。前記位置合わせステップは、選択された少なくとも１つの超音波画像をモダリティ画像と、該少なくとも１つの超音波画像の位置指示情報の位置を用いて位置合わせするためのものである。前記融合ステップは、位置合わせされた超音波画像をモダリティ画像と融合させるためのものである。
【0004】
国際特許出願公開第2017/109685号は、被検者のボリュームを調べるための医療撮像装置を開示している。該医療撮像装置は、被検者の超音波画像データを取得するための超音波プローブを含む超音波取得ユニット、被検者の医療画像データを受信するための画像インターフェース、及び超音波プローブの位置を決定するための位置決定ユニットを有する。位置合わせユニットが、超音波画像データ及び医療画像データを被検者の解剖学的特徴及び検出された超音波プローブの位置に基づいて位置合わせすると共に該超音波画像データ及び医療画像データの位置合わせを運動モデルに基づいて適応させるために設けられている。該運動モデルは、前記超音波プローブの位置、及び複数の超音波画像を通しての共通の解剖学的特徴の繰り返しパターンの変化に基づいて定められる。画像処理ユニットが、超音波画像データ及び医療画像データを処理して、該超音波画像データ及び医療画像データを合成された画像データに対する位置合わせに基づいて融合させるために設けられる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、現在知られている解決策は、望まれ得るようにはロバストでない。何故なら、例えば、これら解決策は、術前の及び生の両方の超音波データの画像品質に依存し、横隔膜位置等の画像の特徴構造に依存し（横隔膜位置は、関心解剖構造（例えば、肝臓）に対するプローブの向きに依存して、良好な照合のためには常に弁別的とは限らず、画像内に存在しないことさえあり得る）、幾つかのケースでは追加のハードウェア（例えば、呼吸運動追跡器）を必要とすると共に当該システムに更なる複雑さを将来するからである。このように、運動誤整列を補正するための代替的方法が望まれる。
【課題を解決するための手段】
【0006】
本開示による例は、画像フュージョンを実行する場合に運動誘発性誤整列を補正するための改善されたシステム及び方法を提供することができる。
【0007】
本開示の原理による超音波撮像システムは、被検体をリアルタイムに撮像するための超音波プローブ及び該プローブに接続された位置追跡センサを含むことができ、又はこれらに動作的に関連され得る。該システムは、前記超音波プローブ及び以前に取得された画像データの情報源（ソース）に通信的に結合されたプロセッサを含むことができ、前記以前に取得された画像データは前記被検体の撮像されたボリューム（撮像ボリューム）に対応する３Ｄデータセットを有する。該プロセッサは、リアルタイム超音波画像データを受信すると共に、該リアルタイム超音波画像データの現画像フレームに基づいてリアルタイム超音波画像（例えば、２Ｄ又は３Ｄ画像）を生成するように構成することができる。該プロセッサは、更に、前記リアルタイム超音波画像データから運動モデルを導出し、該運動モデルを前記被検体の解剖学的特徴構造の運動に再同期させる（例えば、自動的に又はユーザ入力に応答して）ように構成することができる。該プロセッサは、更に、前記撮像ボリュームにおける動き補正された画像面を前記位置追跡センサからの位置情報及び前記運動モデルに基づき識別して、動き補償された術前画像を生成すると共に、前記リアルタイム超音波画像を前記動き補償された術前画像と融合させて合成画像を生成するように構成することができる。
【0008】
本発明の原理による方法は、プローブにより被検体に向けて送信される超音波に応答してリアルタイム超音波画像データを受信するステップを含むことができ、前記プローブは位置追跡センサに関連付けられると共に、前記リアルタイム超音波画像データの現画像フレームに基づいてリアルタイム超音波画像を生成する。当該方法は、更に、前記リアルタイム超音波画像データから運動モデルを導出するステップ、該運動モデルを前記被検体の解剖学的特徴構造の運動に再同期させるステップ、前記被検体の撮像ボリュームに対応する以前に取得された画像データセットにアクセスするステップ、前記撮像ボリュームにおける動き補正された画像面を前記位置追跡センサからの位置情報及び前記運動モデルに基づき識別して、動き補償された術前画像を生成するステップ、及び前記リアルタイム超音波画像を前記動き補償された術前画像と融合させて合成画像を生成するステップを有する。
【0009】
本発明の方法に関連して本明細書に記載される好ましい実施態様の如何なるフィーチャも、本発明の超音波撮像システムに適用することができる。
【0010】
本発明の原理によれば、呼吸運動追跡器は当該超音波撮像システム及び方法の何れにも使用されることはない。即ち、当該運動モデルは呼吸運動追跡器からのデータを用いないで導出される。このことは、本発明のシステム及び方法のハードウェアの複雑さを低減する。
【0011】
更に、本発明の原理によれば、撮像ボリュームにおける動き補正された画像面は、前記位置追跡センサからの位置情報及び前記運動モデルのみに基づいて識別される。このように、好ましくも、例えばリアルタイム超音波画像と術前画像データセットとの間の解剖学的特徴構造の整列に基づく位置合わせ又は整列は実行されず、これにより、本発明はリアルタイム超音波画像及び術前画像データの画像品質とは無関係になり、従って非常にロバストになる。
【0012】
好ましい実施態様によれば、前記プロセッサは、前記リアルタイム超音波画像データの複数の到来フレームの各々に対して長期相関（ＬＴＣ）データを生成し、各到来フレームに関連する前記周期周波数及び位相を、各到来フレームに関連するＬＴＣデータに対応したＬＴＣ曲線の少なくとも２つの極小を識別することにより決定するよう構成することができる。後に式１により説明されるように、ＬＴＣ曲線は到来フレームを以前のフレームの各々から（又はその逆に）減算すると共に、該減算の結果を全ピクセルにわたり合計することにより生成される。好ましくは、ＬＴＣ曲線を計算するために、少なくとも前の１～２サイクルからの以前のフレームが使用されるようにする。従って、本到来フレームに関するＬＴＣ曲線は、被検者が１サイクル長前であろう同一の呼吸位置に最後にあった過去の時点において極小を有するであろうが、極小は間に、即ち被検者が現在中間の呼吸位置（即ち、各呼吸サイクルにおいて２回通過される位置）にある場合にも存在し得る。このように、運動の周期周波数及び位相に関する情報は、ＬＴＣ曲線から導出することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
特定の例示的実施態様に関する以下の説明は、性質上例示的なものに過ぎず、当該開示又は該開示の適用若しくは使用を限定することを一切意図するものではない。本システム及び方法の実施態様の以下の詳細な説明においては、当該実施態様の一部を形成する添付図面が参照され、これら図面には記載されるシステム及び方法を実施することができる特定の実施態様が図により示される。これらの実施態様は当業者が当該開示されたシステム及び方法を実施することを可能にする程度に十分に詳細に記載されている一方、他の実施態様を用いることができると共に、本システムの趣旨及び範囲を逸脱することなしに構造的及び論理的変更を行うことができると理解されるべきである。更に、明瞭化の目的で、特定のフィーチャの詳細な説明は、本システムの説明を不明瞭にすることがないように、当業者にとり自明である場合はなされないであろう。従って、以下の詳細な説明は限定する意味で解釈されるべきではなく、本システムの範囲は添付請求項によってのみ定められるものである。
【0015】
本発明の原理によれば、超音波撮像システムはリアルタイム超音波画像データの情報源（例えば、超音波プローブ）及び以前に取得された画像データ（ここでは、入れ替え可能に術前データと称される）の情報源に通信的に接続され得る。例えば、当該システムは超音波画像データをリアルタイムに取得するための超音波プローブを含み又は斯かる超音波プローブに動作的に接続され得る。当該超音波撮像システムは、術前データの情報源、例えば画像記録及び通信システム（ＰＡＣＳ）サーバ等のデータ記憶装置、にも接続することができる。該術前データは、被検者の撮像されたボリュームに対応する３Ｄデータセットとすることができ、該データセットは例えばＣＴ、ＭＲＩ、ＰＥＴ又は３Ｄ ＵＳ等の任意の撮像方式（モダリティ）を用いて取得されたものとすることができる。該システムは、更に、位置追跡システムを含み又は斯かる位置追跡システムと動作的に関連付けることができる。例えば、前記プローブは、電磁（ＥＭ）センサ又は他のタイプのセンサ等の位置追跡センサ、磁場生成器及び当該プローブの３Ｄ空間内の位置を決定するように構成されたプロセッサを備えることができる。当該システムは校正ユニット（位置合わせユニットと称することもできる）も含むことができ、該校正ユニットは超音波画像データ及び術前データを含む融合画像をユーザに対してリアルタイムに表示することができるようにリアルタイム超音波画像と術前データとの間の整列又は位置合わせを維持するように構成される。図を参照して更に説明されるように、当該システムは動き補正ユニットを含むことができ、該動き補正ユニットは、該システムが、位置追跡システムからの位置情報のみに基づいて選択されるであろうものとは異なる（動き調整された又は動き補償された）候補画像面を術前データからリアルタイムデータとの融合のために自動的に識別することを可能にすることができる。
【0016】
図１は、本開示の幾つかの実施態様によるシステム１００の図を示す。システム１００は、プローブ１１２に動作的に（即ち、有線又は無線通信リンクを介して等の様に通信的に）接続される医療撮像装置（例えば、超音波撮像装置１１０）を含む。プローブ１１２は、被検者１０１のボリューム（例えば、肝臓、心臓、腎臓又はこれらの一部等の解剖学的構造）を撮像するために使用することができる。撮像されるべきボリュームは、関心領域（例えば、肝臓、心臓、腎臓又は何らかの他の組織若しくは臓器等の解剖学的関心部位又は構造）を含むことができる。図示された例において、プローブ１１２は、撮像されるべきボリュームに向かって超音波を送信するように動作可能であると共に送信された超音波に応答したエコーを検出するように更に動作可能であるトランスジューサ素子のアレイを備えた超音波プローブである。上記トランスジューサ素子は１Ｄ又は２Ｄアレイで配置することができる。該超音波プローブ１１２はリアルタイム超音波画像データを得るために用いることができる。該リアルタイム超音波画像データは、リアルタイム超音波画像（生超音波画像とも称する）を生成するために使用することができる。リアルタイム及び生なる用語は、通常、以前に取得された画像データから生成される取得後表示及び評価とは反して、当該画像データの取得の間に生じる画像の画像データ取得及び表示を記述するために用いられる。
【0017】
撮像装置１１０は、超音波プローブ１１２に接続されて超音波データの取得を制御するための（例えばビームステアリング及び／又はビーム形成機能を提供するための）制御ユニット１２０を含むことができる。制御ユニット１２０は処理ユニット（プロセッサ）１２２を含むことができ、該処理ユニットは検出されたエコーに基づいて超音波画像を生成するように動作可能である。プロセッサ１２２は、更に、術前データを受信し、到来する生超音波画像を該術前データに対し自動的に空間的に位置合わせし、当該２つのデータセット（即ち、リアルタイム及び術前データ）の画像データを融合する前に運動誘発性誤整列を補償するために該空間的位置合わせを更に調整するように構成される。
【0018】
撮像装置１１０はメモリも含むことができ、該メモリは、なかでも、前記リアルタイム超音波画像データ、及び／又は空間的位置合わせ及び画像融合に関連する機能を実行するように前記プロセッサを構成するためのプロセッサ実行可能な命令を記憶するように構成することができる。前述したように、プロセッサ１２２は、例えば術前３Ｄデータセットから対応するスライスを抽出するために、前記生超音波画像を当該術前データに対して自動的に空間的に位置合わせするように（例えば、メモリに記憶されたプロセッサ実行可能な命令に応答して）構成することができる。この空間的な位置合わせは、幾つかの実施態様によれば、動き補正を含むことができる。動き補正は、当該術前データに運動モデルを適用して、該術前データにおける該運動モデルにより運動誘発性誤整列が考慮された後の当該生画像に一層良好に一致する代替スライス（位置データのみに基づいて選択されるデフォルトスライスとは異なる）を識別することにより実行することができる。
【0019】
撮像装置１１０は、術前データ１５０の情報源（ソース）、例えば記憶装置（例えば、ＰＡＣＳサーバ）又は他の医療撮像装置（例えば、ＭＲＩスキャナ、ＣＴスキャナ、超音波スキャナ、又は何らかのタイプの撮像モダリティ若しくはこれらの何らかの組み合わせを用いる何からの他の装置）に通信的に接続される。当該術前データは、何れかの撮像モダリティにより取得することができる医療画像データの３Ｄデータセットとすることができる。幾つかの実施態様において、該術前データは超音波とは異なる撮像方式により取得することができ、例えば、該術前データは、コンピュータトモグラフィ（ＣＴ）、磁気共鳴撮像（ＭＲＩ）又は陽電子放射トモグラフィ（ＰＥＴ）により取得された３Ｄデータセット（各々、ＣＴボリューム、ＭＲＩボリューム、ＰＥＴボリュームとも称する）とすることができ、又は該術前データは、以前に取得された超音波データ、例えば同一の患者から取得された３Ｄ ＵＳデータセット（又は、ＵＳボリューム）とすることができる。該術前データは、名前が意味する通り、リアルタイム撮像（例えば、生の超音波撮像であり、斯かる撮像は生体組織検査等の侵襲的処置の間に行われ得る）に先行して取得される。このように、術前データは本明細書では以前に取得された画像データと入れ替え可能に参照することができる。図示された例において、プロセッサ１２２は、生画像を術前データに対して空間的に位置合わせするための校正モジュール１２４、運動誘発性誤整列を考慮に入れるために上記空間的位置合わせを調整するための動き補正ユニット１２６、及び動き補償された術前画像を生超音波画像と融合させて合成画像を生成するように動作可能なフュージョンユニット１２８を含む。撮像装置１１０はユーザインターフェース１３０と動作的に関連付けられ、該ユーザインターフェースは、例えば上記合成画像をリアルタイムに表示するためのディスプレイユニット１３２を含む。該ユーザインターフェースは、例えば画像取得処理を制御するためのユーザ入力を受信するためのユーザ入力装置１３４も含む。該入力装置１３４は、例えば限定なしで、キーボード、マウス、トラックボール、制御パネル上に設けられた１以上の釦、及び／又はタッチ感知性ディスプレイ上に設けられた１以上のソフト制御子を含むことができる。
【0020】
撮像装置１１０は、位置追跡システム１４０（例えば、電磁（ＥＭ）追跡、光学又は他のタイプの位置追跡システム）と動作的に関連されている。該位置追跡システム１４０は、前記プローブに取り付けられた位置追跡センサ１４２（例えば、ＥＭセンサ）及び３Ｄ座標系に対する該センサ１４２の、従って当該プローブの位置を決定するように構成されたプロセッサを含むことができる。例えば、該位置追跡システムは、ＥＭセンサの、従って当該プローブの空間位置を、ＥＭ追跡磁場生成器の座標系に関係付けることができる。この場合、校正ユニット１２４は、上記追跡磁場生成器の座標系を前記術前画像データの座標系に対して位置合わせし又は相関させることができ、かくして、該術前画像データと生超音波データとの間の空間的位置合わせを可能にすることができる。このようにして、超音波プローブ１１２の位置を、当該術前ボリューム内の対応する画像面を識別するために使用することができる。幾つかの例において、このプロセッサの機能は、校正ユニット１２４により実行することができ、又は一般的には当該撮像装置１１０のプロセッサ１２２内で実施することができる。
【0021】
フュージョンユニット１２８は、生画像を術前画像と融合させて表示用の合成画像を生成するために使用することができる。融合され又は合成された画像を生成するために、生画像を術前画像と重ね合わせることができ、代わりに、これら画像を並べて表示することもできる。しかしながら、前述したように、位置追跡情報のみに基づいたものである画像位置合わせ又は整列は運動誘発性誤整列を考慮に入れることができず、このことは画像融合処理の品質を減少させ得る。このように、プロセッサ１２２は、本明細書において説明されるように、更に、斯様な運動誘発性誤整列を考慮に入れて補正する追加の機能を備えて構成することができる。
【0022】
本開示の実施態様によれば、プロセッサ１２２は動き補正ユニット１２６を含むことができる。動き補正ユニット１２６は、生超音波画像と術前画像との間の任意の運動誘発性誤整列を補正するために運動モデルを使用することができる。該運動モデルは、撮像されたボリューム内の解剖学的関心特徴構造の運動軌跡の数学的モデル（例えば、図５に示されるような数学的表現）とすることができる。幾つかの実施態様において、該運動モデルは、超音波画像データのみを含む画像データに基づいて、特にはリアルタイム超音波データから導出することができる。即ち、超音波及び術前（例えば、ＣＴデータ）の両方からの画像が画像処理されて斯かる画像内の特徴を照合し、かくして位置合わせを容易にするような既存の解決策とは異なり、現運動モデルは術前データには依存しない。代わりに、例えば呼吸誘発性運動の前後関係では、被検者の１呼吸サイクルより大きな時間窓にわたりリアルタイム超音波データが取得され、該リアルタイム超音波画像データのみから呼吸サイクルパラメータが抽出される。幾つかの例では取得されたフレーム内の繰り返し特徴又はパターンを識別するために当該リアルタイム超音波データに対して画像処理を実行することができ、かくして、運動の位相（相）、率（レート）及び／又は振幅を決定することができるようにする。次いで、該運動の位相、レート及び振幅は、術前データセットから代替画像面（デフォルトの又は純粋に位置に基づく画像面とは別の）を選択するために用いることができる。このようにして、当該動き補正ユニットは、解剖学的関心特徴構造が運動中であっても（例えば、呼吸等の当該被検者の生命運動により）、生画像の当該術前画像データにおける対応する画像面に対する一層正確な整列又は位置合わせを可能にする。肝臓を撮像する場合等の幾つかの実施態様において、当該運動は一般的に頭尾方向におけるものであると見ることができ、従って、当該運動モデルは頭尾運動モデルと称することもできる。
【0023】
図２は、本開示による超音波撮像システムにおけるプロセッサ２００の機能ブロック図である。該プロセッサ２００は、図１における動き補正ユニット１２６を実施化するために用いることができる。この例において、プロセッサ２００は、ブロック２０８に示されるように生の又はリアルタイムな超音波データを受信すると共に、術前データセットから動き補正された画像面（ブロック２２０に示されるような）を抽出するために術前データセット２５０に運動モデル２１２を適用して生画像に対応する動き補正された（又は動き補償された）術前画像を生成するように構成される。該動き補正された術前画像及び生画像は、次いで、画像フュージョンユニット２３０により合成されて、ディスプレイユニット２４０で表示するための合成画像２３２を生成する。
【0024】
図２に示されるように、プロセッサ２００はリアルタイム超音波データのソース（例えば、超音波プローブ）及び術前データのソースに通信的に結合される。プロセッサ２００は、運動モデル２１２を、超音波データのみを含む撮像データに部分的に基づいて（例えば、如何なる他のタイプの医療撮像データを参照することなく）、且つ、好ましくは呼吸運動追跡データを参照することなく導出するように構成することができる。幾つかの実施態様において、プロセッサ２００は該運動モデル２１２をユーザ入力に更に基づいて導出するように構成することができる。例えば、簡単な周期的呼吸誘発性運動の場合、特定の解剖学的構造（例えば、肝臓）の運動は、頭尾方向の単純な周期的運動として特徴付けられ得るものであり、従って、運動モデル２１２は頭尾的モデル、即ち、被検者の頭尾方向に沿う解剖学的特徴構造の呼吸誘発性運動の、呼吸サイクルの呼吸速度（レート）、位相（相）及び振幅に基づいて定義される時間の関数としての推定となり得る。このような運動モデルは運動が一定のままであると仮定するが、実際には、患者の呼吸は変化し得、従って、呼吸サイクルの１以上のパラメータ（例えば、呼吸レート、位相及び／又は振幅）は該運動モデルとの同期から外れ得る。従って、幾つかの例において、当該プロセッサは、更に、運動の如何なる乱れも考慮するために当該運動モデルを動的に更新し（ブロック２１４に示されるように）、これにより、該運動モデルにより推定される運動と当該解剖学的特徴構造（例えば、患者の肝臓）の実際の運動との間の同調性を維持するように構成することができる。動的なる用語は、当該プロセッサを運動モデルと臓器運動との間の同調性を維持するために該運動モデルを連続して自動的に更新する（例えば、到来フレーム毎に又は幾つかの新たなフレームの後に）ように構成することができることを意味する。幾つかの例において、当該モデルの再同期はユーザ入力に応答して（例えば、同期を開始する指示を受信することに応答して）実行することができる。
【0025】
更に、幾つかの例において、プロセッサ２００はプローブの動きを監視又は検出するように構成することができる。例えば、プロセッサ２００は、プローブが静止しているかを、例えば位置追跡データに基づいて、判定する（例えば、ブロック２１６に示されるように）ように構成することができる。プローブが静止していると判定された場合、プロセッサ２００は、当該解剖学的構造の実際の動きに対する当該運動モデルの更新（ブロック２１８に示されるような）又は同期を行うことができる。しかしながら、プローブが静止していない（例えば、所与の閾値を超えるプローブの動きが検出された）と判定された場合、プロセッサ２００は同期を一時停止し、当該プローブの動きが検出される前の最後に更新された運動モデルのバージョンを使用することができる。後者の状況において、生及び術前画像の動き補正された位置合わせ又は整列は継続するが、これは、プローブの動きがやみプロセッサ２００が運動モデルの同期に戻るまで、動的に更新する運動モデルというより該運動モデルの静止バージョンに基づくものとなる。動き推定及び／又は補正に加えて、プロセッサ２００は、単独で又は当該医療撮像装置の他のプロセッサとの組合せで、該医療撮像装置の他の機能（例えば、超音波画像をリアルタイムデータに基づいて生成する及び／又は術前データに基づいて画像を生成する機能）を果たすように更に構成することができる。
【0026】
図３は、超音波撮像装置１１０等の医療撮像装置のプロセッサにおいて実施化する（ハードウェア及び／又はソフトウェアで）ことができる動き補正を伴う空間位置合わせのための例示的アルゴリズム又は処理３００の機能ブロック図を示す。図３の例示的アルゴリズムは、１運動サイクル（例えば、１呼吸サイクル）より大きい時間量にわたる連続したフレーム又はこれらフレームの一部（画像フレームとも称する）に対して計算された長期的相関に基づくものである。図３の実施態様を、呼吸誘発性運動に関連して説明する。しかしながら、説明される原理は他のタイプの運動に対しても適用可能であり得る。該アルゴリズム又は処理３００は、運動サイクルを経る画像中で見付けられ得る繰り返しパターンを利用する。例えば、本開示の実施態様により導出される軌跡又は変位曲線５０４により表現された肝臓運動モデル５０４を示す図５を参照すると、吸気相の間における解剖学的特徴構造の位置は呼気相の間におけるものと非常に類似し得ることが分かる。D(t)又はd(t)は、変位を時間の関数として示す。一例として、吸気における特徴構造５０７の位置507-Iは、呼気における特徴構造５０７の位置507-Eに類似し、同様に、吸気及び呼気における特徴構造５０９の位置509-I及び509-Eも、各々、類似する。このように、一連の時間的に連続するフレーム５０５を分析することにより（例えば、フレーム間の長期的相関を計算することにより、又は動き推定を実行することにより）、周期的呼吸運動を規定するパラメータを超音波データのみから抽出することができ、従って、運動モデルを超音波データから抽出されたパラメータに基づいて時間の関数として定義することができる。
【0027】
図３に戻ると、当該アルゴリズム又は処理３００の開始に際して、回数範囲（frequency range）、回数状態の数（freqStateN）、位相状態の数（phaseStateN）及び累積コストの範囲等の、該アルゴリズムの特定のパラメータは初期化される。呼吸運動の場合、現実的な呼吸サイクルは、成人の場合は３～５秒の間、小児の場合は２～３秒の間であり得る。回数範囲は、例えば成人の場合は毎分約１２～２０サイクル、小児の場合は毎分約２０～３０サイクル等のデフォルト回数範囲で初期化することができ、該範囲はユーザによる入力（例えば、生の超音波を開始する前の）としての患者の年齢情報に少なくとも部分的に基づいて決定することができる。幾つかの例において、当該回数範囲はユーザ入力（例えば、事前にプログラムされた範囲にデフォルト設定した後の、又は当該システムが該範囲をユーザにより入力されることを要求することができる）に応答して調整可能であり得る。同様にして、回数及び位相の状態の数は、例えば３２の回数状態及び６４の位相状態のように、所与の値にデフォルト設定することができる。これらの数は純粋に解説的なものであり、他の数（当該特定の例よりも小さい又は大きい）の状態も用いることができ、これらは事前にプログラムし及び／又はユーザにより調整可能とすることができる。例えば、位相状態の数は、視覚的品質を改善するために最適化することができる（例えば、視覚的ぎこちなさはサンプル不足の呼吸サイクルの結果として生じ得る）。
【0028】
一旦開始されると、位相は当該アルゴリズムによりタイミング情報を考慮に入れて更新され、各到来生ＵＳ画像に対して術前３Ｄボリュームの新たな面が選択されることになる。更に、幾つかの事例では、解剖学的構造の位置の乱れ又はずれが生じた場合、運動の再同期が実行される。
【0029】
当該処理は、ブロック３０４において当該アルゴリズムが複数のフレームのリアルタイム画像データ及びタイミング情報を受信することで開始する。これらのフレームは、新たに到来するフレームのためにバッファ空間を解放すべく長期記憶部３０８にも結合することができる。各到来フレームに対して、プロセッサ３０２は、ブロック３１０に示されるように、長期的相関（ＬＴＣ）データを生成することができる。
【0030】
各到来フレームに対する長期的相関は式１に従って計算することができる。
LongTermCorrelationFrame(i) = SUMover all pixels(Frame(i) - Frame(t)) 式１
LongTermCorrelationFrame(i) = SUMover all pixels(Frame(i) - Frame(t)) 式１
【0031】
このように、到来フレーム(Frame(i))に対するＬＴＣ曲線は、当該到来フレームから以前のフレーム(Frame(t))の各々を減算する（又は、逆に、到来フレームを以前のフレームから減算する）と共に、該減算の結果を全てのピクセルにわたり合計することにより生成される。好ましくは、少なくとも前の１～２サイクルのフレーム（時間的に連続する）が、ＬＴＣ曲線を計算するために使用されるものとする。図４は、任意の単位対時間で与えられた２つの例示的ＬＴＣ曲線を示すもので、該図において、横軸上の数は当該減算において使用された前のフレームの数を示す。図４におけるＬＴＣ曲線４０３は、図５に示された呼吸サイクルにおける位置507-Iにおいて到来フレームに対して生成されたＬＴＣ曲線に対応する。図４におけるＬＴＣ曲線４０５は、図５に示された呼吸サイクルにおける位置509-Iにおいて到来フレームに対して生成されたＬＴＣ曲線に対応する。
【0032】
幾つかの例において、ＬＴＣ曲線３１１は各到来生フレームに対して生成することができる。所与の生フレームに関連する周期周波数及び位相は、ＬＴＣデータの極小を決定することにより識別することができる。例えば、ここでも２つのＬＴＣ曲線４０３及び４０５を示す図４を参照すると、当該アルゴリズムは各曲線において少なくとも２つの強い極小を探すことができる。周期周波数は、各ＬＴＣ曲線上の略同一の位置における強い極小Ｍ１を探すことにより識別することができる。この極小は、完全に１サイクル前の呼吸位置又は変位d(t)は、現在における変位と同様であったので、到来フレームは１呼吸サイクル前に取得されたフレームと類似し、従って、これらフレームを互いから減算することは極小になるという事実によりもたらされる。該特定の画像フレームに関連する位相（又は該呼吸サイクルにおける位置）は、これも規則化原理（即ち、前のフレームの位相と一貫する各新フレームの位相は極小となる）に依存して、他の強い極小（例えば、Ｍ２、Ｍ３）を識別することにより見付けることができる。図４及び５の例において、曲線４０３は約半呼吸サイクルに極小を有し、これは、該曲線４０３が、図５の位置507-Iにおけるように、当該呼吸サイクルにおける中間の変位d(t)を持つ位相に対応するという指示情報である。このように、当該呼吸運動は約半サイクル前に同一の位置d(t)にあったので、極小を生じ、このことが位相に関する指示情報を提供する。曲線４０５の場合、第２極小Ｍ２は該ＬＴＣ曲線の原点に極めて近く、このＬＴＣ曲線が当該呼吸サイクル内のピーク変位d(t)（最大吸気又は最大呼気）に、例えば図５における点509-Iに一層近い位置に対応することを示す。図４における２つのＬＴＣ曲線４０３及び４０５は時間的に離れたフレームに関連するものであり、このことが、位相に対応する極小が、時間的に連続するフレームの場合にあり得るよりも遙かに隔てられている理由である。
【0033】
図３の例におけるアルゴリズムは、ＬＴＣデータから関連する極小を決定するために誤差最小化技術を利用する。例えば、ブロック３１２、３１４及び３１８に示されるように、ブロック３１０で得られたＬＴＣデータを用いて、複数の状態（状態Ｎ）のうちの各状態に関連するコスト（又は誤差）が計算される。このことは、実質的にＭｘＮアレイ３１３（例えば、freqStateN x phaseStateN）に対するＬＴＣデータのマッピングを提供し、ここで、Ｍは回数状態の数であり、Ｎは位相状態の数である。このＭｘＮアレイ３１３は、誤差アレイとも称される。このマッピングは、任意の既知の技術を用いて、例えば、設定された回数範囲内の回数に関する複数の回数状態の各増分に関してＬＴＣ曲線より下の面積を計算することにより実行することができる。言い換えると、図６における例示的ＬＴＣ曲線６０１も参照すれば、回数範囲６０９（例えば、３～５秒の間であり得る）は点線により示された等しい増分の回数状態に分割される。明瞭化のために（画像を乱雑にすることを回避するために）小さな数（この場合においては６）の回数状態が示されているが、例えば、３０、３２、３６等の異なる数を使用することもできることが理解されるであろう。位相に関する誤差を計算するために、同様の処理を用いることができる。例えば、位相は回数に関係するので、任意の所与の回数に対して、当該曲線の時刻０から該所要の回数に対応する時刻までの部分は位相状態の数として等しい増分に分割され、各増分に関して該曲線の下の面積が計算され、かくして、誤差アレイのための誤差値を得る。図６は、曲線６０１を生成するために使用された生フレームに関連する回数及び位相に各々対応する極小６０５及び６０７を示すと共に、本例に従い曲線６０１に関するコスト値をマッピングすることができるＭｘＮ誤差アレイ６０３を更に示す。
【0034】
幾つかの例において、ブロック３１８に示されるように最小コスト又は誤差に関連する状態が選択される前に、例えばブロック３１４に示されるように、データを平滑化するために複数の状態（stateN）からの各状態Ｓに関して累積コストを計算することができる。例えば、当該アルゴリズムは、呼吸レートはサイクルの一部（“FractionOfCycle”）にわたり（例えば、当該呼吸サイクルの四分の一（“Fraction”= 4）の間において）安定状態のままであると仮定するよう構成することができる。この場合、過去のフレームに関連するstateN誤差の各アレイを考慮に入れて、当該アルゴリズムは該“FractionOfCycle”にわたる合計を、１“Fraction”による位相の変化及び回数状態に関連する“FractionOfCycle”の持続時間を考慮にいれて計算することができる。
【0035】
各到来フレームに対して、当該アルゴリズムは、最小コストの状態に基づいて選択され得る、設定された範囲内の呼吸レート（又は回数）及び位相（０～１の間の値）をブロック３２２に示されるように出力する。ブロック３１２において計算されたコストアレイは、少なくとも１つの運動サイクルの期間にわたり取得された全フレームの部分集合のみを一時的に記憶するように構成され得るバッファ空間を解放するために、長期記憶部３１６にも供給することができる。
【0036】
前述したように、プロセッサ３０２は、例えばプローブの位置情報又はプローブが静止しているか若しくは動いているかの指示情報（例えば、ブロック３０６に示されるような）等のプローブ情報を受信することができる。プローブは動いているとの決定に際し、位相及びレートの各到来フレームとの同期は、例えばブロック３２０に示されるようにコスト値をリセットすることにより、一時停止され得る（プローブが再び静止するまで）。このような状況において、生画像と術前データとの間の空間的位置合わせは、当該運動モデルの最後の更新からのバージョンを用いて、各新フレームによる動的更新無しで行うことができる。この目的のために、図７を参照すると、プロセッサ３０２’は静止更新ブロック３３０を含むことができる。プローブ情報及びタイミング情報を、静止更新ブロック３３０に追加的に結合することができる。プローブが動いているとの指示情報に応答して、静止更新ブロック３３０は或る期間にわたる平均回数に対応する回数を出力することができる。プローブが動いている場合、動的同期は信頼性のないものとなり得ることが予想されるからである。かくして、動的同期は休止され、プローブが動いている間の各新フレームに対しブロック３２２において平均回数及び次の連続する位相値が出力される。
【0037】
図５の例に示されるように、呼吸誘発性肝臓運動の場合、運動モデル（motion model）は呼吸サイクルのレート（rate）、位相（phase）及び振幅（amplitude）に基づいて、例えば式２：
motion model d(t) = amplitude * cos2(rate * t + phase) 式２
又は式３：
motion model d(t) = amplitude * cos2(rate * t + phase) 式３
motion model d(t) = amplitude * cos2(rate * t + phase) 式２
又は式３：
motion model d(t) = amplitude * cos2(rate * t + phase) 式３
【0038】
に従って定義することができる。運動モデルは、図３を参照して説明した動的同期アルゴリズムにより（例えば、各フレームに対してレート及び位相に関する更新された値を得ることにより）各生フレームに関してバックグラウンドで動的に更新することができる。振幅は、ユーザ入力に応答して設定することができるか、又は動き推定に基づいて（例えば、図８Ａの例に関連して後に更に説明されるように）又はデフォルト値（例えば、約２０mm）若しくは一連の最適値（ユーザ入力により更に調整することができる）に基づいて等のように当該システムにより自動的に設定することができる。好ましい実施態様において、運動モデルの前記回数及び位相は、前述したように、ＬＴＣ曲線から導出される。振幅は、当該システムにより、例えばデフォルト値に基づいて自動的に設定される。好ましい実施態様において、振幅は、例えば当該合成画像が視覚的に満足のゆくものでない場合、ユーザ入力により更に調整される。
【0039】
ここで図８Ａ及び図８Ｂを参照すると、超音波データのみに基づいて（即ち、以前に取得された画像データに依存することなく）運動モデルを導出又は更新するための他の技術は、運動を推定するために超音波データに対して実行される画像処理を利用することができる。図８Ａ及び図８Ｂの例におけるアルゴリズムは、ブロック８１０に示されるように、超音波ビームが運動軸（例えば、呼吸運動の場合は頭尾方向）に整列されることに依存する。このことは、手動で、プローブをビームが運動軸と整列されるように位置決めすることにより、又は斯様な整列を得るためにビームを自動的にステアリングすることにより達成することができる。例えば手動位置決めが用いられるような幾つかのケースにおいて、当該システムは、適切な整列が得られた場合を示すためにユーザにフィードバックを提供することができる。図８Ａ及び図８Ｂの例において、同期（又はモデル更新）はユーザ入力に応答してのみ実行される。即ち、ユーザは当該システムに対して、例えば同期期間の開始の指示情報を供給することにより、再同期が望まれることを示すことができる。図８Ａ及び図８Ｂに示されるように、プロセッサ８０２は同期期間の開始及び同期期間の終了の指示情報を受信する。プロセッサ８０２は、ブロック８１２に示されるように、幾つかの（２、３又はそれ以上の）呼吸サイクルにわたり画像データ取得を実行する。プロセッサ８０２は、ブロック８１２に示されるように、当該同期期間に跨がるフレームを用いて動き推定を実行する。動き推定は、ブロックマッチング動き推定アルゴリズムを使用する等のように如何なる現在既知の又は後に開発される動き推定技術により実行することもできる。ブロックマッチングアルゴリズムは、動き推定のために一連のフレームにおける合致するマクロブロックを位置特定する方法である。例えば、ブロックマッチングアルゴリズムは、一連のフレームのうちの現フレームをマクロブロックに分割すると共に、これらマクロブロックの各々を近隣フレーム（時には、直前のフレーム）における対応するブロック及び該ブロックの隣接ブロックと比較するステップを伴う。該動き推定の出力は、符号８１３に示されるように、当該運動の推定された軌跡である。該軌跡はブロック８１４に供給され、該ブロックにおいて、当該運動のレート、位相及び振幅を、符号８１５により示されるように、当該推定された軌跡から抽出することができる。軌跡からレート、位相及び振幅を得る１つの方法は、対｛位相（phase），レート（rate）｝を：
(phase,rate) = argmax(sum(abs(C[phase + k * rate] - C[phase + (k+1) * rate] * rate)))/(kmax + 1)
等により検索することである。
(phase,rate) = argmax(sum(abs(C[phase + k * rate] - C[phase + (k+1) * rate] * rate)))/(kmax + 1)
等により検索することである。
【0040】
合計（sum）は、[phase + (k+1) * rate]の値が当該曲線に存在する限り計算され、従って、kmaxは最後の可能性のあるｋ値である。最大値アーギュメントは振幅を提供する。レート、位相及び振幅を得るために、他の技術を用いることもできる。該レート（又は回数）、位相及び振幅は、ブロック８１６に示されるように出力され、リアルタイムフレームとの融合のための術前データから動き補償された画像面を識別するために使用される。図８Ｂにおけるプロセッサ８０２’は、プロセッサ８０２に類似するが、図７における例の静止更新ブロックと類似した静止更新ブロック８３０を含む点で相違する。
【0041】
図９は、本開示の原理に従って構成された超音波撮像システムのブロック図を示す。超音波撮像システム９１０の構成要素の幾つか又は全ては、本明細書における例の何れかによる超音波撮像システム（例えば、図１の例示的システム１００）を実施化するために用いることができる。図９の超音波撮像システム９１０は、超音波プローブ９１２、トランスジューサアレイ９１４、ビームフォーマ９２２及びオプションとしてのマイクロビームフォーマ９１６、送信／受信（Ｔ／Ｒ）スイッチ９１８、送信コントローラ９２０、並びに検出されたエコーから超音波画像を生成するための１以上の処理要素を含む。例えば、システム９１０は、信号プロセッサ９２６、Ｂモードプロセッサ９２８、ドプラプロセッサ９６０、スキャンコンバータ９３０、多断面再フォーマッタ９３２、ボリュームレンダラ９３４、画像プロセッサ９３６、グラフィックプロセッサ９４０及びその他を含むことができる。当該システムはユーザインターフェース９２４、入力装置９５２及び出力装置９３８も含むことができる。図９に示される構成要素は単なる例示であり、構成要素を削除し、構成要素を組み合わせ、構成要素を再構成し、及び構成要素を置換することを含む他の変形も全て想定される。
【0042】
図示されたように、超音波撮像システム９１０は超音波プローブ９１２を含み、該超音波プローブは超音波を送信すると共にエコー情報を受信するためのトランスジューサアレイ９１４を含む。例えば線形アレイ、湾曲アレイ又はフェーズドアレイ等の種々のトランスジューサアレイを使用することができる。トランスジューサアレイ９１４は、例えば、２Ｄ及び／又は３Ｄ撮像のためにエレベーション及びアジマスの両次元でスキャンすることができるトランスジューサ素子の二次元アレイ（図示略）を含むことができる。トランスジューサアレイ９１４はマイクロビームフォーマ９１６に結合することができ、該マイクロビームフォーマは当該超音波プローブ９１２内に配置することができる。マイクロビームフォーマ９１６は、アレイ９１４内のトランスジューサ素子による信号の送信及び受信を制御する。図示された例において、マイクロビームフォーマ９１６は送信／受信（Ｔ／Ｒ）スイッチ９１８に結合され、該Ｔ／Ｒスイッチは送信及び受信の間で切り換わり、主ビームフォーマ９２２を高エネルギ送信信号から保護する。例えば可搬型超音波システムにおける等の幾つかの実施態様において、システム内のＴ／Ｒスイッチ９１８及び他の要素は、別体の超音波システム基台内というより超音波プローブ９１２内に含めることができる。斯かる超音波システム基台は、典型的に、信号処理及び画像データ生成のための回路並びにユーザインターフェースを提供するための実行可能な命令を含むソフトウェア及びハードウェア構成要素を含む。
【0043】
マイクロビームフォーマ９１６の制御の下でのトランスジューサアレイ９１４からの超音波パルスの送信は、Ｔ／Ｒスイッチ９１８及びビームフォーマ９２２に結合された送信コントローラ９２０により指令され、これらはユーザインターフェース９２４のユーザ操作から入力を受けることができる。ユーザインターフェース９２４は制御パネル９５２等の１以上の入力装置を含むことができ、該制御パネルは１以上の機械式制御子（例えば、釦、エンコーダ等）、タッチ感知性制御子（例えば、トラックパッド又はタッチスクリーン等）、及び他の既知の入力装置を含むことができる。ユーザインターフェース９２４は、画像（例えば、リアルタイム及び術前データの融合画像）を表示するように構成されたディスプレイ９３８等の１以上の出力装置を含むことができる。送信コントローラ９２０により制御することができる他の機能は、ビームがステアリングされる方向である。ビームは、トランスジューサアレイ９１４から真っ直ぐ前方に（トランスジューサアレイに対して直角に）又は一層広い視野のために異なる角度でステアリングすることができる。マイクロビームフォーマ９１６により生成された部分的にビーム成形された信号は主ビームフォーマ９２２に結合され、該主ビームフォーマにおいて、トランスジューサ素子の個々のパッチのからの部分的にビーム成形された信号は完全にビーム成形された信号へと合成される。斯かるビーム成形された信号は、信号プロセッサ９２６に結合される。
【0044】
信号プロセッサ９２６は、受信されたエコー信号を、帯域通過フィルタ処理、デシメーション、Ｉ及びＱ成分分離並びに高調波信号分離等の種々の方法で処理することができる。信号プロセッサ９２６は、スペックル低減、信号混合及びノイズ除去等の追加の信号向上処理を実行することもできる。処理された信号は、Ｂモード画像データを生成するためにＢモードプロセッサ９２８に結合することができる。該Ｂモードプロセッサは、身体内の構造の画像化のために振幅検波を使用することができる。Ｂモードプロセッサ９２８により生成された信号は、スキャンコンバータ９３０及び多断面再フォーマッタ９３２に結合することができる。スキャンコンバータ９３０は、受信された空間関係のエコー信号を所望の画像フォーマットで配列するように構成される。例えば、スキャンコンバータ９３０は、エコー信号を、二次元（２Ｄ）扇形フォーマット、又は角錐状若しくはそれ以外の形状の三次元（３Ｄ）フォーマットに配列することができる。多断面再フォーマッタ９３２は、例えば米国特許第6,443,896号（Detmer）に記載されているように、身体のボリューム領域における共通面内の点から受信されるエコーを該面の超音波画像（例えば、Ｂモード画像）に変換することができる。ボリュームレンダラ９３４は、例えば米国特許第6,530,885号（Entrekin他）に記載されているように、３Ｄデータセットの所与の基準点から見た画像を生成することができる。
【0045】
システム９１０はドプラプロセッサ９６０も含むことができる。信号プロセッサ９２６からの信号はドプラプロセッサ９６０に結合することができ、該ドプラプロセッサはドプラシフトを推定してドプラ画像データを生成するよう構成することができる。該ドプラ画像データはカラーデータを含むことができ、該カラーデータは表示のためにＢモード（又はグレイスケール）画像に重ねることができる。ドプラプロセッサ９６０は、既知の技術に従って速度及びパワーを推定するよう構成することができる。例えば、該ドプラプロセッサは自己相関器等のドプラ推定器を含むことができ、該推定器において、速度（ドプラ周波数）推定はラグ１自己相関関数の引数に基づくものであり、ドプラパワー推定はラグ０自己相関関数の大きさに基づくものである。動きは、既知の位相ドメイン（例えば、MUSIC、ESPRIT等のパラメトリック周波数推定器）又は時間ドメイン（例えば、相互相関）信号処理技術により推定することができる。加速度、又は時間的及び／又は空間的速度微分の推定器等の速度の時間的又は空間的分布に関する他の推定器を、速度推定器に代えて又は加えて用いることもできる。
【0046】
スキャンコンバータ９３０、多断面再フォーマッタ９３２及び／又はボリュームレンダラ９３４からの出力（例えば、画像）は、画像ディスプレイ９３８上に表示される前に、更なる向上、バッファリング及び一時的記憶のために画像プロセッサ９３６に結合することができる。幾つか態様において、例えば２Ｄリアルタイム超音波データの術前画像データとの画像融合を実行する場合、当該システムは術前データの情報源（ソース）９６８を含み又は斯かるソースに通信的に結合することができる。スキャンコンバータ９３０からの２Ｄ画像は先ず位置合わせ及びフュージョンプロセッサ９６４を通過させることができ、該位置合わせフュージョンプロセッサは、融合し合成された画像を下流（例えば、画像プロセッサ及び／又はグラフィックプロセッサ）に送る前に、リアルタイムで運動誘発性誤整列を補正するように構成することができる。グラフィックプロセッサ９４０は、画像と一緒に表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは、例えば患者の名前、画像の日付及び時間、撮像パラメータ等の標準的識別情報を含むことができる。これらの目的のために、該グラフィックプロセッサはユーザインターフェース９２４からタイプされた患者の名前又は他の注釈等の入力を受信するように構成することができる。幾つか態様において、当該システム９１０は、本明細書に記載されたアルゴリズムのパラメータを設定するためにユーザインターフェース９２４を介してユーザ入力を受信するように構成することができる。幾つか態様において、前記グラフィックプロセッサ、画像プロセッサ、ボリュームレンダラ及び多断面再フォーマッタのうちの少なくとも１つの１以上の機能は、これら要素の各々に関して説明された特定の機能が別個の処理ユニットにより実行されるというより、統合された画像処理回路（該回路の動作は併行して動作する複数のプロセッサの間で分割することができる）内に組み合わせることができる。更に、例えばＢモード画像又はドプラ画像を生成するためのエコー信号の処理はＢモードプロセッサ及びドプラプロセッサに関連させて説明されているが、これらプロセッサの機能は単一のプロセッサに統合することができることが理解されるであろう。
【0047】
図１０は、本開示の原理による方法１０００のフローチャートを示す。該方法は、ブロック１０１０に示されるように、リアルタイム超音波画像データ及び術前画像データ（例えば、ＣＴ又はＭＲＩデータ）を受信するステップを含むことができる。リアルタイム超音波画像は、各到来フレームに対して生成され、画像融合のために術前データと空間的に位置合わせすることができる。本開示の原理による空間的位置合わせは、リアルタイム画像を術前データと位置データに基づいて空間的に整列させると共に運動誘発性誤整列を更に補正するステップを含むことができる。この目的のために、方法１０００は、ブロック１０１２に示されるように、運動モデルをリアルタイム超音波画像データに基づいて導出するステップを含むことができる。該運動モデルは、当該システムが動き補償された画像面を自動的に選択することを可能にすることにより運動誘発性誤整列を補正するために使用することができる。当該方法は、更に、ブロック１０１４に示されるように、例えば当該運動モデルと臓器運動との間の同期を維持するために該運動モデルを動的に更新するステップを含むことができる。該運動モデルは、ブロック１０１６に示されるように術前データに適用されて、ブロック１０１８に示されるようにリアルタイム画像データとの融合のための動き補償された術前スライスを識別することができ、次いで、合成された画像はディスプレイに供給することができる（１０２０）。本明細書における例による方法は、本明細書に記載されたアルゴリズムの実行により果たされる又は関連するステップ又は機能の如何なる組合せも含むことができる。
【0048】
本開示に関し、本明細書に記載された種々の方法及び装置はハードウェア、ソフトウェア及びファームウエアで実施化することができることに注意されたい。更に、斯かる種々の方法及び装置は、如何なる限定の意味ではなく、例示のみとして含まれている。本開示に関し、当業者であれば、本教示を、本開示の範囲内に留まりながら、自身の技術及び斯かる技術に影響を与えるために要する装置を決定するために実施することができる。本明細書に記載されたプロセッサの１以上の機能は、より少数の又は単一の処理ユニット（例えば、ＣＰＵ又はＧＰＵ）に組み込むことができ、又は、代わりに、これらは一層多数の処理ユニットの間に分散させることができ、特定用途向け集積回路（ＡＳＩＣ）又は本明細書に記載される機能を果たすための実行可能な命令に応じてプログラムされた汎用処理回路を用いて実施することができる。コンピュータプログラム（例えば、実行可能な命令）は、光記憶媒体又は他のハードウェアと一緒に若しくは斯かるハードウェアの一部として供給される固体媒体等の如何なる好適なコンピュータ読取可能な媒体によっても記憶／分配するとこができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように他の形態で分配することもできる。
【0049】
本明細書に記載された例、実施態様又は処理の何れも、他の例、実施態様及び／又は処理の１以上と組み合わせることができ、又は本システム、装置及び方法による別個の装置若しくは装置部分の間で分離及び／又は実行することができると理解される。最後に、上述した説明は、本システムの単なる例示であることを意図するものであり、添付請求項を如何なる特定の実施態様又は実施態様のグループに限定するものと見なされるべきではない。このように、本システムは例示的実施態様を参照して特に詳細に説明されているが、当業者であれば、後述する請求項に記載される本システムの一層広い意図する趣旨及び範囲から逸脱することなしに多数の変形例及び代替実施態様に想到することができると理解されるべきである。従って、明細書及び図面は例示的と見なされるべきであり、添付請求項の範囲を限定することを意図するものではない。
【図1】
【図2】
【図3-1】
【図3-2】
【図4】
【図5】
【図6】
【図7-1】
【図7-2】
【図8A】
【図8B-1】
【図8B-2】
【図9】
【図10】