(58)【調査した分野】(Int.Cl.,DB名)
運動する組織を含む領域を撮影対象として収集された2次元又は3次元の超音波画像データの動画像データの中で、少なくとも1つの時相の超音波画像データにて2次元又は3次元の関心領域を設定する設定部と、
前記動画像データが収集された区間のうち前記少なくとも1つの時相以外の残余時相の各超音波画像データで、動き情報に基づいて前記関心領域として推定した領域の第1位置情報と、前記動き情報以外の情報に基づいて前記関心領域として推定した領域の第2位置情報とを取得する推定部と、
前記動き情報の信頼度に関わる信頼度指標に基づいて前記第1位置情報と前記第2位置情報とを合成した位置情報を前記関心領域の位置情報として取得して、前記関心領域を追跡する追跡部と、
を備えたことを特徴とする超音波診断装置。
前記動画像データは、前記運動する組織である周期的に運動する組織を撮影対象として収集された少なくとも1周期以上の区間に渡る2次元又は3次元の超音波画像データである、請求項1に記載の超音波診断装置。
前記第1推定部は、前記関心領域を含む領域内の複数の点それぞれの移動ベクトルを演算し、得られた移動ベクトル群から統計的に異常な移動ベクトルを除去した残存移動ベクトル群を用いて、前記関心領域を構成する各追跡点の移動ベクトルを推定することで、前記第1位置情報を推定し、
前記定義部は、複数の追跡点それぞれの近傍領域において前記残存移動ベクトル群として採用された移動ベクトルの密度、及び、前記複数の追跡点それぞれの近傍領域内での移動ベクトルの分散値の少なくとも1つを、前記少なくとも1つの変量として用いる、請求項3に記載の超音波診断装置。
前記第1推定部は、前記第1画像データと前記第2画像データとの間で、前記関心領域を構成する各追跡点の前記第1時相から前記第2時相へ向かう順方向移動ベクトルと、前記関心領域を構成する各追跡点の前記第2時相から前記第1時相へ向かう逆方向移動ベクトルとを推定し、
前記定義部は、前記関心領域を構成する各追跡点における順方向移動ベクトルと逆方向移動ベクトルとの一致度を、前記少なくとも1つの変量として用いる、請求項3に記載の超音波診断装置。
前記第2推定部は、前記第2画像データと同時相の形状辞書情報とを照合する第1処理で得られる位置情報、形状エネルギー最小化原理に基づく第2処理で得られる位置情報、及び、最小2乗法に基づくフィッティングを含む第3処理で得られる位置情報の少なくとも1つの位置情報を用いて、前記第2位置情報を推定する、請求項3〜6のいずれか1つに記載の超音波診断装置。
前記組み合わせ部は、前記信頼度指標が高い場合に前記第1位置情報の重みが高くなるよう、前記第1位置情報と第2位置情報とを重み付け加算する、請求項3〜7のいずれか1つに記載の超音波診断装置。
前記信頼度指標の前記関心領域における平均値が所定の閾値以上の時相については、前記第1位置情報を前記関心領域の位置情報として前記追跡部に出力させ、当該平均値が前記所定の閾値より小さい時相については、前記第1位置情報と前記第2位置情報とを組み合わせた位置情報を前記関心領域の位置情報として前記追跡部に出力させる制御部、
を更に備える、請求項1〜8のいずれか1つに記載の超音波診断装置。
前記第2推定部は、前記形状辞書情報を有している特定時相では、前記第1処理で得られる位置情報を前記第2位置情報とし、前記特定時相以外の時相では、前記第2処理で得られる位置情報、又は、前記第2処理で得られる位置情報及び前記第3処理で得られる位置情報を組み合わせた位置情報を前記第2位置情報とする、請求項7〜9のいずれか1つに記載の超音波診断装置。
運動する組織を含む領域を撮影対象として収集された2次元又は3次元の超音波画像データの動画像データの中で、少なくとも1つの時相の超音波画像データにて2次元又は3次元の関心領域を設定する設定部と、
前記動画像データが収集された区間のうち前記少なくとも1つの時相以外の残余時相の各超音波画像データで、動き情報に基づいて前記関心領域として推定した領域の第1位置情報と、前記動き情報以外の情報に基づいて前記関心領域として推定した領域の第2位置情報とを取得する推定部と、
前記動き情報の信頼度に関わる信頼度指標に基づいて前記第1位置情報と前記第2位置情報とを合成した位置情報を前記関心領域の位置情報として取得して、前記関心領域を追跡する追跡部と、
を備える、画像処理装置。
設定部が、運動する組織を含む領域を撮影対象として収集された2次元又は3次元の超音波画像データの動画像データの中で、少なくとも1つの時相の超音波画像データにて2次元又は3次元の関心領域を設定し、
推定部が、前記動画像データが収集された区間のうち前記少なくとも1つの時相以外の残余時相の各超音波画像データで、動き情報に基づいて前記関心領域として推定した領域の第1位置情報と、前記動き情報以外の情報に基づいて前記関心領域として推定した領域の第2位置情報とを取得し、
追跡部が、前記動き情報の信頼度に関わる信頼度指標に基づいて前記第1位置情報と前記第2位置情報とを合成した位置情報を前記関心領域の位置情報として取得して、前記関心領域を追跡する、
ことを含む、画像処理方法。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、超音波診断装置の実施形態を詳細に説明する。
【0011】
(第1の実施形態)
まず、第1の実施形態に係る超音波診断装置の構成について説明する。
図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。
図1に例示するように、第1の実施形態に係る超音波診断装置は、超音波プローブ1と、モニタ2と、入力装置3と、心電計4と、装置本体10とを有する。
【0012】
超音波プローブ1は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体10が有する送受信部11から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ1は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ1は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ1は、装置本体10と着脱自在に接続される。
【0013】
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ1が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
【0014】
例えば、本実施形態では、被検体Pの2次元走査用に、複数の圧電振動子が一列で配置された1Dアレイプローブが超音波プローブ1として装置本体10と接続される。例えば、超音波プローブ1としての1Dアレイプローブは、セクタ走査を行なうセクタプローブや、オフセットセクタ走査を行なうコンベックスプローブ、リニア走査を行なうリニアプローブ等である。或いは、例えば、本実施形態では、被検体Pの3次元走査用に、メカニカル4Dプローブや2Dアレイプローブが超音波プローブ1として装置本体10と接続されても良い。メカニカル4Dプローブは、1Dアレイプローブのように一列で配列された複数の圧電振動子を用いて2次元走査が可能であるとともに、複数の圧電振動子を所定の角度(揺動角度)で揺動させることで3次元走査が可能である。また、2Dアレイプローブは、マトリックス状に配置された複数の圧電振動子により3次元走査が可能であるとともに、超音波を集束して送信することで2次元走査が可能である。
【0015】
入力装置3は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体10に対して受け付けた各種設定要求を転送する。なお、第1の実施形態に係る入力装置3が操作者から受け付ける設定情報については、後に詳述する。
【0016】
モニタ2は、超音波診断装置の操作者が入力装置3を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体10において生成された超音波画像データ等を表示したりする。
【0017】
心電計4は、超音波走査される被検体Pの生体信号として、被検体Pの心電波形(ECG: Electrocardiogram)を取得する。心電計4は、取得した心電波形を装置本体10に送信する。
【0018】
装置本体10は、超音波プローブ1が受信した反射波信号に基づいて超音波画像データを生成する装置である。
図1に示す装置本体10は、超音波プローブ1が受信した2次元の反射波データに基づいて2次元の超音波画像データを生成可能な装置である。また、
図1に示す装置本体10は、超音波プローブ1が受信した3次元の反射波データに基づいて3次元の超音波画像データを生成可能な装置である。以下、3次元の超音波画像データを「ボリュームデータ」と記載する場合がある。
【0019】
装置本体10は、
図1に示すように、送受信部11と、Bモード処理部12と、ドプラ処理部13と、画像生成部14と、画像メモリ15と、内部記憶部16と、画像処理部17と、制御部18とを有する。
【0020】
送受信部11は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ1に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ1から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。
【0021】
なお、送受信部11は、後述する制御部18の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
【0022】
また、送受信部11は、プリアンプ、A/D(Analog/Digital)変換器、受信遅延部、加算器等を有し、超音波プローブ1が受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。A/D変換器は、増幅された反射波信号をA/D変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
【0023】
送受信部11は、被検体Pを2次元走査する場合、超音波プローブ1から2次元の超音波ビームを送信させる。そして、送受信部11は、超音波プローブ1が受信した2次元の反射波信号から2次元の反射波データを生成する。また、送受信部11は、被検体Pを3次元走査する場合、超音波プローブ1から3次元の超音波ビームを送信させる。そして、送受信部11は、超音波プローブ1が受信した3次元の反射波信号から3次元の反射波データを生成する。
【0024】
なお、送受信部11からの出力信号の形態は、RF(Radio Frequency)信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。
【0025】
Bモード処理部12は、送受信部11から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。
【0026】
ドプラ処理部13は、送受信部11から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
【0027】
なお、第1の実施形態に係るBモード処理部12及びドプラ処理部13は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。すなわち、Bモード処理部12は、2次元の反射波データから2次元のBモードデータを生成し、3次元の反射波データから3次元のBモードデータを生成する。また、ドプラ処理部13は、2次元の反射波データから2次元のドプラデータを生成し、3次元の反射波データから3次元のドプラデータを生成する。
【0028】
画像生成部14は、Bモード処理部12及びドプラ処理部13が生成したデータから超音波画像データを生成する。すなわち、画像生成部14は、Bモード処理部12が生成した2次元のBモードデータから、反射波の強度を輝度で表した2次元Bモード画像データを生成する。また、画像生成部14は、ドプラ処理部13が生成した2次元のドプラデータから、移動体情報を表す2次元ドプラ画像データを生成する。2次元ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。また、画像生成部14は、ドプラ処理部13が生成したドプラデータから、血流や組織の速度情報を時系列に沿ってプロットしたドプラ波形を生成することも可能である。
【0029】
ここで、画像生成部14は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像生成部14は、超音波プローブ1による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部14は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なう。また、画像生成部14は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
【0030】
すなわち、Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成部14が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。
【0031】
更に、画像生成部14は、Bモード処理部12が生成した3次元のBモードデータに対して座標変換を行なうことで、3次元Bモード画像データを生成する。また、画像生成部14は、ドプラ処理部13が生成した3次元のドプラデータに対して座標変換を行なうことで、3次元ドプラ画像データを生成する。すなわち、画像生成部14は、「3次元のBモード画像データや3次元ドプラ画像データ」を「3次元超音波画像データ(ボリュームデータ)」として生成する。
【0032】
更に、画像生成部14は、ボリュームデータをモニタ2にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行なう。画像生成部14が行なうレンダリング処理としては、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像データを生成する処理がある。また、画像生成部14が行なうレンダリング処理としては、ボリュームデータに対して「Curved MPR」を行なう処理や、ボリュームデータに対して「Maximum Intensity Projection」を行なう処理がある。また、画像生成部14が行なうレンダリング処理としては、ボリュームレンダリング(VR:Volume Rendering)処理がある。
【0033】
画像メモリ15は、画像生成部14が生成した表示用の画像データを記憶するメモリである。また、画像メモリ15は、Bモード処理部12やドプラ処理部13が生成したデータを記憶することも可能である。画像メモリ15が記憶するBモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成部14を経由して表示用の超音波画像データとなる。
【0034】
なお、画像生成部14は、超音波画像データと当該超音波画像データを生成するために行なわれた超音波走査の時間とを、心電計4から送信された心電波形に対応付けて画像メモリ15に格納する。後述する画像処理部17や制御部18は、画像メモリ15に格納されたデータを参照することで、超音波画像データを生成するために行なわれた超音波走査時の心時相を取得することができる。
【0035】
内部記憶部16は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶部16は、必要に応じて、画像メモリ15が記憶する画像データの保管等にも使用される。また、内部記憶部16が記憶するデータは、図示しないインターフェースを経由して、外部装置へ転送することができる。なお、外部装置は、例えば、画像処理用の高性能なワークステーションや、画像診断を行なう医師が使用するPC(Personal Computer)、CDやDVD等の記憶媒体、プリンター等である。
【0036】
画像処理部17は、コンピュータ支援診断(Computer-Aided Diagnosis:CAD)を行なうために、装置本体10に設置される。画像処理部17は、画像メモリ15に格納された超音波画像データを取得して、診断支援のための画像処理を行なう。そして、画像処理部17は、画像処理結果を、画像メモリ15や内部記憶部16に格納する。
【0037】
具体的には、第1の実施形態に係る画像処理部17は、運動する組織の運動情報を提供するために設置される。上記の運動する組織は、例えば心臓のように、周期的に運動する組織である。第1の実施形態に係る画像処理部17は、
図1に例示するように、取得部171と、設定部172と、追跡部173と、運動情報演算部174とを有する。なお、画像処理部17が行なう処理については、後に詳述する。
【0038】
制御部18は、超音波診断装置の処理全体を制御する。具体的には、制御部18は、入力装置3を介して操作者から入力された各種設定要求や、内部記憶部16から読込んだ各種制御プログラム及び各種データに基づき、送受信部11、Bモード処理部12、ドプラ処理部13、画像生成部14及び画像処理部17の処理を制御する。また、制御部18は、画像メモリ15や内部記憶部16が記憶する表示用の超音波画像データをモニタ2にて表示するように制御する。また、制御部18は、画像処理部17の処理結果をモニタ2に表示するように制御したり、外部装置に出力したりするように制御する。
【0039】
以上、第1の実施形態に係る超音波診断装置の全体構成について説明した。かかる構成のもと、第1の実施形態に係る超音波診断装置が有する画像処理部17は、運動する組織(例えば、周期的に運動する組織)の運動情報を提供するために、時系列に沿った超音波データ群(超音波画像データの動画像データ)にて、関心領域の追跡を行なう。一例として、第1の実施形態に係る画像処理部17は、周期的に運動する心壁の運動情報を提供するために、超音波画像データの動画像データにて、心筋の内膜の輪郭や心筋の外膜の輪郭の追跡を行なう。
【0040】
なお、画像処理部17の処理対象となる動画像データは、2次元超音波画像データ群であっても、3次元超音波画像データ群であっても良い。
【0041】
まず、
図1に例示する取得部171は、運動する組織を含む領域を撮影対象として収集された2次元又は3次元の超音波画像データの動画像データを取得する。具体的には、第1の実施形態では、動画像データは、運動する組織である周期的に運動する組織を撮影対象として収集された少なくとも1周期以上の区間に渡る2次元又は3次元の超音波画像データである。すなわち、取得部171は、周期的に運動する組織を含む領域を撮影対象として収集された少なくとも1周期以上の区間に渡る2次元又は3次元の超音波画像データの動画像データを取得する。例えば、操作者は、セクタプローブにより、被検体Pの心臓を含む領域を2次元走査、又は、3次元走査を行なって、心筋が描出された2次元又は3次元の超音波画像データの動画像データの撮影を行なう。動画像データは、例えば、Bモードで収集された超音波画像データ群である。これにより、画像生成部14は、心筋の動画像データを生成し、生成した動画像データを画像メモリ15に格納する。
【0042】
以下では、一例として、操作者が、乳頭筋レベルの左室短軸断面の2次元走査を行なうことで、複数心拍に渡る2次元超音波画像データの動画像データが収集される場合について説明する。乳頭筋レベルの左室短軸断面の超音波画像データには、右心室(RV:Right Ventricular)の短軸面の一部と、左心室(LV:Left Ventricular)の短軸面の全体とが描出される。また、乳頭筋レベルの左室短軸断面の超音波画像データには、左心室内の前乳頭筋(APM : Anterolateral Papillary Muscle)と後乳頭筋(PPM : Posteromedial Papillary Muscle)とが描出される。
【0043】
そして、操作者は、追跡対象の区間として、例えば、最初の拡張末期(ED:End Diastole)から次の拡張末期までの1心拍区間を設定する。以下、最初の拡張末期の時相を「ED0」と記載し、次の拡張末期の時相を「ED1」と記載する。「ED0」は、追跡開始時相となり、「ED1」は、追跡終了時相となる。
【0044】
取得部171は、操作者が設定した1心拍区間(t=ED0〜ED1)の動画像データを画像メモリ15から取得する。
図2は、取得部が取得する動画像データの一例を示す図である。例えば、取得部171は、
図2に示すように、1心拍区間(t=ED0〜ED1)の2次元動画像データとして、「時相:t1=E0」の画像データ「I(t1)」〜「時相:tn=E1」の画像データ「I(tn)」を画像メモリ15から取得する。なお、本実施形態は、取得部171が3次元超音波画像データの動画像データを取得する場合であっても適用可能である。また、本実施形態は、追跡対象の区間が2心拍区間や3心拍区間として設定される場合であっても適用可能である。
【0045】
図1に例示する設定部172は、取得部171が取得した動画像データの中で、少なくとも1つの時相の超音波画像データにて2次元又は3次元の関心領域を設定する。動画像データが2次元超音波画像データ群である場合、設定部172は、2次元の関心領域を設定する。また、動画像データが3次元超音波画像データ群である場合、設定部172は、2次元又は3次元の関心領域を設定する。
【0046】
また、周期的に運動する心壁の運動情報を操作者に提供する本実施形態では、関心領域は、左室内膜の輪郭や心筋外膜の輪郭となる。本実施形態では、設定部172は、操作者が用手的に設定した情報から、関心領域を設定する。
図3は、操作者により設定される初期輪郭の一例を示す図である。
【0047】
例えば、操作者は、入力装置3を用いて、追跡開始時相「t1=E0」の画像データ「I(t1)」の表示要求を行なう。モニタ2は、制御部18の制御により、画像データ「I(t1)」を表示する。操作者は、
図3の上図に示す画像データ「I(t1)」を参照して、左室内膜の輪郭の位置をトレースする。また、操作者は、
図3の上図に示す画像データ「I(t1)」を参照して、心筋外膜の輪郭の位置をトレースする。これにより、設定部172は、
図3の下図に示すように、操作者がトレースした左室内膜の輪郭の位置を、左室内膜の初期輪郭位置「C(t1)」として設定する。また、設定部172は、
図3の下図に示すように、操作者がトレースした心筋外膜の輪郭の位置を、心筋外膜の初期輪郭位置「D(t1)」として設定する。
図3では、操作者がトレースした輪郭線を、太い曲線で示している。ここで、心筋外膜の輪郭位置は、心内膜位置から所定の厚さ(所定の距離)だけ離れた位置として自動的に発生させても良い。
【0048】
なお、本実施形態は、心筋の中層の輪郭の位置が初期輪郭位置として設定される場合であっても良い。また、本実施形態は、操作者により用手的に設定された初期輪郭位置を用いる場合に限定されるものではなく、設定部172が超音波画像データの輝度等に基づいて、初期輪郭位置を自動的に設定する場合であっても良い。
【0049】
そして、
図1に例示する追跡部173は、動画像データが収集された区間のうち、初期関心領域が設定された時相以外の残余時相の各超音波画像データで関心領域の追跡を行なう。具体的には、追跡部173は、追跡対象の区間のうち初期関心領域が設定された時相以外の残余時相の各超音波画像データで、関心領域の追跡を行なう。例えば、追跡部173は、設定部172が追跡開始時相「t1=E0」で設定した初期輪郭位置を、追跡開始時相「t1=E0」以外の残余時相『「t2」〜「tn=E1」』それぞれの超音波画像データ「I(t2)〜I(tn)」にて追跡する。
【0050】
従来では、初期関心領域の位置(初期輪郭位置)の追跡は、スペックルトラッキングにより行なわれていた。すなわち、従来では、局所的なパターンマッチング処理や、オプティカルフロー法で得られる動き情報(移動ベクトル)を用いて、初期輪郭位置を自動的に追跡することで、残余時相「t2〜tn=E1」の各超音波画像データの関心領域の位置を取得していた。しかし、心臓の変形率(strain rate)が大きい拡張早期時相や、収縮ピーク時相では、フレーム間やボリューム間でのパターン変化の程度が大きい。
【0051】
このため、スペックルトラッキングでは、フレームレートやボリュームレートが不足すると移動ベクトルの正確な推定が困難となる。特に、2次元画像データの場合には、追跡する輪郭が走査断面を通過する動き(through-plane)の影響を受けるので、フレーム間でのパターン変化の程度は、更に大きくなり、移動ベクトルの正確な推定がより困難となる。
【0052】
更に、ノイズやアーティファクトにより動画像データの画質が悪い場合、不要な成分が混入している箇所では、移動ベクトルの正確な推定が困難となる。上記の様々な要因により、動き情報が正確に推定できない場合には、追跡外れが生じ、その結果、正確な壁運動解析が行えなくなる。
【0053】
これに対して、追跡結果により得られた輪郭の位置と初期輪郭位置との間で、動きが矛盾している追跡点を検知し、検知した追跡点の位置を修正する手法が知られている。しかし、この方法は、検知した追跡点の周辺の追跡点の位置が正確であるという前提に基づくものである。しかし、パターン変化の程度が大きくなる上記の時相では、広範囲で動き情報の推定が破綻する。すなわち、拡張早期時相や、収縮ピーク時相では、この前提が満たされず、高精度な追跡を行なえない。
【0054】
また、画像内でノイズ成分が混入している領域をユーザーが指定し、ユーザーが指定した領域の輪郭位置を、この領域以外で追跡された輪郭の位置情報から与える手法が知られている。しかし、この方法は、ユーザーが用手的に追跡外れ位置での輪郭を修正する必要があり、手間を要する。
【0055】
また、画像データに基づく3次元輪郭形状とオプティカルフローに基づく3次元輪郭形状との線形和により最終的な3次元の輪郭を決定する方法が知られている。しかし、この方法は、3次元動画像データを用いた輪郭追跡に適用できるが、2次元動画像データを用いた輪郭追跡に適用する場合には、上述した「through-plane」の影響を排除できないため性能が制約される。また、線形和を如何なる条件に基づいて行なうかを明確に示す手法は、現時点で知られていない。
【0056】
そこで、
図1に例示する追跡部173は、関心領域の追跡結果を正確に得るために、以下に説明する追跡処理を行なう。すなわち、
図1に例示する追跡部173は、残余時相の各超音波画像データで、動き情報に基づいて関心領域として推定した領域の第1位置情報を取得する。また、
図1に例示する追跡部173は、残余時相の各超音波画像データで、動き情報以外の情報(例えば、形状情報)に基づいて関心領域として推定した領域の第2位置情報を取得する。すなわち、追跡部173は、第1位置情報及び第2位置情報を取得する推定部として機能する。そして、
図1に例示する追跡部173は、動き情報の信頼度に関わる信頼度指標に基づいて、第1位置情報と、第2位置情報とを合成した位置情報を、関心領域の位置情報として取得する。これにより、
図1に例示する追跡部173は、残余時相の各超音波画像データで、関心領域を追跡する。ここで、「信頼度指標」は、動き情報の品質である「動き品質」とも定義される。以下では、「信頼度指標」を「動き品質」と記載する場合がある。
【0057】
図4は、
図1に示す追跡部の構成例を示すブロック図である。上記の追跡処理を行なうため、追跡部173は、例えば、
図4に示すように、第1推定部173aと、定義部173bと、第2推定部173cと、組み合わせ部173dとを有する。なお、以下に説明する第1推定部173aと第2推定部173cとは、追跡部173とは別に、画像処理部17において、推定部として設置される場合であっても良い。
【0058】
第1推定部173aは、動き情報に基づく関心領域の追跡処理、すなわち、スペックルトラッキング処理を行なう。すなわち、第1推定部173aは、第1時相の超音波画像データである第1画像データと、第1時相と時間的に隣接する第2時相の超音波画像データである第2画像データとの間で動き情報を推定し、推定した動き情報に基づいて第1画像データの関心領域を移動して、第2画像データの第1位置情報を推定する。
【0059】
具体的には、第1推定部173aは、関心領域を含む領域内の複数の点それぞれの移動ベクトルを演算する。より具体的には、第1推定部173aは、テンプレートマッチング処理により、複数の点それぞれの移動ベクトルを演算する。そして、第1推定部173aは、関心領域を構成する各追跡点について、追跡点を含む所定のサイズのセグメント内で得られた移動ベクトル群から統計的に異常な移動ベクトルを除去した残存移動ベクトル群を用いて該追跡点の移動ベクトルを推定する。これにより得られた各追跡点の移動ベクトルを用いて、第1推定部173aは、第1位置情報を推定する。そして、第1推定部173aは、得られた移動ベクトル群から統計的に異常な移動ベクトルを除去した残存移動ベクトル群を用いて、関心領域を構成する各追跡点の移動ベクトルを推定することで、第1位置情報を推定する。
【0060】
定義部173bは、第1推定部173aの処理で得られる少なくとも1つの変量に基づいて、信頼度指標(動き品質)を定義する。第2推定部173cは、第2画像データの第2位置情報を動き情報以外の情報(例えば、形状情報)により推定する。組み合わせ部173dは、信頼度指標(動き品質)に基づいて第1位置情報と第2位置情報とを組み合わせた位置情報を、第2画像データにおける関心領域の位置情報として取得する。
【0061】
以下、上述した各部が行なう具体的な処理の一例について、
図5A〜
図16を用いて、詳細に説明する。
図5A〜
図16は、第1の実施形態に係る追跡部を説明するための図である。以下では、
図3の下図に示す左室内膜の初期輪郭位置「C(t1)」を残余時相「t2〜tn=E1」の各超音波画像データで追跡する場合について説明する。以下に説明する処理により、心筋外膜の初期輪郭位置「D(t1)」についても、同様に、追跡可能である。このため、心筋外膜の輪郭位置の追跡処理については、説明を省略する。
【0062】
まず、第1推定部173aは、
図5Aに示すように、初期輪郭位置「C(t1)」に複数の追跡点を設定する。また、第1推定部173aは、
図5Bに示すように、初期輪郭位置「C(t1)」の近傍に、複数の点を設定する。
図5Bに例示する複数の点それぞれは、動き情報(移動ベクトル)を演算するための演算点である。
【0063】
そして、第1推定部173aは、第1時相を「t1」とし、第2時相を「t2」とする。そして、第1推定部173aは、第1画像データである「I(t1)」と第2画像データである「I(t2)」との間で動き情報を推定し、推定した動き情報に基づいてI(t1)の初期輪郭位置「C(t1)」を移動する。これにより、第1推定部173aは、
図6に示すように、「I(t2)」の第1位置情報「Cvector(t2)」を推定する。
【0064】
具体的には、第1推定部173aは、「I(t1)」で設定した複数の演算点それぞれに対して、テンプレートデータを設定する。テンプレートデータは、演算点を中心とする複数のピクセルから構成される。そして、第1推定部173aは、2つのフレーム間、すなわち、「I(t1)」と「I(t2)」との間で、テンプレートデータのスペックルパターンと最も一致する領域を探索することで、テンプレートデータが次のフレームでどの位置に移動したかを追跡する。これにより、第1推定部173aは、「I(t1)」の複数の演算点それぞれの移動ベクトルを演算する。以下、「I(t1)」の複数の演算点それぞれの移動ベクトルの集合を{Mv0}とする。{Mv0}は、複数の演算点それぞれで演算された移動ベクトル群となる。
【0065】
図7は、第1推定部173aが演算した移動ベクトル群{Mv0}の一例を示している。
図7では、白抜きの正方形が演算点を示し、白抜きの正方形から延びる線分が移動ベクトルを示している。なお、
図7に例示する移動ベクトル群は、心内腔が拡大する拡張早期の画像データ間で演算された移動ベクトル群の様子を模式的に示したものである。
【0066】
そして、第1推定部173aは、
図5Aに示す各追跡点を、所定のサイズのセグメント単位で分割する。例えば、第1推定部173aは、
図8に示すように、アメリカ心エコー図学会やアメリカ心臓協会が推奨する分割領域を用いて、短軸断面の左心室心筋を、「ANT−SEPT(前壁中隔)、ANT(前壁)、LAT(側壁)、POST(後壁)、INF(下壁)、SEPT(中隔)」の6つのセグメントに分ける。これにより、
図5Aに示す各追跡点は、
図8に例示する6つのセグメントのいずれかに含まれることになる。また、
図5Bに示す各演算点は、
図8に例示する6つのセグメントのいずれかに含まれることになる。
【0067】
そして、第1推定部173aは、各セグメントに含まれる移動ベクトル群を統計処理することで、各セグメントの統計値を演算し、各セグメントで統計値が異常値となる移動ベクトルを特定する。そして、第1推定部173aは、特定した移動ベクトルの集合、すなわち、統計値が異常値となる移動ベクトルの集合を{Mv’}とする。そして、第1推定部173aは、{Mv0}から{Mv’}を除去した移動ベクトルの集合{Mv}を残存移動ベクトル群とする。
【0068】
例えば、第1推定部173aは、各セグメントでの移動ベクトル群の分散値「Vari(s)」を演算する。ここで、
図8に例示する6つのセグメントを「s1、・・・・、s6」とすると、第1推定部173aは、6つの分散値「Vari(s1)、・・・・、Vari(s6)」を演算する。そして、第1推定部173aは、例えば、セグメント「s1」に含まれる移動ベクトル群において、「α×Vari(s1)」を超える移動ベクトルを異常移動ベクトルとして特定する。なお、「α」は、所定の係数であり、「α」の値としては、「2」程度が好適な例となる。第1推定部173aは、かかる処理を、セグメント「s2、s3、s4、s5、s6」それぞれで同様に行なう。これにより、第1推定部173aは、
図9に示すように、異常移動ベクトル群である{Mv’}を特定し、{Mv0}から{Mv’}を除去することで、残存移動ベクトル群{Mv}を取得する。
【0069】
図9は、第1推定部173aが特定して異常移動ベクトル群の一例を示している。
図9では、第1推定部173aが特定した4つの異常移動ベクトルを点線で示している。なお、
図9に例示する異常移動ベクトル群{Mv’}は、
図7で例示した移動ベクトル群{Mv0}、すなわち、心内腔が拡大する拡張早期の画像データ間で演算された移動ベクトル群から特定された異常移動ベクトル群である。このため、
図9で例示する残存移動ベクトル群{Mv}は、概して外向きの方向へ向かう移動ベクトルとなる。
【0070】
そして、第1推定部173aは、残存移動ベクトル群{Mv}を用いて、初期輪郭位置「C(t1)」を構成する複数の追跡点それぞれの移動ベクトルを推定する。以下では、{Mv}を構成する各要素の移動ベクトル(残存移動ベクトル)を、「Mv」と一般化して説明する。また、「C(t1)」を構成する複数の追跡点の中で、任意の追跡点を「p(t1)」とする。第1推定部173aは、残存移動ベクトル群{Mv}の中からp(t1)近傍に位置する幾つかの移動ベクトルを平均することで、p(t1)の移動ベクトル「Mv_p(t1)」を取得する。
【0071】
上記方法の一例について、
図10を用いて説明する。
図10では、p(t1)を、点でハッチングした丸で示している。また、
図10では、p(t1)の近傍に位置する複数の演算点を白丸で示し、各演算点の残存移動ベクトルを白丸から延びる矢印で示している。
【0072】
例えば、第1推定部173aは、p(t1)を中心とする所定半径の円を設定する(
図10に示す点線の丸を参照)。所定半径の長さは、システム上、予め設定された値であっても、操作者により設定された値であっても良い。そして、第1推定部173aは、p(t1)で設定した円内に含まれる複数の残存移動ベクトル(
図10では4つの残存移動ベクトル)を平均することで、p(t1)の移動ベクトル「Mv_p(t1)」を推定する。第1推定部173aは、上述した処理を、{Mv}を用いて、全ての追跡点において行なう。
【0073】
そして、第1推定部173aは、
図11の上図に示すように、p(t1)をMv_p(t1)により移動させた点p(t2)の位置を第1位置情報として推定する。これにより、第1推定部173aは、
図11の下図に示すように、「I(t2)」の第1位置情報「Cvector(t2)」を取得する。以下では、「Cvector(t2)」を構成する複数の追跡点の中で、任意の追跡点を「p(t2)」とする。
【0074】
そして、定義部173bは、「第1推定部173aの処理で得られる少なくとも1つの変量」を用いて、「p(t2)」の信頼度指標である動き品質「Q_p(t2)」を定義する。
【0075】
第1推定部173aは、上述したように、テンプレートマッチングにより移動ベクトルを推定する。すなわち、第1推定部173aは、現時相でのテンプレートにおける画像信号値の濃淡パターンに対して、次の時相で最も似ているパターンが存在する位置を探索することで各演算点での移動ベクトルを検出する。そこで、定義部173bは、第1推定部173aが行なったテンプレートマッチング処理で得られる変量から、残存移動ベクトル群{Mv}を構成する個々の残存移動ベクトル「Mv」の信頼度「R(Mv)」を定義する。信頼度の定義に用いる変量は、以下に説明する3つの変量が挙げられる。
【0076】
信頼度の定義に用いる第1の変量は、テンプレートマッチング処理における基準テンプレートの平均信号値である。すなわち、テンプレートの信号値が極端に小さい場合には、このテンプレートは、マッチングに有効な組織領域ではなく、心腔内やホワイトノイズの領域と考えられる。従って、テンプレート内の信号の平均値「Tm」が小さい時には「R(Mv)」の値を小さくするのが妥当となる。
【0077】
そこで、定義部173bは、一例として、以下に示す式(1)により、「R(Mv)」を定義する。なお、以下の式(1)で示す「Mth」は、基準テンプレート内の信号平均値に対して設定された下限閾値である。「Mth」は、例えば、内部記憶部16に予め格納される。或いは、「Mth」は、例えば、操作者により設定される。
【0079】
すなわち、定義部173bは、「Tm」が「Mth」以上の基準テンプレートを用いて演算された残存移動ベクトルについては、信頼度を「1」と定義し、「Tm」が「Mth」より小さい基準テンプレートを用いて演算された残存移動ベクトルについては、信頼度を「0」と定義する。
【0080】
信頼度の定義に用いる第2の変量は、テンプレートマッチング処理における基準テンプレートの信号分散値である。すなわち、基準テンプレートの信号値の濃淡パターンが一様過ぎる場合には、次の時相の探索範囲における濃淡パターンも一様に近いと考えられる。かかる場合、最も似ている位置が、第2画像データにて至る所で検出される可能性が高いため、正確な移動ベクトルの推定ができなくなる。従って、基準テンプレート内の信号の分散値「Tσ」が小さい時には「R(Mv)」の値を小さくするのが妥当となる。
【0081】
そこで、定義部173bは、一例として、以下に示す式(2)により、「R(Mv)」を定義する。なお、以下の式(2)で示す「Sth」は、基準テンプレート内の信号分散値に対して設定された下限閾値である。「Sth」は、例えば、内部記憶部16に予め格納される。或いは、「Sth」は、例えば、操作者により設定される。
【0083】
すなわち、定義部173bは、「Tσ」が「Sth」以上の基準テンプレートを用いて演算された残存移動ベクトルについては、信頼度を「1」と定義し、「Tσ」が「Sth」より小さい基準テンプレートを用いて演算された残存移動ベクトルについては、信頼度を「0」と定義する。
【0084】
信頼度の定義に用いる第3の変量は、テンプレートマッチング処理におけるテンプレート間の類似度である。第1推定部173aは、基準テンプレートと次の時相の探索領域との比較により、第2画像データで基準テンプレートと最も似ている位置を探索する。従って、最終的に探索した位置の領域が、基準テンプレートとどの程度似ているかを示す類似度を定義することができる。代表的な類似度としては、相互相関係数「Ck」があり、入力信号が実数の場合、「Ck」は、「0≦Ck≦1」となる。画像データ間の比較を行なう本実施形態では、入力信号が実数となり、「0≦Ck≦1」となる。類似度が低くなることは、現時相から次の時相までの時間経過において、追跡対象部位のパターン変化が大きいことを意味する。従って、類似度である「Ck」が小さい時には「R(Mv)」の値を小さくするのが妥当となる。
【0085】
そこで、定義部173bは、一例として、以下に示す式(3)により、「R(Mv)」を定義する。なお、以下の式(3)で示す「Cth」は、テンプレートマッチングでの類似度に対して設定された下限閾値である。「Cth」は、例えば、内部記憶部16に予め格納される。或いは、「Cth」は、例えば、操作者により設定される。
【0087】
すなわち、定義部173bは、「Ck」が「Cth」以上であった残存移動ベクトルについては、信頼度を「Ck」と定義し、「Ck」が「Cth」より小さかった残存移動ベクトルについては、信頼度を「0」と定義する。
【0088】
なお、上記の式(1)及び式(2)では、単純に、閾値により「1」又は「0」で「R(Mv)」を与えている。しかし、本実施形態は、「R(Mv)」を、上記の制御変数を用いた連続的な単調増加の関数として定義する場合であっても良い。また、「R(Mv)」は、上記の3つの制御変数のうち、少なくとも1つ以上を用いた組合せで定義することも可能である。本実施形態では、上記の3つの制御変数を全て用いて、最終的な「R(Mv)」を与えることが好適である。かかる場合、「R(Mv)」は、「Tm、Tσ、Ck」の3つを制御変数とする関数により定義される。
【0089】
定義部173bは、個々の残存移動ベクトルの「R(Mv)」を上記のように定義することで、個々の残存移動ベクトルの品質評価(信頼性の評価)を行なう。更に、定義部173bは、以下に説明するように、複数の移動ベクトルの空間的な連続性を用いて、所定のサイズを有する領域(セグメント)における移動ベクトルの品質評価(信頼性の評価)を行なう。
【0090】
ここで、生体組織の動きでは、極端な空間的不連続は起こりにくい。一方、スペックルトラッキングでは、スペックルノイズの影響により不当な移動ベクトルが検出されることがあり得る。このため、第1推定部173aは、上述したように、各セグメントでの移動ベクトル群の分散値「Vari(s)」を演算し、{Mv0}から所定の閾値を越える異常値を有する移動ベクトル群{Mv’}を異常移動ベクトル群として取り除き、残存移動ベクトル群{Mv}を得ている。
【0091】
そこで、定義部173bは、第1推定部173aが行なった統計処理で得られる変量を、動き品質(信頼度指標)を定義するための変量とする。
【0092】
統計処理で得られる第1の変量としては、複数の追跡点それぞれの近傍領域内での移動ベクトルの分散値がある。ここで、近傍領域内における移動ベクトルの空間的分散の値が小さいほど、動きの品質は低いと考えられる。近傍領域として、定義部173bは、例えば、上記の6つのセグメント「s1、・・・・、s6」を用いる。かかる場合、定義部173bは、第1推定部173aから、各セグメントでの移動ベクトル群の分散値「Vari(s)」を得る。すなわち、定義部173bは、6つのセグメント「s1、・・・・、s6」それぞれの「Vari(s1)、・・・・、Vari(s6)」を取得する。
【0093】
統計処理で得られる第2の変量としては、複数の追跡点それぞれの近傍領域において残存移動ベクトル群として採用された移動ベクトルの密度がある。ここで、近傍領域内における有効な移動ベクトル(残存移動ベクトル)の密度の値が小さいほど、動きの品質は低いと考えられる。近傍領域として、定義部173bは、例えば、上記の6つのセグメント「s1、・・・・、s6」を用いる。かかる場合、定義部173bは、例えば、第1推定部173aから、各セグメント「s」内での{Mv0}の数と、各セグメント「s」内での{Mv}の数とを取得し、各セグメント「s」における有効移動ベクトルの密度「ρ(s)」を演算する。定義部173bは、一例として、以下に示す式(4)により、「ρ(s)」を定義する。
【0095】
すなわち、定義部173bは、「s」内での{Mv0}の数を、セグメント「s」内での{Mv}の数で除算した値を、「ρ(s)」として定義する。定義部173bは、式(4)を用いて、6つのセグメント「s1、・・・・、s6」それぞれの「ρ(s1)、・・・・、ρ(s6)」を取得する。
【0096】
そして、定義部173bは、上述した「R(Mv)」、「ρ(s)」及び「Vari(s)」の少なくとも1つ以上を用いて、第1推定部173aが演算した各演算点の移動ベクトルの動き品質「Q(s,Mv)」を演算する。例えば、定義部173bは、「Q(s,Mv)」を以下の式(5)により定義する。なお、以下の式(5)で示す「Lth」は、移動ベクトルの空間的分散値に対して設定された下限閾値である。「Lth」は、例えば、内部記憶部16に予め格納される。或いは、「Lth」は、例えば、操作者により設定される。
【0098】
すなわち、定義部173bは、「Vari(s)」が「Lth」より小さいセグメント内に含まれる演算点の移動ベクトルについては、動き品質を「0」とする。例えば、定義部173bは、「Vari(s2)」が「Lth」より小さい場合、「s2」に含まれる演算点の移動ベクトルについては、動き品質を「0」とする。
【0099】
また、定義部173bは、「Vari(s)」が「Lth」以上であったセグメント内に含まれる演算点の移動ベクトルについては、個々の移動ベクトルについて、動き品質の演算を行なう。例えば、定義部173bは、「Vari(s5)」が「Lth」以上である場合、「s5」に含まれる各演算点の移動ベクトル「Mv」の信頼度「R(Mv)」に、「ρ(s5)」を乗算することで、「Q(s5,Mv)」を演算する。
【0100】
これにより、定義部173bは、「Cvector(t2)」の推定に用いられた各残存移動ベクトルの動き品質(信頼度指標)を定義する。なお、定義部173bは、「R(Mv)」を用いて、各残存移動ベクトルの動き品質を定義しても良い。また、定義部173bは、「Vari(s)」及び「ρ(s)」の少なくとも1つを用いて、各残存移動ベクトルの動き品質を定義しても良い。
【0101】
そして、定義部173bは、p(t1)近傍に位置する幾つかの残存移動ベクトルの動き品質を平均することで、「p(t1)から移動したp(t2)」の信頼度指標である動き品質「Q_p(t2)」を定義する。例えば、定義部173bは、
図12に示すように、「Mv_p(t1)」の演算に用いた4つの移動ベクトル(残存移動ベクトル)それぞれの動き品質の平均値を、「Q_p(t2)」として演算する。
【0102】
なお、第1推定部173aの処理と、定義部173bとの処理は、追跡対象となる時相ごとに同期させて、並列で行なわれることが好適である。かかる並列処理は、制御部18の制御により実現可能である。また、上記の処理で用いられたセグメントの数及びサイズは、例えば、操作者により任意の数及びサイズに変更可能である。また、第1推定部173aの処理で用いられるセグメントと、定義部173bの処理で用いられるセグメントとは、異なる場合であっても良い。
【0103】
そして、第2推定部173cは、以下に説明する第1処理で得られる位置情報、第2処理で得られる位置情報及び第3処理で得られる位置情報の少なくとも1つの位置情報を用いて、第2位置情報を推定する。
【0104】
第1処理では、第2推定部173cは、時相「t」の第2画像データと同時相の形状辞書情報「dict(t)」と照合することで、第2画像データにおける関心領域の位置情報「Cdict(t)」を推定する。第1処理を行なう場合、内部記憶部16は、例えば、全ての心時相における左室心筋の形状辞書を予め記憶する。そして、第2推定部173cは、第2画像データが「I(t2)」であることから、時相「t2」に対応する心時相の形状辞書「dict(t2)」を内部記憶部16から取得する。そして、第2推定部173cは、
図13Aに示すように、「I(t2)」と「dict(t2)」とを識別器の機能により照合して、「I(t2)」の関心領域(輪郭)の位置情報「Cdict(t2)」を推定する。識別器としては、形状辞書の学習時や識別時の両方でランダム木を用いるアルゴリズムが高速な手法として知られており、この手法が本実施形態における好適な例である。
【0105】
第2処理では、第2推定部173cは、形状エネルギー最小化原理に基づいて、時相「t」の第2画像データにおける関心領域の位置情報「Ceng(t)」を推定する。一例として、第2推定部173cは、動的輪郭モデル(ACM:Active Contour Model)の一種として知られているSNAKE法を用いる。第2推定部173cは、処理対象となる第2画像データ内に、心内腔の境界近傍の輪郭線を設定する。設定する輪郭線は、例えば、C(t1)に基づいて設定される場合であっても、輝度情報に基づいて設定される場合であっても良い。
【0106】
そして、第2推定部173cは、形状エネルギーの評価関数の値が最小となるまで、輪郭線の位置及び形状の修正を繰り返す。例えば、第2推定部173cは、輝度が急激に変化する箇所に輪郭線が位置し、輪郭線内の輝度値が均一となり、輪郭線が短く、輪郭線の形状が滑らかとなるまで、輪郭線の位置及び形状の修正を繰り返す。これにより、第2推定部173cは、
図13Bに示すように、第2画像データである「I(t2)」の関心領域(輪郭)の位置情報「Ceng(t2)」を推定する。
【0107】
第3処理では、第2推定部173cは、最小2乗法に基づくフィッティングを含む処理により、時相「t」の第2画像データにおける関心領域の位置情報「Cfit(t)」を推定する。ただし、最小2乗法に基づくフィッティング処理で、信頼性の高い位置情報を得るためには、フィッティングの入力として、ある程度正確な位置情報を含む複数の制御点「r(t)」が必要となる。このため、第2推定部173cは、動き品質(信頼度指標)が低下する部位のみに対して第3処理を行なう。
【0108】
上述したように、第2画像データである「I(t2)」の「Cvector(t2)」を構成する各追跡点p(t2)では、動き品質「Q_p(t2)」が定義されている。そこで、第2推定部173cは、「Q_p(t2)」が所定の値以下となるp(t2)を特定する。第2推定部173cは、例えば、
図13Cの左図に示すように、点線の円内に含まれるp(t2)を特定する。そして、第2推定部173cは、点線の円内に含まれるp(t2)以外のp(t2)の集合を、フィッティング処理を行なうための制御点群「r(t2)」とし、制御点群「r(t2)」を用いて最小2乗フィッティングを実施する。これにより、第2推定部173cは、例えば、
図13Cの左図に示すように、第2画像データである「I(t2)」の関心領域(輪郭)の位置情報「Cfit(t2)」を推定する。
【0109】
第3処理では、Cvector(t)上で局所的なノイズの影響で動き品質が低下するような場合において、動き品質が低下する部位の輪郭位置のみを、周辺の動き品質の高いCvector(t)の位置により適切に補間することで、「Cfit(t)」を得る。換言すると、第3処理は、動き品質(信頼度指標)が低下する部位の輪郭形状を、周辺の動き品質(信頼度指標)の高い輪郭形状に基づいて、推定する処理となる。なお、第2推定部173cは、Cvector(t)上で動き品質が低下する局所的な位置においてのみ、第1処理を行なって「Cdict(t)」を得る場合であっても、第2処理を行なって「Ceng(t)」を得る場合であっても良い。
【0110】
そして、第2推定部173cは、「Cdict(t)」、「Ceng(t)」及び「Cfit(t)」の少なくとも1つを用いて、第2画像データの第2位置情報「Cmodel(t)」を定義する。第2画像データが「I(t2)」であることから、第2推定部173cは、「Cdict(t2)」、「Ceng(t2)」及び「Cfit(t2)」の少なくとも1つを用いて、「I(t2)」の第2位置情報「Cmodel(t2)」を定義する。
【0111】
第1処理のみを行なう場合、第2推定部173cは、「Cdict(t2)」を「Cmodel(t2)」とする。また、第2処理のみを行なう場合、第2推定部173cは、「Ceng(t2)」を「Cmodel(t2)」とする。また、第3処理のみを行なう場合、第2推定部173cは、「Cfit(t2)」を「Cmodel(t2)」とする。
【0112】
ここで、第2推定部173cは、「Cvector(t)」及び「Q_p(t)」が得られていれば、「Cfit(t)」を推定可能である。また、第2推定部173cは、「Cvector(t)」及び「Q_p(t)」が得られていない状態でも、「Cdict(t)」の推定や、「Ceng(t)」の推定を行なうことが可能である。更に、第2推定部173cは、「Cdict(t)」の推定と、「Ceng(t)」の推定とは、各々独立に行なうことが可能である。
【0113】
すなわち、第2推定部173cは、これら3つの位置情報を推定することが可能である。そこで、第2推定部173cは、これら3つの位置情報の全て、又は、これら3つの位置情報から選択した2つの位置情報を線形加算することで、「Cmodel(t)」を与えても良い。例えば、第2推定部173cは、例えば、複数の輪郭位置を平均することで、「Cmodel(t)」を与える。
【0114】
ただし、「Cdict(t)」を得るためには、形状辞書を全ての時相で用意する必要がある。臨床での心臓の形状には様々なバリエーションがあるため、高精度な形状辞書を構成するためには一時相だけであっても一般的に数百例以上のデータが必要であり、心周期に渡る全時相での形状辞書を用いるのは実際的でない。
【0115】
そこで、第2推定部173cは、形状辞書情報を有している特定時相では、第1処理で得られる位置情報を第2位置情報とする。一例として、第2推定部173cは、組織(心筋)の形状の局所変形の程度が大きい特定時相では、第1処理で得られる位置情報を第2位置情報とする。また、第2推定部173cは、上記の特定時相以外の時相では、第2処理で得られる位置情報、又は、第2処理で得られる位置情報及び第3処理で得られる位置情報を組み合わせた位置情報を第2位置情報とするのが好適である。
【0116】
ここで、特定時相は、心臓の変形率が大きいとされる代表的な時相であり、追跡外れの起こりやすい時相である大きい拡張早期(e’)時相や、収縮ピーク(s’)時相である。特定位相に応じて第2位置情報を変更する場合、第2推定部173cは、特定時相(e’、s’)においては、第1処理により、「Cdict(t)」を「Cmodel(t)」とする。また、特定位相に応じて第2位置情報を変更する場合、第2推定部173cは、特定時相以外の時相においては、「Ceng(t)」を「Cmodel(t)」とする。或いは、特定位相に応じて第2位置情報を変更する場合、第2推定部173cは、特定時相以外の時相においては、「Ceng(t)」と「Cfit(t)」との線形加算した輪郭位置を「Cmodel(t)」とする。
【0117】
ここで、第1処理及び第2処理については、第2推定部173cは、第1推定部173a及び定義部173bの処理と並列して実行することが可能である。或いは、第1処理及び第2処理については、第2推定部173cは、第1推定部173a及び定義部173bの処理と独立して実行することが可能である。すなわち、第2推定部173cは、取得部171が動画像データを取得した時点で、残余時相全てで、第1処理及び第2処理を行なっても良い。また、第3処理を行なう場合、第2推定部173cは、追跡対象となる時相ごとに同期させて、第1推定部173a及び定義部173bの処理と並列で行なわれることが好適である。各部の処理の進行については、制御部18により制御可能である。
【0118】
上記の処理により、第1推定部173aは、
図14の上図に示すように、輪郭位置「C(t1)」と動き情報{Mv}とに基づく輪郭位置「Cvector(t2)」を、複数の追跡点「p(t2)」の集合として取得する。一方、第2推定部173cは、
図14の上図に示すように、動き情報以外の情報(例えば、形状情報)に基づく輪郭位置「Cmodel(t2)」を、「p(t2)」とは位置や個数が独立な輪郭制御点「q(t2)」の集合として取得する。「Cvector(t2)」は、第1位置情報であり、「Cmodel(t2)」は、第2位置情報となる。そして、複数の追跡点である「p(t2)」それぞれには、動き品質(信頼度指標)が定義されている。
【0119】
そして、組み合わせ部173dは、信頼度指標(動き品質)に基づいて第1位置情報と第2位置情報とを組み合わせる。具体的には、組み合わせ部173dは、信頼度指標(動き品質)に基づいて第1位置情報と第2位置情報とを重み付け加算する。より具体的には、組み合わせ部173dは、信頼度指標(動き品質)が高い場合に第1位置情報の重みが高くなるよう、第1位置情報と第2位置情報とを重み付け加算する。かかる処理を行なうために、組み合わせ部173dは、「Cmodel(t2)」において、複数の追跡点「p(t2)」それぞれに対応する複数の点「cross_p(t2)」を取得する。例えば、組み合わせ部173dは、
図14の上図に示すように、「Cvector(t2)」により定義される輪郭線にて、「p(t2)」それぞれで法線ベクトル「Vnormal_p(t2)」を求める。そして、組み合わせ部173dは、
図14の上図に示すように、法線ベクトル「Vnormal_p(t2)」と、「Cmodel(t2)」により定義される輪郭線との交点を、「cross_p(t2)」とする。
【0120】
そして、組み合わせ部173dは、
図14の下図に示すように、「Cmodel(t2)」を、複数の点「cross_p(t2)」で構成された「Cmodel(t2)’」に変換する。
【0121】
これにより、組み合わせ部173dは、複数の追跡点「p(t2)」それぞれに対応するCmodel(t2)上にある複数の点「cross_p(t2)」を取得する。「p(t2)」の「Q_p(t2)」は、「cross_p(t2)」の動き品質である「Q_cross_p(t2)」となる。
【0122】
ここで、一般化して、時相「t」の第1位置情報を、複数の追跡点「p(t)」で構成された「Cvector(t)」とし、各追跡点「p(t)」の動き品質を「Q_p(t)」とする。また、一般化して、時相「t」の第2位置情報を、複数の制御点「q(t)」で構成された「Cmodel(t)」とし、複数の点「cross_p(t2)」で「Cmodel(t)」を変換した第2位置情報を、「Cmodel(t)’」とする。かかる場合、組み合わせ部173dは、例えば、以下の式(6)により、「Q_p(t)」に基づいて、「Cvector(t)」と「Cmodel(t)’」とを重み付け加算することで、時相「t」の輪郭位置「C(t)」を求める。なお、「Q_p(t)」は、上記の定義により、「0≦Q_p(t)≦1」に正規化されている。
【0124】
すなわち、式(6)の第1項では、「Cvector(t2)」上の追跡点「p(t2)」の位置ベクトルに重み「Q_p(t2)」が乗算された位置ベクトルが求められる。また、式(6)の第2項では、「Cmodel(t2)’」上の点「cross_p(t2)」の位置ベクトルに重み「1−Q_p(t2)」が乗算された位置ベクトルが求められる。そして、式(6)では、これら2つの位置ベクトルを加算した位置ベクトルにより定まる点が、時相「t2」の「I(t2)」における輪郭位置「C(t2)」を構成する点として推定される。このようにすれば、各追跡点p(t)に対して、動きの品質が十分に高い場合(Q_p(t)=1)では、従来通り、動き情報に基づくCvector(t)により最終的な輪郭位置C(t)が決まる。一方、動きの品質が極端に低い位置や時相の場合(Q_p(t)=0)では、動き情報以外の情報に基づくCmodel(t)’によりC(t)が決まるようになる。更に、動き品質が中庸な場合(0<Q_p(t)<1)では、Q_p(t)の値に応じて双方の輪郭位置が合成されて、動き品質に応じて自動的に確からしい輪郭位置が与えられるようになる。また、C(t)を構成する追跡点p(t)の個数は一定なので、輪郭位置を決めると同時に追跡動作が達成されている。
【0125】
図15は、組み合わせ部173dが、短軸像において、「Q_p(t)」に基づいて「Cvector(t)」と「Cmodel(t)」とを合成した輪郭位置「C(t)」を模擬した模式図である。
図15では、左側の壁では動き品質が高く、右側の壁では動き品質が低い場合の例を示している。すなわち、
図15では、「C(t)」の位置は、左方では「Cvector(t)」に近く、右方では「Cmodel(t)」に近い位置として再構成されている。
【0126】
そして、組み合わせ部173dは、式(6)により推定された輪郭位置「C(t2)」を構成する複数の点を、複数の追跡点「p(t2)」として、第1推定部173aに通知する。これにより、追跡部173を構成する各部は、上記の説明において、「t1」を「t2」に置き換え、「t2」を「t3」に置き換えた処理を行なう。端的には、第1推定部173aは、
図16に示すように、第1画像データである「I(t2)」と第2画像データである「I(t3)」との間でスペックルトラッキングを行なって、Cvector(t3)を推定し、定義部173bは、「p(t3)」の動き品質「Q_(pt3)」を定義する。また、第2推定部173cは、「I(t3)」の「Cmodel(t3)」を推定する。そして、組み合わせ部173dは、
図16に示すように、「Cmodel(t3)」を「Cmodel(t3)’」に変換し、「Q_p(t3)」に基づいて「Cvector(t3)」と「Cmodel(t3)」とを合成することで、輪郭位置「C(t3)」を推定する。
【0127】
追跡部173は、内膜の輪郭位置について、上記の処理を、時相「tn=E1」まで繰り返して行なう。これにより、追跡部173は、全ての時相において、内膜の輪郭位置「C(t1)、C(t2)、・・・、C(tn)」を得る。また、追跡部173は、外膜の輪郭位置についても、上記の処理を、時相「tn=E1」まで繰り返して行なう。これにより、追跡部173は、全ての時相において、外膜の輪郭位置「D(t1)、D(t2)、・・・、D(tn)」を得る。
【0128】
そして、
図1に例示する運動情報演算部174は、動画像データそれぞれの関心領域の位置情報を用いて組織の運動情報を演算する。例えば、運動情報演算部174は、壁運動情報として歪み(Strain)や、歪みの時間変化率(Strain Rate)等、種々の物理量を演算する。操作者は、心機能の解析を行なううえで、評価したい局所的な壁運動情報や全体的な壁運動情報を任意に選択して、運動情報演算部174に演算させることが可能である。そして、制御部18は、運動情報をモニタ2に表示させる。
【0129】
次に、
図17及び
図18を用いて、第1の実施形態に係る超音波診断装置の処理について説明する。
図17は、第1の実施形態に係る超音波診断装置が行なう処理の概要を説明するためのフローチャートであり、
図18は、第1の実施形態に係る追跡部が行なう処理の一例を説明するためのフローチャートである。
【0130】
図17に例示するように、第1の実施形態に係る超音波診断装置が有する取得部171は、動画像データ及び追跡対象区間が指定されたか否かを判定する(ステップS101)。ここで、指定されない場合(ステップS101否定)、取得部171は、指定されるまで待機する。
【0131】
一方、動画像データ及び追跡対象区間が指定された場合(ステップS101肯定)、取得部171は、追跡対象区間の動画像データを取得する(ステップS102)。そして、設定部172は、初期輪郭位置が操作者により設定されたか否かを判定する(ステップS103)。ここで、設定されない場合(ステップS103否定)、設定部172は、初期輪郭位置が設定されるまで待機する。
【0132】
一方、設定された場合(ステップS103肯定)、追跡部173は、初期輪郭位置を取得して、残余時相の輪郭の位置を追跡する(ステップS104)。そして、残余時相の輪郭追跡が終了すると、運動情報演算部174は、心壁の運動情報を演算し(ステップS105)、モニタ2は、制御部18の制御により、心壁の運動情報を表示して(ステップS106)、処理を終了する。
【0133】
ここで、
図17に示すステップS104の処理は、
図18に例示するフローチャートの処理となる。すなわち、第1推定部173aは、画像データI(tk)の輪郭位置C(tk)を取得する(ステップS201)。最初の処理では、「tk=t1」となる。
【0134】
そして、第1推定部173aは、I(tk)からI(tk+1)へのSTにより、{Mv0}を演算する(ステップS202)。そして、第1推定部173aは、統計処理により、残存移動ベクトル群である{Mv}を取得し(ステップS203)、{Mv}を用いて各追跡点でMv_p(tk)を算出して、Cvector(tk+1)を推定する(ステップS204)。
【0135】
また、定義部173bは、ステップS204の処理が行なわれている間に、Cvector(tk+1)を構成する各追跡点p(tk+1)の信頼度指標である動き品質Q_p(tk+1)を演算する(ステップS205)。第2推定部173cは、ステップS202〜ステップS204及びステップS205の処理が行なわれている間に、I(tk+1)のCmodel(tk+1)を推定する(ステップS206)。
【0136】
そして、組み合わせ部173dは、Cvector(tk+1)を用いて、Cmodel(tk+1)をCmodel(tk+1)’に変換する(ステップS207)。そして、組み合わせ部173dは、各追跡点p(tk+1)の動き品質Q_p(tk+1)に基づいて、Cvector(tk+1)とCmodel(tk+1)’とを組み合わせて、I(tk+1)の輪郭位置C(tk+1)を取得する(ステップS208)。
【0137】
そして、組み合わせ部173dは、「k+1=n」であるか否かを判定する(ステップS209)。ここで、「k+1<n」である場合(ステップS209否定)、組み合わせ部173dは、輪郭追跡を行なっていない時相があると判定し、「k=k+1」として設定し(ステップS210)、そして、C(tk+1)をC(tk)として、追跡部173は、ステップS202以降の処理を繰り返す。
【0138】
一方、「k+1=n」である場合(ステップS209肯定)、組み合わせ部173dは、全ての時相で輪郭追跡が終了したことを、運動情報演算部174に通知して、ステップS105の処理を開始させる。
【0139】
上述したように、第1の実施形態では、関心領域の追跡を行なう際に、動き情報に基づく関心領域の位置推定とともに、動き情報以外の情報に基づく関心領域の位置推定を行なう。そして、第1の実施形態では、動き情報の品質(信頼度指標)を様々な情報から定義し、動き情報に基づく推定位置と動き情報以外の情報に基づく推定位置とを、品質(信頼度指標)に応じて合成する。すなわち、第1の実施形態では、スペックルトラッキング処理において、動き情報が不足している局所的な位置、動き情報の信頼性が低い局所的な位置、動き情報の時空間的整合性が低い局所的な位置を、動き品質(信頼度指標)から同定し、これらの位置については、動き以外の情報で求めた輪郭位置を併用して最終的な輪郭位置を決める。
【0140】
これにより、第1の実施形態では、画像ノイズの存在やフレームレート不足により動き情報の推定性能が低下する場合であっても、極端な追跡外れの無い関心領域の位置を自動的に取得することができる。従って、第1の実施形態では、関心領域の追跡結果を正確に得ることができる。また、第1の実施形態では、極端な追跡外れの無い関心領域の位置を自動的に取得することができるので、ロバストな組織運動の評価を簡便に提供することが可能となる。
【0141】
なお、上記の第1の実施形態では、説明を簡単にするため、追跡部173が、関心領域の追跡を時間的に順方向(forward)で行なう場合について説明した。しかし、追跡部173が、関心領域の追跡を時間的に逆方向(backward)で行なう場合であっても良い。
【0142】
換言すると、第1推定部173aは、時相「tk」から時相「tk+1」へ向かう順方向の移動ベクトル「MvF」を演算することが可能であるとともに、時相「t+1」から時相「tk」へ向かう逆方向の移動ベクトル「MvB」を演算することが可能である。すなわち、上記の第1の実施形態では、「MvF」から、時相「tk」の追跡点p(tk)に対して移動ベクトル「MvF_p(tk→tk+1)」を推定することで、時相「tk+1」の追跡点p(tk+1)の位置を推定していた。
【0143】
一方、第1推定部173aは、時相「tk+1」から時相「tk」へ向かう逆方向の移動ベクトル「MvB」を演算することができる。そして、第1推定部173aは、「MvB」から、時相「tk+1」の追跡点p(tk+1)に対して移動ベクトル「MvB_p(tk+1→tk)」を推定することができる。これにより、第1推定部173aは、時相「tk」の追跡点p(tk)の位置を推定することができる。
【0144】
この際、定義部173bは、「MvF」と「MvB」とを併用することで、信頼度指標である動き品質を定義する情報を与えることが可能である。すなわち、「MvB_p(tk+1→tk)」より得られるp(tk)の位置は、「MvF_p(tk→tk+1)」によりp(tk+1)に移動されたp(tk)の位置と必ずしも一致しない。これは、テンプレートマッチングの際に探索対象となる画像データが異なることで、スペックルノイズの影響により「MvF」と「MvB」とが一致しないことがあり得るためである。一方で、ノイズの影響が少ない場合には双方の移動ベクトルの一致度は高いことが期待される。
【0145】
そこで、「MvF」と「MvB」とから信頼度指標である動き品質を定義する変形例を行なう場合、第1推定部173aは、第1画像データと第2画像データとの間で、関心領域を構成する各追跡点の第1時相から第2時相へ向かう順方向移動ベクトルと、関心領域を構成する各追跡点の第2時相から第1時相へ向かう逆方向移動ベクトルとを推定する。そして、定義部173bは、関心領域を構成する各追跡点における順方向移動ベクトルと逆方向移動ベクトルとの一致度を、「第1推定部173aの処理で得られる少なくとも1つの変量」として用いる。
【0146】
第1推定部173aは、時相「tk」から時相「tk+1」へ向かう順方向において、「MvF」の演算、「MvF_p(tk→tk+1)」の推定及びp(tk+1)の位置推定を、上記の実施形態で説明した処理により行なう。そして、第1推定部173aは、時相「tk+1」から時相「tk」へ向かう逆方向においては、「MvF」で決まったp(tk+1)に対して、上記の実施形態で説明した処理の時相を逆転させて実行する。これにより、第1推定部173aは、「MvB」の演算、「MvB_p(tk+1→tk)」の推定を行なう。
【0147】
ここで、「MvF_p(tk→tk+1)」及び「MvB_p(tk+1→tk)」は、いずれも、時相「tk+1」における追跡点p(tk+1)における変数とすることができる。すなわち、これら2つの変数は、一般化すると、時相「t」における追跡点p(t)に対する2つの変数「MvF_p(t)」及び「MvB_p(t)」と表現することができる。かかる表現を用いて、定義部173bは、一例として、以下に示す式(7)により、追跡点p(t)の順方向と逆方向の双方の移動ベクトルの一致度「MM_p(t)」を定義することができる。なお、式(7)における「・」は、ベクトルの内積を示す。
【0149】
式(7)により「MM_p(t)」を定義すると、追跡点p(t)の順方向移動ベクトルの逆ベクトルが、追跡点p(t)の逆方向移動ベクトルと一致する場合には、「MM_p(t)=1」となる。また、式(7)の定義では、追跡点p(t)の順方向移動ベクトルと追跡点p(t)の逆方向移動ベクトルとが直交する場合には、「MM_p(t)=0」となる。また、「MM_p(t)」の値が「1より小さい正値」となる場合には、追跡点p(t)の順方向移動ベクトルと逆方向移動ベクトルとの成す角が0度より大きく90度より小さい範囲にあり、少なくとも互いに同じ向きのベクトルが検出されていることを意味する。また、「MM_p(t)」の値が「負」となる場合には、追跡点p(t)の順方向移動ベクトルと逆方向移動ベクトルとの成す角が90度を超えており、互いに逆向きのベクトルが検出されていることを意味する。従って、「MM_p(t)」の値が極性も加味して小さいほど、信頼度指標である動き品質は、低いと考えることができる。
【0150】
そこで、定義部173bは、「MM_p(t)」を用いて、動き品質「Q(s,Mv)」を以下の式(8)により定義する。
【0152】
すなわち、定義部173bは、「MM_p(t)」が「0」以上となる値が得られた追跡点「p(t)」が含まれるセグメント「s」内の各残存移動ベクトル「Mv」の動き品質「Q(s,Mv)」を、「MM_p(t)」と定義する。また、定義部173bは、「MM_p(t)」の値が「負」となる値が得られた追跡点「p(t)」が含まれるセグメント「s」内の各残存移動ベクトル「Mv」の動き品質「Q(s,Mv)」を「0」と定義する。なお、式(8)で定義される動き品質は、「0≦Q(s,Mv)≦1」の条件を満たしている。なお、定義部173bは、式(5)と式(8)とを併用して、動き品質「Q(s,Mv)」を定義しても良い。
【0153】
そして、定義部173bは、式(8)で定義された「Q(s,Mv)」、又は、式(5)と式(8)との併用で定義された「Q(s,Mv)」を用いて、「Q_P(t)」を定義する。
【0154】
なお、上記では、初期輪郭位置が、1つの時相で設定される場合について説明した。しかし、初期輪郭位置は、複数の時相で設定される場合であっても良い。例えば、本実施形態は、スペックルトラッキングが困難とされる拡張早期の時相と収縮末期の時相とで、第1初期輪郭位置及び第2初期輪郭位置を設定しても良い。かかる場合、追跡部173は、第1初期輪郭位置を用いた追跡処理と、第2初期輪郭位置を用いた追跡処理とを並行して行なう。
【0155】
また、第2推定部173cが実行する処理は、上記で説明した第1処理、第2処理及び第3処理に限定されるものではない。例えば、第2推定部173cは、AQ(Acoustic Quantification)法や、ASM(Active Shape Model)法を実行しても良い。
【0156】
(第2の実施形態)
第2の実施形態では、演算処理量を軽減するための制御方法について説明する。第1の実施形態では、残余時相の全時相について、第2位置情報「Cmodel(t)」を演算する場合について説明した。しかし、画質によらず安定して正確な関心領域(輪郭)の位置を自動検出するためには、第2位置情報を残余時相の全時相を演算すると演算量が増加する。特に、識別器を用いて「Cdict(t)」を推定する第1処理は、輪郭位置の推定における正確性は増すが、識別器による識別時間を要する処理となる。
【0157】
一方で、スペックルトラッキング処理では、殆どの場合で、第1位置情報「Cvector(t)」による関心領域(輪郭)の決定が行われるが、信頼度指標である動きの品質が低下する場合にのみ「Cmodel(t)」が必要となる。そこで、第2の実施形態では、動きの品質が低下する時相のみで「Cmodel(t)」を演算して、演算時間を低減する場合について説明する。
【0158】
第2の実施形態に係る超音波診断装置は、
図1に例示した第1の実施形態に係る超音波診断装置と同様の構成となる。また、第2の実施形態に係る追跡部173は、
図4に例示した第1の実施形態に係る追跡部173と同様の構成となる。
【0159】
ただし、第2の実施形態に係る追跡部173は、制御部18の制御により、以下に説明する処理を行なう。すなわち、第2の実施形態に係る追跡部173は、信頼度指標(動き品質)の関心領域における平均値が所定の閾値以上の時相については、第1位置情報を関心領域の位置情報として出力する。また、第2の実施形態に係る追跡部173は、上記の平均値が所定の閾値より小さい時相については、第1位置情報と第2位置情報とを組み合わせた位置情報を関心領域の位置情報として出力する。
【0160】
以下、第1画像データが「I(t1)」であり、第2画像データが「I(t2)」である場合で、第2の実施形態で行なわれる処理について説明する。第2の実施形態でも、第1の実施形態と同様に、取得部171及び設定部172の処理が行なわれる。そして、第1の実施形態で説明した処理により、第1推定部173aは、「I(t2)」の第1位置情報「Cvector(t)」を推定する。また、第1の実施形態で説明した処理により、定義部173bは、「Cvector(t)」を構成する各点「p(t2)」の動き品質「Q_p(t2)」を定義する。
【0161】
そして、定義部173bは、各点「p(t2)」での動き品質「Q_p(t2)」を平均した「Q(t2)」を演算する。
【0162】
制御部18は、「Q(t2)」の値を定義部173bから取得し、品質閾値「Qth」と「Q(t2)」との比較を行なう。「Qth」は、例えば、内部記憶部16に予め格納される。或いは、「Qth」は、例えば、操作者により設定される。
【0163】
そして、「Q(t2)≧Qth」の場合、制御部18は、第2推定部173c及び組み合わせ部173dの処理を停止し、第1推定部173aが推定した「Cvector(t2)」を「C(t2)」とする。第1推定部173aは、「Cvector(t2)」を「C(t2)」として、運動情報演算部174に出力する。
【0164】
一方、「Q(t2)<Qth」の場合、制御部18は、第2推定部173c及び組み合わせ部173dの処理を開始させる。これにより、第2推定部173cは、「Cmodel(t2)」を推定し、組み合わせ部173dは、「Cvector(t2)」及び「Cmodel(t2)」から「Cmodel(t2)’」を得る。そして、組み合わせ部173dは、「Cvector(t2)」と「Cmodel(t2)’」とを、「Q_p(t2)」に基づいて、重み付け加算して、「C(t2)」を取得し、運動情報演算部174に出力する。
【0165】
なお、第2推定部173c及び組み合わせ部173dの処理を平均値に基づいて行なうか否かを判定する点以外は、第1の実施形態で説明した内容は、第2の実施形態においても適用可能である。
【0166】
次に、
図19を用いて、第2の実施形態に係る超音波診断装置の処理について説明する。
図19は、第2の実施形態に係る追跡部が行なう処理の一例を説明するためのフローチャートである。
【0167】
すなわち、
図17に示すステップS104の処理は、第2の実施形態では、
図19に例示するフローチャートの処理となる。すなわち、第1推定部173aは、画像データI(tk)の輪郭位置C(tk)を取得する(ステップS301)。最初の処理では、「tk=t1」となる。
【0168】
そして、第1推定部173aは、I(tk)からI(tk+1)へのSTにより、{Mv0}を演算する(ステップS302)。そして、第1推定部173aは、統計処理により、残存移動ベクトル群である{Mv}を取得し(ステップS303)、{Mv}を用いて各追跡点でMv_p(tk)を算出して、Cvector(tk+1)を推定する(ステップS304)。
【0169】
また、定義部173bは、ステップS304の処理が行なわれている間に、Cvector(tk+1)を構成する各追跡点p(tk+1)の動き品質Q_p(tk+1)を演算する(ステップS305)。そして、定義部173bは、各追跡点p(tk+1)の動き品質Q_p(tk+1)の平均値Q(tk+1)を演算する(ステップS306)。
【0170】
そして、制御部18は、Q(tk+1)がQthより小さいか否かを判定する(ステップS307)。ここで、Q(tk+1)がQth以上である場合(ステップS307否定)、追跡部173は、Cvector(tk+1)を画像データI(tk+1)の輪郭位置C(tk+1)として取得する(ステップS308)。
【0171】
一方、Q(tk+1)がQthより小さい場合(ステップS307肯定)、第2推定部173cは、I(tk+1)のCmodel(tk+1)を推定する(ステップS309)。
【0172】
そして、組み合わせ部173dは、Cvector(tk+1)を用いて、Cmodel(tk+1)をCmodel(tk+1)’に変換する(ステップS310)。そして、組み合わせ部173dは、各追跡点p(tk+1)の動き品質Q_p(tk+1)に基づいて、Cvector(tk+1)とCmodel(tk+1)’とを組み合わせて、I(tk+1)の輪郭位置C(tk+1)を取得する(ステップS311)。
【0173】
そして、ステップS308又はステップS311の処理の後、組み合わせ部173dは、「k+1=n」であるか否かを判定する(ステップS312)。ここで、「k+1<n」である場合(ステップS312否定)、組み合わせ部173dは、輪郭追跡を行なっていない時相があると判定し、「k=k+1」として設定し(ステップS313)、そして、C(tk+1)をC(tk)として、追跡部173は、ステップS302以降の処理を繰り返す。
【0174】
一方、「k+1=n」である場合(ステップS312肯定)、組み合わせ部173dは、全ての時相で輪郭追跡が終了したことを、運動情報演算部174に通知して、ステップS105の処理を開始させる。
【0175】
上述したように、第2の実施形態では、動き情報の品質(信頼度)が高い場合には、第2推定部173c及び組み合わせ部173dの処理を省略するので、関心領域の追跡結果を正確、かつ、効率的に得ることができる。
【0176】
なお、第2の実施形態は、以下に説明する変形例により行なわれる場合であっても良い。
図20は、第2の実施形態に係る変形例を説明するための図である。「Q(t)≧Qth」の場合、全ての「Q_p(t)」が「Qth」以上である第1の場合と、局所的に「Q_p(t)」が「Qth」より小さい第2の場合とに大別できる。そこで、第1の場合には、追跡部173は、Cvector(t)を画像データI(t)の輪郭位置C(t)とする。
【0177】
一方、第2の場合、すなわち、「Q(t)≧Qth」であるが局所的に「Q_p(t)<Qth」となる点(
図20の左図の点線の丸内を参照)が存在する場合には、制御部18の指示により、第2推定部173cは、
図13Cを用いて説明した第3処理を行なう。すなわち、第2推定部173cは、
図20の右図に示すように、点線の丸内の輪郭を、動き品質の高い周囲の点を用いた最小2乗フィッティング処理により補間することで、「I(t)」の「Cfit(t)」を推定する。そして、第2推定部173cは、「Cfit(t)」を「Cmodel(t)」として、組み合わせ部173dに出力する。
【0178】
第3処理は、第1処理や第2処理と比較して、演算量が少ない処理である。このため、上記の変形例を行なうことで、全体的には信頼性が高いが、局所的に信頼性が低くなっているCvector(t)を「C(t)」とすることを回避し、迅速に信頼性が高い「C(t)」を得ることができる。
【0179】
なお、上記の第1及び第2の実施形態では、初期輪郭の設定が、操作者により用手的に行なわれる場合について説明したが、初期輪郭の設定は、上述した動き情報以外の情報により輪郭位置を推定する方法により行なわれる場合であっても良い。換言すると、第1及び第2の実施形態では、設定部172は、第2推定部173cが実行する種々の処理により、初期輪郭を設定しても良い。かかる構成では、関心領域の正確な追跡を、更に、自動化することができ、操作者は、より簡便に組織の運動解析を行なうことが可能となる。なお、初期輪郭を自動設定する場合には、操作者により、初期輪郭位置の修正手続きを受け付け可能な構成とすることが好適である。
【0180】
また、初期輪郭を自動設定する場合には、第1及び第2の実施形態で説明した画像処理方法を、動画像データの収集とともに略リアルタイムで実行することが可能となる。すなわち、第1及び第2の実施形態に係る超音波診断装置は、動画像データを収集しながら、逐次、第1及び第2の実施形態で説明した画像処理方法を行なうことで、信頼性が安定した組織運動方法を、略リアルタイムで提供することができる。
【0181】
また、上記の第1及び第2の実施形態では、1つの断面における2次元動画像データに対する追跡処理を行なう場合について説明した。しかし、上記の第1及び第2の実施形態で説明した画像処理方法は、複数の断面における複数の2次元動画像データに対する追跡処理を行なう場合であっても適用可能である。また、上述したように、上記の第1及び第2の実施形態で説明した画像処理方法は、3次元動画像データに対する追跡処理を行なう場合であっても適用可能である。
【0182】
また、上記の画像処理方法が適用される臓器は、心臓に限らず、心周期に同期して拡張と収縮を繰り返す頸動脈等の動脈血管であっても良い。更には、上記の画像処理方法は、strainや変位といった動き指標を解析することで組織の硬さや動態を把握する用途のために、「肝臓や甲状腺のような軟部組織」や「筋肉」等の運動する組織へ適用しても良い。
【0183】
また、上記の画像処理方法は、X線診断装置や、X線CT装置、MRI装置等、テンプレートマッチング処理により関心領域の追跡が可能な医用画像データの2次元又は3次元の動画像データに対して適用される場合であっても良い。すなわち、上記の第1及び第2の実施形態で説明した画像処理方法は、超音波診断装置以外の医用画像診断装置で行なわれる場合であっても良い。また、上記の画像処理方法は、医用画像診断装置とは独立に設置された画像処理装置により実行される場合であっても良い。
【0184】
また、上記の実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0185】
また、上記の実施形態及び変形例で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0186】
以上、説明したとおり、第1及び第2の実施系形態、並びに、変形例によれば、関心領域の追跡結果を正確に得ることができる。
【0187】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。