(58)【調査した分野】(Int.Cl.,DB名)
前記複数の位置情報に従ってそれぞれ配列された前記複数の2次元画像データに対して前記位置合せ処理を行って複数の位置補正情報を算出する位置合せ手段をさらに有し、
前記補正手段は、前記複数の2次元画像データに対応付けられた前記複数の位置情報に対して前記複数の位置補正情報でそれぞれ補正を行う、
請求項1に記載の超音波診断装置。
前記補正手段は、前記2個の2次元画像データ内に1又は複数のROI(Region Of Interest)を設定し、前記ROI内のデータに基づいて前記位置合せ処理を行う、
請求項1乃至4のうちいずれか一項に記載の超音波診断装置。
【発明を実施するための形態】
【0008】
本実施形態に係る超音波診断装置及び医用画像処理装置について、添付図面を参照して説明する。
【0009】
1.第1実施形態に係る超音波診断装置
図1は、第1実施形態に係る超音波診断装置の構成を示す概略図である。
【0010】
図1は、第1実施形態に係る超音波診断装置10を示す。超音波診断装置10は、超音波プローブ11、磁場送信器12、及びセンサ13、装置本体14を備える。なお、装置本体14のみを超音波診断装置と称する場合もあり、その場合、超音波診断装置は、超音波診断装置の外部に設けられる超音波プローブ、磁場送信器、及びセンサと接続される。
【0011】
超音波プローブ11は、被検体(例えば、患者)に対して超音波の送受波を行う。超音波プローブ11は、被検体の表面に対してその前面を接触させ超音波の送受波を行うものであり、1次元(1D)又は2次元(2D)に配列された複数個の微小な振動子(圧電素子)をその先端部に有している。この振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、又、受信時には反射波を電気信号(受信信号)に変換する機能を有している。
【0012】
超音波プローブ11は小型、軽量に構成されており、ケーブルを介して装置本体14に接続される。超音波プローブ11の種類としては、1Dアレイプローブや、メカ4Dプローブや、2Dアレイプローブ等が挙げられる。1Dアレイプローブは、複数の振動子が1次元的に配列された構成を有する。ここで、1Dアレイプローブは、エレベーション方向に少数の振動子が配列された構成も含む。メカ4Dプローブは、複数の振動子が1次元的に配列されたアレイをエレベーション方向、つまり、走査面と交差する方向に機械的に揺動させる構成を有する。2Dアレイプローブは、複数の振動子が2次元的に配列された構成を有する。
【0013】
図2(A)〜(C)は、超音波プローブ11の走査面を説明するための図である。
【0014】
図2(A)は、操作者が超音波プローブ11としての1Dアレイプローブを移動操作する場合の走査面Pの移動を示す。この場合、センサ13も走査面Pも1Dアレイプローブ11に対して位置が固定されているので、センサ13から走査面Pまでの幾何学的位置関係を換算すれば、センサ13の位置情報から走査面Pの位置情報を得ることができる。操作者が1Dアレイプローブ11を走査面Pと交差する方向に移動させることで、いわゆる3次元走査が行われる。1Dアレイプローブ11の移動(動かす)には、平行移動・煽り・回転等が含まれ、以下同様である。
【0015】
図2(B),(C)は、超音波プローブ11としてのメカ4Dプローブや2Dアレイプローブで走査面Pを移動させる場合をそれぞれ示す。
図2(B),(C)は、メカ4Dプローブ11や2次元アレイプローブ11を通常の用い方、つまり、走査面の傾き角を自動的に振る場合を示す。
【0016】
図2(B)に示すように、メカ4Dプローブ11では、1Dアレイで走査面P内を繰り返し走査しながら1Dアレイを走査面Pと交差する方向に機械的に揺動させることで、いわゆる3次元走査が行われる。
【0017】
図2(C)に示すように、2Dアレイプローブ11では、走査面P内を走査しながら超音波ビームを走査面Pと交差する方向に電子的に移動させることで、いわゆる3次元走査が行われる。
【0018】
図2(B),(C)に示す場合は、センサ13は超音波プローブ11に対して位置が固定されており、走査面Pの傾き角は時間の経過に伴って変化する。超音波プローブ11に対する各走査面Pの傾き角は計算により得られるので、超音波プローブ11の位置情報及び傾き角から各走査面Pの幾何学的位置関係を換算できる。よって、超音波プローブ11としてメカ4Dプローブや2Dアレイプローブが採用された場合でも、走査面Pを1個の傾き角に固定すれば、1Dアレイプローブと同様のことができる。
【0019】
なお、超音波プローブ11としてのメカ4Dプローブや2Dアレイプローブでも、操作者が1Dアレイプローブを移動操作する場合と同様の3次元走査が行われ得る。その場合、操作者は、走査面Pを1個の傾き角に固定した状態で走査面P内を繰り返し走査するメカ4Dプローブ11等を移動操作する。
【0020】
以上のように、超音波プローブ11の種類に因らず超音波プローブ11がどの場合も同じ取扱いができる。以下、1Dアレイプローブで1個の走査面P内を繰り返し走査し、操作者が1Dアレイプローブ11を手動で動かして3次元走査を行う場合を用いて説明する。
【0021】
図1の説明に戻って、磁場送信器12は、センサ13が磁場送信器12から発生する磁場の有効範囲内に入るように、超音波プローブ11の近傍に配置される。磁場送信器12は、装置本体14による制御により、磁場を発生する。
【0022】
センサ13は、超音波プローブ11の、複数の位置情報を時系列に検知して、装置本体14に出力する。センサ13としては、超音波プローブ11に取り付けられるタイプのセンサと、超音波プローブ11とは別体で設けられるタイプのセンサとがある。後者のセンサは、光学式センサであり、測定対象である超音波プローブ11の特徴点を複数位置から撮影し、三角測量の原理で超音波プローブ11の各位置を検出する。以下、センサ13が前者のセンサである場合について説明する。
【0023】
センサ13は、超音波プローブ11に取り付けられ、自身の位置情報を検知して、装置本体14に出力する。センサ13の位置情報を、超音波プローブ11の位置情報と見なすこともできる。超音波プローブ11の位置情報は、超音波プローブ11の位置及び姿勢(傾き角)を含む。例えば、磁場送信器12が3軸の磁場を順次送信しその磁場をセンサ13で順次受信することにより超音波プローブ11の姿勢が検知され得る。また、センサ13は、3次元空間における3軸の角速度を検知する3軸ジャイロセンサ、3次元空間における3軸の加速度を検知する3軸加速度センサ、3次元空間における3軸の地磁気を検知する3軸地磁気センサのうち少なくともいずれかを含む、いわゆる9軸センサであってもよい。
【0024】
装置本体14は、送受信回路21、2次元画像生成回路22、2次元メモリ23、位置情報収集回路24、位置情報対応付け回路25、位置合せ回路26、補正回路27、ボリューム生成回路28、3次元メモリ29、3次元画像生成回路30、制御回路31、記憶回路32、入力回路33、及びディスプレイ34を備える。送受信回路21、2次元画像生成回路22、位置情報収集回路24、位置情報対応付け回路25、位置合せ回路26、補正回路27、ボリューム生成回路28、3次元画像生成回路30は、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)等によって構成される。
【0025】
送受信回路21は、制御回路31からの制御信号に従って、超音波プローブ11に超音波を送波させると共に、超音波プローブで受波された超音波に基づく信号(受信信号)を受信する。送受信回路21は、超音波プローブ11から送信波を放射させるための駆動信号を生成する送信回路と、超音波プローブ11からの受信信号に対して整相加算を行う受信回路を備える。
【0026】
送信回路は、レートパルス発生器、送信遅延回路、及びパルサを備える。レートパルス発生器は、送信波の繰り返し周期を決定するレートパルスを、基準信号発生回路から供給される連続波又は矩形波を分周することによって生成し、このレートパルスを送信遅延回路に供給する。送信遅延回路は、送信に使用される振動子と同数の独立な遅延回路から構成されており、送信において細いビーム幅を得るために所定の深さで送信波を収束するための遅延時間と所定の方向に送信波を放射するための遅延時間をレートパルスに与え、レートパルスをパルサに供給する。パルサは、独立な駆動回路を有し、超音波プローブ11に内蔵された振動子を駆動するための駆動パルスをレートパルスに基づいて生成する。
【0027】
送受信回路21の受信回路は、プリアンプ、A/D(analog to digital)変換回路、受信遅延回路、及び加算回路を備える。プリアンプは、振動子によって電気的な受信信号に変換された微小信号を増幅して十分なS/Nを確保する。プリアンプにおいて所定の大きさに増幅された受信信号は、A/D変換回路にてデジタル信号に変換され、受信遅延回路に送られる。受信遅延回路は、所定の深さで反射波を集束するための集束用遅延時間と、所定方向に対して受信指向性を設定するための偏向用遅延時間をA/D変換回路から出力される受信信号に与える。加算回路は、受信遅延回路からの受信信号を整相加算(所定の方向から得られた受信信号の位相を合わせて加算)する。
【0028】
2次元画像生成回路22は、制御回路31からの制御信号に従って、送受信回路21の受信回路から入力された受信信号に基づいて、時系列で複数の2次元画像データ、つまり、複数フレームに係る2次元画像データを生成する。2次元画像データの種類としては、Bモード画像データ、カラーモード画像データ、エラストグラフィー等のアプリケーションモード画像データ、等が挙げられる。
【0029】
通常、カラーモード画像やアプリケーションモード画像は、背景画像としてBモード画像上に重畳表示されるので、これらの画像を生成するモードの場合であってもBモード画像データが生成される。カラーモード画像データやアプリケーションモード画像データはデータ領域が限局的であるので、後述する位置合せ回路26による位置合せ処理には適していない。そこで、これらの画像を生成するモードの場合であってもBモード画像データを用いた位置合せ処理を行うことが好適である。
【0030】
2次元画像データの形態としては、ある時相に係る走査面P(
図2(A)〜(C)に図示)内の複数のラスタデータから成るローデータ(Raw Data)や、ローデータがスキャンコンバージョン(SC:Scan Conversion)処理された後のSCデータが挙げられる。以下、特に言及する場合を除き、2次元画像データがローデータである場合を例にとって説明する。
【0031】
2次元メモリ23は、1フレーム当たり2軸方向に複数のメモリセルを備え、それを複数フレーム分備えた記憶回路である。2次元メモリ23は、2次元画像生成回路22によって生成された時系列で複数のローデータを記憶する。超音波プローブ11は操作者によって移動操作されるので、時系列で複数のローデータは、すなわち、複数位置におけるデータである。各ローデータを構成する各ラスタデータには、システムタイマーを用いて、ラスタデータ収集に係る時刻データが付帯される。
【0032】
位置情報収集回路24は、磁場送信器12を制御して磁場送信器12から磁場を送信させると共に、センサ13から超音波プローブ11の複数の位置情報を時系列に収集する。位置情報収集回路24は、各位置情報を、ローデータの位置情報、つまり、ローデータに係る走査面の位置情報として収集する。走査面の位置情報とは、走査面の位置及び姿勢を含む。
【0033】
位置情報収集回路24は、ローデータに係る走査面の各点までの幾何学的位置関係に基づいて、センサ13の位置情報をローデータに係る走査面の位置情報に換算することができる。また、超音波プローブ11がメカ4Dプローブ(
図2(B)に図示)である場合、センサ13の位置情報と走査面の傾き角(揺動角)とに基づいて走査面の位置情報が求められる。超音波プローブ11が2Dアレイプローブ(
図2(C)に図示)である場合、センサ13の位置情報と走査面の傾き角(超音波ビームの角度)とに基づいて走査面の位置情報が求められる。
【0034】
位置情報対応付け回路25は、2次元画像生成回路22によって生成された複数のローデータのそれぞれに、位置情報収集回路24によって収集された位置情報を対応付ける。位置情報対応付け回路25は、複数のローデータのそれぞれに付帯された時刻データと、複数の位置情報にそれぞれ付帯された時刻データとを比較し、各ローデータの時刻に最近接、直前、又は直後の時刻をもつ位置情報を当該ローデータに対応付ける。ここで、各ローデータの時刻は、各ローデータを構成する複数のラスタデータのうち最初のラスタデータに付帯された時刻であってもよいし、中央のラスタデータに付帯された時刻であってもよいし、複数のラスタデータの平均時刻であってもよい。
【0035】
なお、複数のローデータと複数の位置情報との時刻を合わせる方法は、上記の場合に限定されるものではない。例えば、センサ13及び位置情報収集回路24による位置情報の収集をローデータの収集に同期させることで、位置情報が、対応するローデータに対応付けられてもよい。
【0036】
位置情報対応付け回路25は、複数のローデータのそれぞれに位置情報を対応付けるために、複数のローデータのそれぞれに位置情報を付帯させることができる。例えば、位置情報対応付け回路25は、各ローデータのヘッダやフッタ等に位置情報を書込む。位置情報が付帯された複数のローデータは2次元メモリ23に記憶される。
【0037】
又は、位置情報対応付け回路25は、複数のローデータのそれぞれに位置情報を対応付けるために、ローデータと位置情報とを対応テーブルに書込んでもよい。以下、複数のローデータのそれぞれに位置情報を対応付けるために、複数のローデータのそれぞれに位置情報が付帯される場合を例にとって説明する。
【0038】
位置合せ回路26及び補正回路27は、「補正手段」として機能する。位置合せ回路26及び補正回路27は、位置情報対応付け回路25によって複数のローデータにそれぞれ付帯された位置情報を補正することで、複数のローデータの空間的な位置合せを行う。位置合せ回路26は、付帯された位置情報に従ってそれぞれ配列された複数のローデータに対して位置合せ処理を行って、複数の位置補正情報を算出する。位置合せ処理方法については、
図4〜
図6を用いて後述する。そして、補正回路27は、各ローデータに付帯された位置情報を、位置合せ回路26によって算出された各位置補正情報で補正し、位置情報を補正後の位置情報に置換する。
【0039】
図3は、超音波診断装置10における、2次元画像データに付帯される位置情報の補正方法の概略を説明するための概念図である。
【0040】
図3の左側に示すように、各2次元画像データ(ローデータ又はSCデータ)には位置情報が付帯されている。付帯された位置情報に従ってそれぞれ配列された各2次元画像データに対し位置合せ処理が行われることにより、2次元画像データごとに位置補正情報が算出される。各2次元画像データに付帯された位置情報が、各位置補正情報により補正されることで、複数の2次元画像データにそれぞれ付帯された位置情報が、補正後の位置情報に置換される。
【0041】
図4〜
図6は、位置合せ処理を説明するための図である。
【0042】
位置合せを行うには、直接的には画像が被検体の空間的な形状に対応しているSCデータを用いる。ただし、以下に述べる位置合わせ処理の座標変換をローデータからSCデータへの変換も含めてテーブル化して持てば、必ずしも位置合せにSCデータを用いる必要は無くローデータを用いてもよい。このように変換をテーブル化した方が処理速度の点で有利である。以下の説明では、ローデータを用いて変換をテーブル化した場合を想定して説明するが、前述したように実際の位置合せはSCデータで行うので、理解を容易にするため図ではSCデータ形状を用いる。
【0043】
複数のローデータから、2フレーム分のローデータが選択される。
図4(A)に示すように、2フレーム分のローデータのうち一方のローデータ(参照ローデータ)上に1個のROI(Region Of Interest)が参照ROIとして設定される。
図4(A)には、参照ROIが矩形である場合を示すが、その場合に限定されるものではない。
【0044】
図5に示すように、参照ローデータに係る走査面と、他のローデータ(移動ローデータ)に係る走査面とが、それぞれに付帯された位置情報に基づいて配列される。参照ローデータに係る走査面の位置と、移動ローデータに係る走査面の位置との間に仮想的な投影面が設定される。そして、参照ROIの垂線の投影面との接点が投影面上の投影ROIとして設定される。続いて、投影ROIから移動ローデータに係る走査面に向かって、その走査面に垂直な直線を引き、当該直線と移動ローデータに係る走査面との接点が移動ROIとして設定される。移動ROIは、移動ローデータ上に存在する。
【0045】
移動ローデータに係る走査面に位置及び角度が一致する移動面が設定される。移動ROIが移動面に固定された状態で、移動ローデータが移動面上で移動(平行移動及び回転移動)されることにより、移動面に固定された移動ROI内の画が変化する。つまり、移動ROIが移動面に固定された状態で、移動ローデータが移動面上で移動されることにより、移動ローデータに基づいて、移動ROIの複数位置に係る複数の移動ローデータ部分(
図6に図示)が得られる。
【0046】
図6に示すように、参照ローデータに基づく参照ROI内の参照ローデータ部分を投影面に投影することで参照投影画像データが得られる。移動ローデータに基づく移動ROI内の複数の移動ローデータ部分を投影面にそれぞれ投影することで複数の移動投影画像データが得られる。複数の移動投影画像データについてそれぞれ、参照投影画像データとの一致度が算出され、一致度が比較される。そして、一致度が最大(値が最小)の場合の移動投影画像データが、参照投影画像データに一致したものとみなされる。そして、移動前の初期の移動ローデータから、一致度が最大の場合の移動投影画像データに係る移動ローデータへの移動量が、移動ローデータの位置補正情報として求められる。
【0047】
一致度の比較には、例えば、両投影画像データの相関が用いられる。一例として、次の式(1)又は(2)に示すように、投影面の各ピクセル値の差の絶対値が投影面内の全ピクセルに亘って加算され、加算値が最小になる位置を以って位置が合ったとみなす方法がある。次の式(1)又は(2)中のajは、参照投影画像データのピクセル値を示し、bjは、移動投影画像データのピクセル値を示し、jは、投影ROI内のピクセルを示し、Nは、投影ROI内の全ピクセル数を示す。この方法では処理が簡単なため、処理速度の点で有利である。
【数1】
【0048】
ここで、選択される2フレーム分のローデータは、時間的又は位置的に隣り合うものであることが望ましい。フレームレートが数十Hzと高く、また、隣り合う2フレーム分のローデータの間の時間差は小さいので、2フレーム間の動きに大規模な変化はないと見做すことができるからである。このような理由により、位置合せに際しての移動ローデータの移動面に対する煽り角の移動は既に省略して簡略化している。また、移動ローデータが移動面上で移動される場合に、回転移動を省略して簡略化してもよく、これにより処理時間が改善する。同じ理由により、隣り合う2フレーム分のローデータの走査面の位置は、位置情報により既に概ね合っているので、移動面上で移動ローデータを移動させる範囲はさほど大きくしなくてもよい。このようにすることで、センサ13を用いずにローデータのみで位置合せ処理を行う場合よりも処理時間は相当少なくて済む。
【0049】
以上のように、参照ローデータに基づく参照投影画像データと移動ローデータに基づく移動投影画像データとの間の一致度に基づいて位置合せ処理がそれぞれ行われることで、移動ローデータの位置補正情報が算出される。また、位置補正情報が算出された移動ローデータを参照ローデータとし、別のローデータを移動ローデータとして、前述の位置補正情報の算出処理が順次行われるものとする。これにより、例えば、超音波プローブ11が被検体表面を移動させる操作が行われる場合に、順次位置合せが行われ、全体としての位置合せが行われる。また、ROIをローデータ内部に設定することにより、被検体表面の凸凹の影響を受けずに生体内部に対する位置合せを行うことができる。
なお、フレーム間隔が超音波の空間分解能に比べて狭い場合はフレームが間引かれてもよい。これにより、複数の参照ローデータの全体の処理時間を短くすることができる。この場合、隣り合う2フレームとは、間引かれた後の隣り合う2フレームを指す。
【0050】
また、参照ローデータ上に1個の参照ROIが設定される場合に限定されるものではない。
図4(B)に示すように、参照ローデータ上に複数の参照ROI(参照ROI_1〜参照ROI_4)が設定されてもよい。複数の参照ROIが設定された場合は、参照ROI毎に位置補正情報の要素が得られる。それら要素の代表値で全体の位置補正情報とする。ここで、代表値としては、単なる平均の他、他の値と或る一定値以上離れた値を除外して平均する、メディアンを取る等、適切な値を得るため種々工夫が可能である。
【0051】
図1の説明に戻って、補正回路27は、2次元メモリ23に記憶された複数のローデータにそれぞれ付帯された位置情報を、位置合せ回路26によって求められた位置補正情報に基づいて補正し、位置情報を補正後の位置情報に置換する。
【0052】
ボリューム生成回路28は、2次元メモリ23に記憶された複数のローデータを、補正後の位置情報に応じて3次元メモリ29に配列し、必要に応じて補間処理を行う3次元再構成を行うことで、3次元メモリ29内にボリュームデータを生成する。補間処理方法としては、公知の技術が用いられる。公知の技術として、例えば、非特許文献(Trobaugh, J.W., Trobaugh, D.J., Richard W.D. "Three-Dimensional Imaging with Stereotactic Ultrasonography", Computerized Medical Imaging and Graphics, 18:5, 315-323, 1994.)に記載された技術が挙げられる。
【0053】
非特許文献の技術は、隣り合う2フレーム分のローデータを、位置情報を用いて空間上に配列し、その間の面上のピクセル値を、近接点(ピクセル)の値から、ニアレストネイバー(nearest neighbor)、バイリニア補間(bilinear interpolation)、バイキュービック補間(bicubic interpolation)、等の補間により求めるものである。ボリューム生成回路28は、収集された複数の位置情報を補正回路27による補正に従ってそれぞれ補正し、補正後の複数の位置情報に従って配置された複数のローデータに基づいて、非特許文献の技術を使って、ボリュームデータを生成する。
【0054】
なお、2次元画像データ収集、位置情報収集、位置情報付帯、位置合せ、位置情報補正、ボリュームデータ生成、は順次的に行われればよい。ここで、2次元画像データ収集、位置情報収集、位置情報付帯、に並行して、位置合せ、位置情報補正、ボリュームデータ生成の全部又は一部が行われることが好適である。上記に示した処理内容から、位置合せ、位置情報補正、ボリュームデータ生成は、全ての2次元画像データが揃わなくても数フレーム収集された時点から開始することが可能である。このように並行して処理すれば、2次元画像データが全て揃うのとほぼ同時に位置情報補正又はボリュームデータ生成が終了するので、データ収集終了からボリュームデータ生成までの待ち時間が大幅に短縮される。
【0055】
3次元メモリ29は、3軸方向(X軸、Y軸、及びZ軸方向)に複数のメモリセルを備えた記憶回路である。3次元メモリ29は、ボリューム生成回路28によって生成されたボリュームデータを記憶する。超音波プローブ11を走査面と交差する方向に平行移動する場合を考えると、X軸、Y軸を走査面、Z軸を移動方向として、通常は空間分解能を確保するため、超音波プローブ11の走査面がX軸、Y軸面一杯に入るように設定する。
【0056】
3次元画像生成回路30は、3次元メモリ29に記憶されたボリュームデータに、MPR(Multi-Planar Reconstruction)処理、ボリュームレンダリング処理、サーフェスレンダリング処理、及びMIP(Maximum Intensity Projection)処理等の3次元画像処理を施す。また、3次元画像生成回路30は、ボリュームデータに3次元画像処理を施すことで、MPR画像データ、ボリュームレンダリング画像データ、サーフェスレンダリング画像データ、MIP画像データ等の3次元画像データを生成する。そして、3次元画像生成回路30は、3次元画像データを3次元画像としてディスプレイ34に表示させる。
【0057】
3次元画像生成回路30によってディスプレイ34に表示される3次元画像は、
図11(B)に示されるものと同等である。
図11(B)に示す3次元画像は、
図11(A)に示す従来の3次元画像と比較して、組織の歪みが大幅に改善される。
【0058】
制御回路31は、専用又は汎用のCPU(central processing unit)、MPU(micro processor unit)、又はGPU(Graphics Processing Unit)の他、特定用途向け集積回路(ASIC:application specific integrated circuit)、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:simple programmable logic device)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)、及び、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)等が挙げられる。制御回路31は記憶回路32に記憶された、又は、制御回路31内に直接組み込まれたプログラムを読み出して実行することで、各部21〜30,32〜34の処理動作を統括的に制御する。
【0059】
また、制御回路31は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、プログラムを記憶する記憶回路32は回路要素ごとに個別に設けられてもよいし、単一の記憶回路32が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。
【0060】
記憶回路32は、RAM(random access memory)、フラッシュメモリ(flash memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶回路32は、USB(universal serial bus)メモリ及びDVD(digital video disk)等の可搬型メディアによって構成されてもよい。記憶回路32は、制御回路31において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(operating system)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ34への情報の表示にグラフィックを多用し、基礎的な操作を入力回路33によって行うことができるGUI(graphical user interface)を含めることもできる。
【0061】
入力回路33は、操作者によって操作が可能な入力デバイスからの信号を入力する回路であり、ここでは、入力デバイス自体も入力回路33に含まれるものとする。入力デバイスは、ポインティングデバイス(例えばマウス)、キーボード、トラックボール、及び各種ボタン等を含む。操作者により入力デバイスが操作されると、入力回路33はその操作に応じた入力信号を生成して制御回路31に出力する。なお、装置本体14は、入力デバイスがディスプレイ34と一体に構成されたタッチパネルを備えてもよい。
【0062】
入力回路33は、操作者によって設定された送信条件を、制御回路31に出力する。送信条件とは、例えば超音波プロ−ブ11を介して送信される超音波の中心周波数等である。中心周波数は、走査方式(リニア、コンベックス、及びセクタ等)、被検体の診断対象部位、超音波診断のモード(Bモード、ドプラモード、及びカラードプラモード等)、被検体表面から診断対象部位までの距離等によってそれぞれ異なる。
【0063】
また、入力回路33は、操作者が操作可能なデータ収集開始のボタンや、データ収集終了のボタンや、位置情報の補正を行うか否かを切り替えるスイッチ等を含む。
【0064】
ディスプレイ34は、液晶ディスプレイやOLED(organic light emitting diode)ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ34は、制御回路31の制御に従って3次元画像生成回路30等によって生成された3次元画像データを3次元画像として表示する。
【0065】
続いて、
図1及び
図7を用いて超音波診断装置10の動作について説明する。
【0066】
図7は、超音波診断装置10の動作を示すフローチャートである。
【0067】
送受信回路21は、入力回路33としてのデータ収集開始のボタンが操作者によって押圧されると、超音波プローブ11を制御して超音波の送受信を実行させ、複数のフレームに係るデータ収集を行う(ステップST1)。2次元画像生成回路22は、ステップST1によって収集されたデータに基づいて、時系列で複数のローデータを生成する(ステップST2)。
【0068】
位置情報収集回路24は、センサ13から超音波プローブ11の複数の位置情報を、各ローデータの位置情報として収集する(ステップST3)。位置情報対応付け回路25は、ステップST2によって生成された各ローデータに、ステップST3によって収集された位置情報を付帯する(ステップST4)。ステップST4によって位置情報が付帯された複数のローデータは、2次元メモリ23に記憶される。
【0069】
位置合せ回路26及び補正回路27は、複数のローデータにそれぞれ付帯された位置情報を補正することで、空間的な位置関係を合わせる。具体的には、位置合せ回路26は、ステップST4によって付帯された位置情報に従ってそれぞれ配列された複数のローデータに対して位置合せ処理を行って、複数の位置補正情報を算出する。そして、補正回路27は、各ローデータに付帯された位置情報を、位置合せ回路26によって算出された各位置補正情報によって補正して、位置情報を補正後の位置情報に置換する。
【0070】
位置合せ回路26は、複数のローデータから、参照ローデータと、対応する移動ローデータとを設定する(ステップST5)。位置合せ回路26は、
図4(A)に示すように、ステップST5によって設定された参照ローデータ上に参照ROIを設定する(ステップST6)。
【0071】
位置合せ回路26は、
図5を用いて説明したように、参照ローデータの参照ROIに基づいて、移動ローデータに係る走査面上に移動ROIを設定する(ステップST7)。位置合せ回路26は、
図5を用いて説明したように、移動ROIを移動面に固定した状態で、移動ローデータを移動面上で移動(平行移動及び回転移動)させる(ステップST8)。これにより、移動ローデータに基づいて、移動ROIの複数位置に係る複数の移動ローデータ部分が得られる。
【0072】
位置合せ回路26は、
図6を用いて説明したように、参照ローデータに基づく参照ROI内の参照ローデータ部分を投影面に投影することで参照投影画像データを取得し、移動ローデータに基づく移動ROI内の移動ローデータ部分を投影面に投影することで移動投影画像データを取得する。そして、位置合せ回路26は、
図6を用いて説明したように、移動投影画像データについて、参照投影画像データとの一致度を算出する(ステップST9)。位置合せ回路26は、他の一致度を算出するか否か、すなわち、さらに移動ローデータを移動面上で移動させるか否かを判断する(ステップST10)。
【0073】
ステップST10の判断にてYES、すなわち、移動データを移動面上で移動させると判断される場合、位置合せ回路26は、移動ROIを移動面に固定した状態で、移動ローデータを移動面上で移動させる(ステップST8)。
【0074】
一方で、ステップST10の判断にてNO、すなわち、移動データを移動面上で移動させないと判断される場合、位置合せ回路26は、ステップST9によって算出された複数の一致度を比較して、移動前の初期の移動ローデータの位置から、一致度が最大の場合の移動投影画像データに係る移動ローデータの位置への移動量を、位置補正情報として算出する(ステップST11)。
【0075】
位置合せ回路26は、他のローデータで位置補正情報を算出するか否かを判断する(ステップST12)。ステップST12にてYES、すなわち、他のローデータで位置補正情報を算出すると判断される場合、位置合せ回路26は、他のローデータにおいて、参照ローデータと、対応する移動ローデータとを設定する(ステップST5)。
【0076】
一方で、ステップST12にてNO、すなわち、他のローデータで位置補正情報を算出しない、つまり、所望のローデータについて位置補正情報が算出されたと判断される場合、補正回路27は、ステップST4によって複数のローデータにそれぞれ付帯された位置情報を、ステップST11によって算出された位置補正情報に基づいて補正し、位置情報を補正後の位置情報に置換する(ステップST13)。なお、入力回路33としてのデータ収集終了のボタンが操作者によって押圧されると、ステップST1によって開始されたデータ収集が任意のタイミングで終了される。
【0077】
超音波診断装置10によると、複数のローデータのそれぞれに対応付けられた位置情報に基づいて複数のローデータを配列し、配列された2個のローデータ同士の位置合せにより、位置情報を適切に補正することができる。
【0078】
2.第2実施形態に係る超音波診断装置
第2実施形態に係る超音波診断装置は、前述の超音波診断装置10に加え、位置合せの精度向上を目的として、位置合せの対象である複数のローデータを適切に画像処理する。
【0079】
図8は、第2実施形態に係る超音波診断装置の構成を示す概略図である。
【0080】
図8は、第2実施形態に係る超音波診断装置10Aを示す。超音波診断装置10Aは、超音波プローブ11、磁場送信器12、及びセンサ13、装置本体14Aを備える。なお、装置本体14Aのみを超音波診断装置と称する場合もあり、その場合、超音波診断装置は、超音波診断装置の外部に設けられる超音波プローブ、磁場送信器、及びセンサと接続される。
【0081】
図8において、
図1に示す係る超音波診断装置10の部材と同一部材には同一符号を付して説明を省略する。
【0082】
装置本体14Aは、送受信回路21、2次元画像生成回路22、2次元メモリ23、位置情報収集回路24、位置情報対応付け回路25、位置合せ回路26、補正回路27、ボリューム生成回路28、3次元メモリ29、3次元画像生成回路30、制御回路31、記憶回路32、入力回路33A、ディスプレイ34、及び画像処理回路35を備える。画像処理回路35は、フィールドプログラマブルゲートアレイ等によって構成される。
【0083】
入力回路33Aは、
図1に示す入力回路33と同等の構成を備える。また、入力回路33Aは、データ収集開始のボタン、データ収集終了のボタン、位置情報の補正を行うか否かを切り替えるスイッチに加え、位置合せの対象である複数のローデータについて画像処理を行うか否かを切り替える、操作者が操作可能なスイッチを含む。また、位置情報の補正を行うか否か、位置合せの対象である複数のローデータについて画像処理を行うか否かを併せて入力できるロータリスイッチ等のスイッチが設けられてもよい。
【0084】
画像処理回路35は、2次元画像生成回路22によって生成された2次元画像データ(ローデータ又はSCデータ)に対して画像処理を施す。画像処理回路35で行われる画像処理としては、例えば、(1)ヒストグラム変換処理、(2)スペックル低減処理、及び(3)構造物強調処理が挙げられる。
【0085】
図9は、超音波診断装置10Aに係る位置情報の補正方法の概略を説明するための概念図である。
【0086】
図9に示すように、各2次元画像データには位置情報が付帯されている。各2次元画像データに対して画像処理が施される。続いて、付帯された位置情報に従って配列された画像処理後の各2次元画像データが位置合せ処理されることにより、2次元画像データごとに位置補正情報が算出される。各2次元画像データに付帯された位置情報が、各位置補正情報により補正されることで、複数の2次元画像データにそれぞれ付帯された位置情報が、補正後の位置情報に置換される。
【0087】
なお、位置補正処理において起点となるフレームとしては、複数のローデータのうち、中央フレームに相当するローデータが用いられればよい。又は、入力回路33を介して操作者から指定されたフレームに相当するローデータが用いられてもよい。補正回路27は、起点となるフレームから出発し、順次隣りのフレームに相当するローデータの位置補正情報を算出する。
【0088】
ここで、画像処理回路35によって行われる画像処理、つまり、(1)ヒストグラム変換処理、(2)スペックル低減処理、及び(3)構造物強調処理について順に説明する。
【0089】
(1)ヒストグラム変換処理
2次元画像データにおいて、画素値の分布(例えば100−200)が表示階調(例えば0−255)に比べて狭い場合、濃淡差が少なく識別が困難な画像になる。このような場合、位置情報の補正に失敗し、却って位置ずれが大きくなる可能性がある。これを改善するために、元の2次元画像データに対してヒストグラム変換処理を行い、2次元画像データのヒストグラムを最適化する。
図10(A),(B)は、ヒストグラム変換処理前後の2次元画像データのヒストグラムを示す図である。
【0090】
ヒストグラム変換処理には、折れ線型トーンカーブによる変換(画素値を変換する関数である階調変換関数をグラフで表したものをトーンカーブという)、ガンマカーブを用いるガンマ変換、及びS字トーンカーブによる変換等がある。このトーンカーブを画像毎に手動で設定して変換することは実用的でないので自動化する。
【0091】
自動化の1つの方法は、
図10(A)に示すヒストグラムの頻度が存在する画素値の分布の最小値と最大値との間隔を、
図10(B)に示すように拡大することにより分布を広げる方法である。より好適には、画素値の分布の最小値と最大値とを、表示階調の最小値と最大値とにそれぞれ略一致させる。又は、自動化の別の方法は、
図10(A)に示すヒストグラムを、指定した分布に変換する方法である。例えば、変更後の分布形状としては、表示階調全域に渡って一様な分布やガウス分布等を始めとして任意の分布形状である。なお、ヒストグラム変換処理は、これらの2つの方法に限定されるものではない。
【0092】
2次元画像データに対してヒストグラム変換を行ってヒストグラムを最適化することにより、簡便に画像の濃淡差が強調されて組織等の識別が容易になり、後に続く位置情報の補正の精度が向上される。それにより、表示される3次元画像の歪みがより低減されるので、診断能の高い3次元画像を診断者に提供することができる。
【0093】
(2),(3)スペックル低減処理及び構造物強調処理
公知の技術、例えば特開2009−153918号公報に記載された技術を用いてスペックル低減処理及び構造物強調処理が行われる。これは、少なくとも、非線形異方性拡散フィルタ、多重解像度分解・合成、高域成分制御処理、及びこれらを組み合わせて用いる方法である。
【0094】
非線形異方性拡散フィルタは、スペックルのように方向性の無い輝点が分布している場合に、2次元画像データの各輝点に対し等方的な拡散処理(スムージング処理)を行い、2次元画像データのスペックルを低減する。一方、血管壁や横隔膜のように、輝度の高い線状の構造物の場合は、線に沿った方向には拡散を行い、線に鉛直な方向には拡散を殆ど行わないかエッジを強調し、線をぼかさないで繋がりをよくし、構造物を強調する。
【0095】
多重解像度分解は、代表的にはウェーブレット変換を用いて、2次元画像データとしての全体画像データを空間周波数が高周波成分を持つ部分画像データと、低周波成分を持つ複数の部分画像データとに分解する。例えば、元の全体画像データのサイズが512ピクセル×512ピクセルの場合、多重解像度分解により256ピクセル×256ピクセルの4個の部分画像データ(LL,LH,HL,HH)に分解できる。LLは、縦及び横共に低周波成分をもつ。HHは、縦及び横共に高周波成分をもつ。LH,HLは、縦・横一方が高周波成分をもち、他方が低周波成分をもつ。それぞれの部分画像データは、元の2次元画像データ全体の1/2縮小画像(全体画像)でもある。更に、LL成分を多重解像度分解して128ピクセル×128ピクセルの4個の部分画像データ(LLLL,LLLH,LLHL,LLHH)を得ることができる。さらに、多重解像度分解を行うこともできる。
【0096】
ここで、256ピクセル×256ピクセルの4個の部分画像データ(LL,LH,HL,HH)を考える。LL成分に非線形異方性拡散フィルタ処理を行って、スペックル低減と構造物強調を行う。また、LH,HL,HH成分に何らかの方法で高域成分制御処理を行う。高域成分制御処理の目的は、構造物の部分を除いた軟組織のスペックルを低減することである。構造物の部分を処理対象から除くために、LL成分に非線形異方性拡散フィルタ処理を行って抽出されたエッジ情報を用いる。4個の部分画像データに対する一連の処理を行った後、代表的にはウェーブレット逆変換を用いて、多重解像度合成により512ピクセル×512ピクセルの全体画像データに戻すと、スペックルが低減し、構造物が強調された画像が得られる。
【0097】
非線形異方性拡散フィルタ、多重解像度分解・合成、高域成分制御処理を組み合わせて用いることにより、非線形異方性拡散フィルタを単独で用いるよりも高い効果が得られることが期待される。また、非線形異方性拡散フィルタ処理には時間が掛かるため、元の全体画像データより画像サイズの小さいLL画像に対して用いることにより、処理時間が改善する。
【0098】
このように、少なくとも、非線形異方性拡散フィルタ、多重解像度分解・合成、高域成分制御処理、及びこれらを組み合わせて用いることにより、スペックルが低減すると共に構造物が強調されるので、スペックルによる位置合せ揺らぎの影響が低減し構造物の明確化による位置合せ(参照投影画像データと移動投影画像データとの一致度の算出)の精度が向上する。これにより、後に続く位置情報の補正の精度が向上し、表示される3次元画像の歪みをより低減することができ、高画質の3次元画像データを得て、診断能の高い超音波診断装置を提供することができる。
【0099】
図11(A)は、従来の超音波診断装置による3次元画像の表示例を示す図である。
図11(B)は、超音波診断装置10Aによる3次元画像の表示例を示す図である。
【0100】
図11(A),(B)はそれぞれ、左上にボリュームデータに基づくA面のMPR画像を示し、右上にボリュームデータに基づくB面のMPR画像を示し、左下にボリュームデータに基づくC面のMPR画像を示し、右下にボリュームデータに基づくボリュームレンダリング画像を示す。特に、
図11(B)の右上に示すB面のMPR画像に着目すると、
図11(A)の右上に示すB面のMPR画像と比較して、組織の歪みが大幅に改善されるので、診断能が向上する。
【0101】
続いて、
図8及び
図12を用いて超音波診断装置10Aの動作について説明する。
【0102】
図12は、超音波診断装置10Aの動作を示すフローチャートである。
【0103】
図12において、
図7に示す係る超音波診断装置10のステップと同一ステップには同一符号を付して説明を省略する。
【0104】
入力回路33Aとしての、画像処理を行うか否かを切り替えるスイッチが操作者によってONとされると、ステップST4の後、画像処理回路35は、ステップST4によって位置情報が付帯されたローデータに対して画像処理を施す(ステップST23)。ステップST23で行われる画像処理としては、例えば、(1)ヒストグラム変換処理、(2)スペックル低減処理、及び(3)構造物強調処理が挙げられる。
【0105】
超音波診断装置10Aによると、複数のローデータのそれぞれに対応付けられた位置情報に基づいて複数のローデータを配列し、配列された2個のローデータ同士の位置合せにより、位置情報を適切に補正することができる。また、超音波診断装置10Aによると、位置合せの対象である複数のローデータを適切に画像処理することで、位置情報の補正の精度を向上できる。
【0106】
3.超音波診断装置の第1変形例
図1に示す超音波診断装置10によれば、付帯された位置情報を補正し、各2次元画像データに含まれる組織部分をスライドさせることで、位置の適正化を図ることができる。それに加え、超音波診断装置10は、各2次元画像データに含まれる組織部分の歪みを適正化することもできる。その場合、補正回路27は、前述した位置情報の補正を行うと共に、各2次元画像データの歪みの補正を行う。具体的には、補正回路27は、位置補正情報を用いた位置情報の補正を行う一方で、各2次元画像データに対して歪み補正情報を用いた歪みの補正を行う。超音波プローブ11の移動操作中に、被検体に対して超音波プローブ11を押し当てる力が一定でないことにより検査部位の生体組織が動いてしまい、軟組織である生体組織が変形することがある。このような場合には、補正回路27により歪みの補正を行う。特に、乳腺の撮影によって得られる画像には歪みが発生し易いので有効である。
【0107】
歪みの補正を行う方法は、線形変換を用いる方法と、歪み補正ベクトルを用いる方法と、イメージモザイキング(image mosaicing)を用いる方法とがある。更に、歪み補正ベクトルを用いる方法には2つの方法がある。また、イメージモザイキングを用いる方法にも2つの方法がある。
【0108】
まず、線形変換を用いる方法について説明する。
【0109】
補正回路27は、付帯された位置情報に従って配列された第2フレームの2次元画像データに対して線形変換を行って、第2フレームに係り線形変換後の画像データを、軟組織の変形前の画像データとみなす。フレームレートが数十Hzと速く2フレーム間の時間差が小さいこと、意図的に力を加えて変形させていないことから、隣り合う2フレームの画像間における軟組織の変形の度合いは小さいと考えられるので、歪の補正を線形変換で行ってもよい。
【0110】
つまり、補正手段は、第1フレームに係る2次元画像データに基づく投影画像データ(
図6に図示する参照投影画像データに相当)と、第2フレームに係り複数の線形変換後の画像データ(
図6に図示する移動投影画像データに相当)との間で上記式(1)又は(2)の一致度を算出する。
【0111】
ここで、線形変換処理としては、拡大縮小、回転、スキュー、及びこれらの合成変換処理が挙げられる。さらに、前述したように隣り合う2フレーム分の2次元画像データ間における軟組織の変形の度合いは小さいと考えられるので、線形変換処理を、例えば拡大縮小に絞ることで処理を簡略化することもできる。
【0112】
図13は、2次元画像データの線形変換処理を説明するための図である。
【0113】
図13の左側は、元の2次元画像データに基づく画像を示す。同右側は、元の2次元画像データが拡大縮小された後の画像データに基づく画像を示す。
【0114】
なお、上記線形変換と
図5を用いて説明した移動面上における移動ローデータの移動とを組合せて用いることもできる。
【0115】
また、上記線形変換は線形変換の係数や処理形式を変えて複数回行ってもよい。例えば、複数種類の線形変換に対してローデータの移動も含めて試行し、各試行に於ける一致度を比較し、一致度が最大になる線形変換とローデータの移動を採用する。また別の例として、線形変換無しの状態を初期状態とし、最初の線形変換を行ってローデータの移動も含めて試行し、両者の一致度の比較をして次の線形変換の係数や処理形式を決めて再試行しながら次第に一致度を高くして行く様な、例えば最急降下法やダウンヒルシンプレックス法といった最適化手法を用いて一致度を最大化し、一致度が最大になる線形変換とローデータの移動を採用する。
【0116】
このように、2次元画像データを線形変換処理することにより、位置情報を補正すると共に歪み情報を補正することができる。
【0117】
次に、歪み補正ベクトルを用いる方法について説明する。
【0118】
補正回路27は、
図4〜
図6を用いて説明した様に位置補正情報を算出する。位置補正情報は、移動前の移動ローデータの位置と、一致度が高い場合の移動ローデータの位置との間の移動の大きさと移動の向きであり、変位ベクトルと呼んでもよい。
図4(B)に示すように参照ローデータ上に複数の参照ROIが設定されてもよく、複数の参照ROIが設定された場合は、参照ROI毎に位置補正情報の要素、即ち各ROIの変位ベクトルが得られる。複数のROIの各々をROI要素と呼ぶ。ROI要素の変位ベクトルから位置補正情報即ちROI全体の変位ベクトルを引いたものをROI要素の歪み補正ベクトルと呼ぶ。下記第1の方法、第2の方法により歪み補正処理を行う場合は複数の参照ROIを設定する。位置補正情報を得る場合の参照ROIの数、位置、及び形状等と歪み補正処理を行う場合の参照ROIの数、位置、及び形状等とは必ずしも一致しなくてもよい。例えば、位置補正情報を得る場合の参照ROIを1個にし、歪み補正処理を行う場合の参照ROIを20個にしてもよい。
【0119】
まず、各2次元画像データに対して歪み補正ベクトルを用いて歪みの補正を行うための第1の方法について説明する。第1の方法では、各点(ピクセル)の変位ベクトルpiを算出し、これらの変位ベクトルからROI全体の変位ベクトルPを引いて各点の歪み補正ベクトルdiを求める。
【0120】
図14〜
図15は、歪み補正処理を説明するための図である。
【0121】
複数のローデータから、2フレーム分のローデータが選択される。
図14(A)に示すように、2フレーム分のローデータのうち一方のローデータ上に1個のROIが設定される。
図14(A)には、ROIが矩形である場合を示すが、その場合に限定されるものではない。
【0122】
また、ROI内に、複数、例えば20個のROI要素が設定される。そして、20個のROI要素のそれぞれに対して変位ベクトル(
図14(B)に図示)が求められる。これらの変位ベクトルは、各ROI要素の中心点の変位ベクトルと見做される。
【0123】
図15は、
図14(B)に示す20個のROI要素から抽出された4個のROI要素R11,R12,R21,R22を示す。4個のROI要素R11,R12,R21,R22において、中心点以外の点(ピクセル)の変位ベクトルは、周囲の複数のROI要素に係る複数の変位ベクトルから補間により求められる。例えば、ROI要素R11内の中心点以外の点(図中の三角印)に係る変位ベクトルは、4個のROI要素R11,R12,R21,R22内の4個の中心点(図中の丸印)に係る変位ベクトルに基づく補間により算出される。補間としては、一次補間(バイリニア補間)や三次補間(バイキュビック補間)が採用される。
【0124】
このようにして、補正回路27は、各ROI要素内の中心点(
図15中の丸印)に係る変位ベクトルと、中心点以外の点(
図15中の三角印)に係る変位ベクトルとを、ローデータの各点の変位ベクトルpiとして算出する。そして、di=pi−Pによりローデータの各点の歪み補正ベクトルをローデータの歪み補正情報として算出してローデータに適用する。
【0125】
なお、補正回路27は、計算時間の短縮のため、中心点以外の点に係る変位ベクトルの算出を必要に応じて省略することもできる。例えば、補正回路27は、各ROI要素において、点(ピクセル)単位ではなく、隣接する複数点の全体として1つの変位ベクトルを算出する。又は、補正回路27は、連続する複数のROI要素において、全ての中心点に係る全ての変位ベクトルの大きさが閾値以下(又は未満)の場合には、当該複数のROI要素については中心点以外の点に係る変位ベクトルを算出しない。そして、各ROI要素内の各点の変位ベクトルの値は当該ROI要素の中心点に係る変位ベクトルの値とする。又は、補正回路27は、同一フレームにおいて全てのROI要素内の中心点に係る全ての変位ベクトルの大きさが閾値以下の場合、当該フレームについては中心点以外の点に係る変位ベクトルを算出しない。そして、各ROI要素内の各点の変位ベクトルの値は当該ROI要素の中心点に係る変位ベクトルの値とする。
【0126】
第1の方法によれば、歪み補正ベクトルよりも値の大きな変位ベクトルで補間を行うので、耐ノイズ性を高めることができる。
【0127】
続いて、各2次元画像データに対して歪み補正ベクトルを用いて歪みの補正を行うための第2の方法について説明する。補正回路27により位置補正情報、即ちROI全体の変位ベクトルPが算出されている。次に
図14(B)に示す20個のROI要素の変位ベクトルp1、p2、・・・、p20が算出される。両者から20個のROI要素の歪み補正情報である歪み補正ベクトルがd1=p1−P、d2=p2−P、・・・、d20=p20−Pとして算出される。この歪み補正ベクトルd1、d2、・・・、d20は各ROI要素の中心点の歪み補正ベクトルと見做される。第1の方法で行った変位ベクトルに対する補間をこの各歪み補正ベクトルに適用し、歪み補正ベクトルd1、d2、・・・、d20から中心点以外の点(ピクセル)の歪み補正ベクトルdiを算出する。
【0128】
第2の方法によれば、歪み補正ベクトルの演算を各点に対して行う必要がないので、補正処理にかかる時間を短縮することができる。
【0129】
第1の方法、第2の方法に於いて、歪み補正された2次元画像データを用いて再度位置情報の補正を行ってもよい。
【0130】
次に、イメージモザイキングを用いる方法について説明する。
【0131】
イメージモザイキングでは、次の手順(a)〜(c)により2次元画像データが幾何学的に変換される。イメージモザイキングに関する手法については種々開発されている。
(a)特徴点の検出とマッチング
(b)幾何学的変換の推定
(c)画像の幾何学的変換
幾何学的変換は色々考えられるが、ここでは射影変換を用いる方法と、変位ベクトルや歪み補正ベクトルを用いる方法とについて述べる。
【0132】
射影変換を用いる方法では、前記(a)において、補正回路27は、参照ローデータと移動ローデータの2枚のローデータに対し、各々から複数の特徴点を検出する。次に、補正回路27は、検出された複数の特徴点に対し、ローデータ間での対応付け(マッチング)を行う。
【0133】
前記(a)に続く前記(b)において、補正回路27は、幾何学的変換として、前述した線形変換より一般的な変換として射影変換を用いる。
図16に示すように、射影変換は、点Q1〜Q4からなる任意の四角形を別の任意の四角形に移すような変換である。射影変換には画像データの移動も含まれており、線分の直線性は保たれるが平行性は失われる。補正回路27は、2枚のローデータの対応する特徴点の座標から射影変換(の値)を求めることができる。
【0134】
前記(b)に続く前記(c)において、補正回路27は、歪み補正を行う移動ローデータに対して射影変換を用いて、画像データを変換する。
【0135】
一方で、変位ベクトルや歪み補正ベクトルを用いる方法では、補正回路27は、参照ローデータと移動ローデータの複数の特徴点の検出とマッチングにより、複数の特徴点の対応付けを行う。この対応付けは、前述の変位ベクトルと見做せる。従って、補正回路27は、前述の変位ベクトルや歪み補正ベクトルを用いる方法と同様に、複数の特徴点以外の点の変位ベクトルや歪み補正ベクトルを近傍の複数の特徴点の変位ベクトルや歪み補正ベクトルから補間により求め、画像データを変換する。
【0136】
イメージモザイキングを用いる方法によると、線形変換を用いる方法よりも処理は複雑ではあるが、精度の高い歪み補正が可能である。
【0137】
このように、2次元画像データにイメージモザイキングを適用することにより、位置情報を補正すると共に歪み情報を補正することができる。
【0138】
以上のように、線形変換を用いる方法、歪み補正ベクトルを用いる方法、又はイメージモザイキングにより表示される3次元画像の歪みが低減されるので、診断能の高い3次元画像を診断者に提供することができる。
【0139】
図17は、超音波診断装置10における、2次元画像データに付帯された位置情報の補正と、2次元画像データの歪みの補正とを併用する方法の概略を説明するための概念図である。
【0140】
図17に示すように、各2次元画像データには位置情報が付帯されている。付帯された位置情報に従ってそれぞれ配列された各2次元画像データに対し位置合せ処理が行われることにより、2次元画像データごとに位置補正情報が算出される。各2次元画像データに付帯された位置情報が、各位置補正情報により補正されることで、複数の2次元画像データにそれぞれ付帯された位置情報が、補正後の位置情報に置換される。
【0141】
位置情報の補正の後で、又は、位置情報の補正に並行して、付帯された位置情報に従って配列された各2次元画像データが歪み補正処理されることにより、2次元画像データごとに歪み補正情報が算出される。各2次元画像データは、歪み補正情報により補正される。
【0142】
なお、歪み補正処理において起点となるフレームとしては、複数のローデータのうち、中央フレームに相当するローデータが用いられる。又は、起点となるフレームとしては、入力回路33を介して操作者から指定されたフレームに相当するローデータが用いられる。補正回路27は、起点となるフレームから出発し、順次隣りのフレームに相当するローデータの歪み補正情報を算出する。
【0143】
以上、
図1に示す超音波診断装置10に歪み補正処理を適用するものとして説明したが、
図8に示す超音波診断装置10Aに歪み補正処理を適用することもできる。具体的には、
図17に示す位置合せ処理及び歪み補正処理は、付帯された位置情報に従ってそれぞれ配列された、画像処理後の各2次元画像データに対して行われてもよい。
【0144】
4.超音波診断装置の第2変形例
図1に示す超音波診断装置10によれば、超音波プローブ11としての1Dアレイプローブ(
図2(A)に図示)を操作者が移動させながら2次元の撮影領域に超音波を送受信することで得られる各2次元画像データの位置情報に対して位置補正処理を行うことができる。しかし、超音波診断装置10は、超音波プローブ11として、複数の走査面を撮影可能なメカ4Dプローブ(
図2(B)に図示)や2Dアレイプローブ(
図2(C)に図示)を利用してもよい。
【0145】
その場合、超音波診断装置10は、メカ4Dプローブや2Dアレイプローブを操作者が移動させながら3次元の撮影領域に超音波を送受信することで得られる各ボリュームデータの位置情報に対して位置補正処理を行い、複数のボリュームデータから合成ボリュームデータを生成する。なお、1Dアレイプローブ(
図2(A)に図示)を操作者が移動させながら複数のボリュームデータを生成する場合であてもよい。
【0146】
図18は、超音波診断装置10における、ボリュームデータに付帯される位置情報の補正方法の概略を説明するための概念図である。
【0147】
図18の左側に示すように、第1フレームに係る各2次元画像データ(ローデータ又はSCデータ)には位置情報が付帯されている。第2フレームに係る各2次元画像データ(ローデータ又はSCデータ)には位置情報が付帯されている。
【0148】
第1フレームに係る各2次元画像データに対して補間処理が施されることで、第1フレームに係る第1ボリュームデータが生成される。第2フレームに係る各2次元画像データに対して補間処理が施されることで、第2フレームに係る第2ボリュームデータが生成される。
【0149】
ここで、第1ボリュームデータの位置情報は、第1ボリュームデータの基となる複数の2次元画像データにそれぞれ付帯された複数の位置情報の代表値である。第1ボリュームデータの基となる各2次元画像データに付帯された位置情報は、超音波プローブ11の位置情報から幾何学的に算出される。また、代表値としては、単なる平均の他、他の値と或る一定値以上離れた値を除外して平均する、メディアンを取る等、適切な値を得るため種々工夫が可能である。第2ボリュームデータの位置情報についても同様である。
【0150】
付帯された位置情報に従ってそれぞれ配列された各ボリュームデータに対し位置合せ処理が行われることにより、ボリュームデータごとに位置補正情報が算出される。各ボリュームデータに付帯された位置情報が、各位置補正情報により補正されることで、複数のボリュームデータにそれぞれ付帯された位置情報が、補正後の位置情報に置換される。
【0151】
ここで、合成ボリュームデータを生成するための、2個のボリュームデータを合成するための位置合せ処理について説明する。
【0152】
図19(A),(B)は、2個のボリュームデータを合成するための位置合せ処理を説明するための概念図である。
【0153】
図19(A)は、操作者による移動前後の2Dアレイプローブ11を側面から見た図を示す。
図19(B)は、操作者による移動前後の2Dアレイプローブ11を正面から見た図である。
図19(A),(B)は、第1ボリュームデータV1と、第2ボリュームデータV2と、それらの3次元重畳領域Vとを示す。
【0154】
第1ボリュームデータV1の中の3次元重畳領域Vに1個(又は複数の)3次元ROIが設定される。第1ボリュームデータV1が用いられて3次元重畳領域Vに3次元ROIが設定されると、第2ボリュームデータV2の中にも3次元ROIが設定されることになる。
【0155】
3次元ROIが固定された状態で、第2ボリュームデータV2が3次元的に移動(平行移動及び回転移動)されることにより、固定された3次元ROI内の画が変化する。第2ボリュームデータV2に基づく3次元ROI内の複数の移動側の部分データが得られる。複数の移動側の部分データについてそれぞれ、第1ボリュームデータV1の3次元ROI内の参照側の部分データとの一致度が算出され、一致度が比較される。そして、一致度が最大(値が最小)の場合の移動側の部分データが、参照側の部分データに一致したものとみなされる。そして、移動前の初期の第2ボリュームデータから、一致度が最大の場合の移動側の部分データに係る第2ボリュームデータへの移動量が、第2ボリュームデータV2の位置補正情報として求められる。
【0156】
なお、位置補正処理において起点となるフレームとしては、複数のボリュームデータのうち、中央フレームに相当するボリュームデータが用いられる。又は、起点となるフレームとしては、入力回路33を介して操作者から指定されたフレームに相当するボリュームデータが用いられる。補正回路27は、起点となるフレームから出発し、順次隣りのフレームに相当するボリュームデータの位置補正情報を算出する。また、補正回路27は、複数のボリュームデータの全体を使って合成ボリュームデータを生成する場合に限定されない。操作者によるプローブの移動速度がボリュームの走査に比べて遅い場合、1つの点には3個以上のボリュームデータが存在するが、補正回路27は、このうち隣接する2個のボリュームデータを使って合成ボリュームデータを生成してもよい。
【0157】
その場合、補正回路27は、各ボリュームデータの基となる複数の2次元画像データのうち中央走査面に相当する2次元画像データを用いる。補正回路27は、
図19(A),(B)による方法で隣接する2個のボリュームの位置合せ処理を行う。補正回路27は、位置合せ後の2個の中央走査面に相当する2個の2次元画像データからその間のデータを補間により求め、位置合せ後の2個の中央走査面に相当する2個の2次元画像データと、補間により求められたデータとに基づいて、合成ボリュームデータを生成する。プローブの移動速度が遅く2個の中央走査面が近接しているので、この様な補間も可能である。
【0158】
又は、補正回路27は、位置合せ後の2個の中央走査面の間のデータを、第1ボリュームデータV1、第2ボリュームデータV2、又は、第1ボリュームデータV1及び第2ボリュームデータV2の合成により求めてもよい。
【0159】
さらに、操作者によるプローブの移動速度がボリュームの走査に比べて遅い場合、1つの点には多数のボリュームデータが存在するが、1つの点に対し全てのボリュームデータが必要な訳ではなく、少なくとも2個のボリュームデータがあればよい。その様な場合、送受信回路21は、2Dアレイプローブ(又はメカ4Dプローブ)の、走査面の傾き角(振り幅)を小さくして、1つの点が隣り合う2〜少数のボリュームデータを含む範囲に収まるように制御することもできる。その制御により、合成ボリュームデータを生成するためのボリュームレートが高められるので、リアルタイム性を向上することができる。なお、走査面の傾き角は、臨床上の経験から得られる通常の移動速度から決められてもよいし、入力回路33を介して操作者によって指定されてもよく、センサ13から検出される位置情報から求められる2Dアレイプローブの移動速度から自動的に設定されてもよい。この送受信回路21による制御を、前述した合成ボリュームデータの生成と組み合わせることで、効率的に合成ボリュームデータを生成することができる。
【0160】
以上、
図1に示す超音波診断装置10に、ボリュームデータに付帯された位置情報の補正処理を適用するものとして説明したが、
図8に示す超音波診断装置10Aに、ボリュームデータに付帯された位置情報の補正処理を適用することもできる。
【0161】
5.本実施形態に係る医用画像処理装置
図20は、本実施形態に係る医用画像処理装置の構成を示す概略図である。
【0162】
図20は、本実施形態に係る医用画像処理装置50を示す。医用画像処理装置50は、図示しない医用画像管理装置(画像サーバ)や、ワークステーションや、図示しない読影端末等であり、ネットワークを介して接続された医用画像システム上に設けられる。また、医用画像処理装置50は、オフラインの装置であってもよい。
【0163】
医用画像処理装置50は、制御回路51、記憶回路52、入力回路53、ディスプレイ54、通信制御回路55、2次元メモリ56、及び3次元メモリ57を備える。
【0164】
制御回路51は、
図1に示す制御回路31と同等の構成を備える。制御回路51は、記憶回路52に記憶された、又は、制御回路51内に直接組み込まれたプログラムを読み出して実行することで、各部52〜57の処理動作を統括的に制御する。
【0165】
記憶回路52は、
図1に示す記憶回路32と同等の構成を備える。記憶回路52は、制御回路51において用いられる各種処理プログラムや、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ54への情報の表示にグラフィックを多用し、基礎的な操作を入力回路53によって行うことができるGUIを含めることもできる。
【0166】
入力回路53は、
図1に示す入力回路33と同等の構成を備える。操作者により入力デバイスが操作されると、入力回路53はその操作に応じた入力信号を生成して制御回路51に出力する。なお、医用画像処理装置50は、入力デバイスがディスプレイ54と一体に構成されたタッチパネルを備えてもよい。
【0167】
ディスプレイ54は、
図1に示すディスプレイ34と同等の構成を備える。ディスプレイ54は、制御回路51の制御に従って生成された3次元画像データ等を3次元画像として表示する。
【0168】
通信制御回路55は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。通信制御回路55は、各規格に応じた通信制御を行い、電話回線を通じてネットワークに接続することができる機能を有しており、これにより、医用画像処理装置50をネットワークに接続させる。
【0169】
2次元メモリ56は、
図1に示す2次元メモリ23と同等の構成を備える。2次元メモリ56は、通信制御回路55を介して送信された、位置情報が付帯された各2次元画像データを記憶する。
【0170】
3次元メモリ57は、
図1に示す3次元メモリ29と同等の構成を備える。制御回路51によって生成されたボリュームデータを記憶する。
【0171】
続いて、本実施形態に係る医用画像処理装置50の機能について説明する。
【0172】
図21は、本実施形態に係る医用画像処理装置50の機能を示すブロック図である。
制御回路51がプログラムを実行することによって、医用画像処理装置50は、画像処理機能61、位置合せ機能62、補正機能63、ボリューム生成機能64、及び3次元画像生成機能65として機能する。なお、機能61〜65がソフトウェア的に機能する場合を例に挙げて説明するが、それら機能61〜65の一部又は全部は、医用画像処理装置50にハードウェア的にそれぞれ設けられるものであってもよい。
【0173】
画像処理機能61は、
図8に示す画像処理回路35の機能と同等の機能を有する。
【0174】
位置合せ機能62は、
図1又は
図8に示す位置合せ回路26と同等の機能を有する。位置合せ機能62は、画像処理機能61による処理済又は未処理の複数のローデータに基づいて位置合せを行う。
【0175】
補正機能63は、
図1又は
図8に示す補正回路27と同等の機能を有する。
【0176】
ボリューム生成機能64は、
図1又は
図8に示すボリューム生成回路28と同等の機能を有する。
【0177】
3次元画像生成機能65は、
図1又は
図8に示す3次元画像生成回路30と同等の機能を有する。
【0178】
医用画像処理装置50によると、複数のローデータのそれぞれに対応付けられた位置情報に基づいて複数のローデータを配列し、配列された2個のローデータ同士の位置合せにより、位置情報を適切に補正することができる。また、医用画像処理装置50によると、位置合せの対象である複数のローデータを適切に画像処理することで、位置情報の補正の精度を向上できる。
【0179】
以上述べた少なくともひとつの実施形態の超音波診断装置及び医用画像処理装置によれば、複数の2次元画像データの位置情報を適切に補正することができる。
【0180】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。