(58)【調査した分野】(Int.Cl.,DB名)
前記データ作成部は、前記超音波画像データと前記パタン画像のデータとを合成して、前記画像データを作成することを特徴とする請求項1〜3のいずれか一項に記載の超音波診断装置。
前記超音波画像データはBモード画像データであり、前記パタン画像は、前記超音波プローブの位置の時間変化の情報に応じた濃淡及び形状を有する模様からなることを特徴とする請求項1〜5のいずれか一項に記載の超音波診断装置。
前記データ作成部によって作成された前記画像データに基づいて、パタン認識処理によって前記パタン画像を抽出する処理を含む画像解析処理を行なう画像解析部であって、前記パタン画像に対応する前記超音波プローブの位置の時間変化の情報を用いた画像解析処理を行なう画像解析部を備えることを特徴とする請求項1〜8のいずれか一項に記載の超音波診断装置。
請求項1〜8に記載された前記超音波診断装置の前記データ作成部によって作成された前記画像データに基づいて、パタン認識処理によって前記パタン画像を抽出する処理を含む画像解析処理を行なう画像解析装置であって、前記パタン画像に対応する前記超音波プローブの位置の時間変化の情報を用いた画像解析処理を行なうことを特徴とする画像解析装置。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照して説明する。
図1に示す超音波診断装置1は、超音波プローブ2、送受信ビームフォーマ3、エコーデータ処理部4、表示制御部5、表示部6、操作部7、制御部8及び記憶部9を備える。
【0012】
前記超音波プローブ2は、アレイ(array)状に配置された複数の超音波振動子を有して構成され、この超音波振動子によって被検体に対して超音波を送信し、そのエコー信号を受信する。
【0013】
前記超音波プローブ2には、例えばホール素子で構成される前記磁気センサ10が設けられている。この磁気センサ10により、例えば磁気発生コイルで構成される磁気発生部11から発生する磁気が検出されるようになっている。前記磁気センサ10における検出信号は、前記表示制御部5へ入力されるようになっている。前記磁気センサ10における検出信号は、図示しないケーブルを介して前記表示制御部5へ入力されてもよいし、無線で前記表示制御部5へ入力されてもよい。前記磁気発生部11及び前記磁気センサ10は、後述のように前記超音波プローブ2の位置及び傾きを検出するために設けられている。
【0014】
前記送受信ビームフォーマ3は、前記超音波プローブ2から所定の走査条件で超音波を送信するための電気信号を、前記制御部8からの制御信号に基づいて前記超音波プローブ2に供給する。また、前記送受信ビームフォーマ3は、前記超音波プローブ2で受信したエコー信号について、整相加算処理等の信号処理を所定の受信パラメータで行ない、信号処理後のエコーデータを前記エコーデータ処理部4へ出力する。
【0015】
前記エコーデータ処理部4は、前記送受信ビームフォーマ3から出力されたエコーデータに対し、超音波画像を作成するための信号処理などを行なう。例えば、前記エコーデータ処理部4は、Bモード処理を行なう。前記Bモード処理は、対数圧縮処理、包絡線検波処理等を含む。前記Bモード処理によってBモードデータが作成される。
【0016】
前記表示制御部5は、
図2に示すように、位置算出部51、超音波画像データ作成部52、パタン画像データ作成部53、合成部54、表示画像制御部55及び画像解析部56を有する。前記位置算出部51は、前記磁気センサ10からの磁気検出信号に基づいて、三次元空間において、前記磁気発生部11を原点とする座標系における前記超音波プローブ2の位置情報(以下、「プローブ位置情報」と云う)を算出する。さらに、前記位置算出部51は、前記プローブ位置情報に基づいてエコー信号の前記座標系における位置情報(超音波画像の位置情報)を算出してもよい。前記位置算出部51及び前記磁気センサ10は、本発明における位置検出部の実施の形態の一例である。
【0017】
前記超音波画像データ作成部52は、前記エコーデータ処理部4で得られたローデータ(raw data)をスキャンコンバータ(Scan Converter)によって走査変換して超音波画像データを作成する。例えば、この超音波画像データとして、前記超音波画像データ作成部52は、前記Bモードデータを走査変換してBモード画像データを作成する。
【0018】
前記パタン画像データ作成部53は、前記位置算出部51によって算出された前記プローブ位置情報の時間変化、すなわち前記超音波プローブ2の速度情報を算出する。この速度情報には、速さの値のほか、移動方向も含まれる。そして、前記パタン画像データ作成部53は、前記超音波プローブ2の速度情報に応じた模様からなるパタン画像のデータを作成する。詳細は後述する。前記パタン画像データ作成部53は、本発明におけるパタン画像データ作成部の実施の形態の一例である。
【0019】
前記合成部54は、前記パタン画像のデータと前記Bモード画像データとを合成し、前記パタン画像のデータを一部に有するBモード画像データを作成する。前記合成部54は、本発明におけるデータ作成部の実施の形態の一例である。また、前記パタン画像のデータを一部に有するBモード画像データは、本発明におけるデータ作成部によって作成される画像データの実施の形態の一例である。
【0020】
前記表示画像制御部55は、前記Bモード画像データに基づく超音波画像を前記表示部6に表示させる。
【0021】
前記画像解析部56は、前記パタン画像のデータを一部に有する超音波画像データに基づいて画像解析を行なう。詳細は後述する。前記画像解析部56は、本発明における画像解析部の実施の形態の一例である。
【0022】
前記表示部6は、LCD(Liquid Crystal Display)や有機EL(Electro−Luminescence)ディスプレイなどである。前記表示部6は、本発明における表示部の実施の形態の一例である。
【0023】
前記操作部7は、特に図示しないが、操作者が指示や情報を入力するためのキーボード(keyboard)、ダイヤル(dial)及びポインティングデバイス(pointing device)などを含んで構成されている。
【0024】
前記制御部8は、CPU(Central Processing Unit)であり、前記記憶部9に記憶された制御プログラムを読み出し、前記超音波診断装置1の各部における機能を実行させる。
【0025】
前記記憶部9は、例えばHDD(Hard Disk Drive)や半導体メモリ(memory)などである。この記憶部9には、例えば前記パタン画像のデータを一部に有する前記Bモード画像データが記憶される。前記記憶部9には、前記Bモードデータなどが記憶されてもよい。前記記憶部9は、本発明における記憶部の実施の形態の一例である。
【0026】
さて、本例の超音波診断装置1の作用について説明する。ここでは、先ず被検体についてのBモード画像データの取得とその記憶について説明した後、このBモード画像データに基づく診断について説明する。
【0027】
先ず、被検体についてのBモード画像データの取得とその記憶について説明する。操作者は、被検体の体表面に前記超音波プローブ2を当接する。そして、この超音波プローブ2において超音波の送受信が行われ、そのエコー信号に基づいて、Bモード画像データが作成される。
【0028】
操作者は、
図3に示すように、超音波の送受信を行なっている前記超音波プローブ2を、体表面Sの上において、例えば矢印の方向へ移動させる。これにより、被検体の三次元領域におけるデータ、すなわちボリュームデータが取得される。このボリュームデータは、異なる時間に取得された複数フレームのBモード画像データからなる。
【0029】
ちなみに、
図3において、Z方向は、前記超音波プローブ2のエレベーション(elevation)方向である。また、X方向は、前記超音波プローブ2のアジマス(azimuth)方向である。前記ボリュームデータは、前記超音波プローブ2をZ方向に移動させることによって取得される。
【0030】
超音波の送受信時には、前記位置算出部51は、前記磁気センサ10(
図3では図示省略)からの磁気検出信号に基づいて、プローブ位置情報を算出する。これにより、各フレームのBモード画像データは、前記プローブ位置情報を有する。
【0031】
前記パタン画像データ作成部53は、前記プローブ位置情報の時間変化、すなわち前記超音波プローブ2の速度情報をフレーム毎に算出する。具体的には、前記パタン画像データ作成部53は、あるフレームFn(n:フレーム番号)における前記速度情報を、フレームFnの位置及び時間の情報と、フレームFnの直前のフレームF(n−1)の位置及び時間の情報とから算出する。
【0032】
例えば、
図4に示すように、前記フレームF(n−1)の取得時刻をt1とし、前記フレームFnの取得時刻をt2とする。時刻t2と時刻t1との時間差をΔtとすると、前記パタン画像データ作成部53は、前記時間差Δtと、前記フレームF(n−1)及び前記フレームFnの各々の位置情報とに基づいて、前記フレームFnにおける前記速度情報を算出する。前記フレームFn,F(n−1)の各々の位置情報としては、前記フレームFn,F(n−1)の各々における互いに対応する代表点の位置情報が用いられてもよい。
【0033】
前記速度情報には、速さの値の他、前記超音波プローブ2の移動方向が含まれる。ただし、移動方向は、
図5に示すように、一軸上における一方の方向と他方の方向の二方向(矢印で示された方向)のみであってもよい。この場合、前記速度情報における移動方向は、正負の符号で表わされる。
【0034】
前記パタン画像作成部53は、前記速度情報に応じた模様からなるパタン画像PIのデータを、フレーム毎に作成する。このパタン画像PIのデータは、
図6に示すように、Bモード画像BIのデータ(Bモード画像データ)の一部として前記記憶部9に記憶されるデータである。
【0035】
前記パタン画像PIは、Bモード画像における前記画像解析部56によるパタン認識処理のアルゴリズム(algorithm)によって認識可能な画像である。前記パタン画像PIは、前記速度情報に応じた濃淡及び形状を有する。
【0036】
具体的に、前記パタン画像PIについて
図7〜
図9に基づいて説明する。このパタン画像PIは、黒色の四角形SQと、この四角形SQの中に配置された白色の三角形TRとからなる。前記三角形TRは、底辺が前記四角形SQの上下方向における中央に位置しており、前記速度情報に応じた形態(濃淡及び形状)を有する。具体的には、前記三角形TRは、速さの値が大きくなるほど、高さが大きくなる。ここでは、
図7の三角形TRよりも
図8の三角形TRの方が、高さが大きく、
図7のパタン画像PIよりも
図8のパタン画像PIの方が、超音波プローブ2の速さの値が大きいことを示す。
【0037】
また、前記三角形TRは、移動方向に応じた形状を有する。ここでは、前記三角形TRは、一方の方向(+の方向)と他方の方向(−の方向)とで、底辺と対向する頂点の位置が逆になっている。
図7及び
図8と、
図9とでは、前記三角形TRは、前記頂点の位置が逆になっており、移動方向が逆であることを示している。
【0038】
前記合成部54は、前記パタン画像のデータと前記Bモード画像データとを合成し、上述の
図7に示すように、前記パタン画像PIのデータを一部に有するBモード画像BIのデータ(Bモード画像データ)Dを作成する。前記合成部54によって作成された前記データDは、前記記憶部9に記憶される。
【0039】
次に、前記パタン画像のデータを一部に有するBモード画像データに基づく診断について説明する。前記画像解析部56は、前記記憶部9から読み出された前記データDに対して、画像解析処理を行ない、診断を行なう。画像解析処理は、パタン認識処理を用いた処理である。パタン認識処理は、画像における二次元の濃淡(輝度)の変化を捉えて、所定の形状を抽出する処理である。抽出される形状は、予め前記記憶部9に記憶されている。
【0040】
例えば、
図10に示す形状を有する乳管BDについて診断を行なう場合を例に挙げて説明する。前記乳管BDにおいて、位置P1から位置P2までの区間P12においては、前記超音波プローブ2を速度V1で移動させながら超音波の送受信を行なう。一方、前記乳管BDにおいて、前記位置A2から位置A3までの区間P23においては、速度V1よりも遅い速度V2(すなわち、V2<V1)で前記超音波プローブを移動させながら超音波の送受信を行なったとする。これにより、
図11に示すように、前記位置P1から前記位置P2までの区間においては、距離D1の間隔で一フレームのBモード画像データBIDが取得され、前記位置P2から前記位置P3までの区間においては、距離D2の間隔で一フレームのBモード画像データBIDが取得される。なお、
図11におけるBモード画像データBIDの取得時間間隔は、等しいものとする。
【0041】
前記画像解析部56は、各フレームのBモード画像データBIDにおいて、パタン認識処理を行なって、乳管を抽出する。ここで、前記区間P23においては、前記区間P12よりも前記超音波プローブ2の移動速度が遅い。従って、仮に前記位置P1から前記位置P3まで一定速度で前記超音波プローブ2が移動したことを前提にして、各フレームにおいて抽出された乳管の断面形状から三次元の乳管の形状を特定すると、
図12に示すように、前記区間P23の部分が実際よりも長くなり、実際の形状とは異なる形状になる。仮に、このような形状が異常であると診断されるべきものであるとすると、正確な診断を行なうことができない。
【0042】
しかし、本例では、速度情報を考慮して、乳管の三次元形状を特定することができる。具体的に説明する。前記画像解析部56は、パタン認識処理によって、前記Bモード画像データBIDにおいて、前記乳管BDのほか、前記パタン画像PIを抽出する。
【0043】
ここで、前記記憶部9には、速度情報と対応付けて複数のパタン画像が予め記憶されている。前記画像解析部56は、前記Bモード画像データBIDにおいて抽出された前記パタン画像PIと前記記憶部9に記憶された前記パタン画像とを比較して、対応する速度情報を特定する。
【0044】
前記画像解析部56は、各フレームにおいて抽出された乳管の断面形状から三次元の乳管の形状を特定する際に、前記速度情報を用いる。これにより、各フレームのBモード画像データBIDの位置を特定することができる。具体的には、
図11に示すように、前記区間P23におけるBモード画像データBIDの各々の間の距離(距離D2)が、前記区間P12におけるBモード画像データBIDの各々の間の距離(距離D1)よりも短いことを特定することができる。
【0045】
前記画像解析部56は、前記速度情報を用いて特定された乳管の三次元形状に基づいて、診断を行なう。このように、速度情報が考慮されることによって、実際の形状に即した形状を特定することができるので、診断を正確に行なうことができる。
【0046】
なお、前記画像解析部56による診断結果は、医師等が最終的な診断を行なうための補助的なものであってもよい。
【0047】
ところで、Bモード画像データなどの超音波画像データは、DICOM(Digital Imaging and Communication in Medicine)という規格で取り扱われることが多い。ここで、DICOM画像は、JPEG(Joint Photographic Experts Group)やAVI(Audio Video Interleave)といった形式に変換されることがある。このようにDICOM画像が他の形式に変換されると、画像データのヘッダ(header)情報は失われてしまう。
【0048】
しかし、本例によれば、前記超音波プローブ2の速度情報は、ヘッダ情報としてではなく、前記パタン画像として前記Bモード画像データの一部として記憶されている。従って、データ形式が変換されても、速度情報が失われることはない。
【0049】
また、本例によれば、前記パタン画像は、前記速度情報に応じたからなるので、前記乳管など二次元形状を抽出するパタン認識処理のアルゴリズム(Algorithm)を用いることにより、前記パタン画像を認識することができる。
【0050】
次に、実施形態の変形例について説明する。先ず、第一変形例について説明する。上述において、前記速度情報は、乳管の三次元形状を特定するために用いられているが、前記画像解析部56は、前記速度情報を診断に用いてもよい。例えば、前記速度情報における速さの値の変化や移動方向の変化など、超音波プローブ2の移動パタンの情報が、診断の一要因として用いられてもよい。具体的には、上述のように、前記超音波プローブ2の移動速度が遅くなった場合や、
図13に示すように、前記超音波プローブ2の移動方向が逆方向になった場合は、病変等の異常を発見した可能性がある。
【0051】
そこで、前記パタン画像から特定された前記速度情報における速さの値の変化や、符号の変化などが、予め異常なものとして設定された変化に該当し、なおかつ前記パタン認識処理によって特定される形状が異常である場合、前記画像解析部56は、異常と診断する。
【0052】
ちなみに、上述の実施形態において、乳管の三次元形状を特定するために前記速度情報が用いられる場合であっても、移動方向の向き(速度情報の符号)も考慮されて三次元形状が特定されてもよい。
【0053】
次に、第二変形例について説明する。
図14に示すように、前記パタン画像PIを有するBモード画像BIが表示部に表示されてもよい。この場合、前記画像解析部56ではなく、医師等が、前記Bモード画像BIにおける観察部分や前記パタン画像PIを見て、このパタン画像PIから特定される速度情報も考慮して、診断を行なってもよい。
【0054】
次に、第三変形例について説明する。ここでは、前記パタン画像PIの他例について説明する。前記パタン画像PIは、
図15に示すように、黒色部BLと輝度変化部BCとからなる。この輝度変化部BCは、速さの値に応じて輝度が変化する。例えば、前記輝度変化部BCは、速さの値が大きくなると輝度値が高くなり、速さの値が小さくなると輝度値が低くなる。また、前記輝度変化部BCは、前記黒色部BLに対する位置関係が、前記超音波プローブ2の移動方向に応じて変わる。例えば、前記超音波プローブ2が、一方の方向(+の方向)に移動する時は、
図16に示すように、前記輝度変化部BCは、前記黒色部BLに対して上側に位置する。また、前記超音波プローブ2が、他方の方向(−の方向)に移動する時は、
図17に示すように、前記輝度変化部BCは、前記黒色部BLに対して下側に位置する。
【0055】
また、前記パタン画像PIは、
図18に示すように、黒色の帯状部BEと、この帯状部BEの中に配置された白色の円CCとからなっていてもよい。前記帯状部BEにおける前記円CCの位置が、速度情報を示している。具体的に説明すると、前記帯状部BEの長手方向における中央CEの位置は、速度が零である。そして、前記帯状部BEにおける前記中央CEよりも一方側(上側)の領域は、一方の移動方向(+の方向)を示し、前記中央CEよりも他方側(下側)の領域は、他方の移動方向(−の方向)を示す。そして、前記中央CEから離れるほど、速さの値が大きいことを示す。
【0056】
前記黒色の帯状部BEと前記円CCとからなるパタン画像PIは、縦方向ではなく、
図19に示すように横方向の画像であってもよい。
【0057】
また、前記パタン画像PIは、
図20に示す帯状部BEからなっていてもよい。この帯状部BEは、黒色部BLと、この黒色部BLの両端側に位置する輝度変化部BC1,BC2とからなる。この輝度変化部BC1,BC2は、速さの値に応じて輝度が変化する。例えば、前記輝度変化部BC1,BC2は、速さの値が大きくなると輝度値が高くなり、速さの値が小さくなると輝度値が低くなる。また、前記超音波プローブ2が、一方の方向(+の方向)に移動する時は、一方の前記輝度変化部BC1の輝度が変化し、他方の方向(−の方向)に移動する時は、他方の前記輝度変化部BC2の輝度が変化する。
【0058】
ちなみに、
図6及び
図15では、前記超音波画像BIとして、前記超音波プローブ2がリニアプローブである場合の超音波画像が示されているが、
図16では、前記超音波画像BIとして、前記超音波プローブ2がコンベックスプローブである場合の超音波画像が示されている。
【0059】
その他、前記パタン画像PIは、速度情報に応じた模様からなる画像であればよく、上述の例に限られるものではない。
【0060】
次に、第四変形例について説明する。
図21に示すように、前記超音波診断装置1において、前記超音波プローブ2には、前記磁気センサ10の代わりに、加速度センサ12が設けられていてもよい。この場合、前記磁気センサ10は不要である。
【0061】
前記表示制御部5は、
図22に示すように、前記超音波画像データ作成部52、前記パタン画像データ作成部53、前記合成部54、前記表示画像制御部55、前記画像解析部56のほか、加速度算出部57及び速度算出部58を有する。
【0062】
前記加速度算出部57は、前記加速度センサ12の検出信号に基づいて、前記超音波プローブの加速度情報を算出する。前記加速度センサ12及び前記加速度算出部57は、本発明における加速度検出部の実施の形態の一例である。
【0063】
前記速度算出部58は、前記加速度情報に基づいて、前記超音波プローブ2の速度情報を算出する。前記速度算出部58は、本発明における速度算出部の実施の形態の一例である。
【0064】
本例では、前記パタン画像データ作成部53は、前記速度算出部58で算出された速度情報に応じた前記パタン画像PIのデータを、フレーム毎に作成する。
【0065】
次に、第五変形例について説明する。前記パタン画像のデータを一部に有するBモード画像のデータに対するパタン認識処理は、前記超音波診断装置1において行なう場合に限定されるものではない。前記超音波診断装置1は、
図23に示す画像解析装置100に、前記パタン画像のデータを一部に有するBモード画像のデータを出力し、この画像解析装置100において、前記画像解析部56と同様にしてパタン認識処理を行なってもよい。前記画像解析装置100は、本発明における画像解析装置の実施の形態の一例である。
【0066】
この第五変形例においては、
図24に示すように、前記表示制御部5は、画像解析部56を有していなくてもよい。
【0067】
以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、パタン認識処理を用いた診断は一例であり、上述のものに限られるものではない。
【0068】
また、前記超音波プローブ2の位置の時間変化の情報は、速度情報に限られるものではなく、例えば加速度情報などであってもよい。