知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-09
(45)【発行日】2024-08-20
(54)【発明の名称】画像処理装置及び超音波診断装置
(51)【国際特許分類】
A61B 8/14 20060101AFI20240813BHJP
【ＦＩ】
A61B8/14
【請求項の数】
8
(21)【出願番号】P 2020147657
(22)【出願日】2020-09-02
(65)【公開番号】P2022042293
(43)【公開日】2022-03-14
【審査請求日】2023-07-04
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】後藤 功太
【審査官】永田 浩司
(56)【参考文献】
【文献】国際公開第２００８／０１０３７５（ＷＯ，Ａ１）
【文献】特開２０１８－１３９６８６（ＪＰ，Ａ）
【文献】米国特許第１０６２４６１２（ＵＳ，Ｂ２）
【文献】米国特許第１１１２５８６６（ＵＳ，Ｂ２）
【文献】米国特許第９５６９８４１（ＵＳ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ ー ８／１５
(57)【特許請求の範囲】
【請求項1】
超音波スキャンにより取得された被検体内部を描画する画像データを取得する画像取得部と、
前記画像データに対して画像処理を施し、前記画像処理前の画像データと、前記画像処理後の画像データとを、画像部分ごとに合成率を変更して合成する画像処理部と、
を有し、
前記画像処理部は、送信超音波の周波数と、撮影部位との少なくとも１つに応じて、前記画像部分に分割する方向と、前記画像部分の分割の数と、前記合成率とのうち少なくとも１つを設定する、
画像処理装置。
【請求項2】
超音波スキャンにより取得された被検体内部を描画する画像データを取得する画像取得部と、
前記画像データに対して画像処理を施し、前記画像処理前の画像データと、前記画像処理後の画像データとを、画像部分ごとに合成率を変更して合成する画像処理部と、
を有し、
前記画像処理部は、前記画像処理として、スペックル除去処理を行い、前記画像処理前の画像データを階層的に多重解像度分解する、
画像処理装置。
【請求項3】
前記画像処理部は、前記画像処理前の画像データと、前記画像処理後の画像データとを、深さ方向に分割された画像部分ごとに前記合成率を変更して合成する、請求項１又は２に記載の画像処理装置。
【請求項4】
前記画像処理部は、深い画像部分と浅い画像部分とで、前記画像処理後の画像データの合成率を異ならせる、請求項３に記載の画像処理装置。
【請求項5】
前記画像処理部は、前記深い画像部分については、前記浅い画像部分と比較して、前記画像処理後の画像データの合成率を小さくする、請求項４に記載の画像処理装置。
【請求項6】
前記画像処理部は、前記画像処理前の画像データと、前記画像処理後の画像データとを、深さ方向に直交する方向に分割された画像部分ごとに前記合成率を変更して合成する、請求項１又は２に記載の画像処理装置。
【請求項7】
超音波スキャンにより取得された被検体内部を描画する画像データを取得する画像取得部と、前記画像データに対して画像処理を施し、前記画像処理前の画像データと、前記画像処理後の画像データとを、画像部分ごとに合成率を変更して合成する画像処理部と、
を有し、
前記画像処理部は、送信超音波の周波数と、撮影部位との少なくとも１つに応じて、前記画像部分に分割する方向と、前記画像部分の分割の数と、前記合成率とのうち少なくとも１つを設定する、
超音波診断装置。
【請求項8】
超音波スキャンにより取得された被検体内部を描画する画像データを取得する画像取得部と、前記画像データに対して画像処理を施し、前記画像処理前の画像データと、前記画像処理後の画像データとを、画像部分ごとに合成率を変更して合成する画像処理部と、
を有し、
前記画像処理部は、前記画像処理として、スペックル除去処理を行い、前記画像処理前の画像データを階層的に多重解像度分解する、
超音波診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理装置及び超音波診断装置に関する。
【背景技術】
【0002】
医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。
【0003】
超音波診断装置において、画像データに対して種々の画像処理を行っている。画像データに対する画像処理は、画像データの中の構造物の視認性向上、ノイズ低減、スペックルリダクション効果を加えることで診断の効率化を図る目的で行われる。また、画像処理済の画像データのみを出力すると多少の違和感も生じる場合があるため、非処理の画像データと、画像処理済の画像データとを合成することでその違和感を低減することも行われている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１８４０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、診断に適した超音波画像データを提供することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る画像処理装置は、画像取得部と、画像処理部とを備える。画像取得部は、超音波スキャンにより取得された被検体内部を描画する画像データを取得する。画像処理部は、画像データに対して画像処理を施し、画像処理前の画像データと、画像処理後の画像データとを、画像部分ごとに合成率を変更して合成する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、画像処理装置及び超音波診断装置の実施形態について詳細に説明する。
【0009】
実施形態に係る画像処理装置は、医用画像を生成する医用画像診断装置の一部として設けられる。以下、第１の実施形態において、画像処理装置が、医用画像診断装置としての超音波診断装置の一部として設けられる場合について説明する。また、第２の実施形態において、画像処理装置が、医用画像診断装置としての超音波診断装置の外部に設けられる場合について説明する。
【0010】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を設ける超音波診断装置の構成の一例を示す概略図である。
図１は、第１の実施形態に係る画像処理装置を設ける超音波診断装置の構成の一例を示す概略図である。
【0011】
図１は、第１の実施形態に係る画像処理装置１０を設ける超音波診断装置１を示す。超音波診断装置１は、画像処理装置１０と、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０とを示す。なお、画像処理装置１０に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０とのうちの少なくとも１個を加えた装置を画像処理装置と称する場合もある。以下の説明では、画像処理装置１０の外部に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０との全てが備えられる場合について説明する。
【0012】
画像処理装置１０は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像処理回路１４と、表示制御回路１５と、画像メモリ１６と、ネットワークインターフェース１７と、制御回路１８と、メインメモリ１９とを備える。回路１１～１５は、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１～１５の機能の全部又は一部は、制御回路１８がプログラムを実行することで実現されるものであってもよい。
【0013】
送受信回路１１は、送信回路と受信回路（図示省略）を有する。送受信回路１１は、制御回路１８による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が画像処理装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、画像処理装置１０と超音波プローブ２０との両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。
【0014】
送信回路は、パルス発生回路と、送信遅延回路と、パルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。
【0015】
受信回路は、アンプ回路、Ａ／Ｄ（Analog to Digital）変換器、及び加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネルごとに増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。
【0016】
Ｂモード処理回路１２は、制御回路１８による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２次元又は３次元データ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。
【0017】
なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。
【0018】
また、Ｂモード処理回路１２のフィルタ処理機能を用いることによるＴＨＩにおいて、被検体の反射波データから、ハーモニック成分の反射波データ（受信信号）である高調波データ又は分周波データを分離することができる。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）から、ノイズ成分を除去した組織画像データを生成するためのＢモードデータを生成することができる。
【0019】
さらに、ＣＨＩやＴＨＩのハーモニックイメージングを行う際、Ｂモード処理回路１２は、上述したフィルタ処理を用いた方法とは異なる方法により、ハーモニック成分を抽出することができる。ハーモニックイメージングでは、振幅変調（ＡＭ：Amplitude Modulation）法や位相変調（ＰＭ：Phase Modulation）法、ＡＭ法及びＰＭ法を組み合わせたＡＭＰＭ法と呼ばれる映像法が行われる。ＡＭ法、ＰＭ法及びＡＭＰＭ法では、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行う。これにより、送受信回路１１は、各走査線で複数の反射波データ（受信信号）を生成し出力する。そして、Ｂモード処理回路１２は、各走査線の複数の反射波データ（受信信号）を、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）に対して包絡線検波処理等を行って、Ｂモードデータを生成する。
【0020】
例えば、ＰＭ法が行われる場合、送受信回路１１は、制御回路１８が設定したスキャンシーケンスにより、例えば（－１，１）のように、位相極性を反転させた同一振幅の超音波を、各走査線で２回送信させる。そして、送受信回路１１は、「－１」の送信による受信信号と、「１」の送信による受信信号とを生成し、Ｂモード処理回路１２は、これら２つの受信信号を加算する。これにより、基本波成分が除去され、２次高調波成分が主に残存した信号が生成される。そして、Ｂモード処理回路１２は、この信号に対して包絡線検波処理等を行って、ＴＨＩのＢモードデータやＣＨＩのＢモードデータを生成する。
【0021】
又は、例えば、ＴＨＩでは、受信信号に含まれる２次高調波成分と差音成分とを用いて映像化を行う方法が実用化されている。差音成分を用いた映像化法では、例えば、中心周波数が「ｆ１」の第１基本波と、中心周波数が「ｆ１」より大きい「ｆ２」の第２基本波とを合成した合成波形の送信超音波を、超音波プローブ２０から送信させる。この合成波形は、２次高調波成分と同一の極性を持つ差音成分が発生するように、互いの位相が調整された第１基本波の波形と第２基本波の波形とを合成した波形である。送受信回路１１は、合成波形の送信超音波を、位相を反転させながら、例えば、２回送信させる。このような場合には、例えば、Ｂモード処理回路１２は、２つの受信信号を加算することで、基本波成分が除去され、差音成分及び２次高調波成分が主に残存したハーモニック成分を抽出した後、包絡線検波処理等を行う。
【0022】
ドプラ処理回路１３は、制御回路１８による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２次元又は３次元データ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。
【0023】
Ｂモード処理回路１２によって生成されるＢモードデータや、ドプラ処理回路１３によって生成されるドプラデータは、スキャンコンバート処理前の超音波画像データである。一方で、後述する表示制御回路１５によって生成されるデータは、スキャンコンバート処理後の表示画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。
【0024】
画像処理回路１４は、制御回路１８による制御の下、スキャンコンバージョン処理前の画像データである生データを取得する。画像処理回路１４は、取得された生データに基づいて、スペックル除去処理（又は、構造物強調処理）を実行する。次に、超音波診断装置１が有するスペックル除去処理について説明する。
【0025】
超音波は生体の減衰の影響が大きく、周波数依存減衰があるため、超音波画像中の浅い部分と深い部分とでは画が大きく異なる。また、超音波プローブによっては扇状に広がる画像生成をしており、深い部分では走査線密度が粗くなる分、画質も粗くなるため、浅い部分と深い部分とに画像処理の影響の仕方に差が発生する。そのため、浅い部分に適した画像処理の設定とすると深い部分に対する画像処理が強くかかり過ぎになる一方で（図６（Ａ）に図示）、深い部分に適した設定とすると、近い部分に対する画像処理が弱すぎてしまう結果、いずれも超音波画像全体には均一な画像処理の効果は得られない。
【0026】
そのため、画像処理回路１４は、生データに対して画像処理を施し、生データと、画像処理後の画像データとを、画像部分ごとに合成率を変更して合成して調整することで、周波数依存減衰や走査線密度の差による画の差を補正するものである。
【0027】
まず、画像処理回路１４は、スペックル除去処理において、生データを階層的に多重解像度分解することで、第１レベルから第ｎレベル（ただし、ｎは２以上の自然数）の低域分解画像データと、第１レベルから第ｎレベルの高域分解画像データとを取得する。そして、画像処理回路１４は、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すとともに、一段下の階層からの出力データ又は最も下位の階層における低域分解画像データから、信号のエッジ情報を階層ごとに生成するフィルタリングを施す。
【0028】
また、画像処理回路１４は、各階層のエッジ情報に基づいて、高域分解画像データの信号レベルを階層ごとに制御するとともに、各階層において得られる、非線形異方性拡散フィルタの出力データ及び高域レベル制御の出力データを階層的に多重解像度分解することで、多重解像度分解と非線形異方性拡散フィルタ処理との相乗効果により、スペックル除去を行う。ここで、説明を具体的にするため、多重解像度分解のレベルの数ｎが３である場合を例とする。しかしながら、その場合に限定されるものではなく、例えば、２以上の自然数であれば、どのような値であってもよい。
【0029】
図２は、画像処理回路１４によるスペックル除去処理を説明するための図である。
【0030】
図２に示すように、画像処理回路１４は、ウェーブレット変換部１４ａ，１４ｂ，１４ｃと、高域レベル制御部１４ｄ，１４ｅ，１４ｆと、ウェーブレット逆変換部１４ｇ，１４ｈ，１４ｉと、非線形異方性拡散フィルタ１４ｊ，１４ｋ，１４ｌとを備える。まず、レベル１のウェーブレット変換部１４ａは、Ｂモード処理回路１２から入力した画像データ（生データ）を多重解像度分解する。なお、ここで、「ウェーブレット変換」は、離散ウェーブレット変換を意味するものとする。また、ウェーブレット変換は、多重解像度分解のための一例を示すにすぎず、多重解像度分解は、ウェーブレット変換に限定されるものではない。例えば、ラプラシアン・ピラミッド法など他の手法によって多重解像度分解を実現するようにしてもよい。
【0031】
多重解像度分解の結果、分解後の画像データは、分解前に比べ縦横の長さが半分の低域画像データ（ＬＬ）と、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とに分解される。分解された画像データのうち、低域画像データ（ＬＬ）はレベル２のウェーブレット変換部１４ｂに出力されるとともに、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とは高域レベル制御部１４ｄに出力される。
【0032】
また、レベル２のウェーブレット変換部１４ｂは、レベル１のウェーブレット変換部１４ａから入力した低域画像データ（ＬＬ）を多重解像度分解して、低域画像データ（ＬＬ）と、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とを取得する。そして、レベル２のウェーブレット変換部１４ｂは、低域画像データ（ＬＬ）をレベル３のウェーブレット変換部１４ｃに出力するとともに、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とを高域レベル制御部１４ｅに出力する。
【0033】
さらに、レベル３のウェーブレット変換部１４ｃは、レベル２のウェーブレット変換部１４ｂから入力した低域画像データ（ＬＬ）を多重解像度分解して、低域画像データ（ＬＬ）と、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とを取得する。そして、レベル３のウェーブレット変換部１４ｃは、低域画像データ（ＬＬ）を当該レベル３の非線形異方性拡散フィルタ１４ｌに出力するとともに、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とを高域レベル制御部１４ｆに出力する。
【0034】
次に、レベル３の非線形異方性拡散フィルタ１４ｌは、低域画像データ（ＬＬ）にフィルタリングを施し、当該フィルタリング後の低域画像データ（ＬＬ）をウェーブレット逆変換部１４ｉに出力する。また、レベル３の非線形異方性拡散フィルタ１４ｌは、低域画像データ（ＬＬ）に基づくエッジ情報も生成し、エッジ情報をウェーブレット逆変換部１４ｉに出力する。
【0035】
ここで、非線形異方性拡散フィルタについて説明する。非線形異方性拡散フィルタは以下の偏微分方程式（１）で表される。
【数1】
【0036】
上記式（１）の「Ｉ」は処理する画像の画素レベルを示し、「∇Ｉ」はその勾配ベクトル（Gradient Vector）を示し、「ｔ」は処理にかかわる時刻を示す。また、「Ｄ」は拡散テンソル（Diffusion Tensor）を示し、次の式（２）ように表すことができる。
【数2】
【0037】
上記式（２）の「Ｒ」は回転行列であり、拡散テンソルＤは、各画素の勾配ベクトルに対し特定の向きとその垂直方向にそれぞれ係数λ１，λ２をかける演算操作を示すことになる。その向きとは検出された画像のエッジの向きであり、係数はエッジの大きさに依存する。
【0038】
エッジの大きさと向きを検出するには、一般的に当該画像の構造テンソル（Structure Tensor）を求め、その固有値と固有ベクトルを算出する。固有値はエッジの大きさに関連付けられ、固有ベクトルはエッジの向きを表す。構造テンソルは次の式（３）ように定義される。
【数3】
【0039】
ここで、上記式（３）の「Ｉｘ」，「Ｉｙ」は処理する画像Ｉのｘ（水平）方向・ｙ（垂直）方向の空間微分であり、「Ｇρ」は２次元ガウス関数、演算子「＊」は畳み込みを表す。エッジの大きさと向きの算出は必ずしも上記の方法に厳密に従わなくともよく、処理の第１段階として「Ｉｘ」，「Ｉｙ」を計算するかわりに、ソーベルフィルタ（Sobel Filter）や、多重解像度分解の高域成分を適用してもよい。
【0040】
上記式（２）の係数λ１，λ２の計算方法は各診断分野における超音波画像の特性によって異なってくるが、一般的な数式を用意して、いくつかのパラメータによって調整できるようにすれば便利である。また、フィルタ自体の計算は、偏微分方程式の数値解析的解法によって行う。すなわち、時刻ｔにおいて、ある点における画素とその周囲の例えば９点における各画素レベル及び拡散テンソルの各要素値から、時刻ｔ＋Δｔにおけるその点の新たな画素レベルを求め、次にｔ＋Δｔを新たなｔとして、同様の計算を１回から数回繰り返す。
【0041】
図３は、画像処理回路１４によるスペックル除去処理における、非線形異方性拡散フィルタ１４ｌ（又は１４ｊ，１４ｋ）のフィルタ処理の手順を示すフローチャートである。図３において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。
【0042】
図３に示すように、非線形異方性拡散フィルタ１４ｌは、入力した低域画像データ（ＬＬ）をｘ，ｙ方向に微分し（ステップＳＴ１）、構造テンソルＳ１１，Ｓ１２，Ｓ２２を計算する（ステップＳＴ２）。なお、ステップＳＴ２における計算には、ガウスフィルタの計算も含まれる。
【0043】
次に、非線形異方性拡散フィルタ１４ｌは、構造テンソルの各要素からエッジの大きさを計算する（ステップＳＴ３）。この計算結果は、後段の偏微分方程式計算及び高域レベル制御部１４ｆ（又は１４ｄ，１４ｅ）での処理に利用される。
【0044】
次に、非線形異方性拡散フィルタ１４ｌは、構造テンソルの各要素に基づいて、非線形異方性拡散フィルタの偏微分方程式の数値解析に用いられる各係数を計算する（ステップＳＴ４）。なお、当該ステップにおいては、構造テンソルの計算も含まれ、また、処理の効率化のため、エッジの大きさも計算に用いられる。
【0045】
次に、非線形異方性拡散フィルタ１４ｌは、１回、又は数回の偏微分方程式の数値解析的計算を繰り返し実行する（ステップＳＴ５）。当該計算によって得られた結果は、ウェーブレット逆変換部１４ｉ（又は１４ｇ，１４ｈ）に出力される。
【0046】
次に、図２に示すように、レベル３の高域レベル制御部１４ｆは、水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）と、これら３成分に関するエッジ情報を入力し、これに従って高域レベルを制御する。なお、本実施形態では、エッジ情報は、前記構造テンソルの固有値に基づく規格化されたエッジの大きさで、それと各高域画像データとの画素ごとの積をとり、さらにその結果に各高域画像データの制御係数をかけているものとする。他の例としては、エッジの大きさに閾値を設定して閾値以上をエッジとみなし、エッジ以外の領域に各高域画像データの制御係数をかける方法もある。このようにして処理された３枚の高域画像データはウェーブレット逆変換部１４ｉに入力される。
【0047】
ウェーブレット逆変換部１４ｉは、非線形異方性拡散フィルタ１４ｌからの低域画像データ（ＬＬ）と、高域レベル制御部１４ｆからの水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とに基づいて、１枚の合成画像データを生成する。合成画像の縦横の長さは、入力画像の２倍となる。
【0048】
レベル３のウェーブレット逆変換部１４ｉから出力された合成画像は、レベル２の非線形異方性拡散フィルタ１４ｋに入力され、レベル３と同様のフィルタリング処理がなされた後、ウェーブレット逆変換部１４ｈの低域画像入力に送出される。一方、ウェーブレット変換部１４ｂから出力された水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とは、高域レベル制御部１４ｅにおいてレベル３と同様の高域レベル制御がなされ、ウェーブレット逆変換部１４ｈの高域画像入力へ送出される。ウェーブレット逆変換部１４ｈは、レベル３と同様に、１枚の低域画像データと３枚の高域画像データとに基づいて、１枚の合成画像データを生成する。
【0049】
また、レベル２のウェーブレット逆変換部１４ｈから出力された合成画像データは、レベル１の非線形異方性拡散フィルタ１４ｊに入力され、レベル２，３と同様のフィルタリング処理がなされた後、ウェーブレット逆変換部１４ｇの低域画像入力に送出される。一方、ウェーブレット変換部１４ａから出力された水平方向高域画像データ（ＬＨ）と、垂直方向高域画像データ（ＨＬ）と、対角線方向高域画像データ（ＨＨ）とは、高域レベル制御部１４ｄにおいてレベル２，３と同様の高域レベル制御がなされ、ウェーブレット逆変換部１４ｇの高域画像入力へ送出される。ウェーブレット逆変換部１４ｇは、レベル２，３と同様に、１枚の低域画像データと３枚の高域画像データとに基づいて、１枚の合成画像データを生成する。
【0050】
図２に示すように、画像処理回路１４は、画像合成部１４ｍをさらに備える。画像合成部１４ｍは、生データである画像処理前の画像データと、多重解像度分解後の画像データである画像処理後の画像データとを取得し、画像処理前の画像データと、画像処理後の画像データとをそれぞれ分割する。そして、画像処理回路１４は、画像部分ごとの合成率に従って、画像処理前の画像データと、画像処理後の画像データとを合成して、合成画像データを生成する。例えば、画像合成部１４ｍは、画像処理前のデータと、画像処理後の画像データとを深さ方向に複数の画像部分にそれぞれ分割し、画像処理前の画像データと、画像処理後の画像データとを、画像部分ごとに合成率を異ならせるように合成して合成画像データを生成する。例えば、画像合成部１４ｍは、深い画像部分については、浅い画像部分と比較して、画像処理後の画像データの合成率を小さく（元画像である画像処理前の画像データに近く）する。
【0051】
【0052】
図４は、深さ方向に複数に分割された、画像処理前の画像データと、画像処理後の画像データとを示す。ここでは、画像処理前の画像データの全体を便宜上「黒」として表現し、画像処理後の画像データの全体を便宜上「白」として表現する。また、各画像データが、深さ方向に３つの画像部分に分割されている。そして、画像処理前と画像処理後との合成率が、浅い画像部分について「0.3:0.7」と設定され、中間の画像部分について「0.6:0.4」と設定され、深い画像部分について「0.9:0.1」と設定される。
【0053】
このように、各画像データを深さ方向に複数に分割し、画像部分ごとに画像処理の設定を変更して合成することで、浅い画像部分にはそれに適した画像処理の設定（画像処理後の「白」に近い薄いグレー）とするとともに、深い画像部分にはそれに適した画像処理の設定（画像処理前の「黒」に近い濃いグレー）とすることができる。それにより、超音波の減衰により深さごとに解像度の差がみられる場合でも、深さごとに強調したい解像度を分けて調整することができるので、均一な合成画像データを生成することができる。
【0054】
なお、画像データを画像部分に分割する数は、図４に示すような３つに限定されるものではない。また、画像部分の大きさは、図４に示すような均等である場合に限定されるものではない。加えて、図４に示す他、画像合成部１４ｍは、深い画像部分について、浅い画像部分と比較して、画像処理後の画像データの合成率を大きく（画像処理後の画像データに近く）することもできる。また、図４に示すような、浅い画像部分から深い画像部分にかけて画像処理後の画像データの合成率を連続的に小さくする場合に限定されるものではなく、その逆の場合でもよく、また、１又は複数の局所的な画像部分、例えば中央の画像部分における画像処理後の画像データの合成率をその他の画像部分より大きく（又は、小さく）する場合であってもよい。さらに、深さ方向に複数に分割されるものに限定されるものではない。次の、図５に示すように、深さ方向に直交するチャンネル方向に複数に分割されるものであってもよい。
【0055】
図５は、チャンネル方向に複数に分割された、画像処理前の画像データと、画像処理後の画像データとを示す。ここでは、画像処理前の画像データの全体を便宜上「黒」として表現し、画像処理後の画像データの全体を便宜上「白」として表現する。また、各画像データが、深さ方向に３つの画像部分に分割されている。そして、画像処理前と画像処理後との合成率が、中央の画像部分について「0.6:0.4」と設定され、左右の部分領域についてそれぞれ「0.9:0.1」と設定される。
【0056】
このように、各画像データをチャンネル方向に複数に分割し、画像部分ごとに画像処理の設定を異ならせるように合成することで、中央の画像部分にはそれに適した画像処理の設定（画像処理後の「白」に近い薄いグレー）とするとともに、両側の画像部分にはそれに適した画像処理の設定（画像処理前の「黒」に近い濃いグレー）とすることができる。それにより、ビーム密度の差によりスキャン中心からの距離ごとに解像度の差がみられる場合でも、距離ごとに強調したい解像度を分けて調整することができるので、均一な合成画像データを生成することができる。
【0057】
なお、画像データを画像部分に分割する数は、図５に示すような３つに限定されるものではない。また、画像部分の大きさは、図５に示すような均等である場合に限定されるものではない。加えて、図５に示す他、画像合成部１４ｍは、左右の画像部分について、中央の画像部分と比較して、画像処理後の画像データの合成率を大きく（画像処理後の画像データに近く）することもできる。また、図５に示すような、１又は複数の局所的な画像部分、例えば中央の画像部分における画像処理後の画像データの合成率をその他の画像部分より大きくする場合に限定されるものではなく、その逆の場合でもよく、また、左の画像部分から右の画像部分にかけて画像処理後の画像データの合成率を連続的に小さく（又は、大きく）する場合であってもよい。
【0058】
さらに、図４及び図５に示すような一次元的な分割に限定されるものではなく、二次元的な分割であってもよい。例えば、図４に示す分割と、図５に示す分割とが組み合わされる場合である。これにより、深さ、かつ、スキャン中心からの距離に応じて、強調したい解像度を分けて調整することができるので、より均一な合成画像データを生成することができる。
【0059】
図１の説明に戻って、表示制御回路１５は、一般的には、画像処理回路１４によって生成された合成画像データを、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示画像データを生成する。具体的には、表示制御回路１５は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行うことで、表示画像データを生成する。また、表示制御回路１５は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、表示制御回路１５は、表示画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
【0060】
【0061】
図６（Ａ）は、生データである画像処理前の画像データと、画像処理後の画像データとを、浅い画像部分に適した画像処理の設定で合成した場合の画像合成データに、スキャンコンバート処理を施した場合の超音波画像データ（表示画像データ）を示す。深い画像部分（例えば、破線領域）では、浅い画像部分に適した画像処理の設定により、画像処理が強くかかり過ぎた状態となり、深い画像部分に多少の違和感がでてしまう。
【0062】
一方で、図６（Ｂ）は、画像処理前の画像データと、画像処理後の画像データとを、深さ方向に沿って合成率を変更して合成した場合の画像合成データに、スキャンコンバート処理を施した場合の超音波画像データ（表示画像データ）を示す。深い画像部分（例えば、破線領域）では、深い画像部分に適した画像処理の設定により、画像処理が強くかかり過ぎることを抑制することができ、深い画像部分の違和感を解消することができる。
【0063】
図１の説明に戻って、表示制御回路１５は、合成画像データに対して座標変換を行うことで、３次元の合成画像データをボリュームデータとして生成することもできる。そして、表示制御回路１５は、３次元メモリに記憶されたボリュームデータをディスプレイ４０にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。表示制御回路１５は、レンダリング処理として、例えば、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行ってボリュームデータからＭＰＲ画像データを生成する処理を行う。また、表示制御回路１５は、レンダリング処理として、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。なお、表示制御回路１５は、画像生成部の一例である。
【0064】
画像メモリ１６は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１６は、制御回路１８の制御による制御の下、表示制御回路１５によって生成された超音波画像データを、２次元データとしてのみならず、ボリュームデータとして記憶してもよい。なお、画像メモリ１６は、記憶部の一例である。
【0065】
ネットワークインターフェース１７は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１７は、この各種プロトコルに従って、超音波診断装置１と、外部の画像管理装置６０及び画像処理装置７０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。
【0066】
また、ネットワークインターフェース１７は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、画像処理装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１７は、ネットワーク接続部の一例である。
【0067】
制御回路１８は、専用又は汎用のＣＰＵ（Central Processing Unit）、ＭＰＵ（Microprocessor unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）等が挙げられる。
【0068】
また、制御回路１８は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ１９は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１９が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、制御回路１８は、処理部の一例である。
【0069】
メインメモリ１９は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１９は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）等の可搬型メディアによって構成されてもよい。メインメモリ１９は、制御回路１８において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ４０への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース３０によって行うことができるＧＵＩ（Graphical User Interface）を含めることもできる。なお、メインメモリ１９は、記憶部の一例である。
【0070】
超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、スキャン対象を含む領域、例えば管腔体を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して画像処理装置１０に接続される。
【0071】
超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。
【0072】
ここで、３Ｄスキャン、つまり、ボリュームスキャンが実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、ボリュームスキャンが実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。
【0073】
入力インターフェース３０は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して制御回路１８に出力する。なお、入力インターフェース３０は、入力部の一例である。
【0074】
ディスプレイ４０は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ４０は、制御回路１８の制御に従って各種情報を表示する。なお、ディスプレイ４０は、表示部の一例である。
【0075】
また、図１は、超音波診断装置１の外部機器である画像管理装置６０と画像処理装置７０とを示す。画像管理装置６０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介してデータ送受信可能に超音波診断装置１等の機器に接続される。画像管理装置６０は、超音波診断装置１によって生成された超音波画像等の医用画像をＤＩＣＯＭファイルとして管理する。
【0076】
画像処理装置７０は、ネットワークＮを介してデータ送受信可能に超音波診断装置１や画像管理装置６０等の機器に接続される。画像処理装置７０としては、例えば、超音波診断装置１によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、画像処理装置７０はオフラインの装置であって、超音波診断装置１によって生成された超音波画像を可搬型の記憶媒体を介して読み出し可能な装置であってもよい。
【0077】
続いて、画像処理装置１０を備えた超音波診断装置１の動作について説明する。
【0078】
【0079】
画像処理装置１０の制御回路１８は、例えば、ＨＩＳ（Hospital Information Systems）等の検査依頼装置（図示省略）から検査オーダ情報を受信した後、入力インターフェース３０を介して心エコー検査の超音波スキャンの開始指示を受け付ける。制御回路１８は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、表示制御回路１５等を制御して、超音波プローブ２０を用いた超音波スキャンを開始させる（ステップＳＴ１１）。制御回路１８は、各フレームの超音波画像データをディスプレイ４０にライブ表示させることもできる。
【0080】
Ｂモード処理回路１２（又は、ドプラ処理回路１３）は、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるＢモードデータを、生データとして取得する（ステップＳＴ１２）。
【0081】
画像処理回路１４は、ステップＳＴ１２によって取得された生データ（画像処理前の画像データ）に対してスペックル除去処理等の画像処理を施す（ステップＳＴ１３）。ステップＳＴ１３による画像処理は、図２及び図３等を用いて説明したとおりである。
【0082】
画像処理回路１４は、ステップＳＴ１２によって取得された画像処理前の画像データと、ステップＳＴ１３によって生成された画像処理後の画像データとを、深さ方向に分割された画像部分ごとに合成率を変更して合成するような合成率を設定する（ステップＳＴ１４）。なお、超音波の減衰を考慮して合成率を変化させる場合、画像処理回路１４は、送信超音波の周波数と、スキャン領域に減衰の大きい構造物を含むか否か（撮影部位）との少なくとも１つに応じて、画像部分に分割する方向（深さ方向、チャンネル方向等）と、画像部分の分割の数と、合成率とのうち少なくとも１つを設定することができる。
【0083】
そして、画像処理回路１４は、ステップＳＴ１４によって設定された合成率に従って、画像処理前の画像データと、画像処理後の画像データとを合成して、合成画像データを生成する（ステップＳＴ１５）。
【0084】
表示制御回路１５は、ステップＳＴ１５によって生成された合成画像データのスキャンコンバート処理により表示画像データを生成する（ステップＳＴ１６）。表示制御回路１５は、ステップＳＴ１６によって生成された表示画像データをディスプレイ４０に表示させる（ステップＳＴ１７）。ステップＳＴ１７によって表示される画像は、例えば、図６（Ｂ）に示される。
【0085】
画像処理装置１０において、スキャンコンバート前の画像データに対して多重解像度分解を行って画像処理を行う場合について説明したがその場合に限定されるものではない。例えば、画像処理装置１０は、スキャンコンバート後の画像データに対して多重解像度分解を行って画像処理を行ってもよい。
【0086】
以上のように、画像処理装置１０によれば、所定の方向（例えば、深さ方向）に画像の差があったとしても、画像処理後の画像データとの間の、深さに応じた合成率を調整することで、全体的に均一な画像処理が施された画像を提供することができる。
【0087】
（第２の実施形態）
前述したスペックル除去処理等の画像処理や合成処理は、超音波診断装置１の外部の装置によっても実施可能である。
前述したスペックル除去処理等の画像処理や合成処理は、超音波診断装置１の外部の装置によっても実施可能である。
【0088】
図８は、第２の実施形態に係る画像処理装置の構成を示す概略図である。
【0089】
図８は、実施形態に係る画像処理装置７０を示す。画像処理装置７０は、医用画像管理装置（画像サーバ）や、ワークステーションや、読影端末等であり、ネットワークＮを介して接続された医用画像システム上に設けられる。なお、画像処理装置７０は、オフラインの装置であってもよい。
【0090】
画像処理装置７０は、制御回路７１と、メモリ７２と、入力インターフェース７３と、ディスプレイ７４と、ネットワークインターフェース７５とを備える。制御回路７１と、メモリ７２と、入力インターフェース７３と、ディスプレイ７４と、ネットワークインターフェース７５とは、図１に示す制御回路１８と、メインメモリ１９と、入力インターフェース３０と、ディスプレイ４０と、ネットワークインターフェース１７とそれぞれ同等の構成を有するものであるので、説明を省略する。
【0091】
続いて、画像処理装置７０の機能について説明する。
【0092】
図９は、画像処理装置７０の機能を示すブロック図である。
【0093】
制御回路７１は、メモリ７２に記憶されたプログラムを実行することで、画像取得機能７１１と、画像処理機能７１２と、表示制御機能７１３とを実現する。なお、機能７１１～７１３の全部又は一部は、画像処理装置７０のプログラムの実行により実現される場合に限定されるものではなく、画像処理装置７０にＡＳＩＣ等の回路として備えられる場合であってもよい。
【0094】
画像取得機能７１１は、ネットワークインターフェース７５を介して画像管理装置６０又は超音波診断装置１から、超音波スキャンにより取得された被検体内部を描画する生データを画像処理前の画像データとして取得する機能を含む。なお、画像取得機能７１１は、画像取得部の一例である。
【0095】
画像処理機能７１２と、表示制御機能７１３とは、図１に示す画像処理回路１４と、表示制御回路１５とそれぞれ同等の機能を有するので、説明を省略する。なお、画像処理機能７１２は、画像処理部の一例であり、表示制御機能７１３は表示制御部の一例である。
【0096】
以上のように、画像処理装置７０によれば、画像処理装置１０と同様に、所定の方向（例えば、深さ方向）に画像の差があったとしても、画像処理後の画像データとの間の、深さに応じた合成率を調整することで、全体的に均一な画像処理が施された画像を提供することができる。
【0097】
以上説明した少なくとも１つの実施形態によれば、診断に適した超音波画像データを提供することができる。
【0098】
なお、画像取得機能７１１は、画像取得部の一例である。画像処理機能７１２は、画像処理部の一例である。表示制御機能７１３は、表示制御部の一例である。
【0099】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0100】
１ 超音波診断装置
１０，７０ 画像処理装置
１４ 画像処理回路
１８，７１ 制御回路
７１１ 画像取得機能
７１２ 画像処理機能
１０，７０ 画像処理装置
１４ 画像処理回路
１８，７１ 制御回路
７１１ 画像取得機能
７１２ 画像処理機能
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
