(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0033】
図1は、本発明の実施において好適な超音波診断装置の全体構成を示すブロック図である。プローブ10は超音波を送受する超音波探触子である。例えば、コンベックス走査型やセクタ走査型やリニア走査型、二次元画像(断層画像)用や三次元画像用等の各種のプローブ10を診断用途に応じて利用することができる。
【0034】
送受信部12は、プローブ10が備える複数の振動素子を送信制御して送信ビームを形成し、送信ビームを診断領域内で走査する。また、送受信部12は、複数の振動素子から得られる複数の受信信号を整相加算処理するなどして受信ビームを形成し、診断領域内の全域から受信ビーム信号を収集する。つまり、送受信部12は、ビームフォーマの機能を備えている。また、収集された受信ビーム信号(RF信号)は、検波処理等の受信信号処理を施される。これにより、各受信ビームごとにその受信ビームに沿って得られるラインデータが高密度化処理部20へ送られる。
【0035】
高密度化処理部20は、超音波ビーム(送信ビームと受信ビーム)を走査して得られる複数の超音波ビームに対応した複数のラインデータで構成される画像用データを高密度化する。高密度化処理部20は、画像用データ内において、超音波ビームの深さ方向に沿って高密度に並ぶ深度方向データに基づいて、超音波ビームの走査方向に沿って低密度に並ぶ走査方向データの密度を補うことにより、画像用データを高密度化する。高密度化処理部20における具体的な処理については後に詳述する。
【0036】
デジタルスキャンコンバータ(DSC)30は、高密度化処理部20において高密度化された画像用データ、つまり高密度化された複数のラインデータに対して、座標変換処理やフレームレート調整処理等を施す。デジタルスキャンコンバータ30は、超音波ビームの走査に対応した走査座標系で得られた複数のラインデータから、座標変換処理や補間処理等を利用して、表示座標系に対応した画像データを得る。また、デジタルスキャンコンバータ30は、走査座標系のフレームレートで得られた複数のラインデータを表示座標系のフレームレートの画像データに変換する。
【0037】
表示処理部40は、デジタルスキャンコンバータ30から得られる画像データに対してグラフィックデータ等を合成して表示画像を形成する。その表示画像は、液晶ディスプレイ等で実現される表示部42に表示される。なお、制御部50は、
図1の超音波診断装置内を全体的に制御する。
【0038】
なお、
図1に示す構成(各機能ブロック)のうち、送受信部12と高密度化処理部20とDSC30と表示処理部40は、それぞれ、例えばプロセッサや電子回路等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。制御部50は、例えば、CPUやプロセッサやメモリ等のハードウェアと、CPUやプロセッサの動作を規定するソフトウェア(プログラム)との協働により実現することができる。
【0039】
図1の超音波診断装置の全体構成は以上のとおりである。次に、当該超音波診断装置における高密度化処理について説明する。なお、
図1に示した構成(ブロック)については以下の説明において
図1の符号を利用する。
【0040】
図2は、超音波ビームを走査して得られる画像用データの具体例を示す図である。
図2には、超音波ビームを走査して得られる複数の超音波ビームに対応した複数のラインデータで構成される画像用データが示されている。
図2には、超音波ビームの深さ方向rと超音波ビームの走査方向である方位方向θが示されており、深さ方向rに沿って並ぶ複数の黒丸印(塗り潰し丸印)の列がラインデータである。
【0041】
ラインデータは、超音波ビームの深さ方向rに沿って収集される。深さ方向rについては、浅部(プローブ10に近い側)から深部(プローブ10から遠い側)に亘って、超音波の受信信号を連続的に得ることができるため、比較的高密度に並ぶラインデータを得ることができる。例えば、1本の超音波ビームに沿って数千個のラインデータを得ることができ、数千個のラインデータをそのまま利用してもよいし、数千個のラインデータをリサンプリング(デシメンション)して得られる数百個のラインデータを利用してもよい。
【0042】
そして、例えばコンベックス走査やセクタ走査の場合、方位方向θに超音波ビームが走査され、超音波ビームの角度を段階的にずらしつつ複数の超音波ビームが次々に形成される。二次元のBモード画像であれば、1枚(1フレーム)の画像を得るために、例えば数十から百本程度の超音波ビームが形成され、各超音波ビームごとに深さ方向rに沿ってラインデータが収集される。
【0043】
このように、ラインデータは、深さ方向rに沿って比較的高密度に収集されるものの、方位方向θにおいては、超音波ビームの走査間隔だけラインデータ同士が離れている。そのため、複数のラインデータで構成される画像用データは、方位方向θに沿って、比較的低密度となる。そこで、高密度化処理部20は、以下に詳述する処理により、互いに隣接する超音波ビームの間、つまり
図2において破線で示す直線上に高密度化データを挿入して、画像用データを高密度化する。
【0044】
高密度化処理部20は、画像用データ内において、超音波ビームの方位方向(走査方向)θに対応したテンプレートを配置し、超音波ビームの深さ方向rに対応したカーネルを移動させ、テンプレートに適合するカーネルを探索することにより、探索されたカーネルに属する深度方向データを用いてテンプレートに属する走査方向データの密度を補う。
【0045】
図3は、テンプレートとカーネルを利用した探索の具体例を示す図である。
図3には、
図2の画像用データが示されている。つまり、超音波ビームの深さ方向rと超音波ビームの走査方向である方位方向θが示されており、深さ方向rに沿って並ぶ複数の黒丸印(塗り潰し丸印)の列がラインデータである。但し、
図3においては、方位方向θに沿って得られた複数のラインデータが互いに平行に配置されている。
【0046】
図3(1)は、テンプレートTとカーネルKの具体例を示している。この具体例において、テンプレートTは、方位方向θに伸長された1次元形状である。画像用データのうち方位方向θに沿って並ぶデータを方位方向データとすると、テンプレートT内には4個のデータからなる方位方向データが含まれている。なお、テンプレートTは、方位方向θに対応した形状であればよく、必ずしも方位方向θに平行でなくてもよい。例えば方位方向θに対して斜めに傾いたテンプレートTが設定されてもよい。また、テンプレートTは、1次元形状に限らず、2次元形状(矩形その他の多角形や円形など)であってもよい。画像用データが3次元データであれば、3次元形状のテンプレートTが利用されてもよい。
【0047】
一方、
図3(1)の具体例において、カーネルKは、深さ方向rに伸長された1次元形状である。画像用データのうち、深さ方向rに沿って並ぶデータを深度方向データとすると、カーネルK内には13個のデータからなる深度方向データが含まれている。なお、カーネルKは、深さ方向rに対応した形状であればよく、必ずしも深さ方向rに平行でなくてもよい。例えば、深さ方向rに対して斜めに傾いたカーネルKが設定されてもよい。また、カーネルKは、1次元形状に限らず、2次元形状(矩形その他の多角形や円形など)であってもよい。画像用データが3次元データであれば、3次元形状のカーネルKが利用されてもよい。なお、カーネルKはテンプレートTと同一の形状であることが望ましい。
【0048】
高密度化処理部20は、画像用データ内において、カーネルKを移動させ、テンプレートTに適合するカーネルKを探索する。高密度化処理部20は、画像用データ内に探索領域SAを設定し、設定した探索領域SA内でカーネルKを移動させる。
図3(1)の具体例において、探索領域SAは、テンプレートTの位置を中心としてテンプレートTを取り囲む矩形とされている。なお、探索領域SAの形状はその他の多角形や円形などであってもよい。画像用データが3次元データであれば、3次元形状の探索領域SAが利用されてもよい。また、探索領域SAは、テンプレートTの位置を中心とした配置に限らず、画像用データの状態等に応じて、テンプレートTと探索領域SAの位置関係が適宜調整されてもよい。また、探索領域SAの大きさは、固定的に設定されてもよいし、画像用データの状態等に応じて適宜調整されてもよい。例えば、画像用データの全域を探索領域SAとしてもよい。
【0049】
図3(2)は、テンプレートTに適合するカーネルKの探索の具体例を示している。高密度化処理部20は、テンプレートTに属する方位方向データとカーネルKに属する深度方向データとの間のパターンマッチングにより、テンプレートTに適合するカーネルKを探索する。高密度化処理部20は、テンプレートT内の走査方向データとその走査方向データのデータ間隔でカーネルK内から選択される深度方向データとの間の類似度に基づいたパターンマッチングにより、テンプレートTに適合するカーネルKを探索する、つまり
図3(2)においてテンプレートTに対してカーネルKを90°回転させてテンプレートTとカーネルKとの間でパターンマッチングが行われる。なお、カーネルKの回転方向は右側90°または左側90°のいずれでもよく、また、右側90°と左側90°の両方についてパターンマッチングを行ってもよい。パターンマッチングにおいては、数1式に示す輝度差二乗和(SSD)や数2式に示す輝度差絶対和(SAD)などを代表とする類似度の演算が利用される。
【0051】
図3(2)に示す符号は、数1式と数2式における変数に対応している。例えば、MとNは、テンプレートTのサイズを示している。Mは、テンプレートTの方位方向θの大きさ、つまり方位方向データのデータ数を示している。また、Nは、テンプレートTの深度方向rの大きさ、つまり方位方向データの列数を示している。
図3(2)の具体例においては、M=4,N=1である。T(i,j)は、テンプレートT内の各データ(各画素)の値(画素値)を示しており、iは方位方向θの座標であり、jは深度方向rの座標である。
【0052】
また、I(k,l)は、カーネルK内の各データ(各画素)の値(画素値)を示しており、kは方位方向θの座標であり、l(エル)は深度方向rの座標である。カーネルK内においては、テンプレートT内の方位方向データのデータ間隔で、深度方向データの各データが選択される。dは、その選択におけるデータ間隔であり、
図3(2)の具体例においてはd=4であり、カーネルK内から、深さ方向rに沿って4データごとに1つのデータが選択される。
【0053】
テンプレートTとカーネルKは、実空間内において、大きさと形状が互いに等しいことが望ましい。さらに、テンプレートT内の方位方向データのデータ間隔と、カーネルK内において選択される深度方向データのデータ間隔が、実空間上において互いに等しいことが望ましい。
【0054】
図4は、実空間内におけるデータ間隔を説明するための図である。
図4には、セクタ走査により得られるラインデータの具体例が図示されている。セクタ走査やコンベックス走査においては、プローブ側を中心として、超音波ビームが放射状または扇状に走査されるため、プローブに近い浅部に比べ、プローブから遠い深部において超音波ビームの間隔が広くなる。
【0055】
図4において、超音波ビームの長さ(最大の深さ)がR(mm)であり、超音波ビームの走査範囲(角度範囲)がθ(deg)である。また、1本の超音波ビームに沿って得られるラインデータの個数(サンプル数)がSであり、超音波ビームの本数(ライン総数)がLnである。
【0056】
そして、深さ方向のサンプリングレート(ラインデータ間隔)がΔRとなる。一方、方位方向のサンプリングレート(ビーム間隔)は、深さに応じて異なり、深さRaにおけるサンプリングレートがΔaとなる。そこで、方位方向に対応したテンプレートT内のデータ間隔と、深さ方向に対応したカーネルK内から選択されるデータ間隔とを、実空間上において互いに等しくするにあたり、次式に示す方位方向のサンプリングレートΔaと深さ方向のサンプリングレートΔRの比率を利用する。
【0058】
例えば、
図3(2)に示すテンプレートTの深さをRaとして、数3式によりサンプリングレート比率を算出し、算出結果に最も近い整数を
図3(2),数1式,数2式におけるd(深度方向データの選択間隔)とする。つまり、テンプレートTが深くなるほど方位方向のサンプリングレートΔaが大きくなり(広がり)、それに応じて、カーネルK内における深度方向データの選択間隔dも大きくなる。これにより、テンプレートT内の方位方向データのデータ間隔と、カーネルK内において選択される深度方向データのデータ間隔を、実空間上において互いに等しくすることができる。
【0059】
図3(2)に戻り、数1式に示す輝度差二乗和(SSD)を利用したパターンマッチングにおいては、カーネルKを深さ方向rに沿って段階的に移動しつつ、例えば深さ方向rに沿って高密度に並ぶデータの1つ分ずつカーネルKを移動しつつ、各位置において、カーネルKとテンプレートTとの間で数1式のSSDが算出される。さらに、方位方向θに沿って超音波ビームの1本分だけ位置をずらして、深さ方向rに沿ってカーネルKを移動しつつ、各位置において数1式のSSDが算出される。こうして、探索領域SA内の全域に亘ってカーネルKを移動させつつ、各位置において数1式のSSDが算出される。そして、探索領域SA内において例えばSSDが最小値となる位置におけるカーネルKが、テンプレートTに適合するカーネルKとされる。なお、カーネルKは、深さ方向rに沿って数データ間隔で、方位方向θに沿って数ビーム間隔で、段階的に移動させてもよい。
【0060】
また、数2式に示す輝度差絶対和(SAD)を利用したパターンマッチングでも、輝度差二乗和(SSD)の場合と同様に、探索領域SA内の全域に亘ってカーネルKを移動させつつ、各位置において数2式のSADが算出される。そして、探索領域SA内において例えばSADが最小値となる位置におけるカーネルKが、テンプレートTに適合するカーネルKとされる。
【0061】
なお、
図3(2)の画像用データを構成するラインデータは、デシメンション(リサンプリング)前後のいずれでもよい。デシメンション前であれば深度方向データが多数であるためパターンマッチングの精度が高まり、デシメンション後であれば深度方向データが間引かれているためパターンマッチングの演算負荷を軽減できる。
【0062】
テンプレートTに適合するカーネルKが探索されると、そのカーネルKの深度方向データから得られる高密度化データにより、テンプレートT内の方位方向データが高密度化される。
【0063】
図5は、高密度化データによる高密度化の具体例を示す図である。
図5には、
図3の画像用データが示されている。つまり、超音波ビームの深さ方向rと超音波ビームの方位方向θが示されており、深さ方向rに沿って並ぶ複数の黒丸印(塗り潰された丸印)がラインデータである。
【0064】
図5(1)は、高密度化データの挿入例を示している。
図5(1)の画像用データ内にはテンプレートTとそれに適合するカーネルKが示されている。高密度化処理部20は、テンプレートTに適合するカーネルK内の深度方向データから得られる高密度化データをテンプレートT内の方位方向データの隙間に挿入する。
図5(1)の具体例において、カーネルKの中心に位置する白丸(塗り潰されていない丸印)の深度方向データが高密度化データとされ、テンプレートTの中心に位置する隙間(破線で示す直線上)に挿入されている。
【0065】
テンプレートTに適合するカーネルKは、探索領域SA(
図3)内において、輝度差二乗和(数1式)または輝度差絶対和(数2式)が最小となるカーネルKであり、テンプレートTに最も類似した画像部分である。テンプレートTは方位方向θに対応し、カーネルKは深さ方向rに対応しており、互いに対応する方向が異なるものの、テンプレートTとそれに適合するカーネルKは最も類似した画像部分であり、超音波の音響的な振る舞いや組織の性状等が互いに酷似している可能性が極めて高い。
【0066】
そこで、
図5(1)に示す具体例のように、テンプレートTに適合するカーネルKの深度方向データから得られる白丸の高密度化データがテンプレートTの方位方向データの隙間に挿入される。なお、カーネルK内における高密度化データの位置と、テンプレートT内における高密度化データの挿入位置は、互いに等しいことが望ましい。つまり、例えば
図5(1)に示す具体例のように、カーネルKの中心から得られた高密度化データがテンプレートTの中心に挿入されることが望ましい。なお、カーネルKの深度方向データの中から高密度化データが選択されてもよいし、カーネルKの深度方向データに基づいた演算により高密度化データが算出されてもよい。
【0067】
さらに、高密度化処理部20は、画像用データ内において互いに異なる複数位置にテンプレートTを配置し、各位置においてテンプレートTに適合するカーネルKを探索することにより、複数位置においてテンプレートTに属する方位方向データの密度を補い、画像用データを高密度化する。
【0068】
図5(2)は、画像用データの高密度化の具体例を示している。
図5(2)において、画像用データはその全域に亘って高密度化データが挿入されている。つまり、画像用データの全域に亘って複数位置にテンプレートTを配置し、各位置においてテンプレートTに適合するカーネルKを探索し、テンプレートTの各位置において白丸の高密度化データを得て、その位置に高密度化データを配置すると
図5(2)の具体例となる。
図5(2)においては、互いに隣接する超音波ビームの間、つまり
図5(1)において破線で示す直線上を埋め尽くすように高密度化データが挿入され、画像用データが高密度化されている。
【0069】
図6は、高密度化された画像用データの具体例を示す図である。
図2に示した画像用データに対し、
図3から
図5を利用して説明した処理により高密度化された画像用データが
図6に示されている。
図2の画像用データと比較して、
図6においては、互いに隣接する超音波ビームの間、つまり
図2において破線で示す直線上を埋め尽くすように高密度化データが挿入され、画像用データが高密度化されている。高密度化処理部20において高密度化された画像用データは、デジタルスキャンコンバータ30において座標変換処理を施される。
【0070】
デジタルスキャンコンバータ30は、例えば
図6に示す高密度化された画像用データについて、超音波ビームの走査に対応したrθ走査座標系で得られた画像用データから、xy直交座標系の表示座標系に対応した画像データを得る。例えば
図6において格子状に示されるxy直交座標系内の複数座標において、各座標ごとに、その座標の近傍に位置するラインデータ(黒丸)と高密度化データ(白丸)を利用した補間処理により、xy直交座標系の各座標における画像データが算出される。
【0071】
こうして、デジタルスキャンコンバータ30において得られた画像データに対して、表示処理部40がグラフィックデータ等を合成して表示画像を形成し、その表示画像が表示部42に表示される。
【0072】
なお、
図5(1)においては、カーネルKの中心から得られた1つの高密度化データをテンプレートTの中心に挿入する具体例を説明したが、以下に説明する変形例により、高密度化データを挿入してもよい。
【0073】
図7は、距離を考慮した高密度化データの挿入例を示す図である。
図7には、高密度化処理される画像用データが示されている。つまり、超音波ビームの深度方向(深さ方向)rと超音波ビームのライン方向(方位方向)θが示されており、深度方向rに沿って並ぶ複数の黒丸印(塗り潰された丸印)がラインデータである。
【0074】
図7の画像用データ内にはテンプレートTと、それに適合するカーネルKの探索において得られた複数のカーネルK
A,K
B,K
Cが示されている。また、
図7には、テンプレートTと各カーネルKとの間における輝度差絶対和SADと、テンプレートTと各カーネルKとの間の距離(例えば中心間の距離)Distが示されている。つまり、カーネルK
Aの輝度差絶対和と距離がそれぞれSAD
AとDist
Aであり、カーネルK
Bの輝度差絶対和と距離がそれぞれSAD
BとDist
Bであり、カーネルK
Cの輝度差絶対和と距離がそれぞれSAD
CとDist
Cである。
【0075】
図7の挿入例においては、類似度であるSADに加えて距離Distを考慮してテンプレートTに挿入される高密度化データPが決定される。つまり、SADが最小であることを優先しつつ、SADが最小となるカーネルKが複数ある場合に、距離Distの小さい方が選択される。具体例を示すと次のとおりである。
【0076】
(1)「SAD
A<SAD
B<SAD
C」であれば、カーネルK
Aを選択し、カーネルK
Aの中心に位置するデータAを、テンプレートTに挿入する高密度化データPとする。
(2)「SAD
A=SAD
B=SAD
C」且つ「Dist
A<Dist
B<Dist
C」であれば、カーネルK
Aを選択し、カーネルK
Aの中心に位置するデータAを、テンプレートTに挿入する高密度化データPとする。
(3)「SAD
A>SAD
B=SAD
C」且つ「Dist
A<Dist
B<Dist
C」であれば、カーネルK
Bを選択し、カーネルK
Bの中心に位置するデータBを、テンプレートTに挿入する高密度化データPとする。
【0077】
また、選択されたカーネルK内からから得られる複数のデータを平滑化して得られるデータをテンプレートTに挿入する高密度化データPとしてもよい。例えばカーネルK
Aが選択された場合に、カーネルK
Aの中心に位置するデータAとその上下(浅い側と深い側)のデータからなる複数個のデータの平均値を高密度化データPとする。これにより、仮にデータAがノイズであった場合にも、平滑化によりノイズの影響が軽減または除去されて不自然な画像の生成を抑制できる。
【0078】
なお、平滑化に利用されるデータ個数(タップ数)は、カーネルKのサイズに応じて決定されてもよい。例えば「タップ数=(カーネルサイズ−1)/3+1」とする。また、カーネルKのサイズ(カーネル内の深度方向のデータ総数)は、テンプレートTの実空間内におけるサイズに合わせることが望ましい。例えば、テンプレートTが深いほどテンプレートTの実空間におけるサイズが大きくなる場合に、カーネルKのサイズもそれに合わせて大きくする。具体例を示すと、テンプレートTが比較的浅い領域において、カーネルサイズが7とされ、その場合のタップ数は3となる。また、テンプレートTが中間の領域においてカーネルサイズが19とされ、その場合のタップ数は7となる。そして、テンプレートTが比較的深い領域において、カーネルサイズが37とされ、その場合のタップ数は13となる。
【0079】
図8は、複数のカーネルKを利用した高密度化データの挿入例を示す図である。
図7と同様に、
図8には、高密度化処理される画像用データが示されている。
図8の画像用データ内にはテンプレートTと、それに適合するカーネルKの探索において得られた複数のカーネルK
A,K
B,K
C,K
Dが示されている。
【0080】
また、
図8には、テンプレートTと各カーネルKとの間における輝度差絶対和SADとテンプレートTと各カーネルKとの間の距離(例えば中心間の距離)Distが示されている。つまりカーネルK
Aの輝度差絶対和と距離がそれぞれSAD
AとDist
Aであり、カーネルK
Bの輝度差絶対和と距離がそれぞれSAD
BとDist
Bであり、カーネルK
Cの輝度差絶対和と距離がそれぞれSAD
CとDist
Cであり、カーネルK
Dの輝度差絶対和と距離がそれぞれSAD
DとDist
Dである。
【0081】
図8の挿入例においては、類似度であるSADが小さい方から順に、距離Distを考慮して、複数のカーネルKが選択される。例えば、SADが小さい方から順に3個のカーネルKを選択することを優先しつつ、SADが同値となるカーネルKが複数ある場合に、距離Distの小さい方を選択する。具体例を示すと次のとおりである。
【0082】
(1)「SAD
A<SAD
B<SAD
C<SAD
D」であれば、カーネルK
A,K
B,K
Cを選択し、カーネルK
A,K
B,K
Cの各々の中心に位置するデータA,B,Cに基づいてテンプレートTに挿入する高密度化データPを得る。例えば、データA,B,Cの平均値を高密度化データPとする。また、選択されたカーネルK
A,K
B,K
Cの各々の距離に応じた重み付け加算「P=0.5A+0.25B+0.25C」により、高密度化データPを得るようにしてもよい。
(2)「SAD
A=SAD
B=SAD
C=SAD
D」且つ「Dist
A<Dist
B<Dist
C<Dist
D」であれば、カーネルK
A,K
B,K
Cを選択し、カーネルK
A,K
B,K
Cの各々の中心に位置するデータA,B,Cに基づいてテンプレートTに挿入する高密度化データPを得る。例えば、データA,B,Cの平均値を高密度化データPとする。また、距離に応じた重み付け加算「P=0.5A+0.25B+0.25C」により、高密度化データPを得るようにしてもよい。
(3)「SAD
A>SAD
B=SAD
C=SAD
D」且つ「Dist
A<Dist
B<Dist
C<Dist
D」であれば、カーネルK
B,K
C,K
Dを選択し、カーネルK
B,K
C,K
Dの各々の中心に位置するデータB,C,Dに基づいてテンプレートTに挿入する高密度化データPを得る。例えば、データB,C,Dの平均値を高密度化データPとする。また、距離に応じた重み付け加算「P=0.5B+0.25C+0.25D」により、高密度化データPを得るようにしてもよい。
【0083】
なお、以上までの説明においては、高密度化データをテンプレートTの中心に挿入する具体例を説明したが、以下に説明するように、高密度化データの挿入位置を推定し、その挿入位置に高密度化データを挿入してもよい。
【0084】
図9は、高密度化データの挿入位置に関する推定の具体例を示す図である。なお、挿入位置の推定に先立って、高密度化処理部20は、例えば
図3を利用して説明した具体例によりテンプレートTに適合したカーネルKを探索する。そして
図9の推定の具体例では、テンプレートT内の走査方向データの隙間において、高密度化データを挿入する最良の位置が推定される。高密度化処理部20は、テンプレートTに適合するカーネルKの探索で得られた類似度の空間的な分布に基づいて、類似度が最良となる最良位置を推定し、推定した最良位置に高密度化データを挿入する。
【0085】
図9(1)は、等角直線フィッティングを利用した推定例を示しており、
図9(2)はパラボラフィッティングを利用した推定例を示している。
図9(1)(2)の各々において、横軸はカーネルKの位置を示しており、縦軸は、各位置における類似度の値、例えば輝度差二乗和(数1式)または輝度差絶対和(数2式)の値を示している。また、黒丸印(塗り潰された丸印)が各位置で算出された類似度の具体例である。
【0086】
図3を利用して説明したように、テンプレートTに適合したカーネルKの探索においては、輝度差二乗和(SSD)または輝度差絶対和(SAD)が最小値となる位置におけるカーネルKが、テンプレートTに適合するカーネルKとされる。
【0087】
図9(1)(2)において、横軸の位置0(ゼロ)がカーネルKの探索位置である。つまり、類似度が算出された複数位置のうち、位置0において算出された類似度が最小値となる。また、横軸の位置1と位置−1は、探索位置である位置0の近傍におけるカーネルKの移動位置である。例えば、深さ方向rに沿って並ぶデータの1つ分ずつカーネルKを移動しつつ類似度を得た場合には、位置0からデータ1つ分だけずれた移動位置が位置1と位置−1となる。
【0088】
高密度化処理部20は、探索位置の近傍における類似度の空間的な分布に基づいて、類似度が最良となる対応点位置(最良位置)を推定する。例えば、
図9(1)に示す例のように、等角フィッティングを利用して対応点位置が推定される。つまり、負方向側から正方向側に向かって類似度が減少する減少直線DLと類似度が増加する増加直線ILについて、減少直線DLと増加直線ILの傾きθを同一(等角)としつつ、位置−1,0,1の3点(黒丸印)を通るように減少直線DLと増加直線ILを設定し、設置した減少直線DLと増加直線ILの交点の位置を対応点位置(サブピクセル位置)とする。
【0089】
また、例えば、
図9(2)に示す例のように、パラボラフィッティングを利用してもよい。つまり、位置−1,0,1の3点(黒丸印)を通る例えば放物線を設定し、その放物線が極小となる位置を対応点位置(サブピクセル位置)とする。
【0090】
こうして、探索位置である位置0よりも類似度が良い(SSD又はSADが小さい)対応点位置が推定される。対応点位置が推定されると、高密度化処理部20は、探索位置のカーネルKから得られる高密度化データをテンプレートT内の対応点位置に挿入する。例えば、カーネルKの中心から得られた高密度化データが、テンプレートTの中心から対応点位置に相当する距離だけずれた位置に挿入される。
【0091】
図10は、対応点位置への高密度化データの挿入例を示す図である。
図10には、高密度化処理される画像用データが示されている。つまり、超音波ビームの深さ方向rと超音波ビームの走査方向である方位方向θが示されており、深さ方向rに沿って並ぶ複数の黒丸印(塗り潰された丸印)がラインデータである。
【0092】
図10の画像用データ内には、2つのテンプレートT1,T2とそれに適合するカーネルKが示されている。テンプレートT1の方位方向データの隙間(走査線間)には、2つのカーネルKから得られる2つの高密度化データ(白丸)が挿入されている。また、テンプレートT2の方位方向データの隙間には、3つのカーネルKから得られる3つの高密度化データが挿入されている。各高密度化データの挿入位置は、
図9を利用して説明した処理により推定される。
図10に示すように、1つのテンプレートTのデータ間に複数の高密度化データが挿入されてもよい。
【0093】
図11は、対応点位置を利用した高密度化の具体例を示す図である。
図11において、画像用データは、その全域に亘って高密度化データが挿入されている。つまり、画像用データの全域に亘って複数位置にテンプレートTを配置し、各位置においてテンプレートTに適合するカーネルKを探索し、そのカーネルKから白丸の高密度化データを得て対応点位置へ配置すると
図11の具体例となる。
図11においては、互いに隣接する超音波ビームの間、つまり
図11において黒丸で示すラインデータ間に複数の高密度化データが挿入され、画像用データが高密度化されている。
【0094】
なお、画像用データ内において一様な密度で高密度化データが挿入されてもよいし、深さに応じて密度を異ならせてもよい。例えば、セクタ走査やコンベックス走査により得られた画像用データは、深い部分ほど超音波ビームの間隔が広くなるため、深い部分ほど高密度化データのデータ数を増加させてもよいし、浅い部分において高密度化を省略してもよい。
【0095】
図12は、対応点位置を利用して高密度化された画像用データを示す図である。
図2に示した画像用データに対し、
図9から
図11を利用して説明した処理により高密度化された画像用データが、
図12に示されている。
図2の画像用データと比較して、
図12においては、互いに隣接する超音波ビームの間つまり黒丸で示すラインデータ間に複数の高密度化データが挿入され、画像用データのデータ密度が数倍に高密度化されている。高密度化処理部20において高密度化された画像用データは、デジタルスキャンコンバータ30において座標変換処理を施される。
【0096】
デジタルスキャンコンバータ30は、例えば
図12に示す高密度化された画像用データについて、超音波ビームの走査に対応したrθ走査座標系で得られた画像用データから、xy直交座標系の表示座標系に対応した画像データを得る。例えば
図12において格子状に示されるxy直交座標系内の複数座標において、各座標ごとに、その座標の近傍に位置するラインデータ(黒丸)と高密度化データ(白丸)を利用した補間処理により、xy直交座標系の各座標における画像データが算出される。
【0097】
図13は、デジタルスキャンコンバータ(DSC)30における補間処理の具体例を示す図である。
図13には、
図12の領域Aが拡大表示されている。デジタルスキャンコンバータ30は、xy直交座標系の画像データを構成する画素データPを得るにあたり、画素データPの近傍に位置するラインデータ(黒丸)と高密度化データ(白丸)の少なくとも一方を利用する。
【0098】
図13に示す具体例においては、画素データPに近い順に選ばれた4つの高密度化データが利用される。各高密度化データの位置(対応点位置)は、
図9を利用して説明した処理により推定され、例えばメモリ等に記憶されている。デジタルスキャンコンバータ30は、メモリ等から4つの高密度化データの対応点位置(θ
1,θ
2,θ
3,θ
4)を読み出し、例えば、画素データPの位置から各高密度化データの位置までの距離に応じた重み付け加算により、4つの高密度化データから画素データPを得る。なお、
図13の具体例においては、4つの高密度化データから画素データPを得ているが、画素データPの位置によっては、補間処理に利用される4つのデータにラインデータが含まれる場合もある。
【0099】
図14は、
図1の超音波診断装置における処理を纏めたフローチャートである。まず、複数の超音波ビームに対応した複数のラインデータで構成される画像用データが得られると(S1401)、高密度化処理部20は、画像用データ内にテンプレートTを配置し(S1402,
図3)、探索領域SAを設定する(S1403,
図3)。また、高密度化処理部20は、テンプレートTの位置(深さ)に応じて、カーネルK内において選択される深度方向データのデータ間隔を設定する(S1404,
図4)。
【0100】
さらに、高密度化処理部20は、探索領域SA内においてカーネルKを移動させつつ(S1405,
図3)、カーネルKの各位置においてカーネルKとテンプレートTのパターンマッチングを行う(S1406,
図3)。そして、探索領域SAの全域においてパターンマッチングが終了し、テンプレートTに適合するカーネルKが探索されると(S1407)、適合するカーネルKの深度方向データから得られる高密度化データが、テンプレートT内の方位方向データの隙間に挿入される(S1408,
図5,
図7〜
図11)。
【0101】
高密度化処理部20は、画像用データ内の複数位置にテンプレートTを配置し、各位置においてS1402からS1408までの処理を実行する。画像用データの全域に亘る全テンプレートが終了するまで、S1402からS1408までの処理が繰り返し実行される(S1409)。
【0102】
こうして、高密度化処理部20により、画像用データ内の全域に亘って高密度化データが挿入されると、高密度化された画像用データがデジタルスキャンコンバータ30により表示座標系へ変換され(S1410,
図6,
図12,
図13)、高密度化された画像が表示部42に表示される(S1411)。
【0103】
図1の超音波診断装置によれば、超音波ビームの深さ方向に沿って高密度に並ぶ深度方向データに基づいて、超音波ビームの走査方向(方位方向)に沿って低密度に並ぶ走査方向データ(方位方向データ)の密度を補うことにより、画像用データが高密度化される。そのため、比較的解像度の高い超音波画像を提供することができる。また、例えば、高フレームレートで低密度に得られた動画像を高密度化することにより、高フレームレート且つ高密度な動画像を提供することができる。また、セクタ走査やコンベックス走査により得られる画像の深い部分における高密度化はもちろん、リニア走査等により得られる画像が高密度化されてもよい。
【0104】
なお、
図3から
図14を利用して説明した処理の一部または全てに対応したプログラムにより、
図1に示した高密度化処理部20から表示処理部40までの機能の一部または全てをコンピュータで実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。上記プログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネット等の電気通信回線を介して上記プログラムがコンピュータに提供されてもよい。
【0105】
以上、本発明の好適な実施形態である
図1の超音波診断装置について詳述したが、
図1の超音波診断装置により得られる超音波画像の具体例を示すと次のようになる。
【0106】
図15は、低密度画像の具体例を示す図である。
図15の低密度画像は、セクタ走査により得られたライン数(ビーム本数)61のBモード画像である。
図15の低密度画像を高密度化して得られる高密度画像の具体例を
図16から
図19に示す。
【0107】
図16は、高密度画像の具体例1を示す図である。
図16の高密度画像は、
図7を利用して説明した高密度化データの挿入例により、SADが最小値となる1つのカーネルKから得られた1つの高密度化データを、
図15の低密度画像内に次々に挿入して得られた、ライン数121の高密度画像である。
【0108】
図17は、高密度画像の具体例2を示す図である。
図17の高密度画像は、
図7を利用して説明した高密度化データの挿入例により、SADが最小値となる1つのカーネルKから平滑化により得られた高密度化データを、
図15の低密度画像内に次々に挿入して得られた高密度画像である。
【0109】
図18は、高密度画像の具体例3を示す図である。
図18の高密度画像は、
図8を利用して説明した高密度化データの挿入例により、SADが小さい3つのカーネルKから得られるデータの平均値により得られた高密度化データを、
図15の低密度画像内に次々に挿入して得られた高密度画像である。
【0110】
図19は、高密度画像の具体例4を示す図である。
図19の高密度画像は、
図8を利用して説明した高密度化データの挿入例により、SADが小さい3つのカーネルKから得られるデータを距離に応じて重み付け加算して得られた高密度化データを、
図15の低密度画像内に次々に挿入して得られた高密度画像である。
【0111】
図16から
図19に示す高密度画像はいずれも、
図15の低密度画像より解像度が向上して鮮明になっている。
【0112】
図1の超音波診断装置により得られる超音波画像の具体例は以上のとおりである。
図1の超音波診断装置(本超音波診断装置)は、さらに、以下に説明する追加または変更の機能も備えている。
【0113】
<深さ方向のフィルタ処理>
図20は、ラインデータに対する各種処理を説明するための図である。
図20に示す各種処理は、例えば、送受信部12または高密度化処理部20が実行する。
【0114】
(A)は、送受信部12において得られるオリジナルのラインデータを示している。(A)に示すオリジナルのラインデータは、超音波ビーム(受信ビーム)1本分のデータであり、数百から数千個程度のサンプリングデータで構成される。
【0115】
本超音波診断装置は、オリジナルのラインデータに対して、深さ方向rのフィルタ処理を施す。例えば深さ方向rに並ぶいくつかのサンプリングデータを対象としたFIRフィルタ処理が施される。(A)には、フィルタ処理の具体例として、n個(nは自然数)のサンプリングデータを対象としたnTap(タップ)FIRフィルタが図示されている。例えば、深さ方向rに沿ってnTapFIRフィルタのウィンドウ(n個分のデータ範囲)を1データずつシフトさせながら、次々にフィルタ処理後のデータを得ることにより、(B)に示すフィルタ後のラインデータが得られる。
【0116】
本超音波診断装置は、(B)に示すフィルタ後のラインデータをリサンプリング処理して、(C)に示すリサンプリング後のラインデータを得る。例えば、深さ方向rに並ぶフィルタ後のラインデータから、数データ間隔でサンプリングデータが抽出される。
【0117】
なお、nTapFIRフィルタを数データずつシフトさせてフィルタ処理後のデータを得ることにより、(A)に示すオリジナルのラインデータから、直接的に、(C)に示すリサンプリング後のラインデータを得るようにしてもよい。
【0118】
本超音波診断装置は、(C)に示すリサンプリング後のラインデータを利用して、つまり(C´)に示すラインデータを利用して、画像用データの高密度化処理を行う。例えば
図3から
図13を利用して説明した処理により高密度化された画像用データを得る。さらに、本超音波診断装置は、高密度化された画像用データに対して、深さ方向rのフィルタ処理を施す。
【0119】
図21は、高密度化された画像用データに対する深さ方向rのフィルタ処理を説明するための図である。
図21には、高密度化された画像用データが示されている。つまり、超音波ビームの深さ方向rと超音波ビームの方位方向θが示されており、深さ方向rに沿って並ぶ複数の黒丸印(塗り潰された丸印)がリサンプリング後のラインデータ(
図20における(C´))であり、深さ方向rに沿って並ぶ複数の白丸印(塗り潰されていない丸印)が、高密度化処理(例えば
図3から
図13)により挿入されたデータ(高密度化データ)である。
【0120】
本超音波診断装置において、例えば高密度化処理部20は、高密度化データ(白丸)に対して、ラインデータ(黒丸)に対する深さ方向rのフィルタ処理と同程度のフィルタ処理を施す。同程度とは、例えば、実空間内におけるフィルタの長さ(データ数)が互いに同じ又は実質的に同じであり、各データに対する重みづけ(フィルタ係数)が互いに同じ又は実質的に同じである場合などである。
【0121】
具体的には、ラインデータに対して
図20(A)に示すnTapFIRフィルタが利用された場合に、高密度化データに対して、
図21に示すように、3個のデータを対象とした3Tap(タップ)FIRフィルタが施される。
図20(A)に示すnTapFIRフィルタは、フィルタの長さがnデータであり、実空間内における長さが、
図20(C)における3個のデータ(例えばR1〜R3)に相当する。そこで、
図21に示す高密度化データ(白丸)に対して、ラインデータ(黒丸)の3個に相当する長さの3TapFIRフィルタが適用される。
【0122】
また、例えば、nTapFIRフィルタ(
図20)の先頭データの係数と中心データの係数と最終データの係数を、必要に応じて規格化処理して、3TapFIRフィルタ(
図21)の先頭データの係数と中心データの係数と最終データの係数とする。
【0123】
なお、上述したフィルタの長さや重みづけは1つの具体例であり、フィルタの長さや重みづけは上記具体例に限定されない。また、ユーザがフィルタの長さや重みづけを調整できる構成としてもよい。
【0124】
<輝度バイアスを考慮したパターンマッチング>
図3を利用した説明では、テンプレートTに適合するカーネルKの探索において、数1式に示す輝度差二乗和(SSD)や数2式に示す輝度差絶対和(SAD)によるパターンマッチングを説明した。
【0125】
本超音波診断装置は、装置内で深さに応じたゲイン調整(例えばSTC)や、方位方向のゲイン調整(例えばANGLEGAIN)により、超音波画像内のゲインを局所的に調整することができる。そのため、パターンマッチングにおいては、明るさ(輝度の大きさ)にロバストな評価値を利用することが望ましい。そこで、本超音波診断装置は、次式においてZSAD(Zero-mean Sum of Absolute Difference)を定義し、パターンマッチングにおいて次式に示すZSADを利用してもよい。
【0127】
図3(2)に示す符号は、数4式における変数に対応している。例えば、MとNは、テンプレートTのサイズを示している。Mは、テンプレートTの方位方向θの大きさ、つまり方位方向データのデータ数を示している。また、Nは、テンプレートTの深度方向rの大きさ、つまり方位方向データの列数を示している。
図3(2)の具体例においては、M=4,N=1である。T(i,j)は、テンプレートT内の各データ(各画素)の値(画素値)を示しており、iは方位方向θの座標であり、jは深度方向rの座標である。
【0128】
また、I(k,l)は、カーネルK内の各データ(各画素)の値(画素値)を示しており、kは方位方向θの座標であり、l(エル)は深度方向rの座標である。カーネルK内においては、テンプレートT内の方位方向データのデータ間隔で、深度方向データの各データが選択される。dは、その選択におけるデータ間隔であり、
図3(2)の具体例においてはd=4であり、カーネルK内から、深さ方向rに沿って4データごとに1つのデータが選択される。
【0129】
図22は、パターンマッチングの具体例を示す図である。
図22には、テンプレートT内の輝度パターン(画素値70,80,75,50)と、カーネルK内の輝度パターン(画素値100,110,105,80)の具体例が図示されている。
【0130】
図22に示す具体例において数2式のSADを利用するとR
SAD=120となる。これに対し、
図22に示す具体例において、数4式のZSADを利用するとR
ZSAD=0となり、
図22のテンプレートTに適合するカーネルKとして、
図22のカーネルKが選出される可能性が高まる。
【0131】
また、
図22に示す具体例において、カーネルK内の画素D(画素値D)をテンプレートT内の画素間に挿入して画素D´(画素値D)とする場合には、次式に基づいて画素値が決定される。
【0133】
<フィルタ処理後のデータによるパターンマッチング>
図23は、高密度化処理部20における処理の変形例を説明するための図である。
図23に示す変形例において、高密度化処理部20は、
図1の送受信部12から得られるラインデータに対して、ノイズ除去または平滑化のためのフィルタ処理を施す(S21)。これにより、パターンマッチングにおいて悪影響を与えるノイズが除去される。
【0134】
続いて、高密度化処理部20は、ノイズが除去されたラインデータに基づく画像用データ内において、テンプレートTとカーネルKを設定してパターンマッチング処理を行う(S22,
図3参照)。これにより、ラインデータとラインデータの間に挿入される高密度化データが選出される。
【0135】
そして、高密度化処理部20は、送受信部12から得られるラインデータに基づく画像用データ内に、S22で選出された位置に該当する送受信部12からのラインデータを高密度化データとして挿入して、画像用データを高密度化する(S23,
図5参照)。高密度化された画像用データは、
図1のデジタルスキャンコンバータ(DSC)30に出力される。
【0136】
図23に示す変形例では、S21においてフィルタ処理を施されたラインデータに基づいてパターンマッチングが行われるため、ノイズに伴うパターンマッチングの精度の低下を抑制できる。
【0137】
<探索領域SAの拡張>
図24は、探索領域SAを拡張した変形例を説明するための図である。
図24には、ラインデータに基づいて得られる画像用データが、複数フレームに亘って図示されている。
図24において、フレームfは、高密度化処理の対象となっている注目フレームであり、フレームfの画像用データ内にテンプレートが設定される。
【0138】
図24に示す変形例では、フレームfのテンプレートに適合するカーネルが、フレームf内に加えて、他のフレーム内においても探索される。例えば、フレームf内に探索領域SAが設定され、さらに、フレームfに隣接するフレームf−1とフレームf+1内にも探索領域SAが設定され、フレームfとフレームf−1とフレームf+1に設定された探索領域SA内で、フレームfのテンプレートに適合するカーネルが探索される。
【0139】
これにより、テンプレートが設定されたフレーム内のみでカーネルが探索される場合に比べて、パターンマッチングの精度が高められる。なお、探索に利用されるフレームは、テンプレートが設定された注目フレームに隣接する場合に限らず、例えば、注目フレームから数フレーム離れたフレームまで、探索の範囲を広げてもよい。
【0140】
なお、例えば、類似度の演算(数1式,数2式,数4式)において、注目フレームと他のフレームに対して互いに異なる重みづけを行ってもよい。例えば、注目フレームを最大の重みづけとして注目フレームから離れるに従って重みづけを小さくして、テンプレートに適合するカーネルが探索されてもよい。