(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-18
(45)【発行日】2022-03-29
(54)【発明の名称】超音波診断システム
(51)【国際特許分類】
A61B 8/14 20060101AFI20220322BHJP
【FI】
A61B8/14
(21)【出願番号】P 2018146730
(22)【出願日】2018-08-03
【審査請求日】2021-02-19
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール特許業務法人
(72)【発明者】
【氏名】小林 薫樹
(72)【発明者】
【氏名】黎 子盛
(72)【発明者】
【氏名】荻野 昌宏
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2012-147939(JP,A)
【文献】特開2014-018376(JP,A)
【文献】国際公開第2017/116512(WO,A1)
【文献】特開2014-061291(JP,A)
【文献】国際公開第2010/016353(WO,A1)
【文献】国際公開第2018/043193(WO,A1)
【文献】米国特許出願公開第2017/0251991(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
(57)【特許請求の範囲】
【請求項1】
乳房の超音波画像を撮像する超音波診断装置を備える超音波診断システムであって、
乳房の表面形状を取得する表面形状取得部と、
乳房の大きさと脂肪の厚みとの関係を示す脂肪量データベースを記憶する記憶部と、
乳房内の各組織に領域分割された乳房ボリュームモデルを前記表面形状と前記脂肪量データベースを用いて生成するモデル生成部と、
撮像中の超音波プローブの位置を検出する位置検出部と、
前記位置検出部によって検出された位置に基づいて、前記乳房ボリュームモデルを変形させるモデル変形部と、
変形後の乳房ボリュームモデル内の各組織を領域毎に示す参照画像と前記超音波画像とに基づいて表示部に表示する表示画像を生成する表示画像生成部を備えることを特徴とする超音波診断システム。
【請求項2】
請求項1に記載の超音波診断システムであって、
前記モデル生成部は、前記表面形状から前記乳房の大きさを算出し、前記乳房の大きさを前記脂肪量データベースに照合して前記脂肪の厚みを取得し、前記脂肪の厚みに基づいて乳房ボリュームモデルの内部を各組織に領域分割することを特徴とする超音波診断システム。
【請求項3】
請求項1に記載の超音波診断システムであって、
前記モデル生成部は、乳房の乳頭から大胸筋に下した垂線を含む断面において、前記垂線と平行であって前記乳頭の付け根を通る基準線と、前記基準線上の点と前記乳房の外表上の点とを端点とし前記基準線に直交する線分を設定し、前記線分を一定の比率で内分する点の集合を皮下脂肪領域と乳腺領域の境界とすることを特徴とする超音波診断システム。
【請求項4】
請求項1に記載の超音波診断システムであって、
前記乳房ボリュームモデルは、乳腺領域と、乳房皮下脂肪領域と、乳管洞領域と、乳腺後脂肪領域に領域分割されることを特徴とする超音波診断システム。
【請求項5】
請求項1に記載の超音波診断システムであって、
前記モデル生成部は、前記表面形状に基づいて、前記乳房内が複数のボクセルによって充填されるボクセルモデルを生成し、前記ボクセルの中心を隣接するボクセル間でつなぐことにより前記乳房ボリュームモデルを生成することを特徴とする超音波診断システム。
【請求項6】
請求項1に記載の超音波診断システムであって、
前記脂肪量データベースは、乳房の大きさとして、仰臥位のときの乳房の高さと体積を含み、脂肪の厚みとして、仰臥位のときの乳房皮下脂肪の厚みと乳腺後脂肪の厚みを含むことを特徴とする超音波診断システム。
【請求項7】
請求項1に記載の超音波診断システムであって、
前記表面形状と前記超音波プローブの位置とに基づいて、前記超音波プローブが前記乳房に接触しているか否かを判定する接触判定部と、
前記接触判定部によって接触していないと判定されたときに、前記超音波プローブが前記乳房に接触するように前記超音波プローブの位置の修正案を作成し、前記修正案を前記表示部に表示させる修正案作成部をさらに備えることを特徴とする超音波診断システム。
【請求項8】
請求項1に記載の超音波診断システムであって、
前記超音波プローブの位置に基づいて撮像断面を算出し、前記撮像断面と乳管の走行方向との交差角度に基づいて前記撮像断面が適切か否かを判定する撮像断面算出部と、
前記撮像断面算出部によって前記撮像断面が不適切であると判定されたときに、前記撮像断面が適切な角度になるように前記超音波プローブの位置の修正案を作成し、前記修正案を前記表示部に表示させる修正案作成部をさらに備えることを特徴とする超音波診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は超音波診断装置で撮像される超音波画像の画像処理に関し、特に乳房の超音波画像を領域分割する技術に係る。
【背景技術】
【0002】
超音波診断装置は、無侵襲かつリアルタイムに患者の体内を観察できることや、X線マンモグラフィでは診断が困難なデンスブレストの影響を受けにくいことから、乳がんスクリーニングのモダリティとして注目されている。一方、超音波診断装置による乳房の撮像では、超音波プローブの接触のさせ方によって撮像される範囲や画質が大きく変化するので、検査者には高度な手技が求められ、超音波画像を読影する読影者には膨大な知識と経験が求められる。そこで、検査者や読影者を支援する技術の開発が行われている。
【0003】
特許文献1には、超音波画像からの病変検出の精度を向上させるために、解剖学的客体である皮膚、脂肪、線組織、筋肉、骨等と病変候補との位置関係に基づいて、病変候補を検証することが開示されている。また特許文献2には、超音波診断の客観性を向上させるために、患者の体表に対する超音波プローブの位置を検出し、超音波プローブの位置に基づいて当該位置で撮像された超音波画像を配置することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-154918号公報
【文献】特開2018-775号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら特許文献1では、病変候補や各組織が存在する位置の確率分布情報を用いて病変候補が偽陽性か否かを検証しており、患者毎の個体差が大きい部位である乳房の扱いには適さない。乳房は内部構造の個体差が大きく、超音波プローブの接触により大きく変形するので、乳房内の各組織や病変の超音波画像は患者毎に大きく異なり、個体差を考慮せずに各組織を領域分割すると精度は低下する。
【0006】
そこで本発明は、患者毎の個体差が大きな部位である乳房の超音波画像を高精度に領域分割できる超音波診断システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、乳房の超音波画像を撮像する超音波診断装置を備える超音波診断システムであって、乳房の表面形状を取得する表面形状取得部と、乳房の大きさと脂肪の厚みとの関係を示す脂肪量データベースを記憶する記憶部と、乳房内の各組織に領域分割された乳房ボリュームモデルを前記表面形状と前記脂肪量データベースを用いて生成するモデル生成部と、撮像中の超音波プローブの位置を検出する位置検出部と、前記位置検出部によって検出された位置に基づいて、前記乳房ボリュームモデルを変形させるモデル変形部と、変形後の乳房ボリュームモデル内の各組織を領域毎に示す参照画像と前記超音波画像とに基づいて表示部に表示する表示画像を生成する表示画像生成部を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、患者毎の個体差が大きな部位である乳房の超音波画像を高精度に領域分割できる超音波診断システムを提供することが可能になる。
【図面の簡単な説明】
【0009】
【
図2】実施例1の超音波診断装置100の本体105の構成図である。
【
図4】実施例1の乳房の解剖学的な構造を示す図である。
【
図5】実施例1の領域分割されたボクセルモデルを示す図である。
【
図6】実施例1のボクセルモデルを領域分割する手順を説明する図である。
【
図7】実施例1の脂肪量データベースの一例を示す図である。
【
図8】実施例1のPLYファイルの構造の一例を示す図である。
【
図9】実施例1の処理の流れの一例を示す図である。
【
図10】実施例1の乳房ボリュームモデル中の撮像範囲の一例を示す図である。
【
図11】実施例1の参照画像と乳腺領域のヒートマップの一例を示す図である。
【
図13】実施例2の処理の流れの一例を示す図である。
【
図15】実施例3の処理の流れの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面に従って本発明に係る超音波診断システムの好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【実施例1】
【0011】
図1を用いて本実施例のハードウェア構成について説明する。本実施例は、超音波診断装置100と乳房表面形状取得装置101とプローブ位置検出装置102を備える。以下、各装置について説明する。
【0012】
超音波診断装置100は、患者の乳房の超音波画像を取得する装置であり、超音波プローブ103と、本体105と、表示装置106と、入力装置107を有する。超音波プローブ103は、患者の乳房に接触させられて超音波信号を照射し、乳房で反射した超音波信号を受信する。本体105は超音波プローブ103が受信した超音波信号に基づき超音波画像を生成する。超音波診断装置100の本体105については
図2を用いて後述する。表示装置106は、本体で生成された超音波画像を表示する。入力装置107は超音波診断装置100に対して検査者が操作指示を行う操作デバイスであり、具体的にはキーボードやタッチパネル、マウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。
【0013】
乳房表面形状取得装置101は患者の乳房の表面形状を取得する装置であり、例えば距離画像センサやステレオカメラ等である。なお、本実施例ではオクルージョンを避けるために、二台の距離画像センサが用いられる。
【0014】
プローブ位置検出装置102は超音波プローブ103の三次元空間中の位置及び方向を取得する装置であり、例えば超音波プローブ103に設置される光学式マーカ104を検出するカメラである。なお、プローブ位置検出装置102は光学式マーカ104を検出するカメラに限定されず、超音波プローブ103に設置される磁気式マーカを検出する装置や加速度センサ等であっても良い。
【0015】
図2を用いて、超音波診断装置100の本体105について説明する。超音波診断装置100の本体105は、CPU(Central Processing Unit)201、メモリ202、記憶装置203、I/F(Inter Face)204がシステムバス205によって信号送受可能に接続されて構成される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
【0016】
CPU201は、各構成要素の動作を制御する装置である。CPU201は、記憶装置203に格納されるプログラムやプログラム実行に必要なデータをメモリ202にロードして実行する。メモリ202は、CPU201が実行するプログラムや演算処理の途中経過を記憶するものである。記憶装置203は、CPU201が実行するプログラムやプログラム実行に必要なデータが格納される装置であり、具体的にはハードディスクやSSD(Solid State Drive)等の記録装置や、ICカード、SDカード、DVD等の記録媒体に読み書きする装置である。I/F204は本体105と、乳房表面形状取得装置101やプローブ位置検出装置102、超音波プローブ103、表示装置106、入力装置107とを接続する装置である。
【0017】
図3を用いて本実施例の要部について説明する。なおこれらの要部は、専用のハードウェアで構成されても良いし、CPU201上で動作するソフトウェアで構成されても良い。以降の説明では本実施例の要部がソフトウェアで構成された場合について説明する。本実施例は、乳房モデル生成部301とモデル変形部302とBモード画像生成部303と表示画像生成部304を備える。以下、各部について説明する。
【0018】
乳房モデル生成部301は、乳房表面形状取得装置101が取得する乳房の表面形状と、記憶装置203に記憶される脂肪量データベースを用いて、乳房ボリュームモデルを生成する。乳房ボリュームモデルは、乳房を模擬したボリュームモデルであり、乳房の表面形状に基づいて以下のように生成される。
【0019】
乳房の表面形状は、乳房表面形状取得装置101によって、ポイントクラウドデータPCD(Point Cloud Data)として取得される。PCDとは、患者の体表に無数に存在する点群の座標値の集合である。乳房モデル生成部301はPCDからノイズを除去し、3次元空間で離散化することにより、立方体形状の要素であるボクセルを患者の体表に敷き詰める。さらに乳房モデル生成部301は、患者の体表に敷き詰められたボクセル群から平面検出アルゴリズムや曲率に関する閾値処理によって乳房領域を分割し、乳房の表面と分割面によって閉じられた空間を複数のボクセルで充填することにより乳房のボクセルモデルを生成する。乳房は単一組織ではなく複数の組織によって構成されるので、乳房モデル生成部301はボクセルモデルを組織毎に領域分割する。
【0020】
図4にサジタル断面における乳房の解剖学的な構造を示す。乳房は大きさや乳腺密度等に個体差はあるものの、解剖学的な構造に大きな違いはなく、体表側から皮膚、乳房皮下脂肪、乳腺、乳腺後脂肪、大胸筋の順に並び、大胸筋の下層に肋骨や胸腔がある。乳腺は、皮膚に接する乳房皮下脂肪と大胸筋に接する乳腺後脂肪とに囲まれ、乳頭にある乳管口から乳管洞につながる。また乳腺の中には、乳腺小葉が房状に存在し、乳管洞から乳管の先に放射状に広がる。そこで乳房モデル生成部301は、
図5に示すように、ボクセルモデルを乳腺領域、乳房皮下脂肪領域、乳管洞領域、乳腺後脂肪領域に領域分割する。なお、
図5は仰臥位のときの乳房を模擬した断面図である。
【0021】
図6を用いてボクセルモデルを各組織に領域分割する手順について説明する。
図6は、
図5と同様に、仰臥位のときの乳房を模擬した図であって、乳房の乳頭の中心A
0から大胸筋層に下した垂線を含む断面図、例えばサジタル断面図やアキシャル断面図等である。なお
図6中の乳房の端点を点B
1、点B
2、乳頭の付け根の点の一方を点A
1、点A
1から線分B
1B
2へ引いた垂線の足を点A
2、線分A
2B
1の長さをLとする。点A
1、点B
1、点B
2の位置はPCDから求められる変曲点を抽出して求めても良い。
【0022】
乳腺領域と乳房皮下脂肪領域との境界について説明する。乳腺領域と乳房皮下脂肪領域との境界は、
図6の断面図において、線分A
1A
2上の点A’と乳房の体表上の点B’とを端点とし線分A
1A
2に直交する線分A’B’を、一定の比率で内分する点C’の集合であるとする。ここで、線分A
2B
1を内分する点を点Cとし、線分B
1Cの長さをL
sとすると、L
sは乳房皮下脂肪領域の最大厚みであり、点C’の位置は数1を満たす。
【0023】
【0024】
また乳腺後脂肪領域の厚みをLtとし、乳管洞領域の高さをLuとする。なお、線分B1B2と直交し点B1を通る線が、大胸筋層と乳腺後脂肪領域との境界と交差する点をD1、同様に点B2を通る線の交差点をD2とする。
【0025】
脂肪の厚みは乳房の大きさと相関関係にあるので、乳房の表面形状から算出される乳房の大きさに基づいて脂肪の厚みを決定しても良い。例えば、乳房の高さと体積から乳房皮下脂肪領域の最大厚みLsと乳腺後脂肪領域の厚みLtを決定しても良い。脂肪の厚みの決定には記憶装置203に予め記憶される脂肪量データベースが用いられる。
【0026】
図7に脂肪量データベースの一例を示す。
図7(a)は乳房皮下脂肪領域の最大厚みL
sと乳房の高さと体積との関係の一例であり、
図7(b)は乳腺後脂肪領域の厚みL
tと乳房の高さと体積との関係の一例である。
図7に示されるような脂肪量データベースは、MRI(Magnetic Resonance Imaging)装置等によって得られる医用画像に基づいて作成される。脂肪量データベースは乳房の大きさと脂肪の厚みとの関係に限らず、患者のBMI(Body Mass Index)指数や体脂肪率と脂肪量との関係を示すものであっても良い。また記憶装置203以外、例えばクラウド上に脂肪量データベースが保管されても良く、随時更新される脂肪量データベースが必要に応じてダウンロードされるようにしても良い。
【0027】
乳房モデル生成部301は、乳房の表面形状から算出される乳房の大きさを、
図7に示すような脂肪量データベースに照合して脂肪の厚みを取得し、取得された脂肪の厚みに基づいてボクセルモデルを領域分割する。なお、乳管洞領域の高さL
uについては、線分A
1A
2とL
uとの比率を一定の割合として定めるか、予め定められた値とすれば良い。
【0028】
以上、説明した領域分割の手順が、乳房の乳頭の中心A
0から大胸筋層に下した垂線を含む複数の断面図に対して実施されることにより、乳房のボクセルモデルが三次元的に領域分割される。さらに乳房モデル生成部301は、ボクセルモデルを構成する複数のボクセルの中心を、隣接するボクセル間でつなぐことにより、四面体要素で構成される乳房ボリュームモデルを生成する。乳房ボリュームモデルの生成には、マーチング・キューブ法などの公知のアルゴリズムを適用しても良い。乳房ボリュームモデルの形状は
図8に示すようなPLY(PoLYgon file format)ファイル等の公知のフォーマットで記憶装置203等に記憶され、各頂点あるいは四面体要素がいずれの領域に属するかが別のファイルで記憶される。
【0029】
モデル変形部302は、乳房モデル生成部301が生成した乳房ボリュームモデルを、プローブ位置検出装置102が検出する撮像中の超音波プローブ103の位置に基づいて変形する。乳房ボリュームモデルの変形に先立ち、乳房表面形状取得装置101の座標系にプローブ位置検出装置102の座標系が合わせられる。具体的には、乳房表面形状取得装置101とプローブ位置検出装置102の計測範囲が重なる空間内で超音波プローブ103を静止させ、静止点の座標を乳房表面形状取得装置101の座標系とプローブ位置検出装置102の座標系で取得する。そして乳房表面形状取得装置101の座標系の静止点にプローブ位置検出装置102の座標系の静止点が合うように、プローブ位置検出装置102の座標系が同次変換される。
【0030】
座標系が合わせられた後、モデル変形部302は、乳房ボリュームモデルの材料モデルを超弾性体の一種であるNeo-Hookeanモデルとし、有限要素解析による変形解析を行う。Neo-Hookeanモデルの歪みエネルギー関数Wは数2で表される。
【0031】
【0032】
ここで、I1は1次の歪み不変量であり、乳房ボリュームモデルを構成する各四面体要素の伸長比λ1、λ2、λ3を変数とした数3から求められる。
【0033】
【0034】
また、C10は変形のしやすさを表現する材料定数であり、乳房ボリュームモデルの要素ごとに設定される。材料定数の具体的な数値は、文献から引用したり、実験的に求めたり、解剖学的な知見、例えば乳腺は脂肪より硬く変形しにくいといったこことから適切に設定される。材料定数を適切に設定することにより、再現性の高い変形解析が可能となる。なお変形解析にはNeo-Hookeanモデルだけでなく、Mooney-RivlinモデルやOgdenモデルが用いられても良い。あるいは微小歪線形弾性体などの弾性体を仮定して変形解析を行っても良い。さらに、質点バネモデルや粒子法弾性解析あるいはその組み合わせにより変形解析が行われても良い。
【0035】
乳房ボリュームモデルの変形解析では固定条件として、
図6の線分D
1D
2で表される乳腺後脂肪領域と大胸筋層との境界を常に変位が0である固定点にする。乳房ボリュームモデルが超音波プローブ103と接触する面上の複数の点には、超音波プローブ103の押し付けにより変位が与えられる。与えられる変位は、プローブ位置検出装置102が検出する超音波プローブ103の位置に基づいて算出される。与えられる変位による四面体要素の歪みは、応力となって乳房ボリュームモデル全体に波及する。
【0036】
なおNeo-Hookeanモデルは超弾性体であるため、超音波プローブ103の押し付け等の外力によって振動するが、有限要素解析では変形を微小時間に分割し、応力の減衰項を設けることによって変形を収束させる。変形後の乳房ボリュームモデルの形状は、各頂点の座標として
図8のようなPLYファイル等の形式で記憶装置203等に記憶される。
【0037】
Bモード画像生成部303は、超音波プローブ103が受信した超音波信号に基づいて、いわゆるBモード画像と呼ばれる超音波画像を生成する。生成された超音波画像は、診断に用いられる。
【0038】
表示画像生成部304は、モデル変形部302によって変形された乳房ボリュームモデルとBモード画像生成部303が生成した超音波画像とに基づいて表示装置106に表示される表示画像を生成する。表示画像には、変形後の乳房ボリュームモデル内の各組織が領域毎に分割された参照画像と、撮像された超音波画像が含まれる。
【0039】
図9を用いて、以上の各部を備える超音波診断システムが実行する処理の流れの一例を説明する。以下、各ステップについて説明する。
【0040】
(S901)
乳房表面形状取得装置101が乳房の表面形状を取得する。
【0041】
(S902)
乳房モデル生成部301が、S901で取得された乳房の表面形状から乳房の大きさを算出し、算出された乳房の大きさを記憶装置203に記憶される脂肪量データベースに照合することにより、脂肪の厚みを取得する。算出される乳房の大きさとしては、例えば仰臥位のときの乳房の高さと体積であり、取得される脂肪の厚みとしては、例えば仰臥位のときの乳房皮下脂肪の最大厚みと乳腺後脂肪の厚みである。
【0042】
(S903)
乳房モデル生成部301が、S901で取得された乳房の表面形状と、S902で取得された脂肪の厚みに基づいて乳房ボリュームモデルを生成する。乳房の表面形状に基づいて患者の体表に複数のボクセルが敷き詰められ、敷き詰められたボクセル群等によって閉じられた空間である乳房内が複数のボクセルで充填されることによりボクセルモデルが生成される。ボクセルモデルは、脂肪の厚みに基づいて、乳腺領域、乳房皮下脂肪領域、乳管洞領域、乳腺後脂肪領域に領域分割される。またボクセルモデルを構成するボクセルの中心が隣接するボクセル間でつながれることにより乳房ボリュームモデルが生成される。
【0043】
(S904)
モデル変形部302が、乳房ボリュームモデルと超音波プローブ103の位置合わせをする。両者の位置合わせは、乳房表面形状取得装置101の座標系とプローブ位置検出装置102の座標系が合わせられることによってなされる。
【0044】
(S905)
超音波プローブ103から乳房に超音波信号が照射されて、スキャンが開始される。
【0045】
(S906)
Bモード画像生成部303が、超音波プローブ103が受信した超音波信号に基づいて、Bモード画像を生成し、表示装置106にBモード画像を表示させる。
【0046】
(S907)
プローブ位置検出装置102が、超音波プローブ103に設置される光学式マーカ104を検出することにより、スキャン中の超音波プローブ103の位置を取得する。
【0047】
(S908)
モデル変形部302が、S907で取得された超音波プローブ103の位置に基づいて乳房ボリュームモデルを変形する。乳房ボリュームモデルの変形にともなって、乳房ボリュームモデル内の各組織を示す領域も変形する。
【0048】
(S909)
モデル変形部302が、変形後の乳房ボリュームモデルに基づいて参照画像を生成する。参照画像は、S906で生成されるBモード画像の撮像範囲に合わせて生成される。Bモード画像の撮像範囲は、超音波プローブ103の超音波送受波面の長軸と、超音波送受波面に直交する線分とで構成される
図10に示すような矩形領域であり、矩形領域の横の長さは超音波送受波面の長軸の長さに、縦の長さは撮像条件によって決まる撮像深度になる。そこでモデル変形部302は、S907で取得された超音波プローブ103の位置に基づいて、変形後の乳房ボリュームモデル内に撮像範囲を示す矩形領域を設定し、矩形領域内に含まれる各領域を抽出することにより参照画像を生成する。なお、乳房ボリュームモデルは乳房皮下脂肪領域、乳管洞領域、乳腺領域、乳腺後脂肪領域からなり、大胸筋層以下を含まないので、Bモード画像の撮像範囲が大胸筋層以下を含む場合、参照画像ではその範囲が大胸筋層以下とされる。また超音波プローブ103と乳房皮下脂肪領域との間には皮膚が存在するので、参照画像の上部の所定の範囲、例えば上部1.5mmが皮膚領域とされる。
【0049】
生成される参照画像は、Bモード画像と同じサイズのグレースケール画像として記憶装置203等に記憶される。具体的には、皮膚領域、乳房皮下脂肪領域、乳管洞領域、乳腺領域、乳腺後脂肪領域、大胸筋層以下を表す6種類の画素値が各領域を表すラベルとして参照画像の全画素に割り振られる。
【0050】
(S910)
表示画像生成部304が、S906で生成された超音波画像とS909で生成された参照画像とに基づいて表示画像を生成し、表示装置106に表示画像を表示させる。例えば、参照画像に基づいて、画像中にある領域が存在する確率を表すヒートマップが生成される。
【0051】
参照画像と、参照画像に基づいて生成される乳腺領域のヒートマップの例を示す
図11を参照しながら、ヒートマップを生成する手順について説明する。まず、参照画像から乳腺領域が抽出される。次に抽出された乳腺領域のみに対して、モルフォロジ演算による縮小処理が施され、乳腺領域の最狭部が1ピクセルとなるまで縦方向に縮小される。縮小後の領域では乳腺の存在確率スコアを100とする。また抽出された乳腺領域のみに対して、モルフォロジ演算による拡大処理が施され、他の領域、例えば乳房皮下脂肪領域や乳腺後脂肪領域の境界に乳腺領域が接するまで縦方向に拡大される。拡大後の領域の外側では乳腺の存在確率スコアを0とする。最後に、乳腺の存在確率スコアが0でも100でもない領域に対して、外側の領域からの距離に基づいて線形補間することにより、乳腺の存在確率スコアが算出される。例えば縮小後の領域の境界と拡大後の領域の境界との間の中心では、乳腺の存在確率スコアが50となる。以上の手順により、乳腺の存在確率スコアが参照画像の全域において求められ、ヒートマップが生成される。
【0052】
またBモード画像を用いて作成される領域分割画像から、参照画像の場合と同様の手順によりヒートマップを生成し、生成されたヒートマップと参照画像から生成されるヒートマップとを加重加算して新たなヒートマップを生成しても良い。加重加算には数4が用いられる。
【0053】
【0054】
ここでPjは加重加算後のヒートマップの各画素の存在確率スコア、jは画素番号、wは0~1の重み係数、Pejは参照画像から生成されたヒートマップの各画素の存在確率スコア、PrjはBモード画像から生成されたヒートマップの各画素の存在確率スコアである。なおBモード画像から領域分割画像を作成するには、ノイズ除去などの前処理と、画素値の閾値処理や領域拡張処理等の公知の画像処理が用いられる。
【0055】
表示画像生成部304は、参照画像から生成されたヒートマップまたは加重加算後のヒートマップを、Bモード画像と並べたり、Bモード画像に重ねたりすることにより表示画像を生成する。なお、グレースケール画像であるBモード画像にヒートマップが重ねられる場合は、ヒートマップをRGB画像としたり、ヒートマップにアルファチャネル、例えば不透明度を付加したりすることが好ましい。またヒートマップの境界を輪郭線としてBモード画像に重ねても良い。また参照画像を、Bモード画像と並べたり、Bモード画像に重ねたりすることにより表示画像を生成しても良いし、参照画像やヒートマップだけで表示画像を生成しても良い。
【0056】
以上説明した処理の流れにより、患者毎の個体差が大きな部位である乳房の超音波画像を高精度に領域分割できる。すなわち、患者毎の個体差が表われる乳房の表面形状に基づいて乳房内を各組織に領域分割をしたうえで、超音波プローブ103の接触による乳房の変形を高精度に解析するので、乳房内の各組織を高精度に領域分割することが可能になる。
【実施例2】
【0057】
実施例1では、プローブ位置検出装置102によって取得される超音波プローブ103の位置に基づいて乳房ボリュームモデルを変形させ、変形後の乳房ボリュームモデルを用いて参照画像を生成することについて説明した。超音波プローブ103の超音波送受波面と乳房との間に隙間がある場合、生成されるBモード画像にノイズが含まれ、診断に悪影響を及ぼす。そこで本実施例では、プローブ位置検出装置102によって取得される超音波プローブ103の位置に基づいて、超音波プローブ103の超音波送受波面が乳房に適切に接触している否かを判定するとともに、不適切な場合は修正案を表示することについて説明する。なお、本実施例の全体構成は実施例1と同じであるので、説明を省略する。
【0058】
図12を用いて本実施例の要部について説明する。なおこれらの要部は、専用のハードウェアで構成されても良いし、CPU201上で動作するソフトウェアで構成されても良い。以降の説明では本実施例の要部がソフトウェアで構成された場合について説明する。本実施例は、実施例1と同様に、乳房モデル生成部301とモデル変形部302とBモード画像生成部303と表示画像生成部304を備え、さらに接触判定部1200と修正案作成部1201を備える。以下、実施例1と同様の構成については説明を省略し、接触判定部1200と修正案作成部1201について説明する。
【0059】
接触判定部1200は、プローブ位置検出装置102が検出する撮像中の超音波プローブ103の位置に基づいて、超音波プローブ103の超音波送受波面が乳房に適切に接触しているか否かを判定する。接触判定部1200は、超音波プローブ103の位置とともに、乳房表面形状取得装置101が取得する乳房の表面形状、または乳房モデル生成部301が生成するボクセルモデルと乳房ボリュームモデルのいずれかを用いて接触の判定をする。なお、接触判定部1200は、超音波プローブ103の超音波送受波面と乳房との接触を判定するだけでなく、超音波プローブ103と乳房の表面とのなす角の算出や、超音波プローブ103の移動軌跡の記録を行い、その結果を表示装置106に表示させても良い。
【0060】
修正案作成部1201は、超音波プローブ103が乳房に適切に接触できる位置を修正案として作成する。例えば、超音波プローブ103の超音波送受波面上の各点と乳房の表面上の各点との最短距離と、最短距離にある二点間のベクトルとが算出され、算出されたベクトルのノルムが最大のものが修正案として作成される。
【0061】
図13を用いて本実施例の処理の流れについて説明する。なお、S901~S910は実施例1と同じであるので説明を省略し、S1300とS1301について説明する。
【0062】
(S1300)
接触判定部1200は、超音波プローブ103の超音波送受波面が乳房に適切に接触しているか否かを判定する。適切な場合はS909に処理が進み、不適切な場合はS1301に処理が進む。
【0063】
(S1301)
修正案作成部1201は、超音波プローブ103の位置の修正案を作成し、修正案を表示装置106に表示させる。修正案の表示の後、S905に処理が進む。なお修正案を表示装置106に表示する代わりに、音声により操作者に提示しても良い。
【0064】
以上説明した処理の流れにより、超音波プローブ103の超音波送受波面が乳房に適切に接触している否かが判定されるとともに、不適切な場合には超音波プローブ103の位置の修正案が表示されるので、ノイズのないBモード画像を得ることができる。また、実施例1と同様に、患者毎の個体差が大きな部位である乳房の超音波画像を高精度に領域分割できる。さらに、ノイズのないBモード画像からヒートマップが生成されるので領域分割の精度をさらに向上できる。
【実施例3】
【0065】
実施例2では、プローブ位置検出装置102によって取得される超音波プローブ103の位置に基づいて、超音波プローブ103の超音波送受波面が乳房に適切に接触している否かを判定することについて説明した。乳房を診断する場合、乳管の走行方向に対し直交する断面で撮像されることが望ましい。そこで本実施例では、プローブ位置検出装置102によって取得される超音波プローブ103の位置に基づいて、撮像断面が適切に設定されている否かを判定するとともに、不適切な場合は修正案を表示することについて説明する。なお、本実施例の全体構成は実施例1と同じであるので、説明を省略する。
【0066】
図14を用いて本実施例の要部について説明する。なおこれらの要部は、専用のハードウェアで構成されても良いし、CPU201上で動作するソフトウェアで構成されても良い。以降の説明では本実施例の要部がソフトウェアで構成された場合について説明する。本実施例は、実施例1と同様に、乳房モデル生成部301とモデル変形部302とBモード画像生成部303と表示画像生成部304を備え、さらに撮像断面算出部1400と修正案作成部1201を備える。以下、実施例1と同様の構成については説明を省略し、撮像断面算出部1400と修正案作成部1201について説明する。
【0067】
撮像断面算出部1400は、プローブ位置検出装置102が検出する撮像中の超音波プローブ103の位置に基づいて撮像断面を算出し、撮像断面が適切であるか否かを判定する。乳腺領域に含まれる乳管のような管状の組織では超音波が減衰するため、乳管はBモード画像で低輝度領域として描画され、特に撮像断面が乳管の走行方向と平行になった場合、他の組織と見分けにくくなる。そこで、撮像断面算出部1400は乳管の走行方向と撮像断面との交差角度を算出し、算出された交差角度に基づいて撮像断面が適切か否かを判定する。
【0068】
交差角度の算出には、超音波プローブ103の位置とともに、乳房モデル生成部301が生成するボクセルモデル、または乳房ボリュームモデルが用いられる。すなわち、超音波プローブ103の位置に基づいて三次元空間中の撮影断面が算出され、ボクセルモデルまたは乳房ボリュームモデルに基づいて乳管の走行方向が算出される。
図4に示されるようにサジタル断面において乳管は乳管洞から放射状に延びており、乳房皮下脂肪の近傍では乳房皮下脂肪との境界と平行に走行している。また乳房を正面から見た場合も乳管は乳管洞から放射状に走行している。そこで、撮像断面算出部1400は、乳管洞の端部を中心とする球面を設定し、設定された球面の法線と撮影断面とがなす角を交差角度として算出する。
【0069】
撮像断面の判定は、算出された交差角度が予め定められた閾値、例えば60度よりも大きいか否かによりなされ、交差角度が閾値以上であれば適切であると判定され、閾値未満であれば不適切であると判定される。閾値は診断目的に応じて変更されても良い。
【0070】
修正案作成部1201は、超音波プローブ103が適切な撮像断面を形成する位置を修正案として作成する。例えば、撮像断面算出部1400によって算出された交差角度が閾値を超えるような超音波プローブ103の位置が修正案として作成される。
【0071】
図15を用いて本実施例の処理の流れについて説明する。なお、S901~S910は実施例1と同じであるので説明を省略し、S1500とS1501について説明する。
【0072】
(S1500)
撮像断面算出部1400は、撮像断面を算出し、算出された撮像断面が適切であるか否かを判定する。適切な場合はS909に処理が進み、不適切な場合はS1501に処理が進む。
【0073】
(S1501)
修正案作成部1201は、超音波プローブ103の位置の修正案を作成し、修正案を表示装置106に表示させる。修正案の表示の後、S905に処理が進む。なお修正案を表示装置106に表示する代わりに、音声により操作者に提示しても良い。
【0074】
以上説明した処理の流れにより、撮像断面が適切に設定されている否かが判定されるとともに、不適切な場合には超音波プローブ103の位置の修正案が表示されるので、乳房の診断に適したBモード画像を得ることができる。また、実施例1と同様に、患者毎の個体差が大きな部位である乳房の超音波画像を高精度に領域分割できる。さらに、乳房の診断に適したBモード画像からヒートマップが生成されるので診断精度を向上できる。
以上、本発明の複数の実施例について説明した。本発明はこれらの実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0075】
100:超音波診断装置、101:乳房表面形状取得装置、102:プローブ位置検出装置、103:超音波プローブ、104:光学式マーカ、105:本体、106:表示装置、107:入力装置、201:CPU、202:メモリ、203:記憶装置、204:I/F、301:乳房モデル生成部、302:モデル変形部、303:Bモード画像生成部、304:表示画像生成部、1200:接触判定部、1201:修正案作成部、1400:撮像断面算出部