【文献】
VEDULA, Sanketh, et al.,TOWARDS CT-QUALITY ULTRASOUND IMAGING USINGDEEP LEARNING,arXiv,2017年10月17日,1710.06304v1
【文献】
KUTTER, Oliver, et al.,Visualization and GPU-accelerated simulationof medical ultrasound from CT images,Computer Methods and Programs inBiomedicine,2009年,94,pp.250-266
【文献】
CHENG, H.D., et al.,Automated breast cancer detection andclassification using ultrasound images: A survey,Pattern Recognition,2010年,43,299-317
【文献】
庄野逸,2段階転移学習を用いたディープコンボリューションネットの医用画像認識,日本神経回路学会誌,2017年,Vol.24, No.1,pp.3-12
(58)【調査した分野】(Int.Cl.,DB名)
前記データ収集部が収集した前記測定データを前記第1学習器に入力し、該第1学習器から出力された断層画像を取得する画像取得部をさらに備えることを特徴とする請求項1に記載の超音波診断システム。
学習用断層画像と、該学習用断層画像に含まれる腫瘍箇所を特定する腫瘍情報とを含む学習データを用いて学習することで、被検体の断層画像における腫瘍の有無の判定及び腫瘍箇所の特定が可能な第2学習器と、
前記画像取得部が取得した前記断層画像を前記第2学習器に入力し、該第2学習器の出力データに基づいて、該断層画像における腫瘍の有無の判定結果、及び腫瘍がある場合は腫瘍箇所の情報を出力する判定部と、
をさらに備えることを特徴とする請求項2に記載の超音波診断システム。
前記画像取得部は、前記データ収集部が収集した前記測定データから、着目箇所に対応する測定データを抽出し、抽出した測定データを前記第1学習器に入力データとして入力し、前記入力データには整相演算前の受信信号が含まれることを特徴とする請求項2又は3に記載の超音波診断システム。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明についてさらに詳細に説明する。本発明の実施形態に係る超音波診断システムは、人体等の被検体に超音波を照射し、受信した反射波信号を用いて断層像(超音波画像)を作成する。医師は、作成された断層像を確認し、診断を行う。
【0016】
図1に示すように、本実施形態に係る超音波診断システム10は、リングアレイRと、スイッチ回路110と、送受信回路120と、演算装置130と、画像表示装置140とを備えている。
【0017】
リングアレイRは、複数の振動子が組み合わさって構成される、好ましくは直径80〜500mm、より好ましくは直径100〜300mmのリング型形状の振動子である。また、リングアレイRは、直径を可変とする構成をとることもできる。本実施形態では一例として、4つの凹面型振動子P01〜P04を組み合わせたリング形状の振動子を用いる。
【0018】
例えば、凹面型振動子P01〜P04が、それぞれ512個の短冊形圧電素子E(以下、単に「素子E」とも呼ぶ。)を有する場合、リングアレイRは2048個の素子Eから構成されることになる。凹面型振動子P01〜P04に設けられる素子Eの数は限定されず、好ましくは1〜1000個である。
【0019】
各素子Eは、電気的信号と超音波信号とを相互変換する機能を有する。素子Eは被検体Tに超音波を送信し、被検体Tで反射される反射波を受信し、電気的信号を測定データとして形成する。
【0020】
本実施形態では、各素子Eが、超音波の送信及び受信の両方の機能を備えるものとして説明するが、これに限定されない。例えば、超音波の送信機能及び受信機能のうちいずれか一方のみを有する送信素子又は受信素子を使用し、複数の送信素子及び複数の受信素子をリング状に配置してもよい。また、送信及び受信の両方の機能を備える素子と、送信素子と、受信素子とが混在する構成であってもよい。
【0021】
図2は、
図1のA−A線断面図である。例えば、リングアレイRは、穴の開いたベッドの下に、ベッドの穴と挿入部SPとが重畳するように設置される。被験者はベッドの穴から、撮像対象となる身体の部位(被検体T)を挿入部SPに挿入する。
【0022】
被検体Tを挿入するための挿入部SPは、リングアレイRの中央に設けられている。リングアレイRの複数の素子Eは、リングに沿って挿入部SPの周囲に等間隔で設けられている。リングアレイRの内周側には、音響レンズと呼ばれる凸面レンズが表面に取り付けられている。このような表面加工をリングアレイRの内周側に施すことで、各素子Eが送信する超音波を、リングアレイRを含む平面内に収束させることができる。
【0023】
本実施形態では、各素子Eを等間隔にリング状に配置しているが、リングアレイRの形状は円形に限定されず、例えば、六角形、正方形、三角形など任意の多角形、少なくとも一部に曲線や円弧を含む形状、その他任意の形状、または、これらの形状の一部(例えば、半円や円弧)であってもよい。すなわち、リングアレイRは、アレイRと一般化することができる。また、アレイRを構成する各素子Eの配置は、被検体Tの周囲を断続的に少なくとも90度またはそれ以上囲むような配置であれば好ましいものの、これらに限定されるものではない。
【0024】
リングアレイRはスイッチ回路110を介して送受信回路120に接続されている。送受信回路120(制御部)は、リングアレイRの素子Eに制御信号(電気的信号)を送信し、超音波の送受信を制御する。例えば、送受信回路120は、素子Eに対して、送信する超音波の周波数や大きさ、波の種類(連続波やパルス波等)等を指示する。
【0025】
スイッチ回路110は、リングアレイRの複数の素子Eの各々に接続されており、送受信回路120からの信号を任意の素子Eに伝達し、素子Eを駆動させ、信号の送受信を行わせる。例えば、スイッチ回路110が、送受信回路120からの制御信号を供給する素子Eを切り替えることで、複数の素子Eのいずれかを、超音波を送信する送信素子として機能させ、複数(例えば全て)の素子Eで反射波を受信させる。
【0026】
リングアレイRは、ステッピングモータ等により上下動可能に設置されている。リングアレイRを上下動させて、被検体Tの全体のデータ収集を行うことができる。
【0027】
次に、複数の素子Eにより得られたデータである測定データ(RFデータ)について説明する。1つの送信素子から送信された超音波は被検体Tで反射し、複数の受信素子で受信される。これにより、第1軸が受信素子番号、第2軸が反射波到達時間となる2次元のRFデータが得られる。送信素子を切り替えながら測定を行うことで、送信素子数分の2次元データが得られる。言い換えれば、
図4に示すような、第1軸が受信素子番号、第2軸が反射波到達時間、第3軸が送信素子番号となる3次元のRFデータが得られる。
【0028】
図5は、1つの送信素子Etから送信された超音波が、1つの点散乱体PS(被検体Tの1点)で反射(散乱)し、複数の受信素子Er1、Er2、Er3で受信される様子の模式図である。超音波の伝播経路(伝播距離)が異なるため、各受信素子への反射波到達時間も異なる。
【0029】
そのため、各受信素子で測定される点散乱体PSでの反射波は、第1軸が受信素子番号、第2軸が反射波到達時間となる2次元のRFデータでは曲線を描く。また、各受信素子で測定される点散乱体PSでの反射波は、3次元のRFデータでは、
図6に示すような曲面C上に分布する。本実施形態では、曲面Cに対応する部分RFデータを抽出し、部分RFデータを学習済みの学習器に入力し、点散乱体PSに対応する部分再構成画像を出力する。
【0030】
図3に示すように、演算装置130は、例えばCPU、通信部、記憶部M等を備えたコンピュータにより構成されている。記憶部Mは、例えばRAM、ROM、ハードディスク等を有する。記憶部Mに格納された画像再構成プログラムが実行されることで、データ収集部135及び画像取得部136等の機能が実現され、測定データ格納領域133が記憶部Mに確保される。各部による処理については後述する。
【0031】
記憶部Mには、学習器131が記憶される。学習器131は、各ユニット(ニューロン)に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。記憶部Mに学習器131が記憶されるとは、学習131に関する各種パラメータと処理実行プログラムが記憶部Mに記憶されることを意味する。
【0032】
学習処理部134は、記憶部Mに格納された学習データ132を用いて、学習器131の学習処理を実行する。学習データ132は、音響特性の分布で表現された生体モデル(被検体モデル)に対し、シミュレーション空間上で、リングアレイRの複数の素子Eのサイズ及び配列を模擬し、送信素子を切り替えながら複数の素子で生体モデルからの反射超音波を受信したシミュレーションのRFデータと、生体モデルの計測画像(音響インピーダンスの空間勾配強度などの生体モデルの音響特性から算出される理想的な計測画像)とを含む。シミュレーションRFデータと計測画像との組は、複数準備される。
【0033】
シミュレーションRFデータを学習器131に入力し、学習器131の出力データが計測画像の画素値に適合するように、学習器131を学習する。
【0034】
学習器131は、ニューラルネットワークを用いたものとなっている。
図7は、学習器131の構造を示す図である。学習器131の入力データは、複数の入力変数x
1、x
2、x
3・・・を含んでいる。各入力データの入力変数は、シミュレーションRFデータに含まれる各受信素子の受信信号の値である。
【0035】
学習器131は、それぞれが複数のユニットUを含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層を含んで構成される。
図7の例では、中間層は1層となっているが、中間層は複数あってもよい。
【0036】
各入力変数は、入力層の各ユニットUに入力される。各ユニットUにおいては、各入力変数に対する重みw
1、w
2、w
3・・・、及びバイアスbが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニットUの入力uとなる。
【0037】
各ユニット50は、入力uに対する、活性化関数と呼ばれる関数fの出力f(u)を出力する。活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニットUからの出力は、中間層の各ユニットに入力される。すなわち、入力層の各ユニットUと中間層の各ユニットは全結合される。
【0038】
中間層の各ユニットは、入力層の各ユニットUの出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニットには、入力層の各ユニットUに対する重みとバイアスが設定されている。中間層の各ユニットからの出力は、出力層の各ユニットに入力される。すなわち、中間層の各ユニットと出力層の各ユニットも全結合される。
【0039】
出力層の各ユニットも、中間層の各ユニットの出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニットには、中間層の各ユニットに対する重みとバイアスが設定されている。
【0040】
出力層の各ユニットの出力が学習器131の出力データとなる。出力データに含まれる出力変数y
1、y
2、y
3・・・は、再構成画像の各画素の画素値となる。
【0041】
学習処理134は、シミュレーションRFデータに対する出力データにおいて、出力変数の値が、計測画像の画素値に近付くように、各層の各ユニットの重み及びバイアスを調整する。
【0042】
データ収集部135は、スイッチ回路110及び送受信回路120を介して、複数の素子により得られたデータである測定データ(RFデータ)を収集(受信又は取得することを含む)する。RFデータは、記憶部MのRFデータ格納領域133に格納される。
【0043】
画像取得部136は、RFデータから着目箇所に対応する部分RFデータを抽出する。
図8に示すように、画像取得部136は、十分に学習された学習器131に対して部分RFデータを入力データとして入力し、学習器131から出力される部分再構成画像の画素値を取得する。画像取得部136は、関心領域に含まれる複数の着目箇所について上述の処理を繰り返し行う。これにより、被検体Tの関心領域に対応する断層画像を再構成することができる。再構成画像は画像表示装置140に表示される。特に本発明においては、複数の着目箇所を1つの画像上に膨大に設定することにより、学習のためのデータ生成時間を大きく向上することが可能である。例えば、画素数がN
2、画素毎の情報の独立性が、担保されない近接画素の距離がnの場合、オーダーとしてN
2/n
2の着目箇所を設定することが可能であり、数値シミュレーションに要する時間コスト、データサイズを大幅に削減することが可能となる。
【0044】
図9aは生体モデルの一例であり、物質の密度分布を示す。
図9bはこの生体モデルの計測画像である。
図9cは、この生体モデルに対するシミュレーションRFデータを学習済みの学習器131に入力し、出力データから得られる再構成画像の例を示す。鮮明な再構成画像が得られることが確認された。
【0045】
このように、本実施形態によれば、近似演算等を行わずに、RFデータ(部分RFデータ)をそのまま学習器131に入力するため、RFデータの情報量を削減することなく、正確な画像再構成を行うことができる。また、本実施形態によれば、学習器131の学習には、シミュレーションで作成した教師データを用いることができる。ここで、教師データとして臨床画像を利用する場合、学習の精度を担保するためには、一般的に、医師の診断結果を含有する臨床画像が大量に必要とされる。しかし、臨床画像を必要十分に収集することは容易ではない。また、人が診断したデータのみを使用する結果、既存の画像データの範囲を超える画像は学習できず、適用するデータのサンプルの偏りを完全に排除することは難しい。従って、シミュレーションで作成した教師データを用いることで、教師データ作成コストを抑え、教師データの偏りや精度のばらつきを低減することができる。
【0046】
記憶部Mには、断層画像(例えば過去の医用画像)と、断層画像に含まれる腫瘍箇所を特定する腫瘍情報とを含む学習データを用いて学習し、被検体の断層画像における腫瘍の有無の判定及び腫瘍箇所の特定が可能な第2学習器がさらに記憶されていてもよい。
【0047】
演算装置130は判定部をさらに有し、判定部は、画像取得部136が取得した断層画像を第2学習器に入力し、第2学習器の出力データに基づいて、断層画像における腫瘍の有無の判定結果、及び腫瘍がある場合は腫瘍箇所の情報を出力する。
【0048】
学習器131に入力する部分RFデータは、
図6に示すような曲面Cに対応するRFデータだけでなく、その周辺のRFデータを含んでいてもよい。
【0049】
送信条件数N,受信素子数M、時間方向のサンプル点数nを用いると、
図6で示す部分RFデータのサイズはN×M×nとなる。ここまでの説明では、nにどのような値を設定するか、詳細の説明を行っていない。音速不均質の影響が小さい条件においては、n=1もしくはそれに近い値を設定することができる。一方、音速不均質の影響が大きい条件においては、
図5に示す、距離から、伝搬時間に換算する際における不確定性が大きくなる。このため、nは比較的大きな値を設定することが好ましい。例えば、経路上の存在する可能性がある媒質において、音速が最も早かった場合と、遅かった場合の伝搬時間差を、サンプリング周期で除したものに、バラツキの分散を掛けた値をnとする。このようにnを設定することで、本発明の構成による学習により得られる効果として、音速不均質の補正効果が期待できる。
【0050】
図12aは、超音波の伝搬経路の一例を示す図である。送信点LTから送信され、各散乱点PIで反射された反射波を受信点LRで受信する時、送信点LTから受信点LRへの伝搬時間は、リングアレイによって囲まれる円領域の半径をR、当該円の中心と散乱点PIとの距離をdとし、送信点LTから散乱点PIとの距離をL
TX、散乱点PIから受信点LRとの距離をL
RX、送信点LTの位置を(R、ω)、受信点の位置を(R、θ)とすると、下記の式1にて求められる。
【0052】
伝搬時間は距離に比例するため、ある時刻tにおける伝搬時間を下記の式2のように示すことができる。
【0054】
図12bは、送信点LTから送信され、点散乱体P
0、P
1、P
2での反射波を受信点LRnで受信する場合の、超音波の伝搬経路の例を示す図である。
図12cは、送信点をLTとした場合のRFデータを示し、縦軸を受信素子番号、横軸を時間軸(反射波到達時間)としている。
【0055】
例えば、点散乱体P
0の位置を特定するとき、時刻t
0のRFデータには、点散乱体P
0からの反射波成分だけでなく、点散乱体P
1、P
2からの反射波成分も含まれる。そこで、学習器131に入力する部分RFデータを時刻t
0のみでなく、時刻t
0を含むある程度の幅を持つものとする(時間方向のサンプル点数nを大きくする)ことが好ましい。各散乱点が持つRFデータは、位置に由来する固有の軌道をもち、また散乱点各々が持つ生体組織の特性に依存する散乱強度によって異なる信号強度を有するなど、散乱点固有の情報を含むため、時間幅において連続性のある情報を利用する事で、点散乱体P
1、P
2各々のRFデータの特性からの反射波成分の影響が検出し易くなり、着目している点散乱体P
0に対応する部分再構成画像の画質を向上させることができる。学習器131に入力する部分RFデータの時間幅が狭すぎると他のRFデータとの識別が難しくなり、時間幅が広すぎると深層学習の工数コストがかかるため、両方の条件を満たす十分な幅とすることが好ましい。
【0056】
次に、本発明を音速不均質補正以外の別用途に用いた実施例について説明を行う。リングアレイを用いた撮像では、送信条件数が多くなることで、撮像時間が長くなり、取得RFデータの大きさも大きくなる。中心周波数に対して、適切なサンプリング周波数を設定したRFデータにおいて、送信条件数が100のオーダー、受信素子数が1000のオーダーの場合、一断面当たりのデータサイズは数百GBのオーダーとなり、乳房全体の三次元データでは、1TBと相当に膨大なデータ量となってしまう。
【0057】
一方、信号対雑音比が低下する領域を作らないためには、多方向から超音波エネルギーを入れることで、撮像領域全体に音響エネルギーを投入することは有効である。従来の開口合成法においては、どの送信点(Et)、散乱点(PS)、受信点(Er)が確定することで、伝搬時間がもとまり、画像化を行うことができる。しかし、本発明の方法によれば、
図10に示すように、複数のEt(図では3つのEtの例)から同時に送信し、それぞれのErで受信すると、
図11に示すように、帯状の領域が、対応したデータが格納された領域である。(当然、この帯内のデータが全て、対応するデータのみで構成されるわけではない)。
【0058】
従来の開口合成法においては、ラインCが帯状の領域に広がったことにより、画像がぼやけてしまう。一方、本発明では、この帯状のデータから部分RFデータを抽出し、学習にかけることで、ぼやけを抑制しつつ、送信条件数が少ないことに起因する領域内の信号対雑音比のムラも抑制した画像化が可能となる。この結果として、撮像時間の短縮や、RFデータの総データ量の削減が可能となる。
【0059】
なお、本発明にて、生体モデル中を伝搬する超音波について、シミュレーション計算は、波動方程式を時間領域有限差分法により求めることや、Ray Tracingの方法などにより算出することが可能である。生体モデルは、空間を離散化し、各離散点における音速、密度、減衰率などを設定することによって、得られる。この時、超音波の散乱は音速と密度の積である音響インピーダンスの空間勾配によって与えられるので、減衰率は、音速不均質とおなじように外乱として与えられることになる。このような外乱に対してロバスト性のある学習を行うことも、多様な生体モデルを用いて学習することの利点である。
【0060】
学習器131の学習には、シミュレーションによる生体モデルの代わりに、動物や風景等の自然画像をグレースケール変換した輝度画像を教師データとして用いてもよい。自然画像は様々な空間周波数成分を含んでおり、医用画像において撮像対象となる生体内の環境により近くなるからである。人工的にランダムパターンの画像を作成して、学習用の生体モデルを構築すると、低い空間周波数成分に比べて相対的に高い空間周波数成分が多くなり、臨床画像として本来トレーニングするべき特徴とずれが生じてしまう。臨床画像が大量に入手可能であれば、目的に適するが、一般に臨床画像を沢山集めることは困難であり、かつ臨床画像には空間解像度の限界があり、十分高い空間周波数を含んでいないことも学習用のモデルとして必ずしも適していない。自然画像を活用することは、上記の2つの点で有利である。
【0061】
この場合、まず、輝度画像を音響特性分布画像に変換する。なお、本実施形態では、音響特性分布画像として密度分布画像を用いる例について説明するが、例えば、音速分布像などにも適用が可能である。画像変換には、下記の数式を用いることができる。下記の数式において、σ
i(x、y)は画素(x、y)に対応する密度、σ
0は基準密度、I(x、y)は輝度画像の画素(x、y)の[0,1]の輝度(画素値)、σ
maxは最大振幅、εは[−1,1]の乱数である。
【0062】
σ
i(x、y)=σ
0+I(x、y)*σ
max*ε
【0063】
図13は、白色部分、黒色部分、白色部分が順に配置された画素列(輝度画像)を密度分布に変換する例を示す。
【0064】
密度分布に対し、シミュレーション空間上で、リングアレイRの複数の素子Eのサイズ及び配列を模擬し、送信素子を切り替えながら複数の素子で密度分布からの反射超音波を受信したシミュレーションのRFデータ(測定データ)を学習器131に入力する。学習器131の出力データが輝度画像の画素値に適合するように、学習器131を学習する。
【0065】
図14aはチンパンジーの画像をグレースケール変換した輝度画像を示す。
図14bは、
図14aの輝度画像をから生成した密度分布画像を示す。
図14cは、
図14bの密度分布に対するシミュレーションRFデータを学習済みの学習器131に入力し、出力データから得られる再構成画像を示す。鮮明な再構成画像が得られることが確認された。
【0066】
上記実施形態では、リングアレイを用いる構成について説明したが、超音波の送受信を行う素子が直線上又は平面上に配置されたプローブを用いてもよい。
【0067】
本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。
本出願は、2018年10月22日付で出願された日本特許出願2018−198658に基づいており、その全体が引用により援用される。