(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024174783
(43)【公開日】2024-12-17
(54)【発明の名称】超音波診断装置及び超音波信号生成方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20241210BHJP
【FI】
A61B8/14
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023141007
(22)【出願日】2023-08-31
(31)【優先権主張番号】18/329,070
(32)【優先日】2023-06-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】岩崎 亮祐
(72)【発明者】
【氏名】高橋 広樹
(72)【発明者】
【氏名】今村 智久
(72)【発明者】
【氏名】ティン シア
(72)【発明者】
【氏名】リヤン ツァイ
(72)【発明者】
【氏名】ジエン ジョウ
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601BB03
4C601EE04
4C601JB40
4C601JB51
4C601JC06
4C601JC15
4C601JC26
4C601JC33
(57)【要約】
【課題】飽和の影響がロバストに低減され、画質の劣化が抑制された超音波信号を得ること。
【解決手段】実施形態の超音波診断装置は、記憶部と生成部とを備える。記憶部は、飽和した信号を含む第1の超音波信号を入力データとし、前記第1の超音波信号に対して飽和の影響を低減させた第2の超音波信号を教師データとして用いることにより学習された学習済みモデルを記憶する。生成部は、飽和した信号を含む第3の超音波信号を前記学習済みモデルに入力し、前記学習済みモデルから出力される、前記第3の超音波信号に対して飽和の影響を低減させた第4の超音波信号を取得することにより、前記第4の超音波信号を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
飽和した信号を含む第1の超音波信号を入力データとし、前記第1の超音波信号に対して飽和の影響を低減させた第2の超音波信号を教師データとして用いることにより学習された学習済みモデルを記憶する記憶部と、
飽和した信号を含む第3の超音波信号を前記学習済みモデルに入力し、前記学習済みモデルから出力される、前記第3の超音波信号に対して飽和の影響を低減させた第4の超音波信号を取得することにより、前記第4の超音波信号を生成する生成部と、
を備える、超音波診断装置。
【請求項2】
前記生成部は、被検体に対する超音波の送受信を行うことにより得られた超音波信号の一定値以上の信号値を一定値に抑えるクランプ処理を含むアナログ信号処理を実行することにより、前記第1の超音波信号及び前記第3の超音波信号を生成する、
請求項1に記載の超音波診断装置。
【請求項3】
前記第1の超音波信号及び前記第3の超音波信号は、整相加算処理が施された後のデータである、
請求項1に記載の超音波診断装置。
【請求項4】
前記第1の超音波信号及び前記第3の超音波信号は、デジタル信号へ変換された後のデータであり、整相加算処理が施される前のデータである、
請求項1に記載の超音波診断装置。
【請求項5】
前記教師データは、整相加算処理が施された後の前記第1の超音波信号に対して飽和の影響を低減させた前記第2の超音波信号である、
請求項1に記載の超音波診断装置。
【請求項6】
前記第2の超音波信号は、前記第1の超音波信号に含まれる飽和の影響を受けた信号に負のゲインをかけることで、前記飽和の影響を受けた信号の振幅値を下げることにより生成される、
請求項5に記載の超音波診断装置。
【請求項7】
前記教師データとしての前記第2の超音波信号は、デジタル信号へ変換された後の超音波信号であって整相加算処理が施される前の超音波信号に対して飽和の影響を低減させることにより得られる、
請求項1に記載の超音波診断装置。
【請求項8】
前記教師データとしての前記第2の超音波信号は、前記超音波信号が飽和しているか否かがチャンネル毎に判定され、判定結果に応じたチャンネル毎の重みが用いられて、チャンネル毎の超音波信号が重み付けされることにより得られる、
請求項7に記載の超音波診断装置。
【請求項9】
前記教師データとしての前記第2の超音波信号は、前記超音波信号が飽和しているか否かがチャンネル毎に判定され、飽和していると判定されたチャンネルの超音波信号の値が、飽和していないと判定されたチャンネルの超音波信号の値が用いられて推定された超音波信号の値に置換されることにより得られる、
請求項7に記載の超音波診断装置。
【請求項10】
前記教師データとしての前記第2の超音波信号は、飽和の影響を低減させる処理が施されたアナログ信号である超音波信号をデジタル信号に変換した後のデータである、
請求項1に記載の超音波診断装置。
【請求項11】
前記飽和の影響を低減させる処理は、アナログフィルタによって飽和に起因する信号成分を抑制する処理である、
請求項10に記載の超音波診断装置。
【請求項12】
前記教師データとしての前記第2の超音波信号は、前記超音波信号の飽和の判定結果に応じたアナログゲインをかける前記処理が施された前記超音波信号をデジタル信号に変換した後のデータである、
請求項10に記載の超音波診断装置。
【請求項13】
前記生成部は、更に、前記第4の超音波信号から奇数次の高調波成分を抽出し、抽出された奇数次の高調波成分に基づき超音波画像データを生成する、
請求項1に記載の超音波診断装置。
【請求項14】
前記生成部は、前記第3の超音波信号が飽和の影響を受けているか否かを判定し、前記第3の超音波信号が飽和の影響を受けていると判定された場合に、前記第3の超音波信号を前記学習済みモデルに入力し、前記学習済みモデルから出力される前記第4の超音波信号を取得することにより、前記第4の超音波信号を生成する、
請求項1に記載の超音波診断装置。
【請求項15】
飽和した信号を含む第1の超音波信号を入力データとし、前記第1の超音波信号に対して飽和の影響を低減させた第2の超音波信号を教師データとして用いることにより学習された学習済みモデルに、飽和した信号を含む第3の超音波信号を入力し、
前記学習済みモデルから出力される、前記第3の超音波信号に対して飽和の影響を低減させた第4の超音波信号を取得することにより、前記第4の超音波信号を生成する、
超音波信号生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、超音波診断装置及び超音波信号生成方法に関する。
【背景技術】
【0002】
アーチファクトの少ない超音波画像データを得るために,超音波伝播の過程で発生する高調波成分(非線形信号)を用いたティシュハーモニックイメージング(THI)が広く使用されている。通常は、2次高調波成分が用いられるが,3次高調波成分の利用も提案されている。なお、N(Nは2以上の整数)次高調波成分は、単に、N次成分又は第N高調波とも称される。
【0003】
超音波診断装置のアナログ回路では、入力のダイナミックレンジが有限である。また、アナログ回路の保護のために、入力された信号の信号値が一定以上の大きさである場合には、入力された信号に対してクランプ回路が働き、入力された信号の信号値が一定値となるように波形がクリップされる。これにより、入力された信号が飽和する。そして、クリップされた信号には奇数倍の高調波成分が重畳される。このため、3次高調波成分による映像化を行うと、映像化帯域と飽和により生じる高調波の帯域が重なり、画質が劣化する。
【0004】
こうした飽和の影響を抑制するプリフィルタ等の構成やアルゴリズムも提案されている。しかしながら、回路規模の増大を招いたり、より前段での信号処理を要したり、ロバスト性を欠いたりしてしまう場合がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2016-112400号公報
【特許文献2】特開2017-55845号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波信号を得ることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0007】
実施形態の超音波診断装置は、記憶部と生成部とを備える。記憶部は、飽和した信号を含む第1の超音波信号を入力データとし、前記第1の超音波信号に対して飽和の影響を低減させた第2の超音波信号を教師データとして用いることにより学習された学習済みモデルを記憶する。生成部は、飽和した信号を含む第3の超音波信号を前記学習済みモデルに入力し、前記学習済みモデルから出力される、前記第3の超音波信号に対して飽和の影響を低減させた第4の超音波信号を取得することにより、前記第4の超音波信号を生成する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。
【
図2】
図2は、第1の実施形態に係る受信回路の構成の一例を示す図である。
【
図3】
図3は、第1の実施形態に係るクランプ回路の動作の一例を示す図である。
【
図4】
図4は、第1の実施形態に係る学習済みモデルの生成方法の一例を説明するための図である。
【
図5】
図5は、第1の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【
図6】
図6は、第1の実施形態に係る入力データ及び教師データの一例を示す図である。
【
図7】
図7は、第1の実施形態に係る超音波診断装置が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。
【
図8】
図8は、第1の実施形態に係る超音波診断装置が実行する処理の一例の流れを示すフローチャートである。
【
図9A】
図9Aは、第1の実施形態に係る学習時に用いられる入力データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
【
図9B】
図9Bは、第1の実施形態に係る学習時に用いられる教師データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
【
図9C】
図9Cは、第1の実施形態に係る推論時に学習済みモデルから出力される出力データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
【
図10】
図10は、第2の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【
図11】
図11は、第2の実施形態に係る入力データ及び教師データの一例を示す図である。
【
図12】
図12は、第2の実施形態に係る超音波診断装置が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。
【
図13】
図13は、第3の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【
図14】
図14は、第3の実施形態に係る入力データ及び教師データの一例を示す図である。
【
図15】
図15は、第3の実施形態に係る超音波診断装置1が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。
【
図16】
図16は、第4の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【
図17】
図17は、第4の実施形態に係る入力データ及び教師データの一例を示す図である。
【
図18】
図18は、第4の実施形態に係る超音波診断装置が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。
【
図19】
図19は、第5の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【
図20】
図20は、第5の実施形態に係る入力データ及び教師データの一例を示す図である。
【
図21】
図21は、第5の実施形態に係る超音波診断装置が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。
【
図22】
図22は、変形例に係る超音波診断装置1が実行する処理の一例の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、各実施形態及び各変形例に係る超音波診断装置及び超音波信号生成方法を説明する。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断装置1の構成例を示すブロック図である。
図1に例示するように、第1の実施形態に係る超音波診断装置1は、装置本体100と、超音波プローブ101と、入力装置102と、ディスプレイ103とを有する。
【0011】
超音波プローブ101は、例えば、複数の素子(圧電振動子、圧電素子)を有する。これら複数の素子は、装置本体100が有する送受信回路110の送信回路111から供給される駆動信号に基づき超音波を発生する。具体的には、複数の素子は、送信回路111により電圧(送信駆動電圧)が印加されることにより送信駆動電圧に応じた波形の超音波を発生する。駆動信号が示す送信駆動電圧の波形が、複数の素子に印加される電圧の波形である。すなわち、超音波プローブ101は、印加された送信駆動電圧の大きさに応じた超音波を送信する。また、超音波プローブ101は、被検体Pからの反射波を受信し、受信された反射波を電気信号である反射波信号に変換し、反射波信号を装置本体100に出力する。反射波信号は、超音波信号の一例である。また、超音波プローブ101は、例えば、素子に設けられる整合層と、素子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ101は、装置本体100と着脱自在に接続される。
【0012】
超音波プローブ101から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波として超音波プローブ101が有する複数の素子にて受信される。受信される反射波の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の移動体の表面で反射された場合の反射波は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。そして、超音波プローブ101は、反射波信号を後述する送受信回路110の受信回路112に出力する。
【0013】
超音波プローブ101は、装置本体100と着脱可能に設けられる。被検体P内の2次元領域の走査(2次元走査)を行なう場合、操作者は、例えば、複数の素子が一列で配置された1Dアレイプローブを超音波プローブ101として装置本体100に接続する。1Dアレイプローブの種類としては、リニア型超音波プローブ、コンベックス型超音波プローブ、セクタ型超音波プローブ等が挙げられる。また、被検体P内の3次元領域の走査(3次元走査)を行なう場合、操作者は、例えば、メカニカル4Dプローブや2Dアレイプローブを超音波プローブ101として装置本体100と接続する。メカニカル4Dプローブは、1Dアレイプローブのように一列で配列された複数の素子を用いて2次元走査が可能であるとともに、複数の素子を所定の角度(揺動角度)で揺動させることで3次元走査が可能である。また、2Dアレイプローブは、マトリックス状に配置された複数の素子により3次元走査が可能であるとともに、超音波を集束して送信することで2次元走査が可能である。
【0014】
入力装置102は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等の入力手段により実現される。入力装置102は、超音波診断装置1の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体100に転送する。
【0015】
ディスプレイ103は、例えば、超音波診断装置1の操作者が入力装置102を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データに基づく超音波画像等を表示したりする。ディスプレイ103は、液晶モニタやOLED(Organic Light Emitting Diode)モニタ等によって実現される。ディスプレイ103は、表示部の一例である。
【0016】
装置本体100は、超音波プローブ101から送信された反射波信号に基づいて超音波画像データを生成する。なお、超音波画像データは、超音波信号の一例であり、画像データの一例でもある。装置本体100は、超音波プローブ101から送信された被検体Pの2次元領域に対応する反射波信号に基づいて2次元の超音波画像データを生成可能である。また、装置本体100は、超音波プローブ101から送信された被検体Pの3次元領域に対応する反射波信号に基づいて3次元の超音波画像データを生成可能である。
図1に示すように、装置本体100は、送受信回路110と、バッファメモリ120と、Bモード処理回路130と、ドプラ処理回路140と、画像生成回路150と、画像メモリ160と、記憶回路170と、制御回路180とを有する。
【0017】
送受信回路110は、制御回路180による制御を受けて、超音波プローブ101から超音波を送信させるとともに、超音波プローブ101に超音波の反射波を受信させる。すなわち、送受信回路110は、超音波プローブ101を介して走査を実行する。なお、走査は、スキャン、超音波スキャン又は超音波走査とも称される。送受信回路110は、送受信部の一例である。送受信回路110は、送信回路111と受信回路112とを有する。送信回路111は送信部の一例であり、受信回路112は受信部の一例である。
【0018】
送信回路111は、制御回路180による制御を受けて、超音波プローブ101に駆動信号を供給することにより、超音波プローブ101に超音波を送信させる。送信回路111は、レートパルサ発生回路と、送信遅延回路と、送信パルサとを有する。送信回路111は、被検体P内の2次元領域を走査する場合、超音波プローブ101から2次元領域を走査するための超音波ビームを送信させる。また、送信回路111は、被検体P内の3次元領域を走査する場合、超音波プローブ101から3次元領域を走査するための超音波ビームを送信させる。
【0019】
レートパルサ発生回路は、制御回路180による制御を受けて、所定のパルス繰り返し周波数(PRF:Pulse Repetition Frequency)で、送信超音波(送信ビーム)を形成するためのレートパルスを繰り返し発生する。レートパルスが送信遅延回路を経由することで、異なる送信遅延時間を有した状態で送信パルサに電圧が印加される。例えば、送信遅延回路は、超音波プローブ101から発生される超音波をビーム状に集束して送信指向性を決定するために必要な素子ごとの送信遅延時間を、レートパルサ発生回路により発生される各レートパルスに対して与える。送信パルサは、レートパルスに基づくタイミングで、超音波プローブ101に駆動信号(駆動パルス)を供給する。すなわち、送信パルサは、かかるレートパルスに基づくタイミングで、超音波プローブ101に駆動信号が示す波形の電圧(送信駆動電圧)を印加する。なお、送信遅延回路は、各レートパルスに与える送信遅延時間を変化させることで、素子面からの超音波の送信方向を任意に調整する。
【0020】
駆動パルスは、送信パルサからケーブルを介して超音波プローブ101内の素子まで伝達された後に、素子において電気信号から機械的振動に変換される。すなわち、素子に電圧が印加されることによって、素子は機械的に振動する。この機械的振動によって発生した超音波は、生体内部(被検体Pの内部)に送信される。ここで、素子ごとに異なる送信遅延時間を持った超音波は、集束されて、所定方向に伝搬していく。
【0021】
なお、送信回路111は、制御回路180による制御を受けて、所定の走査シーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有する。特に、送信駆動電圧の変更は、瞬間に送信駆動電圧の値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。なお、送信周波数とは、例えば、送信される超音波の中心周波数である。
【0022】
超音波プローブ101により送信された超音波の反射波は、超音波プローブ101内部の素子まで到達した後、素子において、機械的振動から電気的信号(反射波信号)に変換され、反射波信号が受信回路112に入力される。
【0023】
受信回路112は、超音波プローブ101から送信された反射波信号に対して各種処理を行なって反射波データを生成する。そして、受信回路112は、生成した反射波データをバッファメモリ120に格納する。なお、反射波データは、超音波信号の一例である。
【0024】
図2は、第1の実施形態に係る受信回路112の構成の一例を示す図である。
図2に示すように、受信回路112は、アナログフロントエンド113、A/D(Analog to Digital)変換回路(A/D変換器)114、ビームフォーマ115及び飽和低減処理回路116を備えている。
【0025】
アナログフロントエンド113には、超音波プローブ101から反射波信号が入力される。アナログフロントエンド113は、入力された反射波信号に対して公知のアナログ処理(アナログ信号処理)を行い、アナログ処理が施されたアナログ信号である反射波信号をA/D変換回路114に出力するアナログ回路である。例えば、アナログフロントエンド113が実行する一部の処理について説明すると、アナログフロントエンド113は、例えば、プリアンプを備え、プリアンプが反射波信号をチャンネル毎に増幅してゲイン調整(ゲイン補正)を行う。
【0026】
また、アナログフロントエンド113は、クランプ回路113aを備える。
図3は、第1の実施形態に係るクランプ回路113aの動作の一例を示す図である。例えば、
図3に示すように、クランプ回路113aは、プリアンプに入力される反射波信号113bの振幅が所定の許容範囲113c内に収まるように、反射波信号113bを反射波信号113dに変換し、反射波信号113dをプリアンプに入力する。例えば、クランプ回路113aは、反射波信号113bの一定値以上の振幅を一定値にクリップ(固定)することにより、反射波信号113dを生成する。そして、クランプ回路113aは、プリアンプに向けて反射波信号113dを出力する。これにより、アナログフロントエンド113内の回路であるプリアンプが反射波信号の過大な高圧パルスから保護される。
【0027】
このように、クランプ回路113aは、被検体Pに対する超音波の送受信を行うことにより得られた反射波信号113bの一定値以上の信号値を一定値に抑えるクランプ処理を実行する。クランプ処理により反射波信号113dが得られる。このようなクランプ処理は、アナログ処理に含まれる処理の一例である。
【0028】
ここで、反射波信号113bの一定値以上の振幅を一定値にクリップすることは、矩形波を畳み込みすることと等価である。このため、反射波信号113dには、奇数次の高調波成分(例えば、3次高調波成分、5次高調波成分等)が重畳されてしまう。すなわち、反射波信号113bに含まれる中心周波数(基本波の周波数)をf0とすると、反射波信号113dには、奇数次の高調波成分(例えば、周波数3f0に対応する3次高調波成分、周波数5f0に対応する5次高調波成分等)が含まれてしまう。
【0029】
このため、このような反射波信号113dに基づいて、3次高調波による映像化を行うと、映像化帯域と飽和により生じる高調波の帯域とが重なり、画質が劣化してしまう。すなわち、反射波信号113dは、飽和の影響を受けているため、反射波信号113dに基づく超音波画像データの画質が劣化してしまう。そこで、第1の実施形態に係る超音波診断装置1は、以下に説明するように、3次高調波による映像化を行っても、画質が劣化しないような超音波信号を生成することができるように構成されている。
【0030】
図2の説明に戻り、A/D変換回路114には、アナログフロントエンド113から出力された反射波信号が入力される。A/D変換回路114は、反射波信号をA/D変換することで反射波信号をデジタル信号に変換し、デジタル信号に変換された反射波信号をビームフォーマ115に出力する。
【0031】
ビームフォーマ115には、A/D変換回路114から出力された反射波信号が入力される。ビームフォーマ115は、入力された反射波信号に整相加算処理を施す。例えば、ビームフォーマ115は、デジタル信号である反射波信号に受信指向性を決定するのに必要な受信遅延時間を与える。そしてビームフォーマ115は、受信遅延時間が与えられた反射波信号の加算処理を行う。ビームフォーマ115の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
【0032】
そして、ビームフォーマ115は、整相加算処理が施された反射波信号をベースバンド帯域の同相信号(I信号、I:In-phase)と直交信号(Q信号、Q:Quadrature-phase)とに変換する。そして、ビームフォーマ115は、I信号及びQ信号(IQ信号)を反射波データとしてバッファメモリ120に格納する。ビームフォーマ115は、例えば、プロセッサを含む処理回路により実現される。
【0033】
飽和低減処理回路116は、後述する学習装置200により学習済みモデル170aが生成される際に用いられる入力データ及び教師データが生成される場合、すなわち、学習時の場合に動作する処理回路である。飽和低減処理回路116には、学習時に、ビームフォーマ115を経由してBモード処理回路130から出力された反射波データが入力される。ここで飽和低減処理回路116に入力される反射波データは、後述する3次高調波成分を含む信号データである。飽和低減処理回路116は、入力された反射波データよりも飽和の影響が低減された反射波データを生成し、生成された反射波データを教師データとして後述する学習装置200に送信する。飽和低減処理回路116が実行する処理の詳細については後述する。
【0034】
図1の説明に戻り、受信回路112は、超音波プローブ101から送信された2次元の反射波信号から2次元の反射波データを生成する。また、受信回路112は、超音波プローブ101から送信された3次元の反射波信号から3次元の反射波データを生成する。
【0035】
本実施形態では、超音波診断装置1は、リアルタイムで各種の処理を行うことができる。例えば、超音波プローブ101は、1フレーム分の反射波信号を次々に受信回路112に送信する。受信回路112は、超音波プローブ101から送信された1フレーム分の反射波信号を受信するたびに、1フレーム分の反射波信号から1フレーム分の反射波データを生成する。受信回路112は、1フレーム分の反射波データを生成するたびに、1フレーム分の反射波データをバッファメモリ120に格納する。
【0036】
バッファメモリ120は、送受信回路110により生成された反射波データを一時的に記憶するメモリである。例えば、バッファメモリ120は、所定数のフレーム分の反射波データを記憶することが可能なように構成されている。そして、バッファメモリ120は、所定数のフレーム分の反射波データを記憶している状態で、新たに1フレーム分の反射波データが受信回路112により生成された場合、受信回路112による制御を受けて、生成された時間が最も古い1フレーム分の反射波データを破棄し、新たに生成された1フレーム分の反射波データを記憶する。例えば、バッファメモリ120は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子によって実現される。
【0037】
Bモード処理回路130は、バッファメモリ120から反射波データを読み出し、読み出された反射波データに対して各種の信号処理を施し、各種の信号処理が施された反射波データをBモードデータとして画像生成回路150に出力する。Bモード処理回路130は、例えば、プロセッサにより実現される。Bモード処理回路130は、Bモード処理部の一例である。また、Bモードデータは、超音波信号の一例である。
【0038】
例えば、Bモード処理回路130は、バッファメモリ120に、新たに1フレーム分の反射波データが格納される度に、新たにバッファメモリ120に格納された1フレーム分の反射波データを読み出す。そして、Bモード処理回路130は、読み出された1フレーム分の反射波データに対して各種の信号処理を施すことにより、新たに1フレーム分のBモードデータを生成する。そして、Bモード処理回路130は、1フレーム分のBモードデータを生成する度に、新たに生成された1フレーム分のBモードデータを画像生成回路150に出力する。以下、Bモード処理回路130実行する各種の信号処理の一例を説明する。
【0039】
例えば、Bモード処理回路130は、バッファメモリ120から読み出した反射波データに対して、直交検波し、包絡線検波処理及び対数増幅処理等を施して、サンプル点ごとの信号強度(振幅強度)が輝度の明るさで表現されるBモードデータを生成する。そして、Bモード処理回路130は、生成したBモードデータを画像生成回路150に出力する。
【0040】
ここで、Bモード処理回路130の機能を用いて、超音波診断装置1は、反射波データ(受信信号)から3次高調波成分を抽出し、抽出された3次高調波成分に基づくBモード画像データを生成することができる。例えば、超音波診断装置1は、特開2016-112400号公報に記載された技術を用いて、反射波データから3次高調波成分を抽出する。例えば、送信回路111は、送信する超音波の位相(送信する超音波に含まれる中心周波数成分の位相)が互いに120度異なる3回の超音波送信を超音波プローブ101に実行させる。受信回路112は、3回の超音波送信によって得られた複数の反射波信号を基に、共通の受信走査線に関する3つの反射波データを生成する。Bモード処理回路130は、3つの反射波データのうち2以上の反射波データに対して位相回転処理を含む処理を実行することで、2次高調波成分を抽出し、3つの反射波データを加算して、3次高調波成分を抽出する。例えば、送信回路111は、第1の位相の超音波送信と、第1の位相から位相を120度進ませた第2の位相の超音波送信と、第1の位相から位相を240度進ませた第3の位相の超音波送信とを超音波プローブ101に実行させる。換言すると、送信回路111は、第1の位相の単一の中心周波数成分を有する第1の超音波の送信と、第1の位相から位相が実質的に120度進んだ第2の位相の単一の中心周波数成分を有する第2の超音波の送信と、第1の位相から位相が実質的に240度進んだ第3の位相の単一の中心周波数成分を有する第3の超音波の送信とを超音波プローブに実行させる。ここで、「実質的に」とは、(1)誤差を許容する意味(2)負の方向に位相を進めることを許容する意味(例えば、第1の位相の第1の超音波の送信と、第1の位相から120度遅れた第2の位相の第2の超音波の送信と、第1の位相から位相が240度遅れた第3の超音波の送信を超音波プローブ101に実行される場合を含む。)(3)N度の位相回転とN+360度の位相回転を同一視することを許容する意味(例えば、120度の位相回転と、480度の位相回転、-240度の位相回転を許容する意味)のいずれをも含む。
【0041】
そして、例えば、受信回路112は、第1の位相の超音波送信に対応する第1の反射波データと、第2の位相の超音波送信に対応する第2の反射波データと、第3の位相の超音波送信に対応する第3の反射波データとを生成する。Bモード処理回路130は、第1の反射波データと、第2の反射波データの位相を120度進ませた反射波データと、第3の反射波データの位相を240度進ませた反射波データとを加算して、2次高調波成分を抽出する。また、Bモード処理回路130は、第1の反射波データと第2の反射波データと第3の反射波データを加算して、3次高調波成分を抽出する。換言すると、Bモード処理回路130は、2次高調波成分の位相が実質的に揃っている第1の反射波データと、第2の反射波データと、第3の反射波データとを加算して、2次高調波成分を抽出する。また、Bモード処理回路130は、3次高調波成分の位相が実質的に揃っている第1の反射波データと、第2の反射波データと、第3の反射波データとを加算して、3次高調波成分を抽出する。ここで、例えば、「実質的に揃っている」というのは、小さな誤差を許容する意味である。
【0042】
ここで、詳細については後述するが、Bモード処理回路130が抽出する3次高調波成分は、後述する入力データとして用いられる反射波データである。そして、Bモード処理回路130は、このような入力データに対して後述する学習済みモデル170aを適用することにより、飽和の影響が低減された反射波データを得る。すなわち、Bモード処理回路130は、入力データから飽和の影響が低減された3次高調波成分を抽出する。なお、Bモード処理回路130は、第1の位相の超音波送信により得られる第1の反射波データから、第1の位相から位相を反転させた第4の位相の超音波送信により得られる第4の反射波データを減じることにより3次高調波成分を抽出してもよい。そして、このようにして抽出された3次高調波成分が、後述する入力データとして用いられてもよい。また、ビームフォーマ115により生成された反射波データに対して後述する学習済みモデル170aを適用することにより3次高調波成分を抽出してもよい。
【0043】
Bモード処理回路130は、上述したような方法を用いて、2次高調波成分及び3次高調波成分を抽出する。このような2次高調波成分及び3次高調波成分を抽出する機能を有するBモード処理回路130は、抽出部の一例であると言える。
【0044】
そして、Bモード処理回路130は、抽出された2次高調波成分に基づくBモードデータを生成し、生成されたBモードデータを画像生成回路150に出力する。また、Bモード処理回路130は、抽出された3次高調波成分に基づくBモードデータを生成し、生成されたBモードデータを画像生成回路150に出力する。
【0045】
ドプラ処理回路140は、バッファメモリ120から反射波データを読み出し、読み出された反射波データに対して各種の信号処理を施し、各種の信号処理が施された反射波データをドプラデータとして画像生成回路150に出力する。ドプラ処理回路140は、例えば、プロセッサにより実現される。ドプラ処理回路140は、ドプラ処理部の一例である。
【0046】
例えば、ドプラ処理回路140は、バッファメモリ120に、新たに1フレーム分の反射波データが格納される度に、新たにバッファメモリ120に格納された1フレーム分の反射波データを読み出す。そして、ドプラ処理回路140は、読み出された1フレーム分の反射波データに対して各種の信号処理を施すことにより、新たに1フレーム分のドプラデータを生成する。そして、ドプラ処理回路140は、1フレーム分のドプラデータを生成する度に、新たに生成された1フレーム分のドプラデータを画像生成回路150に出力する。以下、ドプラ処理回路140が実行する各種の信号処理の一例を説明する。
【0047】
例えば、ドプラ処理回路140は、バッファメモリ120から読み出した反射波データを周波数解析することで、ドプラ効果に基づく移動体(血流や組織、造影剤エコー成分等)の運動情報を反射波データから抽出し、抽出した運動情報を示すドプラデータを生成する。例えば、ドプラ処理回路140は、移動体の運動情報として、平均速度、平均分散値及び平均パワー値等を多点に渡り抽出し、抽出した移動体の運動情報を示すドプラデータを生成する。ドプラ処理回路140は、生成したドプラデータを画像生成回路150に出力する。
【0048】
上記のドプラ処理回路140の機能を用いて、超音波診断装置1は、カラーフローマッピング(CFM:Color Flow Mapping)法とも呼ばれるカラードプラ法を実行可能である。カラーフローマッピング法では、超音波の送受信が複数の走査線上で複数回行なわれる。そして、カラーフローマッピング法では、同一位置のデータ列に対してMTI(Moving Target Indicator)フィルタを掛けることで、同一位置のデータ列から、静止している組織、或いは、動きの遅い組織に由来する信号(クラッタ信号)を抑制して、血流に由来する信号(血流信号)を抽出する。そして、カラーフローマッピング法では、この血流信号から血流の速度(平均速度)、血流の分散(平均分散値)、血流のパワー(平均パワー値)等の血流情報を推定する。ドプラ処理回路140は、カラーフローマッピング法により推定された血流情報を示すカラードプラデータを画像生成回路150に出力する。なお、カラードプラデータは、ドプラデータの一例である。
【0049】
Bモード処理回路130及びドプラ処理回路140は、2次元の反射波データ及び3次元の反射波データの両方の反射波データを処理可能である。
【0050】
画像生成回路150は、Bモード処理回路130から出力されたBモードデータ、2次高調波成分、3時高調波成分及びドプラ処理回路140から出力されたドプラデータから各種の超音波画像データを生成する。画像生成回路150は、プロセッサにより実現される。
【0051】
例えば、画像生成回路150は、Bモード処理回路130が生成した2次元のBモードデータから反射波の強度を輝度で表した2次元Bモード画像データを生成する。また、画像生成回路150は、ドプラ処理回路140が生成した2次元のドプラデータ又はドプラカラーデータから運動情報又は血流情報が映像化された2次元ドプラ画像データ又は2次元カラー画像データを生成する。なお、運動情報が映像化された2次元ドプラ画像データ及び血流情報が映像化された2次元カラー画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。
【0052】
ここで、画像生成回路150は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。例えば、画像生成回路150は、Bモード処理回路130及びドプラ処理回路140から出力されたデータに対して、超音波プローブ101による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成回路150は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なってもよい。また、画像生成回路150は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成してもよい。
【0053】
更に、画像生成回路150は、Bモード処理回路130により生成された3次元のBモードデータに対して座標変換を行なうことで、3次元Bモード画像データを生成する。また、画像生成回路150は、ドプラ処理回路140により生成された3次元のドプラデータに対して座標変換を行なうことで、3次元ドプラ画像データを生成する。すなわち、画像生成回路150は、「3次元のBモード画像データ及び3次元ドプラ画像データ」を「3次元超音波画像データ(ボリュームデータ)」として生成する。そして、画像生成回路150は、ボリュームデータをディスプレイ103にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対して様々なレンダリング処理を行なう。
【0054】
画像生成回路150が行なうレンダリング処理としては、例えば、断面再構成法(MPR:Multi Planer Reconstruction)を用いてボリュームデータからMPR画像データを生成する処理がある。また、画像生成回路150が行なうレンダリング処理としては、例えば、3次元の情報を反映した2次元画像データを生成するボリュームレンダリング(VR:Volume Rendering)処理がある。画像生成回路150は、画像生成部の一例である。
【0055】
Bモードデータ及びドプラデータは、走査コンバート処理前の超音波画像データであり、画像生成回路150が生成するデータは、走査コンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。
【0056】
また、画像生成回路150は、2次高調波成分に基づくBモードデータをBモード処理回路130から受信した場合、2次高調波成分に基づくBモードデータに基づいてBモード画像データを生成する。同様に、画像生成回路150は、3次高調波成分に基づくBモードデータをBモード処理回路130から受信した場合、3次高調波成分に基づくBモードデータに基づいてBモード画像データを生成する。
【0057】
画像メモリ160は、画像生成回路150により生成された各種の画像データを記憶するメモリである。また、画像メモリ160は、Bモード処理回路130及びドプラ処理回路140により生成されたデータも記憶する。画像メモリ160が記憶するBモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成回路150を経由して表示用の超音波画像データとなる。例えば、画像メモリ160は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。
【0058】
記憶回路170は、走査(超音波の送受信)、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路170は、必要に応じて、画像メモリ160が記憶するデータの保管等にも使用される。例えば、記憶回路170は、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。
【0059】
また、本実施形態に係る記憶回路170は、学習済みモデル170aを記憶する。記憶回路170は、超音波診断装置1の納品時に学習済みモデル170aを記憶していてもよいし、超音波診断装置1の納品後に外部の装置等から取得された学習済みモデル170aを記憶していてもよい。記憶回路170は、例えば、記憶部の一例である。学習済みモデル170aについては後述する。
【0060】
制御回路180は、超音波診断装置1の処理全体を制御する。具体的には、制御回路180は、入力装置102を介して操作者から入力された各種設定要求や、記憶回路170から読込んだ各種制御プログラム及び各種データに基づき、送信回路111、受信回路112、Bモード処理回路130、ドプラ処理回路140及び画像生成回路150の処理を制御する。また、制御回路180は、画像メモリ160に記憶された表示用の超音波画像データに基づく超音波画像を表示するようにディスプレイ103を制御する。例えば、制御回路180は、Bモード画像データに基づくBモード画像又はカラー画像データに基づくカラー画像を表示するようにディスプレイ103を制御する。また、制御回路180は、Bモード画像にカラー画像を重畳させて表示するようにディスプレイ103を制御する。
【0061】
また、制御回路180は、2次高調波成分に基づくBモードデータに基づいて生成されたBモード画像データに基づくBモード画像と、3次高調波成分に基づくBモードデータに基づいて生成されたBモード画像データに基づくBモード画像とを合成することにより合成画像を生成する。そして、制御回路180は、生成された合成画像を表示するようにディスプレイ103を制御する。
【0062】
制御回路180は、表示制御部又は制御部の一例である。制御回路180は、例えば、プロセッサにより実現される。
【0063】
また、制御回路180は、送受信回路110を介して超音波プローブ101を制御することで、超音波走査の制御を行なう。
【0064】
なお、説明において用いられる「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、若しくは、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、又は、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、記憶回路170に保存されたプログラムを読み出し、読み出されたプログラムを実行することで機能を実現する。なお、記憶回路170にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。更に、
図1における複数の回路(例えば、Bモード処理回路130、ドプラ処理回路140、画像生成回路150及び制御回路180)を1つのプロセッサへ統合してその機能を実現するようにしてもよい。すなわち、Bモード処理回路130、ドプラ処理回路140、画像生成回路150及び制御回路180は、プロセッサにより実現される1つの処理回路に統合されてもよい。なお、送受信回路110、Bモード処理回路130、ドプラ処理回路140、画像生成回路150及び制御回路180が、プロセッサを含む1つの処理回路に統合されてもよい。
【0065】
以上、第1の実施形態に係る超音波診断装置1の全体構成について説明した。超音波診断装置1は、上述した構成のもと、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波信号を得ることができるように、以下に説明する処理を実行する。
【0066】
図4は、第1の実施形態に係る学習済みモデル170aの生成方法の一例を説明するための図である。学習済みモデル170aは、入力データと教師データとに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより得られた学習済みの機械学習モデルである。学習済みモデル170aは、学習装置200により生成される。
【0067】
学習装置200は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)等の機械学習モデルを含む。学習装置200は、被検体の同一位置(同一断面、同一部位)に対する超音波検査に関する入力データと教師データとに基づく学習(教師あり学習)を行うことにより、学習済みモデル170aを生成する。学習済みモデル170aは、推論時において、入力データに相当するデータが入力されると、教師データに相当するデータ(出力データ)を出力するように機能付けられている。なお、超音波診断装置1が学習装置200の機能と同様の機能を備え、学習装置200に代えて超音波診断装置1が学習済みモデル170aを生成してもよい。
【0068】
機械学習モデルがCNNである場合について説明する。この場合、学習装置200では、入力データが機械学習モデルであるCNNに入力される。学習装置200は、入力データにCNNを適用して、出力データを生成する。そして、出力データが、CNNから出力される。学習装置200において、出力データは、評価機能に入る。また、学習装置200において、教師データも評価機能に入力される。学習装置200は、入力データに基づいてCNNで生成された出力データと、教師データとを評価機能により評価する。評価機能は、例えば、生成された出力データを教師データと比較して、誤差逆伝播法によりCNNの係数(重みとバイアス等のネットワークパラメータ)を修正する。評価機能による評価は、CNNにフィードバックされる。学習装置200は、被検体の同一位置に対して取得された入力データと教師データとに基づくこのような一連の教師あり学習を、例えば、出力データと教師データとの間の誤差が所定の閾値以下になるまで、繰り返す。学習装置200は、学習した機械学習モデルを学習済みモデルとして出力可能である。
【0069】
例えば、CNNにおいては、入力データ及び教師データが与えられると、入力データの特徴から教師データに変換されるような係数が生成される。機械学習に用いられる入力データ及び教師データの数は多いほどよく、例えば、数千以上のデータが望ましい。
【0070】
学習装置200での機械学習に用いられる入力データ及び教師データの生成方法について
図5を参照して説明する。
図5は、第1の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。なお、
図5では、ビームフォーマ115の後段に接続されているBモード処理回路130の図示が省略されている。
【0071】
図5に示すように、超音波プローブ101による被検体Pの所定位置に対するスキャンにより得られた反射波信号は、アナログフロントエンド113及びA/D変換回路114を経由し、ビームフォーマ115により反射波データとなる。そして、Bモード処理回路130により、上述したように、第1の反射波データと第2の反射波データと第3の反射波データとが加算されることにより、3次高調波成分が得られる。この反射波データとしての3次高調波成分(整相加算処理が施された後のデータ)が入力データとなる。また、入力データである反射波データの飽和の影響を低減させる飽和低減処理が飽和低減処理回路116により施される。
【0072】
第1の実施形態に係る飽和低減処理回路116が実行する飽和低減処理の一例について説明する。例えば、飽和低減処理回路116は、整相加算処理後の反射波データ(入力データ)に含まれる、飽和の影響を受けた信号(部分)に負のゲインをかけることで、飽和の影響を受けた信号の振幅値を下げる飽和低減処理を実行する。
【0073】
飽和低減処理が施された反射波データでは、入力データとしての反射波データよりも飽和の影響が低減されている。このような飽和低減処理が施された反射波データが教師データとなる。すなわち、飽和低減処理回路116は、飽和低減処理を実行することにより、教師データを生成する。
【0074】
そして、超音波診断装置1は、このようにして生成された入力データ及び教師データを学習装置200に送信する。
【0075】
なお、入力データ及び教師データは、上述した反射波データに限られない。例えば、ビームフォーマ115から出力された反射波データは、Bモード処理回路130によりBモードデータとなる。このBモードデータが入力データとなってもよい。例えば、入力データは、3次高調波成分に基づくBモードデータである。この場合、入力データの元となる反射波データに対して飽和低減処理が飽和低減処理回路116により施される。そして、飽和低減処理が施された反射波データは、Bモード処理回路130によりBモードデータとなる。このような、飽和低減処理が施された反射波データに基づくBモードデータでは、入力データとしてのBモードデータよりも飽和の影響が低減されている。このような飽和低減処理が施されることにより得られた反射波データに基づくBモードデータが、教師データとなる。
【0076】
また、例えば、ビームフォーマ115から出力された反射波データは、Bモード処理回路130を経由して、画像生成回路150によりBモード画像データとなる。このBモード画像データが入力データとなってもよい。例えば、入力データは、3次高調波成分に基づくBモード画像データである。この場合、入力データの元となる反射波データに対して飽和低減処理が飽和低減処理回路116により施される。そして、飽和低減処理が施された反射波データは、Bモード処理回路130を経由して、画像生成回路150によりBモード画像データとなる。このような、飽和低減処理が施された反射波データに基づくBモード画像データでは、入力データとしてのBモード画像データよりも飽和の影響が低減されている。このような飽和低減処理が施されることにより得られた反射波データに基づくBモード画像データが、教師データとなる。
【0077】
入力データとなる反射波データ、Bモードデータ及びBモード画像データは、飽和した信号を含む第1の超音波信号の一例である。また、教師データとなる反射波データ、Bモードデータ及びBモード画像データは、入力データに対して飽和の影響を低減させた第2の超音波信号の一例である。また、第1の超音波信号及び第2の超音波信号を生成する各回路(各部)は、例えば、生成部の一例である。本実施形態以外の実施形態においても同様である。
【0078】
学習装置200は、上述したような方法で生成された入力データ及び教師データを用いて、学習モデルに学習させ、学習済みモデル170aを生成する。この際、学習装置200は、スキャン対象となる部位毎に、学習済みモデル170aを生成する。そして、超音波診断装置1は、学習装置200から部位毎に生成された学習済みモデル170aを取得し、取得された部位毎の学習済みモデル170aを記憶回路170に記憶させる。
【0079】
図6は、第1の実施形態に係る入力データ及び教師データの一例を示す図である。入力データ20には飽和の影響を受けている信号(飽和信号)20aが含まれている。一方、入力データ20の飽和信号20aの信号値が低減されることで、教師データ21が得られる。教師データ21の信号21aの信号値は、飽和信号20aの信号値よりも低減されている。
【0080】
図7は、第1の実施形態に係る超音波診断装置1が、学習済みモデルを用いた推論時に実行する処理の一例について説明するための図である。超音波診断装置1は、推論時に、スキャン対象の部位に対応する学習済みモデル170aを記憶回路170から取得し、取得された学習済みモデル170aを用いて入力データに対応する出力データを推論し、推論された出力データを出力する。
【0081】
図7に示すように、例えば、超音波診断装置1は、学習時に用いられる入力データと同様の方法で、推論時に用いられる入力データを生成する。推論時に用いられる入力データは、整相加算処理が施された後のデータであり、飽和した信号を含む第3の超音波信号の一例である。
【0082】
学習済みモデル170aは、推論時に用いられる入力データが入力されると、入力データに対応する出力データを生成し、生成された出力データを出力する。出力データは、例えば、推論時に用いられる入力データよりも飽和の影響が低減されたデータである。すなわち、出力データは、推論時に用いられる入力データに対して飽和の影響を低減させたデータである。出力データは、第4の超音波信号の一例である。
【0083】
なお、第3の超音波信号及び第4の超音波信号を生成する各回路(各部)は、例えば、生成部の一例である。本実施形態以外の実施形態においても同様である。
【0084】
ここで、推論時に用いられる入力データは、上述したように、反射波データ、Bモードデータ又はBモード画像データであるが、以下、推論時に用いられる入力データが反射波データである場合について説明する。
【0085】
この場合、Bモード処理回路130は、記憶回路170に記憶された部位ごとの学習済みモデル170aの中から、スキャン対象の部位に対応する学習済みモデル170aを取得する。そして、Bモード処理回路130は、推論時に用いられる入力データを、取得された学習済みモデル170aに入力する。例えば、Bモード処理回路130は、上述したように、3回の超音波送信によって得られた3つの反射波データを加算して3次高調波成分を抽出し、抽出された3次高調波成分を入力データとして学習済みモデル170aに入力する。
【0086】
そして、Bモード処理回路130は、学習済みモデル170aから出力された出力データを取得する。ここで、学習済みモデル170aから出力された出力データは、飽和の影響が低減された3次高調波成分を含む信号データである。そして、Bモード処理回路130は、出力データに基づいてBモードデータを生成し、画像生成回路150は、Bモードデータから超音波画像データとしてBモード画像データを生成する。
【0087】
したがって、第1の実施形態に係る超音波診断装置1によれば、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0088】
なお、推論時に用いられる入力データがBモードデータである場合には、Bモード処理回路130が、同様の処理を行う。具体的には、Bモード処理回路130は、Bモードデータを入力データとして学習済みモデル170aに入力する。そして、Bモード処理回路130は、学習済みモデル170aから出力された出力データを取得する。ここで、学習済みモデル170aから出力された出力データは、飽和の影響が低減されたBモードデータである。そして、Bモード処理回路130は、取得された出力データ(飽和の影響が低減されたBモードデータ)を画像生成回路150に送信する。画像生成回路150は、飽和の影響が低減されたBモードデータから超音波画像データとして飽和の影響が低減されたBモード画像データを生成する。
【0089】
また、推論時に用いられる入力データがBモード画像データである場合には、画像生成回路150が、同様の処理を行う。具体的には、画像生成回路150は、Bモード画像データを入力データとして学習済みモデル170aに入力する。そして、画像生成回路150は、は、学習済みモデル170aから出力された出力データを取得する。ここで、学習済みモデル170aから出力された出力データは、飽和の影響が低減されたBモード画像データである。このようにして、画像生成回路150は、学習済みモデル170aを用いて、入力データから、飽和の影響が低減されたBモード画像データを生成する。
【0090】
図8は、第1の実施形態に係る超音波診断装置1が実行する処理の一例の流れを示すフローチャートである。
図8に示す処理は、超音波診断装置1が、3次高調波成分を抽出し、3次高調波成分に基づくBモード画像データを生成し、生成されたBモード画像データに基づくBモード画像を表示する処理である。
【0091】
図8に示すように、超音波診断装置1は、学習済みモデル170aを用いて、飽和の影響がロバストに低減され、画質の劣化が抑制されたBモード画像データを生成する(ステップS101)。
【0092】
そして、超音波診断装置1は、Bモード画像データに基づくBモード画像をディスプレイ103に表示させる(ステップS102)。
【0093】
そして、超音波診断装置1の制御回路180は、スキャンを続行させるか否かを判定する(ステップS103)。スキャンを続行させる場合(ステップS103:Yes)には、超音波診断装置1は、ステップS101に戻り、ステップS101~ステップS103の各処理を再び実行する。なお、ステップS101~ステップS103の各処理は、ディスプレイ103に表示されるBモード画像の1フレーム毎に実行される。これにより、Bモード画像がディスプレイ103に動画として表示される。
【0094】
スキャンを続行させない場合(ステップS103:No)には、超音波診断装置1は、
図8に示す処理を終了する。
【0095】
図9Aは、第1の実施形態に係る学習時に用いられる入力データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
図9Bは、第1の実施形態に係る学習時に用いられる教師データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
図9Cは、第1の実施形態に係る推論時に学習済みモデル170aから出力される出力データから得られるBモード画像データに基づくBモード画像の一例を示す図である。
【0096】
図9Aに示す学習時に用いられる入力データに基づくBモード画像22における矢印に示される箇所(飽和領域)は、飽和の影響を受けている。飽和領域では、飽和領域の周囲よりも過剰にコントラストが付けられている。
【0097】
図9Bに示す学習時に用いられる教師データに基づくBモード画像23では、
図9Aの飽和領域に対応する領域の輝度が下げられ、見た目の目障りさが軽減されている。
【0098】
図9Cに示す推論時に学習済みモデル170aから出力される出力データに基づくBモード画像24では、Bモード画像23と同様に、飽和の影響が低減されている。
【0099】
以上、第1の実施形態に係る超音波診断装置1について説明した。超音波診断装置1によれば、上述したように、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0100】
(第2の実施形態)
次に、第2の実施形態に係る超音波診断装置1について説明する。第2の実施形態に係る超音波診断装置1の説明では、第1の実施形態に係る超音波診断装置1と異なる点について主に説明し、第1の実施形態に係る超音波診断装置1と同様の構成についての説明は省略する場合がある。
【0101】
第2の実施形態における学習装置200での機械学習に用いられる入力データ及び教師データの生成方法について
図10を参照して説明する。
図10は、第2の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。なお、
図10では、ビームフォーマ115の後段に接続されているBモード処理回路130の図示が省略されている。
【0102】
図10に示すように、第2の実施形態に係る学習時に用いられる入力データを生成する方法は、第1の実施形態に係る学習時に用いられる入力データを生成する方法と同様である。
【0103】
一方、第2の実施形態に係る学習時に用いられる教師データを生成する方法は、第1の実施形態に係る学習時に用いられる教師データを生成する方法と異なる。この点について具体的に説明する。
【0104】
例えば、
図10に示すように、超音波プローブ101による被検体Pの所定位置に対するスキャンにより得られた反射波信号は、アナログフロントエンド113を経由して、A/D変換回路114によりデジタル信号となる。そして、このデジタル信号である反射波信号の飽和の影響を低減させる飽和低減処理が飽和低減処理回路116により施される。そして、飽和の影響が低減された反射波信号が、ビームフォーマ115及びBモード処理回路130を経由して、上述した第1の実施形態において3次高調波成分を得る処理と同様の処理が実行されることにより、3次高調波成分が得られる。第2の実施形態では、この3次高調波成分に基づく反射波データ、3次高調波成分に基づくBモードデータ、又は、3次高調波成分に基づくBモード画像データが教師データとして用いられる。すなわち、教師データは、デジタル信号へ変換された後の反射波信号であって整相加算処理が施される前の反射波信号に対して飽和の影響を低減させることにより得られる。
【0105】
第2の実施形態に係る飽和低減処理回路116が実行する飽和低減処理の一例について説明する。例えば、飽和低減処理回路116は、特開2017-55845号公報に記載された技術と同様の技術を用いて、反射波信号の飽和の影響を低減させる。例えば、飽和低減処理回路116は、チャンネル毎に、反射波信号が飽和しているか否かを判定する。具体例を挙げて説明すると、飽和低減処理回路116は、A/D変換回路114から出力された反射波信号の値がデジタルの正の上限又は負の下限になることを利用して飽和を検出する。なお、飽和低減処理回路116は、反射波信号の値が所定の閾値以上である場合に、当該反射波信号が飽和していると判定し、反射波信号の値が所定の閾値未満である場合に、当該反射波信号が飽和していないと判定してもよい。そして、飽和低減処理回路116は、飽和していると判定されたチャンネルの反射波信号の値に1未満の係数を乗算することにより、乗算の結果得られた反射波信号(飽和していると判定されたチャンネルの反射波信号)をビームフォーマ115に出力する。一方、飽和低減処理回路116は、飽和していないと判定されたチャンネルの反射波信号をそのままビームフォーマ115に出力する。したがって、教師データは、反射波信号が飽和しているか否かがチャンネル毎に判定され、判定結果に応じたチャンネル毎の係数が重みとして用いられて、チャンネル毎の反射波信号が重み付けされることにより得られる。
【0106】
また、飽和低減処理回路116は、反射波信号に対して他の飽和低減処理を施してもよい。例えば、飽和低減処理回路116は、チャンネル毎に、反射波信号が飽和しているか否かを判定する。そして、飽和低減処理回路116は、飽和していると判定されたチャンネルの反射波信号の値を、飽和していないと判定されたチャンネルの反射波信号の値を用いた補間処理により推定する。そして、飽和低減処理回路116は、飽和していると判定されたチャンネルの反射波信号の値を、推定された反射波信号の値に置換する。そして、飽和低減処理回路116は、飽和していると判定されたチャンネルの反射波信号の置換後の値をビームフォーマ115に出力する。一方、飽和低減処理回路116は、飽和していないと判定されたチャンネルの反射波信号をそのままビームフォーマ115に出力する。したがって、教師データは、反射波信号が飽和しているか否かがチャンネル毎に判定され、飽和していると判定されたチャンネルの反射波信号の値が、飽和していないと判定されたチャンネルの反射波信号の値が用いられて推定された反射波信号の値に置換されることにより得られる。
【0107】
飽和低減処理が施された反射波信号では、飽和低減処理が施されていない反射波信号よりも飽和の影響が低減されている。このような飽和低減処理が施された反射波信号に基づく教師データは、第2の超音波信号の一例である。
【0108】
そして、超音波診断装置1は、このようにして生成された入力データ及び教師データを学習装置200に送信する。
【0109】
学習装置200は、上述したような方法で生成された入力データ及び教師データを用いて、学習モデルに学習させ、学習済みモデル170b(
図12参照)を生成する。この際、学習装置200は、スキャン対象となる部位毎に、学習済みモデル170bを生成する。そして、超音波診断装置1は、学習装置200から部位毎に生成された学習済みモデル170bを取得し、取得された部位毎の学習済みモデル170bを記憶回路170に記憶させる。
【0110】
図11は、第2の実施形態に係る入力データ及び教師データの一例を示す図である。入力データ25aには飽和の影響を受けている信号(飽和信号)25cが含まれている。また、入力データ25aの元となる反射波信号25には、飽和信号25cに対応する飽和信号が含まれている。
【0111】
一方、反射波信号25の飽和信号の信号値が低減されることで、教師データ26bが得られる。具体的には、反射波信号25の飽和信号の信号値が低減されることで、反射波信号26が生成される。反射波信号25の飽和信号に対応する反射波信号26の信号26aでは、飽和の影響が低減されている。したがって、教師データ26bの信号26cの信号値は、飽和信号25cの信号値よりも低減されている。
【0112】
図12は、第2の実施形態に係る超音波診断装置1が、学習済みモデル170bを用いた推論時に実行する処理の一例について説明するための図である。超音波診断装置1は、推論時に、スキャン対象の部位に対応する学習済みモデル170bを記憶回路170から取得し、取得された学習済みモデル170bを用いて入力データに対応する出力データを推論し、推論された出力データを出力する。
【0113】
図12に示すように、例えば、超音波診断装置1は、学習時に用いられる入力データと同様の方法で、推論時に用いられる入力データを生成する。
【0114】
学習済みモデル170bは、推論時に用いられる入力データが入力されると、入力データに対応する出力データを生成し、生成された出力データを出力する。出力データは、例えば、推論時に用いられる入力データよりも飽和の影響が低減されたデータである。すなわち、出力データは、推論時に用いられる入力データに対して飽和の影響を低減させたデータである。出力データは、第4の超音波信号の一例である。
【0115】
推論時において、第2の実施形態に係る超音波診断装置1は、第1の実施形態に係る超音波診断装置1が実行する処理と同様の処理を実行する。
【0116】
したがって、第2の実施形態に係る超音波診断装置1によれば、第1の実施形態と同様に、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0117】
(第3の実施形態)
次に、第3の実施形態に係る超音波診断装置1について説明する。第3の実施形態に係る超音波診断装置1の説明では、上述した各実施形態に係る超音波診断装置1と異なる点について主に説明し、上述した各実施形態に係る超音波診断装置1と同様の構成についての説明は省略する場合がある。
【0118】
第3の実施形態における学習装置200での機械学習に用いられる入力データ及び教師データの生成方法について
図13を参照して説明する。
図13は、第3の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【0119】
図13に示すように、第3の実施形態に係る学習時に用いられる入力データを生成する方法は、第1の実施形態に係る学習時に用いられる入力データを生成する方法と同様である。
【0120】
一方、第3の実施形態に係る学習時に用いられる教師データを生成する方法は、第1の実施形態に係る学習時に用いられる教師データを生成する方法と異なる。この点について具体的に説明する。
【0121】
例えば、
図13に示すように、超音波プローブ101による被検体Pの所定位置に対するスキャンにより得られた反射波信号に対して、アナログフロントエンド113により各種のアナログ処理が施される。そして、各種のアナログ処理が施されたアナログ信号である反射波信号の飽和の影響を低減させる飽和低減処理が飽和低減処理回路116により施される。
【0122】
第3の実施形態に係る飽和低減処理回路116が実行する飽和低減処理の一例について説明する。例えば、飽和低減処理回路116は、プリフィルタ等の公知のアナログフィルタを用いて、反射波信号の飽和の影響を低減させる。例えば、飽和低減処理回路116は、プリフィルタを用いて、反射波信号に含まれる飽和に起因する信号成分(飽和由来成分)を抑制する処理を飽和低減処理として実行する。そして、飽和低減処理回路116は、飽和低減処理が施された反射波信号をA/D変換回路114に出力する。
【0123】
また、飽和低減処理回路116は、反射波信号に対して他の飽和低減処理を施してもよい。例えば、飽和低減処理回路116は、反射波信号が飽和しているか否かを判定する。そして、飽和低減処理回路116は、飽和していると判定された反射波信号にアナログゲインをかけて反射波信号の振幅値を下げる。そして、飽和低減処理回路116は、アナログゲインがかけられた反射波信号をA/D変換回路114に出力する。一方、飽和低減処理回路116は、飽和していないと判定された反射波信号をそのままA/D変換回路114に出力する。
【0124】
A/D変換回路114には、飽和低減処理回路116から出力された反射波信号が入力される。A/D変換回路114は、入力された反射波信号をデジタル信号に変換し、飽和の影響が低減されたデジタル信号である反射波信号をビームフォーマ115に出力する。
【0125】
そして、飽和の影響が低減されたデジタル信号である反射波信号が、ビームフォーマ115及びBモード処理回路130を経由して、上述した第1の実施形態において3次高調波成分を得る処理と同様の処理が実行されることにより、3次高調波成分が得られる。第3の実施形態では、この3次高調波成分に基づく反射波データ、3次高調波成分に基づくBモードデータ、又は、3次高調波成分に基づくBモード画像データが教師データとして用いられる。
【0126】
このような教師データは、第2の超音波信号の一例である。このように、教師データは、飽和の影響を低減させる飽和低減処理が施されたアナログ信号である反射波信号をデジタル信号に変換した後のデータである。また、教師データは、反射波信号の飽和の判定結果に応じたアナログゲインをかける飽和低減処理が施された反射波信号をデジタル信号に変換した後のデータである。
【0127】
そして、超音波診断装置1は、このようにして生成された入力データ及び教師データを学習装置200に送信する。
【0128】
学習装置200は、上述したような方法で生成された入力データ及び教師データを用いて、学習モデルに学習させ、学習済みモデル170c(
図15参照)を生成する。この際、学習装置200は、スキャン対象となる部位毎に、学習済みモデル170cを生成する。そして、超音波診断装置1は、学習装置200から部位毎に生成された学習済みモデル170cを取得し、取得された部位毎の学習済みモデル170cを記憶回路170に記憶させる。
【0129】
図14は、第3の実施形態に係る入力データ及び教師データの一例を示す図である。
図14に示すように、アナログフロントエンド113は、反射波信号27の一定値以上の振幅を一定値にクリップすることにより、反射波信号27aを生成する。そして、A/D変換回路114は、アナログ信号である反射波信号27aをデジタル信号である反射波信号27bに変換する。そして、超音波診断装置1は、反射波信号27bから入力データ27cを生成する。
【0130】
入力データ27cには飽和の影響を受けている信号(飽和信号)27dが含まれている。
【0131】
一方、飽和低減処理回路116は、プリフィルタを用いて、反射波信号27aに含まれる飽和に起因する信号成分を抑制する飽和低減処理を実行する。これにより、飽和低減処理が施された反射波信号28が生成される。そして、A/D変換回路114は、アナログ信号である反射波信号28をデジタル信号である反射波信号28aに変換する。そして、超音波診断装置1は、反射波信号28から教師データ28bを生成する。
【0132】
教師データ28bの信号28cの信号値は、入力データ27cの信号28cに対応する信号27dの信号値よりも低減されている。
【0133】
図15は、第3の実施形態に係る超音波診断装置1が、学習済みモデル170cを用いた推論時に実行する処理の一例について説明するための図である。超音波診断装置1は、推論時に、スキャン対象の部位に対応する学習済みモデル170cを記憶回路170から取得し、取得された学習済みモデル170cを用いて入力データに対応する出力データを推論し、推論された出力データを出力する。
【0134】
図15に示すように、例えば、超音波診断装置1は、学習時に用いられる入力データと同様の方法で、推論時に用いられる入力データを生成する。
【0135】
学習済みモデル170cは、推論時に用いられる入力データが入力されると、入力データに対応する出力データを生成し、生成された出力データを出力する。出力データは、例えば、推論時に用いられる入力データよりも飽和の影響が低減されたデータである。すなわち、出力データは、推論時に用いられる入力データに対して飽和の影響を低減させたデータである。出力データは、第4の超音波信号の一例である。
【0136】
推論時において、第3の実施形態に係る超音波診断装置1は、第1の実施形態に係る超音波診断装置1が実行する処理と同様の処理を実行する。
【0137】
したがって、第3の実施形態に係る超音波診断装置1によれば、第1の実施形態等と同様に、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0138】
(第4の実施形態)
次に、第4の実施形態に係る超音波診断装置1について説明する。第4の実施形態に係る超音波診断装置1の説明では、上述した各実施形態に係る超音波診断装置1と異なる点について主に説明し、上述した各実施形態に係る超音波診断装置1と同様の構成についての説明は省略する場合がある。
【0139】
第4の実施形態における学習装置200での機械学習に用いられる入力データ及び教師データの生成方法について
図16を参照して説明する。
図16は、第4の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【0140】
図16に示すように、超音波プローブ101による被検体Pの所定位置に対するスキャンにより得られた反射波信号は、アナログフロントエンド113を経由し、A/D変換回路114によりデジタル信号に変換される。このデジタル信号の反射波信号が入力データとなる。このような入力データである反射波信号は、飽和した信号を含む第1の超音波信号の一例である。また、このような入力データである反射波データは、デジタル信号へ変換された後のデータであり、整相加算処理が施される前のデータである。
【0141】
また、入力データであるデジタル信号の反射波信号の飽和の影響を低減させる飽和低減処理が飽和低減処理回路116により施される。第4の実施形態に係る飽和低減処理回路116は、第2の実施形態に係る飽和低減処理回路116が実行する飽和低減処理と同様の飽和低減処理を反射波信号に対して施す。
【0142】
飽和低減処理が施された反射波信号では、入力データとしての反射波信号よりも飽和の影響が低減されている。このような飽和低減処理が施された反射波信号が教師データとなる。飽和低減処理が施された反射波信号は、入力データに対して飽和の影響を低減させた第2の超音波信号の一例である。
【0143】
そして、超音波診断装置1は、このようにして生成された入力データ及び教師データを学習装置200に送信する。
【0144】
学習装置200は、上述したような方法で生成された入力データ及び教師データを用いて、学習モデルに学習させ、学習済みモデル170d(
図18参照)を生成する。この際、学習装置200は、スキャン対象となる部位毎に、学習済みモデル170dを生成する。そして、超音波診断装置1は、学習装置200から部位毎に生成された学習済みモデル170dを取得し、取得された部位毎の学習済みモデル170dを記憶回路170に記憶させる。
【0145】
図17は、第4の実施形態に係る入力データ及び教師データの一例を示す図である。入力データ29には飽和の影響を受けている飽和信号が含まれている。
【0146】
一方、入力データ29の飽和信号の信号値が低減されることで、教師データ30が得られる。入力データ29の飽和信号に対応する教師データ30の信号30aでは、飽和の影響が低減されている。したがって、教師データ30の信号30aの信号値は、入力データ29の飽和信号の信号値よりも低減されている。
【0147】
図18は、第4の実施形態に係る超音波診断装置1が、学習済みモデル170dを用いた推論時に実行する処理の一例について説明するための図である。超音波診断装置1は、推論時に、スキャン対象の部位に対応する学習済みモデル170dを記憶回路170から取得し、取得された学習済みモデル170dを用いて入力データに対応する出力データを推論し、推論された出力データを出力する。
【0148】
図18に示すように、例えば、超音波診断装置1は、学習時に用いられる入力データと同様の方法で、推論時に用いられる入力データを生成する。ここで、入力データはチャンネル毎に生成される。推論時に用いられる入力データは、飽和した信号を含む第3の超音波信号の一例である。また、このような入力データは、デジタル信号へ変換された後のデータであり、整相加算処理が施される前のデータである。
【0149】
学習済みモデル170dは、推論時に用いられる入力データが入力されると、入力データに対応する出力データを生成し、生成された出力データを出力する。出力データは、例えば、推論時に用いられる入力データよりも飽和の影響が低減されたデータである。すなわち、出力データは、推論時に用いられる入力データに対して飽和の影響を低減させたデータである。出力データは、第4の超音波信号の一例である。
【0150】
A/D変換回路114は、記憶回路170に記憶された部位ごとの学習済みモデル170dの中から、スキャン対象の部位に対応する学習済みモデル170dを取得する。そして、A/D変換回路114は、チャンネル毎に、推論時に用いられる入力データを、取得された学習済みモデル170dに入力する。
【0151】
A/D変換回路114は、学習済みモデル170dから出力される出力データを取得することにより、出力データを反射波信号としてチャンネル毎に生成する。そして、A/D変換回路114は、生成された反射波信号をビームフォーマ115に出力する。ビームフォーマ115は、入力された反射波信号に対して整相加算処理を施すことにより反射波データを生成する。
【0152】
超音波診断装置1が3次高調波成分を抽出する場合、受信回路112は、3回の超音波送信によって得られた複数の反射波信号に基づいて、上述したような学習済みモデル170dを用いる方法を用いて、共通の受信走査線に関する3つの反射波データを生成する。そして、Bモード処理回路130は、3つの反射波データを加算して、3次高調波成分を抽出する。すなわち、Bモード処理回路130は、学習済みモデル170dから出力された出力データに基づく反射波データから3の倍数次の高周波成分として3次高調波成分を抽出する。
【0153】
ここで、3次高調波成分を抽出する際に用いられる3つの反射波データは、飽和の影響が低減されたデータである。したがって、第4の実施形態に係る超音波診断装置1によれば、第1の実施形態等と同様に、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0154】
(第5の実施形態)
次に、第5の実施形態に係る超音波診断装置1について説明する。第5の実施形態に係る超音波診断装置1の説明では、上述した各実施形態に係る超音波診断装置1と異なる点について主に説明し、上述した各実施形態に係る超音波診断装置1と同様の構成についての説明は省略する場合がある。
【0155】
第5の実施形態における学習装置200での機械学習に用いられる入力データ及び教師データの生成方法について
図19を参照して説明する。
図19は、第5の実施形態にかかる入力データ及び教師データの生成方法の一例について説明するための図である。
【0156】
図19に示すように、第5の実施形態に係る学習時に用いられる入力データを生成する方法は、第4の実施形態に係る学習時に用いられる入力データを生成する方法と同様である。
【0157】
第5の実施形態に係る学習時に用いられる教師データを生成する方法について説明する。
【0158】
例えば、
図19に示すように、超音波プローブ101による被検体Pの所定位置に対するスキャンにより得られた反射波信号に対して、アナログフロントエンド113により各種のアナログ処理が施される。そして、各種のアナログ処理が施されたアナログ信号である反射波信号の飽和の影響を低減させる飽和低減処理が飽和低減処理回路116により施される。
【0159】
第5の実施形態に係る飽和低減処理回路116が実行する飽和低減処理の一例について説明する。例えば、飽和低減処理回路116は、反射波信号に対して、第3の実施形態に係る飽和低減処理回路116が実行する飽和低減処理と同様の飽和低減処理を施す。そして、飽和低減処理回路116は、飽和低減処理が施された反射波信号をA/D変換回路114に出力する。
【0160】
A/D変換回路114には、飽和低減処理回路116から出力された反射波信号が入力される。A/D変換回路114は、入力された反射波信号をデジタル信号に変換する。
【0161】
飽和低減処理が施されたデジタル信号である反射波信号では、入力データとしての反射波信号よりも飽和の影響が低減されている。このような飽和低減処理が施されたデジタル信号である反射波信号が教師データとなる。このような教師データとなる反射波信号は、第2の超音波信号の一例である。このように、教師データは、飽和の影響を低減させる飽和低減処理が施されたアナログ信号である反射波信号である。また、教師データは、反射波信号の飽和の判定結果に応じたアナログゲインをかける飽和低減処理が施された反射波信号である。
【0162】
そして、超音波診断装置1は、このようにして生成された入力データ及び教師データを学習装置200に送信する。
【0163】
学習装置200は、上述したような方法で生成された入力データ及び教師データを用いて、学習済みモデルに学習させ、学習済みモデル170e(
図21参照)を生成する。この際、学習装置200は、スキャン対象となる部位毎に、学習済みモデル170eを生成する。そして、超音波診断装置1は、学習装置200から部位毎に生成された学習済みモデル170eを取得し、取得された部位毎の学習済みモデル170eを記憶回路170に記憶させる。
【0164】
図20は、第5の実施形態に係る入力データ及び教師データの一例を示す図である。
図20に示すように、アナログフロントエンド113は、反射波信号31の一定値以上の振幅を一定値にクリップすることにより、反射波信号31aを生成する。そして、A/D変換回路114は、アナログ信号である反射波信号31aをデジタル信号である反射波信号31bに変換する。この反射波信号31bが入力データとなる。入力データには飽和の影響を受けている飽和信号が含まれている。
【0165】
一方、飽和低減処理回路116は、プリフィルタを用いて、反射波信号31aに含まれる飽和に起因する信号成分を抑制する飽和低減処理を実行する。これにより、飽和低減処理が施された反射波信号32が生成される。そして、A/D変換回路114は、アナログ信号である反射波信号32をデジタル信号である反射波信号32aに変換する。この反射波信号32aが教師データとなる。
【0166】
教師データである反射波信号32aの信号(反射波信号31bの飽和信号に対応する信号)の信号値は、入力データである反射波信号31bの飽和信号の信号値よりも低減されている。
【0167】
図21は、第5の実施形態に係る超音波診断装置1が、学習済みモデル170eを用いた推論時に実行する処理の一例について説明するための図である。超音波診断装置1は、推論時に、スキャン対象の部位に対応する学習済みモデル170eを記憶回路170から取得し、取得された学習済みモデル170eを用いて入力データに対応する出力データを推論し、推論された出力データを出力する。
【0168】
図21に示すように、例えば、超音波診断装置1は、学習時に用いられる入力データと同様の方法で、推論時に用いられる入力データを生成する。
【0169】
学習済みモデル170eは、推論時に用いられる入力データが入力されると、入力データに対応する出力データを生成し、生成された出力データを出力する。出力データは、例えば、推論時に用いられる入力データよりも飽和の影響が低減されたデータである。すなわち、出力データは、推論時に用いられる入力データに対して飽和の影響を低減させたデータである。出力データは、第4の超音波信号の一例である。
【0170】
A/D変換回路114は、記憶回路170に記憶された部位ごとの学習済みモデル170eの中から、スキャン対象の部位に対応する学習済みモデル170eを取得する。そして、A/D変換回路114は、チャンネル毎に、推論時に用いられる入力データを、取得された学習済みモデル170dに入力する。
【0171】
A/D変換回路114は、学習済みモデル170dから出力される出力データを取得することにより、出力データを反射波信号としてチャンネル毎に生成する。そして、A/D変換回路114は、生成された反射波信号をビームフォーマ115に出力する。ビームフォーマ115は、入力された反射波信号に対して整相加算処理を施すことにより反射波データを生成する。
【0172】
超音波診断装置1が3次高調波成分を抽出する場合、受信回路112は、3回の超音波送信によって得られた複数の反射波信号に基づいて、上述したような学習済みモデル170eを用いる方法を用いて、共通の受信走査線に関する3つの反射波データを生成する。そして、Bモード処理回路130は、3つの反射波データを加算して、3次高調波成分を抽出する。すなわち、Bモード処理回路130は、学習済みモデル170eから出力された出力データに基づく反射波データから3の倍数次の高周波成分として3次高調波成分を抽出する。
【0173】
ここで、3次高調波成分を抽出する際に用いられる3つの反射波データは、飽和の影響が低減されたデータである。したがって、第5の実施形態に係る超音波診断装置1によれば、第1の実施形態等と同様に、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波画像データを得ることができる。
【0174】
(変形例)
次に、変形例に係る超音波診断装置1について説明する。
図22は、変形例に係る超音波診断装置1が実行する処理の一例の流れを示すフローチャートである。上述した各実施形態において、
図22に示すように、超音波診断装置1の制御回路180は、3次高調波成分を抽出する場合、推論時に用いられる入力データが飽和の影響を受けているか否かを判定する(ステップS201)。そして、超音波診断装置1は、推論時に用いられる入力データが飽和の影響を受けていると判定された場合(ステップS201:Yes)に、上述したステップS101~S103の処理を実行してもよい。例えば、ステップS101では、超音波診断装置1は、学習済みモデル(学習済みモデル170a,170b,170c,170d,170e)を用いて上述した処理を行うことにより、3次高調波成分を抽出し、抽出された3次高調波成分に基づくBモード画像データを生成する。
【0175】
一方、超音波診断装置1は、推論時に用いられる入力データが飽和の影響を受けていないと判定された場合(ステップS201:No)に、学習済みモデルを用いずに3次高調波成分を抽出し、抽出された3次高調波成分に基づくBモード画像データを生成する(ステップS202)。例えば、ステップS202において、Bモード処理回路130が3次高調波成分を抽出する場合に用いられる3つの反射波データは、学習済みモデルが用いられずにビームフォーマ115により生成された反射波データである。そして、超音波診断装置1は、ステップS102に進む。
【0176】
なお、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記録媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記録媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【0177】
以上説明した少なくとも一つの実施形態及び少なくとも一つの変形例によれば、飽和の影響がロバストに低減され、画質の劣化が抑制された超音波信号を得ることができる。
【0178】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0179】
1 超音波診断装置
112 受信回路
130 Bモード処理回路
150 画像生成回路
170 記憶回路
170a 学習済みモデル